留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

偏振参数最优重构的水下降质图像清晰化方法

李荣华 唐智超 朴俊峰 李宏亮

李荣华, 唐智超, 朴俊峰, 李宏亮. 偏振参数最优重构的水下降质图像清晰化方法[J]. 红外与激光工程, 2021, 50(6): 20200426. doi: 10.3788/IRLA20200426
引用本文: 李荣华, 唐智超, 朴俊峰, 李宏亮. 偏振参数最优重构的水下降质图像清晰化方法[J]. 红外与激光工程, 2021, 50(6): 20200426. doi: 10.3788/IRLA20200426
Li Ronghua, Tang Zhichao, Piao Junfeng, Li Hongliang. Underwater degraded image–sharpening method based on optimal polarization parameter reconstruction[J]. Infrared and Laser Engineering, 2021, 50(6): 20200426. doi: 10.3788/IRLA20200426
Citation: Li Ronghua, Tang Zhichao, Piao Junfeng, Li Hongliang. Underwater degraded image–sharpening method based on optimal polarization parameter reconstruction[J]. Infrared and Laser Engineering, 2021, 50(6): 20200426. doi: 10.3788/IRLA20200426

偏振参数最优重构的水下降质图像清晰化方法

doi: 10.3788/IRLA20200426
基金项目: 大连市高层次人才创新支持计划项目(2017RQ134);辽宁省高等学校轨道交通装备技术研究院重大项目;辽宁省高等学校创新人才支持计划项目
详细信息
    作者简介:

    李荣华,男,教授,博士,主要从事非合作目标三维位姿测量技术等方面的研究

  • 中图分类号: TP391; TP752.2

Underwater degraded image–sharpening method based on optimal polarization parameter reconstruction

  • 摘要: 针对水体浑浊情况下,水中悬浮粒子对光的吸收和散射作用造成图像模糊、对比度低等问题,提出了一种偏振参数最优重构的水下降质图像清晰化方法。首先,通过局部最小值滤波估算水下背景光图像,引入 Stokes 矢量原理计算偏振度,通过归一化互信息进一步优化偏振度信息,获取成像区域最优的重构偏振参数;其次,采用形态学的方法重建图像自动估计水下无穷远处背景光值;最后,搭建了水下环境模拟平台,通过单通道偏振探测器实时获取水下偏振图像;为了验证算法的有效性,通过三种客观评价指标与其他复原方法进行比较,结果显示算法效果优于其他的水下图像复原方法。
  • 图  1  水下偏振成像示意图

    Figure  1.  Underwater polarization imaging

    图  2  偏振探测器

    Figure  2.  Polarization detector

    图  3  系统程序流程框图

    Figure  3.  Flow chart of the system program

    图  4  偏振成像装置实验模拟图

    Figure  4.  Schematic of experimental devices for polarization image

    图  5  单通道探测器所获取的偏振图像

    Figure  5.  Polarization image obtained by single channel detector

    图  6  高浓度下复原图像

    Figure  6.  Image restoration under high concentration

    图  7  低浓度下复原图像

    Figure  7.  Image restoration under low concentration

    图  8  不同浓度复原图像对比

    Figure  8.  Recovered image under different concentration

    表  1  高浓度图像复原算法指标对比结果

    Table  1.   Comparison results of high density image restoration algorithms

    Fig.6(a)Fig.6(b)Fig.6(c)Fig.6(d)Fig.6(e)
    Information entropy5.45054.94135.51116.62617.2706
    Average gradient0.54070.25941.16390.88522.9033
    Gray variance10.18877.62858.388622.253034.2354
    下载: 导出CSV

    表  2  低浓度图像复原算法指标对比结果

    Table  2.   Comparison results of low density image restoration algorithms

    Fig.7(a)Fig.7(b)Fig.7(c)Fig.7(d)Fig.7(e)
    Information entropy6.21145.79785.48285.01017.4050
    Average gradient0.82620.45691.25060.32381.4287
    Gray variance20.303914.691018.343410.331149.0291
    下载: 导出CSV
  • [1] Wang Xinwei, Sun Liang, Wang Minmin, et al. Deblurring methods for underwater 2D and 3D range-gated imaging [J]. Infrared and Laser Engineering, 2020, 49(2): 0203002. (in Chinese)
    [2] Wang Y L, Zhou Y N, Wang S X, et al. Enhancement of spatial resolution of ghost imaging via localizing and thresholding [J]. Chinese Physics B: English version, 2019, 28(4): 190-195.
    [3] Zhang Qican, Wu Zhoujie. Three-dimensional imaging technique based on Gray-coded structured illumination[J]. Infrared and Laser Engineering, 2020, 49(3): 0303004. (in Chinese).
    [4] He K, Sun J, Tang X, et al. Single image haze removal using dark channel prior [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2341-2353.
    [5] Galdran A, Pardo D, Gila A, et al. Automatic red-channel underwater image restoration [J]. Journal of Visual Communication & Image Representation, 2015: 26.
    [6] Zhao X, Jin T, Qu S. Deriving inherent optical properties from background color and underwater image enhancement [J]. Ocean Engineering, 2015, 94: 163-172. doi:  10.1016/j.oceaneng.2014.11.036
    [7] Schechner Y Y, Karpel N. Recovery of underwater visibility and structure by polarization analysis [J]. IEEE Journal of Oceanic Engineering, 2006, 30(3): 570-587.
    [8] Treibitz T, Schechner Y Y. Active polarization descattering [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2009, 31(3): 385-399.
    [9] Li X B, Hu H F, Zhao L, et al. Polarimetric image recovery method combining histogram stretching for underwater imaging [J]. Scientific Reports, 2018, 8(1): 12430.
    [10] Gu Y, Carrizo C, Gilerson A A, et al. Polarimetric imaging and retrieval of target polarization characteristics in underwater environment [J]. Applied Optics, 2016, 55(3): 626-637. doi:  10.1364/AO.55.000626
    [11] Amer K O, Elbouz M, Alfalou A, et al. Enhancing underwater optical imaging by using a low-pass polarization filter [J]. Optics Express, 2019, 27(2): 621. doi:  10.1364/OE.27.000621
    [12] Serikawa S, Lu H. Underwater image dehazing using joint trilateral filter [J]. Computers & Electrical Engineering, 2014, 40(1): 41-50.
    [13] He K, Sun J, Tang X. Guided image filtering [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(6): 1397-1409.
    [14] Guan J G, Zhu J P, Tian H, et al. Real-time polarization difference underwater imaging based on Stokes vector [J]. Acta Physica Sinica, 2015, 64(22): 141-147.
    [15] Huai Y, Fan Z G, Sun J, et al. Calibration of the three links prism simultaneous polarization measurement system [J]. Opto-Electronic Engineering, 2015, 42(11): 18-24.
    [16] Lu H, Zhao K C, Ma Q, et al. Design and implementation of detection system for skylight polarized pattern using continuously spinning polarization analyzer [J]. Journal of Astronautics, 2014, 35(9): 1087-1094.
    [17] Han P L, Liu F, Yang K, et al. Active underwater descattering and image recovery [J]. Applied Optics, 2017, 56(23): 6631.
    [18] Yang M, Sowmya A. New image quality evaluation metric for underwater video [J]. IEEE Signal Processing Letters, 2014, 21(10): 1215-1219. doi:  10.1109/LSP.2014.2330848
  • [1] 刘星洋, 翟尚礼, 李靖, 汪洋, 苗锋, 杜瀚宇, 邹超凡.  制冷型中波红外偏振成像光学系统设计 . 红外与激光工程, 2021, 50(2): 20200208-1-20200208-9. doi: 10.3788/IRLA20200208
    [2] 郭忠义, 康乾龙, 彭志勇, 崔月盟, 刘华松, 高隽, 郭凯.  基于超表面操控的偏振信息探测技术研究进展 . 红外与激光工程, 2020, 49(9): 20201041-1-20201041-15. doi: 10.3788/IRLA20201041
    [3] 郭忠义, 汪信洋, 李德奎, 王鹏飞, 张宁, 胡天伟, 张曼, 高隽.  偏振信息传输理论及应用进展(特约) . 红外与激光工程, 2020, 49(6): 20201013-1-20201013-19. doi: 10.3788/IRLA20201013
    [4] 刘鑫, 常军, 陈蔚霖, 杜杉, 武楚晗, 许祥馨, 朱懿.  连续变焦偏振视频显微物镜设计 . 红外与激光工程, 2020, 49(8): 20200003-1-20200003-6. doi: 10.3788/IRLA20200003
    [5] 赵永强, 戴慧敏, 申凌皓, 张景程.  水下偏振清晰成像方法综述 . 红外与激光工程, 2020, 49(6): 20190574-1-20190574-11. doi: 10.3788/IRLA20190574
    [6] 熊志航, 廖然, 曾亚光, 刘晋, 马辉.  利用偏振成像在复杂现场快速识别金属碎屑(特约) . 红外与激光工程, 2020, 49(6): 20201012-1-20201012-6. doi: 10.3788/IRLA20201012
    [7] 王稼禹, 李英超, 史浩东, 江伦, 王超, 刘壮, 李冠霖.  折反式望远系统全视场全口径偏振特性研究 . 红外与激光工程, 2019, 48(3): 318004-0318004(8). doi: 10.3788/IRLA201948.0318004
    [8] 王辉, 王进, 李校博, 胡浩丰, 刘铁根.  一种基于圆偏光的偏振去雾成像优化方法 . 红外与激光工程, 2019, 48(11): 1126001-1126001(5). doi: 10.3788/IRLA201948.1126001
    [9] 胡浩丰, 李校博, 刘铁根.  基于偏振成像的水下图像复原技术研究最新进展 . 红外与激光工程, 2019, 48(6): 603006-0603006(13). doi: 10.3788/IRLA201948.0603006
    [10] 彭勇, 冯斌, 史泽林, 徐保树, 惠斌.  微偏振片阵列成像的非均匀校正研究 . 红外与激光工程, 2017, 46(4): 404004-0404004(8). doi: 10.3788/IRLA201746.0404004
    [11] 刘震, 洪津, 龚冠源, 郑小兵, 杨伟锋, 袁银麟.  空间调制型全偏振成像系统的角度误差优化 . 红外与激光工程, 2017, 46(1): 117003-0117003(7). doi: 10.3788/IRLA201746.0117003
    [12] 柏财勋, 李建欣, 周建强, 刘勤, 徐文辉.  基于微偏振阵列的干涉型高光谱偏振成像方法 . 红外与激光工程, 2017, 46(1): 136003-0136003(6). doi: 10.3788/IRLA201746.0138003
    [13] 徐超, 何利民, 王霞, 金伟其.  红外偏振成像系统高速处理模块设计 . 红外与激光工程, 2017, 46(2): 204002-0204002(8). doi: 10.3788/IRLA201746.0204002
    [14] 杨蔚, 顾国华, 陈钱, 周骁俊, 徐富元.  穆勒矩阵图像的获取及处理 . 红外与激光工程, 2015, 44(12): 3831-3836.
    [15] 李琦, 杨永发, 胡佳琦.  一种用于太赫兹共焦扫描图像复原的复合算法 . 红外与激光工程, 2015, 44(1): 321-326.
    [16] 赵永强, 张宇辰, 刘吾腾, 张艳, 李琳, 潘泉.  基于微偏振片阵列的偏振成像技术研究 . 红外与激光工程, 2015, 44(10): 3117-3123.
    [17] 孟伟, 金龙旭, 李国宁, 傅瑶.  调制传递函数在遥感图像复原中的应用 . 红外与激光工程, 2014, 43(5): 1690-1696.
    [18] 李杰, 朱京平, 齐春, 郑传林, 高博, 张云尧, 侯洵.  大孔径静态超光谱全偏振成像技术 . 红外与激光工程, 2014, 43(2): 574-578.
    [19] 洪汉玉, 李良成, 章秀华, 颜露新, 张天序.  目标探测多波段图像统一复原及实验验证 . 红外与激光工程, 2013, 42(1): 251-255.
    [20] 王霞, 张明阳, 陈振跃, 拜晓锋, 金伟其.  主动偏振成像的系统结构概述 . 红外与激光工程, 2013, 42(8): 2244-2251.
  • 加载中
图(8) / 表(2)
计量
  • 文章访问数:  46
  • HTML全文浏览量:  25
  • PDF下载量:  12
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-10-20
  • 修回日期:  2021-03-27
  • 刊出日期:  2021-06-30

偏振参数最优重构的水下降质图像清晰化方法

doi: 10.3788/IRLA20200426
    作者简介:

    李荣华,男,教授,博士,主要从事非合作目标三维位姿测量技术等方面的研究

基金项目:  大连市高层次人才创新支持计划项目(2017RQ134);辽宁省高等学校轨道交通装备技术研究院重大项目;辽宁省高等学校创新人才支持计划项目
  • 中图分类号: TP391; TP752.2

摘要: 针对水体浑浊情况下,水中悬浮粒子对光的吸收和散射作用造成图像模糊、对比度低等问题,提出了一种偏振参数最优重构的水下降质图像清晰化方法。首先,通过局部最小值滤波估算水下背景光图像,引入 Stokes 矢量原理计算偏振度,通过归一化互信息进一步优化偏振度信息,获取成像区域最优的重构偏振参数;其次,采用形态学的方法重建图像自动估计水下无穷远处背景光值;最后,搭建了水下环境模拟平台,通过单通道偏振探测器实时获取水下偏振图像;为了验证算法的有效性,通过三种客观评价指标与其他复原方法进行比较,结果显示算法效果优于其他的水下图像复原方法。

English Abstract

    • 近年来,水下成像在海底军事侦察、海下考古发掘和海底资源探测等方面都有着不可替代的作用。因为水中悬浮粒子对光具有吸收和散射作用,导致传统的成像系统获取到的图像犹如雾霾天气下所拍摄的图像,失去了探测的意义。为了提高图像的质量和对比度,国内外的研究机构通过分析水下的吸收和散射现象研制新的成像系统,如水下距离选通系统[1]、鬼成像技术[2]和结构光成像系统[3]来获取图像。同时为解决水下图像退化问题,也有不少学者致力于研究水下退化图像复原方法。

      He[4]通过统计大量无雾图像发现,图像像素值至少在一个颜色通道中数值很低,并以此提出暗通道先验理论,借此粗略估计透射率,然后通过软抠图细化透射率最终复原雾霾图像;水下图像与雾霾图像在成像方面有着相似之处,所以亦可用于水下图像复原,由于水中悬浮粒子对于光有着吸收作用,使粗估计的透射率偏大,导致复原出的整体图像偏暗。Adrian G等人[5]认为水下环境中对光的吸收作用导致不同波段的颜色有着不同程度的衰减,其中图像红色通道强度值随着水下距离的增加衰减地最快,以此作为先验原理提出红色通道法,修正与短波段相关的颜色,校正图像颜色失真问题,与此同时还能提高图像对比度。Zhao等人[6]发现水下图像的背景光信息与水体的固有性质有关,通过进一步研究确定图像透射率与衰减系数成指数关系,以此作为先验条件,对图像G、B通道透射率进行校正,最终通过水下图像模型复原降质图像,解决图像颜色畸变等问题。以上水下降质图像复原方法主要依赖于其先验条件,一旦所处理的图像不满足其先验条件,结果很容易出现失真现象,因此不能得到广泛的应用。而相对于先验方法,偏振方法可以有效减少散射光的影响。

      Schechner等人[7]在水下复原模型基础上引入偏振信息,通过手动旋转偏振片,依据视觉观察获取同一目标物的最大值图像和最小值图像,手动选取背景区域来估算背景光信息和无穷远处背景光值,尽管该方法过程简洁,运算效率高,可是需要手动选取背景区域进行参数运算,使得人机交互更加繁琐,而且手动选取区域,依靠于研究人员的判断,容易造成误选使得复原图像出现偏差。Tali等人[8]通过重构偏振复原模型,获取效果最好的两幅正交偏振图像,手动选取区域获取目标物的偏振度信息、水下背景光偏振度信息和无穷远处背景光值,通过互信息对目标偏振特性进行优化处理,能够快速恢复水下降质图像,然而在处理过程中也会不同程度地放大图像噪声,从而破坏图像复原效果。Li等人[9]在Schechner的基础上增加了偏振图像预处理阶段,对垂直入射面的偏振图像进行直方图拉伸,然后通过正交偏振图像之间的偏振关系,获取与之相对应的平行入射面的偏振图像,此方法有效地提高了输入的偏振图像的效果,而且在不提高处理时间的基础上大幅提高了图像的对比度。上述几种算法都是融入了偏振信息对水下图像进行复原,都无法达到全自动处理水下降质图像的过程,无法满足工程需要。

      针对现有偏振复原方法不足之处,文中使用主动光源进行水下实验,通过研制的单通道快速旋转偏振探测系统实时获取图像。分析水下成像原理,对成像区域的偏振参数进行最优重构推导水下图像清晰化处理中所需要的偏振参量。通过最小值滤波和形态学方法分别自动估算水下背景光信息和水下无穷远处背景光值。全程实现降质图像清晰化复原,无需手动选取区域。实验结果表明,文中算法提高了图像对比度、增强了目标细节,可以应用到不同浓度情况下的水下图像复原。

    • 通过分析光的散射特性和成像原理,可知偏振成像系统所接收到的信息由直接分量、前向散射分量和后向散射分量所构成,其原理如图1所示。直接分量是入射光源通过目标表面反射后直接进入成像系统中,所以包含了大量目标信息特征。后向散射分量是经过水中悬浮粒子等介质散射后,进入成像系统中形成背景光。

      前向散射分量是入射光源经目标反射后,在进入成像系统之前经过水中悬浮粒子散射。由于前向散射分量在近距离成像时受水中介质影响较小,所以文中实验中并未考虑前向散射,忽略前向散射分量后的数学表达式为:

      $${I_{{\rm{total}}}}\left( {x,y} \right) = S\left( {x,y} \right) + B\left( {x,y} \right)$$ (1)

      式中:Itotal (x, y)是通过偏振成像系统获取的原始图像;S (x, y)是目标反射光,定义为:

      $$S\left( {x,y} \right) = J\left( {x,y} \right)t\left( {x,y} \right)$$ (2)

      式中:J (x, y)是指水下目标未经过衰减的强度图(即复原出的清晰图像)。t (x, y) = eβ (x, y)d (x, y)是透射率信息,其中β (x, y)是因为吸收和散射作用而损失能量的总衰减系数,当近距离水下成像时,假设水体中的介质均匀分布,通过简化 β (x, y),默认水体中总衰减系数是定量,为 β (x, y) = βd (x, y)是指水下目标和成像系统之间的距离。

      B (x, y)是入射光经水体粒子散射后进入探测器镜头的水下背景光,表达式为:

      $$B(x, y)=B_{\infty}(1-t(x, y))$$ (3)

      式中:B指的是无穷远处背景光值。通过公式(3)可以获取透射率的表达式为:

      $$t\left( {x,y} \right) = 1 - \frac{{B\left( {x,y} \right)}}{{{B_\infty }}}$$ (4)

      由于水中悬浮粒子对传输光的吸收和散射作用,改变了目标物的偏振特性。以主动光源、水中介质和探测器三点定义入射面,总光强图像Itotal (x, y)可以分为平行入射平面的最大光强图像Imax与垂直入射平面的最小光强图像Imin,同理水下背景光强也可以分为平行入射平面的最大光强图像Bmax与垂直入射平面的最小光强图像Bmin,由公式(1)可知光强图像的最大光强和最小光强图像表达式如下:

      $${I_{\max }}\left( {x,y} \right) = S/2 + {B_{\max }}\left( {x,y} \right)$$ (5)
      $${I_{\min }}\left( {x,y} \right) = S/2 + {B_{\min }}\left( {x,y} \right)$$ (6)

      通过公式(5)~(6)可知Itotal (x, y) = Imax(x, y) + Imin(x, y),同理B(x, y) = Bmax(x, y) + Bmin(x, y)。通过偏振度的定义可知水下目标偏振度PI (x, y)为:

      $${P_I}\left( {x,y} \right){\rm{ = }}\frac{{{I_{\max }}\left( {x,y} \right) - {I_{\min }}\left( {x,y} \right)}}{{{I_{\max }}\left( {x,y} \right) + {I_{\min }}\left( {x,y} \right)}}$$ (7)

      水下背景光偏振度PB (x, y)为:

      $${P_B}\left( {x,y} \right){\rm{ = }}\frac{{{B_{\max }}\left( {x,y} \right) - {B_{\min }}\left( {x,y} \right)}}{{{B_{\max }}\left( {x,y} \right) + {B_{\min }}\left( {x,y} \right)}}$$ (8)

      联立公式(5)~(8)可知:

      $${P_I}\left( {x,y} \right){I_{{\rm{total}}}}\left( {x,y} \right) = {P_B}\left( {x,y} \right)B\left( {x,y} \right)$$ (9)

      为了表达方便,省略了坐标量(x,y),根据公式(1)~(9)可以换算出待求解的复原图像的表达式:

      $$J\left( {x,y} \right) = \frac{{{I_{{\rm{total}}}} - {P_I}{I_{{\rm{total}}}}/{P_B}}}{{1 - {P_I}{I_{{\rm{total}}}}/\left( {{P_B}{B_\infty }} \right)}}$$ (10)

      经过上述推导可知,在求解ItotalPIPBB四个参量之后可以得到清晰化后的水下图像。

      图  1  水下偏振成像示意图

      Figure 1.  Underwater polarization imaging

    • 水下偏振复原方法主要是通过提取目标偏振特征信息来复原图像。而光的偏振信息可由Stokes矢量[10](IQUV)来描述,其中V代表圆偏振光的信息。文中方法主要依赖于线偏振光,所以假设圆偏振参量V = 0。偏振度信息可以通过三幅不同偏振角度的图像来获取,而每一个偏振角度的光强图像表达式为:

      $$ I\left( \alpha \right) = \left( {I + Q\cos 2\alpha + U\sin 2\alpha } \right)/2 $$ (11)

      式中:α是指检偏器偏振方向与标准方向之间的夹角,通过三幅不同偏振角度的图像便可以求解出矢量参数IQU,也可以求解处于不同偏振角度时的光强图像I (α)。为方便求解矢量参数,文中采用0°、60、120°三个方向的偏振图像。求取偏振度的表达式为:

      $$ P = \frac{{\sqrt {{Q^2} + {U^2}} }}{I} $$ (12)
    • 传统的水下偏振复原方法[7-8]都是通过选取图像中的无穷远处区域来代替水下背景光区域,从而计算背景光偏振度,并没有考虑场景深度及不同目标物对于偏振度的影响,只是简单地将局部背景光偏振度当成全局不变量来计算,结果造成图像复原效果下降。图像滤波处理[11-12]在大部分非偏图像上应用广泛,尤其是在处理雾天图像透射率等方面。文中算法通过最小值滤波,对于偏振图像进行逐像素值的滤波处理估算背景光信息,并通过Stokes矢量法求取全局变量的背景光偏振度。为了获取全局变量的背景光信息B,对三幅不同角度的偏振图像进行最小值滤波处理来获取相应偏振角度的水下背景光图像B0B60B120,但是通过最小值滤波处理后的图像会出现块效应现象,不利于估算准确的背景光信息,所以通过导向滤波[13]对背景光图像进行进一步细化处理,滤波算法如下:

      $${B^c}\left( {x,y} \right) = \mathop {\min }\limits_{{\textit{z}} \in \varOmega \left( x \right)} \left( {{I^c}\left( {\textit{z}} \right)} \right)$$ (13)
      $$V = guidefilter\left( {B,p,r,eps} \right)$$ (14)

      式中:Ic (z)是探测器获取的强度图像;Ω(x)是在像素点x的窗口,其中c∈{r,g,b}是图像的通道;guidefilter(·)是导向滤波过程,通过背景光图像自身作为引导图;r是滤波半径,经过实验后选定为5;eps是极小数避免运算中出现分母为零的情况。

      $$\left\{ \begin{array}{l} {I_B} = \dfrac{2}{3}\left( {{V_0} + {V_{60}} + {V_{120}}} \right)\\ {Q_B} = \dfrac{2}{3}\left( {2{V_0} - {V_{60}} - {V_{120}}} \right)\\ {U_B} = \dfrac{{2\sqrt 3 }}{3}\left( {{V_{60}} - {V_{120}}} \right) \end{array} \right.$$ (15)

      将导向滤波优化处理后的三幅水下背景光图像V0V60V120代入公式(15)中可以计算水下背景光图像的Stokes矢量SB = [IB, QB, UB]T,通过公式(12)可以重构出全局变量背景光偏振度信息PB

    • 通过偏振图像复原机理可知背景光偏振度的估计精度和偏振光息息相关,当背景光偏振度估计精度有误时,会造成复原图像目标细节丢失,目标辐射光S和背景光B反应图像的不同信息,所以精确的PB应该使BS的关系越小越好。文中通过归一化互信息NMI[8]来衡量图像之间的关系:

      $$ \begin{split} NMI\left( {B,S} \right) =& \left( {\sum\limits_i {{p_i}\left( B \right){{\log }_2}{p_i}\left( B \right)} + } \right. \\ & \left. \sum\limits_j {{p_j}\left( S \right){{\log }_2}{p_j}\left( B \right)} \right) \Bigg{/} \\ &\sum\limits_i {\sum\limits_j {{p_{i,j}}\left( {B,S} \right){{\log }_2}{p_{i,j}}\left( {B,S} \right)} } \\ \end{split} $$ (16)

      式中:pi(·)是图像的灰度级i的分布概率;pi,j (B, S)是图像BS的联合概率分布,NMI (B, S)越大说明两者关联越大,所以精确的PBoptimal应为获得最小NMI时所对应的偏振度信息值:

      $${P_B}^{{\rm{optimal}}} = \arg \min NMI\left( {B,S} \right)$$ (17)
    • HE等人[13]通过选取暗通道图像中前0.1%亮度最高的像素点来估算无穷远处背景光值,为了减少一些不准确的像素值,该算法采用了像素的平均值来代替最终获取的无穷远处背景光值。

      $$ {B_\infty }{\rm{ = }}\frac{{\rm{1}}}{N}\sum {I\left( \varPhi \right)} $$ (18)

      式中:N是像素点的数目,此方法虽然避免了手动选取的繁琐与不确定性,但是容易受到水下主动光源的干扰。因此文中通过形态学的方法来估算水下无穷远处背景光值,基本思路为:对获取的强度图像进行形态学腐蚀,然后以腐蚀图像作为标记图像、强度图像作为模板进行图像重建,此时可以消除主动光源造成的高亮干扰点,但是由于部分无穷远处区域也会被误判进行腐蚀缩小,因此可以通过对重建的图像进行形态学膨胀将错误处理的无穷远处区域扩大,然后以膨胀后的图像取反作为标记图像、以腐蚀重建后的图像取反作为模板进行重建,对重建后的图像取反后求取其局部极大值,最终筛选出无穷远处背景光值。通过此算法不但计算简单,而且不会受到图像中主动光源等高亮干扰点的影响,避免了因为手动选取造成的误判区域,可以更加合理地估算水下无穷远处背景光值。

    • 通过旋转偏振片虽然能够得到特征信息差异明显的两幅偏振图像,但是无法实时获取图像。因此管今哥[14]提出了基于Stokes矢量的计算偏振差分水下实时成像系统,虽然解决了实时性问题,但现有的三通道偏振探测器[15]受制于自身的设计和组装,获取的三幅图像目标物都有着不同程度的位置偏差,需要通过图像配准进行处理,增大了工作量,且配准后仍会存在着位置差异,不利于图像复原。基于以上原因文中研制了单通道快速旋转偏振探测器。

    • 文中所研制的单通道快速旋转偏振探测器,通过检偏器获取三幅含有不同偏振特征信息的强度图像进行运算求取偏振参量。通过提高图像获取速率来提高偏振图像获取速率,偏振片旋转时,会对脉冲进行计数,当脉冲数达到设定值时,偏振片旋转角度约为60°。通过邻近的三幅偏振图像获取偏振参量,经测定偏振片旋转速度约为每秒12转,则拍摄速率可达36幅/s,满足设计要求。

    • 为了克服传统旋转偏振探测器[16]体积臃肿的问题,文中设计了机械结构紧凑的探测器,整体尺寸为:110 mm×95 mm×62 mm,安装镜头时的高度为91 mm。系统结构设计见图2,检偏器是结构设计中的重要元件,偏振片需要覆盖整个CCD相机的感光面,尽量使检偏器偏振片旋转轴接近镜头。探测器外壳分为上壳和底板两部分,其中上壳安装电机与电机驱动等元件,底板安装CCD相机与单片机,探测器实物图见图2

      图  2  偏振探测器

      Figure 2.  Polarization detector

    • 单通道偏振探测器软件系统主要分为三部分:分别是单片机程序、相机程序和上位机程序。上位机程序作为软件系统的指挥中心,可与相机通讯,接收并显示所获取的偏振图像。同时上位机程序通过控制相机上的以太网接口控制单片机程序。相机与PC端之间建立通讯,接收PC端的采集信号拍摄图像。将图像传回PC端,同时将上位机的指令通过指定接口转发给单片机,于单片机与上位机之间起到桥梁作用。单片机用于控制电机,并且触发相机在指定角度进行拍照。

      综上所述,以上三部分相互协作完成偏振图像的获取。系统通电,上位机通过以太网电缆与相机通信,对相机发出启动信号,相机通过指定的接口将信号传于单片机,之后单片机上指定端口开始发出脉冲驱动电机旋转,同时对脉冲进行计数,当数值达到设定值时,此时单片机对相机发出拍照信号,相机拍照后将获取的图像传输至上位机,最后通过Matlab离线处理偏振图像获取偏振参量,进而通过文中算法复原图像。系统程序流程框图如图3所示。

      图  3  系统程序流程框图

      Figure 3.  Flow chart of the system program

    • 模拟实际情况下的水下环境,主动光源为连续光谱的LED灯源,通过文中所研制的单通道快速旋转探测系统获取同一场景下的0°、60°和120°的偏振图像,探测目标为钥匙。为了控制水体介质的浓度[17],通过添加脱脂牛奶模拟不同浑浊度的水体情况。如图4所示,在实验过程中,主动光源产生均匀的亮度通过线偏振片,变为水平线偏振光照射到水下目标物上,经过目标的反射以及水下悬浮粒子的散射后,进入探测器镜头,最终将图像反呈到PC端进行图像处理。

      图  4  偏振成像装置实验模拟图

      Figure 4.  Schematic of experimental devices for polarization image

      此实验在暗室中进行,除主动光源外无其他光源混入。镜头并未放入水中,但是水中加入牛奶使得水中悬浮粒子增多,水质不均匀,所以光在水中传播时的散射和能量衰减比在空气中传播严重得多,水体中的衰减系数βw远大于空气中的衰减系数βa,因此光经目标物反射后通过短距离空气传播进入偏振探测器对于此实验推论并无影响。

      单通道快速旋转偏振探测系统所获取的三幅不同偏振角度的图像I0I60I120,由于系统结构的设计避免了图像配准的过程,显示结果如图5所示。

      图  5  单通道探测器所获取的偏振图像

      Figure 5.  Polarization image obtained by single channel detector

    • 为了验证文中方法的有效性,拍摄同一目标不同浓度情况下的偏振图像,将文中复原结果与Schechner法、暗通道方法以及LI法复原结果对比。Schechner法和LI法都需要手动选取区域来计算偏振参量。由于其算法所需的正交偏振图像都是通过手动旋转偏振片获取最大值图像(即图像最亮时)和最小值图像(即图像最暗时),人为主观性较强,容易导致实际获取的图像和理论需要的图像产生偏差,所以文中的正交偏振图像都是通过最大最小光强拟合法获取。为了验证文中算法在不同浓度介质情况下的复原效果,通过添加不同浓度牛奶来模拟高浓度和低浓度的水下环境。实验过程按照Schechner法、暗通道方法、LI法和文中算法这一顺序进行复原对比。

      图6(a)是高浓度情况下所获取的强度图,可以看出高浓度情况下,水体中介质浓度过高、介质不均匀,光在水中的吸收和散射情况变得更加严重,造成图像对比度低、目标细节不明显等结果。由于Schechner法和LI法都是通过手动选取部分区域来估算水下背景光偏振度值和水下无穷远处光值,将局部参量当作全局变量来计算,导致复原效果不理想。暗通道算法虽然在一定程度上复原了钥匙的轮廓,但是由于透射率信息估计偏大,使得整体图像偏暗不利于观察应用。文中方法将偏振度信息当做全局变量,通过最小值滤波重构每一个像素值对应的最优背景光信息,运用Stokes矢量计算背景光偏振度,合理解决了采用部分背景区域导致图像复原效果下降的问题。

      图  6  高浓度下复原图像

      Figure 6.  Image restoration under high concentration

      文中通过三种客观评价指标[18]信息熵、平均梯度和灰度方差对水下降质复原图像进行定量评价分析,最好的结果通过加粗表示。从表1可以看出,在浓度较高的情况下,Schechner法在客观评价指标上要低于强度图,这是由于浓度较高的情况下选取背景区域估算偏振参量偏离实际结果,导致复原效果变差。而文中算法通过客观评价指标证明结果要优于其他复原方法。

      表 1  高浓度图像复原算法指标对比结果

      Table 1.  Comparison results of high density image restoration algorithms

      Fig.6(a)Fig.6(b)Fig.6(c)Fig.6(d)Fig.6(e)
      Information entropy5.45054.94135.51116.62617.2706
      Average gradient0.54070.25941.16390.88522.9033
      Gray variance10.18877.62858.388622.253034.2354

      为了验证此算法在低浓度情况下的复原情况,通过单通道快速旋转探测器获取同一场景下同一目标物的偏振图像。见图7复原图像对比结果,可以看出文中算法在低浓度水体中,钥匙轮廓复原亦比较明显,钥匙颜色复原符合现实情况。

      图  7  低浓度下复原图像

      Figure 7.  Image restoration under low concentration

      通过表2可以看出在浓度较低的情况下,文中算法在信息熵、平均梯度和灰度方差等客观指标方面亦优于其他算法,由于Schechner法认为目标反射光是非偏振光,后向散射光是部分偏振光,此方法对于低偏物体(如:石头、塑料和木制品等)的复原效果较好,但是对于高偏目标(如金属钥匙)的效果会出现偏差,低浓度情况下金属钥匙的保偏特性较高,因此造成评价指标低于原始图像。而Li法是Schechner法的延伸算法,虽然预处理增强了原始图像的对比度,但是也增强了后向散射参量,复原图像效果会产生更大的偏差。

      表 2  低浓度图像复原算法指标对比结果

      Table 2.  Comparison results of low density image restoration algorithms

      Fig.7(a)Fig.7(b)Fig.7(c)Fig.7(d)Fig.7(e)
      Information entropy6.21145.79785.48285.01017.4050
      Average gradient0.82620.45691.25060.32381.4287
      Gray variance20.303914.691018.343410.331149.0291

      为了验证文中算法的普遍适用,采用非金属物(低偏振度物体)作为目标进行复原,通过加入不同浓度的脱脂牛奶获取同一目标物的不同浓度图像。通过主观视觉观察,可以看出文中算法复原的图像在对比度方面以及目标清晰度方面相较于原始浑浊图像都有着明显的提升。图8(b)是高浓度降质复原图像,图中文字相较于原始浑浊图像更加清晰,证明文中算法在复原高浓度情况下的非金属物有着良好的复原效果。

      图  8  不同浓度复原图像对比

      Figure 8.  Recovered image under different concentration

    • 文中通过分析目标物对偏振度的影响,结合偏振信息和水下成像模型,考虑到将偏振度作为全局不变量造成复原图像质量差等问题,提出最小值滤波估算全局背景光图像,进而通过Stokes矢量原理重构全局偏振度信息。通过数学形态学的方法计算水下无穷远背景光值,避免了光源点的干扰同时不需要手动选取区域。为了获取相应偏振图像,文中研制了单通道快速旋转偏振探测器,搭建水下环境模拟系统,方便实时快速获取水下偏振图像。通过主观及客观评价指标对不同算法获取的降质复原图像进行比较,结果显示文中算法在不同浓度介质情况下复原图像都有着较好的效果。研究结果为探究水下实时进行降质图像清晰化处理提供了研究基础。与此同时,文中降质图像复原方法受图像自身噪声影响,虽然图像中的目标物清晰化处理结果较为显著,但是图像中部分区域噪声也有着不同程度的放大,说明文中算法还有待加进。

参考文献 (18)

目录

    /

    返回文章
    返回