-
通过分析光的散射特性和成像原理,可知偏振成像系统所接收到的信息由直接分量、前向散射分量和后向散射分量所构成,其原理如图1所示。直接分量是入射光源通过目标表面反射后直接进入成像系统中,所以包含了大量目标信息特征。后向散射分量是经过水中悬浮粒子等介质散射后,进入成像系统中形成背景光。
前向散射分量是入射光源经目标反射后,在进入成像系统之前经过水中悬浮粒子散射。由于前向散射分量在近距离成像时受水中介质影响较小,所以文中实验中并未考虑前向散射,忽略前向散射分量后的数学表达式为:
$${I_{{\rm{total}}}}\left( {x,y} \right) = S\left( {x,y} \right) + B\left( {x,y} \right)$$ (1) 式中:Itotal (x, y)是通过偏振成像系统获取的原始图像;S (x, y)是目标反射光,定义为:
$$S\left( {x,y} \right) = J\left( {x,y} \right)t\left( {x,y} \right)$$ (2) 式中:J (x, y)是指水下目标未经过衰减的强度图(即复原出的清晰图像)。t (x, y) = e−β (x, y)d (x, y)是透射率信息,其中β (x, y)是因为吸收和散射作用而损失能量的总衰减系数,当近距离水下成像时,假设水体中的介质均匀分布,通过简化 β (x, y),默认水体中总衰减系数是定量,为 β (x, y) = β。d (x, y)是指水下目标和成像系统之间的距离。
B (x, y)是入射光经水体粒子散射后进入探测器镜头的水下背景光,表达式为:
$$B(x, y)=B_{\infty}(1-t(x, y))$$ (3) 式中:B∞指的是无穷远处背景光值。通过公式(3)可以获取透射率的表达式为:
$$t\left( {x,y} \right) = 1 - \frac{{B\left( {x,y} \right)}}{{{B_\infty }}}$$ (4) 由于水中悬浮粒子对传输光的吸收和散射作用,改变了目标物的偏振特性。以主动光源、水中介质和探测器三点定义入射面,总光强图像Itotal (x, y)可以分为平行入射平面的最大光强图像Imax与垂直入射平面的最小光强图像Imin,同理水下背景光强也可以分为平行入射平面的最大光强图像Bmax与垂直入射平面的最小光强图像Bmin,由公式(1)可知光强图像的最大光强和最小光强图像表达式如下:
$${I_{\max }}\left( {x,y} \right) = S/2 + {B_{\max }}\left( {x,y} \right)$$ (5) $${I_{\min }}\left( {x,y} \right) = S/2 + {B_{\min }}\left( {x,y} \right)$$ (6) 通过公式(5)~(6)可知Itotal (x, y) = Imax(x, y) + Imin(x, y),同理B(x, y) = Bmax(x, y) + Bmin(x, y)。通过偏振度的定义可知水下目标偏振度PI (x, y)为:
$${P_I}\left( {x,y} \right){\rm{ = }}\frac{{{I_{\max }}\left( {x,y} \right) - {I_{\min }}\left( {x,y} \right)}}{{{I_{\max }}\left( {x,y} \right) + {I_{\min }}\left( {x,y} \right)}}$$ (7) 水下背景光偏振度PB (x, y)为:
$${P_B}\left( {x,y} \right){\rm{ = }}\frac{{{B_{\max }}\left( {x,y} \right) - {B_{\min }}\left( {x,y} \right)}}{{{B_{\max }}\left( {x,y} \right) + {B_{\min }}\left( {x,y} \right)}}$$ (8) 联立公式(5)~(8)可知:
$${P_I}\left( {x,y} \right){I_{{\rm{total}}}}\left( {x,y} \right) = {P_B}\left( {x,y} \right)B\left( {x,y} \right)$$ (9) 为了表达方便,省略了坐标量(x,y),根据公式(1)~(9)可以换算出待求解的复原图像的表达式:
$$J\left( {x,y} \right) = \frac{{{I_{{\rm{total}}}} - {P_I}{I_{{\rm{total}}}}/{P_B}}}{{1 - {P_I}{I_{{\rm{total}}}}/\left( {{P_B}{B_\infty }} \right)}}$$ (10) 经过上述推导可知,在求解Itotal、PI、PB和B∞四个参量之后可以得到清晰化后的水下图像。
-
水下偏振复原方法主要是通过提取目标偏振特征信息来复原图像。而光的偏振信息可由Stokes矢量[10](I、Q、U、V)来描述,其中V代表圆偏振光的信息。文中方法主要依赖于线偏振光,所以假设圆偏振参量V = 0。偏振度信息可以通过三幅不同偏振角度的图像来获取,而每一个偏振角度的光强图像表达式为:
$$ I\left( \alpha \right) = \left( {I + Q\cos 2\alpha + U\sin 2\alpha } \right)/2 $$ (11) 式中:α是指检偏器偏振方向与标准方向之间的夹角,通过三幅不同偏振角度的图像便可以求解出矢量参数I、Q、U,也可以求解处于不同偏振角度时的光强图像I (α)。为方便求解矢量参数,文中采用0°、60、120°三个方向的偏振图像。求取偏振度的表达式为:
$$ P = \frac{{\sqrt {{Q^2} + {U^2}} }}{I} $$ (12) -
传统的水下偏振复原方法[7-8]都是通过选取图像中的无穷远处区域来代替水下背景光区域,从而计算背景光偏振度,并没有考虑场景深度及不同目标物对于偏振度的影响,只是简单地将局部背景光偏振度当成全局不变量来计算,结果造成图像复原效果下降。图像滤波处理[11-12]在大部分非偏图像上应用广泛,尤其是在处理雾天图像透射率等方面。文中算法通过最小值滤波,对于偏振图像进行逐像素值的滤波处理估算背景光信息,并通过Stokes矢量法求取全局变量的背景光偏振度。为了获取全局变量的背景光信息B,对三幅不同角度的偏振图像进行最小值滤波处理来获取相应偏振角度的水下背景光图像B0、B60、B120,但是通过最小值滤波处理后的图像会出现块效应现象,不利于估算准确的背景光信息,所以通过导向滤波[13]对背景光图像进行进一步细化处理,滤波算法如下:
$${B^c}\left( {x,y} \right) = \mathop {\min }\limits_{{\textit{z}} \in \varOmega \left( x \right)} \left( {{I^c}\left( {\textit{z}} \right)} \right)$$ (13) $$V = guidefilter\left( {B,p,r,eps} \right)$$ (14) 式中:Ic (z)是探测器获取的强度图像;Ω(x)是在像素点x的窗口,其中c∈{r,g,b}是图像的通道;guidefilter(·)是导向滤波过程,通过背景光图像自身作为引导图;r是滤波半径,经过实验后选定为5;eps是极小数避免运算中出现分母为零的情况。
$$\left\{ \begin{array}{l} {I_B} = \dfrac{2}{3}\left( {{V_0} + {V_{60}} + {V_{120}}} \right)\\ {Q_B} = \dfrac{2}{3}\left( {2{V_0} - {V_{60}} - {V_{120}}} \right)\\ {U_B} = \dfrac{{2\sqrt 3 }}{3}\left( {{V_{60}} - {V_{120}}} \right) \end{array} \right.$$ (15) 将导向滤波优化处理后的三幅水下背景光图像V0、V60、V120代入公式(15)中可以计算水下背景光图像的Stokes矢量SB = [IB, QB, UB]T,通过公式(12)可以重构出全局变量背景光偏振度信息PB。
-
通过偏振图像复原机理可知背景光偏振度的估计精度和偏振光息息相关,当背景光偏振度估计精度有误时,会造成复原图像目标细节丢失,目标辐射光S和背景光B反应图像的不同信息,所以精确的PB应该使B和S的关系越小越好。文中通过归一化互信息NMI[8]来衡量图像之间的关系:
$$ \begin{split} NMI\left( {B,S} \right) =& \left( {\sum\limits_i {{p_i}\left( B \right){{\log }_2}{p_i}\left( B \right)} + } \right. \\ & \left. \sum\limits_j {{p_j}\left( S \right){{\log }_2}{p_j}\left( B \right)} \right) \Bigg{/} \\ &\sum\limits_i {\sum\limits_j {{p_{i,j}}\left( {B,S} \right){{\log }_2}{p_{i,j}}\left( {B,S} \right)} } \\ \end{split} $$ (16) 式中:pi(·)是图像的灰度级i的分布概率;pi,j (B, S)是图像B和S的联合概率分布,NMI (B, S)越大说明两者关联越大,所以精确的PBoptimal应为获得最小NMI时所对应的偏振度信息值:
$${P_B}^{{\rm{optimal}}} = \arg \min NMI\left( {B,S} \right)$$ (17) -
HE等人[13]通过选取暗通道图像中前0.1%亮度最高的像素点来估算无穷远处背景光值,为了减少一些不准确的像素值,该算法采用了像素的平均值来代替最终获取的无穷远处背景光值。
$$ {B_\infty }{\rm{ = }}\frac{{\rm{1}}}{N}\sum {I\left( \varPhi \right)} $$ (18) 式中:N是像素点的数目,此方法虽然避免了手动选取的繁琐与不确定性,但是容易受到水下主动光源的干扰。因此文中通过形态学的方法来估算水下无穷远处背景光值,基本思路为:对获取的强度图像进行形态学腐蚀,然后以腐蚀图像作为标记图像、强度图像作为模板进行图像重建,此时可以消除主动光源造成的高亮干扰点,但是由于部分无穷远处区域也会被误判进行腐蚀缩小,因此可以通过对重建的图像进行形态学膨胀将错误处理的无穷远处区域扩大,然后以膨胀后的图像取反作为标记图像、以腐蚀重建后的图像取反作为模板进行重建,对重建后的图像取反后求取其局部极大值,最终筛选出无穷远处背景光值。通过此算法不但计算简单,而且不会受到图像中主动光源等高亮干扰点的影响,避免了因为手动选取造成的误判区域,可以更加合理地估算水下无穷远处背景光值。
-
模拟实际情况下的水下环境,主动光源为连续光谱的LED灯源,通过文中所研制的单通道快速旋转探测系统获取同一场景下的0°、60°和120°的偏振图像,探测目标为钥匙。为了控制水体介质的浓度[17],通过添加脱脂牛奶模拟不同浑浊度的水体情况。如图4所示,在实验过程中,主动光源产生均匀的亮度通过线偏振片,变为水平线偏振光照射到水下目标物上,经过目标的反射以及水下悬浮粒子的散射后,进入探测器镜头,最终将图像反呈到PC端进行图像处理。
此实验在暗室中进行,除主动光源外无其他光源混入。镜头并未放入水中,但是水中加入牛奶使得水中悬浮粒子增多,水质不均匀,所以光在水中传播时的散射和能量衰减比在空气中传播严重得多,水体中的衰减系数βw远大于空气中的衰减系数βa,因此光经目标物反射后通过短距离空气传播进入偏振探测器对于此实验推论并无影响。
单通道快速旋转偏振探测系统所获取的三幅不同偏振角度的图像I0、I60、I120,由于系统结构的设计避免了图像配准的过程,显示结果如图5所示。
-
为了验证文中方法的有效性,拍摄同一目标不同浓度情况下的偏振图像,将文中复原结果与Schechner法、暗通道方法以及LI法复原结果对比。Schechner法和LI法都需要手动选取区域来计算偏振参量。由于其算法所需的正交偏振图像都是通过手动旋转偏振片获取最大值图像(即图像最亮时)和最小值图像(即图像最暗时),人为主观性较强,容易导致实际获取的图像和理论需要的图像产生偏差,所以文中的正交偏振图像都是通过最大最小光强拟合法获取。为了验证文中算法在不同浓度介质情况下的复原效果,通过添加不同浓度牛奶来模拟高浓度和低浓度的水下环境。实验过程按照Schechner法、暗通道方法、LI法和文中算法这一顺序进行复原对比。
图6(a)是高浓度情况下所获取的强度图,可以看出高浓度情况下,水体中介质浓度过高、介质不均匀,光在水中的吸收和散射情况变得更加严重,造成图像对比度低、目标细节不明显等结果。由于Schechner法和LI法都是通过手动选取部分区域来估算水下背景光偏振度值和水下无穷远处光值,将局部参量当作全局变量来计算,导致复原效果不理想。暗通道算法虽然在一定程度上复原了钥匙的轮廓,但是由于透射率信息估计偏大,使得整体图像偏暗不利于观察应用。文中方法将偏振度信息当做全局变量,通过最小值滤波重构每一个像素值对应的最优背景光信息,运用Stokes矢量计算背景光偏振度,合理解决了采用部分背景区域导致图像复原效果下降的问题。
文中通过三种客观评价指标[18]信息熵、平均梯度和灰度方差对水下降质复原图像进行定量评价分析,最好的结果通过加粗表示。从表1可以看出,在浓度较高的情况下,Schechner法在客观评价指标上要低于强度图,这是由于浓度较高的情况下选取背景区域估算偏振参量偏离实际结果,导致复原效果变差。而文中算法通过客观评价指标证明结果要优于其他复原方法。
表 1 高浓度图像复原算法指标对比结果
Table 1. Comparison results of high density image restoration algorithms
Fig.6(a) Fig.6(b) Fig.6(c) Fig.6(d) Fig.6(e) Information entropy 5.4505 4.9413 5.5111 6.6261 7.2706 Average gradient 0.5407 0.2594 1.1639 0.8852 2.9033 Gray variance 10.1887 7.6285 8.3886 22.2530 34.2354 为了验证此算法在低浓度情况下的复原情况,通过单通道快速旋转探测器获取同一场景下同一目标物的偏振图像。见图7复原图像对比结果,可以看出文中算法在低浓度水体中,钥匙轮廓复原亦比较明显,钥匙颜色复原符合现实情况。
通过表2可以看出在浓度较低的情况下,文中算法在信息熵、平均梯度和灰度方差等客观指标方面亦优于其他算法,由于Schechner法认为目标反射光是非偏振光,后向散射光是部分偏振光,此方法对于低偏物体(如:石头、塑料和木制品等)的复原效果较好,但是对于高偏目标(如金属钥匙)的效果会出现偏差,低浓度情况下金属钥匙的保偏特性较高,因此造成评价指标低于原始图像。而Li法是Schechner法的延伸算法,虽然预处理增强了原始图像的对比度,但是也增强了后向散射参量,复原图像效果会产生更大的偏差。
表 2 低浓度图像复原算法指标对比结果
Table 2. Comparison results of low density image restoration algorithms
Fig.7(a) Fig.7(b) Fig.7(c) Fig.7(d) Fig.7(e) Information entropy 6.2114 5.7978 5.4828 5.0101 7.4050 Average gradient 0.8262 0.4569 1.2506 0.3238 1.4287 Gray variance 20.3039 14.6910 18.3434 10.3311 49.0291 为了验证文中算法的普遍适用,采用非金属物(低偏振度物体)作为目标进行复原,通过加入不同浓度的脱脂牛奶获取同一目标物的不同浓度图像。通过主观视觉观察,可以看出文中算法复原的图像在对比度方面以及目标清晰度方面相较于原始浑浊图像都有着明显的提升。图8(b)是高浓度降质复原图像,图中文字相较于原始浑浊图像更加清晰,证明文中算法在复原高浓度情况下的非金属物有着良好的复原效果。
Underwater degraded image–sharpening method based on optimal polarization parameter reconstruction
-
摘要: 针对水体浑浊情况下,水中悬浮粒子对光的吸收和散射作用造成图像模糊、对比度低等问题,提出了一种偏振参数最优重构的水下降质图像清晰化方法。首先,通过局部最小值滤波估算水下背景光图像,引入 Stokes 矢量原理计算偏振度,通过归一化互信息进一步优化偏振度信息,获取成像区域最优的重构偏振参数;其次,采用形态学的方法重建图像自动估计水下无穷远处背景光值;最后,搭建了水下环境模拟平台,通过单通道偏振探测器实时获取水下偏振图像;为了验证算法的有效性,通过三种客观评价指标与其他复原方法进行比较,结果显示算法效果优于其他的水下图像复原方法。Abstract: In order to solve the problems of blurred image and low contrast caused by the absorption and scattering of underwater light by turbid water, an algorithm of underwater image optimal restoration based on global polarization parameter estimation was proposed. Firstly, the local minimum filter was used to estimate the underwater background light image, Stokes vector principle was introduced to calculate the degree of polarization image, and normalized mutual information was used to further optimize the degree of polarization information, to obtain the best reconstructed polarization parameters in the imaging region. Secondly, a method of image reconstruction based on morphology was used to estimate the infinite underwater background light intensity values automatically. Finally, the underwater simulated environment platform was built, and the underwater polarization image was acquired in real time through a single channel fast rotating polarization detector. In order to verify the effectiveness of the algorithm, the three objective evaluation indexes were adopted as quantification to evaluate indexes factors. The results show that the algorithm is better than the other underwater image restoration methods.
-
表 1 高浓度图像复原算法指标对比结果
Table 1. Comparison results of high density image restoration algorithms
Fig.6(a) Fig.6(b) Fig.6(c) Fig.6(d) Fig.6(e) Information entropy 5.4505 4.9413 5.5111 6.6261 7.2706 Average gradient 0.5407 0.2594 1.1639 0.8852 2.9033 Gray variance 10.1887 7.6285 8.3886 22.2530 34.2354 表 2 低浓度图像复原算法指标对比结果
Table 2. Comparison results of low density image restoration algorithms
Fig.7(a) Fig.7(b) Fig.7(c) Fig.7(d) Fig.7(e) Information entropy 6.2114 5.7978 5.4828 5.0101 7.4050 Average gradient 0.8262 0.4569 1.2506 0.3238 1.4287 Gray variance 20.3039 14.6910 18.3434 10.3311 49.0291 -
[1] Wang Xinwei, Sun Liang, Wang Minmin, et al. Deblurring methods for underwater 2D and 3D range-gated imaging [J]. Infrared and Laser Engineering, 2020, 49(2): 0203002. (in Chinese) [2] Wang Y L, Zhou Y N, Wang S X, et al. Enhancement of spatial resolution of ghost imaging via localizing and thresholding [J]. Chinese Physics B: English version, 2019, 28(4): 190-195. [3] Zhang Qican, Wu Zhoujie. Three-dimensional imaging technique based on Gray-coded structured illumination[J]. Infrared and Laser Engineering, 2020, 49(3): 0303004. (in Chinese). [4] He K, Sun J, Tang X, et al. Single image haze removal using dark channel prior [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2341-2353. [5] Galdran A, Pardo D, Gila A, et al. Automatic red-channel underwater image restoration [J]. Journal of Visual Communication & Image Representation, 2015: 26. [6] Zhao X, Jin T, Qu S. Deriving inherent optical properties from background color and underwater image enhancement [J]. Ocean Engineering, 2015, 94: 163-172. doi: 10.1016/j.oceaneng.2014.11.036 [7] Schechner Y Y, Karpel N. Recovery of underwater visibility and structure by polarization analysis [J]. IEEE Journal of Oceanic Engineering, 2006, 30(3): 570-587. [8] Treibitz T, Schechner Y Y. Active polarization descattering [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2009, 31(3): 385-399. [9] Li X B, Hu H F, Zhao L, et al. Polarimetric image recovery method combining histogram stretching for underwater imaging [J]. Scientific Reports, 2018, 8(1): 12430. [10] Gu Y, Carrizo C, Gilerson A A, et al. Polarimetric imaging and retrieval of target polarization characteristics in underwater environment [J]. Applied Optics, 2016, 55(3): 626-637. doi: 10.1364/AO.55.000626 [11] Amer K O, Elbouz M, Alfalou A, et al. Enhancing underwater optical imaging by using a low-pass polarization filter [J]. Optics Express, 2019, 27(2): 621. doi: 10.1364/OE.27.000621 [12] Serikawa S, Lu H. Underwater image dehazing using joint trilateral filter [J]. Computers & Electrical Engineering, 2014, 40(1): 41-50. [13] He K, Sun J, Tang X. Guided image filtering [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(6): 1397-1409. [14] Guan J G, Zhu J P, Tian H, et al. Real-time polarization difference underwater imaging based on Stokes vector [J]. Acta Physica Sinica, 2015, 64(22): 141-147. [15] Huai Y, Fan Z G, Sun J, et al. Calibration of the three links prism simultaneous polarization measurement system [J]. Opto-Electronic Engineering, 2015, 42(11): 18-24. [16] Lu H, Zhao K C, Ma Q, et al. Design and implementation of detection system for skylight polarized pattern using continuously spinning polarization analyzer [J]. Journal of Astronautics, 2014, 35(9): 1087-1094. [17] Han P L, Liu F, Yang K, et al. Active underwater descattering and image recovery [J]. Applied Optics, 2017, 56(23): 6631. [18] Yang M, Sowmya A. New image quality evaluation metric for underwater video [J]. IEEE Signal Processing Letters, 2014, 21(10): 1215-1219. doi: 10.1109/LSP.2014.2330848