-
当光透过散射介质时,根据受到的散射程度不同,光子在散射介质中的传播可以分为弹道光子、蛇形光子和散射光子。其中,弹道光子几乎没有受到散射的作用,传播方向与入射光相同,传播路程最短,出射后保留了入射光子的大部分特征,而散射光子受到多重散射,传播路程较长,出射方向严重偏离了原来的入射状态,丢失了大部分入射光的初始特征,蛇形光子则介于两者之间。当散射较弱时,弹道光子和蛇形光子占据了图像传感器接收信号的主要成分,其表现为系统点扩散函数(PSF)的展宽。随着成像距离的增加,散射效应越来越强,当散射光子占据主导时,图像信息将难以解译,这就大大限制了光电系统的有效作用距离。
1976年,McCartney[7]基于计算机视觉与计算机图像理论提出了一种粗糙地描述大气散射的唯像模型,并由Narasimhan与Nayar等人[8-10]逐渐完善。该模型表示为:
式中:I为像面所收集到的退化图像的强度分布;(x,y)为二维平面坐标;t为大气透射率;O为受到散射之前的强度分布;A为大气干扰光项,即成像过程中光源照亮散射介质,被探测器所收集到的光。这样一种模型中目标被近似为了一种自发光的目标,而非被照亮的后反射。
然而在大气环境中,目标通常被环境光照亮,比如阳光。这意味着成像过程中被探测器所收集到的光由两部分组成,一部分是目标物体的反射,一部分是大气散射颗粒本身的反射和散射,图1(a)的光学模型很好地描述了这种成像过程。
Figure 1. (a) Schematic diagram of atmospheric optical imaging model; (b) Effect of foggy scenes on contrast
将气溶胶视为均匀的介质[11],光学模型可以表示为:
式中:等号右边第一项为直接衰减项;第二项为大气干扰光项。L∞为照明光,通常将其视为常数,即与位置(x,y)无关;ρ为场景中目标的反射率;β为大气衰减系数;d为目标与观测者之间的距离,可以发现e−βd(x,y)就是大气透射率t。
判断目标是否可见,需要将人的主观判断转换为依赖判据的客观判断。对比度就是一种衡量感知清晰程度的重要手段,它表征的是目标物体与图像中其余物体,也就是背景之间的相对强度差异。差异越大,对比越强,目标就越清晰。因此,人眼无法识别用白色颜料在白纸上写的字;墨水滴入墨水瓶中就再也找不到。如图1(b)所示,大气的散射会导致对比度的直接下降。根据大气光学成像模型[12],在大气散射条件下,光学图像的对比度随着光学厚度βd的增加成指数下降的趋势。令清晰无雾场景下目标的固有对比度C0为:
使用公式(1)中大气散射模型,在基线长度L、透射率为t的大气下,可以得到散射后目标强度Iobj,sca与散射后背景强度Ibg,sca:
此时,接收端目标在背景中的对比度CL为:
由公式(6)可以看出,透射率的降低或大气干扰光的增强,都会导致接收端目标对比度的降低。这也就意味着背景干扰与目标信号之间的差异因散射而弱化,所以探测器的信号分辨能力对强散射背景下的有效信息提取至关重要。
探测器对信号的分辨能力主要由动态范围与模数转换的位深共同决定。将一个像素视为盛水的桶,完全没有光子输入时会呈现黑电平状态,而像素中光电效应产生的电子如果存储太满就会溢出。当收集的电子刚好占满像素,新入射的光子就不能被分辨,此时,像素的电平达到最大值,这个电平也被称为白电平。这个最大电子数的限制也被称作满阱。在每次探测时电路中的各种噪音与残余电荷等各种因素都会使得输出的数值与真实情况有所偏差,这样的偏差就是读出噪音。动态范围描述了探测器在一次探测时最大和最小可测量光强度之间的比率,即对应着满阱电子数与读出噪音之比。
通常,位深比其动态范围更为充裕。所以,对于接收端的目标像素块与背景像素块,只有当其对比度大于动态范围所限制的最小精度时,目标才有可能从背景中被识别出来。
这也意味着在大气散射条件下,探测器从背景中分辨目标需要有以下关系:
式中:DR为探测器动态范围,如果不满足上式,那么微弱的强度差异就会受动态范围所限制,而不能够给出有效的输出数值差异。上式取等时即为对动态范围充分利用,有可能实现去雾成像的极限条件。
根据对比度随光学厚度衰减的规律,有:
由此可得对动态范围为DR的探测器,可能实现成像的极限光学厚度为:
利用中国气象局物资管理处的能见度实验室,建立了20 m的人造雾气环境对以上关系进行验证。采用表1所示三种不同动态范围的相机进行实验,能见度测量精度1 m,雾舱结构示意图与内部实景如图2所示。雾气稳定时,分别使用三个相机拍摄不同能见度下的目标图像,并明确其能成功透雾成像的极限能见度。图像拍摄后,均使用直方图均衡化算法进行处理,以极限对比度为恢复能力判据,获得了各相机数据可以实现成像的极限能见度,见表1。
Camera model Hamamatsu C11440-22 CU FLIR Blackfly S
BFS-U3-51 S5Basler acA2040-90 uc Sensor type sCMOS CMOS CMOS Sensor model N/A Sony IMX250 CMOSIS CMV4000 Full well capacity/e− 30000 10330 11900 Readout noise/e− 0.8 2.3 13.8 Dynamic range 37500∶1 4491∶1 862:1 Pixel bit depth/bits 16 10, 12 16 The lowest visibility of imaging can be achieved/m 7 10 12 Table 1. Camera parameters for the experiment
成像极限能力效果如图3(a)~(f)所示。实验中FLIR相机与Basler相机的实际利用动态范围都小于标称值。这是由于两款相机的曝光控制较差,难以调整合适曝光量使得其逼近满阱而不过曝。而Hamamatsu相机曝光控制精度高,实际可用动态范围更容易贴近标称值。如图3(g)所示,实验结果与理论模拟吻合良好,其实现的极限动态范围-能见度透雾成像关系与理论值基本一致。动态范围越大,其恢复质量越好,能实现透雾成像的极限能见度越低。
Figure 3. (a), (b) Hamamatsu C11440-22 CU original image and recovery results at 7 m visibility; (c), (d) FLIR Blackfly S BFS-U3-51 S5 original image and recovery results at 10 m visibility; (e), (f) Basler acA2040-90 uc original image and recovery results at 12 m visibility; (g) Relationship between optical thickness of the medium and dynamic range. The red line is the theoretical relationship calculated by Equation (9), and the black point is the experimental results in fog cabin
Image perception, fusion and visualization technology in strong scattering condition
doi: 10.3788/IRLA20220418
- Received Date: 2022-06-18
- Rev Recd Date: 2022-07-14
- Available Online: 2022-08-31
- Publish Date: 2022-08-31
-
Key words:
- scattering imaging /
- image fusion /
- stereoscopic vision /
- perceptual enhancement
Abstract: Visual information is an important means for human beings to perceive the surrounding environment. With the great expansion of human “field of view” by optical imaging and image processing technology, the way people acquire images has broken through the limitations of the naked eye. The scattering effect leads to a significant decrease in the working distance of the optical imaging system, making it difficult to effectively observe long-range targets. Human perception of image information is usually completed by focusing, correction and stereoscopic view synthesis, which are coupled with each other. Among them, the processes of focusing and binocular image information correction can be optimized by means of optical systems and digital image processing. With the improvement of contrast under strong scattering background, the image information under scattering conditions can be perceived and analyzed. However, limited by current technology, the ability of machine stereoscopic vision is difficult to reach human level, resulting in the human visual system still being an important terminal for image perception and analysis. It is foreseeable that in order to achieve accurate acquisition and analysis of optical image information under low visibility conditions, it is still necessary to develop a global optimization technology for stereoscopic vision through the combination of human vision and machine. This study mainly introduces the physical limitations and key factors influencing the optical imaging and image fusion under turbid atmosphere or water, and presents an outlook on the role of human stereopsis in improving optical imaging capabilities.