-
实验装置如图1所示,氦氖激光器(Thorlab,HNL210 LB)发射波长为632.8 nm的激光经过由L1,L2两个透镜组成的扩束系统后,通过线偏振片P,由分束器BS将照射在空间光调制器SLM(Holoeye, Pluto VIS-006)的光束反射进入浑浊介质中,空间光调制器上加载MINST手写数字集[38]作为暗场图像,在未添加散射介质时,调节凸透镜L3,使CCD(Pike F421 B, AVT)采集到清晰的像后,固定L3与CCD,之后依次添加不同散射介质,由电脑存储经过浑浊介质的散射图像。为了测试pix2pix网络在不同浑浊介质(Set 1~3)条件下的普遍适用性,及散射介质浓度(Set 3~6)对物体恢复的影响,实验中添加的浑浊介质如表1所示。
Figure 1. Schematic of experimental setup. L, lens; P, polarizer; BS, beam splitter; SLM, spatial light modulator; CCD, charge-coupled device
Scattering medium Set 1 Sea salt Set 2 Calcium carbonate Set 3 Polystyrene (250 mg/10 mL, 2 mL) Set 4 Polystyrene (250 mg/10 mL, 1.5 mL) Set 5 Polystyrene (250 mg/10 mL, 1 mL) Set 6 Polystyrene (250 mg/10 mL, 0.5 mL) Table 1. Scattering medium added in the turbid water
水箱中的浑浊介质由表中所示的各种散射介质与3000 mL纯净水均匀混合而成,水箱的尺寸为240 mm×155 mm×150 mm ,激光穿过水箱的长度为155 mm。Set 1中的海盐添加质量为1000 g;Set 2中为了防止超细微碳酸钙(平均粒径0.02 μm)的沉淀,加入了500 g的聚乙二醇以增加水体粘稠度,最后加入0.15 g超细微碳酸钙以达到较为明显的散射效应;Set 3~6分别为含有不同浓度的聚苯乙烯微球(平均粒径2 μm)悬浊液。实验中,使用空间光调制器依次加载MINST手写数字集中的10000张不同风格的手写数字图片,每组浑浊介质均采集10000张散斑图像,并将加载的手写数字图片作为真实值(Ground truth)与散斑图像随机分割为训练集与测试集输入网络进行训练测试。
-
文中使用了三种评价方法以评估网络恢复图像的性能,三种评价方法分别为结构相似性(Structural similarity,SSIM)[42],皮尔逊线性相关系数(Pearson correlation coefficient, PCC)[43]及峰值信噪比(Peak signal to noise ratio, PSNR)[42]。三种评价方法的定义分别为:
式中:
${\mu _x}$ 、${\mu _y}$ 分别为x、y的均值;$\sigma _x^2$ 、$\sigma _y^2$ 分别为x、y的方差;${\sigma _{xy}}$ 为x,y的协方差;${c_1} = {\left( {{k_1}L} \right)^2}$ 、${c_{\text{2}}} = {\left( {{k_{\text{2}}}L} \right)^2}$ 为两个常数,避免公式(3)分母为0,其中L为像素值范围,${k_1}$ =0.01,${k_{\text{2}}}$ =0.03。式中:
$\overline A$ 和$\overline B$ 分别为原图A与散斑图B的像素平均值;$A\left( {i,j} \right)$ 与$B\left( {i,j} \right)$ 分别为原图A与散斑图B的第 i行、第j列像素值。式中:
$MSE$ 为均方误差;$ MA{X_I} $ 为图片可能的最大像素值,此处最大像素值为255。 -
实验在三种不同散射介质条件下分别采集了10000张散斑图像,按海盐、碳酸钙、聚苯乙烯的顺序分别命名为Set 1,Set 2以及Set 3,每组随机选择8000张散斑图像作为训练集输入网络进行训练,剩余2000张作为测试集测试网络的恢复效果,并使用上述三种评价方法对网络恢复的图像进行评估。图3展示了在三种不同的散射介质条件下,CCD所采集到的散斑图像及由其恢复的图像:Set 1中的散斑由于加入海盐后导致溶液折射率变化,成像面偏离CCD感光面,在海盐中杂质的共同作用下,因此散斑呈无规则分布,展示的0~9的手写数字恢复图像中SSIM最小值为0.94;Set 2中散斑图像具有较多颗粒状散斑,图像细节及轮廓信息损失严重,经过网络恢复后,展示的0~9的手写数字恢复图像SSIM均大于0.9;Set 3中物体信息损失严重,散斑图中的散斑颗粒细密,展示的0~9的手写数字恢复图像中SSIM最小值为0.85。
-
在实验过程中发现,海盐悬浊液在高浓度条件下,其散射效果远不如碳酸钙悬浊液及聚苯乙烯悬浊液;碳酸钙悬浊液在水中极易产生大量沉淀,加入的聚乙二醇同样会使悬浊液产生分层现象,不同的折射率同样影响光束的成像效果;聚苯乙烯微球悬浊液同时具有较高的散射能力和不易沉淀的特点。因此,选用聚苯乙烯微球继续采集了另外三种浓度条件下的散斑图像,以研究散射介质在不同浓度条件下对图像重构的影响。
实验基于Set 3的基础上,逐渐降低聚苯乙烯微球在水中的浓度后,获得了Set 4~6共三组数据集,每组同样分别采集10000张散斑图像,随机选择8000张散斑图像输入网络用于训练,剩余2 000张用于测试网络恢复性能,以对比散射介质浓度对网络恢复的效果。
如图4所示,在低浓度下(Set 5及Set 6),物体的主体形状及轮廓可见,但图像整体对比度较低,与原图对比细节损失严重;在较高浓度下(Set 3及Set 4),CCD所采集的物体图像轮廓难以分辨,且光束周边的杂散光较多,图像散斑颗粒细密,图像特征不明显。网络在不同浓度条件下使用相同的学习率及迭代次数训练后,均获得了较高保真度的图像,且随着浓度下降,重构图像的细节与原图相比也更加丰富,图像结构相似度提升。
Figure 4. Ground truth, speckle patterns and reconstructed images of polystyrene suspension with different concentrations (Set 3-6). Values of SSIM are marked in the upper left corner of the reconstructed images
分别计算Set 1~6的平均SSIM,PCC及PSNR如图5及表2所示,Set 1~3中海盐悬浊液获得的重构效果最佳,聚苯乙烯悬浊液的重构效果略差;而在Set 3~6中,随着聚苯乙烯浓度下降,散斑图像包含的信息特征损失减小,网络重构图像细节增强且与原图相似度提高,其SSIM、PSNR及PCC得到显著提高。
SSIM PCC PSNR/dB Set 1 0.951 0.940 18.733 Set 2 0.92 0.923 16.934 Set 3 0.886 0.829 14.814 Set 4 0.925 0.891 16.681 Set 5 0.939 0.933 18.614 Set 6 0.951 0.957 20.462 Table 2. Values of SSIM, PCC, and PSNR of Set 1-6
-
此外,考虑到浑浊介质在某些场景下的浑浊浓度并非恒定不变,实验为了模拟此场景,分别从四组不同聚苯乙烯浓度条件所采集的数据集中各选择2500张,组合为一个共计10000张、具有四种浓度条件散斑图像的数据集(Set 3~6 mixed)。网络同样以8000张散斑图作为训练集进行训练,剩下2 000张作为测试集测试。最终测试集获得的结果如图6所示。
Figure 6. Ground truth, speckle patterns and reconstructed images of polystyrene suspension with different concentrations (Set 3-6). Values of SSIM are marked in the upper left corner of the reconstructed images
如图6所示,按照浓度由低到高,以手写数字0~9的顺序,依次选择了以上散斑图及其对应的恢复图像作为展示。结果表明,pix2pix在多种浓度条件下,依然能够保持较好的恢复效果,其SSIM高达0.97,在高质量恢复散斑图像的同时还具有较好的泛化能力。
文中的pix2pix网络使用的激活函数为ReLU,且在训练至第10及第16代时,学习率分别衰减5倍,利于网络的重构效果,网络训练过程中使用不同的激活函数,以及使用学习率下降训练策略,获得的网络损失函数变化曲线,及网络在测试集重构图像的评价指标如图7及表3所示。
Figure 7. Loss evolution of the training loss, ReLU_down: using activation function of ReLU, learning rate of the optimizer decays; LeakyReLU_down: using activation function of LeakyReLU, learning rate of the optimizer decays; ReLU: using activation function of ReLU, learning rate of the optimizer unchanged
由图7及表3对比,在激活函数同样使用ReLU时,使用优化器学习率下降训练策略的ReLU_down在损失下降及测试集评价中表现均优于学习率不变的ReLU组;而对比使用LeakyReLU激活函数的pix2pix,使用ReLU激活函数在学习率下降或不变的情况下,调整后的pix2pix均优于LeakyReLU。
SSIM PCC PSNR/dB ReLU_down 0.932 0.897 17.639 LeakyReLU_dwon 0.906 0.86 16.273 ReLU 0.928 0.893 17.564 Table 3. Evaluation index of the reconstructed images of test set in different training methods
此外使用不包含判别器的U-net对Set 3~6 mixed数据集进行图像重构,该U-net结构与pix2pix中生成器的结构相同,并且采用相同的训练策略,获得的恢复效果如表4所示:
SSIM PCC PSNR/dB pix2pix 0.932 0.897 17.639 U-net 0.832 0.809 13.088 Table 4. SSIM, PCC, and PSNR of Set 3-6 mixed used pix2pix and U-net, respectively
为了验证网络对其他非数字图像具有同样的恢复能力,实验以相同的方式在碳酸钙悬浊液额外采集了一组手绘涂鸦图案(QuickDraw)数据集[44],随机选取8000张散斑图像用于网络训练,2000张散斑图像用于网络测试,部分测试集的恢复图像如图8所示。
Figure 8. Hand drawn graffiti original image, speckle and its restored image collected from the calcium carbonate suspension. The values of SSIM are marked in the upper left corner of the reconstructed images
pix2pix模型由于其生成器U-net使用的跳层连接融合了压缩路径及扩展路径的特征映射,因此具有更强的局部感知能力[39],利于特征提取及图像恢复;判别器PatchGAN利用感受野判别的方式[40]更有利于判别将生成图判定为假,从而反馈给生成器,帮助生成与真实图像更为接近的图像。因此,pix2pix模型在不同散射条件、不同散射介质浓度及不同浓度散射介质采集的散斑图混合的场景中,均能够获得较好的恢复效果,在不同场景下具有较强的普遍适用性与鲁棒性,具有适用场景广泛、泛化能力强的优势。
Deep learning-based image reconstruction through turbid medium (invited)
doi: 10.3788/IRLA20220215
- Received Date: 2022-03-22
- Rev Recd Date: 2022-06-27
- Available Online: 2022-08-31
- Publish Date: 2022-08-31
-
Key words:
- image reconstruction /
- scattering medium /
- scattering imaging /
- deep learning
Abstract: Different from the static characteristics of solid scattering media such as ground glass, the scattering effect of turbid media on light beams is reflected both in the space and time domains. Most traditional scattering imaging methods are inapplicable to dynamic turbid media. To address this issue, a deep learning-based method is proposed to reconstruct objects in the presence of turbid media. The imaging quality of the proposed neural network under the conditions of different turbid media and turbid media with different concentrations is studied. The generalization ability of the neural network is tested. The experimental results demonstrate that high-quality imaging is achieved by the proposed network. Moreover, the network shows strong generalization ability and robustness under the mixed training of speckle images of turbid media with different concentrations.