-
文中提出的网络在Keras中实现,并分别在上文提到的模拟数据集上进行了训练和测试。模型都使用学习率为0.001的ADAM优化器进行训练,以下模型训练的迭代次数均在500次以下,训练时长在3 h之内。
Res-UNet[21]、Perera[19]等人的网络、U-Net[20]和Wang [13] 等人的网络也在这个数据集上实现和测试。以上实验均在混叠噪声、不连续、混叠情况下进行测试,以上所有训练和测试都是在R9000 p3060 GPU上进行的。
为了评估和比较这些方法,计算了未包裹相位图像的归一化均方根误差,通过各自真实相位图像的范围归一化,并记录了每种训练方法达到收敛状态所需要的训练轮次数。图6~8记录了每种网络模型分别在模拟数据集和真实数据集中的实验效果和网络性能。图6~9从左到右依次代表了原始包裹相位图、原始绝对相位图以及Res-UNet[21]、文中提出的网络模型、U-Net[20]、Wang [13] 等人提出的网络、Perera[19]等人提出的网络模型的解包裹相位效果图。通过模拟数据集分别对网络模型在噪声、不连续、混叠情况下的相位解包裹能力的验证和真实数据集对网络模型泛化的验证。
1)噪声情况
图6分别显示了无噪声、轻微噪声、中度噪声、严重噪声、重度噪声五种情况,并依次加入高斯噪声,SNR分别为[0,5,10,20,80]。由此可以看出,在无噪声的情况下,五种网络模型均有一定的解包裹能力,但随着噪声的增加, Res-UNet[21]和U-Net[20]的性能都不太理想且耗时较长。在包裹相位中存在不同信噪比的噪声条件下,文中提出的网络均可以表现出色,不仅有最低的归一化均方根误差,还有达到收敛情况最少的训练次数。
2)不连续情况
从图7可以看出,在无噪声不连续情况下,五种网络模型的解包裹能力不同,文中提出的网络模型、Wang [13] 等人提出的网络和Perera[19]提出的网络模型均有一定的解包裹能力,但是其他两种网络模型达到收敛需要较长时间。在不连续情况下,文中提出的网络表现出色,不仅有最低的归一化均方根误差,还有达到收敛情况最少的训练次数。
3)混叠情况
从图8可以看出,在同时存在噪声和不连续的情况下,五种网络模型的解包裹能力不同,文中提出的网络模型、Perera[19]等人提出的网络模型在混叠情况下表现较好,且实验速度较快。在混叠情况下,文中提出的网络表现出色,不仅有最低的归一化均方根误差,还有达到收敛情况最少的训练次数。
4)泛化情况
图9用来验证用模拟数据集训练真实数据集验证网络解包裹性能的情况,由此可以看出,分别在噪声和不联系这两种不同的情况下,五种网络模型均有一定的模型泛化能力,但是均没有在模拟数据集中表现出色。其中,文中提出的网络依旧有很好的解包裹相位能力。
从图10可以看出,文中提出的相位解包裹技术在噪声(NRMSE =0.75%、SSIM=0.98、PSNR=40.87)、不连续(NRMSE=1.81%、SSIM=0.92、PSNR=32.56)、混叠(NRMSE =1.68%、SSIM=0.94、PSNR=37.38)三种不同情况下的性能优于其他网络,而且平均计算时间最低,模型达到收敛状态需要的平均训练轮次最少(153次)。
如表1和图10所示,相同的网络模型通过不同的损失函数进行训练会得到不同的结果。对于文中提出的网络,复合损失函数显然是比$ {L}_{mean} $和$ {L}_{error} $适合这个问题的损失函数。
Table 1. Performance comparison of various network models in terms of errors
此外,如表2、图10所示,在实验过程中,文中提出的网络受网络参数量增加的影响,每轮训练的时间慢于U-Net[20]和Res-Net网络,但是达到最佳性能需要的轮数远小于其他网络,因此,当达到最佳收敛性能时,文中提出的网络所用时间最少。这些观察结果使笔者得出结论,所提出的网络的成功归功于CBiLSTM模块、注意力机制模块和复合损失函数。
Table 2. Performance comparison of various network models in terms of time consumption
图11展示了包裹相位经过文中提出的网络模型训练后输出的预测绝对相位与真实相位之间的比照,通过编码器-解码器模型的搭建、CBiLSTM模块与注意力机制模块的引入以及复合损失函数的定义,在与其他模型比较后,验证了文中提出的网络模型在前文提到的三种情况下在精度的提高与训练方面的减少。通过模拟实验的验证,通过增强深度学习模型对关键相位信息的关注能力,文中提出的网络模型能够提高相位解包裹的准确性和鲁棒性,推动光学测量和相位成像等领域的进一步发展。
-
文中采用基于改进U-Net网络的编码器-解码器架构,同时加入包含双向长短期记忆网络(BILSTM)的CBiLSTM模块,并且结合注意力机制,避免了典型卷积神经网络学习全局空间依赖关系的固有缺陷的同时增强了深度学习模型对相位解包裹任务中的关键信息的关注能力。为了验证CBiLSTM模块和注意力机制模块对单张图像解包裹产生的影响,下面进行消融实验。为了公平起见,下述实验都在随机噪声的包裹数据集上迭代了200次。实验的定量结果如表3所示。表中序号为1的模型表示为原始改进U-Net模型,实验结果表明,单纯地加入CBiLSTM模块或者注意力机制模块都对模型的性能产生积极影响,此外,同时加入CBiLSTM模块和注意力机制模块的模型与原模型和加入单一模块的模型相比表现出更加优秀的性能。
Serial number Based on
improved
U-NetModel CBiLSTM Soft attention NRMSE PSNR SSIM 1 √ 10.06% 13.8 0.46 2 √ √ 0.92% 35.78 0.96 3 √ √ 1.16% 34.26 0.94 4 √ √ √ 0.75% 40.87 0.98 Table 3. Quantitative comparison of ablation experiments on noisy datasets
-
透射式光学偏折术通过显示屏幕显示设定的结构光,结构光通过光学透镜时发生折射,CCD相机采集到被光学透镜折射后的形变条纹图。通过对接收到的形变条纹包裹相位进行解包裹运算得到其绝对相位,其绝对相位各个点的相位斜率即可映射到透镜波前的梯度,进而反推波前形状。
相位解包裹是光学偏折术测量工作的重要组成成分。文中建立了一个实验测试系统,对一块球面透镜的表面进行测量,由于待测元件的光学性质,显示屏幕发出的光线在待测元件处发生光学偏折,借助第2节中提出的基于改进U-Net网络的模型,可以得到真实相位分布。测试系统由显示屏幕,CCD相机,待测透镜部分三部分组成,如图12所示。显示屏幕中心于CCD相机光轴在同一直线。
实验中,将待测透镜夹持放置于显示屏幕和CCD相机中间,保证待测透镜的几何中心位于相机光轴,加入透镜后相机采集到的条纹图如图13所示。
使用第2节中叙述的相位解包裹模型对采集到的真实数据进行相位解包裹,可以得到的绝对相位图如图14所示,从实验结果来看,可以看出文中提出的网络在真实数据上仍然可以很好地工作。
在实际测量中,相位解包裹的环境存在着各种意外情况,例如透镜表面的灰层等污点、透镜表面出现划痕等。这些因素可能导致相位数据中出现无效点,即不连续点的存在。这些无效点的存在会对相位解包裹算法的准确性和稳定性造成影响。因此,为了验证文中提出的相位解包裹算法在实际情况中的可靠性,下面用记号笔涂画模拟透镜存在灰尘和刮痕的情况,如图15所示。
得到的包裹相位如图16(a)、(c)所示。通过对这些无效点的检测和处理,得到绝对相位如图16(b)、(d)所示。从实验结果来看,可以看出文中提出的网络在复杂真实数据上仍然可以很好地工作,文中提出的网络在真实复杂数据集中依旧具有可行性。
Research on phase unwrapping technology based on improved U-Net network
doi: 10.3788/IRLA20230564
- Received Date: 2023-10-09
- Rev Recd Date: 2023-11-28
- Publish Date: 2024-02-25
-
Key words:
- phase unwrapping /
- deep learning /
- attention mechanism /
- long short-term memory network /
- convolutional neural network
Abstract: