-
通常而言,由波前像差引起的PIV图像退化过程可以描述为理想无畸变的真实PIV图像与带有波前畸变的点扩散函数(PSF)的卷积,再加上独立的噪声。如下式所示:
$$Y = X * k + \varepsilon $$ (1) 式中:
$Y$ 为畸变PIV图像;$X$ 为理想无畸变的真实PIV图像;$k$ 为点扩散函数卷积核;$\varepsilon $ 为独立噪声;$ * $ 为二维卷积运算符。这里笔者的任务是通过畸变PIV图像$Y$ ,建立求解理想真实图像$X$ 的最优解模型。文中,笔者通过一个深度卷积神经网络模型来对这一过程建模为一个通用函数模型:$\hat X = F(Y,\theta )$ ,其中,模型参数$\theta $ 可以通过训练数据集对神经网络训练学习得到。此函数可以建立起在畸变图像和真实图像之间的端到端映射关系。以数据为驱动的神经网络训练过程可以用最小化损失函数来描述,可以得知,神经网络的性能不仅取决于网络的结构,还取决于训练数据集,所以用于训练神经网络的训练集对于反映真实的畸变模型以及畸变校正过程尤为重要。为了生成一个合适的训练数据集,采用了如图2所示的实验平台。该实验平台具有采集PIV图像和波前测量的功能。对于PIV图像采集部分,首先用532 nm激光光源与一个圆柱形透镜相结合,产生一个用于照亮中的示踪粒子片光源,并在液体中加入了Dantec Dynamic公司的银包裹中空玻璃材质的示踪粒子,两者结合通过PIV相机即可采集到反映流场速度分布的PIV图像。其次,通过气泵在容器液体表面产生扰动气流,使得液面受激产生晃动,从而产生畸变波前。为了对畸变波前进行测量,使用660 nm的信标光从容器底部透射经过表面,再由Shack-Hartmann波前传感器进行测量。
对于训练所需的数据集而言,笔者需要同时得到理想无畸变的PIV图像以及所对应的畸变图像,无法直接通过实验平台采集到完全对应的图像对,所以通过上述的图像退化模型来生成训练数据集。首先,在关闭扰动气流并且使得液体表面保持完全稳定的状态下采集PIV图像,同时以这一状态对Shack-Hartmann波前传感器进行标定。采集到的PIV图像认定为理想的无畸变PIV图像,作为神经网络训练时的标签。其次,通过气泵产生气流,使得液体表面产生晃动从而产生波前畸变,通过信标光与Shack-Hartmann波前传感器,对系统中的波前畸变进行测量,得到一组由液体表面晃动产生波前畸变的Zernike系数,计算得到一组波前畸变的点扩散函数,并通过上述图像畸变模型生成与理想PIV图像相对应的畸变PIV图像,合成的畸变PIV图像作为神经网络训练的输入。其中点扩散函数可以近似为:
$$k = PSF = {\left\| {{\rm{FFT}}\left\{ {P(x,y)\exp ( - i\frac{{2\pi }}{\lambda }\varphi (x,y)} \right\}} \right\|^2}$$ (2) 式中:
$P$ 为成像系统孔径函数;$\varphi (x,y)$ 为波前畸变,可以定义为:$$\varphi (x,y) = \sum\limits_m^n {{a_m}{Z_m}(x,y)} $$ (3) 式中:
${a_m}$ 和${Z_m}$ 分别为各阶Zernike系数和Zernike多项式。其中,Zernike系数由Shack-Hartmann波前传感器测量得到。对于波前畸变的测量,笔者采集了10 000帧Shack-Hartmann光斑图像,通过计算光斑质心斜率以及波前复原算法,得到了10 000组Zernike系数值,并对其幅度谱进行了计算分析,结果如图3所示。通过对波前测量结果的分析可知,液体表面晃动所产生的波前畸变主要为低频的低阶像差。此外,对这10 000帧波前测量结果进行统计分析,其中波前畸变RMS平均值为11.1 μm,最大值为39.5 μm,PV值平均值53.8 μm,最大值为171.9 μm。
图 3 Zernike系数测量结果(液面晃动引起的波前畸变中前10阶不同Zernike系数幅度谱)
Figure 3. Measurement result of Zernike wavefront (First 10 order Zernike coefficients amplitude spectrum of fluctuating air-water interface induced wavefront aberration)
为了保证神经网络数据集输入与标签的准确性,对于每帧理想PIV图像,根据公式(1)~(3),通过一组PSF卷积核和随机高斯噪声生成了一帧对应的畸变PIV图像。在文中,笔者采集了1 000帧连续的理想PIV图像,由于实验平台中PIV相机与Shack-Hartmann波前传感器相机的帧率比例关系约为1∶10,对10 000组测量Zernike系数按照时间序列1/10比例采样,计算得到了10组1000帧的PSF卷积核,每组卷积核对1 000帧理想PIV图像进行卷积运算,并生成两种不同高斯噪声,从而生成了20 000对畸变/无畸变PIV图像对,用于神经网络的训练。通过不同PSF卷积核,不同噪声与理想PIV图像的合成过程,保证了训练数据集样本分布的覆盖性。
-
文中,建立了以U-net为框架的深度卷积神经网络。U-net是Olaf.R等人为了解决图像分割这种像素级的图像回归问题而设计的网络结构[22],是计算机视觉领域最先进的网络结构之一。由于U-net在像素级图像回归问题上的优异性能,它及其各种改进的结构被应用于图像重建、图像超分辨率等领域。U-net的独特之处在于它由一个下采样的收缩结构和一个上采样的扩张结构连接,形成了一个U形的体系结构,同时对相同尺寸的卷积层进行桥连接。由于上采样部分的存在,网络可以将二维数据信息传播到更高的尺寸结构上,以获得更高的分辨率。
图4为文中所搭建的深度卷积神经网络结构,它由3个下采样模块和3个上采样模块组成。每个模块中包含了两个3×3大小卷积核的卷积层,每个卷积层后紧跟一个Leaky Relu激活函数层。Leaky Relu是带泄露修正线性单元(Leaky rectified linear unit),是每个模块中两个卷积层后为步长为2×2大小的池化层(Pooling layer)或上采样层(up-convolution layer)。网络的最后是一个卷积核大小为1×1的卷积层,用于建立到校正后图像的映射。为了防止训练过程中出现过拟合的现象,笔者在每个模块中都设置了不同比例的Dropout节点。
根据2.1中的描述,文中所建立的深度神经网络结构可以描述为畸变PIV图像和理想PIV图像最优估计值的映射:
$\hat X = F(Y,\theta )$ ,其中,模型参数$\theta $ 是神经网络中每个隐藏神经元的权重$W$ 和每个隐藏层偏置$B$ 的集合:$\theta = \{ {w_{ik}},{b_i}\} $ 。而训练过程可以表示为最小化损失函数。对于训练中的损失函数(Loss Function)的选取,笔者并未采用U-Net,最初为了图像分割问题所采用的交叉熵损失函数(Corss entropy loss function),因为U-Net的发明最初是为了解决图像分割问题,这一应用可以近似为一个分类问题,而文中的应用是通过神经网络校正光学像差引起的畸变,目的是恢复图像,所以可以归类为图像的回归问题。所以文中笔者采用了更加适合回归问题的均方差损失函数(MSE loss function)。训练过程可以用下式表示:$$\mathop {\arg \min }\limits_{w,b} E(w,b) = \frac{1}{{2N}}\sum\limits_{i = 1}^N {\left\| {F({Y_i}) - {X_i}} \right\|} _2^2$$ (4) 此外,在训练过程中笔者采用Adam优化器作为优化方法,其中,起始学习率(learning rate)和一阶二阶动量参数分别设置为0.001,0.9和0.999。采用pytorch作为工具搭建并训练了网络,并且在一块NVIDIA GeForce RTX 2080Ti的GPU上完成了训练。
-
利用上述生成的数据集和所搭建的网络进行训练后,笔者得到了一个可以直接对畸变PIV图像进行校正的神经网络。为了评价训练后的神经网络校正性能,通过图2所示的实验平台单独采集了200帧连续的无畸变理想PIV图像,然后在实验平台上加扰动气流,通过Shack-Hartmann传感器采集并计算得到的2 000帧波前畸变Zernike系数,通过1/10采样得到200个PSF卷积核,根据2.1中所述的图像退化模型再次生成了一个测试数据集。重新采集PIV图像可以验证神经网络是否产生了过拟合现象。
首先为了对图像的校正效果进行评价,通过计算畸变PIV图像和校正后PIV图像与输入理想PIV图像之间的均方误差(MSE)、峰值信噪比(PSNR)和结构相似性指数(SSIM),来验证了训练后神经网络的性能。这3个评价指标是图像恢复、图像压缩、图像超分辨重建等领域广泛应用的评价指标。其中MSE即两幅
$m \times n$ 大小的图像$Y$ 和$X$ 之间的均方误差值,定义为:$$MSE = \frac{1}{{mn}}\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{{[Y(i,j) - X(i,j)]}^2}} } $$ (5) 而峰值信噪比表示的是信号最大可能功率和影响它表示精度的破坏性噪声功率的比值,单位为分贝,通过MSE定义的,定义如下:
$$PSNR = 10{\log _{10}}\left(\frac{{MAX_Y^2}}{{MSE}}\right) = 20{\log _{20}}\left(\frac{{MA{X_Y}}}{{\sqrt {MSE} }}\right)$$ (6) 式中:
$MA{X_Y}$ 代表图像中像素的最大值。一般像素值由$B$ 位二进制表示的图像数据中,$MA{X_Y} = {2^B} - 1$ 。由于数据集中图像数据格式为uint8型,即每个像素由8位二进制表示,故像素最大值为255。一般来说,MSE值越小,PSNR越大代表图像质量越好,且根据经验,PSNR在30~40 dB之间代表图像质量较好,而低于20 dB说明图像质量非常差。结构相似性指数(Structural Similarity),即SSIM是衡量两幅图片相似性的指标,它基于两幅图片之间亮度
$l$ 、对比度$c$ 和结构$s$ 3个参数的比较,SSIM中的3个参数定义如下:$$SSIM(X,Y) = [l{(X,Y)^\alpha } \cdot c{(X,Y)^\beta } \cdot s{(X,Y)^\gamma }]$$ (6) $$l(X,Y) = \frac{{2{\mu _x}{\mu _y} + {C_1}}}{{{\mu _x}^2 + {\mu _y}^2 + {C_1}}}$$ (7) $$c(X,Y) = \frac{{2{\sigma _x}{\sigma _y} + {C_2}}}{{{\sigma _x}^2 + {\sigma _y}^2 + {C_2}}}$$ (8) $$s(X,Y) = \frac{{{\sigma _{xy}} + {C_3}}}{{{\sigma _x}{\sigma _y} + {C_3}}}$$ (9) 式中:
$\mu $ 为图像均值;$\sigma $ 为图像方差;${\sigma _{xy}}$ 为两幅图像协方差;$C$ 为常数。一般$\alpha = \beta = \gamma = 1$ ,${C_3} = {C_2}/2$ ,从而得到SSIM:$$SSIM(X,Y) = \frac{{(2{\mu _x}{\mu _y} + {C_1})({\sigma _x}{\sigma _y} + {C_2})}}{{({\mu _x}^2 + {\mu _y}^2 + {C_1})({\sigma _x}^2 + {\sigma _y}^2 + {C_2})}}$$ (10) SSIM取值在0~1之间,值越大,即越接近1,则表示图像相似程度越高,对于应用来说,代表畸变造成的失真就越小。
将200帧测试集畸变图片通过训练后的神经网络进行校正,并按照上述评价方法对200帧图像对的图像质量进行计算,结果如表1所示。同时,将结果与Sroubek等人[23]所提出的图像盲反卷积算法进行了比较。该方法是盲反卷积算法中较为快速且鲁棒的一种算法,在这种方法中,盲反卷积问题被近似为了L1正则化优化问题,通过对图像和点扩散函数进行交替迭代优化而找到反卷积的最优解。为了增加迭代的收敛速度,算法通过变量拆分将每步迭代转换为一个约束问题,然后使用增广拉格朗日方法(Augmented Lagrangian method, ALM)进行处理,从而可以在傅立叶域中实现简单快速的实现。算法的实现由作者所公布的开源代码而完成。
表 1 200帧PIV图像对校正前后的图像质量评价结果
Table 1. Quality assessment of PIV images before and after correction by trained neural network for 200 frames image pairs
Distorted PIV image Corrected PIV image Restored PIV image by ALM MSE 0.064 0.00062 0.056 PSNR 12.79 32.16 15.14 SSIM 0.37 0.73 0.39 通过结果可以看出:因为光学畸变严重失真的PIV图像在经过训练得到的神经网络校正后,大部分的失真都被校正。而且单独从PSNR的结果可以看出,校正后的PIV图像质量有了很大的改善。而且可以看出,训练后的神经网络校正效果要远远优于盲反卷积算法。图5是从200帧校正结果中比较典型的一帧,可以看出:在输入波前畸变的作用下,原本清晰的理想PIV图像已经产生了人眼可见的失真与模糊,而且粒子的位置分布也产生了误差,在经过神经网络校正后,图像恢复清晰并且与原本的理想PIV图像结果非常接近,粒子分布清晰,为粒子图像的流速计算提供了更为可靠的数据来源。而盲反卷积算法虽然对图像的锐度有一定的提升,但复原后的图像距离理想PIV图像还是有非常的大的差距。
图 5 单帧PIV图像的光学畸变校正结果。 (a) 输入波前畸变;(b) 理想PIV图像;(c) 畸变PIV图像;(d) 校正后PIV图像;(e) ALM复原后PIV图像
Figure 5. Aberration correction of single frame PIV image. (a) Input wavefront aberration; (b) Original PIV image; (c) Distorted PIV image; (d) Corrected PIV image; (e) Restored PIV image by ALM
此外,为了定量评价神经网络校正对PIV流场测量的改善效果,笔者对上述200帧理想PIV图像,畸变PIV图像以及校正后的PIV图像进行流场速度计算,并以局部和全局的平局测量不确定度作为评价指标,来评价校正效果。在利用图2所示实验装置的采集200帧测试数据集时,PIV相机成像面的流体速度通过水泵喷口控制在6 mm/s左右的范围内进行采集。流场速度的不确定度主要由3部分组成:PIV算法本身引起的测量不确定度
${\sigma _{{\rm{PIV}}}}$ ,流场本身的湍流或不稳定性引起的不确定度${\sigma _{{\rm{flow}}}}$ 以及光学畸变引起的不确定度${\sigma _{{\rm{distortion}}}}$ ,可以定义为:$$\sigma = \sqrt {\sigma _{{\rm{flow}}}^2 + \sigma _{{\rm{distortion}}}^2 + \sigma _{{\rm{PIV}}}^2} $$ (11) 笔者利用Matlab中的PIVlab工具箱对200帧理想无畸变PIV图像,畸变PIV图像以及校正后PIV图像进行了流场速度场计算,并对测量区域的局部不确定度和全局的不确定度的平均值进行计算,结果如图6(其中白色箭头表示局部流场速度大小及方向,背景颜色代表局部测量不确定度大小)和表2所示,可以看出:经过神经网络校正后的PIV图像所计算得到的测量结果相比畸变PIV图像测量精度有了大幅提高,由光学畸变所引起的测量不确定度增加被校正了近97%左右。
图 6 (a)理想PIV图像;(b)畸变PIV图像;(c)校正后PIV图像测量结果
Figure 6. PIV measurement results from (a) Ideal images; (b) Distorted images; (c) Corrected images
表 2 神经网络校正后流场速度标准差及相对标准不确定度分析
Table 2. Velocity standard deviation and relative standard uncertainty reduced by neural network aberration correction
$\sigma $ /mm·s−1 $\sigma {\rm{/}}\bar v$ Reduction Ideal PIV 0.736 12.04 % — Distorted PIV 5.003 88.07 % 0 Corrected PIV 0.846 14.23 % 97 %
Aberration correction for flow velocity measurements using deep convolutional neural networks
-
摘要: 基于光学成像的流场测量技术,如粒子图像测速技术(PIV),易受到因流体中折射率的不均匀性或晃动的介质边界引起的光学畸变而带来的影响。这些畸变会使得示踪粒子在图像上的位置分布产生误差且严重影响图像清晰度,从而增大流场速度测量的误差。为了提高光学流场速度测量的测量精度,自适应光学系统可以应用于其中去校正光学畸变。基于图像流场测量中的光学像差具有频率高,动态范围大,空间分辨率高等特点,对于这一应用场景,基于波前校正器件的自适应光学系统受到了器件本身性能的影响。基于深度学习的自适应光学技术在流场测量中的应用,建立了一种基于深度神经网络的无波前校正器件自适应光学校正技术,以深度神经网络代替传统的波前校正器件,用于粒子图像测速技术中的光学畸变校正。为了生成神经网络所需要的训练和测试数据集,搭建了可以实现波前测量的粒子图像测速实验平台,分析并建立了光学畸变在粒子图像上的图像退化模型。最后,以校正后PIV图像的校正效果和流场速度测量结果作为评价标准,对所建立神经网络的畸变校正性能进行了分析。Abstract: Optical imaging-based flow measurement techniques, like particle image velocimetry, are vulnerable to optical distortions caused by inhomogeneous refractive index or fluctuating phase boundaries. These distortions can lead to blurred particle images and uncertain tracer particle position assignment, resulting in a degradation of velocity measurement accuracy. In order to improve the measurement accuracy, adaptive optics system can be applied to correct distortions. For imaging metrology in fluid mechanics, the optical distortions have features of large frequency range, high spatial frequency and large dynamic range. Actuator-based approaches are limited by its performances. In our work, a novel intelligent adaptive optic system was applied to flow measurement, a learning-based aberration correction method without wavefront corrector was demonstrated, which was used to correct distortions in imaging-based flow measurement. A particle image velocimetry setup which can measure wavefront aberration was built to generate training and test dataset for deep neural network, and also the distortion caused PIV image degradation model. The correction performance of the trained neural network was quantitatively evaluated by corrected PIV image quality and flow measurement result.
-
表 1 200帧PIV图像对校正前后的图像质量评价结果
Table 1. Quality assessment of PIV images before and after correction by trained neural network for 200 frames image pairs
Distorted PIV image Corrected PIV image Restored PIV image by ALM MSE 0.064 0.00062 0.056 PSNR 12.79 32.16 15.14 SSIM 0.37 0.73 0.39 表 2 神经网络校正后流场速度标准差及相对标准不确定度分析
Table 2. Velocity standard deviation and relative standard uncertainty reduced by neural network aberration correction
$\sigma $ /mm·s−1$\sigma {\rm{/}}\bar v$ Reduction Ideal PIV 0.736 12.04 % — Distorted PIV 5.003 88.07 % 0 Corrected PIV 0.846 14.23 % 97 % -
[1] 张雨东, 饶长辉, 李新阳. 自适应光学及激光操控[M].北京: 国防工业出版社, 2016. Zhang Yudong, Rao Changhui, Li Xinyang. Adaptive Optics and Laser Control[M].Beijing: National Defense Industry Press, 2016.(in Chinese) [2] Tyson R K. Principles of Adaptive Optics[M]. Boca Raton: CRC Press, 2015. [3] Hu L, Hu S, Gong W, et al. Learning-based shack-hartmann wavefront sensor for high-order aberration detection [J]. Opt Express, 2019, 27(23): 33504-33517. doi: 10.1364/OE.27.033504 [4] 郑珊珊, 杨婉琴, 司徒国海. 计算光学成像在散射中的应用[J]. 红外与激光工程, 2019, 48(6): 0603005. doi: 10.3788/IRLA201948.0603005 Zheng Shanshan, Yang Wanqin, Situ Guohai. Application of computational optical imaging in scattering [J]. Infrared and Laser Engineering, 2019, 48(6): 0603005. (in Chinese) doi: 10.3788/IRLA201948.0603005 [5] Guo H, Korablinova N, Ren Q, et al. Wavefront reconstruction with artificial neural networks [J]. Opt Express, 2006, 14(14): 6456-6462. doi: 10.1364/OE.14.006456 [6] Ke H, Xu B, Xu Z, et al. Self-learning control for wavefront sensorless adaptive optics system through deep reinforcement learning [J]. Optik, 2019, 178: 785-793. doi: 10.1016/j.ijleo.2018.09.160 [7] Fei X, Zhao J, Zhao H, et al. Deblurring adaptive optics retinal images using deep convolutional neural networks [J]. Biomedical Optics Express, 2017, 8(12): 5675-5687. doi: 10.1364/BOE.8.005675 [8] Lazareva A, Asad M, Slabaugh G. Learning to deblur adaptive optics retinal images[C]//ICIAR,2017:497-506. [9] Reuss D L, Megerle M, Sick V. Particle-image velocimetry measurement errors when imaging through a transparent engine cylinder [J]. Measurement Science and Technology, 2002, 13(7): 1029-1035. doi: 10.1088/0957-0233/13/7/309 [10] Minor G, Oshkai P, Djilali N. Optical distortion correction for liquid droplet visualization using the ray tracing method: Further considerations [J]. Measurement Science and Technology, 2007, 18(11): L23-L28. doi: 10.1088/0957-0233/18/11/L01 [11] Böhm B, Heeger C, Gordon R L, et al. New perspectives on turbulent combustion: Multi-parameter high-speed planar laser diagnostics [J]. Flow, Turbulence and Combustion, 2011, 86(3): 313-341. [12] Gomit G, Chatellier L, Calluaud D, et al. Free surface measurement by stereo-refraction [J]. Experiments in Fluids, 2013, 54(6): 1540. doi: 10.1007/s00348-013-1540-4 [13] Abe Y, Yamamoto Y, Hyuga D, et al. Interfacial stability and internal flow of a levitated droplet [J]. Microgravity Science and Technology, 2007, 19(3): 33-34. [14] Schlüßler R, Czarske J, Fischer A. Uncertainty of flow velocity measurements due to refractive index fluctuations [J]. Optics and Lasers in Engineering, 2014, 54: 93-104. doi: 10.1016/j.optlaseng.2013.10.011 [15] Büttner L, Leithold C, Czarske J. Interferometric velocity measurements through a fluctuating gas-liquid interface employing adaptive optics [J]. Opt Express, 2013, 21(25): 30653-30663. doi: 10.1364/OE.21.030653 [16] Radner H, Büttner L, Czarske J. Interferometric velocity measurements through a fluctuating phase boundary using two fresnel guide stars [J]. Opt Lett, 2015, 40(16): 3766-3769. doi: 10.1364/OL.40.003766 [17] Koukourakis N, König J, Büttner L, et al. Flow-field measurements through phase-boundaries using wavefront shaping[[C]]//Proceedings of the Frontiers in Optics 2015, 2015. [18] Koukourakis N, Fregin B, König J, et al. Wavefront shaping for imaging-based flow velocity measurements through distortions using a fresnel guide star [J]. Opt Express, 2016, 24(19): 22074-22087. doi: 10.1364/OE.24.022074 [19] Teich M, Mattern M, Sturm J, et al. Spiral phase mask shadow-imaging for 3d-measurement of flow fields [J]. Opt Express, 2016, 24(24): 27371-27381. doi: 10.1364/OE.24.027371 [20] Teich M, Grottke J, Radner H, et al. Adaptive particle image velocimetry based on sharpness metrics [J]. Journal of the European Optical Society, 2018, 14: 5. doi: 10.1186/s41476-018-0073-0 [21] Radner H, Stange J, Buttner L, et al. Field programmable system-on-chip based control system for real-time distortion correction in optical imaging[C]//IEEE Transactions on Industrial Electronics, 2020: 10.1109/TIE.2020.2979557. [22] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015, 2015: 234-241. [23] Sroubek F, Milanfar P. Robust multichannel blind deconvolution via fast alternating minimization [J]. IEEE Transactions on Image Processing, 2012, 21(4): 1687-1700. doi: 10.1109/TIP.2011.2175740