-
采用1.55μm多普勒激光雷达(windmap)在兰州中川机场进行低空测风实验,实验平台如图1所示,选取在2016~2017年之间的风速数据进行研究。将每个扇区的风速转化成一个涡流耗散率,并进一步转化为二维图像,构建用于训练的数据集。
考虑湍流的耗散特性和机场的探测需要,多普勒激光雷达采用PPI(Plan Position Indicator)的扫描方式进行fengc,其中雷达的相关参数如表1所示。
表 1 激光雷达的相关参数
Table 1. Relevant parameters of lidar
Parameter Value Wavelength/nm 1550 Sampling interval/ns 2.5 Laser pulse width/ns 200 Pulse repetition frequency/kHz 10 Accumulated pulse number 5000 Range resolution/m 30 Maximum detection distance/km 6 -
大气湍流是由平均风速加脉动风速构成[16],激光雷达获取径向风速后,首先对每个子扇区内的径向风速进行空间平均得出平均风速。经计算后得出径向风速与平均风速之差即湍流的脉动速度
$ v'(R,\theta )$ ,可以表示为:$$v'(R,\theta ) = v(R,\theta ) - \bar v(R,\theta )$$ (1) 式中:
$ v(R,\theta )$ 为子扇区内某点的径向速度;$\bar v(R,\theta )$ 为代表子扇区的平均风速。根据Kolmogorov湍流模型由脉动风速可构建速度结构函数
$ D({\rm{s}})$ [6],$ D({\rm{s}})$ 本质上是一个协方差函数,涡流耗散率的求解实质为理论湍流模型与实际模型拟合逼近。将速度结构函数的协方差模型和Kolmogorov[17]的湍流模型拟合求出涡流耗散率,可以表示为:$$ \varepsilon = {\left( {\frac{{{2^{4/3}}\pi }}{{\sqrt 3 \varGamma (1/3)\varGamma (4/3){C_v}}}} \right)^{3/2}}\frac{{\sigma _v^3}}{{{L_o}}} = \frac{{0.933\;668\sigma _v^3}}{{{L_o}}} $$ (2) 根据含有激光雷达参数的von Kármán模型与雷达所测径向风速构建的实际湍流模型进行拟合。在计算过程中,拟合结果满足χ2分布,可以表示为:
$$ {\chi ^2} = \frac{1}{{{N_S}}}\sum\limits_{k = 1}^{{N_S}} {\frac{{{{\left[ {{{\hat D}_v}(k\Delta s) - D\left( {k\Delta s,{\sigma _v},{L_o}} \right)} \right]}^2}}}{{{D^2}\left( {k\Delta s,{\sigma _\nu },{L_o}} \right)}}} $$ (3) 式中:δv为径向风速的标准差;D*(*)为由径向风速构建的湍流结构函数;∆s为距离门之间的长度;Ns为滞后数据点的数目,该参数可以根据工程试验中的情况进行调节。在实际测量中,由于干扰和波动对激光传输和雷达信号处理模块的影响,公式(3)无法恒等于0,采用最大似然估计的方法,求出
$ \delta _v^3/{L_0}$ 的最小值。然后代入公式(2)中得出目标参数ε。经过上述的处理过程,将ε平铺至二维平面内后,生成了数据集,将每个实验周期所有的ε置入二维平面内。图像内每个像素点用每个子扇区ε表示,进而将一个实验周期的径向风速数据转化为一张二维图像,其中颜色的鲜艳程度代表ε数值的大小,如图2所示给出包含3类大气湍流的部分数据集。 -
随机选取数据集中的某一样本,作为网络的输入图像,如图3所示。
网络的输入层读取像素信息,将其转化为三通道数字矩阵后,分别输入至第一个卷积层中进行计算。对不同通道其特征提取器卷积核各不相同[18],并且不同的湍流种类,使得每个卷积核获得不同的提取倾向。由像素点构成的数字矩阵与卷积核进行计算,进而提取出若干个数字特征,由数字特征构成的矩阵便是该卷积层的输出。
卷积层为线性运算,若简单地将卷积层相互连接会出现退化现象。为增强网络整体的拟合能力和泛化能力,在每个卷积层后增加Relu层,该结构的优势在于能将上一层输出结果中较差的特征值进行剔除。Relu层的函数表达为:
$$Relu = \left\{ {\begin{array}{*{20}{c}} {0,\begin{array}{*{20}{c}} {}&{x \leqslant 0} \end{array}} \\ {x,\begin{array}{*{20}{c}} {}&{x > 0} \end{array}} \end{array}} \right.$$ (4) 第一个卷积层的输出经过非线性处理后,将3通道的数字特征进行叠加,转化为图像后,如图4所示。
将上述输出结果作为下一层的输入,与第二层卷积层进行计算,其运算过程与上述第一步相同,经非线性处理后结果如图5所示。
该CNN模型中的卷积模块后设置两个全连接层。此结构能将湍流的数字特征映射至样本空间,整合其特征信息,将湍流的分类结果进行显式表达。根据网络的结构和数据集的规模,将两个全连接层的神经元个数分别设为20和3。卷积层提取出的湍流数字特征驱动全连接层后,将其输出的特征信息汇合至分类模块激活Softmax函数中,使网络输出层得出三种不同强度的大气湍流[19]。输出层设定:(1) 100-强烈湍流;(2) 001-中度湍流;(3) 010-轻度湍流。
采用交叉熵Softmax loss函数[20-21],进行分类结果输出表示为:
$${J_x} = - \frac{1}{m}\left[ {\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^k {l\left\{ {{x_i} \in {c_j}} \right\}\ln \frac{{{{\rm{e}}^{w_j^{\rm{T}}{x_i}}}}}{{\sum\limits_{l = 1}^k {{{\rm{e}}^{w_j^T{x_i}}}} }}} } } \right]$$ (5) 式中:
${w_j}$ 为权值$w \in {R^{d \times k}}$ 第j列的矢量;${x_i} \in {c_j}$ 表示样本${x_i}$ 为第j类样本;$l\left\{ * \right\}$ 为示性函数,若*表达式为真,取1,相反为0。图3经过前向传播后,由损失函数得出分类结果与给定标签之间的误差。反向求出每个卷积层的权值与误差的关系,然后对卷积核内部的参数进行修正。如公式(6)、(7)所示:
$$\frac{{\partial {E_{total}}}}{{\partial w}} = \frac{{\partial {E_{total}}}}{{\partial out}} \times \frac{{\partial out}}{{\partial net}} \times \frac{{\partial net}}{{\partial w}}$$ (6) 式中:
${E_{total}}$ 为网络输出的总体误差;$w$ 为未更新的卷积核权值;$\partial out$ 为激活函数对卷积层未激活的导数;$\partial net$ 为卷积层上每个通道上的误差总和。$${w^ + } = w - \eta \times \frac{{\partial {E_{total}}}}{{\partial w}}$$ (7) 式中:
${w^ + }$ 为更新后的卷积核权值;$\eta $ 为学习率。网络结构如图6所示。 -
将图像数据集输入至文中所搭建的湍流预警卷积网络模型中对该网络进行训练,其训练的流程如图7所示。
在训练过程中,对模型的评价如图8所示。
此次训练一共有60次迭代,每25次迭代后进行一次验证。图中蓝线为训练过程中网络的准确度,黑色虚线为验证准确度。可以看出网络在25轮迭代前,训练准确度有一定的波动,验证准确度逐步增加。在25轮迭代后,训练的准确度与验证准确度两条曲线逐步趋向一致,二者之间的差距逐渐减少,曲线平稳且准确度波动较少。表明网络本身开始收敛,对湍流信息图像中的特征有了较好的认知,验证结果较好。
-
采用学习率递减的方法对网络参数进行设置。在迭代一定程度后,将学习率适当的衰减,控制梯度下降的速度,使得网络快速收敛。另外,根据数据特点,每个像素点都是每个子扇区的涡流耗散率的情况。最初设定的扇区区域较大,为了更好的提取湍流特征,在训练过程中应该更加关注小特征,因此用学习率递减的方法,使得卷积网络提取局部特征的权重加大。在训练过程中随着迭代次数的增加,将学习率每次以10-2的衰减因子进行递减。学习率的递减与网络验证准确度的关系如图9所示。
图 9 递减的学习率与网络准确度关系的示意图
Figure 9. Schematic diagram of the relationship between decreasing learning rate and network accuracy
由图9可知,随着学习率的递减,网络的训练准确度极速递增。训练结束时收敛至85%左右。因此,在网络训练中,对学习率进行有规律的衰减,能够使网络模型获得更高的判断准确度。
-
在训练过程中,用损失函数来衡量网络对测试集进行判断的好坏程度。损失函数实质上是指预测和实际数据的差距程度。损失函数变化曲线如图10所示。
图中红色曲线为训练过程中的损失曲线,黑色虚线为网络做验证时的损失曲线。由上图可知,在迭代次数在0~12次时训练过程中的损失曲线处于逐渐下降的过程。在第15次迭代后,该曲线保持平稳,最后维持在3%左右。迭代次数在0~15次迭代期间,验证的损失曲线一直处于平稳下降的过程。至迭代次数达到15次以后,达到平稳状态。网络模型在训练过程中的损失度和自我验证损失度都低至3%以下。在训练后期,损失度曲线都趋向于平稳,证明该湍流预警模型性能良好。
-
为验证模型在工程上预警能力和本身的泛化能力,对该模型进行实测数据验证与分析。在实验环境一致的情况下,进行了三个测试实验。首先将收敛的网络模型与传统的速度结构函数法进行对比分析,用于测试实验的数据来源于激光雷达连续20天的测风数据。将测试数据输入至网络中,将网络的输出标签结果与传统速度结构函数法进行对比分析。其统计结果如表2所示。
表 2 两组方法的湍流告警统计
Table 2. Turbulence warning statistics of the two methods
Date CNN(L/M/H) Vsf(L/M/H) Times of false positives 2016.11.25 H L 1 2016.11.26 H H 0 2016.11.27 H H 0 2016.11.28 L L 0 2016.11.29 H H 0 2016.11.30 M M 1 2016.12.01 M M 0 2016.12.02 L H 1 2016.12.03 H H 0 2016.12.04 H H 0 2016.12.05 M M 0 2016.12.06 L L 0 2016.12.07 M M 0 2016.12.08 H H 0 2016.12.09 L L 0 2016.12.10 L L 0 2016.12.11 H L 1 2016.12.12 H H 0 2016.12.13 H H 0 2016.12.14 H H 0 在实验环境一致的情况下,分别运用速度结构函数与卷积神经网络两种方法对同一测试集中测风数据进行湍流预警测试。如表2所示,在20次独立实验中,有3组对比实验结果有着明显的差异,文中方法相对于速度结构函数法,共给出了3次误判,文中方法的预警命中率可达到85%。
在3次误报中,12月2日速度结构函数的输出结果为轻微湍流,而网络模型的结果为强烈湍流,认为此次为网络模型对湍流进行了一次虚假告警,进而认为该网络模型的虚警率为33.3%。
除虚警外,两次误报中速度结构函数都给出强烈湍流的告警,而网络模型只是做出轻微湍流的判断。首先对原始数据进行分析,其图像如图11所示。
由图11可知,这两日的风场特征比较相似,其中强烈湍流特征都位于图像的边缘,说明处在激光雷达的探测边缘,且该特征对于整个图像来说占比较小。另一方面由于激光雷达测风实验次数有限,导致数据集中上述天气情况的数据较少。从网络结构上进行分析,模型产生误报的原因可能为卷积核对于边缘特征的提取能力较低,对这两日的图像特征提取不够全面。两种方法对湍流预警的判断情况统计如图12所示。
图中,纵轴y=1时为轻微湍流;y=2时为中度湍流;y=3时为强烈湍流。除三次误报外,两种方法预警的一致性较好。从对比实验得出,卷积神经网络模型的预警命中率较高,表明网络的泛化能力较高,可进行湍流预警。
将上述实验的网络模型,应用到真实风场中进行测试实验并与飞行员的机组报告进行比对。飞行员的机组报告是现阶段航空中对大气湍流状况判断的有效数据来源。收集了2016年7月至2017年5月兰州中川机场附近空域航班遭遇湍流的机组报告15起。根据航班遭遇湍流的时刻,结合当时多普勒激光雷达的探测情况,将激光雷达的探测数据输入至网络中进行分类识别,为验证该模型的分类能力和湍流预警能力,将其与传统的Hog-SVM分类法进行分类对比。用同一训练集对Hog-SVM模型进行训练,然后将上述15组航班遭遇湍流机组报告时刻的激光雷达探测的相关数据图像输入到Hog-SVM分类模型中进行识别,两种方法与机组报告数据的识别结果如表3所示。
表 3 两种方法对15组机组报告做出的判断结果
Table 3. Judgment results made by two methods on 15 sets of unit reports
Date CNN Alarm statistics(T/F) Classified statistics(T/F) Hog-SVM Alarm statistics(T/F) Classified statistics(T/F) 2016.07.20 T T T T 2016.09.03 T T T T 2016.09.07 F F F F 2016.09.10 T T T T 2016.09.11 T T T T 2016.09.20 T T T T 2016.09.24 T T F F 2016.10.15 T F F F 2016.11.06 T T F T 2017.04.13 F F T T 2017.04.17 T T T T 2017.05.06 T T T T 2017.05.09 T T T T 2017.05.13 T T F F 2017.05.14 T T F F 由表3可知,根据机组报告进行的15次对比实验中,CNN做出了12次正确的判断,3次错误的判断。在3次的错误判断中,有两次做出了对湍流强度错误的判断,这种情况下认为该分类结果为对湍流的误报。另一次错误分类是对湍流的强度分类错误,将此类错误的判断归于虚假告警。根据当时航班的机组报告,距兰州中川机场36号跑道入口3 km处有湍流存在,将同一时刻、位置的数据输入至网络中,该模型并没有发出告警信号。根据2016年10月15日CH7792航班的机组报告,该机在距离36号跑道2海里左右,高度为600英尺左右遭遇湍流,飞机剧烈颠簸导致终止进近,备降其他机场,而网络模型仅给出轻度湍流。
根据表3,在15起机组报告中,Hog-SVM做出了6次错误判断,其预警率只达到60%。在这6次错误判断中,Hog-SVM模型的分类结果都是将机组报告的强烈湍流分类为轻度湍流,由此认为该模型对湍流的强度判断都属于误报。两种湍流预警方法对15起机组报告的命中情况,如图13所示。
图13中,y=0时表示为预警方法做出的错误判断;y=1时表示为卷积网络做出的错误分类;y=2时表示为预警方法对湍流程度做出中度类别的判断;y=3时表示为预警方法做出的判断与机组报告的情况一致。
综上所述,文中所搭建的CNN模型,对湍流的预警性能较优,能够对湍流进行有效的预警,其预警命中率可达到80%,误报率为13.3%,虚警率为6.7%。相对于Hog-SVM模型,此模型的命中率高出20%,证明了该湍流预警模型的有效性与可行性。
Turbulence warning based on convolutional neural network by lidar
-
摘要: 为实现湍流的自动化预警,提出了一种基于卷积神经网络的激光雷达湍流预警算法。首先,该方法将激光雷达获取的风速数据进行速度结构函数的构建;然后,拟合出涡流耗散率,进而将涡流耗散率构建为像素数据集。将数据集输入一种由两个卷积层、两个全连接层、一个softmax层、若干激活函数组成的卷积神经网络分类模型进行湍流识别;最后,采用学习率递减的方法来调整模型的参数对网络进行训练,网络收敛后,其损失度低至3%,通过对比实验表明网络的准确度可达到85%。运用中川机场2016年机组报告进行对比分析,结果表明:文中方法对大气湍流的预警命中率可达80%、误报率为13.3%、虚警率为6.7%,该方法与Hog-SVM分类方法相比,命中率显著提高,从而证明了该卷积网络模型在湍流预警中泛化能力强,提高了预警效率,能够为管制员和气象预报人员提供一种判断依据。Abstract: In order to realize automatic turbulence warning, a novel turbulence warning algorithm based on convolution neural network(CNN) by lidar was proposed. Firstly, the velocity structure function was constructed from the wind speed data obtained by lidar; Then, the eddy dissipation rate was fitted, and then the eddy dissipation rate was constructed as a pixel data set. The data set was input into the CNN model composed of two convolution layers, two fully connected layers, one softmax layer and several activation functions for turbulence identification. The learning rate decreasing method is used to adjust the parameters of the model to train the network. After the network converges, the loss is as low as 3%. The comparative experiment shows that the accuracy of the network reaches 85%. Based on the flight crew report of Zhongchuan airport in 2016, the results show that the hit rate of this method for atmospheric turbulence warning is 80%, the false alarm rate is 13.3%, and the distort alarm is 6.7%. Compared with the Hog-SVM classification method, the hit rate of this method is significantly improved, which proves that the convolution network model has strong generalization ability in turbulence warning, and improves the warning efficiency significantly. It can provide a judgment basis for relevant weather forecasters.
-
表 1 激光雷达的相关参数
Table 1. Relevant parameters of lidar
Parameter Value Wavelength/nm 1550 Sampling interval/ns 2.5 Laser pulse width/ns 200 Pulse repetition frequency/kHz 10 Accumulated pulse number 5000 Range resolution/m 30 Maximum detection distance/km 6 表 2 两组方法的湍流告警统计
Table 2. Turbulence warning statistics of the two methods
Date CNN(L/M/H) Vsf(L/M/H) Times of false positives 2016.11.25 H L 1 2016.11.26 H H 0 2016.11.27 H H 0 2016.11.28 L L 0 2016.11.29 H H 0 2016.11.30 M M 1 2016.12.01 M M 0 2016.12.02 L H 1 2016.12.03 H H 0 2016.12.04 H H 0 2016.12.05 M M 0 2016.12.06 L L 0 2016.12.07 M M 0 2016.12.08 H H 0 2016.12.09 L L 0 2016.12.10 L L 0 2016.12.11 H L 1 2016.12.12 H H 0 2016.12.13 H H 0 2016.12.14 H H 0 表 3 两种方法对15组机组报告做出的判断结果
Table 3. Judgment results made by two methods on 15 sets of unit reports
Date CNN Alarm statistics(T/F) Classified statistics(T/F) Hog-SVM Alarm statistics(T/F) Classified statistics(T/F) 2016.07.20 T T T T 2016.09.03 T T T T 2016.09.07 F F F F 2016.09.10 T T T T 2016.09.11 T T T T 2016.09.20 T T T T 2016.09.24 T T F F 2016.10.15 T F F F 2016.11.06 T T F T 2017.04.13 F F T T 2017.04.17 T T T T 2017.05.06 T T T T 2017.05.09 T T T T 2017.05.13 T T F F 2017.05.14 T T F F -
[1] Bonin T A, Choukulkar A, Brewer W A , et al. Evaluation of turbulence measurement techniques from a single Doppler lidar [J]. Atmospheric Measurement Techniques, 2017, 10(8): 1-26. [2] Leung M Y T, Zhou Wen, Shun Chiming, et al. Large-scale circulation control of the occurrence of low-level turbulence at Hong Kong international airport [J]. Advances in Atmospheric Sciences, 2018, 35(4): 435-444. doi: 10.1007/s00376-017-7118-y [3] Wildmann N, Pschke E, Roiger A, et al. Towards improved turbulence estimation with Doppler wind lidar velocity-azimuth display (VAD) scans [J]. Atmospheric Measurement Techniques, 2020, 13(8): 4141-4158. doi: 10.5194/amt-13-4141-2020 [4] Dyk R V, Pariseau D H, Dodson R E, et al. Systems integration of unmanned aircraft into the national airspace: Part of the federal aviation administration next generation air transportation system[C]//IEEE Symposium on Systems and Information Engineering Design, SIEDS, 2012:1-25, 34. [5] Organization I. Meteorological Service for International Air Navigation: Annex 3 to the Convention on International Civil Aviation[M]. Chicago: International Civil Aviation Organization, 1998. [6] Chan P W. Validating the turbulence parameterization schemes of a numerical model using eddy dissipation rate and turbulent kinetic energy measurements in terrain-disrupted airflow [J]. Meteorology & Atmospheric Physics, 2010, 108(3-4): 95-112. [7] Jiang Lihui, Gao Zhiguang, Xiong Xinglong, et al. Study on type recognition of low attitude wind shearbased on lidar image processing [J]. Infrared and Laser Engineering, 2012, 41(12): 3410-3415. (in Chinese) doi: 10.3969/j.issn.1007-2276.2012.12.049 [8] Jiang Lihui, Chen Hong, Zhuang Zibo, et al. Recognition on low-level wind shear of wavelet invariant moments [J]. Infrared and Laser Engineering, 2014, 43(11): 3783-3787. (in Chinese) doi: 10.3969/j.issn.1007-2276.2014.11.048 [9] Chen Xiaoqing, Ma Junguo, Fu Qiang, et al. Target recognition using singular value feature for laser imaging radar [J]. Infrared and Laser Engineering, 2011, 40(9): 1801-1805. (in Chinese) doi: 10.3969/j.issn.1007-2276.2011.09.041 [10] Xu Qiwei, Wang Peipei, Zeng Zhenjia, et al. Extracting atmospheric turbulence phase using deep convolutional neural network [J]. Acta Physica Sinica, 2020, 69(1): 286-296. (in Chinese) [11] Lan Zhangli, Kuang Heng, Li Zhan, et al. Study on CNN-based turbulence image degradation intensity classification [J]. Computer Systems & Applications, 2019, 28(4): 199-204. (in Chinese) [12] Yin Xiaoli, Guo Yilin, Cui Xiaozhou, et al. Method of mode recognition for Multi-OAM multiplexing based on convolutional neural network [J]. Journal of Beijing University of Posts and Telecommunications, 2019, 42(1): 47-52. (in Chinese) [13] Vasudevan S. Mutual information based learning rate decay for stochastic gradient descent training of deep neural networks [J]. Entropy, 2020, 22(5): 560. doi: 10.3390/e22050560 [14] Keskar N S, Saon G. A nonmonotone learning rate strategy for SGD training of deep neural networks[C]// IEEE International Conference on Acoustics. IEEE, 2015. [15] Qu Jingyi, Zhu Wei, Wu Renbiao. Image classification for dual-channel neural networks based on attenuation factor [J]. Systems Engineering and Electronics, 2017, 39(6): 1391-1399. (in Chinese) [16] Davies F, Collier C G, Pearson G N, et al. Doppler lidar measurements of turbulent structure function over an urban area [J]. Journal of Atmospheric & Oceanic Technology, 2003, 21(5): 753-761. [17] 张兆顺, 崔桂香, 许春晓. 湍流理论与模拟[M]. 清华大学出版社, 2005. Zhang Zhaoshun, Cui Guixiang, Xu Chunxiao. Theory and Modeling of Turbulence[M]. Beijing: Tsinghua University Press, 2005. (in Chinese) [18] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786): 504-507. [19] 吴佳全. 基于神经网络的ECG分类算法及高能效架构研究[D]. 浙江大学, 2020. Wu Jiaquan. Research on neural network based ECG classification algorithm and energy-efficient architecture[D]. Hangzhou: Zhejiang University, 2020. (in Chinese) [20] Huang Xu, Ling Zhigang, Li Xiuxin. Discriminative deep feature learning method by fusing linear discriminant analysis for image recognition [J]. Journal of Image and Graphics, 2018, 23(4): 510-518. (in Chinese) [21] Luo Chang, Wang Jie, Wang Shiqiang, et al. General deep transfer features based high resolution remote scene classification [J]. Systems Engineering and Electronics, 2018, 40(3): 682-691. (in Chinese)