留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向天基红外预警的高动态弱小目标LSTM检测方法研究

翟光 胡圣冉 孙一勇

翟光, 胡圣冉, 孙一勇. 面向天基红外预警的高动态弱小目标LSTM检测方法研究[J]. 红外与激光工程, 2023, 52(10): 20230010. doi: 10.3788/IRLA20230010
引用本文: 翟光, 胡圣冉, 孙一勇. 面向天基红外预警的高动态弱小目标LSTM检测方法研究[J]. 红外与激光工程, 2023, 52(10): 20230010. doi: 10.3788/IRLA20230010
Zhai Guang, Hu Shengran, Sun Yiyong. Research on LSTM method of high dynamic dim and small targets detection for space-based infrared early warning[J]. Infrared and Laser Engineering, 2023, 52(10): 20230010. doi: 10.3788/IRLA20230010
Citation: Zhai Guang, Hu Shengran, Sun Yiyong. Research on LSTM method of high dynamic dim and small targets detection for space-based infrared early warning[J]. Infrared and Laser Engineering, 2023, 52(10): 20230010. doi: 10.3788/IRLA20230010

面向天基红外预警的高动态弱小目标LSTM检测方法研究

doi: 10.3788/IRLA20230010
详细信息
    作者简介:

    翟光,男,教授,博士,主要从事空间目标相对导航与控制方面的研究

    通讯作者: 孙一勇,男,助理教授,博士,主要从事人工智能技术与应用方面的研究
  • 中图分类号: TP391

Research on LSTM method of high dynamic dim and small targets detection for space-based infrared early warning

  • 摘要: 在天基红外预警任务中,高动态弱小目标具有成像尺寸小、运动规律未知的特点。现有红外弱小目标探测任务主要关注匀速直线运动目标检测问题,对高动态目标的有效检测算法尚需进一步开发。针对天基红外预警任务中高动态非线性运动目标检测问题,提出了一种基于LSTM的红外弱小目标检测算法。首先设计了提取可疑目标位置信息的预处理方法,解决了LSTM网络结构与序列图像不匹配的问题;然后,针对传统算法难以检测非线性运动轨迹的问题,利用LSTM提取目标运动特征,实现序列图像中高动态目标的检测。通过与序列假设检验等算法的对比,在自研的红外序列图像数据集上验证了所提出的算法能够实现不低于0.9347的精确率与不低于0.8633的召回率。
  • 图  1  LSTM网络单元结构

    Figure  1.  Structure of LSTM network unit

    图  2  LISTD算法流程

    Figure  2.  Process of LISTD algorithm

    图  3  预处理模块。$(\rm a)$模块流程; $(\rm b)$滤波核

    Figure  3.  Preprocessing block. $(\rm a)$ Block process; $(\rm b)$ Filter core

    图  4  LSTM检测模块

    Figure  4.  LSTM detection block

    图  5  仿真图片

    Figure  5.  Simulation image

    图  6  LISTD对正弦运动目标的检测结果

    Figure  6.  LISTD detection results of sinusoidal moving target

    图  7  检测结果。 $(\rm a)$ 虚警场景; $(\rm b)$ 错检场景; $(\rm c)$ 漏警场景; $(\rm d)$ 正确检测场景

    Figure  7.  Detection result. $(\rm a)$ False alarm scene; $(\rm b)$ Mistaken detection scene; $(\rm c)$ Missing alarm scene; $(\rm d)$ Correct detection scene

    表  1  目标检测中可能出现的情况

    Table  1.   Possible situations in target detection

    Detection result: PositiveDetection result: Negative
    Reality: PositiveTPFN
    Reality: NegativeFPTN
    下载: 导出CSV

    表  2  算法性能对比

    Table  2.   Performance comparison among algorithms

    Uniform linear motion Sinusoidal motion Complex motionAverage time consumption/帧·s−1Peak memory usage/MiBNeural network GFLOPs
    PrecisionRecallPrecisionRecallPrecisionRecall
    MF0.64440.83110.63870.83430.64150.83740.007253360.44-
    MMF0.45130.87150.44930.86770.45100.87032.7241359.24-
    SHT0.99540.74040.96300.70930.95850.68040.009351359.25-
    YOLOv50.36600.09490.37200.10100.34000.09240.06760597.3916.422
    LISTD0.94830.92370.93470.88510.93620.86330.0083261214.130.108
    下载: 导出CSV

    表  3  LISTD算法对不同信杂比和信噪比数据集的检测结果

    Table  3.   LISTD detection results for datasets with different SCR and SNR

    SCRSNRUniform linear motion Sinusoidal motion Complex motion
    PrecisionRecallPrecisionRecallPrecisionRecall
    220.69050.34180.73220.35490.65420.3777
    40.81910.60140.79740.61680.84330.6145
    60.86740.62690.82860.64300.84150.6547
    420.84600.61310.88420.66990.87090.6200
    40.87230.74980.89580.77990.87400.7264
    60.90950.78450.93990.80820.85070.7657
    620.89710.74480.92290.75630.87780.6653
    40.92900.87520.95000.88650.92820.8577
    60.94870.88510.94540.92630.95570.9161
    下载: 导出CSV
  • [1] Deshpande S D, Er M H, Venkateswarlu R, et al. Max-mean and max-median filters for detection of small targets[C]//Proceedings of SPIE, 1999, 3809: 74–83.
    [2] Chen C L P, Li H, Wei Y T, et al. A local contrast method for small infrared target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 574-581. doi:  10.1109/TGRS.2013.2242477
    [3] Chen Y, Zhang G, Ma Y, et al. Small infrared target detection based on fast adaptive masking and scaling with iterative segmentation [J]. IEEE Geoscience and Remote Sensing Letters, 2022, 9: 7000605. doi:  10.1109/LGRS.2020.3047524
    [4] 鲁晓锋, 柏晓飞, 刘家铭, 等. 基于改进加权增强局部对比度测量的红外小目标检测方法[J]. 红外与激光工程, 2022, 51(8): 9. doi:  10.3788/IRLA20210914

    Lu X F, Bai X F, Liu J M, et al. Infrared small target detection method based on the improved weighted enhanced local contrast measurement [J]. Infrared and Laser Engineering, 2022, 51(8): 20210914. (in Chinese) doi:  10.3788/IRLA20210914
    [5] Falconer D G. Target tracking with the hough transform[C]//1977 11th Asilomar Conference on Circuits, Systems and Computers, 1977. Conference Record. IEEE, 1977: 249-252.
    [6] Barniv Y. Dynamic programming solution for detecting dim moving targets [J]. IEEE Transactions on Aerospace and Electronic Systems, 1985, 21(1): 144-156. doi:  10.1109/TAES.1985.310548
    [7] Blostein S D, Huang T S. Detecting small, moving objects in image sequences using sequential hypothesis testing [J]. IEEE Transactions on Signal Processing, 1991, 39(7): 1611-1629. doi:  10.1109/78.134399
    [8] Zhang P, Zhang L, Wang X, et al. Edge and corner awareness-based spatial-temporal tensor model for infrared small-target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(12): 10708-10724. doi:  10.1109/TGRS.2020.3037938
    [9] Pang D, Shan T, Ma P, et al. A novel spatiotemporal saliency method for low-altitude slow small infrared target detection [J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 7000705. doi:  10.1109/LGRS.2020.3048199
    [10] Uzair M, Brinkworth R, Finn A. A bio-inspired spatiotemporal contrast operator for small and low-heat-signature target detection in infrared imagery [J]. Neural Computing & Applications, 2021, 33(13): 7311-7324. doi:  https://doi.org/10.1007/s00521-020-05206-w
    [11] Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: optimal speed and accuracy of object detection[EB/OL]. (2020-04-23)[2023-01-05]. https://arxiv.org/abs/2004.10934.
    [12] Hou Q, Wang Z, Tan F, et al. RISTDnet: Robust infrared small target detection network [J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 7000805. doi:  10.1109/LGRS.2021.3050828
    [13] Dai Y, Wu Y, Zhou F, et al. Attentional local contrast networks for infrared small target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11): 9813-9824. doi:  10.1109/TGRS.2020.3044958
    [14] 蒋昕昊, 蔡伟, 杨志勇, 等. 基于YOLO-IDSTD算法的红外弱小目标检测[J]. 红外与激光工程, 2022, 51(3): 20210106. doi:  10.3788/IRLA20210106

    Jiang X, Cai W, Yang Z, et al. Infrared dim and small target detection based on YOLO-IDSTD algorithm [J]. Infrared and Laser Engineering, 2022, 51(3): 20210106. (in Chinese) doi:  10.3788/IRLA20210106
    [15] Baird Z, Mcdonald M K, Rajan S, et al. A CNN-LSTM network for augmenting target detection in real maritime wide area surveillance radar data [J]. IEEE Access, 2020, 8: 179281-179294. doi:  10.1109/ACCESS.2020.3025144
    [16] Liu X, Li X, Li L, et al. Dim and small target detection in multi-frame sequence using Bi-Conv-LSTM and 3D-Conv structure [J]. IEEE Access, 2021, 9: 135845-135855. doi:  10.1109/ACCESS.2021.3110395
    [17] Powers D M W. Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and corre-lation[EB/OL]. (2020-10-11)[2023-01-05]. https://arxiv.org/abs/2010.16061.
    [18] Jocher G. Comprehensive guide to ultralytics YOLOv5[EB/OL]. [2023-01-05]. https://docs.ultralytics.com/yolov5/.
  • [1] 高凡, 杨小冈, 卢瑞涛, 王思宇, 高久安, 夏海.  Anchor-free轻量级红外目标检测方法(特邀) . 红外与激光工程, 2022, 51(4): 20220193-1-20220193-9. doi: 10.3788/IRLA20220193
    [2] 张景程, 乔新博, 赵永强.  红外偏振摄像机动目标检测跟踪系统(特邀) . 红外与激光工程, 2022, 51(4): 20220233-1-20220233-10. doi: 10.3788/IRLA20220233
    [3] 李岳楠, 徐浩宇, 董浩.  频域内面向目标检测的领域自适应 . 红外与激光工程, 2022, 51(7): 20210638-1-20210638-9. doi: 10.3788/IRLA20210638
    [4] 蒋昕昊, 蔡伟, 杨志勇, 徐佩伟, 姜波.  基于YOLO-IDSTD算法的红外弱小目标检测 . 红外与激光工程, 2022, 51(3): 20210106-1-20210106-10. doi: 10.3788/IRLA20210106
    [5] 韩金辉, 魏艳涛, 彭真明, 赵骞, 陈耀弘, 覃尧, 李楠.  红外弱小目标检测方法综述 . 红外与激光工程, 2022, 51(4): 20210393-1-20210393-24. doi: 10.3788/IRLA20210393
    [6] 孙鹏, 于跃, 陈嘉欣, 秦翰林.  基于深度空时域特征融合的高动态空中多形态目标检测方法(特邀) . 红外与激光工程, 2022, 51(4): 20220167-1-20220167-8. doi: 10.3788/IRLA20220167
    [7] 南天章, 耿建君, 陈旭, 陈颖.  基于邻域特征的红外低慢小目标检测 . 红外与激光工程, 2019, 48(S1): 174-180. doi: 10.3788/IRLA201948.S128002
    [8] 唐聪, 凌永顺, 郑科栋, 杨星, 郑超, 杨华, 金伟.  基于深度学习的多视窗SSD目标检测方法 . 红外与激光工程, 2018, 47(1): 126003-0126003(9). doi: 10.3788/IRLA201847.0126003
    [9] 耿磊, 梁晓昱, 肖志涛, 李月龙.  基于多形态红外特征与深度学习的实时驾驶员疲劳检测 . 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
    [10] 陈卫, 孙晓兵, 乔延利, 陈震庭, 殷玉龙.  海面耀光背景下的目标偏振检测 . 红外与激光工程, 2017, 46(S1): 63-68. doi: 10.3788/IRLA201746.S117001
    [11] 陈善静, 康青, 顾忠征, 王正刚, 沈志强, 蒲欢, 辛颖.  基于三维GMRF的高光谱图像空天融合目标检测 . 红外与激光工程, 2016, 45(S2): 132-139. doi: 10.3788/IRLA201645.S223003
    [12] 孙照蕾, 惠斌, 秦莫凡, 常铮, 罗海波, 夏仁波.  红外图像显著目标检测算法 . 红外与激光工程, 2015, 44(9): 2633-2637.
    [13] 韩艳丽, 刘峰.  基于三角形匹配的空间小目标检测算法 . 红外与激光工程, 2014, 43(9): 3134-3140.
    [14] 彭志勇, 王向军, 卢进.  窗口热辐射下基于视觉显著性的红外目标检测方法 . 红外与激光工程, 2014, 43(6): 1772-1776.
    [15] 吴明军, 许建铮, 周桢, 张亚涛.  针对运动摄像机的快速低存储开销运动目标检测算法 . 红外与激光工程, 2013, 42(8): 2275-2280.
    [16] 黎志华, 李新国.  基于OpenCV的红外弱小运动目标检测与跟踪 . 红外与激光工程, 2013, 42(9): 2561-2565.
    [17] 刘志刚, 卢云龙, 魏一苇.  有监督的高光谱图像伪装目标检测方法 . 红外与激光工程, 2013, 42(11): 3076-3081.
    [18] 金雁, 江洁, 张广军.  高动态星跟踪方法 . 红外与激光工程, 2013, 42(1): 212-217.
    [19] 杨亚威, 李俊山, 杨威, 赵方舟.  利用稀疏化生物视觉特征的多类多视角目标检测方法 . 红外与激光工程, 2012, 41(1): 267-272.
    [20] 何莲, 蔡敬菊, 张启衡.  改进的基于弦切变换的目标检测方法 . 红外与激光工程, 2012, 41(1): 239-247.
  • 加载中
图(7) / 表(3)
计量
  • 文章访问数:  124
  • HTML全文浏览量:  24
  • PDF下载量:  67
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-01-05
  • 修回日期:  2023-04-30
  • 刊出日期:  2023-10-24

面向天基红外预警的高动态弱小目标LSTM检测方法研究

doi: 10.3788/IRLA20230010
    作者简介:

    翟光,男,教授,博士,主要从事空间目标相对导航与控制方面的研究

    通讯作者: 孙一勇,男,助理教授,博士,主要从事人工智能技术与应用方面的研究
  • 中图分类号: TP391

摘要: 在天基红外预警任务中,高动态弱小目标具有成像尺寸小、运动规律未知的特点。现有红外弱小目标探测任务主要关注匀速直线运动目标检测问题,对高动态目标的有效检测算法尚需进一步开发。针对天基红外预警任务中高动态非线性运动目标检测问题,提出了一种基于LSTM的红外弱小目标检测算法。首先设计了提取可疑目标位置信息的预处理方法,解决了LSTM网络结构与序列图像不匹配的问题;然后,针对传统算法难以检测非线性运动轨迹的问题,利用LSTM提取目标运动特征,实现序列图像中高动态目标的检测。通过与序列假设检验等算法的对比,在自研的红外序列图像数据集上验证了所提出的算法能够实现不低于0.9347的精确率与不低于0.8633的召回率。

English Abstract

    • 相比雷达探测,红外探测技术具有观测范围大、扫描周期短、抗干扰能力强的优势,在天基预警任务中具有重要意义。任务环境中目标与传感器距离一般较远,能量在传播时衰减显著,因此目标在红外系统中一般成像为弱小目标;同时,背景杂波及噪声干扰进一步降低了红外图像的信杂比(Signal to Clutter Ratio, SCR)和信噪比(Signal to Noise Ratio, SNR),提升了目标检测的难度。近年来,复杂机动航天器技术快速发展,为红外弱小目标检测任务带来了新的挑战。

      红外弱小目标检测旨在根据红外图像信息计算目标的位置,为目标跟踪等任务提供必要条件。根据单次检测所利用的图像数量,传统红外弱小目标检测算法可分为基于单帧图像的跟踪前检测算法(Detect before Track, DBT)与基于序列图像的检测前跟踪算法(Track before Detect, TBD)。跟踪前检测算法一般先对单幅图像进行滤波处理,通过阈值分割方法提取疑似目标,在对当前图像中目标进行判别后进行跟踪等后续任务。Deshpande等人[1]设计了最大中值滤波(Max-Medium Filtering, MMF)抑制背景中的边界部分;Chen等人[2]提出局部对比度测量(Local Contrast Measure, LCM)方法,注重于窗口内灰度值差异并以此为依据进行检测,Chen等人[3]、鲁晓峰等人[4]基于LCM机制在噪声抑制及算法实时性等方面进行改进;跟踪前检测算法在检测时仅利用单帧图像信息,实时性较好,但仅适用于信噪比较高、背景较为简单的检测任务。检测前跟踪算法通常以假设的目标运动规律为先验知识,对序列图像中形成的可疑轨迹进行判断。Falconer[5]使用直线检测中常用的Hough算法检测目标运动轨迹;Barniv[6]根据贝叶斯理论,将动态规划方法应用于轨迹检测;Blostein等人[7]提出序列假设检验(Sequential Hypothesis Testing, SHT)算法,对可疑轨迹进行逐层剪枝;Zhang等人[8]、Pang等人[9]、Uzair等人[10]将图像空间域中的目标检测方法扩展到时空域以处理时序图像;检测前跟踪算法利用多帧图像中目标运动信息进行检测,可适用于低信噪比下的检测任务,但由于其常基于匀速直线运动假设进行判断,难以对复杂机动目标进行较高精度的检测。

      伴随深度学习技术的发展,以R-CNN系列与YOLO系列[11]为代表的目标检测算法实现了良好的效果,但其主要应用于形状、纹理等特征丰富的常规目标,对于红外弱小目标检测问题能力不足,为解决这一问题,Hou等人[12]、Dai等人[13]、蒋昕昊等人[14]基于卷积神经网络(Convolutional Neural Network, CNN)及YOLO框架,在实时性方面进行改进以检测弱小目标。部分学者尝试利用长短期记忆网络(Long Short-time Memory, LSTM)提取时序特征的能力对目标轨迹进行检测,通常结合卷积神经网络提取目标空间特征:Baird等人[15]使用CNN-LSTM对小目标识别进行增强,CNN用于提取空间信息,LSTM负责分析空间信息的时间变化特性;Liu等人[16]借助Conv-LSTM算法,将LSTM的输入矢量扩展为二维矩阵以适应图像处理,同时采用Bi-LSTM结构以充分利用目标的时序信息。深度学习方法虽然能适应复杂机动情况,但其处理红外弱小目标检测任务存在诸多困难:深度学习方法对数据集规模要求较高,而红外弱小目标仍不存在公认的大规模数据集;深度学习方法常以CNN为基础,检测纹理、形状信息缺失的小目标能力不足;红外弱小目标检测任务往往需要较高的实时性,限制了深度学习算法的能力。因此,当前以深度学习方法处理红外弱小目标检测任务的研究相对较少。

      针对现有方法中存在的上述问题,文中面向复杂机动的红外弱小目标检测任务,设计了一种基于LSTM的红外弱小目标检测(LSTM-based Infrared Small-and-Dim Target Detection, LISTD)算法,以中值滤波算法提取图像中的可疑点位置坐标,将其以矢量形式输入LSTM网络,从而在时序信息中提取目标轨迹的运动特征并完成目标检测。在自主设计制作的红外仿真数据集中进行测试,验证算法的可行性和实用性。该算法具有如下特点:

      1)针对目标信号占比小的特点,设计预处理算法在二维红外图像矩阵中提取目标位置信息并转化为一维的矢量信息,使LSTM网络能够维持其较简单的结构并参与到图像处理中,相比扩展LSTM维度的方法有效降低计算量并减少计算耗时。

      2)以可疑目标坐标序列为输入,利用目标运动的时序特性,使用LSTM对序列图像中的运动目标进行识别和定位,并结合预处理结果修正LSTM输出的位置坐标,提升检测精度。根据高动态目标特性设计多种场景的序列图像训练集,提升训练模型的检测能力。

    • 天基红外预警卫星利用红外成像系统接收视场内的物体辐射的能量,经热电转化形成电信号,最后呈现为红外图像,图像中灰度值大小表征了不同物体之间的辐射温度的差异。包含目标的红外图像可建模,如公式(1)所示:

      $$ {{x}}(m,n) = {{{x}}_T}(m,n) + {{{x}}_B}(m,n) + {{{x}}_N}(m,n) $$ (1)

      式中:${{x}}(m,n)$为红外图像坐标$ (m,n) $处的灰度值;${{{x}}_T}(m, n)$、$ {{{x}}_B}(m,n) $、$ {{{x}}_N}(m,n) $分别为图像坐标$ (m,n) $处因目标、背景、噪声信号所形成的灰度值。

      单张红外图像包括以下三种信号:

      1) 红外弱小目标信号。目标在成像平面上成像尺寸一般小于$9 \times 9$,在整张图像上面积占比极小,难以利用其形状、结构、纹理等信息,但其与背景间不存在空间相关性而在灰度上具有局部对比度。可使用高斯模型描述其信号,如公式(2)所示:

      $$ {{{x}}_T}(m,n) = {s_E}\exp \left\{ - \frac{1}{2}\left[\frac{{{{(m - {x_T})}^2}}}{{\sigma _x^2}} + \frac{{{{(n - {y_T})}^2}}}{{\sigma _y^2}}\right]\right\} $$ (2)

      式中:${{{x}}_T}(m,n)$为中心坐标为$({x_T},{y_T})$的目标在坐标$(i,j)$处的灰度值;${s_E}$为目标信号幅值。即目标灰度值分布呈现出中心高,周围逐渐衰弱的特征。

      2)红外背景信号。背景在天基预警任务中体现为恒星、地表、云层,相比目标信号,背景在图像中占比较大,空间上变化较为平缓,是图像中的低频部分,但云层等背景的边界及角点易被误识别为目标。在较长时间的序列图像中,背景由于自身运动或预警卫星相机的扫视,会出现整体缓慢运动的现象。

      信杂比是体现目标与背景杂波强度差异的指标,文中采用的信杂比计算方法如公式(3)所示:

      $$ S C R = \frac{{|{\mu _t} - {\mu _b}|}}{{{\sigma _b}}} $$ (3)

      式中:$ \;{\mu _t} $为目标范围内的灰度均值;$\;{\mu _b}$为背景图像的灰度均值,$ {\sigma _b} $为背景图像的灰度标准差。

      3)噪声信号。噪声主要来自视场内背景和探测系统本身,可细分为背景噪声、热噪声、载流子噪声等,大部分噪声近似满足加性的高斯噪声模型,其概率密度函数为:

      $$ p({{x}}) = \frac{1}{{\sqrt {2\pi } \delta }}{{\rm{e}}^{\tfrac{{ - {{({{x}} - {{\bar x}})}^2}}}{{2{\delta ^2}}}}} $$ (4)

      式中:${{x}}$为加性噪声的灰度值;$ {{\bar x}} $为噪声平均幅值;$ \delta $为噪声标准差。信噪比是体现目标与噪声强度的指标,对于尺寸为$M \times N$的图像,文中采用的信噪比计算方法如公式(5)所示:

      $$ S N R = 10\lg \frac{{\displaystyle\sum\limits_{i = 0}^{M - 1} {\displaystyle\sum\limits_{j = 0}^{N - 1} {{{[g(i,j)]}^2}} } }}{{\displaystyle\sum\limits_{i = 0}^{M - 1} {\displaystyle\sum\limits_{j = 0}^{N - 1} {{{[g(i,j) - f(i,j)]}^2}} } }} $$ (5)

      式中:$ g(i,j) $、$ f(i,j) $分别为噪声图像和原图像在坐标$ (i,j) $处的灰度值。

      显然,噪声会在图像中形成一定数量的高灰度值点,对弱小目标检测形成干扰。在序列图像中,噪声体现出非连续和无规律的特点。

      在红外弱小目标检测算法中,目标中心幅值相对周围信号较高的特征是最为广泛使用的判断依据,但基于该特性的相关检测算法存在目标信号弱小,背景边界、背景角点及噪声干扰明显等难点,易造成较高的虚警率和较低的检测效率。因此,有必要在检测中利用目标的运动特征。

      在序列图像中,背景的协同低速运动及噪声无规律出现的特点,使连续运动的目标有可能被检出。对于复杂机动目标,在没有关于目标运动规律的先验知识的情况下,传统算法难以仅利用目标运动的连续性进行有效检测,而以LSTM为代表的学习类算法具有处理该类问题的潜力。

    • 基于多帧图像的传统检测前跟踪算法能够利用目标运动特征,但多以目标匀速直线运动为假设,难以处理复杂机动目标。为解决这一问题,可引入LSTM网络,利用其处理序列数据的能力提取目标运动特征,进行目标检测。LSTM网络单元结构如图1所示。

      图  1  LSTM网络单元结构

      Figure 1.  Structure of LSTM network unit

      图1中,$ {i}_{t}、{f}_{t}、{o}_{t} $分别被称为$t$时刻单元的输入门、遗忘门和输出门;$ {c}_{t}、{h}_{t} $分别被称为$t$时刻的单元状态和隐藏状态;${x_t}$为$t$时刻单元的输入值。输入门、遗忘门和输出门的计算如公式(6)所示:

      $$ \begin{gathered} {i_t} = \sigma ({W_{xi}}{x_t} + {W_{hi}}{h_{t - 1}} + {b_i}) \\ {f_t} = \sigma ({W_{xf}}{x_t} + {W_{hf}}{h_{t - 1}} + {b_f}) \\ {o_t} = \sigma ({W_{xo}}{x_t} + {W_{ho}}{h_{t - 1}} + {b_o}) \\ \end{gathered} $$ (6)

      式中:$ {W_{xi}} $、$ {W_{xf}} $、$ {W_{xo}} $分别为计算输入门、遗忘门和输出门时输入值对应的权重矩阵;$ {W_{hi}} $、$ {W_{hf}} $、$ {W_{ho}} $分别为计算输入门、遗忘门和输出门时隐藏状态对应的权重矩阵;$ {b_i} $、$ {b_f} $、$ {b_o} $分别为计算输入门、遗忘门和输出门时采用的偏置量;$\sigma $和$\tanh $为激活函数,对于范围为$ (-\infty ,\text{+}\infty ) $的实数,前者将其转化至$[0,\;1]$,后者则转化为$[{{ - 1}},\;1]$。

      单元状态和隐藏状态的计算如公式(7)所示:

      $$ \begin{gathered} {c_t} = {f_t} \circ {c_{t - 1}} + {i_t} \circ \tanh ({W_{xc}}{x_t} + {W_{hc}}{h_{t - 1}} + {b_c}) \\ {h_t} = {o_t} \circ \tanh ({c_t}) \\ \end{gathered} $$ (7)

      式中:$ {W_{xc}} $、$ {W_{hc}} $为计算单元状态时输入值和隐藏状态对应的权重矩阵;$ {b_c} $为计算单元状态时采用的偏置量;$ \circ $为哈达玛积。

      在高动态弱小目标检测任务中,序列图像上的目标运动可能呈现非线性特征,将目标轨迹假设为直线的检测方法不能有效检测高动态目标;由于非合作目标运动规律未知,无法建立描述其复杂运动特征的准确模型,因此不能有效地利用时域信息检测目标。考虑LSTM在处理时序数据问题中具有良好表现,对高动态弱小目标检测具有一定的应用价值。但LSTM输入一般为矢量数据,无法直接处理涉及二维矩阵的图像相关问题。目前的处理思路往往为使用CNN对图像信息进行提取并降维为矢量或对LSTM输入进行维度扩充,但这些方法都涉及对二维图像的深度学习处理,运算复杂性较高,耗时较多,且由于弱小目标空间域特征不明显,这类方法对弱小目标检测问题往往不能发挥最佳作用。

      针对上述问题,文中提出LISTD算法,根据对序列图像中可能存在的目标进行检测,输出目标的位置,其总体流程如图2所示。

      图  2  LISTD算法流程

      Figure 2.  Process of LISTD algorithm

      文中提出的LISTD算法具有两个模块:Block 1为预处理模块,采用中值滤波算法提取原始图像中可疑目标的位置信息,将图像信号转化为矢量信息,便于后续的运动特征提取;Block 2为轨迹提取模块,是算法的核心部分,使用LSTM对目标运动特征进行学习与提取,并估计目标的存在性及位置坐标,最后输出检测结果。

    • 针对图像信号不能直接用于经典LSTM网络的问题,考虑弱小目标检测任务中目标占图像面积小的特点,设计了基于中值滤波的预处理算法,将二维的图像信号提取为一维的矢量信息作为LSTM网络的输入。预处理模块如图3所示。

      图  3  预处理模块。$(\rm a)$模块流程; $(\rm b)$滤波核

      Figure 3.  Preprocessing block. $(\rm a)$ Block process; $(\rm b)$ Filter core

      为了实现快速提取可疑目标的位置信息,采用如图3$(\rm b)$所示的中值滤波方法。图3$(\rm b)$中标注了滤波核各单元对应位置的原图像灰度值,若原始图像在图像坐标$ (m,n) $处的灰度值记为$x(m,n)$,平滑后的图像灰度值记为$y(m,n)$,则滤波操作如公式(8)所示:

      $$ \begin{split} y(m,n) =& median\{ x(m - 2,n - 2),\\ & x(m - 2,n - 1),\cdots,x(m + 2,n + 2)\} \end{split}$$ (8)

      然后将$y(m,n)$与$x(m,n)$做差分,如公式(9)所示:

      $$ z(m,n) = x(m,n) - y(m,n) $$ (9)

      式中:$ z(m,n) $为差分后图像在$ (m,n) $处的灰度值,对其进行二值化,如公式(10)所示:

      $$ t(m,n) = \left\{ \begin{gathered} 1,z(m,n) > T \\ 0,z(m,n) < T \\ \end{gathered} \right. $$ (10)

      式中:$ t(m,n) $为二值化图像在$ (m,n) $处的灰度值;$T$为二值化阈值,其计算方法为:

      $$ T = \mu + k\sigma $$ (11)

      式中:$ \mu $、$ \sigma $分别为原始图像灰度的均值和标准差;$ k $为经验参数,一般取值10~15。为充分发挥预处理算法的作用,避免提取信息过少导致无法进行运算或提取信息过多干扰运算,文中设计了针对每帧图像的$k$值自适应机制,即以$k = 12$为初值,在循环中以1为步长调整$k$值,直至二值化图像中灰度值为1的区域数量为${n_{\rm point,\min }}\sim{n_{\rm point,\max }}$个,或达到预设的循环次数。${n_{\rm point,\min }}$、${n_{\rm point,\max }}$为人为设定的最小点数量和最大点数量,文中取${n_{\rm point,\min }} = 10,{n_{\rm point,\max }} = 20$。

      对于二值化图像中各灰度值为1的区域,计算其质心,作为可疑目标点的位置坐标。对于当前帧中的每个可疑目标点,以$r$为半径在前一帧提取到的可疑目标点坐标中搜索,取最近点计算其距离,记为该点的猜想速度值${V_g}$;再取当前帧可疑点中${V_g}$最大的${n_{\rm point}}$个点坐标列为矢量${{{x}}_t} = [{x_1},{y_1},{x_2},{y_2},\cdots, {x_{{n_{\rm point}}}},{y_{{n_{\rm point}}}}]$作为LSTM的输入,其中$ {x_i} $、${y_i}$为按${V_g}$排序第$i$的可疑点的$x$、$y$坐标值;若二值化后可疑目标数目不足${n_{\rm point}}$,则以缺省值$d$填充补齐。前述$r$、${n_{\rm point}}$与$d$均为人为设定值,文中取$r = 8$、${n_{\rm point}} = 8$、$d{{ = - 16}}$。

      在预处理模块中,为适应LSTM网络结构,利用原始图像中目标点灰度值高于背景的特征,提取可疑目标位置信息,将二维的矩阵信号转化为一维的矢量信息;根据估计速度对可疑目标进行取舍,提高目标相关信息被输入至LSTM的概率;针对目标信号尺寸小的特点,在预处理阶段利用目标形状、尺寸等信息并在预处理后舍弃,仅保留目标的位置信息,将单帧图像所包含的大量信息转化固定长度的矢量,减轻了LSTM的运算负担,并突出了目标的运动特征。

    • 借助LSTM提取时序特征的能力,使LSTM学习目标轨迹的运动规律,并以此为判断依据,从随机出现的噪声点轨迹及协同低速运动的背景角点轨迹中区分真实的复杂运动目标点轨迹,最终对目标的存在进行判断,输出当前目标点坐标的估计值。

      LSTM输出的仅为估计目标点,对于图像中未出现目标点的情况,则以输出一个负的缺省值$d$来表示。不采取增加置信度项的方式来表示是否检测出图像中目标,主要出于三方面考虑:首先,缺省值方法相比置信度方法减少了LSTM网络内权重矩阵的规模,降低运算复杂度,提升算法的实时性;其次,在计算损失函数时,置信度的设计会带来较大影响,干扰LSTM的学习效率;最后,文中算法主要针对单一种类目标的检测,不涉及目标分类问题,无需设计置信度。LSTM轨迹检测模块算法流程如图4所示。

      图  4  LSTM检测模块

      Figure 4.  LSTM detection block

      图4中,将$t$时刻图像经预处理算法计算所得长度为$2{n_{\rm point}}$的可疑目标点坐标矢量${{{x}}_t} = [ {x_1},{y_1},{x_2},{y_2},\cdots,{x_{{n_{\rm point}}}}, {y_{{n_{\rm point}}}} ]$作为$t$时刻LSTM的网络输入,以128为时间步长估计$t$时刻目标点坐标${{{y}}_t} = [{x_{pre}},{y_{pre}}]$,${x_{pre}}$和${y_{pre}}$即为所估计的目标点在图像平面中的$x$、$y$坐标值。

      ${{{y}}_t} = [{x_{pre}},{y_{pre}}]$作为LSTM根据时序特征对目标点坐标的估计值,相对于该时刻目标点真实坐标仍有一定误差,而预处理算法计算结果提供了较为准确的可疑目标点的位置坐标。为提升检测精度,对LSTM运算结果进行后处理,从预处理结果中选取最为接近的目标点坐标作为最终结果。其计算方法如公式(12)所示:

      $$ \begin{split} \\ {{{z}}_t} = [{x_{out}},{y_{out}}] = \left\{ \begin{gathered} [d,d],\min {[{({x_i} - {x_{pre}})^2} + {({y_i} - {y_{pre}})^2}]^{\tfrac{1}{2}}} > {T_d},\\ \qquad \qquad {\rm or},{x_{pre}} < 0,{\rm or},{y_{pre}} < 0 \\ \mathop {\arg \min }\limits_{({x_i},{y_i})} {[{({x_i} - {x_{pre}})^2} + {({y_i} - {y_{pre}})^2}]^{\tfrac{1}{2}}},{\rm else} \\ \end{gathered} \right. \end{split} $$ (12)

      式中:$ {{{z}}_t} = [{x_{out}},{y_{out}}] $为最终输出的目标点坐标;$ {T_d} $为人为设定的误差阈值,文中取$ {T_d} = 64 $。若LSTM估计的目标点坐标存在负值,或与预处理结果中的任意可疑点目标的距离误差超过阈值$ {T_d} $,则认为该时刻图像中不存在目标;否则,取预处理结果中与LSTM估计目标点距离最近的可疑目标点作为最终计算的目标点坐标。

      在LSTM估计阶段,根据可疑目标位置信息序列,学习并提取目标的运动特征,检测目标运动轨迹;以LSTM估计结果为依据,在预处理结果中选取可信的目标点坐标,提升定位精度。

    • 为验证算法对天基预警任务中高动态红外弱小目标的检测能力,设计仿真算例序列图像。考虑天基预警任务的应用场景,根据低轨探测卫星相机性能及各背景物体红外特性,计算生成包含地面、海洋及低速运动云层的地物背景仿真图像;在此基础上,根据目标高动态特征,考虑目标可能出现的非线性运动场景,向序列背景图像中叠加匀速直线运动、正弦机动及复杂机动轨迹的目标信号;为验证算法处理目标出现和消失场景的能力,在数据集中设计了相应的仿真序列图像;最后,为提高仿真算例图像的拟真度,向其添加标准差为32的高斯噪声,得到平均信杂比为4.96、平均信噪比为4.07的序列图像。如图5所示。训练集规模为95040张,测试集4950张。

      图  5  仿真图片

      Figure 5.  Simulation image

      图5为包含目标、背景及噪声的算例图片,序列图像中缓慢运动的背景角点及无规律出现的噪声可能对目标检测造成干扰。对于单目标检测任务中的一帧图像,将算法给出的检测结果与真实目标进行比较,参考文献[17]中的定义方法,分别使用TP、FP、FN、TN代表可能出现的四种情况:

      1)该帧中目标存在且算法认为目标存在,并计算出其正确坐标,即检测结果为正样本,实际也为正样本,定义该情况为TP (True Positive);

      2)该帧中算法认为目标存在,但所计算的坐标处无真实目标,即检测结果为正样本,实际为负样本,定义该情况为FP (False Positive);

      3)该帧中目标存在,但算法认为目标不存在而未能计算出其正确坐标,即检测结果为负样本,实际为正样本,定义该情况为FN (False Negative);

      4)该帧中目标不存在,且算法正确地认为其不存在,即检测结果为负样本,实际为负样本,定义该情况为TN (True Negative)。

      各情况如表1所示。

      表 1  目标检测中可能出现的情况

      Table 1.  Possible situations in target detection

      Detection result: PositiveDetection result: Negative
      Reality: PositiveTPFN
      Reality: NegativeFPTN

      文中使用精确率(Precision)和召回率(Recall)作为评估算法的指标[11]。其计算方法如公式(13)所示:

      $$ \begin{gathered} Presicion = \dfrac{{{n_{\rm TP}}}}{{{n_{\rm TP}} + {n_{\rm FP}}}} \in [0,1] \\ Recall = \dfrac{{{n_{\rm TP}}}}{{{n_{\rm TP}} + {n_{\rm FN}}}} \in [0,1] \\ \end{gathered} $$ (13)

      式中:${n_{\rm TP}}$、${n_{\rm FP}}$、${n_{\rm FN}}$分别表示情况中TP、FP、FN出现的数量。即精确率代表算法所做出的检测定位结果中正确的概率,召回率代表目标存在时算法能够正确检测定位的概率,两者值越高,算法的性能越好。

      针对不同运动规律的目标,设计并测试了两类算例:实验一中目标坐标以正弦规律变化,用于验证算法处理较简单的非线性运动目标的能力;实验二中以多正弦波叠加后的函数描述目标坐标变化规律,用于验证算法处理复杂运动规律目标的能力。所有程序运行在相同的硬件平台上,其CPU为i7-11700,GPU为Nvidia GTX1660;运行深度学习程序所涉及的显卡驱动程序为Nvidia-smi510.54、CUDA版本11.6。

    • 该实验中目标进行简单的非线性运动,运动规律为:

      $$ \begin{gathered} x = 256 + 128\sin \frac{{2\pi t}}{{407}} \\ y = 256 + 128\sin \frac{{2\pi (t - 31)}}{{253}} \\ \end{gathered} $$

      式中:$ x、y $均为像素坐标值;$t$为帧序号。算法运算结果如图6所示。

      图  6  LISTD对正弦运动目标的检测结果

      Figure 6.  LISTD detection results of sinusoidal moving target

      图6中,LISTD算法目标检测精确率为0.9347,召回率为0.8851,即在大部分时刻对目标存在性与位置坐标做出了正确估计;目标出现后的0~50帧内,算法检测精度低于其他时刻,是由于算法的有效检测需要一定长度的图像序列输入。图6中,$(\alpha )$、$(\beta )$、$(\gamma )$和$(\delta )$处的检测场景分别如图7$(\rm a)$、$(\rm b)$、$(\rm c)$、$(\rm d)$所示。

      图  7  检测结果。 $(\rm a)$ 虚警场景; $(\rm b)$ 错检场景; $(\rm c)$ 漏警场景; $(\rm d)$ 正确检测场景

      Figure 7.  Detection result. $(\rm a)$ False alarm scene; $(\rm b)$ Mistaken detection scene; $(\rm c)$ Missing alarm scene; $(\rm d)$ Correct detection scene

      图6表明大部分时刻算法能够进行如图7$(\rm d)$所示的准确检测,但在目标突然出现、噪声及背景显著的情况下,算法有可能出现如图7$(\rm a)$~$(\rm c)$所示的虚警、错检、漏警等错误检测情况。图7$(\rm a)$中目标未出现,算法将运动的云层背景角点识别为目标;图7$(\rm b)$中算法预测到目标的大致区域,但将附近的噪声信号识别为目标;图7$(\rm c)$中算法未能在目标出现后的初始阶段进行准确检测;图7$(\rm d)$中算法成功检测出目标并获得准确的位置坐标。

      该实验说明运动背景角点、强噪声及短暂出现的目标有可能限制算法的检测能力,但也证明了在多数情况下算法能够有效完成较强噪声环境下的较简单非线性运动目标的检测任务。

    • 为进一步证明文中所提出的LISTD算法的有效性,实验二分别在直线、实验一中的典型正弦运动曲线与复杂机动曲线形成的数据集上,与中值滤波算法(Median Filtering, MF)、MMF[1]、SHT[7]及YOLOv5[18]进行对比,量化分析比较各算法的检测效果。实验中直线运动指目标在图像坐标系中进行速率处于1.4~5.6 pixel/帧之间的匀速直线运动,在序列图像中,若一条轨迹上的目标超出图像区域,则以前述速率范围内的随机速率在随机方向生成一条新的匀速直线运动轨迹;复杂机动曲线的描述函数由三个周期、幅值不同的正弦型函数叠加得到,如公式(14)所示:

      $$ \begin{split} x =& 256 + 128\sin \frac{{2\pi t}}{{407}} + 64\sin \frac{{2\pi (t - 55)}}{{193}} + 32\sin \frac{{2\pi (t - 12)}}{{202}} \\ & y = 256 + 128\sin \frac{{2\pi (t - 31)}}{{253}} + 64\sin \frac{{2\pi (t - 17)}}{{351}} +\\ &\quad \;\;\, 32\sin \frac{{2\pi (t - 77)}}{{189}} \\ \end{split} $$ (14)

      实验结果如表2所示。

      表 2  算法性能对比

      Table 2.  Performance comparison among algorithms

      Uniform linear motion Sinusoidal motion Complex motionAverage time consumption/帧·s−1Peak memory usage/MiBNeural network GFLOPs
      PrecisionRecallPrecisionRecallPrecisionRecall
      MF0.64440.83110.63870.83430.64150.83740.007253360.44-
      MMF0.45130.87150.44930.86770.45100.87032.7241359.24-
      SHT0.99540.74040.96300.70930.95850.68040.009351359.25-
      YOLOv50.36600.09490.37200.10100.34000.09240.06760597.3916.422
      LISTD0.94830.92370.93470.88510.93620.86330.0083261214.130.108

      表2中可以看出,在精确率方面,对于匀速直线、正弦和复杂机动轨迹的红外弱小目标检测,中值滤波、最大中值滤波、YOLOv5均低于文中所提出的LISTD算法,序列假设检验算法精确率略优于LISTD,二者没有显著差异,但序列假设检验召回率明显低于LISTD。在召回率方面,LISTD高于中值滤波、最大中值滤波、序列假设检验和YOLOv5算法。在帧均耗时方面,LISTD算法仅次于中值滤波算法,无明显差异,但在精确率和召回率方面,LISTD均高于中值滤波算法。最大中值滤波由于循环计算过多,导致在Python环境中帧均耗时达2.7 s左右;YOLOv5无法提取到目标的纹理、形状特征,在较强噪声的干扰下,漏警及虚警出现率极高,且其网络的复杂性造成了较其他算法更高的时间消耗。在计算资源使用方面,LISTD虽然内存占用峰值较高,但该量级不会对运算平台造成较大压力,且由于保持了LSTM的轻量级结构,LISTD的神经网络模型FLOPs值远低于YOLOv5。整体而言,虽然文中所提出的LISTD算法在精确率、帧均耗时和内存占用方面不是最优的,但考虑精确率、召回率、帧均耗时和计算资源使用等四方面的综合性能,LISTD优于对比的其他四种算法。

      为测试LISTD算法的适用范围,分别在信噪比与信杂比不同的直线、实验一中的典型正弦运动曲线与复杂机动曲线形成的数据集上进行实验,通过在序列仿真图像生成时调整背景图像系数与高斯噪声的标准差,可得到不同的SCR与SNR组合,实验结果如表3所示。

      表 3  LISTD算法对不同信杂比和信噪比数据集的检测结果

      Table 3.  LISTD detection results for datasets with different SCR and SNR

      SCRSNRUniform linear motion Sinusoidal motion Complex motion
      PrecisionRecallPrecisionRecallPrecisionRecall
      220.69050.34180.73220.35490.65420.3777
      40.81910.60140.79740.61680.84330.6145
      60.86740.62690.82860.64300.84150.6547
      420.84600.61310.88420.66990.87090.6200
      40.87230.74980.89580.77990.87400.7264
      60.90950.78450.93990.80820.85070.7657
      620.89710.74480.92290.75630.87780.6653
      40.92900.87520.95000.88650.92820.8577
      60.94870.88510.94540.92630.95570.9161

      表2中可以看出,LISTD适用于较低信噪比与信杂比下高动态非线性运动弱小目标的检测。若序列图像平均信杂比、平均信噪比均高于2,对于所测试的三种运动规律的目标,LISTD检测精确率高于0.6542,召回率高于0.3418,随着数据集信杂比与信噪比的提高,LISTD的检测精确率与召回率也相应增加。且经过实验验证,图像平均信杂比为4.96、平均信噪比为4.07时,若目标在长度128帧的图像序列中平均速率在1~6 pixel/帧之间,LISTD的精确率高于0.8026,召回率高于0.5051。实验证明了算法可适用于上述范围内的检测场景。

    • 文中针对天基红外预警任务场景中高动态红外弱小目标检测问题,提出了一种可用于非线性运动目标检测的LISTD算法。算法中首先设计了基于中值滤波的自适应预处理模块,将图像信号转化为矢量信息,从而使LSTM能够适用于图像问题,扩展了LSTM应用场景;然后,利用LSTM学习并提取高动态目标的运动特征,根据可疑目标点位置信息序列检测目标轨迹;最后,设计后处理算法,以LSTM估计结果为依据从预处理结果中选取可信的目标点,提升目标定位精度。在自研的红外序列图像数据集上,通过与其他算法的对比,证明了文中算法的有效性和优越性。

      文中提出的LISTD算法虽然在精确率、召回率和时间消耗方面表现出较好性能,但仍需进一步完善。未来,作者将致力于降低算法检测所需图像序列的长度,开展多目标检测研究,并搭建半实物仿真系统进一步验证算法有效性。

参考文献 (18)

目录

    /

    返回文章
    返回