留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于动态开窗的快速运动目标信息获取方法

张竞文 李丽圆 李潇雁 苏晓锋 胡亭亮 陈凡胜

张竞文, 李丽圆, 李潇雁, 苏晓锋, 胡亭亮, 陈凡胜. 基于动态开窗的快速运动目标信息获取方法[J]. 红外与激光工程, 2022, 51(3): 20210164. doi: 10.3788/IRLA20210164
引用本文: 张竞文, 李丽圆, 李潇雁, 苏晓锋, 胡亭亮, 陈凡胜. 基于动态开窗的快速运动目标信息获取方法[J]. 红外与激光工程, 2022, 51(3): 20210164. doi: 10.3788/IRLA20210164
Zhang Jingwen, Li Liyuan, Li Xiaoyan, Su Xiaofeng, Hu Tingliang, Chen Fansheng. Fast motion target information acquisition method based on dynamic window opening[J]. Infrared and Laser Engineering, 2022, 51(3): 20210164. doi: 10.3788/IRLA20210164
Citation: Zhang Jingwen, Li Liyuan, Li Xiaoyan, Su Xiaofeng, Hu Tingliang, Chen Fansheng. Fast motion target information acquisition method based on dynamic window opening[J]. Infrared and Laser Engineering, 2022, 51(3): 20210164. doi: 10.3788/IRLA20210164

基于动态开窗的快速运动目标信息获取方法

doi: 10.3788/IRLA20210164
基金项目: 国家自然科学基金(61975222)
详细信息
    作者简介:

    张竞文,女,硕士生,主要从事红外智能探测等方面的研究

    胡亭亮,男,研究员,博士生导师,主要从事空间遥感仪器的光机结构设计等方面的研究

    通讯作者: 苏晓锋,男,副研究员,硕士生导师,主要从事高分辨率遥感相机设计及弱小目标信息获取与处理等方面的研究。
  • 中图分类号: TN215

Fast motion target information acquisition method based on dynamic window opening

Funds: National Natural Science Foundation of China (61975222)
  • 摘要: 红外运动目标的轨迹预测在车辆、行人监控和天基遥感探测等军民用领域有着广泛的应用。当目标的相对运动速度较高时,受读出速率及积分时间固定的影响,传统全视场成像信息获取方法所得的目标轨迹点稀疏,难以满足目标轨迹预测的精度要求。针对以上问题,提出了一种基于动态开窗的快速运动目标信息获取方法。首先对观测区域进行全视场成像,捕获到运动目标后,对目标及其邻域开窗以提高成像帧频。通过分析探测场景辐射特性对系统工作参数的影响获取判别矩阵,实现开窗参数的动态调节,从而提升目标轨迹点密度。最后利用目标轨迹预测结果更新开窗位置以实现对单目标的全视场覆盖监测。实验结果表明,对于中波红外演示系统,与全视场成像信息获取方法相比,该方法将系统获取的目标轨迹点密度提高了16倍,系统轨迹预测精度提升了2.6倍,且所需的数据传输带宽降低了25%。该研究可为智能化红外感知系统的设计提供有益参考。
  • 图  1  系统框图

    Figure  1.  Block diagram of system

    图  2  DW方法流程图

    Figure  2.  Flow chart of DW method

    图  3  实验方案示意图

    Figure  3.  Schematic diagram of the experiment

    图  4  水滴探测成像结果。 (a)全视场成像;(b)开窗高帧频成像

    Figure  4.  Detection imaging results of water droplets. (a) Full field of view imaging; (b) High frame rate imaging with window openning

    图  5  水滴成像帧间距离与带宽对比直方图

    Figure  5.  Histogram of inter-frame distance versus bandwidth for water droplets imaging

    图  6  电烙铁探测成像结果。 (a)全视场成像;(b) DW方法成像

    Figure  6.  Detection imaging results of electric soldering iron. (a) Full field of view imaging; (b) DW method imaging

    图  7  目标质心坐标与预测轨迹误差。 (a)全视场获取的目标质心坐标;(b) DW方法获取的目标质心坐标;(c)全视场轨迹预测误差;(d) DW方法轨迹预测误差

    Figure  7.  Target centroid coordinates and predicted trajectory error. (a) Target centroid coordinates acquired by the full field of view method; (b) Target centroid coordinates acquired by the DW method; (c) Error of trajectory prediction of the full field of view method; (d) Error of trajectory prediction of the DW method

    图  8  运动轨迹拟合。 (a)全视场获取数据的拟合结果;(b) DW方法获取数据的拟合结果

    Figure  8.  Motion trajectory fitting. (a) Fitting results of data acquired by full field of view method; (b) Fitting results of data acquired by DW method

    图  9  运动轨迹预测误差对比直方图

    Figure  9.  Comparative histogram of the error in motion trajectory prediction

    表  1  探测器与光学系统参数 & 实验设置参数

    Table  1.   Parameters of detector and optical system & parameters of experimental setup

    ParameterValueParameterValue
    Pixel/μm30Angular velocity/(°)·s-1290
    IFOV/μrad345Radius/cm10
    Readout noise/e-3174Focal length/mm87
    Full well capacity/Me-13Object distance/cm83
    下载: 导出CSV
  • [1] Rudenko A, Palmieri L, Herman M, et al. Human motion trajectory prediction: A survey [J]. The International Journal of Robotics Research, 2020, 39(8): 895-935. doi:  10.1177/0278364920917446
    [2] Lee J Y, Jo B U, Moon G H, et al. Intercept point prediction of ballistic missile defense using neural network learning [J]. International Journal of Aeronautical and Space Sciences, 2020, 21: 1092-1104. doi:  https://doi.org/10.1007/s42405-020-00292-5
    [3] Lefkopoulos V, Menner M, Domahidi A, et al. Interaction-aware motion prediction for autonomous driving: A multiple model Kalman filtering scheme [J]. IEEE Robotics and Automation Letters, 2021, 6(1): 80-87. doi:  10.1109/LRA.2020.3032079
    [4] Alizadeh D, Alesheikh A A, Sharif M. Vessel trajectory prediction using historical automatic identification system data [J]. The Journal of Navigation, 2020, 74(1): 1-19.
    [5] Zhang Zixuan, Jia Jianjun, Qiang Jia, et al. Research on space-based high precision algorithm for non-cooperative satellite [J]. Infrared and Laser Engineering, 2019, 48(1): 0126004. (in Chinese) doi:  10.3788/IRLA201948.0126004
    [6] Deng Q, Zhang Z, Zhong J. Image-free real-time 3-D tracking of a fast-moving object using dual-pixel detection [J]. Optics Letters, 2020, 45(17): 4734-4737. doi:  10.1364/OL.399204
    [7] Gibson D, Spann M. Robust optical flow estimation based on a sparse motion trajectory set [J]. IEEE Transactions on Image Processing, 2003, 12(4): 431-445. doi:  10.1109/TIP.2003.811628
    [8] Qiao S, Shen D, Wang X, et al. A self-adaptive parameter selection trajectory prediction approach via hidden Markov models [J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 16(1): 284-296.
    [9] Wang H, Zeng S, Li Y, et al. Human mobility prediction using sparse trajectory data [J]. IEEE Transactions on Vehicular Technology, 2020, 69(9): 10155-10166. doi:  10.1109/TVT.2020.3002222
    [10] Mizuno G, Olah R, Oduor P, et al. High performance digital read out integrated circuit (DROIC) for infrared imaging[C]//Image Sensing Technologies: Materials, Devices, Systems, and Applications III, 2016, 9854: 985409.
    [11] Rezaei M, Park M S, Rabinowitz C, et al. InGaAs based heterojunction phototransistors: Viable solution for high-speed and low-noise short wave infrared imaging [J]. Applied Physics Letters, 2019, 114(16): 161101. doi:  10.1063/1.5091052
    [12] Liu K, Wang W, Yu Y, et al. Graphene-based infrared position-sensitive detector for precise measurements and high-speed trajectory tracking [J]. Nano Letters, 2019, 19(11): 8132-8137. doi:  10.1021/acs.nanolett.9b03368
    [13] Chen Xiao, Li Lihua, Liang Yan, et al. Progress of very high sensitivity infrared detector readout circuit [J]. Infrared and Laser Engineering, 2020, 49(1): 0103011. (in Chinese)
    [14] Jahani S, Setarehdan S K, Boas D A, et al. Motion artifact detection and correction in functional near-infrared spectroscopy: A new hybrid method based on spline interpolation method and Savitzky–Golay filtering [J]. Neurophotonics, 2018, 5(1): 015003.
    [15] Zhang Hui, Li Guoping, Zhang Yong, et al. Spot centroid extraction algorithm based on three-dimensional arctangent function fitting [J]. Infrared and Laser Engineering, 2019, 48(2): 0226001. (in Chinese) doi:  10.3788/IRLA201948.0226001
    [16] Ward A J. A generalization of the Frechet distance of two curves [J]. Proceedings of the National Academy of Sciences of the United States of America, 1954, 40(10): 598-602. doi:  10.1073/pnas.40.7.598
    [17] Guo N, Ma M, Xiong W, et al. An efficient query algorithm for trajectory similarity based on Fréchet distance threshold [J]. ISPRS International Journal of Geo-Information, 2017, 6(11): 326. doi:  10.3390/ijgi6110326
    [18] Xie D, Li F, Phillips J M. Distributed trajectory similarity search [J]. Proceedings of the VLDB Endowment, 2017, 10(11): 1478-1489. doi:  10.14778/3137628.3137655
    [19] Zhao Y, Xiong R, Zhang Y. Model based motion state estimation and trajectory prediction of spinning ball for ping-pong robots using expectation-maximization algorithm [J]. Journal of Intelligent & Robotic Systems, 2017, 87(3): 407-423.
  • [1] 夏文新, 杨小冈, 席建祥, 卢瑞涛, 谢学立.  基于红外探测的无人机群结构特性感知方法 . 红外与激光工程, 2024, 53(1): 20230429-1-20230429-12. doi: 10.3788/IRLA20230429
    [2] 朱海勇, 陈俊林, 曾智江, 王小坤, 李亚冉, 王溪, 李雪.  用于冷光学长波红外杜瓦组件杂散光分析与抑制 . 红外与激光工程, 2023, 52(7): 20220823-1-20220823-9. doi: 10.3788/IRLA20220823
    [3] 李英超, 潘泽, 李冠霖, 史浩东, 付强.  分层海水条件下潜艇热尾流机载红外探测性能分析 . 红外与激光工程, 2023, 52(5): 20220741-1-20220741-7. doi: 10.3788/IRLA20220741
    [4] 周志远, 史保森.  基于频谱迁移的红外探测研究进展(特邀) . 红外与激光工程, 2023, 52(5): 20230165-1-20230165-11. doi: 10.3788/IRLA20230165
    [5] 邢占, 陈晓依, 彭志勇, 杨志旺, 张贺龙, 邢忠福, 张宁.  红外气动光学效应研究进展与思考(特邀) . 红外与激光工程, 2022, 51(4): 20220228-1-20220228-17. doi: 10.3788/IRLA20220228
    [6] 朱鹏, 肖磊, 孙泰, 史浩飞.  微纳结构增强型红外探测器研究进展(特邀) . 红外与激光工程, 2022, 51(1): 20210826-1-20210826-16. doi: 10.3788/IRLA20210826
    [7] 司俊杰.  基于InSb的新型红外探测器材料(特邀) . 红外与激光工程, 2022, 51(1): 20210811-1-20210811-19. doi: 10.3788/IRLA20210811
    [8] 郭尚坤, 邓杰, 周靖, 张东海, 余宇, 邓嘉男, 蔡清元, 李志锋, 陆卫, 陈效双.  基于等离激元纳米结构非对称集成的二维材料自驱动光响应增强的研究进展(特邀) . 红外与激光工程, 2021, 50(1): 20211011-1-20211011-9. doi: 10.3788/IRLA20211011
    [9] 周凯, 李道京, 王烨菲, 姚园, 乔明.  衍射光学系统红外光谱目标探测性能 . 红外与激光工程, 2021, 50(8): 20200371-1-20200371-8. doi: 10.3788/IRLA20200371
    [10] 李一涵, 胡海洋, 王强.  高超声速飞行器红外探测窗口辐射透射特性研究 . 红外与激光工程, 2020, 49(4): 0404002-0404002-7. doi: 10.3788/IRLA202049.0404002
    [11] 周军, 陈守谦, 甄政, 欧文, 熊健.  基于波前编码的大焦深弹载双色红外探测系统 . 红外与激光工程, 2020, 49(4): 0404001-0404001-5. doi: 10.3788/IRLA202049.0404001
    [12] 付秀华, 张功, 张静, 刘冬梅, 杨伟声, 木锐.  短中波红外探测系统宽波段高透过率薄膜 . 红外与激光工程, 2019, 48(10): 1017001-1017001(6). doi: 10.3788/IRLA201948.1017001
    [13] 王莹莹, 何苹, 孟常亮.  星载红外探测器对高超声速飞行器探测距离的计算 . 红外与激光工程, 2019, 48(7): 704003-0704003(7). doi: 10.3788/IRLA201948.0704003
    [14] 黄智国, 王建立, 殷丽梅, 李宏壮, 刘俊池, 刘祥意.  多波段冷光学红外成像终端研制 . 红外与激光工程, 2018, 47(9): 904001-0904001(9). doi: 10.3788/IRLA201847.0904001
    [15] 白瑜, 廖志远, 李华, 程习敏, 邢廷文, 蒋亚东.  折反射中波红外探测无热化成像系统设计分析 . 红外与激光工程, 2015, 44(2): 407-412.
    [16] 张士成, 杨立, 石恒.  基于射线跟踪算法的舰船尾迹波红外特征与探测 . 红外与激光工程, 2015, 44(5): 1450-1455.
    [17] 吴鑫, 张建奇, 杨琛.  JetsonTK1平台实现快速红外图像背景预测算法 . 红外与激光工程, 2015, 44(9): 2615-2621.
    [18] 周炜, 欧阳程, 吴敬, 高艳卿, 黄志明.  锰钴镍铜氧薄膜红外探测器制备与性能研究 . 红外与激光工程, 2014, 43(4): 1073-1079.
    [19] 欧阳程, 吴敬, 周炜, 高艳卿, 侯云, 黄志明.  磁控溅射制备Mn-Co-Ni-O热敏红外探测薄膜 . 红外与激光工程, 2014, 43(4): 1068-1072.
    [20] 赵菲, 卢焕章, 张志勇.  滑动窗口核岭回归运动目标轨迹预测算法 . 红外与激光工程, 2013, 42(3): 829-835.
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  279
  • HTML全文浏览量:  73
  • PDF下载量:  48
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-02-27
  • 修回日期:  2021-06-03
  • 刊出日期:  2022-04-07

基于动态开窗的快速运动目标信息获取方法

doi: 10.3788/IRLA20210164
    作者简介:

    张竞文,女,硕士生,主要从事红外智能探测等方面的研究

    胡亭亮,男,研究员,博士生导师,主要从事空间遥感仪器的光机结构设计等方面的研究

    通讯作者: 苏晓锋,男,副研究员,硕士生导师,主要从事高分辨率遥感相机设计及弱小目标信息获取与处理等方面的研究。
基金项目:  国家自然科学基金(61975222)
  • 中图分类号: TN215

摘要: 红外运动目标的轨迹预测在车辆、行人监控和天基遥感探测等军民用领域有着广泛的应用。当目标的相对运动速度较高时,受读出速率及积分时间固定的影响,传统全视场成像信息获取方法所得的目标轨迹点稀疏,难以满足目标轨迹预测的精度要求。针对以上问题,提出了一种基于动态开窗的快速运动目标信息获取方法。首先对观测区域进行全视场成像,捕获到运动目标后,对目标及其邻域开窗以提高成像帧频。通过分析探测场景辐射特性对系统工作参数的影响获取判别矩阵,实现开窗参数的动态调节,从而提升目标轨迹点密度。最后利用目标轨迹预测结果更新开窗位置以实现对单目标的全视场覆盖监测。实验结果表明,对于中波红外演示系统,与全视场成像信息获取方法相比,该方法将系统获取的目标轨迹点密度提高了16倍,系统轨迹预测精度提升了2.6倍,且所需的数据传输带宽降低了25%。该研究可为智能化红外感知系统的设计提供有益参考。

English Abstract

    • 随着红外传感器的不断发展,红外运动目标轨迹预测技术在诸多领域有着越来越广泛的应用,如自动驾驶,先进的船舶、车辆和行人监控系统等[15]。此类场景的共同特点是目标在系统成像平面上的运动速度较慢,常规的30 Hz成像系统即可满足需求。而当场景中出现快速移动目标时,获取的目标轨迹坐标变得稀疏、点密度较低,导致后续处理算法的轨迹预测精度下降。为解决这一问题,常见的方法是采用计算复杂度较高的算法或使用具有更高时间分辨率的成像系统[6]。如Gibson[7]等人采用马尔科夫随机场框架,利用插值和估计局部运动方程的方法降低了在稀疏数据集的轨迹预测误差。Qiao S J[8]等人提出了具有自适应参数调节技术的隐马尔可夫模型,当轨迹点的间隔在[20,40]区间内时模型的轨迹预测精度在80%以上。Wang H D[9]等人提出了一种基于多任务学习的行人轨迹预测算法,利用轨迹之间的相似性来克服轨迹点的稀疏问题,相比其他的先进算法在稀疏数据集上的性能提升了10%。上述方法没有提升获取的目标轨迹点密度,而是利用已有的稀疏轨迹点数据进行预测,模型复杂度高且计算量较大(尤其在广域、大视场监控系统中),通常难以应用于实时性要求较高的系统。成像系统方面,较多研究从读出电路和探测器的设计方面来提升获取的目标运动轨迹点密度,如Genki Mizuno等人设计了一种30~500 fps (frame per second)可编程的读出电路,Mohsen Rezaei等设计了基于InGaAs和石墨烯材料的新型红外探测器[10-12]。通过提升系统工作帧频的方式可直接提升获取的运动目标轨迹点密度,但会产生巨大的数据量,带来极高的传输带宽要求,且当场景中的目标运动速度较低时会产生大量的冗余数据,增加后续处理算法的运算负担。

      针对以上问题,文中提出了一种基于动态开窗(Dynamic Windowing, DW)的目标运动信息获取方法,基于系统响应反馈调节探测系统的工作参数。对快速运动目标开窗成像在提高帧频的同时去除冗余数据,提升获取的运动轨迹点密度,从而提高目标轨迹预测的精度。文中简单介绍了研究背景与现状,分析了探测系统与探测场景的数学模型,并给出所提方法的处理流程,给出了实验方案和结果分析。

    • 探测器开窗可以减少冗余背景信息的读出,提高系统的工作帧频,提升轨迹点密度,但同时会限制积分时间,减少对目标能量的积累、降低信噪比(Signal-to-Noise-Ratio, SNR),从而导致目标丢失。单项性能的提升通常需要牺牲其他性能,所提出的动态开窗方法的数学模型是对探测系统和探测场景相互制约关系进行解耦,分别分析不同探测场景对帧频和积分时间的制约,在两个参数间做出平衡并寻求临界工作条件,以实现快速运动目标信息的高灵敏度获取,提高目标轨迹预测精度。

    • 系统工作帧频取决于读出时间和积分时间,在高速视觉系统中,探测器工作在边积分边读出模式下,其帧频可表示为:

      $$ fps=\frac{1}{\rm{max}}\left({{T}_{readout},T}_{int}\right)\cdot cl{k}_{period} $$ (1)

      式中:$ {{T}_{readout}}{\text{、}}T_{int} $分别表示积分时间和读出时间所需的时钟周期数;$ {T}_{readout} $表示窗口尺寸和读出时钟的函数;$ cl{k}_{period} $表示一个像素读出的时钟周期。对于快速运动目标而言,当$ {T}_{readout}< {T}_{int} $时,最高帧频受限于积分时间,$ fp{s}_{max}=\dfrac{1}{{T}_{int}} $。当$ {T}_{readout}\ge {T}_{int} $时,最高帧频受限于最小窗口尺寸和系统时钟,可表示如下:

      $$ fp{s_{max}} \le \rm min\left( \begin{array}{l} \dfrac{{HV{\rm sin}\theta {f^2}}}{{{S^2}pi{x^2}}} \cdot cl{k_{period}}\\ WR \cdot cl{k_{period}} \end{array} \right) $$ (2)

      式中:HV分别表示目标实际的水平、垂直尺度;$ \theta $S为目标运动方向与光轴所在平面的夹角和物距;fpix为系统焦距和像元尺寸;$ WR $为系统窗口分辨率。定义窗口尺寸需满足相邻两帧的图像采集无需切换窗口位置,设目标实际运动速度为$ {v}_{true} $,最低帧频限制为:

      $$ fp{s_{min}} \ge \left\{ {\dfrac{{\dfrac{{H{\rm sin}\theta f}}{S} \cdot pix}}{{{v_{dec,h}}}},\dfrac{{\dfrac{{V{\rm sin}\theta f}}{S} \cdot pix}}{{{v_{dec,v}}}}} \right\} $$ (3)

      式中:$ {v}_{dec,h} $$ {v}_{dec,v} $分别为目标像面速度的水平和垂直分量。

      积分是积累探测场景辐射能量的过程,在一帧积分时间内,为避免成像过饱和,积累的电子数应小于满井电荷[13],因此最大积分时间为:

      $$ {T_{int\_max}} \le {N_{full}}/({L_{q,tar}}{\left( {IFOV} \right)^2}{A_{opt}}{\tau _{opt}}\eta) $$ (4)

      式中:$ {N}_{full} $为满井电荷;$ IFOV $$ {A}_{opt} $$ {\tau }_{opt} $$ \eta $分别为系统瞬时视场、入瞳面积、光学透过率和光电转换效率;$ {L}_{q,tar} $为目标自身光子辐亮度,一般对目标辐射特性建模得到,满足普朗克定律:

      $$ {L}_{q,tar}=\frac{\varepsilon \left(\lambda \right)}{\pi }\cdot \frac{hc}{\lambda }{\int }_{{\lambda }_{1}}^{{\lambda }_{2}}M\left(\lambda ,T\right){\rm d}\lambda $$ (5)

      式中:$ \varepsilon \left(\lambda \right) $为目标发射率;$ h $$ c $分别为普朗克常数和光速;$ M\left(\lambda ,T\right) $为目标光谱辐射率。依据光电转换特性,目标像元和背景像元的响应电子数为:

      $$ \left\{\begin{array}{c}{N}_{tar}={L}_{q,tar}{\left(IFOV\right)}^{2}{A}_{opt}{\tau }_{opt}\eta {T}_{int}\\ {N}_{bg}={L}_{q,bg}{\left(IFOV\right)}^{2}{A}_{opt}{\tau }_{opt}\eta {T}_{int}\end{array}\right. $$ (6)

      式中:$ {L}_{q,bg} $为背景光子辐亮度,可由背景辐射仿真计算得到。利用$ SNR $描述目标的可探测性[13]

      $$ SNR=\frac{{N}_{tar}-{N}_{bg}}{\sqrt{{n}_{sys}^{2}+{n}_{ns}^{2}}} $$ (7)
      $$ \left\{\begin{array}{c}{n}_{sys}=\sqrt{{n}_{q}^{2}+{n}_{readout}^{2}+{n}_{MFP}^{2}+{n}_{AFP}^{2}}\\ {n}_{ns}={n}_{opt}={\displaystyle\int }_{{\lambda }_{1}}^{{\lambda }_{2}}{\varepsilon }_{opt}\left(\lambda \right)M\left(\lambda ,{T}_{opt}\right){\rm d}\lambda \cdot \dfrac{\eta {A}_{opt}}{4{F}^{2}}{T}_{int}\\ {n}_{q}=\sqrt{{N}_{tar}}\end{array}\right. $$ (8)

      式中:$ {n}_{sys} $为系统噪声;$ {n}_{ns} $为非场景噪声;$ {n}_{q} $$ {n}_{readout} $$ {n}_{MFP} $$ {n}_{AFP} $$ {n}_{opt} $分别为量子噪声、读出噪声、响应非均匀噪声、暗电流非均匀噪声和光学噪声;$ {T}_{opt} $为镜头温度;$ F $为焦比。通过定标获取系统噪声和非场景噪声中的参量后,由公式(6)~(8)可得出$ {T}_{int\_min} $$ SNR $的定量关系。背景光子辐亮度与噪声共同限制了系统性能。将探测到目标后的开窗信息获取阶段分为强限制(SL)和亚限制(WL)两种系统工作状态,分别设定$ SNR $低于1.2倍、1倍的阈值信噪比时,认为目标不可探测。信噪比阈值一般可取3[14]

      通过上述对探测系统、探测场景的分析,将系统工作帧频与积分时间极限值定义为判别矩阵:

      $$ \left[\begin{array}{cc}fp{s}_{min}& {T}_{int\_min}\\ fp{s}_{max}& {T}_{int\_max}\end{array}\right] $$ (9)

      该矩阵即为动态调整开窗尺寸和积分时间的触发条件。

      探测系统工作框图如图1所示,模型输入为探测器采集的二维图像,输出为动态调节的开窗尺寸、位置、积分时间和增益模式参数。系统将模型解算的输出参数转换成指令通过信息获取模块下发给探测器,接收到一次指令时,探测器会在下一帧开始前完成参数的更新。此外,根据探测系统和场景需要预先设置的超参数有阈值信噪比、调整步长和非均匀校正参数。

      图  1  系统框图

      Figure 1.  Block diagram of system

    • DW方法流程图如图2所示,当探测场景的判别矩阵无法同时满足时,调整工作状态以实现目标探测参数优化,方法实现步骤具体如下:

      图  2  DW方法流程图

      Figure 2.  Flow chart of DW method

      (1) 全视场探测目标,积分时间和系统帧频为初始值,以信噪比、信背比为判据:

      $$ \left\{\begin{array}{c}SBR=\dfrac{{N}_{tar}-{N}_{bg}}{{N}_{bg}}\ge threshol{d}_{SBR}\\ SNR\ge 1.2\cdot threshol{d}_{SNR}\end{array}\right. $$ (10)

      $ {L}_{q,tar} $与系统输出灰度值满足如下线性关系:

      $$ {D}_{o}=\alpha \cdot \lambda \cdot {h}^{-1}\cdot {c}^{-1}{L}_{q,tar}+{D}_{dark} $$ (11)

      式中:$ \alpha $ 为定标获得的系统响应度,单位$\rm W\cdot s{\rm r}^{-1}\cdot {\rm m}^{2}$$ {D}_{dark} $为暗电流引起的常量偏置。忽略目标边缘,取目标像元与背景像元的均值可得出公式(8)中的目标与背景的光子辐亮度与判据公式(10)。探测到目标则执行步骤(2),否则执行步骤(1);

      (2) 进行图像预处理、目标检测,并行计算目标质心位置、目标尺度和信噪比,将该帧图像的计算结果暂存。系统工作在SL状态,取1.2倍阈值信噪比反演最低积分时间后更新判别矩阵中$ {T}_{int\_min} $,并根据目标质心位置和尺度执行初始化开窗操作。目标质心位置采用非卷积计算方法[15]

      $$ \begin{array}{c}\left({x}_{c},{y}_{c}\right)=\dfrac{1}{{\displaystyle\sum }_{i=1}^{n}{\displaystyle\sum }_{j=1}^{m}{I}_{ij}}\times \\ \left({\displaystyle\sum }_{i=1}^{n}{\displaystyle\sum }_{j=1}^{m}iI\left(i,j\right),{\displaystyle\sum }_{i=1}^{n}{\displaystyle\sum }_{j=1}^{m}jI\left(i,j\right)\right)\end{array} $$ (12)

      式中:$ \left({x}_{c},{y}_{c}\right) $为质心坐标;$ I\left(i,j\right) $为坐标$ \left(i,j\right) $处像素的灰度值;nm为目标区域尺寸。根据$ {N}_{tar} $$ {N}_{bg} $更新参数$ {T}_{int\_max} $$ {T}_{int\_min} $

      (3) 调整系统参数, 调节步长取0.1倍当前值。对接下来输入的每帧图像执行步骤(2)中的计算,更新窗口尺寸和预测器输出的窗口位置。窗口尺寸的调节根据目标速度而定,需保证单帧内目标不会离开窗口视场。取内存中相邻两帧的目标质心位置进行运动速度计算:

      $$ {v}_{dec,x}=\frac{{x}_{c}'-{x}_{c}}{\Delta T}={(x}_{c}'-{x}_{c})\times fps $$ (13)
      $$ {v}_{dec,y}=\frac{{y}_{c}'-{y}_{c}}{\Delta T}={(y}_{c}'-{y}_{c})\times fps $$ (14)
      $$ {v}_{dec}=\sqrt{{v}_{dec,x}^{2}+{v}_{dec,y}^{2}} $$ (15)

      目标的运动状态可以用如下模型表示:

      $$ {{state}}\left( {k + 1} \right) = {{F}} \cdot {{state}}\left( k \right) $$ (16)
      $$ {{state}}\left( k \right) = \left[ {\begin{array}{*{20}{c}} {{x_c}}\\ {{v_{dec,x}}}\\ {{y_c}}\\ {{v_{dec,y}}} \end{array}} \right]{{F}} = \left[ {\begin{array}{*{20}{c}} 1&{\Delta T}&{}&{}\\ {}&1&{}&{}\\ {}&{}&1&{\Delta T}\\ {}&{}&{}&1 \end{array}} \right] $$ (17)

      根据公式(15)的实际计算结果更新判别矩阵中的$ fp{s}_{min} $。当目标特性反演结果与判别矩阵中的参数发生冲突时:

      $$ \left\{\begin{array}{c}{T}_{int\_min}>{T}_{readout}\\ fp{s}_{min}>\dfrac{1}{{T}_{int\_max}}\end{array}\right. $$ (18)

      发出告警并自动进入WL工作状态。若冲突由目标辐亮度引发,则使用1倍阈值信噪比作为最小积分时间$ {T}_{int\_min} $限制并调节探测器工作在高增益模式。若冲突由目标运动速度引发,则强制扩大开窗尺寸、降低帧频,牺牲轨迹获取的点密度以确保目标不丢失;

      (4) 当开窗位置到达视场边缘且质心坐标到达开窗边缘时,判定一个任务周期结束,回到全视场工作模式执行步骤(1),等待下一次目标出现,否则执行步骤(3)。

    • 采用均方根误差(Root Mean Square Error, RMSE)和弗雷歇距离[16](Fréchet distance)两个指标来评价文中所提方法对快速运动目标轨迹预测精度的提升。RMSE是衡量预测值与真实值间差距的负向评价指标,RMSE结果越小代表预测精度越高,其计算公式如下:

      $$ \sqrt {\frac{1}{k}\sum\nolimits_i^k{{\left( {{l_i} - \overbrace {{l_i}}^{}} \right)}^2}} $$ (19)

      式中:$ {l}_{i}{\text{、}}\overbrace {{l_i}}^{} $分别为第$ i $个变量的真实值和预测值;$ k $为变量的测量次数。

      弗雷歇距离常用于时间敏感的轨迹距离度量[4,17-18],它表征了目标运动轨迹的预测值和真实值的相似度并考虑了轨迹点的位置和顺序,该距离越小表明两条轨迹曲线间的差异越小,其计算公式如下:

      $$ \left\{ {\begin{array}{*{20}{c}} {F\left( {A,B} \right) = infmax\;d\left( {A\left( {\alpha \left( t \right)} \right),B\left( {\beta \left( t \right)} \right)} \right)}\\ {\alpha ,\beta ,t \in \left[ {{\rm{0}},{\rm{1}}} \right]}\\ {F\left( {A,B} \right) \approx {\rm{max}}\left\{ {{\rm{min}}\left[ {\begin{array}{*{20}{c}} {f\left( {i - 1,j} \right),}\\ {f\left( {i - 1,j - 1} \right),}\\ {f\left( {i,j - 1} \right),d\left( {i,j} \right)} \end{array}} \right]} \right\}} \end{array}} \right.$$ (20)

      式中:AB为两条连续曲线;$ f\left(i,j\right) $$ \left(i,j\right) $点以及两点前的弗雷歇距离;$ d\left(i,j\right) $$ \left(i,j\right) $点的欧氏距离。

    • 实验方案示意图如图3所示,系统和实验设置的参数如表1所示。采用$ 512\times 512 $中波红外探测器进行验证(响应波段3~5 μm),分别对自由下落的水滴和运动的烙铁成像。通过水滴成像实验验证开窗减小成像帧间间隔和降低占用数据带宽的性能,通过烙铁成像实验验证文中所提DW方法的目标运动轨迹预测性能。配置探测器采用双通道、边积分边读出的工作模式下,并将阈值信噪比设置为3。

      图  3  实验方案示意图

      Figure 3.  Schematic diagram of the experiment

      表 1  探测器与光学系统参数 & 实验设置参数

      Table 1.  Parameters of detector and optical system & parameters of experimental setup

      ParameterValueParameterValue
      Pixel/μm30Angular velocity/(°)·s-1290
      IFOV/μrad345Radius/cm10
      Readout noise/e-3174Focal length/mm87
      Full well capacity/Me-13Object distance/cm83
    • 设置探测器分别工作在$ 512\times 512 $全视场和$ 256\times 32 $开窗两种方式下,对自由下落的水滴成像,减去背景后的图像输出结果如图4所示。其中图(a)为帧频30 Hz时连续4帧(0.13 s)的成像结果,图(b)为帧频810 Hz时连续12帧(0.015 s)的成像结果。目标的帧间运动距离和占用数据传输带宽对比如图5所示,全视场成像时相邻两帧的目标平均运动距离为102.84 pixel,开窗后相邻两帧的目标平均运动距离为2.38 pixel,平均距离减小了43倍。相较于全视场,开窗可获取更为密集的目标运动轨迹坐标。而开窗后数据量从16.15 MB/s下降到13.24 MB/s,去除了冗余数据2.91 MB,占用带宽降低了18%。

      图  4  水滴探测成像结果。 (a)全视场成像;(b)开窗高帧频成像

      Figure 4.  Detection imaging results of water droplets. (a) Full field of view imaging; (b) High frame rate imaging with window openning

      图  5  水滴成像帧间距离与带宽对比直方图

      Figure 5.  Histogram of inter-frame distance versus bandwidth for water droplets imaging

      全视场与DW方法对烙铁成像的实验结果对比如图6所示,图中(a)为传统全视场探测30 Hz。目标的质心坐标和运动轨迹分别如图7(a)(b)所示,图中的纵轴代表目标质心位置的坐标,横轴表示该坐标来自探测器获取到的第N帧图像。全视场探测时相邻两帧图像间目标的运动距离较大,在$ {T}_{0}\sim{T}_{1} $时间段内仅能获取一组目标位置坐标,获取的目标运动坐标较为稀疏,而采用文中提出的DW方法,系统平均工作帧频为480 Hz,在$ {T}_{0}\sim{T}_{1} $时刻可获取15组目标位置坐标。相邻帧的平均目标运动距离分别为64.13 、4.81 pixel,点密度扩展了约16倍,探测时间灵敏度有了较大提升。且传输数据量为12 MB/s,占用带宽降低了25%。

      图  6  电烙铁探测成像结果。 (a)全视场成像;(b) DW方法成像

      Figure 6.  Detection imaging results of electric soldering iron. (a) Full field of view imaging; (b) DW method imaging

      图  7  目标质心坐标与预测轨迹误差。 (a)全视场获取的目标质心坐标;(b) DW方法获取的目标质心坐标;(c)全视场轨迹预测误差;(d) DW方法轨迹预测误差

      Figure 7.  Target centroid coordinates and predicted trajectory error. (a) Target centroid coordinates acquired by the full field of view method; (b) Target centroid coordinates acquired by the DW method; (c) Error of trajectory prediction of the full field of view method; (d) Error of trajectory prediction of the DW method

      运动轨迹预测曲线如图7(c)(d)所示,为了更直观地展示预测误差随时间的变化情况,将预测误差的数值放大了100倍。采用文中提出的DW方法在预测运动轨迹时,前10帧的估计误差较大,但随着获取到的目标信息增加,较高的轨迹点密度为预测器提供了更多的迭代次数,使得误差降低了一个数量级。经过多次迭代修正后运动轨迹水平和垂直方向的预测误差分别从0.395、0.789下降到0.084、0.014。

      为进一步评估文中方法对目标运动轨迹预测的性能,采用最小二乘和RANSAC算法对获取的目标质心坐标进行拟合[19],RANSCA的假设模型为圆周的运动模型,对所有轨迹点随机抽样得到支持率最高的模型并舍弃外点以去除图像质心提取时引入的误差。得到的参考目标运动方程如公式(15)所示,分别将传统全视场和DW方法获取的坐标代入运动方程(21),利用公式(19)计算目标圆周运动半径估计值的均方根误差。

      $$ \left\{ {\begin{array}{*{20}{c}} {{{\left( {{x_i} - 451.68} \right)}^2} + {{\left( {{y_i} + 132.45} \right)}^2} = {r^2}}\\ {r = 538.74} \end{array}} \right. $$ (21)

      利用两种方法获取的坐标分别拟合得到其各自的运动轨迹如图8所示,生成1000组坐标计算预测运动方程与目标实际运动方程(21)的弗雷歇距离计算结果如图9所示,采用文中提出的DW方法,使得圆周运动半径的估计误差由0.82838降为0.05697,估计精度提升了14.5倍;预测的目标运动轨迹与实际轨迹的弗雷歇距离由8.89711下降到3.37335,轨迹预测精度提升了2.6倍。

      图  8  运动轨迹拟合。 (a)全视场获取数据的拟合结果;(b) DW方法获取数据的拟合结果

      Figure 8.  Motion trajectory fitting. (a) Fitting results of data acquired by full field of view method; (b) Fitting results of data acquired by DW method

      图  9  运动轨迹预测误差对比直方图

      Figure 9.  Comparative histogram of the error in motion trajectory prediction

    • 针对传统全视场成像方式在获取快速运动目标信息时由于轨迹点密度较低导致轨迹预测精度下降的问题,文中提出了一种基于动态开窗的运动目标信息获取方法,对探测系统和探测场景辐射特性建模,利用快速运动目标变化剧烈而背景缓变的特性进行开窗,实现了目标信息获取与系统工作参数的动态反馈调节。实验结果表明,文中提出的方法在简单背景下能有效提高单运动目标轨迹获取的点密度,从而提升轨迹预测精度。针对文中的中波红外演示系统,目标运动轨迹点密度提升了16倍,轨迹预测精度提升了2.6倍。文中方法适合硬件平台部署,且实时性和可扩展性较强,为红外智能探测系统设计提升快速运动目标运动估计的精度提供了有价值的参考。

参考文献 (19)

目录

    /

    返回文章
    返回