留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

采用三层窗口局部对比度的红外小目标检测

韩金辉 蒋亚伟 张小件 梁琨 李知铮 董兴浩 李楠

韩金辉, 蒋亚伟, 张小件, 梁琨, 李知铮, 董兴浩, 李楠. 采用三层窗口局部对比度的红外小目标检测[J]. 红外与激光工程, 2021, 50(2): 20200146. doi: 10.3788/IRLA20200146
引用本文: 韩金辉, 蒋亚伟, 张小件, 梁琨, 李知铮, 董兴浩, 李楠. 采用三层窗口局部对比度的红外小目标检测[J]. 红外与激光工程, 2021, 50(2): 20200146. doi: 10.3788/IRLA20200146
Han Jinhui, Jiang Yawei, Zhang Xiaojian, Liang Kun, Li Zhizheng, Dong Xinghao, Li Nan. Infrared small target detection using tri-layer window local contrast[J]. Infrared and Laser Engineering, 2021, 50(2): 20200146. doi: 10.3788/IRLA20200146
Citation: Han Jinhui, Jiang Yawei, Zhang Xiaojian, Liang Kun, Li Zhizheng, Dong Xinghao, Li Nan. Infrared small target detection using tri-layer window local contrast[J]. Infrared and Laser Engineering, 2021, 50(2): 20200146. doi: 10.3788/IRLA20200146

采用三层窗口局部对比度的红外小目标检测

doi: 10.3788/IRLA20200146
基金项目: 国家自然科学基金(61802455);河南省科技厅科技发展计划项目(192102210089);河南省教育厅高等学校重点科研项目(18B510021);周口师范学院大学生创新创业训练计划项目(S202010478010)
详细信息
    作者简介:

    韩金辉(1986−),博士,周口师范学院物理与电信工程学院教师。2007年毕业于杭州电子科技大学电子信息工程专业,研究生阶段进入华中科技大学电路与系统专业学习,分别于2013年、2016年获得工学硕士与工学博士学位。主要研究方向为图像信息处理、红外弱小目标检测等。主持国家自然科学基金青年项目1项,河南省科技厅“科技发展计划”项目1项,河南省教育厅“高校科学研究重点项目”1项。Email:hanjinhui@zknu.edu.cn

  • 中图分类号: TP391

Infrared small target detection using tri-layer window local contrast

  • 摘要: 在红外制导、预警等领域,高检测率、低虚警率和高实时性地检测出红外小目标具有重大的理论和实际意义。提出了一种采用三层窗口局部对比度的红外小目标检测方法,该三层窗口可以通过单尺度计算解决不同尺度小目标的检测难题,提高检测的实时性。同时,通过在对比度计算前、对比度计算中和对比度计算后等环节中分别对真实目标进行增强、对复杂背景进行抑制,实现提高检测率、降低虚警率的目的。在若干红外序列和图像中进行实验验证表明,相比8种现有算法而言,该方法可以取得更好的检测率和虚警率,其平均耗时仅为某些多尺度算法的1/3~1/2左右。
  • 图  1  新型三层窗口结构

    Figure  1.  Structure of the novel tri-layer window

    图  2  文中所提算法流程图

    Figure  2.  Flowchart of the proposed algorithm

    图  3  高斯滤波器模板

    Figure  3.  Template of Gaussian filter

    图  4  使用文中算法对6组图像序列进行检测的过程示意

    Figure  4.  Processing results of six sequences using the proposed algorithm

    图  5  使用文中算法对6幅单帧图像进行检测的过程示意

    Figure  5.  Processing results of six frames using the proposed algorithm

    图  6  不同序列的ROC曲线。(a)序列1;(b)序列2;(c)序列3;(d)序列4;(e)序列5;(f)序列6

    Figure  6.  ROC curves of different sequences. (a) Seq. 1;(b) Seq. 2;(c) Seq. 3;(d) Seq. 4;(e) Seq. 5;(f) Seq. 6

    表  1  六组红外序列的详细信息

    Table  1.   Details of the six IR sequences

    Seq.FramesResolutionTarget sizeTarget type
    1200320×2407×5 - 4×3Plane
    2200320×2563×3Plane
    3200320×2562×3 - 3×4Plane
    4300256×2563×3 - 3×4Unmanned aerial vehicle
    5100256×2565×5 - 5×7Ships
    6200320×2563×3Simulated
    下载: 导出CSV

    表  2  各图像序列下不同算法的SCRG值

    Table  2.   SCRG of different algorithms in different sequences

    Seq.TargetDoGILCMNLCMWLDMMPCMRLCMMDTDLMSDLCMProposed
    1 1 6.2885 7.2875 10.1899 18.5764 7.6446 15.7705 51.2914 129.7833 111.1994
    2 1 9.3889 17.0028 30.2405 45.1927 9.5588 17.6701 101.2353 444.8878 209.7027
    3 1 13.9985 46.9499 44.1210 96.6349 8.3706 20.1072 134.0081 346.6128 234.0280
    4 1 1.1451 4.4645 5.5739 6.6120 1.8120 3.8397 12.7133 49.7060 20.0574
    5 1 8.4327 4.4035 0.30477 38.6412 8.3807 8.1419 35.3682 144.0714 42.6344
    2 6.0860 14.0724 7.6629 34.1497 6.4653 7.0714 44.1577 115.3426 53.5452
    3 5.9508 3.5529 2.8184 19.3874 8.9205 6.5915 46.3951 72.3783 48.1778
    4 5.3314 3.4226 0.0654 18.1551 6.9744 6.5919 37.2507 60.5618 36.5833
    6 1 1.1238 2.0236 2.6389 0.7468 2.6805 7.1062 0.6750 0.0000 133.8833
    下载: 导出CSV

    表  3  各图像序列下不同算法的BSF值

    Table  3.   BSF of different algorithms in different sequences

    Seq.DoGILCMNLCMWLDMMPCMRLCMMDTDLMSDLCMProposed
    1 2.1241 33.9486 1.4121 681.6723 0.5767 6.1397 3.4236E3 6.8681E3 5.2603E3
    2 7.1437 94.5928 0.1103 39.7668 0.0299 15.3719 1.8704E5 8.1327E5 3.8348E5
    3 5.7067 46.3694 0.0220 22.8578 0.0192 15.1353 3.8940E5 1.0026E6 6.7702E5
    4 0.4502 6.9512 0.0567 37.5616 0.1257 2.2033 1.8657E3 7.2556E3 2.9298E3
    5 2.1606 29.8661 0.6584 536.9486 0.7421 5.2646 2.3261E3 6.0830E3 2.8033E3
    6 0.6452 16.4929 0.4706 44.9468 0.4048 4.1212 690.4329 6.7822E3 2.6697E3
    下载: 导出CSV

    表  4  各图像序列下不同算法的平均运行时间/s·frame−1

    Table  4.   Average time consumption of different algorithms in different sequences/s·frame−1

    Seq.DoGILCMNLCMWLDMMPCMRLCMMDTDLMSDLCMProposed
    10.23230.08360.07614.19252.20501.739619.11090.77230.9346
    20.25350.07660.06884.61202.24601.965122.46990.85691.0432
    30.26200.10120.07244.70812.21722.023220.82690.83980.9806
    40.23240.09690.08933.80901.90811.597918.38580.67570.8096
    50.20980.07330.06303.97771.78021.566218.34680.67480.7443
    60.25310.07890.06714.97072.41892.043821.84420.86180.9469
    下载: 导出CSV
  • [1] Cui Zheng, Yang Jingli, Li Junbao, et al. An infrared small target detection framework based on local contrast method [J]. Measurement, 2016, 91: 405-413. doi:  10.1016/j.measurement.2016.05.071
    [2] 范明明, 田少卿, 刘凯, 等. 基于梯度方向一致性和特征分解的红外小目标检测算法[J]. 红外与激光工程, 2020, 49(1): 0126001. doi:  10.3788/IRLA202049.0126001

    Fan Mingming, Tian Shaoqing, Liu Kai, et al. Infrared small target detection algorithm based on gradient direction consistency and eigendecomposition [J]. Infrared and Laser Engineering, 2020, 49(1): 0126001. (in Chinese) doi:  10.3788/IRLA202049.0126001
    [3] Gao Jinyan, Lin Zaiping, An Wei. Infrared small target detection using a temporal variance and spatial patch contrast filter [J]. IEEE Access, 2019, 7: 32217-32226. doi:  10.1109/ACCESS.2019.2903808
    [4] Bai Xiangzhi, Bi Yanguang. Derivative entropy-based contrast measure for infrared small-target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(4): 2452-2466. doi:  10.1109/TGRS.2017.2781143
    [5] 吴双忱, 左峥嵘. 基于深度卷积神经网络的红外小目标检测[J]. 红外与毫米波学报, 2019, 38(3): 371-380. doi:  10.11972/j.issn.1001-9014.2019.03.019

    Wu Shuangchen, Zuo Zhengrong. Small target detection in infrared images using deep convolutional neural networks [J]. Journal of Infrared and Millimeter Waves, 2019, 38(3): 371-380. (in Chinese) doi:  10.11972/j.issn.1001-9014.2019.03.019
    [6] 王晓阳, 彭真明, 张萍, 等. 局部对比度结合区域显著性红外弱小目标检测[J]. 强激光与粒子束, 2015, 27(9): 32-38.

    Wang Xiaoyang, Peng Zhenming, Zhang Ping, et al. Infrared small dim target detection based on local contrast combined with region saliency [J]. High Power Laser and Particle Beams, 2015, 27(9): 32-38. (in Chinese)
    [7] Chen Yuwen, Xin Yunhong. An efficient infrared small target detection method based on visual contrast mechanism [J]. IEEE Geosci Remote Sensing Lett, 2016, 13(7): 962-966. doi:  10.1109/LGRS.2016.2556218
    [8] 张祥越, 丁庆海, 罗海波, 等. 基于改进LCM的红外小目标检测算法[J]. 红外与激光工程, 2017, 46(7): 0726002. doi:  10.3788/IRLA201746.0726002

    Zhang Xiangyue, Ding Qinghai, Luo Haibo, et al. Infrared dim target detection algorithm based on improved LCM [J]. Infrared and Laser Engineering, 2017, 46(7): 0726002. (in Chinese) doi:  10.3788/IRLA201746.0726002
    [9] Du Peng, Hamdulla A. Infrared moving small-target detection using spatial-temporal local difference measure [J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(10): 1817-1821. doi:  10.1109/LGRS.2019.2954715
    [10] Shao Xiaopeng, Fan Hua, Lu Gangxu, et al. An improved infrared dim and small target detection algorithm based on the contrast mechanism of human visual system [J]. Infrared Physics & Technology, 2012, 55(5): 403-408.
    [11] Wang Xin, Lv Guofang, Xu Lizhong. Infrared dim target detection based on visual attention [J]. Infrared Physics & Technology, 2012, 55(6): 513-521.
    [12] Chen C L P, Li Hong, Wei Yantao, et al. A local contrast method for small infrared target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 574-581. doi:  10.1109/TGRS.2013.2242477
    [13] Han Jinhui, Ma Yong, Zhou Bo, et al. A robust infrared small target detection algorithm based on human visual system [J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172. doi:  10.1109/LGRS.2014.2323236
    [14] Qin Yao, Li Biao. Effective infrared small target detection utilizing a novel local contrast method [J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1890-1894. doi:  10.1109/LGRS.2016.2616416
    [15] Han Jinhui, Liang Kun, Zhou Bo, et al. Infrared small target detection utilizing the multi-scale relative local contrast measure [J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616. doi:  10.1109/LGRS.2018.2790909
    [16] Han Jinhui, Liu Sibang, Qin Gang, et al. A local contrast method combined with adaptive background estimation for infrared small target detection [J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(9): 1442-1446. doi:  10.1109/LGRS.2019.2898893
    [17] Wei Yantao, You Xin'ge, Li Hong. Multiscale patch-based contrast measure for small infrared target detection [J]. Pattern Recognition, 2016, 58: 216-226. doi:  10.1016/j.patcog.2016.04.002
    [18] Deng He, Sun Xianping, Liu Maili, et al. Entropy-based window selection for detecting dim and small infrared targets [J]. Pattern Recognition, 2017, 61: 66-77. doi:  10.1016/j.patcog.2016.07.036
    [19] 潘胜达, 张素, 赵明, 等. 基于双层局部对比度的红外弱小目标检测方法[J]. 光子学报, 2020, 49(1): 178-186. doi:  10.3788/gzxb20204901.0110003

    Pan Shengda, Zhang Su, Zhao Ming, et al. Infrared small target detection based on double-layer local contrast measure [J]. Acta Photonica Sinica, 2020, 49(1): 178-186. (in Chinese) doi:  10.3788/gzxb20204901.0110003
    [20] Moradi S, Moallem P, Sabahi M F. Scale-space point spread function based framework to boost infrared target detection algorithms [J]. Infrared Physics & Technology, 2016, 77: 27-34.
  • [1] 姜珊, 张超, 韩成, 底晓强.  基于相关滤波的目标重检测跟踪 . 红外与激光工程, 2021, 50(2): 20200182-1-20200182-12. doi: 10.3788/IRLA20200182
    [2] 陈伟力, 徐文斌, 王淑华, 陈艳, 张亚洲, 李军伟, 邓蓉.  基于红外光谱偏振度对比度的涂层材质识别研究 . 红外与激光工程, 2020, 49(6): 20190445-1-20190445-7. doi: 10.3788/IRLA20190445
    [3] 马乐, 陆威, 姜鹏, 刘迪, 王鹏辉, 孙剑峰.  基于匹配滤波的Gm-APD激光雷达三维重构算法研究 . 红外与激光工程, 2020, 49(2): 0205006-0205006. doi: 10.3788/IRLA202049.0205006
    [4] 范明明, 田少卿, 刘凯, 赵嘉鑫, 李云松.  基于梯度方向一致性和特征分解的红外小目标检测算法 . 红外与激光工程, 2020, 49(1): 0126001-0126001(12). doi: 10.3788/IRLA202049.0126001
    [5] 叶华, 谭冠政, 胡长坤, 戴正科.  曲率滤波-经验模式分解的运动人体目标检测预处理 . 红外与激光工程, 2018, 47(2): 226001-0226001(6). doi: 10.3788/IRLA201847.0226001
    [6] 赵耀宏, 王园园, 罗海波, 李方舟.  红外成像系统中的高动态范围压缩与对比度增强新技术 . 红外与激光工程, 2018, 47(S1): 172-181. doi: 10.3788/IRLA201847.S126001
    [7] 孔明, 杨天琪, 单良, 郭天太, 王道档, 徐良.  图像能量与对比度的霾检测算法 . 红外与激光工程, 2018, 47(8): 826001-0826001(6). doi: 10.3788/IRLA201847.0826001
    [8] 张祥越, 丁庆海, 罗海波, 惠斌, 常铮, 张俊超.  基于改进LCM的红外小目标检测算法 . 红外与激光工程, 2017, 46(7): 726002-0726002(7). doi: 10.3788/IRLA201746.0726002
    [9] 杨虹, 黄远辉, 苗少峰, 宫睿, 邵晓鹏, 毕祥丽.  频率域光声成像系统的研究 . 红外与激光工程, 2016, 45(4): 424001-0424001(7). doi: 10.3788/IRLA201645.0424001
    [10] 胡欧磊, 王江, 王庆权, 林德福, 雷红波.  全捷联图像导引头隔离度辨识及其抑制技术应用 . 红外与激光工程, 2016, 45(10): 1031001-1031001(9). doi: 10.3788/IRLA201645.1031001
    [11] 曾祥通, 张玉珍, 孙佳嵩, 喻士领.  颜色对比度增强的红外与可见光图像融合方法 . 红外与激光工程, 2015, 44(4): 1198-1202.
    [12] 高绍姝, 金伟其, 王延江, 张晓东.  灰度融合图像目标与背景感知对比度客观评价模型 . 红外与激光工程, 2015, 44(5): 1660-1665.
    [13] 王新伟, 曹忆南, 刘超, 孔庆善, 崔伟, 周燕, 李友福.  2D/3D 距离选通成像的低对比度目标探测 . 红外与激光工程, 2014, 43(9): 2854-2859.
    [14] 田昌会, 蔡明, 杨百愚, 范琦, 王斌科, 王伟宇, 屈绍波.  星载红外探测对比度的计算与分析 . 红外与激光工程, 2014, 43(3): 737-741.
    [15] 韩艳丽, 刘峰.  基于三角形匹配的空间小目标检测算法 . 红外与激光工程, 2014, 43(9): 3134-3140.
    [16] 张建忠, 郭帮辉, 谭向全, 孙强.  高对比度中/长波红外双波段视景仿真系统光学设计及测试实验 . 红外与激光工程, 2013, 42(11): 2894-2900.
    [17] 彭逸月, 何伟基, 顾国华, 童涛.  多层级及对比度提升的红外和可见光图像融合 . 红外与激光工程, 2013, 42(4): 1095-1099.
    [18] 刘运龙, 薛雨丽, 袁素真, 毛峡.  基于局部均值的红外小目标检测算法 . 红外与激光工程, 2013, 42(3): 814-822.
    [19] 孙高, 朱明超, 刘慧, 贾宏光.  半捷联导引头光轴稳定性 . 红外与激光工程, 2013, 42(2): 489-494.
    [20] 娄和利, 吕相银, 周园璞, 吴晓迪.  地面目标与背景的红外辐射对比度特性 . 红外与激光工程, 2012, 41(8): 2002-2007.
  • 加载中
图(6) / 表(4)
计量
  • 文章访问数:  41
  • HTML全文浏览量:  20
  • PDF下载量:  13
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-20
  • 修回日期:  2020-07-13
  • 网络出版日期:  2021-02-07
  • 刊出日期:  2021-02-25

采用三层窗口局部对比度的红外小目标检测

doi: 10.3788/IRLA20200146
    作者简介:

    韩金辉(1986−),博士,周口师范学院物理与电信工程学院教师。2007年毕业于杭州电子科技大学电子信息工程专业,研究生阶段进入华中科技大学电路与系统专业学习,分别于2013年、2016年获得工学硕士与工学博士学位。主要研究方向为图像信息处理、红外弱小目标检测等。主持国家自然科学基金青年项目1项,河南省科技厅“科技发展计划”项目1项,河南省教育厅“高校科学研究重点项目”1项。Email:hanjinhui@zknu.edu.cn

基金项目:  国家自然科学基金(61802455);河南省科技厅科技发展计划项目(192102210089);河南省教育厅高等学校重点科研项目(18B510021);周口师范学院大学生创新创业训练计划项目(S202010478010)
  • 中图分类号: TP391

摘要: 在红外制导、预警等领域,高检测率、低虚警率和高实时性地检测出红外小目标具有重大的理论和实际意义。提出了一种采用三层窗口局部对比度的红外小目标检测方法,该三层窗口可以通过单尺度计算解决不同尺度小目标的检测难题,提高检测的实时性。同时,通过在对比度计算前、对比度计算中和对比度计算后等环节中分别对真实目标进行增强、对复杂背景进行抑制,实现提高检测率、降低虚警率的目的。在若干红外序列和图像中进行实验验证表明,相比8种现有算法而言,该方法可以取得更好的检测率和虚警率,其平均耗时仅为某些多尺度算法的1/3~1/2左右。

English Abstract

    • 红外探测系统具有隐蔽性好、抗干扰能力强等优点,在制导、预警等领域得到了广泛应用[1-2]。但在一些实际场景中,由于红外探测系统的探测距离很远,目标在图像中面积小、亮度弱,很难被检测到[3-4];同时,在复杂背景存在的条件下,目标很容易被复杂背景淹没[5]。因此,要在高检测率、低虚警率的前提下检测出红外小目标通常是一个较大的难题[6]。此外,某些实际应用对检测实时性的要求比较高,通常要求在单帧内完成对目标的检测和输出,这进一步地加大了检测难度[7]

      目前,研究者们已经提出了很多类型的红外小目标检测方法,其中,基于人类视觉系统(Human Visual System,HVS)对比度机制的仿生学方法凭借理论简洁易实现、与真实目标特性契合较好等优势,尤其受到研究者们的关注[8-9]。但是,不同研究者对于对比度的定义各不相同,主要可分为差值型、比值型和比差联合型三类:

      差值型对比度算法以Shao等人[10]提出的LoG(Laplacian of Gaussian)和Wang等人[11]提出的DoG(Difference of Gaussians)等为代表,通过计算中心与邻域背景的灰度差值,可以有效抑制平缓背景,但往往无法有效增强目标;

      比值型对比度算法包括Chen等人[12]提出的LCM(Local Contrast Measure)、Han等人[13]提出的ILCM(Improved Local Contrast Measure)、Qin等人[14]提出的NLCM(Novel Local Contrast Measure)等,他们以中心与邻域的灰度比值作为中心的增强系数,可以有效增强目标,但当背景本身的亮度极高时,仍然有可能淹没增强后的目标;

      为了能够同时实现增强目标和抑制背景的效果,Han等人[15]提出了RLCM(Relative Local Contrast Measure),该算法采用比差联合的形式进行对比度计算,虽然原理很简单,但能够有效地结合比值和差值的优势,较好地提高了检测性能。MDTDLMS(Multi Directional Two Dimensional Least Mean Square)[16]则进一步将比差联合对比度与背景估计思想相结合。

      在实际应用中,小目标的尺度通常是未知的,这给对比度计算时的窗口大小选择带来了很大的困难。目前比较通行的做法是采用多尺度检测方法,即事先设置多个尺度不同的窗口,分别计算当前位置在每个尺度下的对比度信息,最后再在多个尺度的结果中使用max pooling等方法确定最终计算结果。例如,除了前面提到的LoG、DoG、LCM、RLCM等算法外,还有Wei等人[17]提出的MPCM(Multiscale Patch-based Contrast Measure)、Deng等人[18]提出的WLDM(Weighted Local Difference Measure)等等,也都属于多尺度检测算法。但是,多尺度检测算法往往存在计算量大的问题,导致算法的实时性不尽如人意。一些最新的研究注意到了这个问题,例如,在Pan等人[19]提出的DLCM(Double-layer Local Contrast Measure)算法中设计了一种新型三层窗口结构,可以使用单尺度计算完成不同尺度小目标的检测,从而大大地减少了算法的运算量。但是相关研究目前尚不充分。

      概括而言,当前的对比度算法还存在一定的不足:首先,现有算法通常重点关注对比度计算中的算法设计和对比度计算后的加权校验两个环节,而对对比度计算前的环节重视不够。其次,虽然已有一些研究者开始关注单尺度计算解决多尺度小目标检测的思想,但相关研究还有待进一步完善。如DLCM虽然提出了三层窗口,却仅使用差值进行对比度计算,对目标的增强能力不足;另外,DLCM使用当前位置周围的最大值作为对比度计算时的参照背景,当目标周围存在亮度极高的背景时,这些高亮背景很容易淹没真实目标。

      文中针对现有研究存在的不足,提出了一种三层窗口局部对比度算法。首先,为了降低计算量、提高实时性,该算法采用DLCM中的新型三层窗口,通过单尺度计算解决不同尺度小目标的检测难题。同时,为了提高检测率、降低虚警率,文中算法通过合理的设计,在对比度计算前、计算中和计算后等三个环节中均对真实目标进行了增强、对复杂背景进行了抑制。

    • DLCM算法是近年来最新提出的一种小目标检测算法,也是文中算法的重要基础之一。DLCM算法的一大贡献在于提出了一个新型三层窗口,如图1所示。

      图  1  新型三层窗口结构

      Figure 1.  Structure of the novel tri-layer window

      图1可以看出,该三层窗口共包含5×5个子窗,每个子窗的大小都是3×3。中心层子窗T用于捕捉目标。中间层子窗IB1 ~ IB8用于隔离目标与背景,由于小目标一般不超过9×9个像素点,不会超出该区域,所以不用根据目标的实际尺度调整窗口大小,从而可以使用单尺度计算解决不同尺度小目标的检测。最外层子窗OB1 ~ OB16则用于捕捉目标周围的背景区域,参与对比度计算。

      中心层子窗与某个中间层子窗的灰度对比度d(T, IBi),和中心层子窗与某个最外层子窗的灰度对比度d(T, OBj)可分别表示为:

      $$d(T,I{B_i}) = \left\{ {\begin{array}{*{20}{c}} {{m_0} - {m_{I{B_i}}},{\rm{if}}({m_0} - {m_{I{B_i}}}) > 0} \\ {0,{\rm{else}}} \end{array}} \right.$$ (1)
      $$d(T,O{B_j}) = \left\{ {\begin{array}{*{20}{c}} {{m_0} - {m_{O{B_j}}},{\rm{if}}({m_0} - {m_{O{B_j}}}) > 0} \\ {0,{\rm{else}}} \end{array}} \right.$$ (2)

      式中:m0代表中心层子窗T的灰度均值;mIBi代表中间层子窗IBi的灰度均值;mOBj代表最外层子窗OBj的灰度均值,其中,i = 1 ~ 8,j = 1 ~ 16,为子窗的序号。

      接着,DLCM算法取中心层与最外层灰度差的最小值作为当前位置的对比度信息D,即:

      $$D = {\min _j}d\left( {T,O{B_j}} \right),j = 1,{\rm{2,}}...,16$$ (3)

      为进一步抑制复杂背景、突出真实目标,DLCM算法还取了d(T, IBi)的两两对角相乘结果作为加权函数,即:

      $$W = {\min _i}\left[ {d\left( {T,I{B_i}} \right) \times d\left( {T,I{B_{9 - i}}} \right)} \right],i = 1,2,3,4$$ (4)

      于是,当前位置最终的对比度信息将是:

      $$DLCM = W \times D$$ (5)

      使用该窗口遍历原始红外图像的所有像素点,便可得到整幅图像的DLCM计算结果。笔者认为真实目标的DLCM值将最为突出,因此使用阈值分割即可提取出目标。

    • 从DLCM算法的计算过程可以看出其存在以下缺陷:

      (1)该算法未关注对比度计算前的环节,未能有针对性地对目标进行预增强、对复杂背景进行预抑制;

      (2)该算法仅使用了差值运算进行对比度信息计算,虽然可以消除平滑背景,但当目标非常弱小时,对目标几乎没有增强能力;

      (3)当目标靠近高亮背景边缘时,若高亮背景的灰度值远大于真实目标的灰度值,则目标将会被淹没,无法检测。

      针对上述不足,文中拟提出一种三层窗口局部对比度算法,其流程图如图2所示。

      图  2  文中所提算法流程图

      Figure 2.  Flowchart of the proposed algorithm

      首先,为减少计算量、提高实时性,该算法采用了图1中的新型三层窗口结构,用于对图像进行遍历和计算。同时,为了提高检测率、降低虚警率,文中算法在对比度计算前、计算中和计算后等三个环节中分别对真实目标进行了增强、对复杂背景进行了抑制:在对比度计算前,首先对三层窗口的中心层进行高斯滤波、对最外层进行最接近滤波,有针对性地对目标进行预增强、对背景进行预抑制;在对比度计算中,通过在中心层与最外层之间进行比差联合对比度的计算,实现对目标的增强和对背景的抑制;在对比度计算后,通过使用三层窗口中间层的信息对计算结果进行加权校验,进一步突出目标、消除复杂背景。最后,通过一个简单的阈值操作,即可提取出真实目标。

    • 由于DLCM算法中的三层窗口可以提高算法的检测效率,因此,文中直接采用DLCM的三层窗口,对原始图像进行逐像素的遍历。并且针对DLCM算法的不足,文中提出在对比度计算前分别对中心层进行高斯滤波、对最外层进行最接近滤波的方案,以有针对性地对目标进行预增强、对背景进行预抑制。

    • 根据匹配滤波器(matched filter)理论,如果使用滤波的方法对一个原始信号进行处理,那么当滤波器模板与信号形状一致时,原始信号的信噪比可以得到很好的增强[20]。考虑到红外小目标在图像中一般呈现中心高、四周低的特点,与二维高斯函数的分布极其相似,因此,文中引入了匹配滤波的思想,在对比度计算前,首先对中心层做高斯滤波,有针对性地增强真实目标的信噪比。根据中心层子窗的大小,文中设定高斯滤波模板如图3所示。

      图  3  高斯滤波器模板

      Figure 3.  Template of Gaussian filter

      将高斯滤波模板嵌套在三层窗口的中心层子窗,随三层窗口的移动遍历图像,定义每个位置处的匹配滤波结果为:

      $${I_{{\rm{mf}}}}\left( {i,j} \right) = \sum\limits_{p = - 1}^{ + 1} {\sum\limits_{q = - 1}^{ + 1} {\left[ {G\left( {p,q} \right) \cdot T\left( {i + p,j + q} \right)} \right]} } $$ (6)

      式中:(i, j)为当前像素点的坐标;T为中心层子窗;G图3中的滤波模板;Imf为匹配滤波后的结果。

    • 现有空域对比度算法(包括DLCM)通常选取目标周围的最大灰度值作为背景值参与对比度计算,但当目标靠近背景边缘时,若边缘另一侧的背景亮度极高,则很容易淹没目标。为了缓解目标被高亮背景淹没的问题,文中采用最接近原则对最外层进行处理,即选取与中心层高斯滤波值最接近的最外层子窗均值作为背景估计值:

      $$B\left( {i,j} \right) = \mathop {\arg \min }\limits_{{m_{OBn}}} \left| {{m_{OBn}} - {I_{{\rm{mf}}}}(i,j)} \right|$$ (7)

      式中:(i, j)为当前像素点的坐标;Imf表示中心层子窗的高斯滤波值;mOBn表示第n个(共16个)最外层子窗的均值;B表示计算得到的最终背景值。

    • 在对比度计算中,文中采用比差联合的方式,在高斯滤波后的中心层与最接近滤波后的最外层之间进行对比度的计算,以增强真实目标、抑制复杂背景。

      首先,考虑到真实目标在局部通常比较突出,而普通背景一般比较平缓,为了增强真实目标,采用比值对比度的思想,以中心层与最外层之间的灰度比值作为增强系数,对真实目标进行增强:

      $$R\left( {i,j} \right) = \dfrac{{{I_{{\rm{mf}}}}\left( {i,j} \right)}}{{\max \left[ {B\left( {i,j} \right),\xi } \right]}}{I_{{\rm{mf}}}}\left( {i,j} \right)$$ (8)

      式中:ξ是一个大于1但是相对目标像素值而言又极小的约束因子,用来防止分母为0的情况出现。文中ξ取为10。

      显然,对于真实目标,由于目标通常在局部比较突出,其增强因子一般大于1,目标值被增强。对于普通背景,由于背景一般是大面积连续存在的,其增强因子一般约等于1,背景值不变。但是,若背景本身亮度极高,仍有可能大于增强后的目标值,造成目标被淹没。为此,引入差值对比度的思想,构建比差联合对比度为:

      $$RD\left( {i,j} \right) = \dfrac{{{I_{{\rm{mf}}}}\left( {i,j} \right)}}{{\max \left[ {B\left( {i,j} \right),\xi } \right]}}{I_{{\rm{mf}}}}\left( {i,j} \right) - {I_{{\rm{mf}}}}\left( {i,j} \right)$$ (9)

      考虑到目标一般比周围邻域背景稍亮,引入非负约束操作,令最终的三层窗口比差联合对比度为:

      $$RD\left( {i,j} \right) = \max [RD\left( {i,j} \right),0]$$ (10)
    • 根据红外探测的成像特性,真实目标一般呈现中心高、四周低的特点。当三层窗口的中心层子窗捕获到真实目标中心时,中心层子窗中的最大像素值一定会大于中间层任一子窗的平均像素值,反之,中心层子窗捕获到的一定不是真实目标。为进一步地突出目标、抑制背景杂波,在对图像中的某位置(i, j)进行对比度计算后,利用中间层信息对计算结果做进一步的加权操作,即若中心层子窗中的最大像素值小于中间层任一子窗中的平均像素值时,令该位置处的权值W(i, j) = 0,反之令W(i, j) = 1。最终的突出度矩阵(Saliency Map, SM)将是比差联合对比度与加权矩阵的Hadamard积:

      $$SM\left( {i,j} \right) = R\!D\left( {i,j} \right) \cdot W\left( {i,j} \right)$$ (11)
    • 经过在对比度计算前、计算中和计算后的一系列设计和操作后,在最终得到的SM中,真实目标将会是最突出的,而其他干扰因素可以得到很好的抑制,故可采用一个简单的阈值操作提取目标。文中定义阈值为:

      $$T\!H{\rm{ = }}\mu \cdot \max (SM)$$ (12)

      式中:max(SM)表示SM中的最大值;μ是一个介于0~1的系数。大量实验表明,对于单目标检测而言,μ取值在0.7~0.95左右比较合适,但对于可能出现多目标检测的应用而言,考虑到不同目标的突出程度可能有差别,μ值应适当降低一些。

      使用THSM做二值化,大于TH的像素点标记为1,其他标记为0。标记完毕后,每个值为1的连通区域被当作一个检测到的目标区域进行输出(为了减少杂波干扰,在输出目标前,可以先对标记结果进行一次膨胀操作)。

    • 为了检验文中算法的有效性,使用了大量包含小目标的真实和仿真图像数据(包括序列数据和单帧数据)进行实验验证。文中所有实验代码均在一台采用1.80GHz英特尔酷睿i5-8250处理器、内存(RAM)为8GB的个人电脑上运行,所使用的测试软件为MATLAB R2016a。

      首先,选取了5组不同背景下的真实红外图像序列进行实验。同时,为了验证文中算法在目标靠近高亮背景时的优势,文中还采用了一组仿真序列进行实验说明,该仿真序列中包含一个位于高亮背景边缘附近的小目标,且高亮背景的灰度值远大于目标的灰度值。表1给出了6组图像序列的详细信息。

      表 1  六组红外序列的详细信息

      Table 1.  Details of the six IR sequences

      Seq.FramesResolutionTarget sizeTarget type
      1200320×2407×5 - 4×3Plane
      2200320×2563×3Plane
      3200320×2562×3 - 3×4Plane
      4300256×2563×3 - 3×4Unmanned aerial vehicle
      5100256×2565×5 - 5×7Ships
      6200320×2563×3Simulated

      图4给出了使用文中算法对6组图像序列进行检测的过程示意(除序列5中的μ取为0.5外,其他序列中的μ均取为0.9)。在原始图像中,目标通常亮度弱、尺寸小,不易被发现,且视场中往往存在很多复杂背景,很容易淹没目标。匹配滤波结果是对比度计算前对中心层进行高斯滤波后得到的,最接近滤波结果是对比度计算前对最外层进行最接近滤波后得到的背景估计。在匹配滤波结果和背景估计结果之间进行比差联合对比度计算后,可以看到目标变得比较突出,而大多数复杂背景都得到了很好的抑制,仅有少部分背景杂波残留。进一步地,经过中间层信息加权后(图中还给出了对该结果图像的三维显示效果),目标得到了进一步增强,同时上一环节残留的少部分背景杂波也得到了进一步的抑制。最终,经过阈值处理后,可以看到,所有目标都能被成功输出,仅序列1在坏点处出现了一处虚警。特别地,从序列6的原始图像示例中可以看出,此时目标位于背景边缘附近,且背景亮度远大于真实目标,而使用文中算法在这种极端情况下仍能成功检测出目标。

      图  4  使用文中算法对6组图像序列进行检测的过程示意

      Figure 4.  Processing results of six sequences using the proposed algorithm

      除了上述6组红外序列外,文中还使用了一个包含23帧图像、背景类型和目标类型更加多样化的单帧数据库,对算法性能进行辅助检验,如图5所示。限于篇幅,此处仅给出了其中6帧图像作为示例(μ均取0.9)。显然,与图4类似,在不同背景场景、不同目标类型下,文中算法都可以成功输出真实目标,并且未产生任何虚警。

      图  5  使用文中算法对6幅单帧图像进行检测的过程示意

      Figure 5.  Processing results of six frames using the proposed algorithm

    • 为进一步地验证文中算法的优势,文中选择了8种现有对比度型算法作为对比算法,包括DoG、ILCM、NLCM、WLDM、MPCM、RLCM、MDTDLMS以及DLCM等。其中,DoG是差值型对比度算法,ILCM和NLCM是比值型对比度算法,WLDM和MPCM是多尺度型对比度算法,RLCM和MDTDLMS是比差联合型对比度算法,DLCM是最新提出的单尺度型对比度算法。

      首先,表2表3给出了各算法在6个序列中的信杂比增益(Signal-Clutter Ratio Gain,SCRG)和背景抑制因子(Background Suppression Factor,BSF),它们的定义为:

      表 2  各图像序列下不同算法的SCRG值

      Table 2.  SCRG of different algorithms in different sequences

      Seq.TargetDoGILCMNLCMWLDMMPCMRLCMMDTDLMSDLCMProposed
      1 1 6.2885 7.2875 10.1899 18.5764 7.6446 15.7705 51.2914 129.7833 111.1994
      2 1 9.3889 17.0028 30.2405 45.1927 9.5588 17.6701 101.2353 444.8878 209.7027
      3 1 13.9985 46.9499 44.1210 96.6349 8.3706 20.1072 134.0081 346.6128 234.0280
      4 1 1.1451 4.4645 5.5739 6.6120 1.8120 3.8397 12.7133 49.7060 20.0574
      5 1 8.4327 4.4035 0.30477 38.6412 8.3807 8.1419 35.3682 144.0714 42.6344
      2 6.0860 14.0724 7.6629 34.1497 6.4653 7.0714 44.1577 115.3426 53.5452
      3 5.9508 3.5529 2.8184 19.3874 8.9205 6.5915 46.3951 72.3783 48.1778
      4 5.3314 3.4226 0.0654 18.1551 6.9744 6.5919 37.2507 60.5618 36.5833
      6 1 1.1238 2.0236 2.6389 0.7468 2.6805 7.1062 0.6750 0.0000 133.8833

      表 3  各图像序列下不同算法的BSF值

      Table 3.  BSF of different algorithms in different sequences

      Seq.DoGILCMNLCMWLDMMPCMRLCMMDTDLMSDLCMProposed
      1 2.1241 33.9486 1.4121 681.6723 0.5767 6.1397 3.4236E3 6.8681E3 5.2603E3
      2 7.1437 94.5928 0.1103 39.7668 0.0299 15.3719 1.8704E5 8.1327E5 3.8348E5
      3 5.7067 46.3694 0.0220 22.8578 0.0192 15.1353 3.8940E5 1.0026E6 6.7702E5
      4 0.4502 6.9512 0.0567 37.5616 0.1257 2.2033 1.8657E3 7.2556E3 2.9298E3
      5 2.1606 29.8661 0.6584 536.9486 0.7421 5.2646 2.3261E3 6.0830E3 2.8033E3
      6 0.6452 16.4929 0.4706 44.9468 0.4048 4.1212 690.4329 6.7822E3 2.6697E3
      $${S\!CRG = }\frac{{{S\!C}{{R}_{\rm{out}}}}}{{{S\!C}{{R}_{\rm{in}}}}}$$ (13)
      $${BS\!\!F = }\frac{{{\sigma _{\rm{in}}}}}{{{\sigma _{\rm{out}}}}}$$ (14)

      式中:SCRinSCRout分别表示原始图像和计算后图像的信杂比;σinσout分别表示原始图像和计算后图像的标准差。

      表2表3的数据可以看出,DLCM算法中由于采用了最外层的最大值作为对比度计算时的背景参照,因此可以很好地抑制背景杂波,在大多数情况下都可以取得最好的SCRG和BSF结果。但是,对于序列6,当目标靠近高亮背景时,DLCM的检测将失效,目标完全被高亮背景淹没(SCRG为0)。文中算法由于采用了最接近滤波的思想,可以有效检测到高亮背景附近的目标(参见图4第6行),这是文中算法相比DLCM的一大优势。在SCRG和BSF指标方面,虽然相比最大值思想而言,文中算法的最接近滤波思想对背景杂波的抑制能力稍弱,但也往往可以取得除DLCM算法之外的最好结果。

      接着,文中引入了接受机工作性能(Receiver Operating Characteristic,ROC)曲线进一步地展示文中算法的有效性。通过对整个序列图像进行算法处理,计算出相应的检测率(True Positive Rate,TPR)和虚警率(False Positive Rate,FPR),再以虚警率为横轴、检测率为纵轴绘制曲线,即为ROC曲线。其中,TPR和FPR的定义式分别为:

      $${T\!P\!R = }\frac{{\text{检测出的真实目标个数}}}{{\text{实际真实目标个数}}}$$ (15)
      $${F\!P\!R = }\frac{{\text{检测出的虚假目标个数}}}{{{\text{实际像素点总数}}-{\text{实际真实目标数}}}}$$ (16)

      当虚警率一定时,检测率越高,说明算法的检测性能越好;同理,当检测率一定时,虚警率越低,说明算法的检测性能越好。在ROC曲线中则表现为,曲线越靠左上,说明算法的检测性能越好。图6给出了采用以上8种对比算法与文中算法分别对6组图像序列进行处理得到的ROC曲线,可以看出,在大多数情况下,文中算法的检测性能比现有算法强,尤其是在序列6中,文中算法的优势更加明显。

      图  6  不同序列的ROC曲线。(a)序列1;(b)序列2;(c)序列3;(d)序列4;(e)序列5;(f)序列6

      Figure 6.  ROC curves of different sequences. (a) Seq. 1;(b) Seq. 2;(c) Seq. 3;(d) Seq. 4;(e) Seq. 5;(f) Seq. 6

      最后,为了检验文中算法的实时性,测试并记录了不同算法在6组序列中平均检测一帧所消耗的时间,如表4所示。

      表 4  各图像序列下不同算法的平均运行时间/s·frame−1

      Table 4.  Average time consumption of different algorithms in different sequences/s·frame−1

      Seq.DoGILCMNLCMWLDMMPCMRLCMMDTDLMSDLCMProposed
      10.23230.08360.07614.19252.20501.739619.11090.77230.9346
      20.25350.07660.06884.61202.24601.965122.46990.85691.0432
      30.26200.10120.07244.70812.21722.023220.82690.83980.9806
      40.23240.09690.08933.80901.90811.597918.38580.67570.8096
      50.20980.07330.06303.97771.78021.566218.34680.67480.7443
      60.25310.07890.06714.97072.41892.043821.84420.86180.9469

      结合表2表3图6表4可知:DoG、ILCM和NLCM的实时性很好,但是他们的检测性能往往较差,尤其是当目标微弱而背景复杂时;WLDM、MPCM和RLCM的检测性能略佳,但由于他们都是多尺度算法,耗时较长;MDTDLMS作为一种比较新颖的对比度算法,检测性能相比RLCM等又有了一定提高,但由于他内部包含大量迭代计算,导致算法的耗时最长,实时性很差;DLCM算法采用了三层窗口,以单尺度计算解决多尺度目标的检测难题,因而实时性有了很大的提高,检测性能也有了不小的提升,但当目标位于高亮背景附近时(序列6),算法性能很差。

      文中算法也采用了三层窗口,因此实时性相比一些多尺度算法有了较好的改善,平均耗时仅为RLCM等算法的1/2~1/3左右,并且,由于文中算法采用了最接近滤波思想,对高亮背景的抑制能力更好,在所有六个序列中的检测性能都很好。

    • 文中针对复杂背景下的红外小目标检测难题,提出了一种三层窗口局部对比度算法,可以通过单尺度计算解决不同尺度小目标的检测难题,因而可以大大提高检测的实时性。同时,通过在对比度计算前、计算中和计算后等环节中分别对真实目标进行增强、对复杂背景进行抑制,实现提高检测率、降低虚警率的目的:在计算前,针对窗口中心层进行高斯匹配滤波,有针对性地增强目标信噪比,对窗口最外层则采用最接近滤波思想,提高了算法对高亮背景边缘的抑制能力;在计算中,采用比差联合的思想进行对比度计算,达到同时增强目标和抑制背景的目的;在计算后,采用窗口中间层信息对结果进行加权校验,进一步突出目标、抑制背景杂波。通过在若干序列和图像中进行实验表明,相比8种现有算法而言,该方法可以取得更好的检测率和虚警率,其平均耗时仅为某些多尺度算法的1/2~1/3。

参考文献 (20)

目录

    /

    返回文章
    返回