-
为解决现有单邻域亮、暗目标检测算法实时性差以及背景抑制不充分的问题,文中引入双邻域检测模型。首先,采用一个5×5的滑动窗口从上至下,从左至右逐像素计算待检测图像的DDAM值,在对边界计算时采用镜像补全的方法来拓展原始图像,滑动窗口结构模式及其内部多层区域划分如图2(a)、(b)所示。
图 2 (a) 滑动窗口的工作模式及其多层区域的划分;(b) 滑动窗口内的多个子窗;(c) 文中算法四个方向的插值相乘示意图
Figure 2. (a) Working mode of sliding window and the division of multi-layer area; (b) A number of subwindows within a sliding window; (c) Schematic diagram of interpolation multiplication in four directions of the algorithm in this paper
整个滑动窗口由25个子窗组成,每个子窗大小为n×n个像素,其中心子窗记为
$ {T}_{0} $ ,代表目标区域;位于$ {T}_{0} $ 周围的内层邻域由8个子窗构成,记为$ {IB}_{i} $ (i=1,2,···,8),外邻域由16个子窗组成,记为$ {OB}_{j} $ (j=1,2,···,16)。然后,引入内层邻域差值$ d\left({T}_{0},{IB}_{i}\right) $ 和外城邻域差值$ d\left({T}_{0},{OB}_{j}\right) $ 表示为:$$ d\left({T}_{0},{IB}_{i}\right)={m}_{{T}_{0}}-{m}_{{IB}_{i}} $$ (1) $$ d\left({T}_{0},{OB}_{j}\right)={m}_{{T}_{0}}-{m}_{{OB}_{j}} $$ (2) 式中:
$ {m}_{{T}_{0}} $ 代表$ {T}_{0} $ 子窗的灰度均值;$ {m}_{{IB}_{i}} $ ,$ {m}_{{OB}_{j}} $ 分别代表内邻域子窗$ {IB}_{i} $ 和外邻域子窗$ {OB}_{j} $ 的灰度均值,因此$ d\left({T}_{0},{IB}_{i}\right) $ 、$ d\left({T}_{0},{OB}_{j}\right) $ 可以用来表示为中心邻域$ {T}_{0} $ 与外层邻域间的灰度差异,采用区域均值计算灰度差异的方式可有效减少随机高亮噪声对真实目标的干扰。由图1中的目标三维灰度图可知,弱小目标的灰度变化在内、外邻域均服从中心对称分布,对于亮目标,其各方向的
$ d\left({T}_{0},{IB}_{i}\right) $ 与$ d\left({T}_{0},{OB}_{j}\right) $ 大于零;对于暗目标,其各方向的$ d\left({T}_{0},{IB}_{i}\right) $ 与$ d\left({T}_{0},{IB}_{i}\right) $ 小于零,为凸显上述两类目标共性,采用对称邻域相乘的方式定义$ {ID}_{i} $ ,$ {OD}_{j} $ 为:$$ {ID}_{i}=\left\{\begin{array}{c}d\left({T}_{0},{IB}_{i}\right)\times d\left({T}_{0},{IB}_{i+4}\right)\\ 0\end{array}\right.\begin{array}{c}{\rm{if}}d\left({T}_{0},{IB}_{i}\right)\times d\left({T}_{0},{IB}_{i+4}\right)\geqslant 0\\ {\rm{else}}\end{array} $$ (3) $$ {OD}_{j}=\left\{\begin{array}{c}d\left({T}_{0},{OB}_{j}\right)\times d\left({T}_{0},{OB}_{j+8}\right)\\ 0\end{array}\right.\begin{array}{c}{\rm{if}}d\left({T}_{0},{OB}_{j}\right)\times d\left({T}_{0},{OB}_{j+8}\right)\geqslant 0\\ {\rm{else}}\end{array} $$ (4) 式中:
$ {ID}_{i} $ 代表目标与背景在内邻域的第$ i $ 个方向上的差异($ i $ =1, 2, 3, 4);$ {OD}_{j} $ 代表目标与背景在外邻域的第$ j $ 个方向的差异($ j $ =1, 3, 5, 7)。结合图2(c),当内、外两个邻域对称方向的差异同号时,中心区域就会得到增强;同时,局部区域显著性计算目的在于凸显目标中心区域与周围全部邻域间的差异,因此采用目标与内、外邻域的最小差异$ {\mathrm{m}\mathrm{i}\mathrm{n}ID}_{i} $ 、$ {\mathrm{m}\mathrm{i}\mathrm{n}OD}_{j} $ 作为有效的差异度量方法,结合内外邻域差异,DDAM表示为:$$ DDAM = {\mathrm{m}\mathrm{i}\mathrm{n}ID}_{i}\times {\mathrm{m}\mathrm{i}\mathrm{n}OD}_{j} $$ (5) 对文中提出的DDAM的数学模型进行详细分析,假设目标比背景亮,从而有:
$$ \begin{split} \\ DDAM=&{\mathrm{m}\mathrm{i}\mathrm{n}ID}_{i}\times {\mathrm{min}\mathit{OD}}_{j}=\underset {i=\mathrm{1,2},\mathrm{3,4}} {\mathrm{min}}\\ &\left[d\left({T}_{0},{IB}_{i}\right)\times d \left({T}_{0},{IB}_{i+4}\right)\right]\times \underset{j=\mathrm{1,3},\mathrm{5,7}}{\mathrm{min}}\left[d\left({T}_{0},{OB}_{j}\right)\times \right.\\ &\left. d \left({T}_{0},{OB}_{j+8}\right)\right]\geqslant d{\left({T}_{0},{\tilde{IB}}_{i}\right)}^{2}\times d{\left({T}_{0},{\tilde{OB}}_{j}\right)}^{2}=\\ &{\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)}^{2}\times {({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}})}^{2} \end{split} $$ (6) 式中:
$ {m}_{{\tilde{IB}}_{i}} $ 为最大均值的内邻域;$ {m}_{{\tilde{OB}}_{j}} $ 为最大均值的外邻域。为了简化公式(6),令:$$ f\left({T}_{0}\right)={\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)}^{2}\times {\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)}^{2} $$ (7) 则有:
$$ \begin{split} {f}{'}\left({T}_{0}\right)=&2{\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)}^{2}+2{\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)}\\ &{\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)}^{2}=2\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)\\ &\left(2{m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}-{m}_{{\tilde{OB}}_{j}}\right) \end{split} $$ (8) 式中:
$ {f}{'}\left(T\right) $ 表示该算法对“扩展效应”的抑制能力,该值越大算法的抑制能力越强。通常红外图像中的弱小目标具有局部显著的灰度信息,即公式(7)中$ {m}_{{T}_{0}} $ 值明显高于$ {m}_{{\tilde{IB}}_{i}} $ 、$ {m}_{{\tilde{OB}}_{j}} $ 。但是,真实的红外图像中通常存在高亮背景、随机高亮噪声和强背景边缘干扰[12]。对于高亮背景和随机高亮噪声区域,$ {m}_{{T}_{0}} $ 与$ {m}_{{\tilde{IB}}_{i}} $ 、$ {m}_{{\tilde{OB}}_{j}} $ 差几乎无差异,$ f\left(T\right) $ 、$ {f}{{'}}\left(T\right) $ 极小,DDAM计算结果接近于零,因此高亮背景和随机高亮噪声被有效抑制;对于强背景边缘干扰,因其不具备局部区域差异的旋转对称性,利用公式(3)与(4)能够计算出沿强边缘法线方向的$ {ID}_{i} $ 与$ {OD}_{j} $ 为零,即强背景边缘被有效抑制;当目标受周围高亮背景与随机高亮噪声干扰时,即使$ {m}_{{\tilde{IB}}_{i}} $ 、$ {m}_{{\tilde{OB}}_{j}} $ 与目标$ {m}_{{T}_{0}} $ 差异缩小,将其代入公式(7)后,$ f\left(T\right) $ 与$ {f}{{'}}\left(T\right) $ 值仍明显高于背景区域,其意味着文中算法在强干扰条件能将目标有效检出。进一步,对于子窗大小n的选择如图3所示,由于DDAM采用的双邻域模型结构,对于不同尺度目标而言,其有效检测区域为图中白色部分。如图3(a)所示,使用内邻域子窗用于小尺寸目标检测;如图3(b)所示,使用内外双邻域子窗用于大尺寸目标检测;考虑到红外弱小目标检测任务尺度为2×2~9×9 pixel[18],因此该算法子窗大小设置为3×3。
图 3 (a) 小尺寸目标检测; (b) 大尺寸目标检测
Figure 3. (a) Small size target detection; (b) Large size target detection
为验证DDAM的多尺度目标检测能力,图4所示了该算法分别对3×3、5×5、7×7、9×9 pixel的亮、暗目标的检测结果。结果表明,文中算法能够实现对多尺度亮、暗目标的有效检测。
-
在经过DDAM计算后得到的显著图中,弱小目标被有效增强,因此采用自适应阈值分割算法提取目标,得到最终的检测结果。分割阈值
$ \tau $ 表达式为:$$ \tau =\mu +K\sigma $$ (9) 式中:
$ \;\mu $ 为显著图的均值;$ \sigma $ 为显著图的标准差;K为自适应分割系数,一般取30~60。图5为弱小目标检测的总体流程。 -
为对所提算法进行全面评估,利用12组复杂场景的红外图像序列对文中算法与8种典型的目标检测算法进行比较,即Top-hat、LCM、MPCM、RLCM、TTLCM[19]、ADMD[20]、DNGM和DLCM。其中Top-hat是典型的非线性滤波算法,LCM为早期HVS算法,MPCM、RLCM和TTLCM是近期提出的HVS算法,ADMD为融入梯度的HVS算法,DNGM和DLCM是近年来提出的与文中类型相同的双邻域算法。为了客观评价不同算法的性能,文中采用被广泛应用的平均信杂比率增益(Average Signalto Clutter Ratio Gain,
$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ )、平均背景抑制因子(Average Background Suppression Factor,$\overline{\mathrm{B}\mathrm{S}\mathrm{F}}$ )、受试者工作特征曲线(Receiver Operating Characteristic Curve, ROC)和实时性四个指标对所有算法进行评价。然而$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 和$\overline{\mathrm{B}\mathrm{S}\mathrm{F}}$ 难以直观表征图像序列中目标与虚警位置分布和背景抑制效果,因此文中提出一种基于TTSM的序列图像定性评价方法,并给出了不同算法在3组场景下的TTSM。文中所有仿真实验均在MATLAB 2018 b软件、2.8 GHz Inter Core i5 处理器16 GB内存的电脑上完成。 -
为详细验证DDAM的检测效果,文中给出了典型的地海空3组真实场景下不同检测算法的结果,测试数据参数如表1所示。
表 1 3组测试数据参数
Table 1. Three groups of test data parameters
Sequences Image resolution Image number Target size Target brightness Scenes description 1 400×560 50 2×3-4×6 Dark and bright Complex background interference 2 420×560 90 3×4-6×9 Bright Strong noise interference 3 512×640 115 6×9-9×9 Bright Strong edge interference 图6给出了3种真实场景的8种对比算法和文中算法的实验结果。其中,序列1是以天空为背景,目标由暗变亮的红外图像序列,如图6(a)所示。当目标为暗点时,只有MPCM和文中算法能够有效检测出目标;但通过对比文中算法与MPCM的显著图可知,文中算法的背景抑制效果更佳。序列2是以海面为背景的亮目标图像序列,如图6(b)所示。Top-hat、LCM、RLCM、TTLCM和ADMD算法受海面波纹影响,其所得结果中仍然包含较多背景噪声,且目标区域存在明显的“扩展效应”;相比之下,文中算法结果中的目标灰度分布更加集中,“扩展效应”微弱。序列3是城市地面背景下的亮目标图像序列,如图6(c)所示。由于城市中的灯光与目标的空间分布相似,同时建筑、栏杆等背景存在强边缘区域,导致基于Top-hat、LCM、RLCM、TTLCM和ADMD算法获取的显著图均存在大量的背景噪声;相比之下,文中算法、DNGM和DLCM算法的背景抑制和目标增强效果明显,有利于降低虚警。
-
为定量评价该算法性能,表2详细给出了9种算法在上述3组真实图像序列上的
$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 、$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 和实时性指标。其中,NInf为红外图像序列中Inf出现的次数,Inf表示评价指标数值为无穷大,即背景被完全抑制。为尽可能客观的描述算法在3组实验序列上的$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 、$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 性能,文中将测试图像序列中Inf出现的次数加以记录,并在计算$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 、$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 值时去掉了Inf。从表2可以看出,在3组图像序列中,基于双邻域算法(DNGA、DLCM和DDAM)的$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 、$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 值与Inf出现的次数明显优于其他传统算法,同时在双邻域算法中,文中算法的目标增强和背景抑制性能更加优异;在算法运行速度方面,文中算法仅次于Top-hat与ADMD算法,但文中算法的$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 、$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 显著优于Top-hat与ADMD算法。相比同类先进算法DNGM和DLCM,处理640×512大小的红外图像时,文中算法运行速度平均每帧缩短约45 ms。总体来看,文中算法性能优于其他对比算法。表 2 9种算法在3组场景下的
$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 、$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 和实时性Table 2.
$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ ,$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ and real time performance of nine algorithms in three groups of scenariosEvaluation indicators Sequences Top-hat LCM MPCM RLCM TTLCM ADMD DNGM DLCM DDAM $ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 1 10.564 NaN 45.296 NaN NaN 83.915 305.688 NInf=1 369.42 NInf=5 342.158 NInf=6 2 5.352 2.225 8.016 2.453 7.915 8.991 159.462 NInf=38 169.824 NInf=40 286.574NInf=38 3 1.939 0.530 11.758 0.908 13.278 14.809 138.146 NInf=26 63.864 NInf=35 62.391 NInf=37 $ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 1 1.206 0.767 NInf=3 4.427 0.721 NInf=1 4.394 NInf=4 13.601 46.914 NInf=1 55.782 NInf=5 54.69 NInf=6 2 1.390 0.358 3.232 0.437 2.250 4.806 73.152 NInf=38 80.489 NInf=40 135.201NInf=38 3 1.384 0.445 6.244 4.055 6.154 10.188 107.484 NInf=26 73.264 NInf=35 83.793 NInf=37 Time/s 1 0.019 0.121 0.135 6.328 4.101 0.034 0.162 0.152 0.120 2 0.015 0.114 0.130 5.613 3.571 0.031 0.158 0.148 0.113 3 0.015 0.163 0.192 7.620 4.799 0.036 0.227 0.215 0.170 在上述
$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 和$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 的计算方法中,当图像序列中出现多次Inf时,仅依靠$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 和$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 已无法准确评价算法对序列图像背景抑制能力的优劣。为解决该问题,文中提出一种基于TTSM的序列图像评价方法,定义为:$$ \begin{array}{cc}{I}_{TTSM}\left(x,y\right)=\underset{i}{\mathrm{max}}\left[I({x}_{i},{y}_{i})\right]& i=\mathrm{1,2},\cdots ,N\end{array} $$ (10) 式中:
$ I({x}_{i},{y}_{i}) $ 表示第$ i $ 帧显著图上$ (x,y) $ 点的灰度值;$ N $ 代表序列中显著图的总帧数。如图7所示,TTSM即为显著图序列在坐标$ (x,y) $ 处沿图像序列维度上的最大灰度值映射,映射结果能够直观体现整个序列中目标与虚警的位置分布以及目标增强和背景抑制效果。算法TTSM中的亮点区域越接近目标实际轨迹,算法对整体图像的目标增强和背景抑制效果就越好。图8展示了9种算法在3组图像序列上的TTSM。其中,图(a1)、(b1)、(c1)是目标的实际运动轨迹。
由图8可发现,在3组红外图像序列中,文中算法的TTSM最清晰,在目标轨迹以外的图像区域中几乎不存在背景和干扰。其得益于文中算法在双邻域模型中引入了两次零值比较机制,这意味着在计算内、外邻域与中心区域差异的过程中,DDAM对背景进行了两次零值抑制,进而有效减少红外弱小目标检测虚警。为客观评估文中算法的小目标检测性能,9种算法对上述3组场景的ROC曲线如图9所示。文中将目标检测框中心与真值框中心的距离偏差小于两个像素作为目标正确检出标准。ROC曲线坐标TPR、FPR分别定义为:
$$ \mathrm{T}\mathrm{P}\mathrm{R}=\frac{\mathrm{检}\mathrm{测}\mathrm{的}\mathrm{真}\mathrm{实}\mathrm{目}\mathrm{标}\mathrm{数}}{\mathrm{实}\mathrm{际}\mathrm{的}\mathrm{目}\mathrm{标}\mathrm{总}\mathrm{数}} $$ (11) $$ \mathrm{F}\mathrm{P}\mathrm{R}=\frac{\mathrm{检}\mathrm{测}\mathrm{的}\mathrm{错}\mathrm{误}\mathrm{目}\mathrm{标}\mathrm{数}}{\mathrm{整}\mathrm{幅}\mathrm{图}\mathrm{像}\mathrm{中}\mathrm{像}\mathrm{素}\mathrm{总}\mathrm{数}} $$ (12) ROC曲线反映了在不同分割阈值下算法的正确检测概率(True Positive Rate,TPR)与误检率(False Positive Rate,FPR)的对应关系,曲线与横坐标围成的面积越大,算法性能越好。
由图9(a)可以清楚看到,对于包含空中由暗转亮变化的目标图像序列,文中提出的DDAM与MPCM在相同误检率的情况下检测概率显著高于其他对比算法,且DDAM相比MPCM检测概率更高。从图9(b)~(c)中看出,对于只包含亮目标的图像序列,DDAM仍优于其他对比算法。同时,为进一步量化9种不同算法的目标检测性能,表3给出了不同算法在3组典型场景中的目标检测精度。其中Pd−4、Pd−3、Pd−2表示在误检率分别为10−4、10−3、10−2时目标正确检测概率的数值,该数值越大说明在当前误检率下,算法的精度越高。
表 3 9种算法在3组典型场景中的检测精度
Table 3. Detection accuracy of nine algorithms in three groups of stypical cenarios
Sequences TPR Top-hat LCM MPCM RLCM TTLCM ADMD DNGM DLCM DDAM 1 Pd-4 0.720 NaN 0.920 NaN NaN 0.720 0.740 0.740 0.960 Pd-3 0.760 NaN 0.960 NaN NaN 0.740 0.780 0.780 0.960 Pd-2 0.820 0.480 0.960 0.780 0.760 0.780 0.780 0.780 0.980 2 Pd-4 0.900 NaN 0.811 NaN 0.844 0.728 0.944 0.967 0.900 Pd-3 0.956 0.678 0.844 0.811 0.922 0.822 0.967 0.967 0.989 Pd-2 0.978 0.864 0.966 0.956 0.989 0.978 0.978 0.973 0.991 3 Pd-4 0.238 0.103 0.276 NaN 0.353 0.036 0.413 0.201 0.370 Pd-3 0.370 0.181 0.785 0.388 0.974 0.931 0.982 0.982 0.982 Pd-2 0.982 0.371 0.982 0.474 0.982 0.982 0.982 0.982 0.982 从表3中可以看出,文中算法的检测精度整体优于其他对比算法;例如,在包含由亮到暗的目标图像序列1中,文中算法在3种误检率下的正确检测概率均为最优。在只包含亮目标的图像序列2和3中,文中算法的平均检测精度高于MPCM约11%。
为进一步验证文中算法的普适性,采用9组复杂场景下的图像序列进行实验,其覆盖了强光、强背景边缘、低照度等条件下的亮目标、暗目标、单目标以及多目标场景。图10为文中算法的自适应分割阈值K设置为60时的检测结果,表4给出了12组场景下不同算法的平均性能。由表4可以看出,该算法在12个测试图像序列种的
$\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 相比于双邻域系列算法高出12%,$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 值高出10%,同时算法的实时性优于MPCM算法18 ms,优于双邻域系列算法34~45 ms,在3种不同程度的误检条件下,该算法对12组场景中的平均目标检测正确率均达到最优。综上,该算法可有效处理不同复杂背景的目标检测任务。图 10 9组连续帧复杂场景下DDAM的检测结果
Figure 10. Detection results of DDAM in nine consecutive frames of complex scenes
表 4 12组场景下算法平均性能比较
Table 4. Average performance comparison of several target detection algorithms on twelve scences
Algorithms Top-hat LCM MPCM RLCM TTLCM ADMD DNGM DLCM DDAM $ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 6.251 6.106 20.976 2.473 9.112 37.572 205.098 205.036 230.499 $ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 1.471 0.527 4.977 2.738 4.279 10.138 76.398 69.895 93.388 Time/s 0.016 0.135 0.157 6.523 4.218 0.038 0.184 0.173 0.139 TPR Pd-4 0.609 0.467 0.673 0.499 0.572 0.523 0.703 0.629 0.747 TPR Pd-3 0.667 0.512 0.863 0.653 0.892 0.828 0.905 0.909 0.933 TPR Pd-2 0.910 0.646 0.925 0.749 0.923 0.913 0.926 0.912 0.949
High-dynamic infrared small target detection based on double-neighborhood difference amplification method(Invited)
-
摘要: 针对现有红外弱小目标检测方法背景抑制不充分、计算复杂度高,导致红外侦察预警系统虚警率高、响应速度慢的问题,提出一种基于双邻域差值放大的高动态红外弱小目标检测方法。首先,分析真实红外图像中目标与邻域的均值特性;然后,计算出目标区域与内外双层邻域的差异,从而提升亮、暗弱小目标的局部对比度并抑制复杂背景和噪声;最后,利用自适应阈值分割算法获取目标的位置。针对信杂比增益和背景抑制因子难以客观评价红外图像序列的目标增强和背景抑制性能的问题,提出一种目标轨迹显著图评价方法,有效评价红外图像序列目标检测性能。实验结果表明:与同类检测方法相比,该方法的信杂比增益与背景抑制因子分别提高了12%与10%,运行时间约缩短了34 ms,是一种有效可行的高动态红外弱小目标检测方法。Abstract: Aiming at the problems of insufficient background suppression and high computational complexity of existing infrared small target detection methods, which lead to high false alarm rate and slow response speed of infrared reconnaissance and early warning system, a high-dynamic infrared small targets detection method based on double-neighborhood difference amplification was proposed. Firstly, the mean value characteristics of target and neighborhood in real infrared images was analyzed. Then, the difference between the target area and the inner and outer bilayer neighborhood was calculated, so as to improve the local contrast of bright and weak small targets and suppress complex background and noise. Finally, an adaptive threshold segmentation algorithm was used to obtain the target location. Aiming at the problem that signal-to-clutter ratio gain and background suppression factor were difficult to objectively evaluate the performance of target enhancement and background suppression of infrared image sequences, a target trajectory saliency graph evaluation method was proposed to evaluate the target detection performance of infrared image sequences effectively. Experimental results showed that compared with similar detection methods, the signal-to-clutter ratio gain and background suppression factor of this method were increased by 12% and 10%, respectively, and the running time was shortened by about 34 ms. Therefore, this method is an effective and feasible method for high dynamic infrared small targets detection.
-
图 2 (a) 滑动窗口的工作模式及其多层区域的划分;(b) 滑动窗口内的多个子窗;(c) 文中算法四个方向的插值相乘示意图
Figure 2. (a) Working mode of sliding window and the division of multi-layer area; (b) A number of subwindows within a sliding window; (c) Schematic diagram of interpolation multiplication in four directions of the algorithm in this paper
表 1 3组测试数据参数
Table 1. Three groups of test data parameters
Sequences Image resolution Image number Target size Target brightness Scenes description 1 400×560 50 2×3-4×6 Dark and bright Complex background interference 2 420×560 90 3×4-6×9 Bright Strong noise interference 3 512×640 115 6×9-9×9 Bright Strong edge interference 表 2 9种算法在3组场景下的
$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 、$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 和实时性Table 2.
$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ ,$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ and real time performance of nine algorithms in three groups of scenariosEvaluation indicators Sequences Top-hat LCM MPCM RLCM TTLCM ADMD DNGM DLCM DDAM $ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 1 10.564 NaN 45.296 NaN NaN 83.915 305.688 NInf=1 369.42 NInf=5 342.158 NInf=6 2 5.352 2.225 8.016 2.453 7.915 8.991 159.462 NInf=38 169.824 NInf=40 286.574NInf=38 3 1.939 0.530 11.758 0.908 13.278 14.809 138.146 NInf=26 63.864 NInf=35 62.391 NInf=37 $ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 1 1.206 0.767 NInf=3 4.427 0.721 NInf=1 4.394 NInf=4 13.601 46.914 NInf=1 55.782 NInf=5 54.69 NInf=6 2 1.390 0.358 3.232 0.437 2.250 4.806 73.152 NInf=38 80.489 NInf=40 135.201NInf=38 3 1.384 0.445 6.244 4.055 6.154 10.188 107.484 NInf=26 73.264 NInf=35 83.793 NInf=37 Time/s 1 0.019 0.121 0.135 6.328 4.101 0.034 0.162 0.152 0.120 2 0.015 0.114 0.130 5.613 3.571 0.031 0.158 0.148 0.113 3 0.015 0.163 0.192 7.620 4.799 0.036 0.227 0.215 0.170 表 3 9种算法在3组典型场景中的检测精度
Table 3. Detection accuracy of nine algorithms in three groups of stypical cenarios
Sequences TPR Top-hat LCM MPCM RLCM TTLCM ADMD DNGM DLCM DDAM 1 Pd-4 0.720 NaN 0.920 NaN NaN 0.720 0.740 0.740 0.960 Pd-3 0.760 NaN 0.960 NaN NaN 0.740 0.780 0.780 0.960 Pd-2 0.820 0.480 0.960 0.780 0.760 0.780 0.780 0.780 0.980 2 Pd-4 0.900 NaN 0.811 NaN 0.844 0.728 0.944 0.967 0.900 Pd-3 0.956 0.678 0.844 0.811 0.922 0.822 0.967 0.967 0.989 Pd-2 0.978 0.864 0.966 0.956 0.989 0.978 0.978 0.973 0.991 3 Pd-4 0.238 0.103 0.276 NaN 0.353 0.036 0.413 0.201 0.370 Pd-3 0.370 0.181 0.785 0.388 0.974 0.931 0.982 0.982 0.982 Pd-2 0.982 0.371 0.982 0.474 0.982 0.982 0.982 0.982 0.982 表 4 12组场景下算法平均性能比较
Table 4. Average performance comparison of several target detection algorithms on twelve scences
Algorithms Top-hat LCM MPCM RLCM TTLCM ADMD DNGM DLCM DDAM $ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ 6.251 6.106 20.976 2.473 9.112 37.572 205.098 205.036 230.499 $ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ 1.471 0.527 4.977 2.738 4.279 10.138 76.398 69.895 93.388 Time/s 0.016 0.135 0.157 6.523 4.218 0.038 0.184 0.173 0.139 TPR Pd-4 0.609 0.467 0.673 0.499 0.572 0.523 0.703 0.629 0.747 TPR Pd-3 0.667 0.512 0.863 0.653 0.892 0.828 0.905 0.909 0.933 TPR Pd-2 0.910 0.646 0.925 0.749 0.923 0.913 0.926 0.912 0.949 -
[1] Han J H, Jiang Y W, Zhang X J, et al. Infrared small target detection using tri-layer window local contrast [J]. Infrared and Laser Engineering, 2021, 50(2): 20200146. (in Chinese) doi: 10.3788/IRLA20200146 [2] Xia C Q, Li X R, Yin Y P, et al. Multiple infrared small targets detection based on hierarchical maximal entropy random walk [J]. IEEE Geoscience and Remote Sensing Letters, 2020: arXiv:2010.00923v1. [3] Li J H, Zhang P, Wang X W, et al. Overview of infrared dim and small target detection algorithms [J]. Journal of Image and Graphics, 2020, 25(9): 1739-1753. [4] Zeng M, Li J X, Zang P. The design of top-hat morphological filter and application to infrared target detection [J]. Infrared Physics & Technology, 2006, 48(1): 67-76. [5] Deshpande S D, Er M H, Venkateswarlu R, et al. Max-mean and max-median filters for detection of small targets[C]//Signal and Data Processing of Small Targets 1999. International Society for Optics and Photonics, 1999, 3809: 74-83. [6] Wang Y, Zheng Q B, Zhang J P, et al. Small target detection in infrared image based on mathematical morphology [J]. Infrared and Laser Engineering, 2003, 32(1): 28-31. (in Chinese) [7] Gao C Q, Meng D Y, Yang Y, et al. Infrared patch-image model for small target detection in a single image [J]. IEEE Transactions on Image Processing, 2013, 22(12): 4996-5009. doi: 10.1109/TIP.2013.2281420 [8] Yang S, Yang J G, Miao Li, et al. Infrared small target detection via spatial–temporal infrared patch-tensor model and weighted Schatten p-norm minimization [J]. Infrared Physics & Technology, 2019, 102: 103050. [9] Liu Y, Peng Z M. Infrared small target detection based on resampling-guided image model [J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5. [10] Dai Y M, Wu Y, Zhou F, et al. Asymmetric contextual modulation for infrared small target detection[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2021: 950-959. [11] Wang K, Du S, Liu C, et al. Interior attention-aware network for infrared small target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13. [12] Philip Chen C L, Li H, Wei Y T, et al. A local contrast method for small infrared target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(1): 574-581. [13] Han J H, Ma Y, Zhou B, et al. A robust infrared small target detection algorithm based on human visual system [J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172. doi: 10.1109/LGRS.2014.2323236 [14] Han J H, Liang K, Zhou B, et al. Infrared small target detection utilizing the multiscale relative local contrast measure [J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616. doi: 10.1109/LGRS.2018.2790909 [15] Wei Y T, You X G, Hong Li. Multiscale patch-based contrast measure for small infrared target detection [J]. Pattern Recognition, 2016, 58: 216-226. doi: 10.1016/j.patcog.2016.04.002 [16] Wu L, Ma Y, Fan F, et al. A double-neighborhood gradient method for infrared small target detection [J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(8): 1476-1480. [17] Pan S D, Zang S, Zhao Mi, et al. Infrared small target detection based on double-layer local contrast measure [J]. Acta Photonica Sinica, 2020, 49(1): 0110003. (in Chinese) doi: 10.3788/gzxb20204901.0110003 [18] Jiang G Q, Wan L J. Detection of dim and small infrared targets based on the most appropriate contrast saliency analysis [J]. Infrared and Laser Engineering, 2021, 50(4): 20200377. (in Chinese) doi: 10.3788/IRLA20200377 [19] Han J H, Moradi S, Faramarzi I, et al. A local contrast method for infrared small-target detection utilizing a tri-layer window [J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(10): 1822-1826. [20] Moradi S, Moallem P, Sabahi M F. Fast and robust small infrared target detection using absolute directional mean difference algorithm [J]. Signal Processing, 2020, 177: 107727. doi: 10.1016/j.sigpro.2020.107727