-
为验证所提出的烟幕检测算法的有效性,文中总共选取了5个序列、344张船只的红外图像进行测试,其中序列1~4有61张图像,序列5有100张图像。所有图像中,285张图像包含有烟幕。在这285张图像中,199张为烟幕仿真图像,仿真烟幕由粒子云算法形成,真实模拟了烟幕的释放、扩散以及消散过程;剩下86张图像为实际船只释放燃烧性烟雾弹形成的烟幕图像。所有烟幕图像序列均包含烟幕从释放到消散的整个过程,因此可以测试算法对各阶段烟幕检测的有效性。其余59张为非烟幕图像,其中主要包含船只目标、海天线以及海面背景等。图像大小为320×256。文中算法的硬件运行环境为Intel(R)Core(TM) i7-8700 CPU 3.2GHz、16G运行内存、Win10操作系统,运行的软件平台为VS2015。
为了定量分析算法的检测效果,文中采用检测率
${P_d}$ 和虚警率${P_f}$ 作为评价指标,两者定义如下:式中:DT表示算法检测到的真实烟幕数据;TT表示实际测试序列中烟幕的总数量;DF表示算法检测到的虚假烟幕数量;T表示算法检测到总目标的数量。使用平均执行时间Time来衡量算法的实时性,其定义为算法处理每帧图像所耗费的时间。
笔者从算法选取、图像缩小比例、检测算法流程以及算法整体性能等方面,开展了四组对比实验来验证算法的有效性和实时性:(1)显著性对比实验;(2)图像缩小对比实验;(3)不同检测流程消融实验;(4)不同检测算法对比实验。
-
文中利用烟幕区别于海面背景、具有显著性的特点来提取疑似烟幕区域,采用的方法是AC算法。为了证明AC算法对于红外烟幕显著性区域提取的有效性,选择另外两种经典的显著性检测算法谱残差[14]和基于频率变换的显著区域检测(Frequency-tuned Salient Region Detection, FT)[15]算法作为对比。其中谱残差方法通过将图像转化到频率域,计算图像的幅度谱,最后将幅度谱变换到空域获得显著性检测结果;FT算法主要是通过对图像的均值滤波结果与高斯滤波结果求差得到显著性区域。图2为不同显著性方法进行检测的对比实验结果图,其中第一行为原图,第二行为基于谱残差的显著性阈值分割图,第三行为基于FT算法的显著性阈值分割图,第四行为基于AC算法的显著性阈值分割图。从图中可以看出,基于谱残差和FT算法进行疑似烟幕检测时,都会受到红外图像中心由于辐射畸变产生的黑圈的干扰,特别是当烟幕亮度变暗后,两种算法均检测不到烟幕。而基于AC算法的显著性检测可以很好地适应图像噪声与烟幕亮度的变化,其原因主要是:AC算法采用了一个大邻域来估计背景,很适合目标区域比背景突出的情形。
-
由于稠密光流要计算所有像素点的运动信息,比较耗时,为了缩短算法处理时间,比较好的策略是对图像进行降采样(缩小)。但是过度的缩小会导致图像运动区域缩减严重,影响烟幕区域的检测,因此选取合理的缩小比例对算法处理有重要意义。表1给出了图像在不同缩放比例下的检测结果。结合表1结果可以看出,图像在缩小到1/4的情况下,时间缩短至原来的1/8,但是检测率却没有太大下降;而图像缩小到1/9时,虽然时间缩短到1/20,但是检测率也下降得比较厉害。主要原因在于:图像缩小到1/9后,运动区域也缩小到原来的1/9,这对于扩散开的烟幕影响不大,但是由于初始形成的烟幕的区域本身就很小,缩小后就基本检测不到了;同时如果缩小过度,也会过分削减明显的运动点导致运动区域无法合并而使检测失效。
Scale down Time/ms Pd 1 374.3 96.15% 1/4 47.7 94.74% 1/9 16.8 83.41% Table 1. Experimental comparison of image scaling
-
为了证明文中算法流程中联合显著性以及运动特征进行烟幕检测的有效性和必要性,设计了仅采用显著性、仅采用稠密光流和两者都采用的消融实验。实验结果如图3所示,其中第一行表示仅采用稠密光流方式检测到的烟幕区域,第二行表示仅采用显著性方式检测到的烟幕区域,第三行表示文中算法检测到的烟幕区域。从结果图3可以看到:仅使用显著性进行烟幕区域判断会导致烟幕区域分裂,而仅使用光流法进行运动区域判断会造成大量虚警。主要是船只尾迹部分的运动特征会比较明显,容易产生虚警,同时海面上的杂波也同样会导致虚警;但是这些区域与海面的差异并不是很大,所以在进行显著性检测的过程中并不会被检测到。因此光流方法可以检测到完整的烟幕区域,而显著性则能够滤除不显著的运动区域,两者共同作用则可检测到正确的烟幕区域。
-
为了与所提出的算法进行对比,文中采用三帧差分法[6](TFD)、基于显著性与GMM算法[16](以下用GMM指代)以及基于Gabor特征与超像素分割算法[17](以下用SLIC指代)作为对照实验。部分图像的检测结果如图4所示,其中图4(a)列为原始图像,图4(b)列为TFD算法检测结果,图4(c)列为GMM算法检测结果,图4(d)列为SLIC算法检测结果,图4(e)列表示文中提出算法的检测结果。
从图4中的检测结果可以看出,整体上文中算法可以更为有效地检测到高亮的烟幕区域,并且不受烟幕在海面的反射光的影响,也可以有效抵抗船只尾迹的运动干扰。四种算法对于烟幕的检测率以及虚警率如表2所示。从表2的数据可以看到,文中算法整体要优于其他三种算法。TFD算法对于图像背景的变化敏感,而烟幕在释放过程中会使周围背景整体变亮,因此帧间差分法对于此种情况很容易造成大面积误检;对于SLIC算法而言,其主要通过分形特征以及Gabor特征来判断烟雾区域,但是对于不太明显的烟幕(如图4中的第二列图像所示),其Gabor特征不明显,便无法有效检测;GMM算法同样存在这种问题,原因主要在于GMM的显著性是基于亮度的,但是对于烟幕灰度小于100的情况,亮度显著性起不到作用,因此GMM算法对于此种烟幕也无法有效检测。文中算法对于光照的变化不敏感,原因在于稠密光流是通过该点的邻域像素来估计;当背景整体变亮时,邻域内差值其实并不大,因此对于光流的影响很小,故而对处于释放过程中的烟幕也可以准确检测。针对灰度偏小的烟幕,其与周围的对比差值还是要大于海面背景,基于局部对比度的显著性可以有效增强这部分区域,弥补光流的缺失,因此文中算法也可以有效检测这种情形的烟幕。对于高亮弥散型烟雾,由于存在大量高亮点,特征很明显,因此四种算法均能有效检测。船只的移动尾迹以及烟幕在海面的反射对于TFD算法以及SLIC算法的影响很大。TFD算法对于这两部分的误检要明显多于文中算法的结果;SLIC算法由于在Gabor提取的过程中增强了这两个部分的特征,因此其虚警率指标也要明显高于文中算法。最后笔者通过对未检测到的图像进行分析,发现影响算法结果的原因主要存在于:(1)船只的移动会干扰烟幕检测,船只在运动过程中产生的尾迹具有一定的显著性及运动特征,与烟幕特征相似;(2)烟幕变稀薄后,烟幕变得不明显,并且内部只有散落的斑块,这部分需要更大的合并区间才能被算法检测到,但是这样的处理同时会引入海面杂波造成误检;(3)对于内部灰度均匀分布的烟幕区域,检测不到光流信息,则会造成漏检。
Method TFD GMM SILC Proposed ${P_d}$ 85.26% 90.84% 85.96% 94.74% ${P_f}$ 18.45% 13.09% 30.79% 8.47% Table 2. Quantitative comparison of various algorithms of smoke detection
Ship smoke detection method based on saliency and dense optical flow
doi: 10.3788/IRLA20200496
- Received Date: 2020-11-17
- Rev Recd Date: 2021-02-23
- Publish Date: 2021-07-25
-
Key words:
- infrared imaging /
- smoke interference /
- smoke screens detection /
- saliency detection /
- dense optical flow
Abstract: Ship targets are important objects for marine monitoring, and infrared imaging system has been widely used in ship inspection systems due to its feature of working at the same time during the day and night. However, infrared imaging systems will be easily affected by the release of smoke screens, which result in the invalidation of ship detection systems. Therefore, timely and effective detection of the smoke interference area in the infrared ship image is of great significance for accurate ship target detection. Aiming at the problem of detecting the interference of smoke area from ships in infrared images, a smoke detection method based on the fusion of saliency and dense optical flow was proposed in the paper. Because the smoke screen released by the ship was obviously different from the background, the AC algorithm of multi-scale neighborhood filtering was firstly used to detect the saliency area of the image, and the significant smoke screen area was extracted. Then, the movement characteristics of the smoke screen were used to compare the front and back frame of the image sequences, and the frame dense optical flow was calculated to obtain the motion information of the image. By setting the threshold to filter the obvious motion points, expand the motion point area, merge the split motion areas, the motion smoke area was obtained. Finally, the saliency area and the motion area were fused, and the final smoke screen area was obtained. The experimental results show that the method can effectively detect the smoke screen area, and is able to adapt to the changes of the reflected light of smoke screens and the background brightness variations.