红外成像技术由于具有精度高、灵敏度高、可在白天和夜间同时工作等显著特点被广泛应用在各种系统^[1]中，其中海面船只检测^[2-3]即是其中的一个重要应用领域。海面船只检测是海面监测系统的重要技术，是实现目标监测的基础。但是，红外成像是一种被动式的探测技术，如果改变红外探测器接收到的红外辐射强度，就可能干扰红外成像结果，从而使基于红外成像的目标检测系统失效。烟幕干扰是一种有效的红外干扰手段。船只可以在自身周围释放烟幕，形成大范围烟幕墙遮蔽自身，使得红外系统无法得到船只的图像，从而大大降低系统的目标识别能力。因此，检测出视场中是否存在烟幕干扰并采取相应的目标检测策略，对于提高红外目标检测系统的抗干扰能力十分重要^[4]。

船只释放的烟幕形状变化多样，且辐射强度随时间的变化而变化，自身运动规律也极其复杂，这些都给烟幕检测带来了巨大的挑战。现阶段针对烟幕检测的主要研究对象为火灾烟雾图像。火灾烟雾图像与船只释放的烟幕在某些方面有相似性，诸如飘动性以及不规则形状特征等，因此有一定的借鉴意义。针对火灾产生的烟雾，目前传统的检测方法主要是利用烟雾的颜色、纹理、运动信息以及不规则性等特征来进行检测^[5]。有学者^[6]经过统计各类烟雾的可见光图像发现，烟雾的灰度主要集中在80~220之间，后续学者^[7]通过转化色彩空间寻找烟雾的色彩特性，并提出了专门用于描述烟雾的色彩模型。然而，红外烟幕图像只存在亮度信息，因此，基于颜色空间转换的方法并不适用。由于烟雾是运动的，而背景相对于烟雾运动量很小，有学者提出了一系列利用烟雾运动信息来检测烟雾的算法^[8-9]。但这种方法存在一个缺陷：如果在烟雾内部是均匀的情况下，烟雾内部像素灰度值的变化很小，难以提取运动信息，因此，可能造成烟雾运动区域提取的不完整。最近随着深度学习技术的发展，基于深度学习的烟雾检测取得了很好的检测效果^[10]。但是，基于深度学习的方法均需要大量数据进行训练，不适合小样本的烟幕检测，而船只释放的烟幕干扰图像通常难以获取，正属于小样本问题。

针对上述方法的局限性，文中提出了一种基于显著性和稠密光流的烟幕检测方法。由于烟幕的红外辐射是强于海面背景的，对于海面背景来说烟幕区域是一个显著的区域，可以通过显著性检测算法来检测。但是，海面还可能同时存在其他的显著性目标，因此还需要利用烟幕的运动特征来进行进一步判别以得到真实的烟幕区域，采用稠密光流算法可以有效检测到烟幕的运动区域。最后，联合显著性区域与运动区域的检测结果，得到最终的烟幕区域。通过测试烟幕仿真图像以及实际船只烟幕弹图像可得文中算法能有效检测到烟幕区域，并且能够很好地适应烟幕反射光以及背景亮度的变化。

在传统的图像处理中，显著性区域一般是指目标中心与周边对比度存在很大差异的区域，即显著性目标与周围背景在颜色、灰度、梯度、纹理等特征上是不同的，文中的显著性区域主要是指与海面背景不同的区域。由于烟幕是人为释放的，与自然背景存在很大的不同，因此可以采用显著性检测算法来检测烟幕区域。目前比较经典的显著性算法都是利用图像在颜色、梯度上的差异来检测的，针对可见光图像有很好的效果。但是红外图像缺少颜色信息而只有亮度差异，因此很多经典算法在红外图像上的效果都并不理想。针对此问题，笔者采用AC^[11]算法，使用灰度特征来代替原先的Lab颜色特征，也可以有效检测到红外图像中的显著性烟幕区域。

AC算法的显著性计算步骤为：在给定N×N范围内，取中间m×m范围的区域作为内部区域，其余为外部区域；然后在Lab空间中统计内外区域在各通道上的平均值，对各通道平均值取平方和得到该邻域的显著性值；接着在全图上使用滑动窗口得到该尺度下显著性图；考虑到需要适应各种尺度的显著性目标，采用多尺度的邻域来得到多个显著性图，最终加权各尺度上的显著性图得到最终的显著性图。文中由于无法转换到Lab空间，所以直接以单通道计算。内部区域尺寸取1×1像素，每个尺度下邻域的显著性值${{C}}_{{{(i,j)}}}^{{s}}$定义为邻域的平均灰度值与邻域中心像素的灰度值的差的平方：

式中：${N_1}$为给定邻域内的像素总数；$f(i,j)$为图像在$(i,j)$处的像素值；$f(ci,cj)$为邻域中心坐标像素值。

考虑到烟幕存在一个由小到大的扩散过程，即在烟幕区域大的情况下，邻域的尺度需要设计得比较大，因此文中主要使用了三种尺度的邻域尺寸：

式中：width、height为图像的宽度和高度。

三种尺度下${{C}}_{{{(i,j)}}}^{{s}}$的融合采用加权平均的方式得到最终的显著性图${{{C}}_{{{(i,j)}}}}$：

基于显著性检测算法可以得到疑似烟幕区域，但是由于海面上还存在其他显著性目标，显著性区域检测到的并非全是烟幕区域。另外，烟幕区域内部也存在差异，即部分烟幕区域可能不是很显著，这会导致显著性方法只能提取到烟幕区域的一部分，因此还需要利用烟幕的其他特征来加以完善。由于烟幕是会扩散的，烟幕本身的运动特征是明显的，可以利用烟幕的运动信息来进一步确定烟幕区域。光流法是提取运动目标的有效算法，因此文中采用光流法来得到图像的运动区域。

光流表征的是图像像素在运动时的瞬时速度矢量，光流法主要是利用图像序列中像素之间的相关性来找到前后帧跟当前帧之间存在的对应关系、计算出相邻帧之间像素的运动信息的方法。光流法的建立存在两个假设：（1）运动目标在微小时间内灰度保持一致；（2）给定邻域内像素速度矢量场的变化是缓慢的。

由此得到的光流约束方程如下：

式中：$I(x,y)$为像素点$(x,y)$的灰度值；${I}_{x}=\dfrac{\partial I}{\partial x}$；${I_y} = \dfrac{{\partial I}}{{\partial y}}$；${I_t} = \dfrac{{\partial I}}{{\partial t}}$分别为$I(x,y)$对$x,y,t$的偏导；$u = \dfrac{{\partial x}}{{\partial t}}$，$v = \dfrac{{\partial y}}{{\partial t}}$分别为像素点$(x,y)$在$x,y$方向上的运动分量。

目前，主要存在两种主流的光流算法：LK稀疏光流^[12]以及Farneback稠密光流^[13]。LK稀疏光流主要是通过选取特征点，计算特征点的光流来估计运动目标的光流；Farneback稠密光流则是通过前后两帧图像信息来计算整幅图像每个像素点的光流信息。由于烟幕没有固定的形状、边缘也不是很明显，只是在整体上才呈现显著性的特征，所以无法提取固定的特征点，使用LK稀疏光流效果不好，故文中选取Farneback稠密光流计算烟幕区域的光流信息。但是Farneback稠密光流需要计算整幅图像的光流信息，计算量很大，无法满足实际要求，因此文中通过对图像进行降采样操作来减少计算量。但是降采样次数亦不能过大，否则图像运动信息会严重丢失，经测试，文中采用一次降采样操作。

理论上采用稠密光流计算运动区域的光流场，整个运动目标区域都具有显著的运动分量，因此通过设置合理阈值就可以将明显运动的区域给分割出来。但是烟幕由于其自身特性，内部区域灰度可能分布比较均匀，前后两帧之间的差异很小，这部分的运动分量会很小，最终导致烟幕区域会被分裂成许多小块，因此一个合理的合并策略是十分有必要的。文中采取的合并策略为：首先计算图像的光流信息，然后通过设置阈值来确定显著运动点。其中，显著运动点为像素点$(x,y)$的x与y运动分量均大于阈值的点：

式中：u、v为像素点$(x,y)$的x与y的运动分量；thre为设置的阈值，文中设置的阈值为1.5；然后以运动点为中心，将一定邻域范围的点都扩充成运动区域，再将分裂的运动区域合并到一起；最后经过区域生长得到合并后的运动区域。经过测试，邻域范围取7×7大小可以有效合并分裂的区域。

笔者定义满足如下条件的区域为烟幕区域：首先区域需要满足显著性，然后该区域具有明显的运动特征，文中选取两区域的并集作为烟幕区域。如此定义的原因在于：烟幕中有一部分区域随时间而消散导致其与背景差异很小、显著性无法被检测到，但是在前后帧中该区域的像素值仍在变化，可以被稠密光流检测到；同时针对区域灰度分布一致的区域，其前后帧之间像素变化很小，因此运动矢量趋于0，稠密光流检测不到，但是这部分区域还是显著的且可以被显著性检测到。所以最终采用显著性区域与运动区域的并集作为最终的烟幕区域。

在使用稠密光流计算图像光流信息的过程中，如果某一区域内灰度值饱和，即其像素灰度值均值大于230，那么这个区域的像素值的变化将很小且运动矢量趋于0，因此采用稠密光流法将只能得到这部分烟幕区域边缘部分的运动信息，并且无法通过区域合并来解决，通过燃烧产生的烟幕通常就可能存在这种情况。但是由于这种烟幕是高亮的、显著性特征明显，基于显著性检测到的、满足平均灰度阈值以及面积阈值的区域则可以直接判定为烟幕区域。

综上，文中烟幕区域的判断条件如下：

式中：${R_{sal}}$表示采用显著性检测到的区域；$\overline {{R_{sal}}} $表示显著性区域的像素均值；${R_{Farn}}$表示采用稠密光流检测到的运动区域；${R_{smoke}}$表示烟幕区域。

针对海面背景，首先需要对图像进行高斯平滑以削弱海杂波对光流计算的干扰，文中选取5×5的高斯平滑窗口。为了减少稠密光流算法的计算量而又不丢失运动点、影响算法性能，文中对图像进行一次降采样操作。然后，分别计算前后帧图像的光流信息、以及当前图像的显著性区域。针对光流计算结果，设置阈值选取显著运动点，然后扩充运动点邻域将可能分裂的运动区域合并，最终将光流得到的运动区域与显著性检测得到的显著性区域进行合并，得到烟雾区域。图1为文中提出的烟幕检测算法流程图。

图  1  烟幕检测流程图

Figure 1.  Flow chart of smoke screen detection

为验证所提出的烟幕检测算法的有效性，文中总共选取了5个序列、344张船只的红外图像进行测试，其中序列1~4有61张图像，序列5有100张图像。所有图像中，285张图像包含有烟幕。在这285张图像中，199张为烟幕仿真图像，仿真烟幕由粒子云算法形成，真实模拟了烟幕的释放、扩散以及消散过程；剩下86张图像为实际船只释放燃烧性烟雾弹形成的烟幕图像。所有烟幕图像序列均包含烟幕从释放到消散的整个过程，因此可以测试算法对各阶段烟幕检测的有效性。其余59张为非烟幕图像，其中主要包含船只目标、海天线以及海面背景等。图像大小为320×256。文中算法的硬件运行环境为Intel(R)Core(TM) i7-8700 CPU 3.2GHz、16G运行内存、Win10操作系统，运行的软件平台为VS2015。

为了定量分析算法的检测效果，文中采用检测率${P_d}$和虚警率${P_f}$作为评价指标，两者定义如下：

式中：DT表示算法检测到的真实烟幕数据；TT表示实际测试序列中烟幕的总数量；DF表示算法检测到的虚假烟幕数量；T表示算法检测到总目标的数量。使用平均执行时间Time来衡量算法的实时性，其定义为算法处理每帧图像所耗费的时间。

笔者从算法选取、图像缩小比例、检测算法流程以及算法整体性能等方面，开展了四组对比实验来验证算法的有效性和实时性：（1）显著性对比实验；（2）图像缩小对比实验；（3）不同检测流程消融实验；（4）不同检测算法对比实验。

文中利用烟幕区别于海面背景、具有显著性的特点来提取疑似烟幕区域，采用的方法是AC算法。为了证明AC算法对于红外烟幕显著性区域提取的有效性，选择另外两种经典的显著性检测算法谱残差^[14]和基于频率变换的显著区域检测(Frequency-tuned Salient Region Detection, FT)^[15]算法作为对比。其中谱残差方法通过将图像转化到频率域，计算图像的幅度谱，最后将幅度谱变换到空域获得显著性检测结果；FT算法主要是通过对图像的均值滤波结果与高斯滤波结果求差得到显著性区域。图2为不同显著性方法进行检测的对比实验结果图，其中第一行为原图，第二行为基于谱残差的显著性阈值分割图，第三行为基于FT算法的显著性阈值分割图，第四行为基于AC算法的显著性阈值分割图。从图中可以看出，基于谱残差和FT算法进行疑似烟幕检测时，都会受到红外图像中心由于辐射畸变产生的黑圈的干扰，特别是当烟幕亮度变暗后，两种算法均检测不到烟幕。而基于AC算法的显著性检测可以很好地适应图像噪声与烟幕亮度的变化，其原因主要是：AC算法采用了一个大邻域来估计背景，很适合目标区域比背景突出的情形。

图  2  显著性检测对比实验结果图

Figure 2.  Results of the saliency detection experiments

由于稠密光流要计算所有像素点的运动信息，比较耗时，为了缩短算法处理时间，比较好的策略是对图像进行降采样（缩小）。但是过度的缩小会导致图像运动区域缩减严重，影响烟幕区域的检测，因此选取合理的缩小比例对算法处理有重要意义。表1给出了图像在不同缩放比例下的检测结果。结合表1结果可以看出，图像在缩小到1/4的情况下，时间缩短至原来的1/8，但是检测率却没有太大下降；而图像缩小到1/9时，虽然时间缩短到1/20，但是检测率也下降得比较厉害。主要原因在于：图像缩小到1/9后，运动区域也缩小到原来的1/9，这对于扩散开的烟幕影响不大，但是由于初始形成的烟幕的区域本身就很小，缩小后就基本检测不到了；同时如果缩小过度，也会过分削减明显的运动点导致运动区域无法合并而使检测失效。

为了证明文中算法流程中联合显著性以及运动特征进行烟幕检测的有效性和必要性，设计了仅采用显著性、仅采用稠密光流和两者都采用的消融实验。实验结果如图3所示，其中第一行表示仅采用稠密光流方式检测到的烟幕区域，第二行表示仅采用显著性方式检测到的烟幕区域，第三行表示文中算法检测到的烟幕区域。从结果图3可以看到：仅使用显著性进行烟幕区域判断会导致烟幕区域分裂，而仅使用光流法进行运动区域判断会造成大量虚警。主要是船只尾迹部分的运动特征会比较明显，容易产生虚警，同时海面上的杂波也同样会导致虚警；但是这些区域与海面的差异并不是很大，所以在进行显著性检测的过程中并不会被检测到。因此光流方法可以检测到完整的烟幕区域，而显著性则能够滤除不显著的运动区域，两者共同作用则可检测到正确的烟幕区域。

图  3  显著性以及光流方法消融实验结果图

Figure 3.  Results of the ablation experiments of the saliency detection and the optical flow method

为了与所提出的算法进行对比，文中采用三帧差分法^[6]（TFD）、基于显著性与GMM算法^[16]（以下用GMM指代）以及基于Gabor特征与超像素分割算法^[17]（以下用SLIC指代）作为对照实验。部分图像的检测结果如图4所示，其中图4(a)列为原始图像，图4(b)列为TFD算法检测结果，图4(c)列为GMM算法检测结果，图4(d)列为SLIC算法检测结果，图4(e)列表示文中提出算法的检测结果。

图  4  不同烟幕检测算法的检测结果对比

Figure 4.  Detection results of different smoke detection algorithms

从图4中的检测结果可以看出，整体上文中算法可以更为有效地检测到高亮的烟幕区域，并且不受烟幕在海面的反射光的影响，也可以有效抵抗船只尾迹的运动干扰。四种算法对于烟幕的检测率以及虚警率如表2所示。从表2的数据可以看到，文中算法整体要优于其他三种算法。TFD算法对于图像背景的变化敏感，而烟幕在释放过程中会使周围背景整体变亮，因此帧间差分法对于此种情况很容易造成大面积误检；对于SLIC算法而言，其主要通过分形特征以及Gabor特征来判断烟雾区域，但是对于不太明显的烟幕（如图4中的第二列图像所示），其Gabor特征不明显，便无法有效检测；GMM算法同样存在这种问题，原因主要在于GMM的显著性是基于亮度的，但是对于烟幕灰度小于100的情况，亮度显著性起不到作用，因此GMM算法对于此种烟幕也无法有效检测。文中算法对于光照的变化不敏感，原因在于稠密光流是通过该点的邻域像素来估计；当背景整体变亮时，邻域内差值其实并不大，因此对于光流的影响很小，故而对处于释放过程中的烟幕也可以准确检测。针对灰度偏小的烟幕，其与周围的对比差值还是要大于海面背景，基于局部对比度的显著性可以有效增强这部分区域，弥补光流的缺失，因此文中算法也可以有效检测这种情形的烟幕。对于高亮弥散型烟雾，由于存在大量高亮点，特征很明显，因此四种算法均能有效检测。船只的移动尾迹以及烟幕在海面的反射对于TFD算法以及SLIC算法的影响很大。TFD算法对于这两部分的误检要明显多于文中算法的结果；SLIC算法由于在Gabor提取的过程中增强了这两个部分的特征，因此其虚警率指标也要明显高于文中算法。最后笔者通过对未检测到的图像进行分析，发现影响算法结果的原因主要存在于：（1）船只的移动会干扰烟幕检测，船只在运动过程中产生的尾迹具有一定的显著性及运动特征，与烟幕特征相似；（2）烟幕变稀薄后，烟幕变得不明显，并且内部只有散落的斑块，这部分需要更大的合并区间才能被算法检测到，但是这样的处理同时会引入海面杂波造成误检；（3）对于内部灰度均匀分布的烟幕区域，检测不到光流信息，则会造成漏检。

针对红外船只图像中船只释放的干扰烟幕区域的检测问题，文中利用烟幕的显著性以及运动特征，提出了基于显著性与稠密光流的烟幕检测算法。算法可以有效检测到船只释放的烟幕，对于大面积、透过率低的烟幕检测效果良好，对于稀薄烟幕也具有一定的检测能力。文中的研究对于后续的烟幕干扰下的船只检测定位工作具有重要的应用价值。文中的方法对比现有方法取得了更好的烟幕检测效果，但船只尾迹、稀薄烟幕、灰度均匀烟幕等难点仍然对高精度烟幕检测研究提出了一系列挑战。在今后的工作中，可以考虑加入烟幕的纹理特征、形状区域特征，同时联合进行船只目标的检测，提高烟幕的检测率，同时也可以将船只和烟幕的检测结果进行融合定位，以更好地确定烟幕遮挡后船只目标的位置。