Infrared image adaptive inverse histogram enhancement technology

红外热成像因其独特的温差成像方式，使其能够在不受环境光的影响下稳定执行观测任务，在人类生活的许多领域中发挥着日益重要的作用^[1]。鉴于红外监测技术的诸多优势：恶劣环境下的工作能力强，隐蔽效果好，对伪装目标的识别能力强，定位准确率高等。因而，各国政府以及大量的民用机构都投入大量的物资和科研人才在红外技术上进行深入的研究。例如，在军事领域中的星载导弹预警、红外热成像制导导弹等红外热成像应用；同时，在国民经济领域中也发挥着重大作用，如红外测温、测距、生物传感遥测、光谱分析等。直方图均衡技术在红外图像显示中具有重要的地位，红外焦平面接收热辐射后经过光电转换将光信号变为电信号，再经过焦平面读出电路，以电流或电压的形式输出模拟信号，系统中的模数转换过程将原始红外图像模拟信号变为14 bit数字信号，这种信号是无法被人眼直接观察的，必须经过直方图均衡化后转变为8 bit信号供人眼观察。直方图均衡化技术究其根本是一种数字信号动态范围压缩技术，通过映射实现将高位信号向低位信号压缩的过程，这个过程中势必会带来一定程度的灰度级缺失现象导致显示图像视觉观感下降。因此，对红外图像的直方图均衡化技术的研究一直是红外热成像领域中研究的重中之重。由于传统直方图均衡化技术仅仅改变原图像中所有灰度值的分布范围，将图像的显示范围均匀地放大，与此同时带来了灰度吞噬的负面作用，均衡后的图像产生曝光不足或者曝光过足等现象。继而国内外的红外技术研究学者相继提出了各种改进的直方图均衡化技术(局部直方图均衡、平台直方图均衡、双直方图均衡等)^[2]。

在一幅图像中，不同的灰度值代表的是物体接收到不同的辐射能量，图像呈现出的灰度范围是不同的，对比度也不同。全局直方图均衡化技术仅仅只是将图像的灰度显示范围进行了均匀地扩大，因而，全局直方图均衡化方法处理原始红外图像得到的结果并不理想。为改进传统直方图的缺点，Y T Kim 提出了保持亮度均衡的双直方图均衡算法 (BBHE)^[3]，在前者的研究基础上，S D Chen提出了基于亮度保持的递归均值分离直方图均衡化算法(RMSHE) ^[4]，该算法使用递归分离将输出图像的平均亮度收敛到输入图像的平均亮度。继而V Caselles 又提出了一种形状保持的对比度增强算法，该算法通过改进局部直方图算法（子块不重叠均衡化^[5]，子块重叠均衡化以及子块部分重叠均衡化(POSHE) ^[6]），局部直方图均衡化算法虽然使每个像素点都能适应其临近区域，获得图像中所有位置的高对比度，但是同时计算复杂度非常高，容易产生块效应，所以，缺点也比较明显。

针对传统直方图均衡算法存在的不足。文中提出一种保持图像亮度均衡的逆直方图均衡化算法，从而更好地满足复杂环境下对图像高对比度的应用需求。文中算法基于传统的图像细节增强算法的研究下，首先对红外图像进行正向统计，并将其累计灰度统计值的过程改为递减操作，接着通过对图像进行自适应选取阈值可以有效地解决高低灰度区灰度均衡失常的情况；最后，将高位图像进行多分段灰度压缩到低位图像，从而有利于人眼对图像的观察。相比于传统直方图均衡化算法，逆直方图算法在能够达到更好的图像处理效果的前提下仍然可以通过优化计算方法保证实时性、高效性、鲁棒性，而且算法明显改善了图像在不同灰度层分布的效果，使图像的多个区域对比度达到不同程度的提高。

在数字图像处理中，通常假设图像的灰度级范围为[0, L−1]，其直方图是离散函数$h({r_k}) = {n_k}$ (${r_k}$ 是图像的第k级灰度值，${{{n}}_k}$ 是第k级灰度值对应的像素个数）^[2]。在实践中，经常用乘积MN表示的总像素与每个分量的比值来确定归一化直方图，（M、N是图像像素的行数和列数）^[1]。因此，归一化后的直方图由${{p}}({r_k}) = {n_k}/MN$, 其中k=0,1…L−1。简单说，p(r_k)是灰度级r_k在图像中出现的概率的统计^[2]。归一化直方图的所有分量概率之和应等于1^[2]。

在红外图像中，若其直方图的大部分分量主要集中在灰度级左侧，则此图像偏暗，反之，图像偏亮。当图像的直方图分量集中显示在一个较窄区域，则图像的对比度较低。在直方图中，通常采用变量r作为图像的灰度表示（0≤r≤L−1，r=0表示黑色，r=L−1表示白色）。在r满足这些条件时，可以将注意力集中在变换形式上：s=T(r),0≤r≤L-1。

a) T(r)在区间0≤r≤L-1上为单调递增函数^[2]。

b) 当0≤r≤L-1时，0≤T(r)≤L-1^[2]。

图1（a）~(c)分别为过暗、低对比度、过亮的原始红外图像直方图。

Figure 1.  Histogram distribution image

通过对数字图像进行全局直方图均衡化后，图像中的灰度呈现均匀分布且使得图像的对比度得到较大程度提高，但是全局直方图均衡化并不能使图像达到理想的处理效果^[3]。继而Y T Kim 提出了保持亮度均衡的双直方图均衡算法 (BBHE)，此算法通过选取原始图像的均值作为均衡图像的阈值，并以此阈值将原始图像划分成两部分进行直方图均衡化。假设灰度级gray为阈值，将原始图像划分为f₁和f₂两部分，在原始图像中灰度值小于阈值的部分灰度值构成图像称为f₁子图，反之，称为图像的f₂子图。首先，分别对两个子图进行直方图均衡，如公式（1）、（2）所示：

式中：g₁、g₂为原始图像处理后的子图；n₁、n₂为子图f₁和f₂的像素个数。

输出图像是经过处理后的子图像进行融合形成的，如图2所示。虽然双直方图均衡后的图像效果明显优于全局直方图均衡后的图像效果，但处理后图像的直方图依旧存在分布不均匀的现象，图像被均衡过度、图像显示不自然等问题。

Figure 2.  Bi-histogram equalization

红外图像的直方图均衡化操作实质上就是根据红外图像的直方图分布规律将焦平面的像素进行一次重新的分布，使得重新分配后的图像能展现出更多的细节来方便人眼的观察。由于传统算法存在显示动态范围分配不够合理，成像不够清晰等问题，文中提出了逆直方图均衡化。基于对红外图像的逆直方图均衡化操作的基础，采取自适应阈值选取法区分图像的细节背景区域，同时将细节区域进行更深层次的划分。最后在保证成像清晰的基础上将红外图像由16 bits向8 bits压缩时采用分段映射方法来压缩图像。

(1) 对原始图像进行直方图统计，并计算图像逆直方图分布曲线；

(2) 对图像的逆直方图进行自适应阈值选取，针对不同阈值范围，再次进行不同的逆直方图统计分布；

(3) 之后将各个区域的均衡化图像进行合成；

(4) 对合成后的图像通过第二次阈值选取分段，由高位向低位压缩显示。

在保证经过统计函数变换前后的概率密度统计函数之和始终为1的基础上，逆直方图统计将图像的概率累计分布变成递减分布了。所以当应用到数字图像处理时，假设数字图像的灰度值有L阶，则有下面的函数变换公式：

式中：n是图像的总像素的个数；n_k是图像中灰度为r_k的对应像素个数。

那么逆直方图的递减函数和概率密度函数分别为：

则逆直方图的统计函数为：

假设一幅图像f(x, y)的直方图具有双峰，该图像由暗色背景上的较亮物体组成，以这样的组成方式，物体像素和背景像素所具有的灰度值组合成了两种支配模式^[7]。从背景中提取物体的一种明显方法是选择一个将这些模式分开的阈值T。然后，f(x, y)>T的任何点(x, y)称为一个对象点，否则称为背景点^[2]。假设阈值为T，在阈值分割后的均衡化图像g(x, y)如下所示：

由公式（6）可知，阈值T的成功选取直接影响到分割后的子图g_a和g_b区域范围，从而影响了子图各自均衡化后的灰度值拉伸范围。

文中自适应阈值T的选取采用聚类分析的思想，首先通过图像的逆直方图h(k)可以寻找出其波峰H对应的灰度值h，并将灰度值h与图像的中值mean取均值处理，有公式（7）：

在细节和背景像素分布悬殊的情况下，通过公式(7)计算的灰度值A可以划分原图像的细节和背景区域。同时为了保证阈值T选取的严谨性，还对图像进行最大类间方差法确定阈值，假设细节和背景各占图像比例为w₀和w₁，对应平均灰度为u₀和u₁，图像总平均灰度为u。则有：

联立上两式可得：

当方差V最大类间方差函数为单峰时，对应的灰度值B为最佳阈值。但是当类间方差函数出现双峰或者多峰时，图像分割效果并不好。这时就需要采用上面的灰度值A做最佳阈值。

通过公式(10)不仅保证了阈值在一定程度下不会受到图像的亮度变化和对比度的影响，而且确保了在图像细节和背景分布差异大的情况下，依旧能够选取出最佳阈值。同时当阈值T应用在实时处理的视频流上也可以保持自适应性。

现下国内外的红外热成像设备通常都采用14 bits或者更高位的模/数转换器对探测器的输出信号进行采样、保持、量化和编码^[8]。为了确保显示设备和之后快速处理的数据量，同时保证图像具有较高的对比度，通常情况下需要将14 bits高精度数据压缩到8 bits数据宽度^[9]。

在一般平稳的场景中，热图像灰度区可能集中在较小一部分的量化范围，对于16 bits数据宽度采用多分段映射到8 bits数据宽度，例如在16位红外图像，根据阈值分割后的合成图像g(x, y)进行二次阈值分割划分为X₁, X₂；在8位图像f'(x,y)中设置相应的阈值Y₁, Y₂。对应的转换函数如下：

阈值选取的公式如下：

由公式（12）可知，通过波峰H₁和H₂对应的像素X₁, X₂的选取将图像细节部分进行再一次的分割，将细节部分划分为主要细节和次要细节。

因为背景像素一般占图像的绝大部分区域，所以该算法在图像高位向低位映射过程中，通过压缩高位图像的背景像素区域和扩大主要细节像素区域使得映射后的低位图像的对比度得到提高，最终图像f'(x,y)显示的效果更加清晰。

从图3(a)、(b)可知，在两张图的红色圈中的烙铁光晕对比效果上，图(b)比图(a)更为清晰，而且图(b)烙铁周围的光晕被压缩得很彻底；蓝色区域中台灯与周围环境层次分明。因而在与传统直方图均衡化效果对比中，文中的逆直方图均衡化算法的图像处理效果更佳。

Figure 3.  Comparison diagram

根据现有的学术研究表明^[10]：人眼的视觉效果和图片的对比度息息相关，在图片中的变化范围较大、细节丰富的区域容易引起人眼的注意，而变化小，细节单调的区域则不容易被人眼所注意。

为了验证文中算法的处理效果，对同一个视频流分别采用多种传统图像细节增强算法进行处理，并与文中提出的新算法进行对比。限于篇幅，文中仅对其中图3的两帧图像分别进行传统直方图均衡化(HE)，保持亮度的双直方图均衡化(BBHE)，以及逆直方图均衡化(IHE)图像增强。由图4 (a)、(b)呈现的原始红外图像可观察到，其显示灰度值呈现在一个较窄区域内并且密集分布，通过该图像无法观察到其拍摄的细节，图像较为模糊。接下来经过全局直方图均衡化图像(图5 (a)、(b))处理后，该算法使图像整体亮度得到较大的改善，处理后的图像亮度在亮度范围中间值附近，图像整体灰度值分布虽然较为均匀，但是图像的整体亮度显示过曝，红色框图中烙铁明显过度曝光，无法观察其细节；接着在BBHE算法中，由图6 (a)、(b)可见：虽然保持住了图像的亮度均值，但是图像明显出现过度增强，在蓝色区域的台灯细节被压缩的无法可见，导致高低灰度区对比度压缩过度。最后，从文中IHE算法效果(图7 (a)、(b))中可观察，红色区域内的烙铁和蓝色区域内的台灯都能够在图像中清晰的显示，在压低烙铁亮度的同时保证台灯亮度能够提高。该算法不仅保持住了图像的亮度均值，而且使得图像各个区域的亮度得到不同程度的增强，对比度也得到不同程度的提高。该算法图像的清晰度明显优于其他算法效果图的清晰度。

Figure 4.  Original image

Figure 5.  Infrared image after histogram equalization

Figure 6.  Infrared image after bi- histogram equalization

Figure 7.  Infrared image after inverse histogram equalization

接着文中选取视频流中多帧图像进行均方根对比度(RMSC)、均方误差(MSE)和峰值信噪比(PSNR)的测量，RMSC的公式为：

式中：$\bar I$为整个红外图像的平均像素值；$I({{i}},j)$ 为红外图像每一个像素点的值。RMSC的值越大，对比度就越大，红外图像的细节就越丰富。由图8的折线图可知，对多帧图像进行细节处理时，双直方图均衡化的RMSC值最大，逆直方图均衡化处理后的RMSC其次。

Figure 8.  RMSC under multi-frame images

式中：${{{f}}'}(i,j)$ 为细节增强后的图像；${{f}}(i,j)$ 为原始红外图像；L-1为灰度级数。由图9可以看出：在不同帧数的处理效果下，IHE的PSNR值最大，说明IHE的处理效果图与原图像的相似度最高。但是图8中BBHE与IHE的RMSC差值不是很大，所以，文中在对多幅图像的视觉效果上再次进行直观的判断比较。

Figure 9.  PSNR under multi-frame images

如图 10所示，经过HE算法下的图像亮度过曝，红色区域内的烙铁过亮；在BBHE算法下的红外图像虽然在红色区域的烙铁亮度被压缩得很好，但是黄色区域内的台灯的对比度却由于压缩过度导致无法可视。而文中算法在保证黄色区域内台灯和蓝色区域内的手掌清晰可见的基础上，还使得红色区域的烙铁细节展现的更加丰富，从而让整张图像更加清晰地显示出来。

Figure 10.  Effect contrast image

相对传统的全局直方图均衡化，双直方图均衡化等算法，文中算法在图像多区域同时处理的图像效果最好。利用逆直方图均衡化技术不仅使得红外图像的低中灰度区域的对比度和亮度得到保持，而且在图像高灰度区域的对比度和亮度也能够得到有效地提高。文中算法在保持更加清晰的图像效果的同时也针对实时传输的红外视频能够实现自适应实时处理，是一种高效，实用的红外图像细节增强算法。