留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

中波1 280×1 024红外成像组件设计(特邀)

张宝辉 李中文 吴杰 吉莉 王炜毅 蔡璐 时亚辉 法静怡

张宝辉, 李中文, 吴杰, 吉莉, 王炜毅, 蔡璐, 时亚辉, 法静怡. 中波1 280×1 024红外成像组件设计(特邀)[J]. 红外与激光工程, 2021, 50(4): 20211023. doi: 10.3788/IRLA20211023
引用本文: 张宝辉, 李中文, 吴杰, 吉莉, 王炜毅, 蔡璐, 时亚辉, 法静怡. 中波1 280×1 024红外成像组件设计(特邀)[J]. 红外与激光工程, 2021, 50(4): 20211023. doi: 10.3788/IRLA20211023
Zhang Baohui, Li Zhongwen, Wu Jie, Ji Li, Wang Weiyi, Cai Lu, Shi Yahui, Fa Jingyi. Design of mid-wave 1 280×1 024 infrared imaging components (Invited)[J]. Infrared and Laser Engineering, 2021, 50(4): 20211023. doi: 10.3788/IRLA20211023
Citation: Zhang Baohui, Li Zhongwen, Wu Jie, Ji Li, Wang Weiyi, Cai Lu, Shi Yahui, Fa Jingyi. Design of mid-wave 1 280×1 024 infrared imaging components (Invited)[J]. Infrared and Laser Engineering, 2021, 50(4): 20211023. doi: 10.3788/IRLA20211023

中波1 280×1 024红外成像组件设计(特邀)

doi: 10.3788/IRLA20211023
基金项目: 国家重点研发计划“变革性技术关键科学问题”重点专项(2017YFA0701204)
详细信息
    作者简介:

    张宝辉(1984-),男,高级工程师,硕士生导师,博士,兵工学会会员,夜视集团科技带头人。多年来一直致力于红外成像技术研究,主持和参与国家重大型号项目、国家重点研发计划“变革性技术关键科学问题”重点专项、国家自然科学青年基金等国家、省部级项目二十余项。获国防科学技术二等奖一项、江苏省科学技术一等奖一项,已申请/授权发明专利十余项,培养指导过多名硕士研究生等。

  • 中图分类号: TN215

Design of mid-wave 1 280×1 024 infrared imaging components (Invited

  • 摘要: 随着红外器件和成像技术的不断发展,各种夜视系统对百万像素的中波红外成像组件的需求越来越多。基于国产15 μm 1280×1024中波HgCdTe探测器,以探测器和杜瓦自身包络为基准,突破小体积、轻量化、一体化设计,研制出了紧凑型双FPGA处理平台的百万像素中波红外成像机芯组件,组件尺寸155 mm×95 mm×95 mm,质量为1400 g,支持SDI、Cameralink接口输出;在该平台上实现盲元替换、非均匀校正、降噪、细节增强、动态范围压缩、局部增强等实时图像处理算法,针对传统的红外成像算法提出了基于残差的非均匀校正算法与自适应局部增强算法,提升组件的成像性能。测试试验表明:组件实时输出分辨率为1280×1024像素的高质量低噪声的红外图像,噪声等效温差(NETD)<30 mK,组件满足高温60 ℃,低温−40 ℃工作要求,组件所采用的改进处理算法,最终输出图像提升明显。
  • 图  1  15 μm 1280×1024制冷红外成像组件组成图。(a)示意图;(b)爆炸图

    Figure  1.  15 μm 1280×1024 cooled infrared imaging components. (a) Schematic diagram; (b) Exploded view

    图  2  图像处理电路硬件设计图

    Figure  2.  Image processing circuit hardware design

    图  3  探测器偏置电压电路设计

    Figure  3.  Detector bias voltage circuit

    图  4  低噪声电路设计方案

    Figure  4.  Low noise circuit design scheme

    图  5  电源电路结构框图

    Figure  5.  Power circuit diagram

    图  6  FPGA1主处理版设计框图

    Figure  6.  Design diagram of FPGA1 processing circuit program module

    图  7  FPGA2增强处理板设计框图

    Figure  7.  Design diagram of FPGA2 enhancement board program module

    图  8  多点校正温度点选取图

    Figure  8.  Multi-point correction temperature point selection diagram

    图  9  多点定标温度选取。(a)平均分段;(b)自适应分段

    Figure  9.  Multi-point calibration temperature selection. (a) Average segmentation; (b) Adaptive segmentation

    图  10  中波15 μm 1280 × 1024制冷红外成像组件实物图

    Figure  10.  15 μm 1280 × 1024 cooled infrared imaging components

    图  11  测量电路本底噪声RMS值图

    Figure  11.  RMS value of the noise floor of the measurement circuit

    图  12  输出电压V4的噪声频谱曲线

    Figure  12.  Noise spectrum curve of output voltage V4

    图  13  NETD测试图

    Figure  13.  NETD test picture

    图  14  高低温成像图片。(a)低温−40 ℃图像;(b)高温60 ℃图像

    Figure  14.  High and low temperature imaging images. (a) −40 ℃; (b) 60 ℃

    图  15  块效应抑制现象效果图。(a)处理前;(b)处理后

    Figure  15.  Block inhibition implementation effect diagram. (a) Before processing; (b) After processing

    图  16  CLAHE实现效果图。(a)传统CLAHE; (b)优化的CLAHE

    Figure  16.  CLAHE implementation effect diagram. (a) Traditional CLAHE; (b) Optimized CLAHE

    图  17  数字探测器成像图片。(a)传统的成像效果; (b)优化的成像效果

    Figure  17.  Digital detector imaging picture. (a) Traditional; (b) Optimized

    表  1  探测器性能指标

    Table  1.   Performance index of detector

    ParameterSpecification
    Image resolution1280×1024
    Pixel picth/μm215×15
    Spectral response/μm3.7-4.8
    Work modeITR/IWR
    Signal output4 or 8
    Work temperature/℃−40-60
    Frame rate/Hz≤50
    Average NETD/mK≤ 25
    下载: 导出CSV

    表  2  算法所需DDR3带宽

    Table  2.   DDR3 bandwidth occupied by the algorithm

    AlgorithmDDR3 bandwidth occupied/Gbps
    NUC inter-frame cache7.5
    Noise reduction inter-frame cache2.1
    CLAHE inter-frame cache1.6
    SDI display inter-frame cache3.4
    下载: 导出CSV

    表  3  MSE对比

    Table  3.   MSE Comparison

    Algorithm
    MSE
    TraditionalCLAHEOptimized CLAHE
    Interested area (MSE1) 5.46 110.91 37.36
    Total image (MSE2) 2709.55 2716.88 2782.73
    下载: 导出CSV
  • [1] Fan Jinxiang, Yue Yanjun. Development in new concepts and new schemes for military infrared imaging systems [J]. Infrared and Laser Engineering, 2011, 40(1): 1-6. (in Chinese) doi:  10.3969/j.issn.1007-2276.2011.01.001
    [2] Yao Libin, Chen Nan. High-performance low noise digital readout circuit [J]. Infrared and Laser Engineering, 2020, 49(1): 0103009. (in Chinese) doi:  10.3788/IRLA202049.0103009
    [3] Lei W, Antoszewski J, Faraone L. Progress, challenges, and opportunities for HgCdTe infrared materials and detectors [J]. Applied Physics Reviews, 2015, 2(4): 041303. doi:  10.1063/1.4936577
    [4] Bhan R K, Dhar V. Recent infrared detector technologies, applications, trends and development of HgCdTe based cooled infrared focal plane arrays and their characterization-ScienceDirect [J]. Opto-Electronics Review, 2019, 27(2): 174-193. doi:  10.1016/j.opelre.2019.04.004
    [5] Xu Chao, He Limin, Wang Xia, et al. Design of high speed processing module for infrared polarization imaging system [J]. Infrared and Laser Engineering, 2017, 46(2): 0204002. (in Chinese) doi:  10.3788/IRLA201746.0204002
    [6] Wang Yang, Pan Zhibin. Review of De-noise and enhancement technology for infrared image [J]. Radio Engineering, 2016, 46(10): 1-7. (in Chinese) doi:  10.3969/j.issn.1003-3106.2016.10.01
    [7] Chen Qian. The status and development trend of infrared image processing technology [J]. Infrared Technology, 2013, 35(6): 311-318. (in Chinese)
    [8] Zhang Tong, Lin Chun, Chen Honglei, et al. A method of improving IRFPA imaging bad pixel detection accuracy based on multi-direction wavelet [J]. Infrared and Laser Engineering, 2018, 47(2): 0204001. (in Chinese) doi:  10.3788/IRLA201847.0204001
    [9] Wang Mingchang, Fan Yangyu, Chen Baoguo, et al. Realization of adaptive non-uniformity correction of infrared image based on SOPC [J]. Infrared and Laser Engineering, 2017, 46(6): 0628001. (in Chinese) doi:  10.3788/IRLA201746.0628001
    [10] Lv Lei, Zhang Xuefeng. Real-time infrared image nonuniformity correction base on FPGA [J]. Infrared and Laser Engineering, 2011, 40(6): 641-643. (in Chinese) doi:  10.3969/j.issn.1001-5078.2011.06.009
    [11] Huang Yu, Zhang Baohui, Wu Jie, et al. Adaptive multipoint calibration non-uniformity correction algorithm [J]. Infrared Technology, 2020, 42(7): 637-643. (in Chinese) doi:  10.3724/SP.J.7102345123
    [12] 中华人民共和国工业和信息化部. 红外焦平面阵列参数测试方法: GB/T 17444—2013[S]. 北京, 2014.

    Ministry of Industry and Information Technology of the People's Republic of China. Measuring methods for parameters of infrared focal plane arrays: GB/T 17444—2013[S]. Beijing: Standards Press of China, 2014. (in Chinese)
    [13] Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations [J]. Computer Vision Graphics & Image Processing, 1987, 39(3): 355-368.
  • [1] 王利军, 关俊娟, 秦智勇, 陈建, 姬鹏远.  动力舱红外成像火情探测系统 . 红外与激光工程, 2022, 51(5): 20210384-1-20210384-6. doi: 10.3788/IRLA20210384
    [2] 张景程, 乔新博, 赵永强.  红外偏振摄像机动目标检测跟踪系统(特邀) . 红外与激光工程, 2022, 51(4): 20220233-1-20220233-10. doi: 10.3788/IRLA20220233
    [3] 刘星洋, 翟尚礼, 李靖, 汪洋, 苗锋, 杜瀚宇, 邹超凡.  制冷型中波红外偏振成像光学系统设计 . 红外与激光工程, 2021, 50(2): 20200208-1-20200208-9. doi: 10.3788/IRLA20200208
    [4] 李娜, 邓家先, 崔亚妮, 陈褒丹.  基于暗通道先验的红外图像清晰化及FPGA实现 . 红外与激光工程, 2021, 50(3): 20200252-1-20200252-10. doi: 10.3788/IRLA20200252
    [5] 武魁军, 何微微, 于光保, 熊远辉, 李发泉.  分子滤光红外成像技术及其在光电探测中的应用(特邀) . 红外与激光工程, 2019, 48(4): 402003-0402003(9). doi: 10.3788/IRLA201948.0402003
    [6] 郭弘扬, 杜升平, 黄永梅, 付承毓.  液晶空间光调制器过驱动方法的FPGA实现 . 红外与激光工程, 2019, 48(7): 722002-0722002(7). doi: 10.3788/IRLA201948.0722002
    [7] 罗刚银, 王弼陡, 陈玉琦, 赵义龙.  Offner型消热差中波红外成像光谱仪设计 . 红外与激光工程, 2017, 46(11): 1104004-1104004(7). doi: 10.3788/IRLA201746.1104004
    [8] 徐超, 何利民, 王霞, 金伟其.  红外偏振成像系统高速处理模块设计 . 红外与激光工程, 2017, 46(2): 204002-0204002(8). doi: 10.3788/IRLA201746.0204002
    [9] 殷世民, 高丽伟, 梁永波, 朱健铭, 梁晋涛, 陈真诚.  基于FPGA的干涉式红外成像光谱仪实时光谱复原研究 . 红外与激光工程, 2017, 46(7): 720001-0720001(6). doi: 10.3788/IRLA201746.0720001
    [10] 白瑜, 邢廷文, 李华, 蒋亚东, 冯成.  国外高变焦比中波红外镜头的研究进展 . 红外与激光工程, 2015, 44(3): 795-802.
    [11] 白瑜, 廖志远, 李华, 程习敏, 邢廷文, 蒋亚东.  折反射中波红外探测无热化成像系统设计分析 . 红外与激光工程, 2015, 44(2): 407-412.
    [12] 张磊, 王岳环, 宋琼.  红外焦平面条带状非均匀性校正硬件实现方法 . 红外与激光工程, 2015, 44(10): 2886-2890.
    [13] 范哲源, 高立民, 张志, 陈卫宁, 杨洪涛, 张建, 武力, 曹剑中.  中波红外三视场变焦光学系统设计 . 红外与激光工程, 2014, 43(2): 523-527.
    [14] 马文坡.  中波红外与长波红外推扫成像性能分析 . 红外与激光工程, 2014, 43(12): 3861-3865.
    [15] 王华伟, 曹剑中, 马彩文, 张辉, 武登山.  具有自适应校正功能的红外成像系统设计 . 红外与激光工程, 2014, 43(1): 61-66.
    [16] 王耀利, 温廷敦, 王志斌, 张瑞, 黄艳飞, 陈友华.  基于静态固体斜楔干涉的红外探测技术 . 红外与激光工程, 2014, 43(10): 3188-3192.
    [17] 周昊, 刘英, 孙强.  高变焦比中波红外连续变焦光学系统 . 红外与激光工程, 2013, 42(3): 663-668.
    [18] 任广辉, 王刚毅, 金炎胜.  利用FPGA的高性能向导滤波器设计 . 红外与激光工程, 2013, 42(2): 537-542.
    [19] 陈兆兵, 曹立华, 王兵, 庄昕宇, 陈宁, 郭如海.  中波红外激光器远距离干扰红外探测器的外场实验研究 . 红外与激光工程, 2013, 42(7): 1700-1705,1753.
    [20] 朱瑞飞, 王超, 魏群, 贾宏光, 周文明.  红外探测器非均匀性校正系统研制 . 红外与激光工程, 2013, 42(7): 1669-1673.
  • 加载中
图(17) / 表(3)
计量
  • 文章访问数:  842
  • HTML全文浏览量:  271
  • PDF下载量:  219
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-02-23
  • 修回日期:  2021-03-19
  • 网络出版日期:  2021-05-12
  • 刊出日期:  2021-04-30

中波1 280×1 024红外成像组件设计(特邀)

doi: 10.3788/IRLA20211023
    作者简介:

    张宝辉(1984-),男,高级工程师,硕士生导师,博士,兵工学会会员,夜视集团科技带头人。多年来一直致力于红外成像技术研究,主持和参与国家重大型号项目、国家重点研发计划“变革性技术关键科学问题”重点专项、国家自然科学青年基金等国家、省部级项目二十余项。获国防科学技术二等奖一项、江苏省科学技术一等奖一项,已申请/授权发明专利十余项,培养指导过多名硕士研究生等。

基金项目:  国家重点研发计划“变革性技术关键科学问题”重点专项(2017YFA0701204)
  • 中图分类号: TN215

摘要: 随着红外器件和成像技术的不断发展,各种夜视系统对百万像素的中波红外成像组件的需求越来越多。基于国产15 μm 1280×1024中波HgCdTe探测器,以探测器和杜瓦自身包络为基准,突破小体积、轻量化、一体化设计,研制出了紧凑型双FPGA处理平台的百万像素中波红外成像机芯组件,组件尺寸155 mm×95 mm×95 mm,质量为1400 g,支持SDI、Cameralink接口输出;在该平台上实现盲元替换、非均匀校正、降噪、细节增强、动态范围压缩、局部增强等实时图像处理算法,针对传统的红外成像算法提出了基于残差的非均匀校正算法与自适应局部增强算法,提升组件的成像性能。测试试验表明:组件实时输出分辨率为1280×1024像素的高质量低噪声的红外图像,噪声等效温差(NETD)<30 mK,组件满足高温60 ℃,低温−40 ℃工作要求,组件所采用的改进处理算法,最终输出图像提升明显。

English Abstract

    • 自红外成像系统在美国问世以来,已经过60多年的发展[1]。它利用光电转换的原理及信号处理的方式来探测目标物体表面的红外辐射强度,获取到探测物体表面温度后将其转化为电信号最终以图像信息形式输出[2]。目前国外1 280及以上的像素热像仪已经处于应用阶段,而国内红外系统应用中,中波器件主流仍然是640×512的分辨率,但随着红外市场需求的不断扩大和探测器工艺和工程技术的成熟发展,夜视、侦察、监视、导弹制导等军事领域,对大面积探测、高分辨率探测器的需求会越来越多[3-4],中波1280×1024红外百万像素成像组件在今后的武器系统、军事侦察、战略防御[5]等方面具有非常大的应用前景。

      文中正是基于国产15 μm 1280×1024中波HgCdTe红外成像探测器,介绍了探测器的性能、成像组件电路构成和组件的一体化设计;针对大面阵的信息采集处理,介绍了双FPGA图像处理电路硬件构架及设计方案;根据组件应用要求开发了以FPGA为核心的软件平台;介绍了机芯组件所采用的红外图像算法,阐述了非均匀性校正、局部增强关键模块算法;最后针对红外成像组件系进行了低噪声电路测试、NETD测试、高低温测试以及成像测试。

    • 中波红外1280×1024 HgCdTe探测器主要用于实现目标红外信号与电信号的转换。某国产探测器由HgCdTe列阵探测器芯片、CMOS读出电路芯片、金属杜瓦和SCI08R型集成整体式斯特林制冷机组成。其性能如表1所示,探测器像元中心间距为15 μm,光谱响应范围(3.7±0.2)~(4.8±0.2) μm,工作温度80 K,探测器采用离子注入成结技术在p-HgCdTe上制成光伏1280×1024个(PV)探测器列阵,与读出电路通过倒装互连实现电极互连,构成混合式红外焦平面探测器芯片组。其中读出电路采用1280×1024高性能的快照模式读出集成电路,读出电路完成光伏二极管瞬时信号的(直接注入)积分、存储、行选通、单元选通以及信号电压的驱动输出。具有1280×1024窗口格式及开窗模式,4或8路模拟输出可选。

      表 1  探测器性能指标

      Table 1.  Performance index of detector

      ParameterSpecification
      Image resolution1280×1024
      Pixel picth/μm215×15
      Spectral response/μm3.7-4.8
      Work modeITR/IWR
      Signal output4 or 8
      Work temperature/℃−40-60
      Frame rate/Hz≤50
      Average NETD/mK≤ 25

      根据探测器性能和实时输出的需求,文中采用XILINX公司的SPARTAN6为主处理芯片,完成50 Hz的成像帧频,电路成像部分则需要完成盲元替换、非均匀校正和图像增强等功能,根据成像软件要求,设计算出主时钟MC为17.5 MHz,像素时钟70 MHz,可以满足帧频50 Hz的大面阵红外图像采集、处理以及显示。这样算法处理占用的DDR3带宽需求为14.6 Gbps,考虑到每块SPARTAN6的FPGA的DDR3带宽最高支持10 Gbps,文中选用双FPGA架构来满足系统对DDR3带宽的需求,除此之外,双FPGA架构能减轻FPGA布局布线的压力,提高程序的可靠性,也可以留有资源支持后续更高帧频设计以及图像处理算法的升级。具体需求带宽如表2所示。

      表 2  算法所需DDR3带宽

      Table 2.  DDR3 bandwidth occupied by the algorithm

      AlgorithmDDR3 bandwidth occupied/Gbps
      NUC inter-frame cache7.5
      Noise reduction inter-frame cache2.1
      CLAHE inter-frame cache1.6
      SDI display inter-frame cache3.4

      由于目前红外系统的发展均考虑到各种需求对系统提出了小型化、轻量化的需求,因此文中设计理念是围绕探测器外包络尺寸154 mm×78 mm×57 mm进行组件设计,从而降低组件尺寸。如图1所示:整个组件以探测器为中心设计了轻量化骨架,用于安装组件系统电路。系统电路由采集电路、探测器驱动电路板、FPGA1主处理板、FPGA2增强处理板、电源电路板、制冷机接口电路、对外接口电路组成。制冷机接口板为制冷机提供电源滤波电路,在制冷机制冷到制冷温度80 K后;红外焦平面探测器进行正常工作开始光电信号转换;双FPGA图像处理电路对探测器进行驱动控制,从而进行图像采集、处理并最终将处理后的红外成像信号输出;电源板主要完成整个电路系统和探测器的供电;主处理板设计了散热板,用于组件散热和主电路板的固定。组件结构拆解如图1(b)所示,其整体尺寸为155 mm×95 mm×95 mm,略大于探测器外包络,质量约为1400 g。

      图  1  15 μm 1280×1024制冷红外成像组件组成图。(a)示意图;(b)爆炸图

      Figure 1.  15 μm 1280×1024 cooled infrared imaging components. (a) Schematic diagram; (b) Exploded view

    • 文中为了满足探测器输出实时性要求,设计了双FPGA硬件架构进行1280×1024分辨率的后续处理,整体电路设计如图2所示。电路部分由电源电路、FPGA1主处理电路、FPGA2增强电路、探测器驱动电路和低噪声采集电路组成。其中探测器驱动电路板为探测器提供电源及偏置电压,使其可以工作在最佳工作点。低噪声采集电路板调理并采集探测器输出的模拟信号。电源电路板是将外部输入的28 V电压进行滤波与降压,从而产生满足图像处理电路的低噪声低的稳定电压。

      图  2  图像处理电路硬件设计图

      Figure 2.  Image processing circuit hardware design

      FPGA1主处理板根据焦平面探测器组件的工作时序要求产生探测器驱动时序,同时接收探测器输出的图像信息,完成图像驱动与采集,并对采集到的原始图像进行非均匀性校正等预处理。FPGA2增强处理板主要实现图像增强、降噪等其他复杂图像处理算法并且将处理后的图像通过图像数据传输到外部显示设备进行显示。接口电路模块通过串口实现上级系统与机芯之间的通讯,采用RS422串口接收上级系统发出的指令,通过接口电路的传输,实现对成像电路组件的功能控制。此外组件留有维护串口,可用于检修、维护以及在线升级等扩展功能。

    • 红外探测器像元阵列工作在80 K的温度下,并且需要提供一定的电压和脉冲信号才能将外界的红外辐射进行光电转换,形成光电流,并由CMOS读出电路进行光电流的积分,形成电压信号后进行输出。因此,探测器驱动电路主要是提供给探测器工作所需要的偏置电压与时序信号,其中固定的偏置电压,可以采用电源芯片直接供电,另一部分则是需要可调节的电压,需要根据实际情况进行调整的偏置电压,文中采用了一种数模转换(Digital-to-Analogue Conversion, DAC)+运放(Buffer)的方案,如图3所示,利用DAC可以生成数值可调的直流电压,通过Buffer驱动探测器工作。

      图  3  探测器偏置电压电路设计

      Figure 3.  Detector bias voltage circuit

    • 低噪声采集电路的AD转换芯片采用LT公司的LTC2263-14,采样精度为14位精度,采样范围为2Vp−p,探测器输出的电压信号的范围是1.4~3.0 V,因此首先需要将探测器输出的单端电压信号转换成满足AD转换芯片采样范围的差分电压信号,考虑信号变换过程中不能引入过多的噪声,根据探测器输出电压的带宽与压摆率选择合适的差分运放,差分运放的偏置和共模电压需要具有极高的稳定性和极低的噪声。

      文中采用了一种0.1~10 Hz频带内超低噪声的电路设计方案,该方案原理如图4所示。电压源输出电压值V1,通过电阻分压得到目标电压值${V_2}$,经RC滤波后得电压值${V_3}$,通过运算放大器缓冲后得到理想偏置电压。假设电压源输出电压值为12 V,所需的理想电压值为2.5 V。根据分压理论,R1/R2的电压比值为19/5。对于使用OP (运算)放大器的放大电路,由于负反馈的使用,可以分为反向放大电路和非反向放大电路。为尽量减小电路结构、降低电路噪声,采用非反向放大电路。

      图  4  低噪声电路设计方案

      Figure 4.  Low noise circuit design scheme

      电压基准的作用是输出一个非常稳定的电压,该电压不随时间、温度的变化而变化;根据噪声传递理论,由于电压基准为电路的第一级,其噪声系数越小越好。主要从长期稳定性、温度稳定性和输出噪声3个参数选择电压基准。经过筛选,采用LT6655作为电压基准,运放采用OPA221,RC滤波电路的电阻为1.6 MΩ,电容为1 μF,截止频率为0.1 Hz。

    • 成像组件为了更好地满足不同系统的应用,电源设计为12~36 V宽范围输入。且满足上电开关控制、反接保护、过压过流保护、浪涌抑制等功能。图5为电源滤波降压电路结构框图,外部供电电压首先经过上电开关控制模块、经过反接保护与过压过流保护模块,再经过滤波降噪与浪涌抑制模块,最终通过隔离电源模块生成可供成像电路和制冷机电路使用的电压。由于探测器制冷机工作的时候会产生强烈的PWM电磁干扰,因此采用隔离电源模块将成像电路和制冷机电路的电源进行隔离,降低制冷机电路对成像电路的干扰,输出稳定的图像。

      图  5  电源电路结构框图

      Figure 5.  Power circuit diagram

    • 在当前红外探测器材料、制造工艺、红外成像硬件系统趋于完善的条件下,对于红外图像存在噪声大、对比度低、非均匀性大等缺陷[6],为克服这些缺陷,红外图像处理软件设计能够有效地提高红外成像系统的性能和应用效果[7],文中针对大面阵红外图像处理需求,设计了基于双FPGA的红外成像处理平台,并且在平台中实现了红外图像预处理与图像增强程序。

    • 系统所有软件算法均通过FPGA平台进行硬件实现,如图6所示,为数据流走向进行流水线开发流程。其中FPGA1主处理板提供探测器驱动时序,获取4或8路探测器输出信号,形成红外14位原始视频流,完成盲元替换(Blind pixel replace)、非均匀校正(NUC)等预处理,其中盲元替换模块用拟合后的曲面值作为比较基准,运用$3\sigma $原则[8]进行盲元检测,提高盲元检测的准确性和有效性;NUC模块是为了补偿探测器的响应不一致,去除低频固定模式噪声。经过预处理后的视频流通过IO口输入到FPGA2进行增强处理。

      图  6  FPGA1主处理版设计框图

      Figure 6.  Design diagram of FPGA1 processing circuit program module

      图7为FPGA2增强板程序设计框图,FPGA2主要接收14位预处理数据后,对红外数据进行降噪(denoising)、细节增强(DDE)、动态范围压缩(Dynamic image compression)、局部增强(CLAHE)图像处理模块,最后进行格式转换,输出Cameralink格式视频以及SDI视频信号。

      降噪模块主要降低探测器材料及工艺引入的闪烁噪声、读出电路引入的列条纹噪声和成像电路引入的暗电流噪声和电源噪声,降低这些噪声对图像的影响;DDE模块主要通过滤波技术,将数字化图像信号进行高低频分频处理,将细节和背景进行分别处理,文中设计了一种自适应增益控制技术对细节层进行增强,自动识别边缘和背景信息,在最大程度保留细节层的同时,有效抑制背景噪声;传统的红外处理一般都是经过DDE后的图像直接输出,文中系统为了更好地展示大面阵图像的细节,采用了CLAHE的方式,分别对图像各个局部模块进行统计和对比度重映射,最后对不同块进行融合处理,文中所设计的自适应局部增强算法能够有效的抑制了局部增强模块在不同场景变换中带来的“块”闪烁现象。

      图  7  FPGA2增强处理板设计框图

      Figure 7.  Design diagram of FPGA2 enhancement board program module

    • 红外图像处理中,非均匀校正和图像增强模块是整个红外成像质量的关键,非均匀校正技术保证了红外输出图像的“干净”程度,图像增强部分则是如何将信噪比进行拉伸和重映射,将信号部分尽可能强的显示。因此非均匀校正算法直接影响图像增强部分。

    • 非均匀性校是为了补偿探测器的响应不一致,去除低频固定模式噪声[9-10],多点定标法校正精度较高,但需要选择合理的标定点才能达到理论的校正效果。文中设计的一种非均匀校正的标定系统,基于定标的自适应多点校正法[11]。提出了一种合理的选取标定温度点的方法,使算法在全局上保持良好的校正效果。

      图8所示,将起点温度${T_1}$、终点温度${T_{{n}}}$设置为端点,根据响应曲线${V_{\rm real}}$,系统将计算响应$V_{\rm line}^0$

      图  8  多点校正温度点选取图

      Figure 8.  Multi-point correction temperature point selection diagram

      $$V_{\rm line}^0 = \frac{{{V_n} - {V_1}}}{{{T_n} - {T_1}}}T + \frac{{{V_1}{T_n} - {V_n}{T_1}}}{{{T_n} - {T_1}}}$$ (1)

      式中:${V_1}$${V_{{n}}}$为温度为${T_1}$${T_{{n}}}$时对应的灰度值。将实际响应曲线${V_{\rm real}}$与计算响应$V_{\rm line}^0$相减,得到各点残差${\Delta ^0}(T)$,即:

      $${\Delta ^0}(T) = \left| {{V_{\rm real}}(T) - V_{\rm line}^0(T)} \right|$$ (2)

      选取${\Delta ^0}(T)$最大的温度点$T_m^1$,作为新的端点;

      $$\max \left\{ {{\Delta ^0}(T)} \right\} = {\Delta ^0}(m1)\;(T = 1,2,\cdots,n)$$ (3)

      系统将计算计算响应$V_{\rm line}^1$

      $$V_{line}^1 = \left\{ \begin{array}{l} \dfrac{{{V_{m1}} - {V_1}}}{{{T_{m1}} - {T_1}}}T + \dfrac{{{V_1}{T_{m1}} - {V_{m1}}{T_1}}}{{{T_{m1}} - {T_1}}}(1 \leqslant T \leqslant m{\rm{1}}) \\ \dfrac{{{V_n} - {V_{m1}}}}{{{T_n} - {T_{m1}}}}T + \dfrac{{{V_{m1}}{T_n} - {V_n}{T_{m1}}}}{{{T_n} - {T_{m1}}}}(m1 < T \leqslant n) \end{array} \right.$$ (4)

      得到新的$\Delta (T)$,找到残差最大的温度点${T_{m2}}$;得到响应曲线$V_{\rm line}^2$;根据设置的温度点个数n;直至得到温度点${T_{n - 2}}$

      利用红外焦平面参数测试方法GB/17444—2013[12]相应率不均匀性(responsivity non-uniformity, UR):

      $$UR = \frac{1}{R}\sqrt {\frac{1}{{M \times N - (d + h)}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {[R(i,j) - \overline R ]} } } ) \times 100 {\text{%}} $$ (5)

      式中:$\overline R$为平均响应率;MN为像元行列数;d为死像元;h为过热像元;$R(i,j)$为像元响应率。

      校正效果如图9所示,原始图像的UR为6.81%其中平均分段后UR为0.45%,自适应分段后UR为0.31%,多点定标非均匀校正选取的温度点更贴近响应曲线,响应率不均匀性减少。

      图  9  多点定标温度选取。(a)平均分段;(b)自适应分段

      Figure 9.  Multi-point calibration temperature selection. (a) Average segmentation; (b) Adaptive segmentation

    • 传统的CLAHE[13]作为一种局部灰度映射算法的红外图像增强方法,对于待处理的红外图像输入,首先进行高动态范围到低动态范围的压缩,高动态范围图像的灰度直方图为:

      $${H_k} = \sum\limits_{i,j} {{h_k}\left( {i,j} \right)} $$ (6)
      $${h_k}\left( {i,j} \right) = \left\{ {\begin{array}{*{20}{c}} 1&{I\left( {i,j} \right) = k} \\ 0&{\rm others} \end{array}} \right.,k \in \left[ {0,{2^M} - 1} \right]$$ (7)

      根据自适应阈值$ClipLimit$裁剪分块的直方图,裁剪超出平台阈值的部分,$H{'_k}$为裁剪后的直方图。

      $${{H}}_{{k}}^{{'}}{{ = }}\left\{ \begin{array}{l} {{ClipLimit }}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{{{H}}_K} > {{ClipLimit}}\\ H_k\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; {{\rm others}} \end{array} \right.$$ (8)

      获得相应的灰度直方图累积分布函数$cd{f_k}$,再将其映射到指定的灰度空间:

      $$cd{f_k} = \sum\limits_{n = 0}^k {H{'_n}} $$ (9)
      $${G_k} = \frac{{cd{f_k}}}{{cd{f_{\max }}}} \cdot \left( {{2^L} - 1} \right)$$ (10)

      式中:${G_k}$为灰度映射函数;$cd{f_{\max }}$为累积直方图分布的最大值;$L$为低动态图像的图像位数。

      双线性插值运算,根据灰度映射函数将高动态范围图像映射到低动态范围的图像$O\left( {i,j} \right)$

      $$O\left( {i,j} \right) = {G_{I\left( {i,j} \right) + 1}}$$ (11)

      在裁剪过程中,首先将红外将图像分成若干个大小相同的区域,然后统计每块区域的灰度直方图,设置初始固定的裁剪阈值$ClipLimit$,对每块区域的直方图进行裁剪。统计每块区域裁剪掉的像素个数$Num$

      $$Num = \sum {{H_k}} - \sum {H{'_k}} $$ (12)

      为各区块设置新的裁剪阈值$newClip$

      $$newClip = ClipLmit - {q^\gamma } \cdot \left( {ClipLmit - \frac{{ClipLmit}}{8}} \right)$$ (13)
      $$q = \left( {\frac{{Nu{m_l} - Nu{m_{\min }}}}{{Nu{m_{\max }} - Nu{m_{\min }}}}} \right)$$ (14)

      式中:$Nu{m_{\min }}$$Nu{m_{\max }}$表示所有区域裁剪掉的像素个数中的最小值和最大值。

    • 图10为研制出的中波15 μm 1280×1024制冷红外成像组件样机。为了更好的验证所设计的红外成像组件结果,对样机进行了低噪声电路测试、NETD测试、高低温测试以及红外成像测试实验。

      图  10  中波15 μm 1280 × 1024制冷红外成像组件实物图

      Figure 10.  15 μm 1280 × 1024 cooled infrared imaging components

    • 采用KEYSIGHT公司的示波器对偏置电源的噪声进行采集,源输入端接地,采样率为125 Hz,每帧数据采集时间为20 s。经过增益为100 (40 dB)噪声测量电路的测量,模块电路的本底噪声RMS为109.5 μV,如图11所示。经过电压基准分压、滤波、缓冲输出后的电压V4的RMS噪声为350 μV,如图12所示。

      图  11  测量电路本底噪声RMS值图

      Figure 11.  RMS value of the noise floor of the measurement circuit

      图  12  输出电压V4的噪声频谱曲线

      Figure 12.  Noise spectrum curve of output voltage V4

      因此差分运放的偏置和共模电压经过AD转换后所产生的采用误差为2.87个LSB,满足低噪声图像采集的需求。

    • 图13为NETD测试图,采用OPTIKOS的测试系统靶盘上安装四杆靶、圆孔靶,将红外组件接驳50 mm聚焦镜头安装到旋转工作台上,对平型光管产生的目标靶标调焦到清晰状态。将红外组件整机的视频信号接入性能测试系统,按照GB/T 17444—2013测得NETD为23 mK。

      图  13  NETD测试图

      Figure 13.  NETD test picture

    • 采用广州五所环境仪器有限公司制造的高低温箱进行高低温实验,将探测器置于高低温腔内,调焦,对准外部人像进行拍摄。在高温60 ℃、低温−40 ℃的条件下断电保温2 h,继而上电连续工作1 h。图14(a)为低温−40 ℃图像,图14(b)为高温60 ℃低图像,在−40~60 ℃图像质量稳定且清晰。

      图  14  高低温成像图片。(a)低温−40 ℃图像;(b)高温60 ℃图像

      Figure 14.  High and low temperature imaging images. (a) −40 ℃; (b) 60 ℃

    • 探测器组件的数字图像接口接入计算机CameraLink采集卡,通电开机,探测器积分时间为12 ms,图像分辨率为1280×1024,探测器成像组件实现了数据采集、传输、以及图像处理功能。使用FrameLink Express采集卡采集数字图像,有效信号频率50 Hz。

    • 实时视频增强技术不同于图像增强,除了着眼于单帧图像的增强效果之外,还要考虑场景切换过程中视频流明暗变化的舒适性。尤其是一些特殊场景中的应用,例如天地模式、海天模式、高低温目标闯入等,背景空阔,目标稀少,场景切换时很容易造成明暗变化剧烈等不良观感。局部增强处理后不可避免地给图像带来了块闪烁效应,即视频画面前后之间出现分块明显的灰度闪烁现象。文中的自适应增强技术,能够有效的抑制此现象。如图15(a)所示,冰袋周围灰度值偏大,出现了低温物体“发光”的现象,与实际不符,图15(b)采用自适应的CLAHE算法,有效抑制了视频画面闪烁现象,缓解了场景变换过程中的明暗变化,增加观测的舒适度。

      图  15  块效应抑制现象效果图。(a)处理前;(b)处理后

      Figure 15.  Block inhibition implementation effect diagram. (a) Before processing; (b) After processing

      改进后的增强算法除了帧间动态比对之外,对单帧图像噪声抑制和增强效果也有明显提升。如图16所示,图16(a)为传统的CLAHE,传统的CLAHE用固定的裁剪阈值$ClipLimit$图16(b)为文中设计的自适应CLAHE方法,自适应的设置每块区域的阈值 ClipLimit 。其中红色方框的放大图在其下方,当分块区域内的场景较平滑时,当设置统一的裁剪阈值时,平滑区域的直方图会被裁剪掉更多的像素数,此时,适当降低平滑区域的裁剪阈值,并将像素个数均匀分配到灰度空间上后,有效压缩了分块区域内的噪声空间,可解决现有红外图像增强算法的局部噪声放大问题。

      图  16  CLAHE实现效果图。(a)传统CLAHE; (b)优化的CLAHE

      Figure 16.  CLAHE implementation effect diagram. (a) Traditional CLAHE; (b) Optimized CLAHE

      文中采用图像全局MSE1均方根体现图像细节与整体对比度。MSE2越大,说明图像细节越多,对比度越好。采用局部平坦区域计算MSE1,表示噪声信息。区域MSE1越大说明噪声越明显。如表3所示。

      表 3  MSE对比

      Table 3.  MSE Comparison

      Algorithm
      MSE
      TraditionalCLAHEOptimized CLAHE
      Interested area (MSE1) 5.46 110.91 37.36
      Total image (MSE2) 2709.55 2716.88 2782.73

      相比于传统方法、CLAHE,文中优化的CLAHE的全局MSE2更高,则图像细节越多,对比度越好。采用局部平坦区域计算MSE1,传统方法的MSE1最低,噪声也最低,但是细节和对比度相对较差,CLAHE后图像的视觉效果更好,但是噪声较大,而优化的CLAHE既能够保证了好的图像细节和高的对比度,也有效的降低了图像噪声。

    • 图17给出了研制的数字探测器在双FPGA构架下整体的成像效果图,其中图17(a)为传统的成像效果和文中的方法的对比图。文中红外探测器组件所采用的改进处理算法,图像质量得到明显提升。

      图  17  数字探测器成像图片。(a)传统的成像效果; (b)优化的成像效果

      Figure 17.  Digital detector imaging picture. (a) Traditional; (b) Optimized

    • 文中主要基于国产的15 μm 1280×1024中波HgCdTe探测器,研制出高质量、低噪声、小体积的制冷型红外机芯组件。设计的结构与组件围绕探测器的尺寸包络进行设计,突破小体积、轻量化、一体化设计;根据信号的带宽与压摆率,选择合适的低噪声高速运放与高速ADC,实现了低噪声采集电路设计。以双FPGA架构为主处理平台实现了大面阵的信息采集、处理,并在该平台上开发了机芯组件所采用的红外图像关键算法,优化了非均匀性校正的问题,提出了优化CLHAE算法,解决现有红外图像增强算法的局部噪声放大问题,并能够有效抑制块效应。针对工程应用,测试了环境适应性和关键指标性能,满足目前工程应用要求。

参考文献 (13)

目录

    /

    返回文章
    返回