留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于相位调制的运动目标多光谱关联成像研究

李美萱 王红 刘小涵 刘明 宋立军

李美萱, 王红, 刘小涵, 刘明, 宋立军. 基于相位调制的运动目标多光谱关联成像研究[J]. 红外与激光工程, 2021, 50(7): 20210184. doi: 10.3788/IRLA20210184
引用本文: 李美萱, 王红, 刘小涵, 刘明, 宋立军. 基于相位调制的运动目标多光谱关联成像研究[J]. 红外与激光工程, 2021, 50(7): 20210184. doi: 10.3788/IRLA20210184
Li Meixuan, Wang Hong, Liu Xiaohan, Liu Ming, Song Lijun. Research on multispectral correlation imaging of moving target based on phase modulation[J]. Infrared and Laser Engineering, 2021, 50(7): 20210184. doi: 10.3788/IRLA20210184
Citation: Li Meixuan, Wang Hong, Liu Xiaohan, Liu Ming, Song Lijun. Research on multispectral correlation imaging of moving target based on phase modulation[J]. Infrared and Laser Engineering, 2021, 50(7): 20210184. doi: 10.3788/IRLA20210184

基于相位调制的运动目标多光谱关联成像研究

doi: 10.3788/IRLA20210184
基金项目: 国家自然科学基金(11947060);吉林工程技术师范学院博士科研启动基金项目(BSKJ201826);吉林省产业创新专项基金(2019C025)
详细信息
    作者简介:

    李美萱,女,讲师,博士,主要从事多光谱关联成像技术、光学系统设计与制造方面的研究。

    通讯作者: 宋立军,男,教授,博士,研究方向为关联成像技术与应用、量子密码技术与应用和量子信息理论研究。
  • 中图分类号: O433.4;O431.2

Research on multispectral correlation imaging of moving target based on phase modulation

  • 摘要: 为克服扫描方式多光谱成像无法捕获动态场景下的多光谱数据,提出了一种基于相位调制实现运动目标单次曝光多光谱成像方法。该方法将关联成像技术、压缩感知技术与光谱成像相结合,在成像光路中引入空间随机相位调制器,对运动目标物体三维图谱信息数据进行调制和压缩,然后利用探测器获取二维混叠信号,实现单次曝光获取运动目标的三维图谱信息重构,具有光能利用率高、成像时间短、系统结构简单等优点。实验结果表明:单帧CCD探测信号的电子数均值从200 e按100 e的间隔增加到1300 e时,随着电子数均值增加,重构图像相对均方根误差rRMSE值对应减小,重构图像质量提高;当步进电机以30 Hz速度带动目标物体连续运动时,可获得较好质量运动物体的多光谱重构图像;采用光谱仪对目标物体中不同谱段的光谱分布曲线进行测试,所得结果与重构图像的光谱分布曲线相吻合,证明了该方法的有效性。研究结果对多光谱关联成像技术在无人机平台、动态监测等领域的应用提供了有益借鉴。
  • 图  1  GISC系统光路图

    Figure  1.  Light path diagram of GISC system

    图  2  GISC成像过程示意图

    Figure  2.  Schematic diagram of GISC imaging process

    图  3  外场实验装置图。①目标物体; ② SC100型步进电机; ③ SC步进电机控制器; ④ GISC相机; ⑤ RGB相机;⑥ KINGJOY VT-2500三脚架

    Figure  3.  Diagram of the experimental setup in the field. ① Target object; ② SC100 stepping motor; ③ SC stepping motor controller; ④ GISC camera; ⑤ RGB camera; ⑥ KINGJOY VT-2500 tripod

    图  4  单帧多光谱关联成像实验结果

    Figure  4.  Experimental results of single-frame multi-spectral correlation imaging

    图  5  不同电子数均值时,单帧探测信号和重构图像实验结果

    Figure  5.  Experimental results of single-frame detection signal and reconstructed image with different electron number averages

    图  6  $rRMSE$和电子数均值关系曲线图

    Figure  6.  Curve of the relationship between rRMSE and the mean number of electrons

    图  7  运动目标在不同时刻多光谱关联成像结果

    Figure  7.  Results of multi-spectral correlation imaging of moving targets at different moments

    图  8  USB4000-VIS-NIR光谱仪和GISC相机中彩色目标的光谱分布

    Figure  8.  Spectral distribution of color targets in USB4000-VIS-NIR spectrometer and GISC camera

    1,11,2$ \cdots $1,Q
    2,12,2$ \cdots $2,Q
    $ \vdots $$ \vdots $$ \ddots $$ \vdots $
    P,1P,2$ \cdots $P,Q
    下载: 导出CSV
    1,11,2$ \cdots $1,N
    2,12,2$ \cdots $2,N
    $ \vdots $$ \vdots $$ \ddots $$ \vdots $
    M,1M,2$ \cdots $M,N
    下载: 导出CSV
  • [1] 曹汛, 周凯来, 戴琼海. 计算光谱成像的前沿进展[J]. 中国计算机学会通讯, 2020, 16(9): 11-14.

    Cao Xun, Zhou Kailai, Dai Qionghai. Recent advances about computational spectral imaging[J]. Communications of The CCF, 2020, 16(9): 11-14. (in Chinese)
    [2] 周成. 基于非相干光关联成像方案研究[D]. 长春理工大学, 2017.

    Zou Cheng. Research on incoherent light correlation imaging scheme[D]. Changchun: Changchun University of Science and Technology, 2017. (in Chinese)
    [3] Tan Shiyu, Liu Zhentao, Li Enrong, et al. Hyperspectral compressed sensing based on prior images [J]. Acta Optica Sinica, 2015, 35(8): 120-128. (in Chinese)
    [4] Arce G R, Brady D J, Carin L, et al. Compressive coded aperture spectral imaging: An introduction [J]. IEEE Signal Processing Magazine, 2013, 31(1): 105-115.
    [5] Correa C V, Arguello H, Arce G R. Snapshot colored compressive spectral imager [J]. Journal of the Optical Society of America A, 2015, 32(10): 1754-1763. doi:  10.1364/JOSAA.32.001754
    [6] Parada-Mayorga A, Arce G R. Colored coded aperture design in compressive spectral imaging via minimum coherence [J]. IEEE Transactions on Computational Imaging, 2017, 3(2): 202-216. doi:  10.1109/TCI.2017.2692649
    [7] Fu C, Don M L, Arce G R. Compressive spectral imaging via polar coded aperture [J]. IEEE Transactions on Computational Imaging, 2016, 3(3): 408-420.
    [8] Shapiro J H. Computational ghost imaging [J]. Physical Review A, 2008, 78(6): 061802. doi:  10.1103/PhysRevA.78.061802
    [9] Wu Jianrong, Shen Xia, Yu Hong, et al. Snapshot compresive imaging by phase modulation [J]. Acta Optica Sinica, 2014, 34(10): 121-128. (in Chinese)
    [10] Brady D J, Gehm M E. Compressive imaging spectrometers using coded apertures [C]// Proceedings of SPIE-The International Society for Optical Engineering, 2006, 6246: 62460A.
    [11] Wagadarikar A A, Pitsianis N P, Sun X, et al. Video rate spectral imaging using a coded aperture snapshot spectral imager [J]. Optics Express, 2009, 17(8): 6368-6388. doi:  10.1364/OE.17.006368
    [12] Zhang Cong, Gong Wenlin, Han Shensheng. Ghost imaging for moving targets and its application in remote sensing [J]. Chinese Journal of Lasers, 2012, 39(12): 1214003. (in Chinese)
    [13] Zunwang B, Wenlin G, Shensheng H. Motion de-blurring by second-order intensity-correlated imaging [J]. Chinese Optics Letters, 2016, 14(7): 070301.
    [14] Wu J, Li E, Shen X, et al. Experimental results of the balloon-borne spectral camera based on ghost imaging via sparsity constraints [J]. IEEE Access, 2018, 6: 68740-68748. doi:  10.1109/ACCESS.2018.2879849
    [15] Li Meixuan, Wang Xue, Wang Hong, et al. Compressed multi-spectral ghost imaging using pu sh-broom based on superposing detected signals [J]. Acta Optica Sinica, 2020, 49(7): 0711002. (in Chinese)
    [16] 谭诗语. 结构压缩感知在多光谱强度关联成像中的应用研究[D]. 北京: 中国科学院大学, 2015: 31-55.

    Tan Shiyu. The application research of structured compressed sensing in multispectral ghost imaging[D]. Beijing: University of Chinese Academy of Sciences, 2015: 31-55. (in Chinese)
  • [1] 程永强, 王宏强, 曹凯程, 刘康, 罗成高.  微波关联成像研究进展及展望(特邀) . 红外与激光工程, 2021, 50(12): 20210790-1-20210790-21. doi: 10.3788/IRLA20210790
    [2] 谭威, 黄贤伟, 蒋腾, 付芹, 南苏琴, 邹璇彭凡, 白艳锋, 傅喜泉.  复杂环境下含噪信号光对关联成像的影响研究(特邀) . 红外与激光工程, 2021, 50(12): 20210657-1-20210657-17. doi: 10.3788/IRLA20210657
    [3] 刘瑞丰, 赵书朋, 李福利.  单像素复振幅成像(特邀) . 红外与激光工程, 2021, 50(12): 20210735-1-20210735-16. doi: 10.3788/IRLA20210735
    [4] 张赛文, 邓亚琦, 王冲, 冷潇泠, 张光富, 文兵, 邓杨保, 谭伟石, 田野, 李稳国.  基于多测量矢量压缩感知的超分辨荧光显微成像研究 . 红外与激光工程, 2021, 50(11): 20210484-1-20210484-8. doi: 10.3788/IRLA20210484
    [5] 黄见, 时东锋, 孟文文, 查林彬, 孙宇松, 苑克娥, 胡顺星, 王英俭.  光谱编码计算关联成像技术研究 . 红外与激光工程, 2021, 50(1): 20200120-1-20200120-8. doi: 10.3788/IRLA20200120
    [6] 田鹤, 毛宏霞, 刘铮, 曾铮.  机载逆合成孔径激光雷达微动目标稀疏成像 . 红外与激光工程, 2020, 49(S2): 20200190-20200190. doi: 10.3788/IRLA20200190
    [7] 李美萱, 张斯淇, 李宏, 李楠, 任雨轩, 田嘉龙.  基于单次曝光多光谱关联成像系统带通滤波器的研究 . 红外与激光工程, 2020, 49(9): 20200169-1-20200169-7. doi: 10.3788/IRLA20200169
    [8] 安晓峰, 李艳秋, 马海钰, 桑爱军.  Hadamard编码调制关联成像的阈值处理研究 . 红外与激光工程, 2018, 47(10): 1041002-1041002(6). doi: 10.3788/IRLA201847.1041002
    [9] 张家民, 时东锋, 黄见, 王英俭.  全Stokes偏振关联成像技术研究 . 红外与激光工程, 2018, 47(6): 624001-0624001(8). doi: 10.3788/IRLA201847.0624001
    [10] 王忠良, 冯文田, 粘永健.  结合光谱解混与压缩感知的高光谱图像有损压缩 . 红外与激光工程, 2018, 47(S1): 189-196. doi: 10.3788/IRLA201847.S126003
    [11] 时东锋, 黄见, 苑克娥, 王英俭, 谢晨波, 刘东, 朱文越.  空间编码复用散斑多信息融合关联成像(特邀) . 红外与激光工程, 2018, 47(5): 502001-0502001(8). doi: 10.3788/IRLA201847.0502001
    [12] 袁影, 王晓蕊, 吴雄雄, 穆江浩, 张艳.  多孔径压缩编码超分辨率大视场成像方法 . 红外与激光工程, 2017, 46(8): 824001-0824001(7). doi: 10.3788/IRLA201746.0824001
    [13] 王中阳, 周燕飞, 张小伟, 沈灏, 李恩荣, 韩申生, 宓现强, 田立君, 彭玉峰.  基于随机采样的超高分辨率成像中快速压缩感知分析 . 红外与激光工程, 2017, 46(2): 201002-0201002(7). doi: 10.3788/IRLA201746.0201002
    [14] 梁振宇, 樊祥, 程正东, 朱斌, 陈熠.  任意阶运动目标强度关联成像 . 红外与激光工程, 2017, 46(8): 824002-0824002(8). doi: 10.3788/IRLA201746.0824002
    [15] 范有臣, 赵洪利, 孙华燕, 郭惠超, 赵延仲.  互相关算法在运动目标距离选通激光三维成像中的应用 . 红外与激光工程, 2016, 45(6): 617003-0617003(9). doi: 10.3788/IRLA201645.0617003
    [16] 侯晴宇, 张树青.  单探测器共孔径多光谱成像系统设计 . 红外与激光工程, 2015, 44(5): 1638-1642.
    [17] 杨卫, 赵迪, 刘前进.  针对运动目标感知的动静态双坐标探测系统 . 红外与激光工程, 2014, 43(1): 279-283.
    [18] 谭歆, 冯晓毅, 王保平.  稀疏带状测量矩阵在压缩感知ISAR成像中的应用 . 红外与激光工程, 2013, 42(11): 3137-3143.
    [19] 朱丰, 张群, 冯有前, 罗迎, 李开明, 梁必帅.  逆合成孔径激光雷达鸟类目标压缩感知识别方法 . 红外与激光工程, 2013, 42(1): 256-261.
    [20] 陈春利, 谢红梅, 彭进业, 王志成, 王保平.  压缩感知机动目标ISAR成像新方法 . 红外与激光工程, 2013, 42(8): 2269-2274.
  • 加载中
图(8) / 表(2)
计量
  • 文章访问数:  236
  • HTML全文浏览量:  93
  • PDF下载量:  49
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-03-18
  • 修回日期:  2021-05-30
  • 刊出日期:  2021-07-23

基于相位调制的运动目标多光谱关联成像研究

doi: 10.3788/IRLA20210184
    作者简介:

    李美萱,女,讲师,博士,主要从事多光谱关联成像技术、光学系统设计与制造方面的研究。

    通讯作者: 宋立军,男,教授,博士,研究方向为关联成像技术与应用、量子密码技术与应用和量子信息理论研究。
基金项目:  国家自然科学基金(11947060);吉林工程技术师范学院博士科研启动基金项目(BSKJ201826);吉林省产业创新专项基金(2019C025)
  • 中图分类号: O433.4;O431.2

摘要: 为克服扫描方式多光谱成像无法捕获动态场景下的多光谱数据,提出了一种基于相位调制实现运动目标单次曝光多光谱成像方法。该方法将关联成像技术、压缩感知技术与光谱成像相结合,在成像光路中引入空间随机相位调制器,对运动目标物体三维图谱信息数据进行调制和压缩,然后利用探测器获取二维混叠信号,实现单次曝光获取运动目标的三维图谱信息重构,具有光能利用率高、成像时间短、系统结构简单等优点。实验结果表明:单帧CCD探测信号的电子数均值从200 e按100 e的间隔增加到1300 e时,随着电子数均值增加,重构图像相对均方根误差rRMSE值对应减小,重构图像质量提高;当步进电机以30 Hz速度带动目标物体连续运动时,可获得较好质量运动物体的多光谱重构图像;采用光谱仪对目标物体中不同谱段的光谱分布曲线进行测试,所得结果与重构图像的光谱分布曲线相吻合,证明了该方法的有效性。研究结果对多光谱关联成像技术在无人机平台、动态监测等领域的应用提供了有益借鉴。

English Abstract

    • 光谱成像技术可以揭示自然物质光信息的波动本质,光谱图像具有精细的场景信息刻画能力,在气象观测、土地规划、医疗诊断、植被分类、军事侦察、资源勘测、地震监测、灾害预防等诸多领域具有重大的应用前景。

      多光谱成像技术从成像时间维度上可以分为基于多次曝光的扫描方式和单次曝光的计算成像方法。传统的扫描方式一般只能获得静止的光谱图像,计算成像方法可以通过单次曝光,利用计算重构调制后的光谱数据获取动态场景下的多光谱数据,实现光谱成像由“静”到“动”的拓展[1]。关联成像技术作为一种新型的计算成像方法,主要通过参考光场对目标进行调制,利用光场的涨落和高阶关联获取目标图像信息,可以实现更高的信息获取效率[2]。压缩感知理论是一种全新的信号采集、编解码理论,将压缩感知理论应用于多光谱成像技术获得了广泛的研究[3-7]。目前,关联成像技术多采用主动光源,而采用太阳光作为光源则必须实时获取太阳光的涨落信息,在成像过程中具有很大的局限性[8]。将关联成像技术与压缩感知理论相结合,并应用于多光谱成像系统中,通过空间随机相位调制器实现对光谱维和空间二维的三维随机压缩采样,大大提高了系统的信息获取能力和效率[9]

      近年来,不少学者提出有关利用计算成像理论分析运动目标光谱成像的方案。美国杜克大学的Brady利用压缩感知原理进行编码光圈快照光谱成像(CASSI)[10],在欠定条件下重构光谱的三维数据立方体。此后又提出了直视型编码孔径快照式光谱成像仪(DV-CASSI)[11],该方案用CCD面阵探测器采集空间与光谱混叠的复合图像,再通过图像重构算法将采集的运动目标复合图像重构成三维数据立方体。2012年,中国科学院上海光学精密机械研究所的龚文林等提出了基于参考臂探测器记录的光场强度分布平移补偿进而提高运动目标强度关联成像分辨率的方案[12],开展了强度关联成像领域中对于运动目标成像的研究,解决了目标与系统之间的相对运动引起的图像退化问题。2016年,该小组研究了目标与探测平面的相对运动对二阶强度相关成像分辨率的影响[13],分析了利用散斑图样的相位反演方法能够获得高分辨率成像。2018年,中国科学院上海光学精密机械研究所的吴建荣等[14]利用系留气球装载多光谱关联成像原理样机,对试验目标和自然景物进行了单次曝光多光谱关联成像实验研究。

      文中结合多光谱成像技术、关联成像技术以及压缩感知理论,提出了利用相位调制的方式通过单次曝光获取运动目标重构图像信息的方案。理论分析了成像原理和编码过程,通过实验研究揭示不同电子数均值探测信号与运动目标重构图像质量之间的关系,从而为多光谱视频成像及其应用提供一种新的研究思路。

    • 基于稀疏约束关联成像光谱相机(Ghost Imaging via Sparsity Constraints,GISC)的系统光路图如图1所示,目标物体置于焦距为${f_1}$的透镜焦平面上,经焦距为${f_2}$的前置成像透镜成像到视场光阑所在的前置成像面上,在前置成像面上获得一幅宽波段图像。调制模块中的空间相位调制器将前置成像面上宽波段图像上每个点发出的光场进行随机相位调制,经调制后形成一幅散斑图样。中继成像透镜将调制后的散斑图放大成像于面阵光电探测器上。通过对散斑场的单次曝光探测,结合事先标定的测量矩阵和压缩感知等重构算法,利用计算机重构出目标的三维光谱图像[15]

      图  1  GISC系统光路图

      Figure 1.  Light path diagram of GISC system

      在实际探测时,探测面获取的光强分布为:

      $${I_c}({r_t}) = \iint {{I_b}({r_i},{\lambda _l}){h_I}({r_t};{r_i},{\lambda _l}){\rm d}{r_i}{\rm d}{\lambda _l}}$$ (1)

      式中:${I_c}({r_t})$表示探测面上的光强分布;${I_b}({r_i},{\lambda _l})$表示多光谱物体的光强分布;${h_I}({r_t};{r_i},{\lambda _l})$表示物面上${r_i}$处位置波长为${\lambda _l}$的单色点光源发出的光在探测面上产生的光强分布。对前置成像面上视场范围进行如下的像素网格划分:

      1,11,2$ \cdots $1,Q
      2,12,2$ \cdots $2,Q
      $ \vdots $$ \vdots $$ \ddots $$ \vdots $
      P,1P,2$ \cdots $P,Q

      对探测面进行像素网格划分(每个网格代表探测器上的一个像元):

      1,11,2$ \cdots $1,N
      2,12,2$ \cdots $2,N
      $ \vdots $$ \vdots $$ \ddots $$ \vdots $
      M,1M,2$ \cdots $M,N

      多光谱关联成像探测过程如下:

      $${y_{mn}} = \sum\limits_{s = 1}^S {\sum\limits_{p = 1}^P {\sum\limits_{q = 1}^Q {A_{mn,pq}^{{\lambda _s}}X_{pq}^{{\lambda _s}}} } } + {\varsigma _{mn}}$$ (2)

      式中:${X}_{pq}^{{\lambda }_{s}}\left(p=1,\cdots ,P;\;q=1,\cdots ,Q\right)$ 表示前置成像面上第pq列像素在s个谱段中$s\left( {s = 1, \cdots ,S} \right)$重构的多光谱图像信息;${A}_{mn,pq}^{{\lambda }_{s}}\left(m=1,\cdots ,M; \;n=1,\cdots ,N\right)$表示成像系统标定点光源在物面上第pq列像素上移动时,探测面CCD第mn列像元得到的光强度值;$y_{mn}$表示成像时探测面上第mn列探测信号的强度分布;$\varsigma $表示探测信号噪声。

      设探测面上的探测信号强度分布为:

      $$ Y = {[{y_{11}}, \cdots ,{y_{M1}}, \cdots ,{y_{12}}, \cdots {y_{M2}}, \cdots \cdots ,{y_{1N}}, \cdots ,{y_{MN}}]^{\rm{T}}} $$ (3)

      根据GISC相机成像模型,目标物体的多光谱图像重构通过求解如下优化问题实现:

      $$\mathop {\min }\limits_x \left\| {\left. {Y - AX} \right\|} \right._2^2 + {\mu _1}{\left\| {\left. {{\nabla _{i,j}}X} \right\|} \right._1} + {\mu _2}{\left\| {\left. X \right\|} \right._ * },s.t.x \geqslant 0$$ (4)

      其中,A为前置成像面上各个像素发出的单色光经过空间相位调制器生成的散斑矩阵:

      $$A = \left[ {\begin{array}{*{20}{c}} {a_{11,11}^{{\lambda _1}}}& \cdots &{a_{11,p1}^{{\lambda _1}}}& \cdots &{a_{11,1q}^{{\lambda _1}}}& \cdots &{a_{11,pq}^{{\lambda _1}}}& \cdots &{a_{11,11}^{{\lambda _s}}}& \cdots &{a_{11,p1}^{{\lambda _s}}}& \cdots &{a_{11,1q}^{{\lambda _s}}}& \cdots &{a_{11,pq}^{{\lambda _s}}} \\ \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots \\ {a_{m1,11}^{{\lambda _1}}}& \cdots &{a_{m1,p1}^{{\lambda _1}}}& \cdots &{a_{m1,1q}^{{\lambda _1}}}& \cdots &{a_{m1,pq}^{{\lambda _1}}}& \cdots &{a_{m1,11}^{{\lambda _s}}}& \cdots &{a_{m1,p1}^{{\lambda _s}}}& \cdots &{a_{m1,1q}^{{\lambda _s}}}& \cdots &{a_{m1,pq}^{{\lambda _s}}} \\ {a_{12,11}^{{\lambda _1}}}& \cdots &{a_{12,p1}^{{\lambda _1}}}& \cdots &{a_{12,1q}^{{\lambda _1}}}& \cdots &{a_{12,pq}^{{\lambda _1}}}& \cdots &{a_{12,11}^{{\lambda _s}}}& \cdots &{a_{12,p1}^{{\lambda _s}}}& \cdots &{a_{12,1q}^{{\lambda _s}}}& \cdots &{a_{12,pq}^{{\lambda _s}}} \\ \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots \\ {a_{m2,11}^{{\lambda _1}}}& \cdots &{a_{m2,p1}^{{\lambda _1}}}& \cdots &{a_{m2,1q}^{{\lambda _1}}}& \cdots &{a_{m2,pq}^{{\lambda _1}}}& \cdots &{a_{m2,11}^{{\lambda _s}}}& \cdots &{a_{m2,p1}^{{\lambda _s}}}& \cdots &{a_{m2,1q}^{{\lambda _s}}}& \cdots &{a_{m2,pq}^{{\lambda _s}}} \\ \vdots & \vdots & \vdots &{}& \vdots & \vdots & \vdots &{}& \vdots & \vdots & \vdots &{}& \vdots & \vdots & \vdots \\ {a_{1n,11}^{{\lambda _1}}}& \cdots &{a_{1n,p1}^{{\lambda _1}}}& \cdots &{a_{1n,1q}^{{\lambda _1}}}& \cdots &{a_{1n,pq}^{{\lambda _1}}}& \cdots &{a_{1n,11}^{{\lambda _s}}}& \cdots &{a_{1n,p1}^{{\lambda _s}}}& \cdots &{a_{1n,1q}^{{\lambda _s}}}& \cdots &{a_{1n,pq}^{{\lambda _s}}} \\ \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots &{}& \vdots & \ddots & \vdots \\ {a_{mn,11}^{{\lambda _1}}}& \cdots &{a_{mn,p1}^{{\lambda _1}}}& \cdots &{a_{mn,1q}^{{\lambda _1}}}& \cdots &{a_{mn,pq}^{{\lambda _1}}}& \cdots &{a_{mn,11}^{{\lambda _s}}}& \cdots &{a_{mn,p1}^{{\lambda _s}}}& \cdots &{a_{mn,1q}^{{\lambda _s}}}& \cdots &{a_{mn,pq}^{{\lambda _s}}} \end{array}} \right]$$ (5)

      X为需要计算重构的多光谱图像信息按像素网格中先列后行顺序排列而成的列向量:

      $$\begin{split} X = &[x_{11}^{{\lambda _1}}, \cdots ,x_{P1}^{{\lambda _1}}, \cdots \cdots ,x_{1Q}^{{\lambda _1}}, \cdots x_{PQ}^{{\lambda _1}}, \cdots \cdots ,x_{11}^{{\lambda _s}}, \cdots ,\\ &x_{P1}^{{\lambda _s}}, \cdots \cdots ,x_{1Q}^{{\lambda _s}}, \cdots x_{PQ}^{{\lambda _s}}]^{\rm T} \end{split}$$ (6)

      ${\left\| {\left. {{\nabla _{i,j}}X} \right\|} \right._1}$为梯度范数,相当于提取图像的分段边缘,使变换后的图像更加稀疏;${\left\| {\left. X \right\|} \right._ * }$表示矩阵核范数,表明多光谱图像矩阵的低秩性;${\mu _1},{\mu _2} \geqslant 0$为各约束项的权重系数。文中采用TV-RANK压缩感知算法进行图像重构[16]

      上述GISC成像过程示意图如图2所示。

      图  2  GISC成像过程示意图

      Figure 2.  Schematic diagram of GISC imaging process

      首先,通过单次曝光获取CCD探测信号,代入公式(4)得到重构的多光谱灰度图像,然后对不同光谱的重构图像进行伪彩色处理,最后通过图像融合算法将不同波长的多光谱图像合成一幅彩色图像。

    • 基于运动目标的单次曝光多光谱关联成像外场实验装置如图3所示。原理样机成像系统由一个GISC相机和一个监视相机组成,固定在地面三脚架上。实验参数为:GISC相机光谱范围450~700 nm,15个光谱通道,光谱分辨率<20 nm,像元分辨率≥0.5 mrad。GISC相机和监视相机的曝光时间设置为40 ms。待测目标物体由长123 mm、高50 mm的彩色玩具车和长28 mm、高34 mm的黄色安全警示锥形桶组成,其中彩色玩具车作为运动目标物体,黄色安全警示锥形桶作为静止参考物体。利用步进精度为0.001 mm/s的SC100型步进电机以30 Hz的运行速度带动目标物体运动成像。采用日光作为照明光源,待测目标物体在距原理样机3.5 m处,成像视场宽范围60 mm×610 mm。

      图  3  外场实验装置图。①目标物体; ② SC100型步进电机; ③ SC步进电机控制器; ④ GISC相机; ⑤ RGB相机;⑥ KINGJOY VT-2500三脚架

      Figure 3.  Diagram of the experimental setup in the field. ① Target object; ② SC100 stepping motor; ③ SC stepping motor controller; ④ GISC camera; ⑤ RGB camera; ⑥ KINGJOY VT-2500 tripod

      单帧多光谱关联成像实验结果如图4所示。当CCD记录的电子数均值为1300 e时,GISC相机通过单次曝光获取的CCD探测信号;利用事先标定好的测量矩阵和公式(4)得到重构的多光谱灰度图像如图4(a)所示,15个光谱通道波长分别为461、474、487、501、515、530、545、561、578、590、614、633、653、674、698 nm。对图4(a)的不同波长重构图像进行伪彩色处理,得到多光谱图像重构结果如图4(b)所示,最后合成的彩色融合图为图4(c)。与图3中①图待测目标物体相比较,得到了较高质量的目标物体形状和光谱信息重构结果。

      图  4  单帧多光谱关联成像实验结果

      Figure 4.  Experimental results of single-frame multi-spectral correlation imaging

      为进一步考察GISC相机的探测信号值对多光谱图像重构质量的影响,将CCD记录的电子数均值参数设置为以100e的间隔从200e增加至1300e,CCD探测信号实际结果如图5(a)所示,对应不同电子数均值的多光谱图像彩色融合图重构结果如图5(b)所示。对比图5(a)图5(b)可以发现:当电子数均值为200e时,重构图像质量较低,存在噪声较大;随着电子数均值逐渐增大,重构图像质量也相应不断提高,噪声随之减小;当电子数均值为1300e时,可以获得较高质量的重构图像。

      图  5  不同电子数均值时,单帧探测信号和重构图像实验结果

      Figure 5.  Experimental results of single-frame detection signal and reconstructed image with different electron number averages

      为进一步说明探测信号值对多光谱图像重构质量的影响,采用相对均方根误差(rRMSE)来评价图像重构质量,定义如下:

      $${{rRMSE}} = \sqrt {\frac{{\rm{1}}}{{{{M}} \times {{N}}}}\sum\nolimits_{{{m}},n = 1}^{M,N} {\left[ {x_{ref}^ * (m,n) - {x^ * }(m,n)} \right]} } $$ (7)

      式中:MN为CCD探测面上的行数和列数;$x_{ref}^ * $为参考图像(实验中为电子数均值为1400 e的单帧多光谱图像);${x^ * }$为重构图像。rRMSE值越小,重构图像质量越好。

      图6$rRMSE$随电子数均值变化关系曲线图。由图6可以看出,当电子数均值为200 e时,重构图像的$rRMSE$值为0.1989,当电子数均值增加至1300 e时,$rRMSE$值为0.0119,随着电子数均值的增加,$rRMSE$值单调下降,重构图像质量明显提高。

      图  6  $rRMSE$和电子数均值关系曲线图

      Figure 6.  Curve of the relationship between rRMSE and the mean number of electrons

      下面分析运动目标的多光谱关联成像规律。利用步进电机以30 Hz的速度带动物体以0.6 mm/s的速度做连续匀速直线运动,多光谱关联成像重构结果如图7(b)所示。在初始位置,彩色玩具车与黄色安全警示锥形桶距离450 mm。当运动时间为100 s时,彩色玩具车向黄色安全警示锥形桶移动了60 mm;当运动时间增加到200 s时,彩色玩具车移动了120 mm,距离锥形桶330 mm;当运动时间为500 s时,彩色玩具车移动的总位移为300 mm,距离锥形桶150 mm。对比图7(a)图7(b)可以发现:GISC相机拍摄的运动目标多光谱图像重构结果与监视相机在不同时刻所拍摄目标物体的RGB图像运动规律完全相同;但在相同位置处,RGB相机只能拍摄3个光谱通道,而由图4可知GISC相机能够获得15个光谱通道,可以从待测运动目标重构图像中提取更加丰富的光谱特征。

      图  7  运动目标在不同时刻多光谱关联成像结果

      Figure 7.  Results of multi-spectral correlation imaging of moving targets at different moments

      为了进一步说明实验的可行性,采用USB4000-VIS-NIR光谱仪对目标物体中450~700 nm不同颜色的光谱分布进行了测试,并与GISC相机拍摄的重构图像实测光谱曲线进行对比分析,如图8所示。采用商用光谱仪测试目标物体中蓝色、绿色、黄色、橙色和红色部分光谱曲线的波峰分别位于481、513、587、608、638 nm,实测重构图像中对应部分光谱曲线的波峰位于490、519、593、614、640 nm。实验结果与商用光谱仪测试结果误差小于10 nm,主要是由于实验标定系统产生的误差。

      图  8  USB4000-VIS-NIR光谱仪和GISC相机中彩色目标的光谱分布

      Figure 8.  Spectral distribution of color targets in USB4000-VIS-NIR spectrometer and GISC camera

    • 针对传统多光谱相机对运动目标探测灵敏度低、采样次数多、光能损失严重等问题,将多光谱成像技术、关联成像技术以及压缩感知理论相结合,在成像光路中引入空间随机相位调制器,提出了基于运动目标的单次曝光多光谱关联成像方案,系统具有能量利用率高、信息获取效率快、单次曝光即可获取三维“数据立方体”信息等优点。理论分析了GISC相机对运动目标成像的原理和编码过程,并在外场环境下完成了运动目标的单次曝光多光谱关联成像实验。结果表明,多光谱关联重构图像质量随着电子数均值的增加而提高,可实现与监视相机RGB图像相同规律的运动物体图像重构,具有更加丰富的光谱特征。商用光谱仪测试结果验证了多光谱重构图像具有较高的光谱复原精度。

      致 谢 感谢中国科学院上海光学精密机械研究所吴建荣的有益讨论。

参考文献 (16)

目录

    /

    返回文章
    返回