留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于自适应对焦窗口的计算鬼成像目标深度估计方法

石峰 余大权 林子韬 杨书宁 苗壮 杨晔 张闻文

石峰, 余大权, 林子韬, 杨书宁, 苗壮, 杨晔, 张闻文. 基于自适应对焦窗口的计算鬼成像目标深度估计方法[J]. 红外与激光工程, 2020, 49(3): 0303020-0303020-8. doi: 10.3378/IRLA202049.0303020
引用本文: 石峰, 余大权, 林子韬, 杨书宁, 苗壮, 杨晔, 张闻文. 基于自适应对焦窗口的计算鬼成像目标深度估计方法[J]. 红外与激光工程, 2020, 49(3): 0303020-0303020-8. doi: 10.3378/IRLA202049.0303020
Shi Feng, Yu Daquan, Lin Zitao, Yang Shuning, Miao Zhuang, Yang Ye, Zhang Wenwen. Depth estimation in computational ghost imaging system using auto-focusing method with adaptive focus window[J]. Infrared and Laser Engineering, 2020, 49(3): 0303020-0303020-8. doi: 10.3378/IRLA202049.0303020
Citation: Shi Feng, Yu Daquan, Lin Zitao, Yang Shuning, Miao Zhuang, Yang Ye, Zhang Wenwen. Depth estimation in computational ghost imaging system using auto-focusing method with adaptive focus window[J]. Infrared and Laser Engineering, 2020, 49(3): 0303020-0303020-8. doi: 10.3378/IRLA202049.0303020

基于自适应对焦窗口的计算鬼成像目标深度估计方法

doi: 10.3378/IRLA202049.0303020
基金项目: 国家自然科学基金(61501242);江苏省前沿引领技术基础研究专项(BK20192003)
详细信息
    作者简介:

    石峰(1968-),男,研究员,博士,主要从事微光夜视的研究。Email:shfyf@126.com

    通讯作者: 张闻文(1981-),女,副研究员,博士,主要从事光电成像探测与信号处理的研究。Email:zhangww@njust.edu.cn
  • 中图分类号: O436

Depth estimation in computational ghost imaging system using auto-focusing method with adaptive focus window

  • 摘要:

    在计算鬼成像(Computational ghost imaging,CGI)系统中,可以通过估计重构图像的模糊程度获取目标的轴向深度。但该方法易受到背景噪声干扰,且要求像质评价函数有较长的工作距离,导致所需的采样次数较高,限制其实用性。针对这一问题,提出了一种基于自适应对焦窗口的目标深度估计方法。首先根据评价函数的整体特征划分搜索区间,然后在给定区域内对目标实际轴向深度进行迭代搜索。在迭代过程中,通过设计自适应窗口,有效减少背景区域的同时,也保证了窗口内目标的完整性。实验结果表明:该方法大幅降低了评价函数所需的必要工作距离,使其在欠采样条件下同样适用,也减小了背景噪声对评价函数的影响,增强了算法的鲁棒性,进一步完善了基于计算鬼成像系统的深度估计方法。

  • 图  1  实验装置示意图

    Figure  1.  Experimental setup

    图  2  目标为双缝时,不同采样数下DBC曲线和相应离散一阶导数曲线。(a)采样5000次;(b)采样2 000次

    Figure  2.  DBC curves and the first derivative of DBC curves with different sampling numbers when the object is a double-slit. (a) 5000 samplings; (b) 2000 samplings

    图  3  区域生长法流程图

    Figure  3.  Process of Seeded Region Growing

    图  4  目标‘5’的过分割图像以及窗口扩展方式示意图。(a) 重构图像目标‘5’,右上角为选定的先验背景窗口;(b) 过分割的图像;(c)窗口扩展方式示意图,其中阴影部分为增量窗口$\Delta W_j^i$;(d)-(f)统一窗口示意图;(g)参数示意图

    Figure  4.  Over-segmented image of object ‘5’ and diagram of windows expansion. (a) object image '5', the top right corner is the selected a priori background window; (b) Over-segmented image; (c) Diagram of windows expansion, where the shaded area is an incremental window (d)-(f) unifying the adaptive windows ; (g) table of parameters

    图  5  目标‘3’和目标‘4’的搜索过程以及在每个迭代位置的自适应窗口图像。(a)、(c)目标‘3’和‘4’的搜索过程;(b)、(d) 每个迭代位置的自适应窗口图像

    Figure  5.  Searching processes of object’3’and object’4’; Adaptive windows in each iterations. (a), (c) Searching processes of object’3’and object’4’; (b), (d) Adaptive windows in each iterations

    图  6  目标‘3’和目标‘4’在采样数$M = 5\;000$时传统固定对焦窗口算法和自适应对焦窗口算法的DBC离散一阶导数曲线。(a)目标‘3’;(b)目标‘4’

    Figure  6.  The first derivative of DBC curves of object ‘3’and object’4’based on traditional fixed focus window and proposed adaptive windows with 5 000 samplings. (a) object’3’; (b) object’4’

    图  7  目标‘3’和目标‘5’在采样数$M = 2\;000$时传统固定对焦窗口算法和自适应对焦窗口算法的DBC离散一阶导数曲线。(a)目标‘3’;(b)目标‘5’

    Figure  7.  The first derivative of DBC curves of object ‘3’and object’5’ based on traditional fixed focus window and proposed adaptive windows with 2 000 samplings. (a) object’3’;(b) object’5’

    图  8  验证低采样条件下使用自适应对焦窗口方法的有效性。(a)、(c)在目标所在轴向位置重构目标,作为参照图像;(b)、(d)在自适应窗口内重构目标图像。

    Figure  8.  Verify the proposed method with low samplings. (a), (c) The images of objects reconstructed at their axial positions (reference images); (b), (d) images of objects reconstructed using the adaptive focusing windows.

    表  1  z =L/4,z=L/2,z=3L/4处DBC值的比较

    Table  1.   Comparison of DBC value at z =L/4,z=L/2,z=3L/4

    Distance(z)/cm91317
    Object 3/$ \times {\rm{1}}{{\rm{0}}^{\rm{7}}}$4.8273.7683.346
    Object 4/$ \times {\rm{1}}{{\rm{0}}^{\rm{7}}}$6.0806.6928.854
    下载: 导出CSV
  • [1] Bennink R S, Bentley S J, Boyd R W. “Two-photon” coincidence imaging with a classical source [J]. Physical Review Letters, 2002, 89(11): 113601. doi:  10.1103/PhysRevLett.89.113601
    [2] Gatti A, Brambilla E, Bache M, et al. Ghost imaging with thermal light: comparing entanglement and classical correlation [J]. Physical Review Letters, 2004, 93(9): 093602. doi:  10.1103/PhysRevLett.93.093602
    [3] Gatti A, Brambilla E, Bache M, et al. Correlated imaging, quantum and classical [J]. Physical Review A, 2004, 70(1): 013802. doi:  10.1103/PhysRevA.70.013802
    [4] Cheng J, Han S. Incoherent coincidence imaging and its applicability in X-ray diffraction [J]. Physical Review Letters, 2004, 92(9): 093903. doi:  10.1103/PhysRevLett.92.093903
    [5] Pittman T B, Shih Y H, Strekalov D V, et al. Optical imaging by means of two-photon quantum entanglement [J]. Physical Review A, 1995, 52(5): R3429. doi:  10.1103/PhysRevA.52.R3429
    [6] Ferri F, Magatti D, Lugiato L A, et al. Differential ghost imaging [J]. Physical Review Letters, 2010, 104(25): 253603. doi:  10.1103/PhysRevLett.104.253603
    [7] Sun B, Welsh S S, Edgar M P, et al. Normalized ghost imaging [J]. Optics Express, 2012, 20(15): 16892−16901. doi:  10.1364/OE.20.016892
    [8] Chan K W C, O'Sullivan M N, Boyd R W. High-order thermal ghost imaging [J]. Optics Letters, 2009, 34(21): 3343−3345. doi:  10.1364/OL.34.003343
    [9] Meyers R E, Deacon K S, Shih Y. Turbulence-free ghost imaging [J]. Applied Physics Letters, 2011, 98(11): 111115. doi:  10.1063/1.3567931
    [10] Meyers R E, Deacon K S, Shih Y. Positive-negative turbulence-free ghost imaging [J]. Applied Physics Letters, 2012, 100(13): 131114. doi:  10.1063/1.3698158
    [11] Zhao C, Gong W, Chen M, et al. Ghost imaging lidar via sparsity constraints [J]. Applied Physics Letters, 2012, 101(14): 141123. doi:  10.1063/1.4757874
    [12] Shapiro J H. Computational ghost imaging [J]. Physical Review A, 2008, 78(6): 061802. doi:  10.1103/PhysRevA.78.061802
    [13] Bromberg Y, Katz O, Silberberg Y. Ghost imaging with a single detector [J]. Physical Review A, 2009, 79(5): 053840. doi:  10.1103/PhysRevA.79.053840
    [14] Sun B, Edgar M P, Bowman R, et al. 3D computational imaging with single-pixel detectors [J]. Science, 2013, 340(6134): 844−847. doi:  10.1126/science.1234454
    [15] Zhang L, Lin Z, He R, et al. Improving the noise immunity of 3D computational ghost imaging [J]. Optics Express, 2019, 27(3): 2344−2353. doi:  10.1364/OE.27.002344
    [16] Sun M J, Edgar M P, Gibson G M, et al. Single-pixel three-dimensional imaging with time-based depth resolution [J]. Nature Communications, 2016, 7(1): 1−6. doi:  10.1038/ncomms12010
    [17] Yang X, Zhao Y. Distance measurement by computational ghost imaging [J]. Optik, 2013, 124(22): 5882−5884. doi:  10.1016/j.ijleo.2013.04.130
    [18] Wu H, Zhang X, Gan J, et al. High-quality computational ghost imaging using an optimum distance search method [J]. IEEE Photonics Journal, 2016, 8(6): 1−9.
    [19] Ilhan H A, Doğar M, Özcan M. Digital holographic microscopy and focusing methods based on image sharpness [J]. Journal of Microscopy, 2014, 255(3): 138−149. doi:  10.1111/jmi.12144
    [20] Wang W, Wang Y P, Li J, et al. Iterative ghost imaging [J]. Optics Letters, 2014, 39(17): 5150−5153. doi:  10.1364/OL.39.005150
    [21] Cerbino R. Correlations of light in the deep Fresnel region: An extended Van Cittert and Zernike theorem [J]. Physical Review A, 2007, 75(5): 053815. doi:  10.1103/PhysRevA.75.053815
    [22] He R, Lin Z, Zhang W, et al. Auto-focusing method for computational ghost imaging system in deep-Fresnel region [J]. Journal of Optics, 2018, 20(9): 095607. doi:  10.1088/2040-8986/aad879
    [23] Vollath D. The influence of the scene parameters and of noise on the behaviour of automatic focusing algorithms [J]. Journal of Microscopy, 1988, 151(2): 133−146. doi:  10.1111/j.1365-2818.1988.tb04620.x
    [24] Goodman J W. (2005) Introduction to Fourier Optics[M]. 3rd ed. Colorado: Roberts & Company Publishers.
    [25] Ferri F, Magatti D, Sala V G, et al. Longitudinal coherence in thermal ghost imaging [J]. Applied Physics Letters, 2008, 92(26): 261109. doi:  10.1063/1.2945642
    [26] Adams R, Bischof L. Seeded region growing [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994, 16(6): 641−647. doi:  10.1109/34.295913
    [27] Mehnert A, Jackway P. An improved seeded region growing algorithm [J]. Pattern Recognition Letters, 1997, 18(10): 1065−1071. doi:  10.1016/S0167-8655(97)00131-1
    [28] Zhu S C, Yuille A. Region competition: Unifying snakes, region growing, and Bayes/MDL for multiband image segmentation [J]. IEEE transactions on pattern analysis and machine intelligence, 1996, 18(9): 884−900. doi:  10.1109/34.537343
  • [1] 张子静, 谢佳衡, 黄明维, 赵远.  量子激光雷达研究综述(特邀) . 红外与激光工程, 2022, 51(1): 20211102-1-20211102-13. doi: 10.3788/IRLA20211102
    [2] 徐冠宇, 尹微, 李策, 陈涌, 冯力天, 周鼎富.  相干激光测风雷达高分辨距离门自适应技术研究 . 红外与激光工程, 2021, 50(12): 20210187-1-20210187-8. doi: 10.3788/IRLA20210187
    [3] 王锐东, 马军, 王成龙, 俞天智.  线性菲涅尔式聚光集热系统研究进展 . 红外与激光工程, 2021, 50(11): 20210452-1-20210452-19. doi: 10.3788/IRLA20210452
    [4] 翟鑫亮, 吴晓燕, 孙艺玮, 石剑虹, 曾贵华.  单像素成像理论与方法(特邀) . 红外与激光工程, 2021, 50(12): 20211061-1-20211061-14. doi: 10.3788/IRLA20211061
    [5] 刘震涛, 胡晨昱, 童智申, 褚春艳, 韩申生.  中国科学院上海光学精密机械研究所鬼成像理论研究的若干进展(特邀) . 红外与激光工程, 2021, 50(12): 20211059-1-20211059-18. doi: 10.3788/IRLA20211059
    [6] 孙鸣捷, 张佳敏.  单像素成像及其在三维重建中的应用 . 红外与激光工程, 2019, 48(6): 603003-0603003(11). doi: 10.3788/IRLA201948.0603003
    [7] 龚文林, 王成龙, 梅笑冬, 潘龙, 王鹏威, 陈明亮, 薄遵望, 李望, 高昕, 韩申生.  面向实际应用的GISC Lidar近期研究进展与思考 . 红外与激光工程, 2018, 47(3): 302001-0302001(7). doi: 10.3788/IRLA201847.0302001
    [8] 王若秋, 张志宇, 薛栋林, 张学军.  用于空间望远镜的大口径高衍射效率薄膜菲涅尔衍射元件 . 红外与激光工程, 2017, 46(9): 920001-0920001(8). doi: 10.3788/IRLA201746.0920001
    [9] 范有臣, 赵洪利, 孙华燕, 郭惠超, 赵延仲.  互相关算法在运动目标距离选通激光三维成像中的应用 . 红外与激光工程, 2016, 45(6): 617003-0617003(9). doi: 10.3788/IRLA201645.0617003
    [10] 夏文泽, 韩绍坤, 曹京亚, 王亮, 翟倩.  激光雷达距离估计技术 . 红外与激光工程, 2016, 45(9): 906005-0906005(6). doi: 10.3788/IRLA201645.0906005
    [11] 来颖, 沈正祥, 王占山, 谭天乐, 顾玥.  基于菲涅尔双棱镜的在轨小角度测量方法 . 红外与激光工程, 2016, 45(3): 317002-0317002(6). doi: 10.3788/IRLA201645.0317002
    [12] 吕丹, 孙剑峰, 李琦, 王骐.  基于激光雷达距离像的目标3D姿态估计 . 红外与激光工程, 2015, 44(4): 1115-1120.
    [13] 王成龙, 马军, 范多旺, 鲁小兵.  用于线性菲涅尔式聚光系统的CPC 仿真研究 . 红外与激光工程, 2015, 44(2): 556-560.
    [14] 刘岚, 张海涛, 陈子阳, 吴逢铁.  贝塞尔高斯光束经菲涅尔波带片产生特殊聚焦光强分布 . 红外与激光工程, 2015, 44(5): 1491-1495.
    [15] 韩申生, 龚文林, 陈明亮, 李恩荣, 薄遵望, 李望, 张惠, 高昕, 邓陈进, 梅笑东, 王成龙.  基于稀疏和冗余表象的鬼成像雷达研究进展 . 红外与激光工程, 2015, 44(9): 2547-2555.
    [16] 王新伟, 曹忆南, 刘超, 孔庆善, 崔伟, 周燕, 李友福.  2D/3D 距离选通成像的低对比度目标探测 . 红外与激光工程, 2014, 43(9): 2854-2859.
    [17] 徐正平, 沈宏海, 许永森, 孙超, 黄厚田, 姚园.  激光成像系统高精度目标距离和强度信息提取 . 红外与激光工程, 2014, 43(8): 2668-2672.
    [18] 陆乔乔, 胡姝玲, 王鑫龙, 耿伟彪, 张春熹, 牛燕雄.  大功率双包层光纤准直器的建模与仿真分析 . 红外与激光工程, 2014, 43(7): 2055-2060.
    [19] 张天然, 孟照魁, 孙鸣捷.  纯相位物体的鬼成像 . 红外与激光工程, 2014, 43(9): 3105-3109.
    [20] 葛卫龙, 华良洪, 张晓晖.  距离选通水下成像中基于等水体后向散射光能量的目标搜索方法 . 红外与激光工程, 2013, 42(10): 2677-2681.
  • 加载中
图(8) / 表(1)
计量
  • 文章访问数:  791
  • HTML全文浏览量:  389
  • PDF下载量:  136
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-11-03
  • 修回日期:  2019-12-18
  • 网络出版日期:  2020-03-20
  • 刊出日期:  2020-03-01

基于自适应对焦窗口的计算鬼成像目标深度估计方法

doi: 10.3378/IRLA202049.0303020
    作者简介:

    石峰(1968-),男,研究员,博士,主要从事微光夜视的研究。Email:shfyf@126.com

    通讯作者: 张闻文(1981-),女,副研究员,博士,主要从事光电成像探测与信号处理的研究。Email:zhangww@njust.edu.cn
基金项目:  国家自然科学基金(61501242);江苏省前沿引领技术基础研究专项(BK20192003)
  • 中图分类号: O436

摘要: 

在计算鬼成像(Computational ghost imaging,CGI)系统中,可以通过估计重构图像的模糊程度获取目标的轴向深度。但该方法易受到背景噪声干扰,且要求像质评价函数有较长的工作距离,导致所需的采样次数较高,限制其实用性。针对这一问题,提出了一种基于自适应对焦窗口的目标深度估计方法。首先根据评价函数的整体特征划分搜索区间,然后在给定区域内对目标实际轴向深度进行迭代搜索。在迭代过程中,通过设计自适应窗口,有效减少背景区域的同时,也保证了窗口内目标的完整性。实验结果表明:该方法大幅降低了评价函数所需的必要工作距离,使其在欠采样条件下同样适用,也减小了背景噪声对评价函数的影响,增强了算法的鲁棒性,进一步完善了基于计算鬼成像系统的深度估计方法。

English Abstract

    • 鬼成像(Ghost Imaging,GI)是一种全新的成像方法。经典关联成像系统利用信号光路和参考光路光强涨落的关联性重构出目标形态[1-5]。近年来,GI获得长足的发展,研究人员主要从以下两方面开展研究:(1)从提高成像效率的角度出发,提出了差分鬼成像[6],归一化鬼成像[7],高阶鬼成像[8]等优化方案;(2)在应用领域,提出了抗大气湍流鬼成像,基于赝热光源的鬼成像激光雷达等方面的研究[9-11]

      另一方面,为了简化鬼成像系统的双臂测量机制,科研人员提出了计算鬼成像(Computational Ghost Imaging,CGI)[12-13],即在纯相位型空间光调制器(SLM)上预先加载一系列随机相位模板,通过计算在空间中某个深度的虚衍射光场(Virtual Diffracted Patterns,VDP)取代鬼成像系统中的参考光路,降低了成像系统的复杂度。在该系统中,除了使用纯相位型调制以外,还可以使用数字微镜器件(DMD)实现强度调制,结合光度立体视觉原理[14-15]或激光雷达原理[16],实现目标的三维信息测量。

      事实上,计算鬼成像本身也具有估计目标深度的能力。当VDP的传播距离与目标的深度相匹配,才能重构出清晰的图像,反之则会得到模糊的离焦图像。重构图像的离焦程度反映了估计距离和物体实际深度之间的偏差。因此,一些学者利用图像评价函数(Imaging Quality Evaluate Function,IQEF)对重构图像的离焦程度进行评价[17-20]

      R.He提出了基于二分法的深菲涅尔区(Deep-Fresnel,DF)[21]计算鬼成像自动对焦方法[22],选用偏差相关系数(Deviation-based Correlation,DBC)作为图像质量评价函数评估图像的离焦程度,不依赖目标先验知识,依据DBC函数的全局最大值搜索目标的深度位置。该算法稳定工作的条件是每一次迭代的深度位置都位于DBC曲线全局最大值两侧的单调区间内,否则最终迭代结果可能为局部极值。但该算法计算DBC时使用固定对焦窗口,其中的背景噪声会影响DBC的准确性[23],使得算法无法稳定工作。

      针对上述问题,提出了基于自适应对焦窗口的计算鬼成像目标深度估计方法,通过实验验证了该方法在深菲涅尔区中快速对焦的准确性和稳定性。

    • 实验装置如图1所示。632.8 nm激光器发出的准直光束照射在可寻址的空间光调制器(Spatial Light Modulator,SLM)上,SLM具有1 080×1 920分辨率,每个像素大小为8 μm×8 μm。每次测量时,在SLM上播放$125 \times 125$随机相位图案,其中每个像素块由SLM中$8 \times 8$个像素组成。图案被附加上一个固定空间频率的光栅相位。在SLM后面耦合一个包含L1L2的4f系统。在4f系统的傅里叶平面上,使用孔径光阑选择+1衍射级光斑。L2的后焦平面被定义为散斑传播的起始面,即$z = 0$($z$表示散斑传播的距离)。单像素探测器用于收集来自物体的透射光。

      图  1  实验装置示意图

      Figure 1.  Experimental setup

      假设目标放置在$z = L$处,由于SLM上的相位分布是已知的,因此,可以通过菲涅耳-惠更斯传播公式[24]计算$z = L$处的光场${E_i}(x,z = L)$($i$表示第$i$帧相位图案)作为VDP,VDP的强度:

      $$ {R_i}(x) = {\left| {{E_i}(x,z = L)} \right|^2} $$ (1)

      为了重构在$z = L$处透射系数为$T(x)$的目标,将$z = L$处的相应VDP的强度值与单像素探测器测量的强度值${S_i}$做关联运算,得到鬼成像的图像:

      $$ G(x) = \left\langle {{S_i} \cdot {R_i}(x)} \right\rangle - \left\langle {{S_i}} \right\rangle \left\langle {{R_i}(x)} \right\rangle ,i = 1,...,P $$ (2)

      式中:$\left\langle { \cdot \cdot \cdot } \right\rangle $代表$P$次测量的系综平均。

    • DBC的表达式如公式(3)所示:

      $$ DBC=\sum _{ x }{ \sum _{ y }{ \left[ I\left( x,y \right) I\left( x+1,y+1 \right) -{ \overline { I } }^{ 2 } \right] } } $$ (3)

      式中:$I$是重构的图像;$(x,y)$$I$中的位置;$\overline I $$I$的平均值。

      DBC离散一阶导数$ \dfrac{{dDBC}}{{dz}} $的符号曲线可以由公式(4)计算。

      $${\left. {\operatorname{sgn} \left( {\frac{{dDBC}}{{dz}}} \right)} \right|_k} = \operatorname{sgn} ({V_{{z^{(k + 1)}}}} - {V_{{z^{(k)}}}})$$ (4)

      式中:$ {V_{{z^{(k)}}}} $为第$k$个深度${z^{(k)}}$处重构图像的DBC值。

      文献[22]中定义DBC曲线全局最大值点两侧较长的一段单调区间长度为工作距离${w_d}$。假设轴向搜索区间的长度为$L$,理论上,在深菲涅尔区中正/负等距离焦时重构图像的模糊程度相似[25],因此,无论${w_d}$对应区域在峰值的哪一侧,只要${w_d} \geqslant {L / 2}$,处于全局最大值另一侧的区间也是单调变化的,这样可以保证算法的稳定工作。

      图2(a)(b)分别为放置在$z = 17.8$ cm处的双缝在采样数$M= 5\;000$$M= 2\;000$时的DBC曲线(图2中蓝色曲线)以及DBC离散一阶导数(图2中红色曲线)。可以看出,当采样数足够多时,DBC曲线较平滑,在一定范围内可以稳定单调。

      图  2  目标为双缝时,不同采样数下DBC曲线和相应离散一阶导数曲线。(a)采样5000次;(b)采样2 000次

      Figure 2.  DBC curves and the first derivative of DBC curves with different sampling numbers when the object is a double-slit. (a) 5000 samplings; (b) 2000 samplings

      但是当采样数较低时,背景噪声严重影响DBC曲线,在目标右侧DBC一阶导数曲线明显震荡,不满足算法的工作条件,且离焦越严重对DBC的影响越大。

      可以看到,DBC曲线的单调性严重依赖图像质量,若要提高算法的性能,必须增加测量次数,降低算法的时效性。

    • 针对上述情况,文中提出了自适应对焦窗口目标深度估计算法。

      (1)首先根据图像质量评价函数的整体特征选定合理的初始搜索区间,这样可以避免离焦严重或采样数不足对DBC性能的影响。

      (2)在选定的搜索区间内,对重构图像划分自适应对焦窗口,计算相邻图像的DBC值,判断迭代方向,最后收敛到目标所在深度(误差为$ \pm \mathop \delta \nolimits_Z $)。其中对焦窗口的划分是关键,首先选定感兴趣区域(Region of Interest,ROI),在尽量抑制背景噪声的同时使窗口包含完整目标。最后统一窗口,保证在统一标准中计算相邻图像DBC值。

      算法的具体工作过程将在下面进行详细介绍。

    • 由于背景噪声的影响,DBC函数在成像区间内会发生波动,但总体特征是,对焦的位置DBC值大,离焦的位置DBC值小,如图2(a)所示。因此,计算$z = L{\rm{/4}}$$z = {L / {\rm{2}}}$${\rm{z = 3}}L{\rm{/4}}$处的虚拟衍射光场图样,依据初始对焦窗口(200像素×200像素)重构图像,计算重构图像的DBC值,选择最大值点两侧${L / {\rm{4}}}$区间作为搜索区间,这样搜索区间就缩短为整个成像区间的一半,避免了离焦严重区域。

    • 在迭代过程中,为了抑制重构图像中背景噪声对DBC的影响,笔者首先使用区域生长法[26-28]划分对焦窗口。该方法的主要思想为:在图像中选择一个确定要分割的种子区域,对该种子区域依据判定条件进行生长,直到所有符合条件的像素都被包括入所选择种子的生长区域中。根据参考文献[22]对目标深度估计方法的描述,基于二分法的深度搜索算法需要在每次迭代中重构虚拟衍射光场传播至$z = {z_j}$$z = {z_j} + \delta z$时的两幅图像($ {I_{{z_j}}} $$ {I_{{z_j} + {\delta _z}}} $),${z_j}$表示第$j$次迭代的位置。因此自适应对焦窗口选择算法将分别在$ {I_{{z_j}}} $$ {I_{{z_j} + {\delta _z}}} $中选择对焦窗口,如图3所示。

      图  3  区域生长法流程图

      Figure 3.  Process of Seeded Region Growing

      窗口划分方法具体步骤如下。

      步骤(1):在搜索区间内计算传播至$z = {z_j}$$z = {z_{j+\delta z}}$的虚拟衍射光场图样,依据初始对焦窗口(200像素×200像素)重构图像(图3(a))。

      步骤(2):将由步骤(1)得到的重构图像划分若干大小为$m \times m$的像素块(super-pixel)作为${S_{super}}$。选取平均灰度最大的${S_{super}}$作为初始种子(seed)(图3(b)),其坐标为$(x,y)$

      步骤(3):基于初始种子,在图像的4个方向(向上:$(x,y + n)$,向下:$(x,y - n)$,左边:$(x + n,y)$,右边:$(x - n,y)$$n$表示每个方向中第$n$次生长)依次搜索${S_{super}}$,直到当前搜索方向满足停止生长的条件(图3(c))。停止生长的条件被定义为当前搜索到的像素块平均灰度值${T_{Avg}}$小于设定的阈值$T$

      步骤(4):根据合格的${S_{super}}$构成的连通区域,构建新的矩形窗口。

    • 若目标区域的灰度值不连续,区域生长法会造成过分割。图4(a)为目标‘5’的重构图像,图4(b)为目标‘5’的过分割图像。如图4(a)所示,笔者选定原始重构图像右上角的子图像${W_b}$的平均灰度值${I_b}$作为重构图像的先验背景平均灰度值(子图像的大小由具体应用决定)。为保证目标区域被对焦窗口准确包含且不包括多余的背景,在得到上述的对焦窗口后,以单个像素为步长,令窗口向周围扩展,如图4(c)所示。计算下一个窗口$W_j^{i + 1}$与上一个窗口$W_j^i$的增量窗口$\Delta W_j^i$,如公式(5)表示:

      图  4  目标‘5’的过分割图像以及窗口扩展方式示意图。(a) 重构图像目标‘5’,右上角为选定的先验背景窗口;(b) 过分割的图像;(c)窗口扩展方式示意图,其中阴影部分为增量窗口$\Delta W_j^i$;(d)-(f)统一窗口示意图;(g)参数示意图

      Figure 4.  Over-segmented image of object ‘5’ and diagram of windows expansion. (a) object image '5', the top right corner is the selected a priori background window; (b) Over-segmented image; (c) Diagram of windows expansion, where the shaded area is an incremental window (d)-(f) unifying the adaptive windows ; (g) table of parameters

      $$ \Delta W_j^i = W_j^{i + 1} - W_j^i $$ (5)

      $\Delta W_j^i$的平均灰度值定义为${I_{\Delta W_j^i}}$i为向外扩展的步数。

      $ {I_{\Delta W_j^i}} \le {I_b} $时,目标区域被窗口全部包含,此时窗口停止扩展,得到对焦窗口如图4(d)所示。窗口扩展方式可以保证目标图像始终位于对焦窗口之中,且不包含多余背景,这确保了对焦窗口的准确划分。

      基于以上步骤得到的重构图像$ {I_{{z_j}}} $$ {I_{{z_j} + {\delta z}}} $的对焦窗口被标记为${W_j}$${W_{j + \delta }}$(如图4(e1)图4(e2)所示)。为了在一个统一的标准中比较对焦窗口${W_j}$${W_{j + \delta }}$的DBC值,需要构建一个统一的对焦窗口${W_{j,j + \delta }}$(图4(f1)图4(f2))。依据${W_j}$${W_{j + \delta }}$的角点坐标值之间的关系,对焦窗口${W_{j,j + \delta }}$可以由其左上角点与右下角点的在初始对焦窗口中的坐标表示,构造${W_{j,j + \delta }}$的方法如图4(g)所示。图中$\min $$\max $分别表示两者中取较小者和最大者。利用DBC进行评价时仅需计算重构图像位于${W_{j,j + \delta }}$中的DBC值即可。

    • 在实验部分,首先验证了自适应对焦窗口计算鬼成像目标深度估计算法的可行性,然后将该方法与传统方法相比[22],证明了该方法的优越性。

      利用如图1(a)所示的成像系统进行了实验。定义$z{\rm{ = 5}}$ cm至$z{\rm{ = 21}}$ cm这一段标定的深菲涅尔区为搜索区间。依据$\delta z{\rm{ = 2}}{\rm{.5}}$ mm将搜索区间划分为N个切片,每个切片位置被标记为$\left\{ {{z^{(k)}}} \right\}$

      将USAF1 951分辨靶标中组别为‘-1’的数字目标‘3’与‘4’作为目标。将目标‘3’放置在$z = {\rm{7}}$ cm处(成像区间的左端),目标‘4’放置在$z{\rm{ = 20}}$ cm处(成像区间的右端),计算给定深度位置$\left\{ {{z^{(k)}}} \right\}$的虚拟衍射光场图样,并将其与桶探测器的测量值关联,重构目标图像,采样数$M = 5\;000$。在自适应对焦窗口选择算法中,像素块的大小被设置为${\rm{5}} \times {\rm{5}}$,阈值$T$被设置为整个图像的平均灰度值。

      首先计算$z = L{\rm{/4}}$$z = {L / {\rm{2}}}$$z = 3L/4$的DBC值,然后比较其大小。由表1可知,对于目标‘3’和‘4’分别选取成像区间的$\left( {{\rm{0 - }}{L / {\rm{2}}}} \right)$$\left( {{L / {\rm{2}}}{\rm{ - }}L} \right)$区间作为算法的搜索区间。

      表 1  在z =L/4,z=L/2,z=3L/4处DBC值的比较

      Table 1.  Comparison of DBC value at z =L/4,z=L/2,z=3L/4

      Distance(z)/cm91317
      Object 3/$ \times {\rm{1}}{{\rm{0}}^{\rm{7}}}$4.8273.7683.346
      Object 4/$ \times {\rm{1}}{{\rm{0}}^{\rm{7}}}$6.0806.6928.854

      图5为自适应对焦窗口深度估计算法分别对目标‘3’和‘4’深度搜索过程。图5(a)(c)中左侧纵坐标表示迭代的次数,横坐标表示每次迭代时VDP传播的距离。(图中只展示了选定搜索区间中的迭代过程,舍弃的一侧未画出)。图5(b)(d)中展示了在搜索迭代过程中重构的图像以及相应的自适应对焦窗口。从图中可以看出,文中提出的算法对于目标‘3’和目标‘4’,在选定的搜索区间中经过5次迭代,重构了10张图像搜索到了目标的正确深度。图5证明了,文中方法在时间代价上与传统方法一致,可以有效地在${\log _2}N$次迭代内搜索到目标所在轴向深度,并重构出清晰的目标图像,且误差不超过$\delta z$

      图  5  目标‘3’和目标‘4’的搜索过程以及在每个迭代位置的自适应窗口图像。(a)、(c)目标‘3’和‘4’的搜索过程;(b)、(d) 每个迭代位置的自适应窗口图像

      Figure 5.  Searching processes of object’3’and object’4’; Adaptive windows in each iterations. (a), (c) Searching processes of object’3’and object’4’; (b), (d) Adaptive windows in each iterations

      图6(a)(b)为目标‘3’和目标‘4’在传统深度估计算法和自适应对焦窗口算法下的DBC离散一阶导数对比图,可以看到:在采样数$M = 5\;000$时,采用传统深度估计算法时,DBC离散一阶导数在中点处波动较大,无法正常工作导致系统无法准确估计对焦深度。

      图  6  目标‘3’和目标‘4’在采样数$M = 5\;000$时传统固定对焦窗口算法和自适应对焦窗口算法的DBC离散一阶导数曲线。(a)目标‘3’;(b)目标‘4’

      Figure 6.  The first derivative of DBC curves of object ‘3’and object’4’based on traditional fixed focus window and proposed adaptive windows with 5 000 samplings. (a) object’3’; (b) object’4’

      采用自适应对焦窗口算法时,对于目标‘3’和目标‘4’,自适应窗口划分方法的${w_d}$分别为6.25 cm和7.0 cm,相比较传统方法的4.75 cm和4.25 cm,文中算法可使工作距离稳定增长,且${w_d} > {L / {\rm{4}}}$。另外,搜索区间缩小为成像区间的一半,从搜索区间的中点处开始迭代,可准确估计目标深度并重构对焦图像,证明了自适应对焦窗口目标深度估计算法的有效性。

      为了证明文中算法的优越性,选定了目标‘3’和目标‘5’分别放置在$z = {\rm{7}}$ cm和$z = {\rm{15\;cm}}$处,采样数$M{\rm{ = 2\;000}}$,其DBC离散一阶导数如图7所示,对焦位置的重构图像及其对焦窗口如图8所示。

      图  7  目标‘3’和目标‘5’在采样数$M = 2\;000$时传统固定对焦窗口算法和自适应对焦窗口算法的DBC离散一阶导数曲线。(a)目标‘3’;(b)目标‘5’

      Figure 7.  The first derivative of DBC curves of object ‘3’and object’5’ based on traditional fixed focus window and proposed adaptive windows with 2 000 samplings. (a) object’3’;(b) object’5’

      图  8  验证低采样条件下使用自适应对焦窗口方法的有效性。(a)、(c)在目标所在轴向位置重构目标,作为参照图像;(b)、(d)在自适应窗口内重构目标图像。

      Figure 8.  Verify the proposed method with low samplings. (a), (c) The images of objects reconstructed at their axial positions (reference images); (b), (d) images of objects reconstructed using the adaptive focusing windows.

      可以看出:随着采样数的降低,两种算法的工作距离都明显缩短,DBC离散一阶导数波动更加剧烈,传统目标深度估计算法不适用。但在自适应对焦窗口算法的搜索区间内,全局最值两侧区间仍然稳定单调。如图7(a)所示,对于目标‘3’,全局最值左侧的单调区间被成像区间边界截断,右侧的工作距离${w_d} = 4.5$ cm,仍然满足${w_d} > {L / {\rm{4}}}$,使算法稳定工作。如图7(b)所示,对于目标‘5’,左右两侧的区间对称单调,与深菲涅尔区中正/负等距离焦时重构图像的模糊程度相似的理论一致,且在对焦位置的自适应窗口中的目标图像与传统固定对焦窗口在对焦位置得到的目标图像一致,如图8所示。这表明基于自适应对焦窗口的目标深度估计的算法在低采样时也可以准确完成对目标深度的搜索并得到对焦图像,这与算法设计思想吻合。

    • 文中提出了基于自适应对焦窗口的计算鬼成像目标深度估计算法,首先采用了DBC的全局特征选择搜索区间,然后提出了自适应窗口划分方法,提取目标区域。相较于基于固定窗口的传统对焦方法,该方法具有两个显著优势:1.算法所需的必要工作长度由${L / {\rm{2}}}$下降到${L / {\rm{4}}}$,这大大降低了该方法对于重构图像质量的要求,换言之,必要工作长度的降低可以减少重构图像所需的测量次数,提高系统的时效性;2.文中选取自适应窗口的方法在确保窗口包含完整目标时,尽量减小背景噪声,使DBC曲线更加稳定。

      该方法增强了算法的鲁棒性,使其在欠采样时同样适用,且无需依赖目标的形态。提高了系统的工作效率,显著增强了算法的实用性,为深度感知、目标探测提供了新的技术手段和方法。

参考文献 (28)

目录

    /

    返回文章
    返回