留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

异相差分滤波效应的航空相机图像检焦方法

康琦 郑丽娜 王海江

康琦, 郑丽娜, 王海江. 异相差分滤波效应的航空相机图像检焦方法[J]. 红外与激光工程, 2021, 50(8): 20200432. doi: 10.3788/IRLA20200432
引用本文: 康琦, 郑丽娜, 王海江. 异相差分滤波效应的航空相机图像检焦方法[J]. 红外与激光工程, 2021, 50(8): 20200432. doi: 10.3788/IRLA20200432
Kang Qi, Zheng Lina, Wang Haijiang. Aerial camera image focusing method based on out-of-phase differential filtering effect[J]. Infrared and Laser Engineering, 2021, 50(8): 20200432. doi: 10.3788/IRLA20200432
Citation: Kang Qi, Zheng Lina, Wang Haijiang. Aerial camera image focusing method based on out-of-phase differential filtering effect[J]. Infrared and Laser Engineering, 2021, 50(8): 20200432. doi: 10.3788/IRLA20200432

异相差分滤波效应的航空相机图像检焦方法

doi: 10.3788/IRLA20200432
详细信息
    作者简介:

    康琦,女,硕士生,主要从事航空图像跟踪与测量方面的研究工作。

  • 中图分类号: V248.1

Aerial camera image focusing method based on out-of-phase differential filtering effect

  • 摘要: 针对航空相机焦面检测的问题,提出了一种基于异相差分滤波器的航空相机焦面检测方法。首先对空间滤波效应自动检焦原理进行介绍;其次使用异相差分检波算法设计异相差分滤波器消除空间滤波信号中的基频成分,增大信号信噪比与振幅,提高检焦精度,并对异相差分滤波器输出信号的频谱进行分析;最后设计成像实验,在5~53.2 mm/s之间根据典型速高比设置导轨移速,进行25次像面检测并选用传统图像检焦算子与差分滤波法的检焦效果进行比较。结果表明:差分滤波检焦法的场景适应性强、灵敏度高,且检焦系统最大误差为45.18 μm,小于光学系统的允许误差76.8 μm,满足工程需求。
  • 图  1  理想光学成像系统

    Figure  1.  Ideal optical imaging system

    图  2  典型功率谱分布

    Figure  2.  Distribution of typical power spectrum

    图  3  空间滤波器输出信号

    Figure  3.  Output signal of spatial filter

    图  4  空间滤波效应航空相机像面检测示意图

    Figure  4.  Schematic diagram of aerial camera image plane detection by spatial filtering effect

    图  5  线阵CCD像面检测原理图

    Figure  5.  Principle diagram of linear CCD image plane detection

    图  6  异相差分检波算法

    Figure  6.  Out-of-phase differential detection algorithm

    图  7  异相差分检焦法具体实施过程

    Figure  7.  Implementation process of out-of-phase differential focusing method

    图  8  实验采集图像

    Figure  8.  Experimental acquisition of images

    图  9  不同成像场景下的检焦曲线

    Figure  9.  Focusing curves in different imaging scenarios

    表  1  重复性精度比对

    Table  1.   Repeatability accuracy comparison

    Rail speed/mm·s−1Focusing accuracy/μm
    5 5.43
    15.5 9.54
    28.3 13.17
    36.4 22.35
    42.0 28.10
    53.2 36.18
    下载: 导出CSV
  • [1] Meng Xixi, Feng Huajun, Xu Zhihai. Autofocus method for scanning remote sensing cameras [J]. Applied Optics, 2015, 54(20): 6351-6359. doi:  10.1364/AO.54.006351
    [2] 陈志超. 基于R-C系统的长焦距航空相机实时相位检焦技术研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2016.

    Chen Zhichao. Research on real-time phase detection auto focus technique of long focus airborne camera based on R-C optical system[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2016. (in Chinese)
    [3] Zheng Lina, Li Yanwei, Yuan Guoqin, et al. Automatic focus plane detection of aerial remote camera based on visibility [J]. Infrared and Laser Engineering, 2014, 43(3): 236-241. (in Chinese)
    [4] 孟繁浩. 基于图像处理的自动检焦技术在航空相机中的应用研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2012.

    Meng Fanhao. Study on the application of autofocus technique based on image processing technology in aerial camera[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2016. (in Chinese)
    [5] Li Qihui, Ding Yalin, Xiu Jihong, et al. A self-collimation focusing method based on image processing [J]. Advances in Laser and Optoelectronics, 2020, 57(2): 021104. (in Chinese)
    [6] Zheng Lina, Kuang Haipeng, Li Wenming, et al. Method of pedestal component elimination based on line CCD for spatial-filter velocimetry signal [J]. Journal of Optics, 2014, 34(2): 0211001. (in Chinese)
    [7] 郑丽娜. 航空相机高精度速高比测量技术的研究[D]. 长春: 中科院长春光学精密机械与物理研究所, 2013.

    Zheng Lina. Research on high precision Speed-to-height ratio measurement technology of aerial camera[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2013. (in Chinese)
    [8] Zheng Lina, Zhang Tao, Kuang Haipeng, et al. Image motion velocity measurement technique based on spatial filtering effect of linear array CCD for aerial remote camera [J]. Journal of Optics, 2012, 32(11): 1112002. (in Chinese)
    [9] Zheng Lina, Li Yanwei. SFV spatial filtering characteristics of rectangle spatial filter [J]. Infrared and Laser Engineering, 2013, 43(S2): 472-475. (in Chinese)
    [10] Xu Zhaolin, Zhao Yuliang, Zhang Guodong, et al. Design of an auto-focusing system for a new type of aerial camera [J]. Electronics Optics & Control, 2011, 18(4): 77-80. (in Chinese) doi:  10.3969/j.issn.1671-637X.2011.04.019
    [11] Lu Zhenhua, Guo Yongfei, Li Hongfa, et al. Auto-focus using LSF in aerial push-broom remote-sensing camera [J]. Infrared and Laser Engineering, 2012, 41(7): 1808-1814. (in Chinese) doi:  10.3969/j.issn.1007-2276.2012.07.023
    [12] Ator J T. Image velocity sensing with parallel-slit reticles [J]. Journal of the Optical Society of America, 1963, 53(12): 1416-1422. doi:  10.1364/JOSA.53.001416
    [13] Cai Guixia, Qian Weixian, Yang Jinqing, et al. Pulse laser ranging technique based on differential signal time discrimination method [J]. Infrared and Laser Engineering, 2019, 48(12): 1205001. (in Chinese)
    [14] Meng Fanhao, Ding Yalin, Wang Dejiang, et al. Analysis of influence of image motion on auto-focus precision for high resolution aerial camera [J]. Journal of Optics, 2015, 35(6): 73-80. (in Chinese)
    [15] Yan Dejie, Xu Shuyan, Han Chengshan. The influence of aircraft attitude on image motion compensation of space camera [J]. Optics and Precision Engineering, 2008, 16(11): 2219-2203. (in Chinese)
  • [1] 王春雨, 王聪, 牛锦川, 赵英龙, 张生杰.  航空相机光学镜头被动消热一体化设计与验证分析 . 红外与激光工程, 2021, 50(3): 20200220-1-20200220-8. doi: 10.3788/IRLA20200220
    [2] 彭建伟, 陈卫宁, 张高鹏, 方尧, 董森, 杨洪涛.  低照度宽幅航空相机系统设计 . 红外与激光工程, 2021, 50(12): 20210312-1-20210312-9. doi: 10.3788/IRLA20210312
    [3] 杨双月, 谷一英, 胡晶晶, 李晓洲, 赵明山, 韩秀友, 武震林.  基于亚波长超窄带滤波器设计 . 红外与激光工程, 2020, 49(S1): 20200134-20200134. doi: 10.3788/IRLA20200134
    [4] 曾瀚林, 孟祥勇, 钱惟贤.  高斯差分滤波图像融合方法 . 红外与激光工程, 2020, 49(S1): 20200091-20200091. doi: 10.3788/IRLA20200091
    [5] 郑丽娜, 李延伟, 远国勤, 张洋.  Visibility的航空遥感相机自动焦面检测方法 . 红外与激光工程, 2019, 48(4): 417001-0417001(6). doi: 10.3788/IRLA201948.0417001
    [6] 陈娇, 童峥嵘, 张卫华, 薛力芳.  采用复合滤波器的温度可调谐多波长光纤激光器 . 红外与激光工程, 2018, 47(1): 105001-0105001(7). doi: 10.3788/IRLA201847.0105001
    [7] 米仁杰, 万助军, 汪涵.  MEMS可调谐平顶窄带光学滤波器 . 红外与激光工程, 2016, 45(7): 720001-0720001(5). doi: 10.3788/IRLA201645.0720001
    [8] 贤光, 颜昌翔.  姿态变化对航空推扫式成像的影响分析 . 红外与激光工程, 2015, 44(8): 2478-2483.
    [9] 何鑫, 龙兴武, 周健, 聂晓明.  空间滤波测速仪中差分滤波器结构的优化 . 红外与激光工程, 2015, 44(12): 3769-3774.
    [10] 何鑫, 周健, 聂晓明, 龙兴武.  基于线阵图像传感器的新型空间滤波测速仪 . 红外与激光工程, 2014, 43(12): 4117-4122.
    [11] 姜博, 葛明锋, 刘敏, 王义坤, 王雨曦, 周潘伟, 亓洪兴.  面阵航空相机的图像稳定技术研究 . 红外与激光工程, 2014, 43(10): 3467-3473.
    [12] 杨守旺, 万秋华, 孙莹, 杜颖财.  音圈电机驱动的航空相机像面扫描系统 . 红外与激光工程, 2014, 43(5): 1540-1544.
    [13] 段洁, 段雨晗, 孙向阳, 付跃刚.  全景航空相机性能检测系统设计 . 红外与激光工程, 2014, 43(12): 3977-3982.
    [14] 曹文勇, 马明, 赵彬, 何幸锴, 侯天晋, 周鼎富, 邓华荣.  滤波器组在相干激光测风雷达信号处理中的应用 . 红外与激光工程, 2013, 42(5): 1179-1183.
    [15] 刘群.  偏振无关的电光多波长滤波器设计 . 红外与激光工程, 2013, 42(3): 723-726.
    [16] 任广辉, 王刚毅, 金炎胜.  利用FPGA的高性能向导滤波器设计 . 红外与激光工程, 2013, 42(2): 537-542.
    [17] 张继超.  边缘视场检焦在航空遥感器中的应用 . 红外与激光工程, 2013, 42(4): 1038-1043.
    [18] 丁亚林, 仲崇亮, 付金宝.  高马赫飞行条件下光学窗口数学模型的建立 . 红外与激光工程, 2013, 42(3): 747-751.
    [19] 张洪文, 曹国华, 李延伟, 张建萍, 丁亚林.  三折式光学窗口对航空相机成像的影响 . 红外与激光工程, 2013, 42(6): 1623-1627.
    [20] 郭亮, 吴清文, 丁亚林, 张洪文, 张继超, 冷雪, 李延伟.  航空相机焦面组件相变温控设计及验证 . 红外与激光工程, 2013, 42(8): 2060-2067.
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  304
  • HTML全文浏览量:  112
  • PDF下载量:  22
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-11-09
  • 修回日期:  2021-01-06
  • 刊出日期:  2021-08-25

异相差分滤波效应的航空相机图像检焦方法

doi: 10.3788/IRLA20200432
    作者简介:

    康琦,女,硕士生,主要从事航空图像跟踪与测量方面的研究工作。

  • 中图分类号: V248.1

摘要: 针对航空相机焦面检测的问题,提出了一种基于异相差分滤波器的航空相机焦面检测方法。首先对空间滤波效应自动检焦原理进行介绍;其次使用异相差分检波算法设计异相差分滤波器消除空间滤波信号中的基频成分,增大信号信噪比与振幅,提高检焦精度,并对异相差分滤波器输出信号的频谱进行分析;最后设计成像实验,在5~53.2 mm/s之间根据典型速高比设置导轨移速,进行25次像面检测并选用传统图像检焦算子与差分滤波法的检焦效果进行比较。结果表明:差分滤波检焦法的场景适应性强、灵敏度高,且检焦系统最大误差为45.18 μm,小于光学系统的允许误差76.8 μm,满足工程需求。

English Abstract

    • 航空相机是一种用于拍摄地面信息的光学成像设备,在农业、林业、资源勘探等领域应用十分广泛[1]。由于航空相机的工作环境复杂,大气压力、温度以及照相距离的变化会导致相机离焦[2],图像质量下降,影响后续的工作。因此,航空相机需要检焦系统来实时检测实际焦面位置,驱动像面至此位置,完成一次检调焦工作,获得高分辨率的图像。

      国内外的专家学者对航空相机自动检焦技术进行了大量深入的研究,现阶段的自动检焦技术主要有程序控制法、光电自准直方法以及基于图像的检焦法。KS116、KS127A、KA95[2]等航空相机采用了程序控制法,原理是先在实验室内仿真出离焦量与影响离焦的因素如温度、压力等的关系,编写离焦量计算程序,在航空相机实际工作时,将温度、压力数据传送至PC机即可计算出当前像面位置与最佳像面位置的偏移量,再通过电机驱动像面至最佳像面位置即可。该方法简单、易操作,但实验室中的情况会与实际工作环境有一定的偏离,检焦误差较大。现阶段国内外多数长焦航空相机(例如KS146A、KA112A等)均采用光电自准直方法进行检焦[2],该方法精度高但机构复杂,目标拍摄与检焦不能同时进行,耗时较长。近年来,图像处理检焦法因其速度快、结构简单的优势也越来越受到国内外的关注,其原理是利用图像评价函数计算图像中高频边缘细节信息的含量判断相机离焦程度来进行检焦。2008年,Yin.P提出了一种基于检测边缘的图像评价函数,与其他基于边缘的算子相比,该算子以相同的方式处理不同类型的边缘,避免了阶跃边缘和直线边缘识别的困难,提高了检焦精度。2014年,汪旋提出了一种图像方差平方法,实现了快速、准确的检焦。2017年,Jiang Gangyi等人利用图像帧与下一帧图像的联合直方图提出了一种新的锐度函数SOD,该评价函数在计算时间较短的情况下具有较好的精度。2019年,李启辉提出了一种空间频率连续变化的辐射状靶标,精度比自准直方法提高了17%。

      目前常用的图像检焦法要求对同一目标进行重复拍照[3],再利用评价函数进行焦面检测,但大多航空相机是在运动中对地面景物成像的,地面景物会发生变化,这也增加了相机图像处理的难度,因此普通图像检焦法不适用于航空相机。

      针对普通图像检焦法的缺点,文中提出了基于差分空间滤波器的自动焦面检测方法,当普通矩形滤波器用于检焦时,由于图像和滤波器的相对位移导致了滤波器输出信号变小,无法很好地区分各像面的位置,因此,文中对矩形空间滤波器输出信号(SFV信号)进行基频消除,只保留有用的周期信号成分(图像信息),同时提高了信号的信噪比与振幅,信号质量提高更便于提取,可以很好地区分像面位置。且对SFV信号进行频谱分析可知,基频成分的频谱边缘与中心频率处的成分会产生混叠导致中心频率产生偏离,而像面检测需要频率选择的准确性,基频的存在却会使滤波器对频率选择性变差。因此异相差分滤波器检焦方法在提高输出信号质量的同时,检焦精度也有所提高,且该方法不需要像普通图像检焦法对同一地面目标重复拍照,可根据目标的频率分布特征通过对图像进行隔行采样的行数、次数的变化来灵活调整滤波器的参数,操作简单,适用于航空相机检焦。

    • 航空相机的理想光学成像系统如图1所示。景物P点经过光学系统成像在像方平面处的P’处,且该系统满足高斯成像公式[4]

      图  1  理想光学成像系统

      Figure 1.  Ideal optical imaging system

      $$ \frac{1}{u}+\frac{1}{v}=\frac{1}{f} $$ (1)

      式中:$ u $为物距;$ v $为像距;$ f $为透镜的焦距。

      如果像面位置偏离理想焦面位置,则物体就会成像在理想焦平面的位置前或后,此时的像不再是一个点,而是一个半径为R的弥散斑,当像面在理想焦面的位置前后移动成像时,弥散斑的大小随着像面相对理想焦面的位置变化而改变,当像面距离理想焦面的位置越近时,弥散斑的半径越小,图像越清晰;当像面距离理想焦面的位置越远时,弥散斑的半径越大,图像越模糊。可以通过判断图像的清晰度来判断当前像面的位置,实际像面位置与理想焦面位置的偏移量即为系统离焦量,通过电机驱动像面至理想焦面的位置即完成了自动检调焦工作,获得清晰的图像。

      实际上,在像面附近,当像面与理想焦平面的距离小于阿贝距离时都可获得清晰的图像,这个能获得清晰图像的范围即为焦深:

      $$ 2\Delta =4\lambda {F}^{2} $$ (2)

      式中:为半焦深;λ为入射光波长;F=f/D为系统的F数。半焦深是系统允许的检焦误差,当一次检焦工作完成时,像面位置与理想焦平面的位置小于半焦深时就证明检焦精度满足工程要求。

    • 图像清晰度评价函数(检焦函数)是用于分析图像是否聚焦的判别函数,图像检焦法的关键点是寻找一种合适的评价函数。理想的检焦函数应具有如下几个特点:(1)计算量小,快速计算检焦函数值,做到实时检焦;(2)无偏性,检焦函数峰值对应合焦位置;(3)单峰性,在调焦范围内检焦曲线有且仅有一个峰;(4)灵敏度高,能够分辨合焦与轻微离焦;(5)变化率大,近焦处的检焦函数斜率绝对值应明显大于远焦处[5]。清晰度评价函数一般分为时域和频域两大类,频域类清晰度评价函数的计算量比时域类大,文中选用经典的时域类评价算子Roberts和Sobel来和差分空间滤波器的检焦效果作比较。

      (1) Roberts算子

      $$ \begin{split} G = &\sum\limits_{y = 1}^{m - 1} { \sum \limits_{x = 1}^{n = 1} } \left( {|f(x + 1,\;y + 1) - f(x,\;y)|} \right. \hfill +\\ & \left. {|f(x + 1,\;y) - f(x,\;y + 1)|} \right) \hfill \\ \end{split} $$ (3)

      Roberts算子是对图像的对角像素灰度值做差,最终将这些差值的绝对值求和。Robert边缘提取算子是用2×2的模板对图像进行卷积运算,容易受到图像中噪声和背景的影响,因此Robert边缘提取算子适合作为背景不是很复杂的图像的自动检焦评价函数[4]

      (2) Sobel算子

      $$ G=\sum\limits _{i}^{M}\sum\limits _{j}^{N}\left(\left|{g}_{{x}}\right|+\left|{g}_{{y}}\right|\right)\cdot $$
      $$ h_x\left[ \begin{gathered} {\text{\;\;1\quad\quad2\quad\quad1}} \hfill \\ {\text{\;\;0\quad\quad0\quad\quad0}} \hfill \\ {\text{ −1\quad −2 \quad \; −1}} \hfill \\ \end{gathered} \right]\cdot $$
      $$ h_y \left[ \begin{gathered} {\text{\;\;1\quad\quad 0\quad\quad −1}} \hfill \\ {\text{\;\;2\quad\quad 0 \quad\;\; −2}} \hfill \\ {\text{\;\;1\quad\quad0\quad\quad −1}} \hfill \\ \end{gathered} \right] $$ (4)

      式中:$ {g}_{x} $$ {g}_{y} $分别为图像与$ {h}_{x} $$ {h}_{y} $进行模板运算后的结果。由公式(4)可知,Sobel边缘提取算子在水平与垂直方向计算了图像的梯度,对图像边缘细节成分的提取效果较好,在自动检焦中应用的较为广泛。

    • 空间滤波法最初是由ATOR提出的一种非接触式速度测量方法[6-7],它能将速度测量转化为较易实现的频率测量,再通过公式即可计算出运动目标的速度。光栅可被看成是一种矩形空间滤波器,如图2所示,当运动图像的光透过光栅时,空间滤波器可捡取图像中的特定频率,得到的滤波器输出信号,其功率谱$ {G}_{P}(\mu ,v) $为运动图像的功率谱$ {F}_{P}(\mu ,v) $与空间滤波器透射函数功率谱$ {H}_{P}(\mu ,v) $的乘积,即$ {H}_{P}(\mu ,v) $$ {F}_{P}(\mu ,v) $进行滤波。$ {H}_{P}(\mu ,v) $的中心频率在$ \mu $=$ {\mu }_{0} $处,且$ {G}_{P}(\mu ,v) $$ {H}_{P}(\mu ,v) $$ {F}_{P}(\mu ,v) $进行混叠后得到的,所以$ {G}_{P}(\mu ,v) $的特征主要由$ {H}_{P}(\mu ,v) $决定,故$ {G}_{P}\left(f\right) $$ f= $$ {f}_{0}= {\mu }_{0} $处也存在尖峰。运动目标的速度计算公式为$ v=p\times f $,其中p为空间滤波器的周期。空间滤波器对频率具有选择性,通过得到$ {G}_{P}\left(f\right) $的中心频率$ {f}_{0} $以及空间滤波器的周期p即可计算出运动目标的速度,即空间滤波法[6-7]

      图  2  典型功率谱分布

      Figure 2.  Distribution of typical power spectrum

      根据参考文献[6]对空间滤波器的特性进行分析可知,当输入的目标图像尺寸小于空间滤波器的周期p时,输出信号$ {G}_{P}\left(\mu ,v\right) $的形状完全由滤波器透射函数$ {H}_{P}(\mu ,v) $决定,当图像尺寸大于空间滤波器的周期p时,输出信号$ {G}_{P}\left(\mu ,v\right) $的形状则由图像功率谱$ {F}_{P}(\mu ,v) $和滤波器透射函数$ {H}_{P}(\mu ,v) $共同决定。综上,图像尺寸的改变会引起输出信号的形状的变化,这一变化体现在输出信号的交流成分相对直流成分的强弱上。当输入的目标图像尺寸较小时,可以理解为被空间滤波器完全滤波,故输出信号中的交流成分(信号的周期成分)相对直流成分(信号的平均值)来说较强,如图3(a)所示;当图像尺寸较大时,只能被滤波器部分滤波,输出信号中的交流成分相对直流成分较弱,如图3(b)所示。

      图  3  空间滤波器输出信号

      Figure 3.  Output signal of spatial filter

      滤波器对目标图像的滤波程度可用滤波器输出信号周期成分的最大值、最小值之差与它们之和的比值$ {I}_{M} $来计算,$ {I}_{M} $的表达式如下:

      $$ {I}_{M}=\dfrac{{i}_{{\rm{max}}}-{i}_{{\rm{min}}}}{{i}_{{\rm{max}}}+{i}_{{\rm{min}}}} $$ (5)

      式中:$ {i}_{{\rm{max}}} $$ {i}_{{\rm{min}}} $分别为周期信号的最大值和最小值。由图3可知,较小尺寸的图像透过空间滤波器时可被完全滤波,输出信号中的有效交流周期成分相比于直流基频成分能量增强,故输出信号的$ {i}_{{\rm{max}}} $$ {i}_{{\rm{min}}} $之间的差值较大,$ {I}_{M} $的值较大;反之当较大尺寸的图像透过滤波器时,$ {I}_{M} $的值则较小。在航空相机像面检测过程中,离焦使得当前像面接收的图像清晰度降低,尺寸变大,图像中高频边缘细节含量减少,因此空间滤波器作为一种窄带通滤波器[6-7],其中心频率处对高频成分的捡取与基频成分相比能量衰减,导致了$ {I}_{M} $值变小,故相机合焦时$ {I}_{M} $值最大,相机离焦时,$ {I}_{M} $值随着离焦量的增大而减小。$ {I}_{M} $随离焦量的变化曲线满足无偏性、单峰性。根据空间滤波器这一特性,将滤波器输出信号$ {I}_{M} $值作为文中的检焦函数,通过计算每个像面位置对应的$ {I}_{M} $值即可进行像面检测。

    • 图4所示,航空相机在工作过程中,线阵CCD是一条单狭缝,具有空间滤波特性,若将CCD扩展成多狭缝空间滤波器,速度为$ v $的运动图像透过CCD时,由空间滤波原理可知,图像的光强会在狭缝中产生周期性变化[8-9],即CCD会输出空间周期滤波信号(包含像移速度v),计算其$ {I}_{M} $值即可判断当前位置的离焦量。当所有成像位置的$ {I}_{M} $值都计算完成后,所获得的一系列$ {I}_{M} $值即为检焦曲线,检焦曲线的峰值对应的像面位置即为最佳像面位置[10],调整像面至此位置,完成一次检焦工作。

      图  4  空间滤波效应航空相机像面检测示意图

      Figure 4.  Schematic diagram of aerial camera image plane detection by spatial filtering effect

      图5所示为空间滤波效应检焦的具体实施方法。如图5(a)所示,线阵CCD成像方式为推扫成像[11],当像面处在某一位置时,对透过CCD的运动图像进行隔行采样来模拟多狭缝空间滤波器的周期性透射作用[12]。如图5(b)所示,从图像第1行开始,$ {a}_{11} $为图像的第1行与第2行的灰度值之和,隔两行再对图像的第5行和第6行的灰度值求和得$ {a}_{12} $,图中标黑部分表示累加的灰度值,按照上述隔行采样操作依次类推,一共进行了$ n $次累加,得到$ {a}_{11} $~$ {a}_{1n} $,将$ {a}_{11} $~$ {a}_{1n} $加和得到$ {A}_{1} $,即:

      $$ {A}_{1}=\sum _{1}^{{n}}{a}_{1n} $$ (6)

      $ {A}_{1} $为多狭缝空间滤波器的第一次采样值,图像继续运动,从同一图像的第2行开始,继续重复上述的灰度值累加操作,经过n次累加得到$ {A}_{2} $,即:

      $$ {A}_{2}=\sum _{1}^{{n}}{a}_{2n} $$ (7)

      当CCD探测器位于某位置时,按照与$ {A}_{1} $$ {A}_{2} $同样的采样方式对同一图像进行m次采样,得到A=($ {A}_{1},\;{A}_{2}\cdots \cdots {A}_{m} $),采样序列A即为该像面位置对应的空间滤波器的输出信号,利用公式(5)计算该输出信号的$ {I}_{M} $值,将线阵CCD移至下一个成像位置时,对接收到的目标图像进行上述同样的m次采样操作得到了新的空间滤波信号,计算出该信号的$ {I}_{M} $值。当所有成像位置的$ {I}_{M} $值都计算出来后,$ {I}_{M} $最大值对应的像面位置即为最佳像面位置,在该位置航空相机会获得分辨率最高的图像。

      图  5  线阵CCD像面检测原理图

      Figure 5.  Principle diagram of linear CCD image plane detection

    • 矩形空间滤波器的输出信号会随着图像和滤波器的相对位移呈现出正弦变化,对于航空相机焦面检测,由2.1节的分析可知,这种正弦信号中包含着基频分量,会导致空间滤波器输出信号很小,导致各个像面位置的$ {I}_{M} $值变化不够明显,不能很好地区分像面位置,所以采用异相差分检波算法进行改进,该算法可有效去除滤波器输出信号的基频成分,使得信号振幅加倍,增大信号的信噪比[6]更有利于信号的提取以及提高像面检测精度、更好地区分各像面位置。

      图6(a)所示为用光学的方法来消除空间滤波信号的基频成分,掩模M使得运动图像的光透过透镜1、2以及分光器(Splitter)后在光栅1、2上成的像是相同的,但光栅Gate1和Gate2的放置是相位相反的,所以输出的信号相位相反,探测器PD1和PD2将从光栅处接收到的信号接入到差分放大器中,差分放大器可抵消两个信号的基频,实现基频的去除。该方法可以去除基频成分,但在实际工作中操作难度较大,要求光栅以及探测器的摆放位置非常准确,否则差分放大器的最终输出信号中依旧含有大量参与基频成分[6]。因此采用CCD取代光学方法中的光栅以及探测器,通过对图像进行隔行采样处理模拟差分滤波器的形式来消除基频,操作简单易实现。

      图  6  异相差分检波算法

      Figure 6.  Out-of-phase differential detection algorithm

      图6(b)所示即为空间滤波器等效采样序列差分运算示意图[13],空间滤波器对同一幅图像进行两次隔行累加采样操作,分别得到了周期输出信号(SFV信号) AB,它们的相位相差π,中心频率相同,将它们进行异相差分后得到了周期信号C,根据参考文献[3]的分析,这样得到的序列C即为差分空间滤波信号,不包含基频,同时振幅加倍。

      算法具体实施如图7(a)所示,当CCD图像探测器处于某一像面位置时,从接收到的图像第1行开始,取第1、2行图像的灰度值求和得到$ {b}_{11} $,隔两行再取图像第5、6行求和得到$ {b}_{12} $,依次类推进行n次累加得到$ {b}_{11} $~$ {b}_{1n} $,将n个采样值求和可得:

      图  7  异相差分检焦法具体实施过程

      Figure 7.  Implementation process of out-of-phase differential focusing method

      $$ {B}_{1}=\sum _{1}^{{n}}{b}_{1n} $$ (8)

      再从该幅图像的第3、4行开始进行灰度值累加得到$ {a}_{11} $,间隔两行将第7、8行的灰度值求和得到$ {a}_{12} $,同样进行n次灰度值累加后得到$ {A}_{1} $,如公式(6),按照2.2节所述的方法对目标图像进行m次连续采样操作,可分别得到采样序列A=($ {A}_{1},\;{A}_{2}\cdots \cdots {A}_{m} $)以及B=($ {B}_{1},\;{B}_{2}\cdots \cdots {B}_{m} $)。序列AB相当于是对图6(a)中的PD1和PD2接收到的异相差分信号进行的离散采样。因此将序列A与序列B进行异相差分,即C=AB,序列C即为异相差分滤波器输出的周期信号,不包含直流基频成分且振幅翻倍。计算各个像面位置对应的差分空间滤波器输出信号C$ {I}_{M} $值,其最大值对应的像面位置即为最佳像面位置。图7(b)为文中提出的异相差分检焦算法的流程图,可使上述检焦过程更清晰直观。

    • 矩形空间滤波器的透射函数表达式如下:

      $$ {h_1}(x,y) = \left\{ {\begin{array}{*{20}{c}} {1,}&{\left(mp - \dfrac{w}{2}\right) \leqslant x \leqslant \dfrac{w}{2}}\\ {0,}&{\rm else} \end{array}} \right.$$ (9)

      式中:p为滤波器周期;w为狭缝宽度。由帕塞瓦尔定理可知,时域信号的傅里叶变换的平方为该信号的功率谱,故矩形滤波器透射函数的功率谱为:

      $$ \begin{split} {H}_{P}\left(\mu ,v\right)=&{\left|H\left(\mu ,v\right)\right|}^{2} =\\ &{\left|\iint h(x,y){\rm e}^{-2\pi j(\mu x+vy)}{\rm{d}}x{\rm{d}}y\right|}^{2} \end{split} $$ (10)

      式中:$ H\left(\mu ,v\right) $为滤波器透射函数的傅里叶变换。根据参考文献[3]的分析,矩形空间滤波器的功率谱为:

      $$ {\left|H(\mu ,v)\right|}^{2}=\frac{{X}^{2}{Y}^{2}{\left|{H}_{Y}\left(v\right)\right|}^{2}}{4}{[{H}_{X}\left(\mu \right)+{H}_{Xm}\left(\mu \right)]}^{2} $$ (11)

      ${H}_{Xm}\left(\mu \right)= \displaystyle\sum _{m=1}^{\infty }\dfrac{2{(-1)}^{m-1}}{(2m-1)\pi }[{H}_{Xm}^{-}\left(\mu \right)+{H}_{Xm}^{+}\left(\mu \right)]$${H}_{Xm}^{-}\left(\mu \right)= $$ \dfrac{\mathit{\sin}\pi \left(\mu -\dfrac{2m-1}{p}\right)X}{\pi \left(\mu -\dfrac{2m-1}{p}\right)X}$

      $$ {H}_{Xm}^{+}\left(\mu \right)=\dfrac{\mathit{\rm sin}\pi \left(\mu +\dfrac{2m-1}{p}\right)X}{\pi \left(\mu +\dfrac{2m-1}{p}\right)X} $$ (12)

      而差分滤波器透射函数的功率谱函数为:

      $$ {\left|H(\mu ,v)\right|}^{2}=\frac{{X}^{2}{Y}^{2}{\left|{H}_{Y}\left(v\right)\right|}^{2}}{2}{\left[{H}_{Xm}\left(\mu \right)\right]}^{2} $$ (13)

      由公式(13)可知,去除了基频成分的差分滤波器信号的振幅相比矩形滤波器增大了一倍,在焦面检测过程中,矩形滤波信号的基频会导致图像中虽然含有高频的边缘细节成分,但输出的信号比较小,无法很好地判断各像面位置,而差分滤波器的输出信号振幅更大,更有利于信号的提取,有助于判断各像面的位置,提高检焦精度;且基频成分的频谱会与中心频率处的频谱产生混叠,造成中心频率偏移,而检焦依赖滤波器对于频率的选择性,因此去除基频会减小中心频率的偏移从而提高检焦精度。

      改进后的异相差分滤波器输出信号$ {I}_{M} $值作为图像的边缘提取算子,与Robert和Sobel算子相比,所提出的边缘提取算子在提取过程中可有效抑制图像噪声的影响,只要图像中含有一定的高频分量,即可适用于航空相机的像面检测,计算方法简单,且具有CCD探测器成像即可检焦的优点。

    • 设计成像试验对文中图像检焦算法进行验证。为模拟航空相机在运动中对地面成像,使用步进电机驱动相机镜头在导轨上运动,导轨移动速度定为5 mm/s来模拟航空相机飞行时的像移速度,为模拟实际成像过程中的离焦现象,通过调整CCD探测器的位置来改变像面的位置,使得相机离焦、合焦、离焦。图像通过CCD探测器之后的数据实时传送至计算机,检焦算法选择了Robert、Sobel以及异相差分检焦法。

      同时为验证文中改进的评价函数对不同成像场景的依赖程度,选择三种不同的成像场景,成像距离分别为500 m、1500 m和6000 m,CCD放置于距标定焦面的300 μm处的初始检焦位置对景物进行拍照,如图8所示。根据1.1节的分析计算系统半焦深,其中,F为光学系统F数,F=8,λ=0.6 μm为入射光的波长,所以实验的光学系统半焦深为76.8 μm,CCD探测器在导轨上的搜索间隔取30 μm,不应超过半焦深,在焦面附近的300 μm范围内进行搜索,三组不同成像场景每组均拍摄11幅图像。对每组不同场景的图像分别使用Robert、Sobel和差分滤波器输出信号$ {I}_{M} $值作为调焦评价函数来对相机进行焦面检测实验,并对各组检焦曲线进行对比分析,检焦结果如图9所示。

      图  8  实验采集图像

      Figure 8.  Experimental acquisition of images

      图  9  不同成像场景下的检焦曲线

      Figure 9.  Focusing curves in different imaging scenarios

      图9所示为三组不同成像场景的检焦曲线,横坐标为相机离焦量,纵坐标为归一化评价函数值。可以看出,三种检焦算法中,异相差分滤波检焦曲线随离焦量的变化最明显,灵敏度最高。三种成像场景,成像距离越长,图像的信噪比下降,噪声含量增加,三种检焦算法的检焦效果均会变差,根据1.4节的分析可知异相差分滤波器输出信号振幅增大一倍,信噪比大幅提高,检焦函数对于噪声具有良好的抗干扰能力,在成像距离为6000 m的场景中,Robet、Sobel算子的检焦效果已经变差,但所提出的异相差分图像检焦算法仍然有效,有着较高的灵敏度。因此,所提出的异相差分图像检焦算法在不同的成像场景中都有着较高的灵敏度,适合复杂环境下的航空相机焦面检测。

      为了分析文中异相差分检焦算法的重复性精度,根据参考文献[6]的分析,将导轨移动速度在5~53.2 mm/s之间根据典型速高比进行设置,进行25次像面检测,计算检焦误差的均方值,计算结果如表1所示。

      表 1  重复性精度比对

      Table 1.  Repeatability accuracy comparison

      Rail speed/mm·s−1Focusing accuracy/μm
      5 5.43
      15.5 9.54
      28.3 13.17
      36.4 22.35
      42.0 28.10
      53.2 36.18

      表1可知,导轨移速增大,则像移速度增大,即图像的像移量变大,这会导致图像质量变差[14-15],检焦精度降低,检焦误差的均方根值最大值为36.18 μm。

      航空相机实际调焦工作中还存在着温度、压力调焦误差。航空相机离焦量对温度的敏感度为温度在−40~50 ℃变化范围内,每1 ℃的温度变化引起的离焦量为2.3 μm,所以选择测量误差不大于1 ℃的温度传感器引起的调焦误差不大于2.3 μm。根据光学系统设计,压力在0~1013 mbar(1 mbar=100 Pa)的变化范围内,相机离焦量最大为0.6808 mm,每10 mbar压力变化引起的离焦量为6.7 μm,选择测量误差不大于10 mbar的压力传感器,则压力调焦误差将不超过6.7 μm。

      通过上述分析可知,由温度、压力调焦误差以及距离调焦误差引起的调焦系统总误差45.18 μm,小于76.8 μm的半焦深,满足工程需求。

    • 航空遥感相机的快速发展使得对于检焦精度的要求越来越高,文中利用异相差分空间滤波器输出信号的$ {I}_{M} $值进行焦面检测,并与经典图像评价算子的检焦效果进行比较,在5~53.2 mm/s之间的典型导轨移动速度下设计成像实验,各进行25次重复性焦面检测,结果表明,异相差分图像检焦算法的抗干扰能力好、场景适应性强、检焦灵敏度高,检调焦系统总测量误差最大值为45.18 μm,小于文中光学系统的允许误差(76.8 μm),满足工程需求,适用于航空相机的自动焦面检测。在后续研究中还应继续提高空间滤波算法焦面检测精度,并不断累积统计大数据,实现高精度、实时性调焦。

参考文献 (15)

目录

    /

    返回文章
    返回