留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于主动红外视觉探测的激光跟踪仪目标跟踪恢复方法

王博 董登峰 高兴华 周维虎

王博, 董登峰, 高兴华, 周维虎. 基于主动红外视觉探测的激光跟踪仪目标跟踪恢复方法[J]. 红外与激光工程, 2021, 50(4): 20200254. doi: 10.3788/IRLA20200254
引用本文: 王博, 董登峰, 高兴华, 周维虎. 基于主动红外视觉探测的激光跟踪仪目标跟踪恢复方法[J]. 红外与激光工程, 2021, 50(4): 20200254. doi: 10.3788/IRLA20200254
Wang Bo, Dong Dengfeng, Gao Xinghua, Zhou Weihu. Laser tracker target tracking recovery method based on detection system with active infrared vision[J]. Infrared and Laser Engineering, 2021, 50(4): 20200254. doi: 10.3788/IRLA20200254
Citation: Wang Bo, Dong Dengfeng, Gao Xinghua, Zhou Weihu. Laser tracker target tracking recovery method based on detection system with active infrared vision[J]. Infrared and Laser Engineering, 2021, 50(4): 20200254. doi: 10.3788/IRLA20200254

基于主动红外视觉探测的激光跟踪仪目标跟踪恢复方法

doi: 10.3788/IRLA20200254
基金项目: 国家自然科学基金(61675211);国家重点研发计划(2019YFB2006100);中国科学院A类先导项目(XDA13030400)
详细信息
    作者简介:

    王博(1986−),男,2009年、2013年于北京信息科技大学分别获得学士、硕士学位,现为中国科学院微电子研究所光电技术研发中心博士研究生,主要从事机器视觉及自动控制方面的研究。

    董登峰(1981−),男,副研究员,博士,2004年于郑州大学获得学士学位,2012年于北京航空航天大学获得博士学位,现为中国科学院微电子研究所光电研发中心副主任,中国科学院大学岗位教师、硕士研究生导师。主要从事光学精密测量、AI识别方法、智能跟踪控制、视觉伺服控制系统等方面的研究。

    周维虎(1962−),男,研究员,博士,1983年、2000年于合肥工业大学分别获得学士、博士学位,现为中国科学院微电子研究所光电研发中心主任,中国科学院大学岗位教授、博士生导师。主要从事光电检测、光电系统总体设计与集成测试、光电精密测量技术与仪器等方面的研究。

    通讯作者: 董登峰
  • 中图分类号: TP391.4;TH744

Laser tracker target tracking recovery method based on detection system with active infrared vision

  • 摘要: 为实现激光跟踪仪的自主快速跟踪恢复,提出了一种基于主动红外视觉的跟踪恢复方法。首先,对所采用的跟踪恢复原理进行了分析。其次,充分利用激光跟踪仪合作目标靶球的强反射特性,设计了主动红外视觉探测系统。该系统采用红外SLED作为主动光源,利用SLED大发散角、红外相机的视场角远大于激光跟踪仪PSD探测范围的综合优势,实现合作目标靶球的大范围主动探测。然后,对红外图像中目标的快速识别与定位算法进行了研究,提出了基于合作目标特征评分的快速识别方法。最后,构建了跟踪恢复系统实验装置,并在算法的处理速度与识别准确度、系统的跟踪恢复范围和跟踪恢复速度等方面开展了针对性验证实验。实验结果表明,算法的平均处理速度约为每秒28帧,同时95.4%的目标中心像素坐标定位偏差低于5个像素值;在合作目标靶球距离3 m的情况下,跟踪恢复系统能够在1.8 s内实现直径0.5 m空间范围内的跟踪恢复。
  • 图  1  跟踪恢复原理示意图

    Figure  1.  Schematic diagram of tracking recovery

    图  2  系统的非同轴安装

    Figure  2.  Non-coaxially assembled system

    图  3  系统原理框图

    Figure  3.  System schematic diagram

    图  4  红外图像

    Figure  4.  Infrared image

    图  5  目标识别与定位

    Figure  5.  Object recognition and localization

    图  6  跟踪恢复算法流程图

    Figure  6.  Flowchart of tracking recovery algorithm

    图  7  测试图像

    Figure  7.  Test images

    图  8  跟踪恢复实验装置系统

    Figure  8.  Experimental facility of tracking recovery

    表  1  目标识别与定位算法的测试结果

    Table  1.   Test results of target recognition and position algorithm

    OffsetPercentageProcessing time/ms
    0-595.4%Minimax:29
    5-103.2%Average:35.5
    Above101.4%Maximum:42
    Note: The test image resolution is 1280 ×1024. The average pixel area is about 621 pixels. According to the size of the minimum bounding rectangle of target,the evaluation criteria is 5 and 10 pixels
    下载: 导出CSV

    表  2  实验结果

    Table  2.   Experimental results

    Target
    moving
    distance/cm
    Number of
    experiments and
    results/times
    Average time of
    completion/s
    Motion number
    of the
    turntable/times
    530Success:301.772
    Failure:0
    1030Success:301.812
    Failure:0
    1530Success:301.702
    Failure:0
    2030Success:301.822
    Failure:0
    2530Success:42.723
    Failure:26
    下载: 导出CSV
  • [1] Wang Bo, Dong Dengfeng, Zhou Weihu, et al. Study on visual detection for laser tracker target tracking recovery [J]. Optics and Precision Engineering, 2020, 28(2): 271-282. (in Chinese)
    [2] Zhou Hu, Zhu Jigui, Zhang Zili, et al. Design of dynamic traching and guiding system for laser-electronic theodolite [J]. Optics and Precision Engineering, 2011, 19(11): 2671-2678. (in Chinese) doi:  10.3788/OPE.20111911.2671
    [3] Wu Bin, Su Xiaoyue. A precise guiding method for automatic measurement with visual guiding theodolites [J]. Laser Technology, 2015, 39(4): 453-457. (in Chinese)
    [4] Wang Yali, Wei Zhenzhong, Zhang Guangjun, et al. Calibration method for visual-guided laser tracker measurement system based on the Cayley transformation [J]. Infrared and Laser Engineering, 2016, 45(5): 0517001. (in Chinese) doi:  0517001
    [5] Wei Zhenzhong, Sun Wen, Zhang Guangjun, et al. Method for finding the 3D center positions of the target reflectorsin laser tracking measurement system based on vision guiding [J]. Infrared and Laser Engineering, 2012, 41(4): 929-935. (in Chinese)
    [6] Jiang Jixiang, Qu Yufu, Deng Xiangjin, et al. Method of locating the mirror center of laser tracker target ball [J]. Optical Technique, 2014, 40(4): 362-366. (in Chinese) doi:  10.3788/GXJS20144004.0362
    [7] Chen Y, Song B, Wang D, et al. An effective infrared small target detection method based on the human visual attention [J]. Infrared Physics & Technology, 2018, 95: 128-135.
    [8] Lahmyed R, El Ansari M, Ellahyani A. A new thermal infrared and visible spectrum images-based pedestrian detection system [J]. Multimedia Tools and Applications, 2019, 78(12): 15861-15885. doi:  10.1007/s11042-018-6974-5
    [9] He Fuliang, GuoYongcai, Gao Chao. Human segmentation of infrared image for mobile robot search [J]. Multimedia Tools & Applications, 2018, 77(9): 10701-10714.
  • [1] 齐志军, 朱东辉, 罗涛, 苗学策, 何晓业.  无需公共点的高精度激光跟踪仪自标定方法 . 红外与激光工程, 2024, 53(2): 20230607-1-20230607-8. doi: 10.3788/IRLA20230607
    [2] 宗思光, 张鑫, 曹静, 梁善永, 李斌.  舰船尾流激光探测跟踪方法与试验 . 红外与激光工程, 2023, 52(3): 20220507-1-20220507-12. doi: 10.3788/IRLA20220507
    [3] 平少栋, 傅云霞, 张丰, 任瑜, 孔明.  镜面反射式激光跟踪干涉测长的测量方法研究 . 红外与激光工程, 2021, 50(12): 20210624-1-20210624-7. doi: 10.3788/IRLA20210624
    [4] 王聪, 陈佳夷, 栗孟娟, 王海超, 李斌.  基于干涉测量的Ф1.3 m非球面反射镜定心 . 红外与激光工程, 2020, 49(1): 0113001-0113001(6). doi: 10.3788/IRLA202049.0113001
    [5] 何俊, 张福民, 张画迪, 曲兴华.  基于球心拟合的多边激光跟踪系统自标定方法 . 红外与激光工程, 2020, 49(8): 20190438-1-20190438-7. doi: 10.3788/IRLA20190438
    [6] 杨自鹏, 刘敏, 周佑君, 董鹏, 杨传成.  异型载荷适配器工艺方案及精度测量方法研究 . 红外与激光工程, 2019, 48(S1): 72-77. doi: 10.3788/IRLA201948.S117001
    [7] 安其昌, 张景旭, 杨飞, 赵宏超.  GSSMP转动精度的测量与标定 . 红外与激光工程, 2018, 47(9): 917004-0917004(7). doi: 10.3788/IRLA201847.0917004
    [8] 杨振, 沈越, 邓勇, 李丛.  基于激光跟踪仪的快速镜面准直与姿态测量方法 . 红外与激光工程, 2018, 47(10): 1017001-1017001(6). doi: 10.3788/IRLA201847.1017001
    [9] 崔成君, 劳达宝, 董登峰, 高强, 周维虎.  飞秒激光跟踪仪跟踪脱靶量零位标定方法 . 红外与激光工程, 2017, 46(1): 117001-0117001(8). doi: 10.3788/IRLA201746.0117001
    [10] 安其昌, 张景旭, 杨飞, 孙敬伟.  GSSM系统抖动测量误差分析 . 红外与激光工程, 2017, 46(2): 217002-0217002(7). doi: 10.3788/IRLA201746.0217002
    [11] 李丹妮, 呼丹, 王劲松, 张继明, 安志勇.  火炮偏离角测量数字化系统 . 红外与激光工程, 2016, 45(3): 317003-0317003(5). doi: 10.3788/IRLA201645.0317003
    [12] 洪天琦, 黄喆, 杨凌辉, 郭思阳, 邹剑, 叶声华.  外部测量装置的捷联惯导对准方法 . 红外与激光工程, 2016, 45(5): 531002-0531002(5). doi: 10.3788/IRLA201645.0531002
    [13] 王亚丽, 魏振忠, 张广军, 邵明伟.  视觉引导激光跟踪测量系统的Cayley变换校准方法 . 红外与激光工程, 2016, 45(5): 517001-0517001(5). doi: 10.3788/IRLA201645.0517001
    [14] 董登峰, 程智, 周维虎, 纪荣祎, 刘鑫.  激光跟踪仪目标脱靶量精密探测方法 . 红外与激光工程, 2016, 45(6): 617002-0617002(7). doi: 10.3788/IRLA201645.0617002
    [15] 钟宇, 吴晓燕, 黄树彩, 吴建峰, 李成景, 唐意东.  红外预警双星弹道导弹主动段跟踪性能 . 红外与激光工程, 2015, 44(12): 3587-3596.
    [16] 郑学汉, 魏振忠, 张广军.  运动目标视觉跟踪测量系统与场地坐标系的快速统一方法 . 红外与激光工程, 2015, 44(7): 2175-2181.
    [17] 杨飞, 刘国军, 安其昌.  平差理论在大口径光学元件轮廓检测中的应用 . 红外与激光工程, 2015, 44(10): 2965-2969.
    [18] 苏娟, 杨小冈, 卢俊.  鲁棒的前视红外目标多核跟踪算法 . 红外与激光工程, 2013, 42(2): 543-548.
    [19] 黎志华, 李新国.  基于OpenCV的红外弱小运动目标检测与跟踪 . 红外与激光工程, 2013, 42(9): 2561-2565.
    [20] 安其昌, 张景旭, 孙敬伟.  基于极大似然估计的TMT三镜轴系装调 . 红外与激光工程, 2013, 42(11): 3002-3007.
  • 加载中
图(8) / 表(2)
计量
  • 文章访问数:  440
  • HTML全文浏览量:  152
  • PDF下载量:  53
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-11-05
  • 修回日期:  2020-12-15
  • 网络出版日期:  2021-05-12
  • 刊出日期:  2021-04-30

基于主动红外视觉探测的激光跟踪仪目标跟踪恢复方法

doi: 10.3788/IRLA20200254
    作者简介:

    王博(1986−),男,2009年、2013年于北京信息科技大学分别获得学士、硕士学位,现为中国科学院微电子研究所光电技术研发中心博士研究生,主要从事机器视觉及自动控制方面的研究。

    董登峰(1981−),男,副研究员,博士,2004年于郑州大学获得学士学位,2012年于北京航空航天大学获得博士学位,现为中国科学院微电子研究所光电研发中心副主任,中国科学院大学岗位教师、硕士研究生导师。主要从事光学精密测量、AI识别方法、智能跟踪控制、视觉伺服控制系统等方面的研究。

    周维虎(1962−),男,研究员,博士,1983年、2000年于合肥工业大学分别获得学士、博士学位,现为中国科学院微电子研究所光电研发中心主任,中国科学院大学岗位教授、博士生导师。主要从事光电检测、光电系统总体设计与集成测试、光电精密测量技术与仪器等方面的研究。

    通讯作者: 董登峰
基金项目:  国家自然科学基金(61675211);国家重点研发计划(2019YFB2006100);中国科学院A类先导项目(XDA13030400)
  • 中图分类号: TP391.4;TH744

摘要: 为实现激光跟踪仪的自主快速跟踪恢复,提出了一种基于主动红外视觉的跟踪恢复方法。首先,对所采用的跟踪恢复原理进行了分析。其次,充分利用激光跟踪仪合作目标靶球的强反射特性,设计了主动红外视觉探测系统。该系统采用红外SLED作为主动光源,利用SLED大发散角、红外相机的视场角远大于激光跟踪仪PSD探测范围的综合优势,实现合作目标靶球的大范围主动探测。然后,对红外图像中目标的快速识别与定位算法进行了研究,提出了基于合作目标特征评分的快速识别方法。最后,构建了跟踪恢复系统实验装置,并在算法的处理速度与识别准确度、系统的跟踪恢复范围和跟踪恢复速度等方面开展了针对性验证实验。实验结果表明,算法的平均处理速度约为每秒28帧,同时95.4%的目标中心像素坐标定位偏差低于5个像素值;在合作目标靶球距离3 m的情况下,跟踪恢复系统能够在1.8 s内实现直径0.5 m空间范围内的跟踪恢复。

English Abstract

    • 随着我国制造产业的需求升级,激光跟踪仪在飞机、船舶等大型装备的精密装配、机器人末端执行器的绝对位姿控制等高精度在线测量应用中的作用越发突出。而断光、操作不当或其他现场偶发因素导致的跟踪中断,进而造成测量停止是影响激光跟踪仪工作效率最突出的问题。在激光跟踪仪发生跟踪中断后,为实现跟踪和测量的恢复,多数情况下是由操作人员手持合作目标靶球在一定空间范围内移动,寻找并对准空间中的激光束完成跟踪恢复;个别情况下需要操作人员将合作目标靶球放回激光跟踪仪的初始点,重新启动跟踪测量过程,这显著降低了工作效率。因此,实现激光跟踪仪的自主快速跟踪恢复是提高激光跟踪仪高效工作所必须解决的研究难题[1]

      近年来数字图像处理技术与机器视觉技术飞速发展,基于视觉成像系统及相关技术实现对激光测量系统的引导与再次对准成为该领域的研究热点。其中,天津大学研究了基于视觉引导的激光经纬仪动态跟踪与自动测量方法与系统装置,重点攻克了空间坐标转换与系统标定并实现了激光的自动对准[2-3];北京航空航天大学研究了视觉引导激光跟踪测量系统的空间坐标变换校准方法,给出了坐标系之间快速有效的解算方法[4],同时针对引导过程中靶球中心的定位方法进行了研究,实现从图像中提取靶球中心像素坐标位置[5-6]。上述方法多是利用数字图像处理与机器视觉技术针对激光成像光斑或合作目标靶球进行识别定位,通过坐标位置的换算引导激光指向目标位置,在一定程度上实现了自动对准,提高了测量效率。但其仍旧存在着较为明显的局限性,如应用现场环境复杂、形状相似干扰物造成的误识别,以及现场环境光线干扰、视觉成像系统观察角度和激光投射角度的变化等多种因素造成的合作目标无法识别等缺陷。中国科学院微电子研究所基于深度学习技术,利用改进的Faster R-CNN网络实现复杂场景下合作目标靶球的识别检测[1],但由于深层卷积神经网络的计算量较大,该方法需要在运算能力较强的GPU平台下进行,实时性方面仍旧不能满足工业现场的要求。

      文中从实际应用需求出发,阐述了基于视觉系统的跟踪恢复原理。针对跟踪恢复实现过程中,复杂空间背景条件下合作目标靶球的快速准确识别这一核心问题,提出了基于主动红外视觉探测的方法并讨论该方法的优势,同时对系统组成、关键核心算法进行了详细设计和研究。最后构建了跟踪恢复实验装置系统,开展跟踪恢复功能检测实验,实验结果表明该方法能够实现激光跟踪仪的快速跟踪恢复。

    • 基于视觉的激光跟踪仪跟踪恢复方法主要依靠图像信息计算合作目标靶球的偏移量,引导跟踪运动机构转动使激光束再次对准合作目标靶球完成跟踪恢复。

      具体过程如图1所示,将相机作为激光跟踪仪光学部件之一安装在二维转台上,定义图中Og-XgYgZg为视觉成像系统的相机坐标系,其中O为相机光心,Zg为相机光轴,并假定激光的光轴与Zg轴重合;o-xy为视觉成像系统中相机的图像坐标系,o点为图像坐标系中心点,图中略去激光测距系统。合作目标靶球在三维空间中移动,在正常跟踪测量工作状态下,合作目标靶球应在Zg轴上;当发生跟踪中断、测量停止时,合作目标靶球偏离了激光光轴在图中P1点位置。为了实现跟踪恢复,需要引导跟踪运动机构转动θ角,使激光再次对准合作目标靶球。根据相机的小孔成像原理,靶球在图像中对应的中心像点为p。首先提取出图像中p点的像素坐标位置,并计算该点与图像中心点o之间的像素距离l,再利用提前标定出的相机内部参数换算为物理距离Δl。该距离在物空间上对应了合作目标靶球距离光轴Zg的距离ΔL。从图1可见,根据相似三角形关系,可知:

      图  1  跟踪恢复原理示意图

      Figure 1.  Schematic diagram of tracking recovery

      $${\rm{tan \theta}} = \frac{{\Delta {{l}}}}{{{f}}} \approx {\rm{\theta }}$$ (1)

      式中:f为相机的焦距。为满足二维转台运动特性,θ角可分解为水平方向上的方位转动角θx和竖直方向上的俯仰运动角θy。其中θx由Δlx轴分量计算得到,θy由Δly轴分量计算得到。根据摄像机成像原理及标定原理,利用公式(2)对θxθy行计算,其中(x0,y0)、(xp,yp)是o点与p点的图像坐标;(u0,u0)、(up,up)是o点与p点的像素坐标;M为相机的内部参数,可通过标定获得。

      $$\left\{ {\begin{array}{*{20}{c}} {{{\rm{\theta }}_{{x}}} = \dfrac{{\Delta {{x}}}}{{{f}}} = \dfrac{{{{{x}}_{{p}}} - {{{x}}_{{o}}}}}{{{f}}} = {{M}}\left( {{{{u}}_{{p}}} - {{{u}}_{{o}}}} \right)}\\ {{{\rm{\theta }}_{{y}}} = \dfrac{{\Delta {{y}}}}{{{f}}} = \dfrac{{{{{y}}_{{p}}} - {{{y}}_{{o}}}}}{{{f}}} = {{M}}\left( {{{{v}}_{{p}}} - {{{v}}_{{o}}}} \right)} \end{array}} \right.$$ (2)

      需要注意的是,该方法与常见的视觉测量系统工作原理存在一定的不同,并不需要计算出合作目标靶球在空间中的具体三维坐标位置。根据相机小孔成像模型以及相机标定原理可知,图像中的成像点p对应物空间点不是唯一的,而是一条射线pz。如图1所示,当合作目标靶球工作在较远位置时发生跟踪中断,偏移位置点在p2,图像上对应的成像点仍旧为p点,跟踪恢复所需要的转动角θ与合作目标靶球在p1点时一样。此方法避免了复杂的空间坐标换算关系,在成像清晰的前提下,允许物空间点有一定的距离变化,一定程度上克服了传统视觉测量引导方法对拍摄距离的严格要求。

    • 在系统实际装配过程中,能通过机械部件的微调解决相机视轴与激光光轴之间不平行的问题,但很难做到相机视轴与激光光轴同轴。相机与激光器是两个相对独立的部件,安装位置也存在一定的距离。实际的跟踪恢复不能以相机视轴为准,而要以激光的光轴为基准来计算转动角度值。要实现较为精准的跟踪恢复角度值计算,需要对非同轴偏差进行补偿。

      设激光光轴与相机之间的水平安装距离为d,结合图2,这里仅在水平一个方向上进行分析,同理推导至竖直方向。跟踪中断发生后,靶球偏离激光光轴,根据其与视轴、光轴的空间位置关系可分为Q1Q2Q3三类,对应成像点是图像中的p1p2p3点。Q1Q3分别代表了靶球位于视轴的右侧和光轴的左侧,Q2代表靶球正好位于视轴与光轴的中间位置。A点为靶球距离主题距离为D时,激光所对应的空间坐标点,该点对应理论像点为a。由于空间中并不存在反射面,因此该点a在实际成像过程中并不存在,仅用于计算过程。要实现跟踪恢复,就需要计算出p1p2p3点于a点之间相对的夹角α1α2α3。根据公式(1)可以计算出p1p2p3点与o点之间的夹角θ1θ2θ3 (这里θ角仅包含了水平分量)。a点与o点之间的夹角θa可按照如下公式计算:

      图  2  系统的非同轴安装

      Figure 2.  Non-coaxially assembled system

      $${\rm{tan}}{{\rm{\theta }}_{{a}}} = \frac{{{d}}}{{{{D - f}}}} \approx {{\rm{\theta }}_{{a}}}$$ (3)

      式中:d为相机与激光器的安装距离;f为相机焦距。这两个值是系统内部结构参数值,不发生变化。变量DA点距离跟踪仪主体的距离,该变量可以根据跟踪中断前最后的距离测量值得到。

      由此,角α1α2α3计算见公式(4):

      $$\left\{ \begin{array}{l} {{\rm{\alpha }}_{\rm{1}}}={{\rm{\theta }}_{\rm{1}}}+{{\rm{\theta }}_{\rm{a}}}\\ {{\rm{\alpha }}_{\rm{2}}}={{\rm{\theta }}_{\rm{2}}}-{{\rm{\theta }}_{\rm{a}}}\\ {{\rm{\alpha }}_{\rm{3}}}={{\rm{\theta }}_{\rm{3}}}-{{\rm{\theta }}_{\rm{a}}} \end{array} \right.$$ (4)

      实际应用过程中为分辨运算符号的问题,将相机以中心o点划分为1~4共四个象限。对于x方向,当p点落在1、4象限时,角α的计算公式为:

      $${\rm{\alpha}} {\rm{ = }}{\rm{\theta}} - {\theta _{\rm{a}}}$$ (5)

      p点落在2、3象限时,角α的计算公式为:

      $${\rm{\alpha}} {\rm{ = }}{\rm{\theta}} + {{\rm{\theta}} _{\rm{a}}}$$ (6)

      通过识别靶球中心图像点在图片中坐标位置选用对应的公式计算跟踪恢复偏差角。

    • 基于视觉系统引导的跟踪恢复中,难度最大的问题是如何在复杂背景下快速准确地识别定位出图像中的目标。基于传统图像处理与识别方法仅能在简单背景下实现合作目标靶球的检测,对于复杂背景、光照不均匀、目标姿态和尺度多变的适应性不强。基于深度学习实现的目标检测网络能够在一定程度上实现复杂背景下的目标检测定位[1],但由于其网络结构复杂、计算量较大,需要在较大型的计算平台上进行训练和推理,且其识别效果依赖数据集的构建,限制了该方法在实际工程中的集成应用。文中提出基于主动红外视觉探测系统的合作目标检测方法,如图3所示,发射与跟踪激光平行的大发散角大功率红外光束,覆盖合作目标靶球周边的大范围空间区域,利用合作目标形状规则且可对发射光进行强反射的特点,采用红外相机配合近红外带通滤光片对目标空间进行成像,在获取目标的成像信息的同时滤除可见光波段下的复杂背景干扰,通过加大目标与背景之间的对比度实现更加准确、可靠且快速的目标检测。

      图  3  系统原理框图

      Figure 3.  System schematic diagram

      上述原理中,光源与红外相机是实现该方法的核心关键部件。文中选用近红外超辐射发光二极管(Superluminescent light emitting diodes, SLED)作为光源,其具有比半导体激光器更宽的发光光谱和更短的相干长度,同时具备比LED更高的输出功率,是一种宽光谱、弱时间相干性、大功率、高效率的半导体光发射器件。选用SLED作为光源,在保证高功率照明的前提下又不会对测距激光造成影响,是实现文中方法最优的空间照明光源。在红外图像传感器方面,选用集成了E2V公司的EV76C661ABT近红外增强CMOS图像传感器的红外相机,配合近红外带通滤光片滤除可见光波段的光线,通过调节相机传感器的曝光时间来适度减少背景物体的成像亮度,实现对复杂背景的滤除。如图4所示,图4(a)4(b)为基于主动红外视觉探测系统所成的红外图像,其中图4(a)曝光时间比图4(b)的曝光时间长,该结果可以通过调整红外相机的CMOS图像传感器的曝光参数进行在线调节。从图4(b)中可以明显看到复杂的背景已经被滤除,而合作目标靶球所成的像是一个高亮的圆斑,大大提高了目标与背景之间的对比度,降低了从图像中提取目标像素位置的难度。此外,曝光时间的适度调节还可以实现对靶球工作距离的自适应,当靶球距离跟踪仪主体较近时,可减少曝光时间,反之则增大曝光时间使成像稳定。

      图  4  红外图像

      Figure 4.  Infrared image

    • 合作目标靶球是一个体积小、特征少且外形简单的物体,其最大的特点是在强光源照射下,在图像中形成一个圆形的高亮斑,如图4所示。但激光跟踪仪是空间大尺寸高精度测量仪器,合作目标靶球所在的工作环境背景是复杂且多变的,文中在试验过程中发现背景中其他金属物体(如工件、其他仪器设备主体等)也会对SLED光源所发射的光线进行反射,在图像中形成高亮区域,该现象对正确识别定位红外图像中合作目标靶球的像素坐标位置产生一定不利影响。为解决这个问题,文中提出基于目标区域正圆度的特征值来对图像中的候选目标区域进行评分,最终将得分最高的区域的几何中心点作为合作目标靶球中心点所在的像素坐标位置。

      在进行特征值计算前,需要对输入的红外图像进行二值化、去噪、形态学操作等预处理[7-9]。首先对输入的灰度图像进行二值化,文中采用基于相机曝光参数加权的最大类间差二值化方(OSTU方法)。如图5(a)图5(b)所示,首先用OSTU算法对输入图像计算出初始阈值t0,基于公式(7)计算出二值化阈值t

      图  5  目标识别与定位

      Figure 5.  Object recognition and localization

      $${{t}} = \frac{{{k}}}{{{T}}} \times {{{t}}_0}$$ (7)

      式中:T为相机曝光时间;k为调整参数,可根据实验环境照明的强弱进行调整。针对二值图像,使用中值滤波、形态学开操作去除二值图像中像素面积较小的干扰块后,在使用闭操作将被切断的目标区域连接为一个整体。最后在图像中搜寻连通域作为候选目标区域。图5(c)中,有两个高亮的区域被选目标候选区域,一个是合作目标靶球。另一个是合作目标靶球附近的金属反光架。

    • 理想情况下,经过图像预处理后的合作目标靶球的像应该是一个正圆形的亮斑。但由于实际工作状态下靶球往往距离相机和光源较远,且成像时由于操作人员的因素,其自身存在一定的姿态夹角,因此,实际的像应该是一个趋近于圆形的连通域,如图5(c)所示,背景中其他反光干扰物的像与圆形区别较大。因此,文中通过计算目标域的正圆度作为该目标域是否是合作目标靶球的像的主要判定依据。正圆度e的计算公式的定义如公式(8)所示:

      $$e = \frac{{4\pi \times {\rm{area}}}}{{{{\left( {{\rm{perimeter}}} \right)}^2}}} = \frac{{4\pi \times \pi {r^2}}}{{{{\left( {2\pi {{r}}} \right)}^2}}}$$ (8)

      式中:area为面积,是目标域中包含的像素数;perimeter为周长,是指目标域闭合的轮廓线上所有像素间的距离之和。由公式(1)可知,当目标区域越接近理想圆时,其面积越符合公式πr2,周长越符合2πr,则其正圆度e的计算越接近1,而与圆形区别较大的目标域的正圆度计算值则与1差别较大。

      图5(d)所示,图像中存在2个目标域,其中目标域No1的面积为331,周长约为68.52;目标域No2的面积为778,周长约为249.15;根据公式(8)计算各自的正圆度,可知e1约为0.887,e2约为0.157。经比较,目标域No1的正圆度更接近1,因此判定目标域1为合作目标靶球,将该目标域中心点的像素坐标(138,68)作为目标的定位(up,vp)的结果,如图5(e)所示,利用该结果计算转台的转动角度值θ,实现跟踪恢复。算法步骤如图6所示。

      图  6  跟踪恢复算法流程图

      Figure 6.  Flowchart of tracking recovery algorithm

    • 文中将实验划分为软件算法验证与系统功能验证两部分进行。软件算法验证实验主要在PC机环境下,利用软件测试方法对目标的快速识别与定位算法的速度与精度进行检测验证;在系统功能验证实验中,文中搭建了硬件验证实验平台,开展跟踪恢复功能检测实验,并对结果进行了分析。

    • 为合理评估算法的性能,需要采集与实际工作情况相近的图像数据样本对算法进行评估。如图7所示,令操作员手持合作目标靶球在空间中移动,利用SLED照射目标区域,并用红外相机采集图像并保存。

      图  7  测试图像

      Figure 7.  Test images

      文中共采集多个场景下共计约500张的多段连续视频图像数据用于检测,其中部分场景人为引入其他金属反光物作为背景干扰源。对于采集的数据首先利用LabelImg工具手工标注出合作目标靶球的边界框坐标位置,并将边界框几何中心点作为目标参考点位置(x0,y0),之后使用目标快速识别与定位算法对图像中的目标中心点进行定位,得到的结果记为(up,vp)。利用公式(9)计算目标点与参考点之间的像素坐标偏移量。

      $${\rm{offset}} = \sqrt {{{\left( {{{{u}}_{\rm{p}}} - {{{x}}_0}} \right)}^2} + {{\left( {{{{v}}_{\rm{p}}} - {{{y}}_0}} \right)}^2}} $$ (9)

      测试在windows 10环境下进行,PC机的CPU为Intel i7-6700HD;同时选用Visual Studio 2015编程环境,采用C++语言进行代码编程。经过测试,单张图像的检测速度在29~42 ms之间,平均每秒约28帧。表1展示了目标快速识别与定位算法的测试结果,其中98.6%的测试图像的检测结果与手工标注的参考点之间的误差不超过10个像素距离,验证了该算法能够实现图像中合作目标的快速准确识别定位。

      表 1  目标识别与定位算法的测试结果

      Table 1.  Test results of target recognition and position algorithm

      OffsetPercentageProcessing time/ms
      0-595.4%Minimax:29
      5-103.2%Average:35.5
      Above101.4%Maximum:42
      Note: The test image resolution is 1280 ×1024. The average pixel area is about 621 pixels. According to the size of the minimum bounding rectangle of target,the evaluation criteria is 5 and 10 pixels
    • 文中利用二维运动转台为带载平台,搭建了一套跟踪恢复实验装置系统,如图8所示,目标靶球安装在一维运动导轨上,该导轨距离二维运动转台的直线距离为3 m,该导轨可根据实验需求对启停位置、运动速度等进行设置;红外相机与SLED光源的光纤发射端通过结构件安装在二维运动转台的负载平面上,红外相机选用定焦16 mm镜头;相机采集的图像数据通过USB接口传输至主控及显示系统中。主控系统利用目标快速识别与定位算法对输入图像进行处理后,根据其定位到的目标中心点像素坐标位置结果计算出跟踪恢复所需要的二维转台的转动角度值α。二维转台驱动箱与主控系统之间通过串口进行数据通信,驱动箱根据主控系统发送的转动角度、速度及加速度等各类指令信息来控制转台的运动。

      图  8  跟踪恢复实验装置系统

      Figure 8.  Experimental facility of tracking recovery

      进行跟踪恢复时,二维运动转台水平方向与竖直方向转动的原理方法一致,文中仅在水平一个方向上开展测试实验。实验以相机视轴替代激光光轴作为对准轴,规避了非同轴偏差角对实验的影响;当合作目标靶球与视轴未对准时,判定为目标丢失、跟踪中断需要启动跟踪恢复功能,通过二维转台带动红外相机转动,目标在图像中的成像位置也随之移动,当目标的图像中心点与图像中心像素坐标点重合时,判定为相机视轴对准了合作目标靶球,实现了跟踪恢复功能。

      实验从跟踪恢复范围和跟踪恢复速度两个方面对跟踪恢复方法和系统性能进行评估。首先通过设定指令,令合作目标靶球与相机视轴在水平方向上对准,即在水平方向上目标靶球中心点像素坐标与图像中心点重合;之后用遮挡物遮蔽合作目标靶球。令一维运动导轨带动合作目标靶球运动至指定位置,移开遮蔽物,此时合作目标靶球在水平方向上相对于图像中心点已经产生了偏移,系统启动目标识别定位等跟踪恢复动作,统计系统完成跟踪恢复的全部时间。重复实验,设定相同的偏移距离,记录实验结果如表2所示。

      表 2  实验结果

      Table 2.  Experimental results

      Target
      moving
      distance/cm
      Number of
      experiments and
      results/times
      Average time of
      completion/s
      Motion number
      of the
      turntable/times
      530Success:301.772
      Failure:0
      1030Success:301.812
      Failure:0
      1530Success:301.702
      Failure:0
      2030Success:301.822
      Failure:0
      2530Success:42.723
      Failure:26

      表2可以看出,当目标偏移距离小于25 cm时,系统能够稳定地实现跟踪恢复功能,而当目标偏移距离大于25 cm时,跟踪恢复失败的次数明显上升,这是由于合作目标靶球所在位置不在SLED光源覆盖范围内导致,该现象如图7所示。根据测算,实验中选用的SLED光源光束发散角约为9.5°,实验距离设置为3 m,光源理论有限覆盖范围约49.85 cm,单侧理论有效覆盖范围约24.92 cm。当目标距离初始点偏移距离为25 cm时,正处于光源有限覆盖范围的边缘,此时目标成像不稳定,无法有效地进行目标探测导致跟踪恢复失败。

      在有效覆盖范围内,系统完成跟踪恢复的平均时间在1.7~1.8 s之间,明显低于图像单张35.5 ms的运算速度。除了常规的系统通信延时、转台运动耗时等因素外,造成该现象的主要原因是转台需要2次运动才能实现目标对准并完成跟踪恢复。在计算转动角度值α的过程中,目标中心点像素坐标定位的准确度是影响其精确度的重要原因,光照、目标姿态、目标与相机之间的相对位置、空间背景中的干扰等都是直接影响该坐标定位准确度的直接因素。在转台完成第一次运动后,合作目标靶球与相机之间的相对位置发生了变化,由于合作目标靶球是随着一维运动导轨在水平方向上运动,其反光面与相机的成像CCD之间始终存在一个会随着运动发生变化的夹角,反映在图像上就是目标在图像平面内发生了姿态转动;同时由于SLED光源随着相机发生了运动,因此目标所受到的光源照射角度也发生了一定的改变。鉴于以上原因,基于视觉的方法难以实现一次性精确的转动角α的计算,需要通过至少2次的α值计算、并进行相应的转动实现文中实验所要求的跟踪恢复功能。但该指标相较于操作人员手持合作目标靶球、在半径为0.5 m的空间范围内寻找并对准光轴完成跟踪恢复操作,在速度上还是有较为明显的提升。此外,在实际工程应用中,基于所提出方法将激光束引导至对准合作目标靶球,激光跟踪仪自身的位置敏感探测器(PSD)会快速(1 ms量级)获得脱靶量信息,从而可使跟踪恢复过程大幅缩短至数十毫秒内。

    • 针对激光跟踪仪快速跟踪恢复的实际需求,文中首先分析了基于视觉的跟踪恢复原理,并提出了基于主动红外视觉的跟踪恢复方法。然后阐述了主动红外视觉探测系统的系统构成,设计了目标快速识别与定位算法;最后搭建了跟踪恢复实验装置系统,从软件仿真测试、硬件系统功能及指标测试等多方面开展检测实验,对实验结果进行了深入的分析。实验结果表明,在红外相机镜头焦距选用16 mm,光源发散角为9.5°,目标距离为3 m的情况下,基于主动红外视觉探测系统能够在直径为0.5 m的空间范围内实现可靠的跟踪恢复功能,执行时间约为1.7~1.8 s,结合跟踪仪自身的伺服跟踪单元,跟踪恢复时间有望进一步大幅缩短,与操作员人工手动进行跟踪恢复相比具有显著提升。

参考文献 (9)

目录

    /

    返回文章
    返回