留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

单目相机非合作目标提取及位姿检测

田光宝 王见 王博文

田光宝, 王见, 王博文. 单目相机非合作目标提取及位姿检测[J]. 红外与激光工程, 2021, 50(12): 20210166. doi: 10.3788/IRLA20210166
引用本文: 田光宝, 王见, 王博文. 单目相机非合作目标提取及位姿检测[J]. 红外与激光工程, 2021, 50(12): 20210166. doi: 10.3788/IRLA20210166
Tian Guangbao, Wang Jian, Wang Bowen. Monocular camera non-cooperative target extraction and pose detection[J]. Infrared and Laser Engineering, 2021, 50(12): 20210166. doi: 10.3788/IRLA20210166
Citation: Tian Guangbao, Wang Jian, Wang Bowen. Monocular camera non-cooperative target extraction and pose detection[J]. Infrared and Laser Engineering, 2021, 50(12): 20210166. doi: 10.3788/IRLA20210166

单目相机非合作目标提取及位姿检测

doi: 10.3788/IRLA20210166
基金项目: 重庆市科技重大主题专项(cstc2018jszx-cyztzxX0026)
详细信息
    作者简介:

    田光宝,男,硕士生,主要从事图像处理方面的研究

    通讯作者: 王见,男,副教授,硕士生导师,博士,主要从事虚拟仪器及测试仪器、机电一体化等方面的研究。
  • 中图分类号: TP391

Monocular camera non-cooperative target extraction and pose detection

  • 摘要: 针对单一方法难以兼顾图像全局和局部信息准确提取现场环境下的非合作目标边缘的难点,融合聚类等多种算法,提出一种边缘提取新方法。首先,根据图像像素值聚类,每2类间通过阈值进行分割得到1张二值图像;接着将二值图像进行或操作合并。将图像取反后保留最大面积的连通域得到目标分割图片,并提取目标边缘。最后,根据Zernike矩进行亚像素边缘计算。该边缘提取新方法具有较强的适应性,在实际的环境下均可快速有效提取出目标边缘。实验中的非合作目标为设备的三个内孔,用上述方法提取亚像素边缘后拟合出圆心,并用圆心进行相对位姿测量。实验结果表明,该方法鲁棒性强、精度高,最大的位置偏差为0.12 mm,垂直光轴方向姿态角的测量精度可达0.02°,其他两个姿态角的测量精度可达0.07°和0.08°。
  • 图  1  图像分割与边缘细化流程

    Figure  1.  Image segmentation and sub-pixel edge positioning process

    图  2  设备原图。(a) 供应端;(b)接收端;(c)接收端上的特征

    Figure  2.  Original equipment image. (a) Actuator; (b) Receiver; (c) Features on the receiver

    图  3  不同设置下的图片。(a)同位置不同曝光度的图片;(b)同一曝光度不同位置的图片

    Figure  3.  Pictures under different settings. (a) Images with different exposures in the same position; (b) Images with different positions in the same exposure

    图  4  分类后阈值分割过程图片。(a)原图;(b)聚类后图像;(c)第1类和第3类像素值分割的结果;(d)第1类和第2类像素值分割的结果;(e)第2类和第3类像素值分割的结果;(f)图(d)和图(e)异或的结果;(g)图(c)、图(d)、图(e)相或运算的结果;(h)图(g)取反后根据连通域面积关系去掉伪连通域得到的目标

    Figure  4.  Image of threshold segmentation process after classification. (a) Original image; (b) Image after clustering; (c) Results of segmentation of class 1 and class 3 pixel values; (d) Results of segmentation of class 1 and class 2 pixel values; (e) Results of class 2 and class 3 pixel value segmentation; (f) The result of XOR of figure (d) and figure (e); (g) Results of figure (c), figure (d), figure (e) or operation; (h) The target obtained by removing the pseudo-connected components according to the area relationship of the connected components after inverting figure (g)

    图  5  各种分割方法对比。图片对应于图4中第1行第1张图的圆3。(a) Otsu; (b) 利用Otsu得到的全局直方图; (c) 多阈值; (d) 迭代阈值法;(e) 距离正则化水平集演化图像分割方法[18];(f) 文中方法

    Figure  5.  Comparison of various segmentation methods. The picture corresponds to circle 3 in the first picture in the first row in Fig. 4. (a) Otsu; (b) Global histogram threshold using Otsu's method; (c) Multilevel image thresholds using Otsu’s method; (d) Iterative threshold segmentation method; (e) DRLSE algorithm[18]; (f) Proposed method

    图  6  亚像素边缘检测阶跃模型。(a)原始边缘图像; (b)旋转后边缘图像

    Figure  6.  Sub-pixel edge detection ideal step model. (a) Original edge image; (b) Rotated edge image

    图  7  边缘细节。(a) 棋盘格标定板的一个角点; (b) Zernike亚像素边缘和分类后阈值边缘

    Figure  7.  Edge detail. (a) A corner of the checkerboard calibration board; (b) Zernike sub-pixel edges and thresholded edges after classification

    图  8  位姿求解示意图

    Figure  8.  Diagram of pose solution

    图  9  不同曝光度下不同方法的测量误差数据。(a) 不同方法测量误差的标准差;(b) 不同方法测量误差的最大偏差

    Figure  9.  Measurement error data of different methods under different exposures. (a) The standard deviation of measurement error of different methods; (b) Maximum deviation of measurement error of different methods

    图  10  Zernike方法同曝光度不同位置的姿态数据。(a)姿态的标准差图;(b) 最大偏差图; (c)姿态的均值图

    Figure  10.  Zernike method attitude data at different positions of the same exposure. (a) Standard deviation of attitude; (b) Maximum deviation of attitude; (c) Mean attitude

    图  11  不同曝光度下不同尺寸掩膜的测量误差数据。(a) 不同尺寸掩膜的测量误差标准差图;(b) 不同尺寸掩膜的测量误差最大偏差图

    Figure  11.  The measurement error data of different size masks under different exposures. (a) The standard deviation of the measurement error of different size masks; (b) The maximum deviation of the measurement error of different size masks

  • [1] Qu Y P, Liu J Q, Hou W. Graphics design of cooperative targets on monocular vision high precision measurement [J]. Acta Optica Sinica, 2020, 40(13): 1315001. (in Chinese) doi:  10.3788/AOS202040.1315001
    [2] Wang X J, Cao Y, Zhou K. Methods of monocular pose measurement based on planar objects [J]. Optics and Precision Engineering, 2017, 25(1): 274-280. (in Chinese) doi:  10.3788/OPE.20172501.0274
    [3] Guan Y, Wang X J, Yin L, et al. Monocular position and pose measurement method based on surface topography of object [J]. Opto-Electronic Engineering, 2018, 45(1): 40-47. (in Chinese) doi:  10.12086/oee.2018.170522
    [4] Chen G Y, Cheng Q L, Zhang J Y, et al. Multi-sensor measurement based position and pose adjustment method for automatic docking of spacecraft cabins [J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(6): 1232-1239. (in Chinese) doi:  10.13700/j.bh.1001-5965.2018.0593
    [5] Su J D, Qi X H, Duan X S. Plane pose measurement method based on monocular vision and checkerboard target [J]. Acta Optica Sinica, 2017, 37(8): 0815002. (in Chinese) doi:  10.3788/AOS201737.0815002
    [6] Wang Z Y, Li Y R, Hao R J, et al. Monocular vision pose measurement algorithm based on points feature [J]. Infrared and Laser Engineering, 2019, 48(5): 0517002. (in Chinese) doi:  10.3788/IRLA201948.0517002
    [7] Faessler M, Mueggler E, Schwabe K, et al. A monocular pose estimation system based on infrared leds[C]//2014 IEEE international conference on robotics and automation (ICRA), 2014: 907-913.
    [8] Guo Y, Zhao D. Optimization design of non-coplanar target for pose measurement with monocular vision system [J]. Optik, 2017, 131: 72-78. doi:  10.1016/j.ijleo.2016.11.075
    [9] Miao X K, Zhu F, Ding Q H, et al. Monocular vision pose measurement based on docking ring component [J]. Acta Optica Sinica, 2013, 33(4): 0412006. (in Chinese) doi:  10.3788/AOS201333.0412006
    [10] Liu H, Wang Z, Wang B, et al. Pose determination of non-cooperative spacecraft based on multi-feature information fusion[C]//2013 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2013: 1538-1543.
    [11] Zhang Xu, Wei Peng. Monocular vision calibration method of the stereo target for robot pose measurement [J]. Infrared and Laser Engineering, 2017, 46(11): 1117005. (in Chinese) doi:  10.3788/IRLA201746.1117005
    [12] Chen Q J, Zhou Z Q, Liu C J, et al. Design of a vision calibration method of kinematic parameters for 6-DoF manipulator [J]. Journal of Tongji University(Natural Science), 2020, 48(7): 1023-1029. (in Chinese)
    [13] Yang Shangkun, Wang Yansong, Guo Hui. Sub-pixel measurement system of circle outer diameter based on Zernike moment[C]//2nd International Conference on Artificial Intelligence and Engineering Applications, 2017.
    [14] Ghosal S, Mehrotra R. Orthogonal moment operators for subpixel edge detection [J]. Pattern Recognition, 1993, 26(2): 295-306. doi:  10.1016/0031-3203(93)90038-X
    [15] Yang T, Zhao Q, Wang X, et al. Sub-pixel chessboard corner localization for camera calibration and pose estimation [J]. Applied Sciences, 2018, 8(11): 2118. doi:  10.3390/app8112118
    [16] Arnab A, Zheng S, Jayasumana S, et al. Conditional random fields meet deep neural networks for semantic segmentation: Combining probabilistic graphical models with deep learning for structured prediction [J]. IEEE Signal Processing Magazine, 2018, 35(1): 37-52. doi:  10.1109/MSP.2017.2762355
    [17] Takikawa T, Acuna D, Jampani V, et al. Gated-scnn: Gated shape cnns for semantic segmentation [C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 5229-5238.
    [18] Li C, Xu C, Gui C, et al. Distance regularized level set evolution and its application to image segmentation [J]. IEEE Transactions on Image Processing, 2010, 19(12): 3243-3254. doi:  10.1109/TIP.2010.2069690
    [19] Getreuer P. Chan-vese segmentation [J]. Image Processing On Line, 2012, 2: 214-224. doi:  10.5201/ipol.2012.g-cv
    [20] Dhanachandra N, Manglem K, Chanu Y J. Image segmentation using K-means clustering algorithm and subtractive clustering algorithm [J]. Procedia Computer Science, 2015, 54: 764-771. doi:  10.1016/j.procs.2015.06.090
    [21] Thilagamani S, Shanthi N. A survey on image segmentation through clustering [J]. International Journal of Research and Reviews in Information Sciences, 2011, 1(1): 14-17.
    [22] Han J, Yang C, Zhou X, et al. A new multi-threshold image segmentation approach using state transition algorithm [J]. Applied Mathematical Modelling, 2017, 44: 588-601. doi:  10.1016/j.apm.2017.02.015
    [23] Arthur D, Vassilvitskii S. K-means++: The advantages of careful seeding[C]//Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms, 2007: 1027-1035.
    [24] Otsu N. A threshold selection method from gray-level histograms [J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66. doi:  10.1109/TSMC.1979.4310076
    [25] Li J Q, Wang J W, Chen S B, et al. Improved algorithm of subpixel edge detection using Zernike orthogonal moments [J]. Optical Technique, 2003(4): 500-503. (in Chinese) doi:  10.3321/j.issn:1002-1582.2003.04.036
    [26] Banno A. A P3P problem solver representing all parameters as a linear combination [J]. Image and Vision Computing, 2018, 70: 55-62. doi:  10.1016/j.imavis.2018.01.001
  • [1] 李荣华, 王蒙, 周唯, 付佳茹.  双模态信息融合的飞行目标位姿估计方法 . 红外与激光工程, 2023, 52(3): 20220618-1-20220618-16. doi: 10.3788/IRLA20220618
    [2] 杨棉绒, 牛丽平.  基于LGBM的Zernike特征选取及红外图像目标识别方法 . 红外与激光工程, 2022, 51(4): 20210309-1-20210309-6. doi: 10.3788/IRLA20210309
    [3] 李荣华, 张建禹, 郑宇锋, 邓源.  空间非合作目标半物理仿真地面验证系统 . 红外与激光工程, 2022, 51(10): 20211115-1-20211115-12. doi: 10.3788/IRLA20211115
    [4] 洪汉玉, 吴世康, 时愈, 吴锦梦, 孙春生.  非合作水雷目标图像非均匀强噪声去除方法 . 红外与激光工程, 2021, 50(3): 20200344-1-20200344-10. doi: 10.3788/IRLA20200344
    [5] 郭文凤, 焦志刚.  基于包围盒约束光谱聚类的红外目标识别算法 . 红外与激光工程, 2021, 50(11): 20210085-1-20210085-6. doi: 10.3788/IRLA20210085
    [6] 卢祺, 林婷婷, 李程鹏, 李荣华, 葛研军.  空间非合作目标点云聚类配准方法 . 红外与激光工程, 2021, 50(9): 20200431-1-20200431-10. doi: 10.3788/IRLA20200431
    [7] 卢纯青, 杨孟飞, 武延鹏, 梁潇.  基于C-TOF成像的位姿测量与地物目标识别技术研究 . 红外与激光工程, 2020, 49(1): 0113005-0113005(9). doi: 10.3788/IRLA202049.0113005
    [8] 宁明峰, 张世杰, 王诗强.  基于凸包的非合作目标视觉导航系统特征点选择方法 . 红外与激光工程, 2019, 48(3): 317004-0317004(9). doi: 10.3788/IRLA201948.0317004
    [9] 薛俊韬, 倪晨阳, 杨斯雪.  特征聚类的局部敏感稀疏图像修复 . 红外与激光工程, 2018, 47(11): 1126001-1126001(9). doi: 10.3788/IRLA201847.1126001
    [10] 周培培, 丁庆海, 罗海波, 侯幸林.  基于DBSCAN聚类算法的异常轨迹检测 . 红外与激光工程, 2017, 46(5): 528001-0528001(8). doi: 10.3788/IRLA201746.0528001
    [11] 唐庆菊, 刘俊岩, 王扬, 刘元林, 梅晨.  基于模糊C均值聚类和Canny算子的红外图像边缘识别与缺陷定量检测 . 红外与激光工程, 2016, 45(9): 928001-0928001(5). doi: 10.3788/IRLA201645.0928001
    [12] 杜玉红, 魏坤鹏, 史屹君, 刘恩华, 酆启胤, 董广宇.  水质浊度红外光检测及聚类灰色融合预测模型 . 红外与激光工程, 2016, 45(10): 1028002-1028002(7). doi: 10.3788/IRLA201645.1028002
    [13] 邵春艳, 丁庆海, 罗海波, 李玉莲.  采用高维数据聚类的目标跟踪 . 红外与激光工程, 2016, 45(4): 428002-0428002(10). doi: 10.3788/IRLA201645.0428002
    [14] 李飞, 张鸿翼, 徐卫明, 舒嵘.  天基合成孔径激光雷达非合作目标成像系统设计与实验 . 红外与激光工程, 2016, 45(10): 1030001-1030001(8). doi: 10.3788/IRLA201645.1030001
    [15] 李庆辉, 李艾华, 苏延召, 马治明.  结合FCM聚类与SVM的火焰检测算法 . 红外与激光工程, 2014, 43(5): 1660-1666.
    [16] 章家保, 徐伟.  模糊聚类方法在电动舵机致命故障检测中的应用 . 红外与激光工程, 2014, 43(S1): 123-129.
    [17] 刘松林, 牛照东, 陈曾平.  交叉熵约束的红外图像最小错误阈值分割 . 红外与激光工程, 2014, 43(3): 979-984.
    [18] 曹忆南, 王新伟, 周燕.  距离选通激光成像空间定位模糊C均值聚类分割法 . 红外与激光工程, 2013, 42(10): 2682-2686,2696.
    [19] 卢瑞涛, 黄新生, 徐婉莹.  基于Contourlet变换和Facet模型的红外小目标检测方法 . 红外与激光工程, 2013, 42(8): 2281-2287.
    [20] 苗锡奎, 朱枫, 郝颖明.  多像机非共视场的非合作飞行器位姿测量方法 . 红外与激光工程, 2013, 42(3): 709-715.
  • 加载中
图(12)
计量
  • 文章访问数:  291
  • HTML全文浏览量:  79
  • PDF下载量:  29
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-03-16
  • 修回日期:  2021-07-09
  • 刊出日期:  2021-12-31

单目相机非合作目标提取及位姿检测

doi: 10.3788/IRLA20210166
    作者简介:

    田光宝,男,硕士生,主要从事图像处理方面的研究

    通讯作者: 王见,男,副教授,硕士生导师,博士,主要从事虚拟仪器及测试仪器、机电一体化等方面的研究。
基金项目:  重庆市科技重大主题专项(cstc2018jszx-cyztzxX0026)
  • 中图分类号: TP391

摘要: 针对单一方法难以兼顾图像全局和局部信息准确提取现场环境下的非合作目标边缘的难点,融合聚类等多种算法,提出一种边缘提取新方法。首先,根据图像像素值聚类,每2类间通过阈值进行分割得到1张二值图像;接着将二值图像进行或操作合并。将图像取反后保留最大面积的连通域得到目标分割图片,并提取目标边缘。最后,根据Zernike矩进行亚像素边缘计算。该边缘提取新方法具有较强的适应性,在实际的环境下均可快速有效提取出目标边缘。实验中的非合作目标为设备的三个内孔,用上述方法提取亚像素边缘后拟合出圆心,并用圆心进行相对位姿测量。实验结果表明,该方法鲁棒性强、精度高,最大的位置偏差为0.12 mm,垂直光轴方向姿态角的测量精度可达0.02°,其他两个姿态角的测量精度可达0.07°和0.08°。

English Abstract

    • 随着机器视觉技术的发展,非接触式单目视觉测量越来越多地应用于精确确定两个物体的三维相对位姿关系[1],并广泛运用于军事、航天、航空、工业等不同领域。单目测量系统根据小孔成像模型建立空间目标点与对应像点的映射关系,进而解算空间目标点的坐标系与相机坐标系的位姿关系[2]。单目测量系统的目标可分为合作目标和非合作目标两类[3]。合作目标需要在被测量物体表面安装或喷涂靶点,其特征提取简单和准确,但对安装或喷涂要求较高;非合作目标根据被测量物体表面特征点进行测量,其对特征提取算法要求较高[4-5]

      单目视觉测量由于其非接触式、成本低、使用灵活等优点成为了研究热点。参考文献[6]研究了基于点特征的单目视觉测量算法。参考文献[7]提出一种基于红外LED的高效、准确和鲁棒的位姿测量系统,使用P3P算法估算目标的位姿,并使用最小化重投影误差优化目标的位姿。参考文献[8]中研究非共面的目标参数单目位姿测量模型以及测量误差模型并优化相关参数,以获得最佳的位姿测量精度。视觉测量广泛运用于航天器中,根据空间飞行器的星箭对接环部件,利用单圆特征求解得到两个位姿解并通过参考点到圆心距离不变剔除虚假解[9]。参考文献[10]提出一种多特征融和的非合作航天器位姿测量方法,将航天器的通用设备作为识别的特征,通过区域检测和线检测结合来差别这些特征。参考文献[11-12]中研究了单目视觉用于机器人标定的方法。亚像素技术作为提高视觉测量精度的方法之一,可以在一定程度上补偿由硬件造成的误差[13]。参考文献[14]最早使用正交的Zernike矩检测亚像素边缘。参考文献[15]中通过Zernike矩进行棋盘格标定板的角点定位用于相机校准和位姿检测。Zernike矩进行亚像素定位需要设置有关阈值。

      视觉测量的关键在于特征的提取,而特征提取的关键在于目标的分割。现在神经网络对复杂环境下的图像分割取得较好的效果[16-17],但其需要大量的数据进行训练,而且模型较大不适合在微型集成系统中使用。基于水平集演化的图像分割方法[18-19],计算量大、相关参数难以确定;其迭代次数少分割不出目标,迭代次数多导致目标过分割。参考文献[18]的方法是基于边缘,其需要正确的初始化,同时容易受到伪边缘的干扰减缓或停止演化。参考文献[19]的方法基于区域,抗干扰能力强,但提取边界不够准确。基于聚类的图像分割是基于某些相似性度量将图像划分为均匀且不重合的区域[20-21],由于目标边缘的模糊,导致边缘分割不准确,从而导致特征提取不够准确。阈值分割因其简单高效,在图像分割中扮演重要角色[22],阈值分割的关键在于选取合适的阈值。

      针对单一方法难以取得好的边缘提取结果,提出了一种多方法融合的非合作目标边缘提取方法。该方法将图片像素值聚为3类(目标、高光背景和暗光背景),然后对每两类进行Otsu阈值分割得到的二值图片后进行相或操作进而分割出目标,将分割后的图像取反后通过保留面积最大的连通域去除分割出来的伪目标,最后通过Zernike矩进行亚像素边缘的细化。在此基础上根据提取的特征进行位姿测量实验。

    • 单一方法难以同时兼顾图像的全局信息和局部信息,因此提出多方法融合的边缘提取方法。具体流程如图1所示,主要通过高斯滤波、K-Means聚类[23]、类间两两Otsu阈值分割[24]、分割后的图像进行或操作、图像取反保留最大连通域得到目标图像、提取目标边缘、Zernike矩亚像素边缘精定位[14]、输出亚像素目标边缘。

      图  1  图像分割与边缘细化流程

      Figure 1.  Image segmentation and sub-pixel edge positioning process

      上述流程创新点如下:

      (1)基于图像的全局和局部信息进行目标分割,针对图像边缘信息较复杂的情况具有较好的鲁棒性。基于全局信息对图像像素值进行聚类,对类间的像素值进行两两阈值分割是基于局部信息分割。

      (2)将分割后的图像进行或操作后,由于金属表面的纹理和复杂光照导致图像出现反光和背光,出现孤立分割小区域,图像取反保留最大连通域得到目标图像,处理速度快,效果好。

      (3) Zernike矩亚像素边缘定位可进一步提高目标的边缘位置,相关参数可根据边缘邻域像素值信息自适应更新。

    • 实验对象为某线缆对接装置,见图2。包括供应端和接收端,供应端由执行机构、自适应机构和CCD相机等组成,CCD相机安装于自适应机构上。相机为海康威视的MV-CE100-30GM,分辨率为3856×2764,镜头为MVL-HF1228M-6MP。装置对接前需要知道供应端自适应机构和接收端的相对位姿,采用非合作目标位姿检测,故需要提取图2(c)虚线方框内孔的边缘,拟合出圆心进行位姿检测,圆心的世界坐标由上到下依次为(0,−85,−25)、(0,0,0)、(0,85,−25)。机械定位机构保证内孔均在图2(c)的虚线方框内。

      图  2  设备原图。(a) 供应端;(b)接收端;(c)接收端上的特征

      Figure 2.  Original equipment image. (a) Actuator; (b) Receiver; (c) Features on the receiver

      采集了85组图片,其中为了验证算法的正确性,在同一个曝光度采集了17个不同位置的图片,位置从远到近依次减少10 mm;为了验证算法的鲁棒性,在同一个位置采集5种不同曝光度(依次增强)下的图片,如图3所示。

      图  3  不同设置下的图片。(a)同位置不同曝光度的图片;(b)同一曝光度不同位置的图片

      Figure 3.  Pictures under different settings. (a) Images with different exposures in the same position; (b) Images with different positions in the same exposure

    • 图3中的材料为铝合金,铝合金在拍照时会出现反光的现象,导致出现亮光背景和暗光背景。为了解决这个问题,通过K-Means算法将图像的像素值分为3类,第1类是目标像素值,第2类是亮光的背景像素值,第3类是暗光的背景像素值,分类的结果如图4(b)所示。如果只将图像的像素值分为目标和背景两类,将会导致部分的背景被归类为目标类,致使边缘提取失败。

      图  4  分类后阈值分割过程图片。(a)原图;(b)聚类后图像;(c)第1类和第3类像素值分割的结果;(d)第1类和第2类像素值分割的结果;(e)第2类和第3类像素值分割的结果;(f)图(d)和图(e)异或的结果;(g)图(c)、图(d)、图(e)相或运算的结果;(h)图(g)取反后根据连通域面积关系去掉伪连通域得到的目标

      Figure 4.  Image of threshold segmentation process after classification. (a) Original image; (b) Image after clustering; (c) Results of segmentation of class 1 and class 3 pixel values; (d) Results of segmentation of class 1 and class 2 pixel values; (e) Results of class 2 and class 3 pixel value segmentation; (f) The result of XOR of figure (d) and figure (e); (g) Results of figure (c), figure (d), figure (e) or operation; (h) The target obtained by removing the pseudo-connected components according to the area relationship of the connected components after inverting figure (g)

      图4(b)看出在边缘处附近存在着3类像素值,目标分割对阈值比较敏感。针对这种情况,将3类像素值进行两两阈值分割,剩下类的像素值视为0,使用Otsu算法进行分割。分割得到的3张二值图像进行或运算合并后得到初步的分割图像,其中包含着多个孤立小区域,见图4(g)。将图片取反后保留面积最大的连通域即是目标,见图4(h)所示。通过图4可以看出,分类后再Otsu阈值分割,可准确的将目标分割出来。

      图5展示了各种分割算法效果对比,效果最好的是多方法融合的图像分割方法,其次是距离正则化水平集演化图像分割方法,其他方法均未有效地分割出目标。其他基于阈值分割算法基于全局信息寻找最佳阈值,多方法融合的图像分割方法先基于全局像素值进行分类,在不同类间进行阈值分割,既充分考虑全局信息又顾及目标边缘局部细节信息,故效果较好。多方法融合的图像分割方法思想是基于多阈值,但不是基于全局的阈值,而是不同类间的阈值。图5(c)中的多阈值是基于全局像素值进行多阈值分割,但由于金属表面的纹理易导致亮光背景和暗光背景,在目标边缘的像素值较复杂,未能考虑目标边缘的局部信息故其不能有效地分割出目标。距离正则化水平集演化图像分割方法需要正确的初始化,同时计算量较大,其分割一张图片需要226 s,而文中的方法只需要0.35 s,在实际应用中时效性太差。

      图  5  各种分割方法对比。图片对应于图4中第1行第1张图的圆3。(a) Otsu; (b) 利用Otsu得到的全局直方图; (c) 多阈值; (d) 迭代阈值法;(e) 距离正则化水平集演化图像分割方法[18];(f) 文中方法

      Figure 5.  Comparison of various segmentation methods. The picture corresponds to circle 3 in the first picture in the first row in Fig. 4. (a) Otsu; (b) Global histogram threshold using Otsu's method; (c) Multilevel image thresholds using Otsu’s method; (d) Iterative threshold segmentation method; (e) DRLSE algorithm[18]; (f) Proposed method

    • 阈值分割后的边缘为单像素,为了进一步提高位姿检测的精度,采用了参考文献[14]中Zernike矩进行边缘亚像素细化。图6为理想的亚像素边缘检测阶跃模型。图6(a)是原始边缘图像,图6(b)是旋转$\phi $后的边缘图像。边缘两侧的灰度值分别为hh+k,其中k为灰度差。边缘到原点的理论距离为llx轴的夹角为$\phi $

      图  6  亚像素边缘检测阶跃模型。(a)原始边缘图像; (b)旋转后边缘图像

      Figure 6.  Sub-pixel edge detection ideal step model. (a) Original edge image; (b) Rotated edge image

      图7(a)是棋盘格标定板的一个角点。图7(b)是Zernike亚像素边缘和分类后阈值边缘的对比,Zernike亚像素边缘可修正分类后阈值分割的边缘。从图7(a)可以看出,由于相机像素间会有相互影响导致理想的边缘产生边缘模糊,可以看出边缘模糊在5个像素左右,所以Zernike掩膜的大小设置为${\rm{5}} \times {\rm{5}}$

      图  7  边缘细节。(a) 棋盘格标定板的一个角点; (b) Zernike亚像素边缘和分类后阈值边缘

      Figure 7.  Edge detail. (a) A corner of the checkerboard calibration board; (b) Zernike sub-pixel edges and thresholded edges after classification

      根据参考文献[14]的方法计算出Zernike的边缘参数后,只有满足公式(1)的点是亚像素边缘上的点。

      $$\left\{ {\begin{array}{*{20}{c}} {l < {l_{th}}} \\ {k > {k_{th}}} \end{array}} \right.$$ (1)

      其中,$l$应小于一个像素,参考文献[14]推荐${l_{th}} = \sqrt 2 {\rm{/2}}$。算法创新点之一:${k_{th}}$为粗边缘内3像素邻域的平均像素与外3像素邻域的平均像素差的一半。由于模板的放大效应[25],修正后的亚像素边缘坐标如下:

      $$\left[ {\begin{array}{*{20}{c}} {{x_s}} \\ {{y_s}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} x \\ y \end{array}} \right] + \frac{{Nl}}{2}\left[ {\begin{array}{*{20}{c}} {\cos (\phi )} \\ {\sin (\phi )} \end{array}} \right]$$ (2)

      式中:$({x_s},{y_s})$是亚像素边缘坐标;$(x,y)$是粗边缘的坐标;N为Zernike模板的大小。

    • 使用三个不共线的特征点求解位姿,特征点为三个内孔的拟合圆心,见图2(c)。机械结构定位保证了三个内孔会在虚线的方框内,方框在图像中的坐标是提前设定的,进行特征提取时,只需处理方框内的图像即可,可缩短计算时间和提高边缘的准确性。

      图8中,${o_w} - {x_w}{y_w}{{\textit{z}}_w}$是世界坐标系,${o_c} - x{}_c{y_c}{{\textit{z}}_c}$是相机坐标系。点ABC在世界坐标系下的坐标已知,求出点ABC在相机坐标系下的坐标,即可求出世界坐标系与相机坐标系的相对位姿。

      根据余弦定理有:

      $$\begin{split} \\ \left\{ {\begin{array}{*{20}{c}} {{O_c}{B^2} + {O_c}{C^2} - 2{O_c}B \cdot {O_c}C \cdot \cos \alpha = B{C^2}} \\ {{O_c}{A^2} + {O_c}{C^2} - 2{O_c}A \cdot {O_c}C \cdot \cos \beta = A{C^2}} \\ {{O_c}{A^2} + {O_c}{B^2} - 2{O_c}A \cdot {O_c}B \cdot \cos \beta = A{B^2}} \end{array}} \right. \end{split}$$ (3)

      ${O_c}A = x{O_c}C$${O_c}B = y{O_c}C$$p = 2\cos \alpha $$q = 2\cos \beta $$r = 2\cos \gamma $$A{B^2} = v{O_c}{C^2}$$B{C^2} = aA{B^2}$$A{C^2} = bA{B^2}$;则公式(3)化简后得:

      $$\left\{ {\begin{array}{*{20}{c}} {(1 - a){y^2} - a{x^2} - yp + axyr + 1 = 0} \\ {(1 - b){x^2} - b{y^2} - xq + bxyr + 1 = 0} \end{array}} \right.$$ (4)

      其中,$p$$q$$r$$a$$b$是已知量,通过吴消元法即可求出$x$$y$,则可以求出${O_c}A$${O_c}B$${O_c}C$,则$A = \overrightarrow {{O_c}a} \cdot \left\| {{O_c}A} \right\|$$B = \overrightarrow {{O_c}b} \cdot \left\| {{O_c}B} \right\|$$C = \overrightarrow {{O_c}c} \cdot \left\| {{O_c}C} \right\|$

      图  8  位姿求解示意图

      Figure 8.  Diagram of pose solution

    • 为了证明所提方法的有效性,供应端从远到近依次递减10 mm共17位置点,最远处距离为795.53 mm,最近处距离为634.64 mm,每个位置采集5种曝光度的图片。通过P3P位姿解算[26],可得到4组解,由于机构的粗定位可保证供应端自适应机构和接收端的距离和姿态在一定误差范围内,根据这个条件可以确定唯一解。通过采集的图片,可以求出对应位置的自适应机构和接收端的相对位姿。根据平移向量,计算出每种曝光度下每两个相邻位置点的相对距离,每两个相邻位置点的实际距离为10 mm。每种曝光度有16个相对距离,下文对测量误差(相对距离减去实际距离)进行分析。采用图5中提到的方法进行目标分割然后提取特征求解位姿并进行误差分析。由图5可以看出其他方法分割的目标部分边缘不准确,通过最小二乘法拟合圆心和半径,然后根据圆心和半径将误差较大的点去除,再重新拟合直至圆心和半径均收敛。使用文中所提方法提取特征后求解位姿平均一张图片需要1.81 s,而其他几种方法平均时间在1 s左右波动,虽然文中所提方法计算时间比其他方法略长,但文中方法在标准差和最大偏差均小于其他方法,而且在不同曝光度下标准差和最大偏差的波动均远小于其他方法,即鲁棒性更好。

      图9可以看出随着目标和背景对比度的增强(曝光度1表示低曝光度,曝光度5表示高的曝光度),五种方法的提取目标特征的精度差距越小,文中的方法鲁棒性更好更能适应各种变化。文中的方法融合了聚类、Otsu和Zernike亚像素定位方法,既能兼顾图像的全局和局部信息又能根据边缘信息进行亚像素定位,故其鲁棒性较好,最大误差偏差为0.12 mm。多阈值方法根据图像全局信息进行多阈值计算,高曝光度时效果较好,但在低曝光度时效果欠佳。全局直方图阈值需要根据直方图信息计算阈值,其需要确定直方图数量,数量太大时效果等效Otsu方法,数量太少时效果等效多阈值方法,目标和背景不同对比度需要设置不同直方图数量才能取得好的结果。Otsu和迭代法均是根据全局信息确定一个阈值,分割出目标和背景,故效果不佳。

      图  9  不同曝光度下不同方法的测量误差数据。(a) 不同方法测量误差的标准差;(b) 不同方法测量误差的最大偏差

      Figure 9.  Measurement error data of different methods under different exposures. (a) The standard deviation of measurement error of different methods; (b) Maximum deviation of measurement error of different methods

      通过同一个位置不同曝光度采集的图片求出位姿后,分析姿态的统计信息来间接说明方法的鲁棒性,采用多方法融合的目标边缘提取方法提取边缘并拟合出特征点求解位姿。同一个位置点有5种不同曝光度,由于供应端导轨与相对位姿的平移向量不平行,同时供应端运动的加减速过程导致自适应机构和供应端发生微小位姿变化,所以每个位置点的相对姿态是不同的,见图10(c)。绕X轴旋转为滚转(Roll),绕Y轴旋转为俯仰(Pitch),绕Z轴旋转为偏航(Yaw),坐标轴定义见图8图10(a)描述了同一个位置点不同曝光度测量姿态的标准差,偏航的标准差不超过0.01°,滚转和俯仰标准差波动较大,但都不超过0.04°。图10(b)的最大偏差是测量值减去均值的最大绝对值,滚转最大偏差为0.07°,俯仰最大偏差为0.08°,偏航最大偏差不超过0.02°。

      图  10  Zernike方法同曝光度不同位置的姿态数据。(a)姿态的标准差图;(b) 最大偏差图; (c)姿态的均值图

      Figure 10.  Zernike method attitude data at different positions of the same exposure. (a) Standard deviation of attitude; (b) Maximum deviation of attitude; (c) Mean attitude

      图11是使用多方法融合进行目标边缘提取,使用不同尺寸掩膜进行亚像素定位后拟合特征点求解位姿进行距离测量误差分析的结果。从标准差和最大偏差可以看出,使用5×5掩膜取得的效果最好,由图7(a)可以看出边缘的模糊效应在5个像素左右。当掩膜尺寸太小时,边缘信息利用不足导致亚像素定位精度略有下降;当掩膜尺寸太大时,非边缘的信息干扰了亚像素的定位导致精度的下降,掩膜的大小跟边缘的模糊具有对应关系。

      图  11  不同曝光度下不同尺寸掩膜的测量误差数据。(a) 不同尺寸掩膜的测量误差标准差图;(b) 不同尺寸掩膜的测量误差最大偏差图

      Figure 11.  The measurement error data of different size masks under different exposures. (a) The standard deviation of the measurement error of different size masks; (b) The maximum deviation of the measurement error of different size masks

    • 提出了一种多方法融合的单目非合作目标边缘提取方法,其意义在于兼顾了图像的全局和局部信息,参数不需要人为经验设置,方法具有较强的鲁棒性和适应性。提取边缘的基础上再使用Zernike矩进行亚像素定位,在不显著增加时间基础上可以细微提高精度和鲁棒性,Zernike矩亚像素定位的掩膜大小跟边缘的模糊尺寸具有对应关系。用提取的特征进行位姿测量,实验表明,距离测量最大误差在0.12 mm左右,偏航最大误差在0.02°左右,滚转最大误差不超过0.07°,俯仰最大误差不超过0.08°。实验结果和参考文献[5]中垂直光轴方向姿态角的测量精度高于其他两个姿态角的结论一致。

参考文献 (26)

目录

    /

    返回文章
    返回