基于单目视觉和固定靶标的位姿测量系统

王天宇; 董文博; 王震宇

doi:10.3788/IRLA201746.0427003

基于单目视觉和固定靶标的位姿测量系统

doi: 10.3788/IRLA201746.0427003

王天宇¹,
董文博^2,3, ,,
王震宇^1, ,

1.
华北电力大学控制与计算机工程学院,北京 102206;
2.
中国科学院空间应用工程与技术中心,北京 100094;
3.
中国科学院太空应用重点实验室,北京 100094

基金项目:

国家自然科学基金（61573139）;国家科技重大专项-载人航天与探月工程

详细信息

作者简介:
王天宇(1991-),男,博士生,主要从事计算机视觉和模式识别方面的研究。Email:tywang@ncepu.edu.cn

通讯作者: 董文博(1980-),男,副研究员,博士,主要从事精密测量与控制、空间实验载荷支持、空间电子学等方面的研究。Email:wbodong@csu.ac.cn;王震宇,Email:zywang@ncepu.edu.cn; 董文博(1980-),男,副研究员,博士,主要从事精密测量与控制、空间实验载荷支持、空间电子学等方面的研究。Email:wbodong@csu.ac.cn;王震宇,Email:zywang@ncepu.edu.cn

中图分类号: TP391

Position and orientation measurement system based on monocular vision and fixed target

Wang Tianyu¹,
Dong Wenbo^{2,3
, ,},
Wang Zhenyu^{1
, ,}

1.
School of Control and Computer Engineering,North China Electric Power University,Beijing 102206,China;
2.
Technology and Engineering Center for Space Utilization,Chinese Academy of Sciences,Beijing 100094,China;
3.
Key Laboratory for Space Utilization,Chinese Academy of Sciences,Beijing 100094,China

摘要: 利用计算机视觉进行位姿测量的方法广泛应用于机器人系统、运动体控制系统和精密检测系统。研究和设计了一种基于固定靶标的单目视觉定位系统和方法，用最少硬件资源实现精密定位。首先，利用图像匹配的方法检测出平面靶标在图像中的坐标，图像匹配采用SIFT算法和映射匹配方法，之后利用固定靶标的特性求取中心点。实验利用多幅图像样本验证了图像匹配的准确性和鲁棒性。然后，针对呈矩形分布的PnP问题，提出了一种新的求解方法，以靶标控制点的图像坐标和空间坐标作为输入，得到了移动物体与摄像机的三维相对位姿。实验利用五维精密位移台移动目标物体并拍摄多副图像，结果表明位姿测量系统在800 mm范围内达到mm级精度，可以满足应用需求。
- 计算机视觉 /
- 单目视觉定位 /
- 图像匹配 /
- PnP问题
Abstract: The position and orientation measurement system based on computer vision is extensively applied on robotics, motion control and precision detection systems. Using the minimum hardware resource, a localization system based on mono-vision and manual planar target was designed and the method of image matching and position resolving was also studied. Firstly, the object detection based on image matching was used to get the coordinate of the planar target in image. The matching was based on SIFT features and projection estimation to detect the target in image, and then the accurate coordinate of the target's center was calculated by some inherent shape information. A number of image samples were used to validate the accuracy and robustness of the image matching algorithm. Secondly, a new method to solve the PnP problem based on the rectangular distribution was proposed. The method uses the locations of target control points in the image coordinate system and the object coordinate system was used to get the relative position and orientation between the moving object and the camera. The experiment was conducted on the 5D precision displacement stage and results show that the system can achieve the accuracy level of mm in the range of 800 mm, which meets the project requirement.
- computer vision /
- mono-vision localization /
- image matching /
- PnP problem

[1]	Gao Wen, Zhu Ming, He Baigen, et al. Overview of target tracking technology[J]. Chinese Optics, 2014, 7(3):365-375. (in Chinese)高文, 朱明, 贺柏根, 等.目标跟踪技术综述[J]. 中国光学, 2014, 7(3):365-375.
[2]	Wang Zhiqiang, Cheng Hong, Yang Guang, et al. Fast target location method of global image registration[J]. Infrared and Laser Engineering, 2015, 44(S1):225-229. (in Chinese)王志强, 程红, 杨桄, 等. 全局图像配准的目标快速定位方法[J]. 红外与激光工程, 2015, 44(S1):225-229.
[3]	Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10):1615-1630.
[4]	Lowe D G. Distinctive image features from scale invariant key pionts[J]. International Journal of Computer Vision, 2004, 60(2):91-110.
[5]	Wang Rui, Zhu Zhengdan. SIFT matching with color invariant characteristics and global context[J]. Optics and Precision Engineering, 2015, 23(1):295-301. (in Chinese)王睿, 朱正丹.融合全局-颜色信息的尺度不变特征变换[J]. 光学精密工程, 2015, 23(1):295-301.
[6]	Cui Xiongwen, Wu Qinzhang, Jiang Ping, et al. Affine-invariant target tracking based on subspace representation[J].Infrared and Laser Engineering, 2015, 44(2):769-774. (in Chinese)崔雄文, 吴钦章, 蒋平, 等.子空间模型下的仿射不变目标跟踪[J]. 红外与激光工程, 2015, 44(2):769-774.
[7]	Liu Chang, Zhu Feng, Xia Renbo. Monocular pose determination from coplanar two points and one line features[J]. Application Research of Computers, 2012, 29(8):3145-3147. (in Chinese)刘昶, 朱枫, 夏仁波. 基于共面二点一线特征的单目视觉定位[J]. 计算机应用研究, 2012, 29(8):3145-3147.
[8]	Liu Yinxiao, Wei Wei. Target points positioning algorithm based on rare information in uncalibrated camera's photos[J].Application Research of Computers, 2015, 32(1):272-275. (in Chinese)刘吟啸, 韦巍.基于极少信息的任意照片目标点定位算法[J]. 计算机应用研究, 2015, 32(1):272-275.
[9]	Xiao Xizhen, Li Wentao, Tang Yandong, et al. Position-pose measurement of rectangle with unknown aspect ratio based on nonlinear optimization[J]. Information and Control, 2016, 45(1):108-113. (in Chinese)肖锡臻, 李文涛, 唐延东, 等.基于非线性优化的长宽比未知矩形的位姿测量[J]. 信息与控制, 2016, 45(01):108-113.
[10]	Li Ying, Ye Peijian, Peng Jing, et al. Artificial target recognition and location based on Mars exploration[J].Optics and Precision Engineering, 2015, 23(2):566-572. (in Chinese)李莹, 叶培建, 彭兢, 等.基于火星探测的人工标志识别定位[J]. 光学精密工程, 2015, 23(2):566-572.
[11]	Hastie T, Tibshirani R. Discriminant adaptive nearest neighbor classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(6):607-616.
[12]	Fischler M A, Bolles R C. Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J]. Comm of the ACM, 1981, 24(6):381-395.
[13]	Hough P V C. Methods and means for recognizing complex patterns:US, 3069654[P]. 1962-12-18.
[14]	Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.

[1]	陈宏宇, 罗海波, 惠斌, 常铮. 采用多特征融合的子块自动提取方法 . 红外与激光工程, 2021, 50(8): 20200407-1-20200407-9. doi: 10.3788/IRLA20200407
[2]	陈文艺, 许洁, 杨辉. 利用双神经网络的相机标定方法 . 红外与激光工程, 2021, 50(11): 20210071-1-20210071-9. doi: 10.3788/IRLA20210071
[3]	李云辉, 霍炬, 杨明. 基于图模型的小尺寸飞行器地面试验中位姿估计方法 . 红外与激光工程, 2020, 49(4): 0413003-0413003-8. doi: 10.3788/IRLA202049.0413003
[4]	刘岩, 雷柏平, 范斌, 边疆. 基于视觉测量的目标定位技术及结构参数优化 . 红外与激光工程, 2020, 49(S2): 20200191-20200191. doi: 10.3788/IRLA20200191
[5]	张慧娟, 熊芝, 劳达宝, 周维虎. 基于EPNP算法的单目视觉测量系统研究 . 红外与激光工程, 2019, 48(5): 517005-0517005(6). doi: 10.3788/IRLA201948.0517005
[6]	王中宇, 李亚茹, 郝仁杰, 程银宝, 江文松. 基于点特征的单目视觉位姿测量算法 . 红外与激光工程, 2019, 48(5): 517002-0517002(8). doi: 10.3788/IRLA201948.0517002
[7]	王鑫, 王向军. 大视场双目视觉定位系统中多目标稀疏匹配 . 红外与激光工程, 2018, 47(7): 726001-0726001(6). doi: 10.3788/IRLA201847.0726001
[8]	罗海波, 许凌云, 惠斌, 常铮. 基于深度学习的目标跟踪方法研究现状与展望 . 红外与激光工程, 2017, 46(5): 502002-0502002(7). doi: 10.3788/IRLA201746.0502002
[9]	刘宇航, 顾营迎, 李昂, 李大为, 徐振邦, 刘宏伟, 吴清文. 气浮实验台位姿视觉测量方法 . 红外与激光工程, 2017, 46(10): 1017005-1017005(8). doi: 10.3788/IRLA201773.1017005
[10]	刘军, 王鹤, 王秋玲, 刘小阳. 无人机遥感技术在露天矿边坡测绘中的应用 . 红外与激光工程, 2016, 45(S1): 111-114. doi: 10.3788/IRLA201645.S114001
[11]	卢丙辉, 陈凤东, 刘炳国, 刘国栋, 戚子文. 基于映射图像匹配的子孔径拼接技术 . 红外与激光工程, 2016, 45(8): 824005-0824005(6). doi: 10.3788/IRLA201645.0824005
[12]	曾占魁, 谷蔷薇, 曹喜滨. 基于正交Procrustes分析的航天器单目视觉相对位姿确定方法 . 红外与激光工程, 2015, 44(S1): 113-118.
[13]	赵爱罡, 王宏力, 杨小冈, 陆敬辉, 何星. 融合几何特征的压缩感知SIFT描述子 . 红外与激光工程, 2015, 44(3): 1085-1091.
[14]	肖传民, 史泽林, 刘云鹏. 张量子空间降维的边缘图像匹配 . 红外与激光工程, 2015, 44(11): 3488-3493.
[15]	田宁, 孙军华, 刘震. 单目视觉目标观瞄光点实时定位方法 . 红外与激光工程, 2014, 43(6): 2046-2050.
[16]	李运达, 李琦, 刘正君, 王骐. 太赫兹计算机辅助层析图像重构算法仿真研究 . 红外与激光工程, 2013, 42(5): 1228-1235.
[17]	苗锡奎, 朱枫, 郝颖明. 多像机非共视场的非合作飞行器位姿测量方法 . 红外与激光工程, 2013, 42(3): 709-715.
[18]	陈卫宁, 杨洪涛, 范哲源, 曹剑中, 刘广森, 张建, 武登山, 张志. 应用于校正扩展视场偏差的红外成像测量方法 . 红外与激光工程, 2013, 42(3): 584-589.
[19]	陈宝国, 张学峰, 牛英宇. 改进的基于神经网络的非均匀性校正算法 . 红外与激光工程, 2013, 42(3): 574-578.
[20]	杨新锋, 滕书华, 夏东. 基于空间变换迭代的SIFT特征图像匹配算法 . 红外与激光工程, 2013, 42(12): 3496-3501.

点击查看大图

计量

文章访问数: 1155
HTML全文浏览量: 212
PDF下载量: 1681
被引次数: 0

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于单目视觉和固定靶标的位姿测量系统

doi: 10.3788/IRLA201746.0427003

作者简介:
王天宇(1991-),男,博士生,主要从事计算机视觉和模式识别方面的研究。Email:tywang@ncepu.edu.cn

Position and orientation measurement system based on monocular vision and fixed target

计量

基于单目视觉和固定靶标的位姿测量系统

doi: 10.3788/IRLA201746.0427003

1. 华北电力大学控制与计算机工程学院,北京 102206;

2. 中国科学院空间应用工程与技术中心,北京 100094;

3. 中国科学院太空应用重点实验室,北京 100094

作者简介:
王天宇(1991-),男,博士生,主要从事计算机视觉和模式识别方面的研究。Email:tywang@ncepu.edu.cn

English Abstract

Position and orientation measurement system based on monocular vision and fixed target

全文HTML

目录

留言板

基于单目视觉和固定靶标的位姿测量系统

doi: 10.3788/IRLA201746.0427003

作者简介: 王天宇(1991-),男,博士生,主要从事计算机视觉和模式识别方面的研究。Email:tywang@ncepu.edu.cn

Position and orientation measurement system based on monocular vision and fixed target

计量

出版历程

基于单目视觉和固定靶标的位姿测量系统

doi: 10.3788/IRLA201746.0427003

1. 华北电力大学 控制与计算机工程学院,北京 102206; 2. 中国科学院空间应用工程与技术中心,北京 100094; 3. 中国科学院太空应用重点实验室,北京 100094

作者简介: 王天宇(1991-),男,博士生,主要从事计算机视觉和模式识别方面的研究。Email:tywang@ncepu.edu.cn

English Abstract

Position and orientation measurement system based on monocular vision and fixed target

全文HTML

目录

作者简介:
王天宇(1991-),男,博士生,主要从事计算机视觉和模式识别方面的研究。Email:tywang@ncepu.edu.cn

1. 华北电力大学控制与计算机工程学院,北京 102206;

2. 中国科学院空间应用工程与技术中心,北京 100094;

3. 中国科学院太空应用重点实验室,北京 100094

作者简介:
王天宇(1991-),男,博士生,主要从事计算机视觉和模式识别方面的研究。Email:tywang@ncepu.edu.cn