留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

激光成像处理技术研究现状及展望(特邀)

胡以华 赵禄达

胡以华, 赵禄达. 激光成像处理技术研究现状及展望(特邀)[J]. 红外与激光工程, 2023, 52(6): 20230169. doi: 10.3788/IRLA20230169
引用本文: 胡以华, 赵禄达. 激光成像处理技术研究现状及展望(特邀)[J]. 红外与激光工程, 2023, 52(6): 20230169. doi: 10.3788/IRLA20230169
Hu Yihua, Zhao Luda. Recent progress and prospect of laser imaging processing technology (invited)[J]. Infrared and Laser Engineering, 2023, 52(6): 20230169. doi: 10.3788/IRLA20230169
Citation: Hu Yihua, Zhao Luda. Recent progress and prospect of laser imaging processing technology (invited)[J]. Infrared and Laser Engineering, 2023, 52(6): 20230169. doi: 10.3788/IRLA20230169

激光成像处理技术研究现状及展望(特邀)

doi: 10.3788/IRLA20230169
基金项目: 国家自然科学基金项目(61871389, 62201597);国防科技大学科研计划重大应用基础研究项目(ZK18-01-02,ZK22-35);国防科技大学自主科研创新基金项目(22-ZZCX-07);国防科技创新特区项目(22-TQ23-07-ZD-01-001);湖南省研究生创新拔尖人才培养项目(CX20220045);军事类研究生资助课题(JY2021B042)
详细信息
    作者简介:

    胡以华,男,教授,博士,主要从事光电对抗理论与应用等方面的研究

    通讯作者: 赵禄达,男,博士生,主要从事计算成像、计算机视觉、进化计算等方面的研究。
  • 中图分类号: O439

Recent progress and prospect of laser imaging processing technology (invited

Funds: National Natural Science Foundation of China (61871389, 62201597); the Research Plan Project of the National University of Defense Technology (ZK18-01-02, ZK22-35); Independent Scientific Research Project of National University of Defense Technology (22-ZZCX-07); National Defense Science and TechnologyInnovation Special Zone Project (22-TQ23-07-ZD-01-001); Military Graduate Student Funding Priorities (JY2021B042); Graduate Research Innovation Project of Hunan Province (CX20220045)
  • 摘要: 激光成像在多个领域中应用广泛,其成像时包含一系列的信号和信息处理过程,会对成像质量造成关键性的影响,并在成像信息运用的过程中起着关键性作用。文中主要针对典型激光成像处理技术进行综述性研究。首先,讨论了典型成像体制的激光成像处理技术特征,按照信号处理和信息处理两个阶段归纳了主要的共性处理方法和内容。其次,分析了激光信号去噪、辐射与几何校正和激光点云处理技术,激光测距、图像重建、目标检测的信息处理技术的发展现状,研究了典型处理技术特别是基于深度学习的激光成像智能处理技术的实现过程。最后,分析了激光成像处理技术的发展需求和未来发展方向,希望能对激光成像的相关研究带来一定的参考作用。
  • 图  1  典型的激光成像过程

    Figure  1.  The process of typical laser imaging

    图  2  文献[21]中,(a)通过鲸鱼优化算法优化得到VMD参数的流程和(b)算法的去噪结果展示

    Figure  2.  The algorithm flow and denoising results of Ref.[21] (a) The process of obtaining VMD parameters through whale optimization algorithm and (b) the de-noising results of the algorithm

    图  3  激光辐射校正的典型方法

    Figure  3.  Typical methods of laser intensity correction

    图  4  激光成像几何误差的来源和处理思路

    Figure  4.  Sources and processing ideas of geometric errors in laser imaging

    图  5  文献[32]提出的激光成像信息去噪的网络GPDNet架构示意图

    Figure  5.  Proposed GPDNet architecture for laser imaging information denoising based on Ref.[32]

    图  6  激光背景分割网络RPVNet架构示意图

    Figure  6.  Schematic diagram of RPVNet architecture of laser background segmentation network

    图  7  基于CNN的脉冲激光测距系统示意图

    Figure  7.  Block diagram of CNN-based pulse laser ranging system

    图  8  文献[82]中的(a)反射层析成像实验示意图和(b)激光图像重建结果

    Figure  8.  An illustration of (a) experimental schematic diagram of reflection tomography and (b) laser image reconstruction results in Ref.[82]

    图  9  PointFlowNet网络结构和目标检测过程示意图[98]

    Figure  9.  An illustration of PointFlowNet network structure and target detection process[98]

    图  10  基于CNN的语义分割网络结构和目标检测的示意图[103]

    Figure  10.  An illustration of semantic segmentation network structure and target detection based on CNN[103]

    表  1  典型成像体制下激光成像处理技术的对比[1-7]

    Table  1.   Typical methods of laser intensity correction[1-7]

    Type of imagingImaging process descriptionTypical signal processingTypical information processing methods
    Laser scan imaging[1] Through the scanning of laser emitting system, we can obtain many kinds of information about the surface reflection signal of the object, so that we can image the object in two or three dimensions. ①Laser Point Cloud Denoising
    ②Laser Point Cloud Intensity Correction
    ③Point Cloud Location Correction
    ④Point Cloud Distribution Processing
    ①(Single) Photon ranging
    ②Point cloud 3D reconstruction
    ③Target detection
    ④Target tracking
    Laser array imaging[2] Laser signals emitted by the array's array of laser emitters can be scanned or directly detected to obtain a variety of information about reflected signals on the surface of a detected object, thus completing 2D or 3D object imaging. ①Laser Point Cloud Denoising
    ②Laser Point Cloud Intensity Correction
    ③Point Cloud Location Correction
    ④Point Cloud Distribution Processing
    ①(Single) Photon ranging
    ②Point cloud 3D reconstruction
    ③Target detection
    ④Target tracking
    Laser coherence imaging[3] Using coherent laser as the light source, two or three dimensional object imaging is achieved by obtaining wavefront phase information through matter diffraction or interferometric radiation distribution. ①Echo Signal Denoising
    ②Echo Radiation Correction
    ③Echo Geometry Calibration
    ④Laser image speckle noise suppression
    ⑤Laser Image False Removal
    ①Laser Weak Signal Enhancement
    ②Laser Range
    ③Relevance Information Target Reconstruction
    ④Target detection
    ⑤High resolution imaging
    Synthetic aperture laser imaging[4] By using the small aperture laser imaging system, the image fields of each subsystem are synchronized and the same phase is superimposed into the large aperture system. ①Echo Signal Denoising
    ②Echo Radiation Correction
    ③Echo Position Correction
    ④Laser image speckle noise suppression
    ⑤Laser Signal Phase Compensation
    ⑥Laser Signal Motion Compensation
    ①On-board, airborne laser remote sensing ranging
    ②Multi-Perspective Target Reconstruction
    ③Remote sensing target detection
    ④High resolution imaging
    Continuous wave laser imaging[5] Continuous wave laser imaging uses a continuous light signal as the detection signal, based on phase laser ranging technology, and uses single-frequency signal modulation laser. By phase detection of the reflected light signal, the target distance information is obtained, thus achieving high-efficiency imaging. ①Echo signal denoising
    ②Echo radiation correction
    ③Echo geometric correction
    ④Laser signal phase compensation
    ⑤Laser signal motion compensation
    ①Laser dynamic ranging
    ②Target reconstruction (in motion)
    ③Target detection (in motion)
    ④Motion target velocity measurement
    ⑤High-resolution imaging
    Non-line-of-sight laser imaging[6] Laser signals may encounter relay obstructions and undergo diffuse reflection during transmission. Sparse information contained in the reflection can be used to create two-dimensional or three-dimensional images of objects that are out of sight. ①Light field noise reduction
    ②Reflection and echo radiation correction
    ③Reflection and echo geometric correction
    ①Non-line-of-sight laser ranging
    ②Non-line-of-sight 2D/3D target reconstruction
    ③Non-line-of-sight 2D/3D target detection
    ④Non-line-of-sight target tracking
    Correlated photon imaging[7] Using a single-pixel laser detector for detection, the total radiation value of the target object's information light field is recorded in chronological order. The system calculates the target image by using this value and correlating it with the speckle field matrix of the illuminated object. ①Echo signal denoising
    ②Echo radiation correction
    ③Echo geometric correction
    ④Speckle suppression in laser imaging
    ⑤Artifacts removal in laser imaging
    ①Laser remote sensing ranging
    ②Laser image reconstruction
    ③Remote sensing target detection
    ④Anti-interference high-resolution imaging
    ⑤Laser image encryption
    下载: 导出CSV
  • [1] 胡以华. 激光成像目标侦察[M]. 北京: 国防工业出版社. 2014: 1

    Hu Y H. Laser Imaging Target Reconnaissance[M]. Beijing: National Defense Industry Press, 2014: 1.(in Chinese)
    [2] 侯阿慧, 胡以华, 赵楠翔, 等. 扩展目标光子测距回波特性及误差研究[J]. 中国激光, 2021, 48(04): 261-268. doi:  10.3788/CJL202148.0401016

    Hou A H, Hu Y H, Zhao N X, et al. Echo characteristics and error of extended target for photon ranging [J]. Chinese Journal of Lasers, 2021, 48(4): 0401016. (in Chinese) doi:  10.3788/CJL202148.0401016
    [3] 胡以华. 激光相干探测应用理论方法[M]. 北京: 科学出版社. 2022

    Hu Y H. Applied Theory and Method of Laser Coherent Detection [M]. Beijing: Science Press, 2022. (in Chinese)
    [4] 胡以华. 空间激光成像目标精确侦察技术[J]. 国防科技, 2016, 37(01): 30-36. doi:  10.13943/j.issn1671-4547.2016.01.08

    Hu Y H. Space laser imaging target precise reconnaissance technology [J]. National Defense Technology, 2016, 37(1): 30-36. (in Chinese) doi:  10.13943/j.issn1671-4547.2016.01.08
    [5] 陈鹏, 赵继广, 宋一铄, 等. 气溶胶环境下FMCW与脉冲激光探测性能对比[J]. 红外与激光工程, 2020, 49(06): 187-196. doi:  10.3788/IRLA20190399

    Chen P, Zhao J G, Song Y S, et al. Comparison on detection performance of FMCW and pulsed lidar in aerosol environment [J]. Infrared and Laser Engineering, 2020, 49(6): 20190399. (in Chinese) doi:  10.3788/IRLA20190399
    [6] 赵禄达, 董骁, 徐世龙, 等. 典型成像模式下非视域成像重建算法研究现状[J/OL]. 中国光学(中英文). doi:  10.37188/CO.2022-0186

    Zhao L D, Dong X, Xu S L, et al. Recent progress of non-line-of-sight imaging reconstruction algorithms in typical imaging modalities [J]. Chinese Optics, 2023, 16(3): 479-499. (in Chinese) doi:  10.37188/CO.2022-0186
    [7] 龚文林, 孙建锋, 邓陈进, 等. 基于相干探测的单像素激光成像雷达研究进展[J]. 激光与光电子学进展, 2021, 58(10): 36-48. doi:  10.3788/LOP202158.1011003

    Gong W L, Sun J F, Deng C J, et al. Research progress of single-pixel laser imaging radar based on coherent detection [J]. Progress in Laser and Optoelectronics, 2021, 58(10): 1011003. (in Chinese) doi:  10.3788/LOP202158.1011003
    [8] Pathak R S. The Wavelet Transform[M]. Paris: Atlantis Press, 2009.
    [9] Jansen M, Malfait M, Bultheel A. Generalized cross validation for wavelet thresholding [J]. Signal Processing, 1997, 56(1): 33-44. doi:  10.1016/S0165-1684(97)83621-3
    [10] Fang H T, Huang D S. Noise reduction in lidar signal based on discrete wavelet transform [J]. Optics Communications, 2004, 233(1-3): 67-76. doi:  10.1016/j.optcom.2004.01.017
    [11] Blu T, Luisier F. The SURE-LET approach to image denoising [J]. IEEE Transactions on Image Processing, 2007, 16(11): 2778-2786. doi:  10.1109/tip.2007.906002
    [12] Luisier F, Blu T, Unser M. A new SURE approach to image denoising: Interscale orthonormal wavelet thresholding [J]. IEEE Transactions on Image Processing, 2007, 16(3): 593-606. doi:  10.1109/tip.2007.891064
    [13] Wu S, Liu Z, Liu B. Enhancement of lidar backscatters signal-to-noise ratio using empirical mode decomposition method [J]. Optics Communications, 2006, 267(1): 137-144. doi:  10.1016/j.optcom.2006.05.069
    [14] Tian P, Cao X, Liang J, et al. Improved empirical mode decomposition based denoising method for lidar signals [J]. Optics Communications, 2014, 325: 54-59. doi:  10.1016/j.optcom.2014.03.083
    [15] Chang J, Zhu L, Li H, et al. Noise reduction in Lidar signal using correlation-based EMD combined with soft thresholding and roughness penalty [J]. Optics Communications, 2018, 407: 290-295. doi:  10.1016/j.optcom.2017.09.063
    [16] Dragomiretskiy K, Zosso D. Variational mode decomposition [J]. IEEE Transactions on Signal Processing, 2013, 62(3): 531-544. doi:  10.1109/TSP.2013.2288675
    [17] Wang Y, Markert R, Xiang J, et al. Research on variational mode decomposition and its application in detecting rub-impact fault of the rotor system [J]. Mechanical Systems and Signal Processing, 2015, 60: 243-251. doi:  10.1016/j.ymssp.2015.02.020
    [18] Yang Y, Jiang D. Casing vibration fault diagnosis based on variational mode decomposition, local linear embedding, and support vector machine [J]. Shock and Vibration, 2017, 2017: 5963239. doi:  10.1155/2017/5963239
    [19] Yang W, Peng Z, Wei K, et al. Superiorities of variational mode decomposition over empirical mode decomposition particularly in time–frequency feature extraction and wind turbine condition monitoring [J]. IET Renewable Power Generation, 2017, 11(4): 443-452. doi:  10.1049/iet-rpg.2016.0088
    [20] Lian J, Liu Z, Wang H, et al. Adaptive variational mode decomposition method for signal processing based on mode characteristic [J]. Mechanical Systems and Signal Processing, 2018, 107: 53-77. doi:  10.1016/j.ymssp.2018.01.019
    [21] Mao X, Yang Q, Wang X, et al. Application of variational mode decomposition and whale optimization algorithm to laser ultrasonic signal denoising [J]. Sensors, 2022, 23(1): 354. doi:  10.3390/s23010354
    [22] Komaty A, Boudraa A O, Augier B, et al. EMD-based filtering using similarity measure between probability density functions of IMFs [J]. IEEE Transactions on Instrumentation and Measurement, 2013, 63(1): 27-34. doi:  10.1109/tim.2013.2275243
    [23] Li Z, Chen J, Zi Y, et al. Independence-oriented VMD to identify fault feature for wheel set bearing fault diagnosis of high speed locomotive [J]. Mechanical Systems and Signal Processing, 2017, 85: 512-529. doi:  10.1016/j.ymssp.2016.08.042
    [24] Liu Y, Yang G, Li M, et al. Variational mode decomposition denoising combined the detrended fluctuation analysis [J]. Signal Processing, 2016, 125: 349-364. doi:  10.1016/j.sigpro.2016.02.011
    [25] 丁红波, 王珍珠, 刘东. 激光雷达信号去噪方法的对比研究[J]. 光学学报, 2021, 41(24): 9-18. doi:  10.3788/AOS202141.2401001

    Ding H B, Wang Z Z, Liu D. Comparison of de-noising methods of LiDAR signal [J]. Acta Optica Sinica, 2021, 41(24): 2401001. (in Chinese) doi:  10.3788/AOS202141.2401001
    [26] Hua T, Dai K, Zhang X, et al. Optimal VMD-based signal denoising for laser radar via Hausdorff distance and wavelet transform [J]. IEEE Access, 2019, 7: 167997-168010. doi:  10.1109/access.2019.2949063
    [27] 胡以华, 张鑫源, 徐世龙, 等. 激光反射层析成像技术的研究进展[J]. 中国激光, 2021, 48(4): 8-25. doi:  10.3788/CJL202148.0401002

    Hu Y H, Zhang X, Xu S, et al. Research progress of laser reflective tomography techniques [J]. Chinese Journal of Lasers, 2021, 48(4): 0401002. (in Chinese) doi:  10.3788/CJL202148.0401002
    [28] Zhang X, Hu Y, Xu S, et al. Application of image fusion algorithm combined with visual saliency in target extraction of reflective tomography lidar image [J]. Computational Intelligence and Neuroscience, 2022, 2022: 8247344. doi:  10.1155/2022/8247344
    [29] Rakotosaona M J, La Barbera V, Guerrero P, et al. Pointcleannet: Learning to denoise and remove outliers from dense point clouds[C]//Computer Graphics Forum. 2020, 39(1): 185-203.
    [30] Guerrero P, Kleiman Y, Ovsjanikov M, et al. Pcpnet learning local shape properties from raw point clouds[C]//Computer Graphics Forum, 2018, 37(2): 75-85.
    [31] Zhang D, Lu X, Qin H, et al. Pointfilter: Point cloud filtering via encoder-decoder modeling [J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 27(3): 2015-2027. doi:  10.1109/tvcg.2020.3027069
    [32] Pistilli F, Fracastoro G, Valsesia D, et al. Learning robust graph-convolutional representations for point cloud denoising [J]. IEEE Journal of Selected Topics in Signal Processing, 2020, 15(2): 402-414. doi:  10.1109/jstsp.2020.3047471
    [33] Höfle B, Pfeifer N. Correction of laser scanning intensity data: Data and model-driven approaches [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2007, 62(6): 415-433. doi:  10.1016/j.isprsjprs.2007.05.008
    [34] Eitel J U H, Höfle B, Vierling L A, et al. Beyond 3-D: The new spectrum of lidar applications for earth and ecological sciences [J]. Remote Sensing of Environment, 2016, 186: 372-392. doi:  10.1016/j.rse.2016.08.018
    [35] Yan W Y, Shaker A, Habib A, et al. Improving classification accuracy of airborne LiDAR intensity data by geometric calibration and radiometric correction [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2012, 67: 35-44. doi:  10.1016/j.isprsjprs.2011.10.005
    [36] Carrea D, Abellan A, Humair F, et al. Correction of terrestrial LiDAR intensity channel using Oren–Nayar reflectance model: An application to lithological differentiation [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 113: 17-29. doi:  10.1016/j.isprsjprs.2015.12.004
    [37] Ding Q, Chen W, King B, et al. Combination of overlap-driven adjustment and Phong model for LiDAR intensity correction [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 75: 40-47. doi:  10.1016/j.isprsjprs.2012.09.015
    [38] 谭凯, 程效军, 张吉星. TLS辐射数据的入射角及距离效应改正方法[J]. 武汉大学学报(信息科学版), 2017, 42(02): 223-228. doi:  10.13203/j.whugis.20150502

    Tan K, Cheng X, Zhang J. Correction for incidence angle and distance effects on TLS intensity data [J]. Journal of Wuhan University (Information Science Edition), 2017, 42(2): 223-228. (in Chinese) doi:  10.13203/j.whugis.20150502
    [39] Yan W Y, Shaker A. Radiometric correction and normalization of airborne LiDAR intensity data for improving land-cover classification [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(12): 7658-7673. doi:  10.32920/ryerson.14649288.v1
    [40] Zhang C, Gao S, Li W, et al. Radiometric calibration for incidence angle, range and sub-footprint effects on hyperspectral LiDAR backscatter intensity [J]. Remote Sensing, 2020, 12(17): 2855. doi:  10.3390/rs12172855
    [41] 纪红柱, 陈思颖, 张寅超, 等. 地基离轴拉曼-米激光雷达几何因子校正[J]. 北京理工大学学报, 2019, 39(06): 644-649. doi:  10.15918/j.tbit1001-0645.2019.06.015

    Ji H Z, Chen S Y, Zhang Y C, et al. Determination of geometric factor for ground-based Raman-Mie lidar with bi-static configuration [J]. Journal of Beijing University of Technology (Natural Edition), 2019, 39(6): 644-649. (in Chinese) doi:  10.15918/j.tbit1001-0645.2019.06.015
    [42] Su J, Mccormick M P, Liu Z, et al. Obtaining a ground-based lidar geometric form factor using coincident spacebornelidar measurements [J]. Applied Optics, 2010, 49(1): 108-113.
    [43] Zhang X, Xue Z. Geometrical error correction research in high precision 2D laser measuring instrument[C]//Sixth International Symposium on Precision Engineering Measurements and Instrumentation, SPIE, 2010, 7544: 1710-1717.
    [44] Liu Y, Chen S, Zhang Y, et al. Algorithm of geometry correction for airborne 3D scanning laser radar[C]//2009 International Conference on Optical Instruments and Technology: Advanced Sensor Technologies and Applications. SPIE, 2009, 7508: 452-462.
    [45] Skaloud J, Lichti D. Rigorous approach to bore-sight self-calibration in airborne laser scanning [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2006, 61(1): 47-59. doi:  10.1016/j.isprsjprs.2006.07.003
    [46] Rewehel E M, Li J, Keshk H M, et al. Geometric correction of aerial camera and LiDAR hybrid system data using GNSS/IMU[C]//2022 IEEE 13th International Conference on Software Engineering and Service Science (ICSESS), IEEE, 2022: 54-58.
    [47] Chen B, Pang Y. A denoising approach for detection of canopy and ground from ICESat-2's airborne simulator data in Maryland, USA[C]//AOPC 2015: Advances in Laser Technology and Applications, SPIE, 2015, 9671: 383-387.
    [48] Gao R, Park J, Hu X, et al. Reflective noise filtering of large-scale point cloud using multi-position LiDAR sensing data [J]. Remote Sensing, 2021, 13(16): 3058. doi:  10.3390/rs13163058
    [49] Li Y, Fu H, Zhu J, et al. A filtering method for ICESat-2 photon point cloud data based on relative neighboring relationship and local weighted distance statistics [J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(11): 1891-1895.
    [50] Wang X, Pan Z, Glennie C. A novel noise filtering model for photon-counting laser altimeter data [J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(7): 947-951. doi:  10.1109/LGRS.2016.2555308
    [51] Zhu X, Nie S, Wang C, et al. A noise removal algorithm based on OPTICS for photon-counting LiDAR data [J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(8): 1471-1475.
    [52] Zaman F, Wong Y P, Ng B Y. Density-based denoising of point cloud[C]//9th International Conference on Robotic, Vision, Signal Processing and Power Applications: Empowering Research and Innovation. Springer Singapore, 2017: 287-295.
    [53] Liu Z, Xiao X, Zhong S, et al. A feature-preserving framework for point cloud denoising [J]. Computer-Aided Design, 2020, 127: 102857. doi:  10.1016/j.cad.2020.102857
    [54] Qi C R, Su H, Mo K, et al. Pointnet: Deep learning on point sets for 3D classification and segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 652-660.
    [55] Roveri R, Öztireli A C, Pandele I, et al. Pointpronets: Consolidation of point clouds with convolutional neural networks[C]//Computer Graphics Forum, 2018, 37(2): 87-99.
    [56] Himmelsbach M, Hundelshausen F V, Wuensche H J. Fast segmentation of 3D point clouds for ground vehicles[C]//2010 IEEE Intelligent Vehicles Symposium. IEEE, 2010: 560-565.
    [57] Zermas D, Izzat I, Papanikolopoulos N. Fast segmentation of 3D point clouds: A paradigm on lidar data for autonomous vehicle applications[C]//2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2017: 5067-5073.
    [58] Moosmann F, Pink O, Stiller C. Segmentation of 3D lidar data in non-flat urban environments using a local convexity criterion[C]//2009 IEEE Intelligent Vehicles Symposium, 2009: 215-220.
    [59] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(6): 381-395. doi:  10.1145/358669.358692
    [60] Narksri P, Takeuchi E, Ninomiya Y, et al. A slope-robust cascaded ground segmentation in 3D point cloud for autonomous vehicles[C]//2018 21st International Conference on Intelligent Transportation Systems (ITSC), IEEE, 2018: 497-504.
    [61] Paigwar A, Erkent Ö, Sierra-Gonzalez D, et al. Gndnet: Fast ground plane estimation and point cloud segmentation for autonomous vehicles[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020: 2150-2156.
    [62] Xu J, Zhang R, Dou J, et al. Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 16024-16033.
    [63] Shen Z, Liang H, Lin L, et al. Fast ground segmentation for 3d lidar point cloud based on jump-convolution-process [J]. Remote Sensing, 2021, 13(16): 3239. doi:  10.3390/rs13163239
    [64] 郭冠军, 李树楷, 胡以华. 机载激光雷达测距性能研究[J]. 光电子·激光, 2001(06): 592-595. doi:  10.16136/j.joel.2001.06.013

    Guo G J, Li S K, Hu Y H. Study on the ranging performance of the airborne lidar [J]. Journal of Optoelectronics ·Laser, 2001(6): 592-595. (in Chinese) doi:  10.16136/j.joel.2001.06.013
    [65] 刘鸿彬, 李铭, 王凤香, 等. 一种少光子高精度多波束激光雷达系统及验证[J]. 红外与毫米波学报, 2019, 38(04): 535-541. doi:  10.11972/j.issn.1001-9014.2019.04.021

    Liu H B, Li M, Wang F X, et al. A high accuracy multi-beam lidar system and its verification on several photons [J]. Journal of Infrared and Millimeter Waves, 2019, 38(4): 535-541. (in Chinese) doi:  10.11972/j.issn.1001-9014.2019.04.021
    [66] 刘鸿彬, 李铭, 舒嵘, 等. 少光子灵敏度精密激光测距方法及验证[J]. 红外与激光工程, 2019, 48(1): 93-99. doi:  10.3788/IRLA201948.0106001

    Liu H B, Li M, Shu R, et al. Estimation and verification of high-accuracy laser ranging on several photons [J]. Infrared and Laser Engineering, 2019, 48(1): 0106001. (in Chinese) doi:  10.3788/IRLA201948.0106001
    [67] Hou A H, Hu Y H, Zhao N X, et al. Full-waveform fast correction method for photon counting lidar [J]. Chinese Optics Letters, 2021, 19(5): 87-92. doi:  10.3788/col202119.052701
    [68] Zhou H, Chen Y, Hyyppä J, et al. An overview of the laser ranging method of space laser altimeter [J]. Infrared Physics & Technology, 2017, 86: 147-158. doi:  10.1016/j.infrared.2017.09.011
    [69] Hao Q, Cao J, Hu Y, et al. Differential optical-path approach to improve signal-to-noise ratio of pulsed-laser range finding [J]. Optics Express, 2014, 22(1): 563-575. doi:  10.1364/oe.22.000563
    [70] 胡善江, 贺岩, 俞家勇, 等. 基于深度学习的脉冲激光测距回波时刻解算方法[J]. 中国激光, 2019, 46(10): 302-311. doi:  10.3788/CJL201946.1010001

    Hu S J, He Y, Yu J Y. Method for solving echo time of pulse laser ranging based on deep learning [J]. Chinese Journal of Laser, 2019, 46(10): 1010001. (in Chinese) doi:  10.3788/CJL201946.1010001
    [71] Xu X, Chen Y, Zhu K, et al. Research on FPGA pulse laser ranging method based on deep learning [J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-11. doi:  10.1109/tim.2021.3096281
    [72] Li P, Wang R, Wang Y, et al. Evaluation of the ICP algorithm in 3D point cloud registration [J]. IEEE Access, 2020, 8: 68030-68048. doi:  10.1109/ACCESS.2020.2986470
    [73] Yang J, Li H, Jia Y. Go-icp: Solving 3D registration efficiently and globally optimally[C]//Proceedings of the IEEE International Conference on Computer Vision, 2013: 1457-1464.
    [74] Rosen D M, Carlone L, Bandeira A S, et al. A certifiably correct algorithm for synchronization over the special Euclidean group[C]//Algorithmic Foundations of Robotics XII: Proceedings of the Twelfth Workshop on the Algorithmic Foundations of Robotics. Cham: Springer International Publishing, 2020: 64-79.
    [75] Izatt G, Dai H, Tedrake R. Globally optimal object pose estimation in point clouds with mixed-integer programming[C]//Robotics Research: The 18th International Symposium ISRR. Springer International Publishing, 2020: 695-710.
    [76] Maturana D, Scherer S. Voxnet: A 3D convolutional neural network for real-time object recognition[C]//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2015: 922-928.
    [77] Wu Z, Song S, Khosla A, et al. 3D ShapeNets: A deep representation for volumetric shapes[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1912-1920.
    [78] Aoki Y, Goforth H, Srivatsan R A, et al. Pointnetlk: Robust & efficient point cloud registration using pointnet[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 7163-7172.
    [79] Chu J, Nie C. Multi-view point clouds registration and stitching based on SIFT feature[C]//2011 3rd International Conference on Computer Research and Development, IEEE, 2011, 1: 274-278.
    [80] 范强, 刘鹏, 杨俊, 等. 基于3 D-Harris与FPFH改进的3 D-NDT配准算法[J]. 图学学报, 2020, 41(04): 567-575. doi:  10.11996/JG.j.2095-302X.2020040567

    Fan Q, Liu P, Yang J, et al. Improved 3D-NDT point cloud registration algorithm based on 3D-Harris and FPFH [J]. Journal of Graphics, 2020, 41(4): 567-575. (in Chinese) doi:  10.11996/JG.j.2095-302X.2020040567
    [81] Zhong Y, Bai F, Liu Y, et al. Point cloud splicing based on 3D-Harris operator[C]//2021 3rd International Symposium on Smart and Healthy Cities (ISHC), IEEE, 2021: 61-66.
    [82] 杨彪, 胡以华. 代数迭代法在激光反射断层成像目标重构中的应用[J]. 红外与激光工程, 2019, 48(07): 287-293. doi:  10.3788/IRLA201948.0726002

    Yang Biao, Hu Yihua. Laser reflection tomography target reconstruction algorithm based on algebraic iteration [J]. Infrared and Laser Engineering, 2019, 48(7): 0726002. (in Chinese) doi:  10.3788/IRLA201948.0726002
    [83] 刘一凡, 胡以华, 徐世龙, 等. 基于波形分解的激光反射层析成像优化方法[J]. 光学学报, 2023, 43(18): 1828002. doi:  10.3788/AOS222044

    Liu Y F, Hu Y H, Xu S L, et al. Optimization method for laser reflective tomography imaging based on waveform decomposition method [J]. Acta Optica Sinica, 2023, 43(18): 1828002. (in Chinese) doi:  10.3788/AOS222044
    [84] Hu Y. Theory and Technology of Laser Imaging Based Target Detection[M]. Singapore: Springer Press, 2018.
    [85] Moosmann F, Fraichard T. Motion estimation from range images in dynamic outdoor scenes[C]//2010 IEEE International Conference on Robotics and Automation, IEEE, 2010: 142-147.
    [86] Dewan A, Caselitz T, Tipaldi G D, et al. Motion-based detection and tracking in 3d lidar scans[C]//2016 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2016: 4508-4513.
    [87] Dewan A, Caselitz T, Tipaldi G D, et al. Rigid scene flow for 3D lidar scans[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2016: 1765-1770.
    [88] Qi C R, Yi L, Su H, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space[C]//Advances in Neural Information Processing Systems, 2017: 30.
    [89] Zeng Y, Hu Y, Liu S, et al. Rt3d: Real-time 3D vehicle detection in lidar point cloud for autonomous driving [J]. IEEE Robotics and Automation Letters, 2018, 3(4): 3434-3440. doi:  10.1109/lra.2018.2852843
    [90] Zhou Y, Tuzel O. Voxelnet: End-to-end learning for point cloud based 3D object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4490-4499.
    [91] Liu X, Qi C R, Guibas L J. Flownet3d: Learning scene flow in 3d point clouds[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 529-537.
    [92] Wang Z, Li S, Howard-Jenkins H, et al. Flownet3d++: Geometric losses for deep scene flow estimation[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2020: 91-98.
    [93] Mayer N, Ilg E, Hausser P, et al. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 4040-4048.
    [94] Gojcic Z, Litany O, Wieser A, et al. Weakly supervised learning of rigid 3D scene flow[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 5692-5703.
    [95] Wang G, Wu X, Liu Z, et al. Hierarchical attention learning of scene flow in 3D point clouds [J]. IEEE Transactions on Image Processing, 2021, 30: 5168-5181. doi:  10.1109/tip.2021.3079796
    [96] Tishchenko I, Lombardi S, Oswald M R, et al. Self-supervised learning of non-rigid residual flow and ego-motion[C]//2020 International Conference on 3D Vision (3DV), IEEE, 2020: 150-159.
    [97] Baur S A, Emmerichs D J, Moosmann F, et al. SLIM: Self-supervised LiDAR scene flow and motion segmentation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 13126-13136.
    [98] Behl A, Paschalidou D, Donné S, et al. Pointflownet: Learning representations for rigid motion estimation from point clouds[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 7962-7971.
    [99] Milioto A, Vizzo I, Behley J, et al. Rangenet++: Fast and accurate lidar semantic segmentation[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2019: 4213-4220.
    [100] Cortinhal T, Tzelepis G, Erdal Aksoy E. SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds[C]//International Symposium on Visual Computing. Cham: Springer, 2020: 207-222.
    [101] Li S, Chen X, Liu Y, et al. Multi-scale interaction for real-time lidar data segmentation on an embedded platform [J]. IEEE Robotics and Automation Letters, 2021, 7(2): 738-745. doi:  10.1109/lra.2021.3132059
    [102] Kim J, Woo J, Im S. RVMOS: Range-view moving object segmentation leveraged by semantic and motion features [J]. IEEE Robotics and Automation Letters, 2022, 7(3): 8044-8051. doi:  10.1109/lra.2022.3186080
    [103] Chen X, Li S, Mersch B, et al. Moving object segmentation in 3D LiDAR data: A learning-based approach exploiting sequential data [J]. IEEE Robotics and Automation Letters, 2021, 6(4): 6529-6536. doi:  10.1109/lra.2021.3093567
    [104] Mersch B, Chen X, Vizzo I, et al. Receding moving object segmentation in 3D lidar data using sparse 4D convolutions [J]. IEEE Robotics and Automation Letters, 2022, 7(3): 7503-7510. doi:  10.1109/lra.2022.3183245
    [105] Sun J, Dai Y, Zhang X, et al. Efficient spatial-temporal information fusion for Lidar-based 3d moving object segmentation[C]//2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2022: 11456-11463.
    [106] Hu H K, Sun S, Lin H Z, et al. Denoising ghost imaging under a small sampling rate via deep learning for tracking and imaging moving objects [J]. Optics Express, 2020, 28(25): 37284-37293. doi:  10.1364/oe.412597
    [107] Wang S, Li L, Yu Z, et al. Image-free target classification with semi-active laser detection system [J]. IEEE Sensors Journal, 2022, 22(23): 22331642. doi:  10.1109/jsen.2022.3217281
    [108] Chen Y, Tang J, Jiang C, et al. The accuracy comparison of three simultaneous localization and mapping (SLAM)-based indoor mapping technologies [J]. Sensors, 2018, 10(18): 3225.
    [109] Yin T, Zhou X, Krähenbühl P. Multimodal virtual point 3D detection[C]//Advances in Neural Information Processing Systems, 2021, 34: 16494-16507.
  • [1] 胡浩丰, 黄一钊, 朱震, 马千文, 翟京生, 李校博.  基于深度学习复杂环境的偏振成像技术研究进展(特邀) . 红外与激光工程, 2024, 53(3): 20240057-1-20240057-18. doi: 10.3788/IRLA20240057
    [2] 刘禹彤, 李妍, 金璐, 汤化旭, 王舜, 吴雨聪, 冯悦姝.  基于深度学习的多分辨显微关联成像系统设计 . 红外与激光工程, 2023, 52(4): 20220461-1-20220461-8. doi: 10.3788/IRLA20220461
    [3] 王世强, 孟召宗, 高楠, 张宗华.  激光雷达与相机融合标定技术研究进展 . 红外与激光工程, 2023, 52(8): 20230427-1-20230427-14. doi: 10.3788/IRLA20230427
    [4] 吴志洋, 王双, 刘铁根, 靳党鹏.  基于深度学习视觉和激光辅助的盾构管片自动拼装定位方法 . 红外与激光工程, 2022, 51(4): 20210183-1-20210183-9. doi: 10.3788/IRLA20210183
    [5] 卞殷旭, 邢涛, 邓伟杰, 鲜勤, 乔洪磊, 于钱, 彭吉龙, 杨晓飞, 蒋燕男, 王家雄, 杨慎敏, 沈韧斌, 沈华, 匡翠方.  基于深度学习的色彩迁移生物医学成像技术 . 红外与激光工程, 2022, 51(2): 20210891-1-20210891-18. doi: 10.3788/IRLA20210891
    [6] 郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静.  深度学习下的散射成像:物理与数据联合建模优化(特邀) . 红外与激光工程, 2022, 51(8): 20220563-1-20220563-13. doi: 10.3788/IRLA20220563
    [7] 范有臣, 马旭, 马淑丽, 钱克昌, 郝红星.  基于深度学习的激光干扰效果评价方法 . 红外与激光工程, 2021, 50(S2): 20210323-1-20210323-7. doi: 10.3788/IRLA20210323
    [8] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [9] 杨程, 鄢秋荣, 祝志太, 王逸凡, 王明, 戴伟辉.  基于深度学习的压缩光子计数激光雷达 . 红外与激光工程, 2020, 49(S2): 20200380-20200380. doi: 10.3788/IRLA20200380
    [10] 陈咸志, 罗镇宝, 杨旭, 陈陶, 赵径通.  光电导引头信息处理系统设计 . 红外与激光工程, 2020, 49(9): 20200312-1-20200312-9. doi: 10.3788/IRLA20200312
    [11] 胡善江, 贺岩, 陶邦一, 俞家勇, 陈卫标.  基于深度学习的机载激光海洋测深海陆波形分类 . 红外与激光工程, 2019, 48(11): 1113004-1113004(8). doi: 10.3788/IRLA201948.1113004
    [12] 潘宁, 梁勖, 林颖, 潘冰冰, 方晓东.  准分子激光系统中模拟信号的传输方法 . 红外与激光工程, 2019, 48(9): 905003-0905003(5). doi: 10.3788/IRLA201948.0905003
    [13] 韩庆阳, 陈赟, 张红胜, 高胜英, 张晰.  航天级反射式光电编码器信号处理系统设计 . 红外与激光工程, 2019, 48(S1): 135-141. doi: 10.3788/IRLA201948.S117010
    [14] 蔡克荣, 仇理宽, 高瑞林.  脉冲激光引信的信号特征提取方法及应用(特邀) . 红外与激光工程, 2018, 47(3): 303004-0303004(5). doi: 10.3788/IRLA201847.0303004
    [15] 赵永强, 李宁, 张鹏, 姚嘉昕, 潘泉.  红外偏振感知与智能处理 . 红外与激光工程, 2018, 47(11): 1102001-1102001(7). doi: 10.3788/IRLA201847.1102001
    [16] 田岳鑫, 高昆, 刘莹, 卢岩, 倪国强.  一种基于广义累积和的多波段红外变异点目标检测方法 . 红外与激光工程, 2016, 45(5): 526001-0526001(6). doi: 10.3788/IRLA201645.0526001
    [17] 郭腾霄, 丁学全, 董晓强, 穆宁, 黄启斌, 李翠萍, 温红宇.  基于EMD的红外遥测光谱信号预处理新方法 . 红外与激光工程, 2013, 42(12): 3196-3200.
    [18] 万俊, 张晓晖, 饶炯辉, 梁瑞涛.  基于独立成分分析的舰船气泡尾流后向散射光信号处理 . 红外与激光工程, 2013, 42(1): 244-250.
    [19] 张来线, 孙华燕, 樊桂花, 赵延仲, 郑勇辉.  基于LabVIEW的高性能激光主动探测控制与处理系统设计 . 红外与激光工程, 2013, 42(12): 3239-3244.
    [20] 曹文勇, 马明, 赵彬, 何幸锴, 侯天晋, 周鼎富, 邓华荣.  滤波器组在相干激光测风雷达信号处理中的应用 . 红外与激光工程, 2013, 42(5): 1179-1183.
  • 加载中
图(10) / 表(1)
计量
  • 文章访问数:  641
  • HTML全文浏览量:  202
  • PDF下载量:  203
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-03-27
  • 修回日期:  2023-05-03
  • 网络出版日期:  2023-07-04
  • 刊出日期:  2023-06-25

激光成像处理技术研究现状及展望(特邀)

doi: 10.3788/IRLA20230169
    作者简介:

    胡以华,男,教授,博士,主要从事光电对抗理论与应用等方面的研究

    通讯作者: 赵禄达,男,博士生,主要从事计算成像、计算机视觉、进化计算等方面的研究。
基金项目:  国家自然科学基金项目(61871389, 62201597);国防科技大学科研计划重大应用基础研究项目(ZK18-01-02,ZK22-35);国防科技大学自主科研创新基金项目(22-ZZCX-07);国防科技创新特区项目(22-TQ23-07-ZD-01-001);湖南省研究生创新拔尖人才培养项目(CX20220045);军事类研究生资助课题(JY2021B042)
  • 中图分类号: O439

摘要: 激光成像在多个领域中应用广泛,其成像时包含一系列的信号和信息处理过程,会对成像质量造成关键性的影响,并在成像信息运用的过程中起着关键性作用。文中主要针对典型激光成像处理技术进行综述性研究。首先,讨论了典型成像体制的激光成像处理技术特征,按照信号处理和信息处理两个阶段归纳了主要的共性处理方法和内容。其次,分析了激光信号去噪、辐射与几何校正和激光点云处理技术,激光测距、图像重建、目标检测的信息处理技术的发展现状,研究了典型处理技术特别是基于深度学习的激光成像智能处理技术的实现过程。最后,分析了激光成像处理技术的发展需求和未来发展方向,希望能对激光成像的相关研究带来一定的参考作用。

English Abstract

    • 激光成像是指通过发射特定设计的激光信号,接收激光回波并处理后获取目标的图像等属性信息的一种成像方式。激光成像在目标探测、卫星测绘、智慧农业、国防航天等领域均有着广泛应用。由于不同领域的应用特点存在区别,从而对激光成像处理提出了更高的要求。激光成像处理是针对激光探测获取目标图像而进行的一系列处理过程,按照处理顺序可分为信号处理和信息处理,具体包括激光回波信号的去噪、辐射、几何校正、点云处理,以及之后的各类成像任务数据处理(例如激光测距、激光图像重建、目标检测等)。当前,激光成像处理技术随着成像体制和成像硬件的不断发展,处理精度和速度要求越来越高,涉及的技术领域也越来越广泛。尤其是当前以深度学习为代表的机器学习技术发展迅速,在许多经典问题中获得了相较传统技术更好的结果,并且在激光成像处理技术中也出现了成功的应用,为激光成像处理提供了新的发展方向。

      文中针对当前的激光成像处理技术进行研究,首先明确激光成像处理的过程,而后聚焦激光成像信号处理和信息处理两个方面,梳理成像信号和信息处理的种类和方法,并介绍当前的研究现状。最后讨论了激光成像处理技术的发展需求和未来的发展方向。

    • 激光成像是在激光探测技术基础发展而成的,是激光探测技术和成像技术相结合而产生的一种新型技术手段,前者奠定了激光成像发射和接收技术的基础,后者则奠定了激光成像整体技术的基础。由于激光具有亮度高、方向性强、单色性好、相干性强和波长短等特点,这就使得激光在成像领域具有与生俱来的优势[1]

      激光成像与雷达成像在技术原理上可以说是一脉相承,只不过激光成像将探测媒介由微波和毫米波变为激光。激光波长比微波和毫米波短得多,波束宽度比微波和毫米波要更窄。激光成像与雷达成像相比,图像分辨率更高,信息量更大。激光成像与可见光和红外成像相比,大多数体制的激光成像可以全天时工作,不受白天和黑夜光照条件限制,而且获得的信息更多。

      目标的激光图像提供了物体大小、形状、表面材料等特征参数,大大丰富了对物体的描述信息,增强了人们对物体的了解和掌握程度。激光成像的过程依靠成像系统来实现。

      图1中表述了从激光发射到信号接收处理以及后续信息处理的激光成像全过程。在这里,信号处理指的是传感器输出信号的处理,处理后的信号包含更加易于识别利用的信息,但并不能直接为用户所用。而信息处理就是指利用处理后的信号实现各类激光成像任务,从无法直接利用的信号中提取目标信息,从而实现目标识别、重建等复杂任务。在实际的成像场景中,通过激光发射系统和接收器的发和收,可以得到场景中的激光回波信号,再经过成像传感器的处理,就可以使得激光信号转化为更加易于处理的信号(比如数字信号等)。以上的成像过程依靠精密设计的光学硬件系统来实现,但通过硬件接收处理的场景信息可能会包含许多冗余的、存在误差的信息,比如在对海上重要目标进行激光成像的过程中,海面上还会存在许多非重点关注的目标、海面杂波等,这就会产生一定的多余信号。另外,在存在光学干扰(比如变化的温度、大气湍流等)的场景下,信号依然会存在一定的误差,成像信号呈现出来的场景信息是不易于识别,甚至是错误的。所以还需要对传感器的信号进行进一步的处理,比如信号去噪、辐射、位置等信息的校正等。处理后的信号最终是为了实现具体的成像任务的,所以对处理后的信号进一步分析,通过一定的算法得到所需的信息,比如目标识别、跟踪等。

      图  1  典型的激光成像过程

      Figure 1.  The process of typical laser imaging

    • 为了说明多种激光成像体制下的成像处理技术的特点,找出不同体制的激光成像处理技术存在的异同,下面将对典型成像体制下的激光成像处理技术做一对比分析。

      表1中可以看出,典型成像体制的激光成像在信号处理和信息处理所包含的内容有所差异。究其原因,主要有三个方面:一是不同成像体制对应的激光成像原理不尽相同。例如,激光扫描成像是通过多个激光光束对目标进行快速扫描获得的回波点云图像;而合成孔径激光成像则是通过激光光源的移动获得时间分辨率上小孔径合成大孔径成像的效果,二者的载荷状态不同,接收到的信号和对应的信息处理也会产生较大的区别。二是各类体制的激光成像对应不同的应用场景。激光成像在不同的应用场景中需要完成的信息处理任务有所区别,例如,连续波激光成像一般应用场景中激光光源视场不存在强干扰和遮挡,激光能够直接探测到目标;而非视域激光成像的应用场景就是激光视场中存在无法透射的遮挡物,激光无法直线传播,需要根据激光的多次反射信号对遮挡目标进行探测和识别。所以二者在信息处理时由于激光回波信号的质量、稳定度的差异使得非视域成像中几乎无法实现高分辨成像。三是不同体制的激光成像对应的激光光源存在差异。例如,激光扫描成像和阵列成像均使用单激光发射系统作为光源,而相干激光成像需要获得相干的多个激光束对目标进行探测,通过光场的衍射或干涉效应来间接获得目标的信号,对应的相干成像会造成图像散斑噪声和伪影等现象,需要对信号进行处理。

      表 1  典型成像体制下激光成像处理技术的对比[1-7]

      Table 1.  Typical methods of laser intensity correction[1-7]

      Type of imagingImaging process descriptionTypical signal processingTypical information processing methods
      Laser scan imaging[1] Through the scanning of laser emitting system, we can obtain many kinds of information about the surface reflection signal of the object, so that we can image the object in two or three dimensions. ①Laser Point Cloud Denoising
      ②Laser Point Cloud Intensity Correction
      ③Point Cloud Location Correction
      ④Point Cloud Distribution Processing
      ①(Single) Photon ranging
      ②Point cloud 3D reconstruction
      ③Target detection
      ④Target tracking
      Laser array imaging[2] Laser signals emitted by the array's array of laser emitters can be scanned or directly detected to obtain a variety of information about reflected signals on the surface of a detected object, thus completing 2D or 3D object imaging. ①Laser Point Cloud Denoising
      ②Laser Point Cloud Intensity Correction
      ③Point Cloud Location Correction
      ④Point Cloud Distribution Processing
      ①(Single) Photon ranging
      ②Point cloud 3D reconstruction
      ③Target detection
      ④Target tracking
      Laser coherence imaging[3] Using coherent laser as the light source, two or three dimensional object imaging is achieved by obtaining wavefront phase information through matter diffraction or interferometric radiation distribution. ①Echo Signal Denoising
      ②Echo Radiation Correction
      ③Echo Geometry Calibration
      ④Laser image speckle noise suppression
      ⑤Laser Image False Removal
      ①Laser Weak Signal Enhancement
      ②Laser Range
      ③Relevance Information Target Reconstruction
      ④Target detection
      ⑤High resolution imaging
      Synthetic aperture laser imaging[4] By using the small aperture laser imaging system, the image fields of each subsystem are synchronized and the same phase is superimposed into the large aperture system. ①Echo Signal Denoising
      ②Echo Radiation Correction
      ③Echo Position Correction
      ④Laser image speckle noise suppression
      ⑤Laser Signal Phase Compensation
      ⑥Laser Signal Motion Compensation
      ①On-board, airborne laser remote sensing ranging
      ②Multi-Perspective Target Reconstruction
      ③Remote sensing target detection
      ④High resolution imaging
      Continuous wave laser imaging[5] Continuous wave laser imaging uses a continuous light signal as the detection signal, based on phase laser ranging technology, and uses single-frequency signal modulation laser. By phase detection of the reflected light signal, the target distance information is obtained, thus achieving high-efficiency imaging. ①Echo signal denoising
      ②Echo radiation correction
      ③Echo geometric correction
      ④Laser signal phase compensation
      ⑤Laser signal motion compensation
      ①Laser dynamic ranging
      ②Target reconstruction (in motion)
      ③Target detection (in motion)
      ④Motion target velocity measurement
      ⑤High-resolution imaging
      Non-line-of-sight laser imaging[6] Laser signals may encounter relay obstructions and undergo diffuse reflection during transmission. Sparse information contained in the reflection can be used to create two-dimensional or three-dimensional images of objects that are out of sight. ①Light field noise reduction
      ②Reflection and echo radiation correction
      ③Reflection and echo geometric correction
      ①Non-line-of-sight laser ranging
      ②Non-line-of-sight 2D/3D target reconstruction
      ③Non-line-of-sight 2D/3D target detection
      ④Non-line-of-sight target tracking
      Correlated photon imaging[7] Using a single-pixel laser detector for detection, the total radiation value of the target object's information light field is recorded in chronological order. The system calculates the target image by using this value and correlating it with the speckle field matrix of the illuminated object. ①Echo signal denoising
      ②Echo radiation correction
      ③Echo geometric correction
      ④Speckle suppression in laser imaging
      ⑤Artifacts removal in laser imaging
      ①Laser remote sensing ranging
      ②Laser image reconstruction
      ③Remote sensing target detection
      ④Anti-interference high-resolution imaging
      ⑤Laser image encryption

      与此同时,不同体制的激光成像在信号和信息处理方面存在诸多共性内容。在信号处理方面,首先,不论是何种体制的成像,均在激光成像过程中面临环境和光学系统内部干扰,进而出现噪声,所以在信号处理过程中,信号去噪是后续任务的前提,也是不同体制信号处理的共性内容之一。第二,激光成像过程中还面临着大气、温度、湿度等环境的变化,其对激光传输和光学硬件均会产生不同程度的影响,进而导致激光辐射强度发生衰减或其他变化,所以激光信号的辐射校正也是不同体制信号处理的共性内容之一。第三,由于激光载荷和探测目标的运动状态未知,且不同体制的激光成像均会面临对运动目标成像的需求,哪怕定位信息可以通过辅助定位传感器进行融合,也会由于信号时延、融合效率等问题导致激光信号出现几何误差,所以激光信号的几何校正也是不同体制信号处理的共性内容。第四,当前随着高维信息需求的不断增长,不同体制的激光成像也向着三维成像发展,而点云信息是目前表示目标三维信息非常成功的一种方式,激光成像通过获取目标点云能够获得不同运动状态、不同表面信息的三维目标成像,所以点云处理也是激光成像信号处理的一个重要的共性问题。从信息处理方面来看,激光成像的下游任务十分繁杂,根据用户的需求信息处理的内容也不一样。然而,不论是何种体制的激光成像,首先都要获得激光测距信息,这不仅是激光成像的基础,也是激光成像区别于其他模态成像的关键因素。其次,随着不同体制的激光成像运用场景的拓展,对成像质量和精度要求也越来越高,直接获取得到的激光图像已经无法满足任务需求,所以需要进行进一步的图像重建处理,这一信息处理任务在典型成像体制的激光成像中均有所应用。最后,目前利用激光成像的下游任务中最常见的是目标识别、跟踪、分割等,而这些任务的前提是对成像目标实现目标检测,只有完成了对成像目标的检测后才能够确定目标的一系列属性特征,进而完成各类下游任务。所以,目标检测也是各种体制的激光成像信息处理的共性内容之一。

      综上对比可以发现,虽然对应不同体制的信号和信息处理内容名称上有所差异,但可以将激光成像信号处理的共性内容归纳为信号去噪、辐射校正、几何校正和点云处理4个方面,而成像信息处理的共性内容归纳为激光测距、图像重建、目标检测3种共性处理内容。所以在下文中,主要围绕激光成像信号和信息处理技术的共性内容进行总结和分析。

    • 在激光成像的过程中,从光学硬件设备发射激光开始,到传感器接收到成像目标的回波信号的过程中,设备精度、环境变化、目标特性和各类干扰等因素均会对激光成像的效果造成极大的影响,所以激光成像信号处理中需要考虑成像环节中的各类噪声的存在,并通过高效、鲁棒的去噪方法进行去噪。

    • 小波变换是在傅里叶变换的基础上,通过时间、频率窗的调整进行信号局部的时频分析,最终通过参数的反演精确重构原始信号[8]。而基于WT的去噪方法就是利用噪声信号和目标回波信号的时频特征存在不同来实现的。1997年,Jansen等[9]通过交叉验证的方式得到了WT的阈值,成功分离出了信号中的噪声。Fang等[10]首次将WT运用到激光成像中,提出了一种基于离散WT的激光雷达(LiDAR)信号采集方法,可以显著提高成像信噪比,从而提高其有效测量范围。小波阈值在求解的过程中与其阈值函数种类的选择和方法有关,比如著名的SURE-LET方法[11],以及将去噪过程参数化为具有未知权重的基本非线性过程的和,通过最小化干净图像和去噪图像之间的均方误差的估计实现去噪[12],但小波变换也存在一定的缺陷,比如基函数选择、阈值函数选择、分解层次和顺序确定。

    • EMD是经典的LiDAR回波信号去噪方法之一,通过包络分解、均值、插值计算等操作分解得到有限个固有模态函数,在根据每个函数时间频率尺度的不同来去除噪声信号[13]。Tian等[14]改进了经典的EMD,选择典型范围和低频率两个参数,作为确定应去除多少高频IMF作为噪声的参考原则。Chang等[15]提出一种带软阈值和粗糙度惩罚的EMD,用于LiDAR信号去噪,通过相关系数来区分相关和不相关的固有模式函数,将软阈值技术应用于无关模式,将粗糙度惩罚技术应用于相关模式,以提取尽可能多的信息。然而,上述方法存在一些缺点。例如,它会在分解过程中导致模式混合,这限制了它在长距离、低信噪比雷达回波信号去噪中的应用。

    • VMD是一种自适应去噪分解技术,可以将信号非递归地分解为带限固有模式函数(BLIMF)的集合[16],尤其在激光成像信号处理中显示出了其突出的优势和巨大潜力。

      基于VMD的去噪算法主要有两个方面的挑战。一是分解参数的确定优化和分解信号重构模式的选择。对于参数的确定和优化,在早期的研究中,这参数由人为经验和便利性决定[17-19],然而,人为定义参数将导致频率混合和不完全的噪声分离等问题,所以获得最佳参数的方法就成为了研究的热点。Lian等[20]提出了一种具有BLIMF特性的自适应VMD,以确定分解的数量。图2展示了文献[21]利用鲸鱼优化算法找到VMD的最佳参数的算法流程和激光信号去噪结果,此方法在重建信号的过程中应用Hausdorff距离,避免了由于人工选择VMD参数而导致频率混合和不完全的噪声分离问题,大大提高了信噪比。

      图  2  文献[21]中,(a)通过鲸鱼优化算法优化得到VMD参数的流程和(b)算法的去噪结果展示

      Figure 2.  The algorithm flow and denoising results of Ref.[21] (a) The process of obtaining VMD parameters through whale optimization algorithm and (b) the de-noising results of the algorithm

      当VMD应用于噪声数据时,需要确定每个模式的物理解释,即哪些模式是纯信号、纯噪声或两者兼有[22],来进一步选择重构模式。Li等[23]通过使用提取的模式和模拟信号之间的基于相关性的阈值,实现了噪声BLIMF的识别。然而,在低信噪比场景中,第一种模式仍然与噪声信号有很强的相关性,导致该方法的性能较差。Liu等[24]基于趋势波动分析制定了一个简单的标准,以选择相关模式,该方法可以测量非平稳时间序列的长程相关性。

    • 由于单一去噪算法均存在一定的缺陷,所以多种去噪算法相结合就成了提升去噪效果的一种途径。丁红波等[25]结合各种去噪方法的优势,将其两两结合,提出了EMD-WT、WT-EMD、VMD-WT、WT-VMD4种混合去噪算法,并进行了对比实验,结果表明,WT-VMD算法性能最好,能够进一步提高后续信号的反演精度。Hua等[26]提出了一种基于参数最优VMD结合Hausdorff距离和WT的LiDAR回波信号去噪方法。与传统的基于VMD的方法相比,该方法利用蚱蜢优化算法来获得VMD的最佳参数组合。然后,应用Hausdorff距离来选择相关模式,并使用基函数来重建信号。此外,通过WT去噪方法进一步处理相关模式,这允许重建信号获得更高的SNR。反射层析成像是LiDAR成像中的一项富有前景的应用成像模式[27],Zhang等[28]提出了一种结合图像滤波和视觉显著性的混合算法,此方法既保留了目标信息,又可以消除图像中的杂波和伪影。

    • 以上4小节中的去噪方法均通过设置一定特征的信号滤波器或通过优化参数的方法来实现对激光传感器接收信号的降噪处理。目前,深度学习在计算机视觉、计算机图形和图像处理任务中获得了非常好的效果,在此推动下,基于深度学习的方法在激光成像信号的去噪任务中也得到了运用。此方法适用的激光成像信号有确定的特征标签,使用带噪声的信号(包含噪声和带标签的目标信号)作为深度网络的学习样本,就可以训练得到能够识别噪声的成像信号去噪网络。典型的去噪网络有PointCleanNet[29]、PCPNet[30]、Pointfilter[31]、GPDNet[32]等,在2.3节中将进行详细介绍。

    • 与激光回波信号的去噪不同,激光回波信号还可能受到激光探测硬件设备特性、大气衰减、探测目标性质等因素的影响,导致通过激光回波辐射并不能很好地获取目标的特性。所以,在获取回波信号后除了需要进行去噪以外,还需要进行信号的辐射校正。

      由于LiDAR工作原理类似于传统微波雷达,所以,Höfle等[33]提出将雷达(距离)方程用于LiDAR的辐射校正。随后,在2016年Eitel等[34]提出了考虑距离、入射角、大气等因素的点云辐射校正方法。如图3所示,影响LiDAR方程的回波辐射的因素与激光探测距离R、入射角$ \theta $和大气衰减因子$ {\eta }_{{\rm{atm}}} $ 3个因素有关。其中,距离和入射角的校正均采取定义一个标准度量$ {R}_{s}、{\theta }_{s} $来实现,大气衰减通过经典的比尔-朗博特定律模型[35]来实现,其中$ \alpha $为大气散射吸收综合系数,最终获得激光辐射校正的总体模型。

      图  3  激光辐射校正的典型方法

      Figure 3.  Typical methods of laser intensity correction

      除了以上经典方法外,还有近年来提出的Oren-Nayar模型[36]和Phong模型[37]等辐射校正模型。谭凯等[38]利用Weierstrass定理,将以上3个因素替换为多项式函数的乘积形式,进一步提升了辐射修正精度。Yan等[39]提出了一种归一化模型,以基于高斯混合建模和子直方图匹配技术来调整重叠LiDAR辐射数据的径向未对准。结果表明,在不同的分类场景下,分类准确率提高了5.7%~16.5%。

    • 由于各类激光成像系统存在的参数和测量的系统误差(例如激光点云坐标未对齐,激光成像系统各类硬件在测量中的振动和角度旋转造成的误差)以及所采集信号对应到实物的位置差异,需要对位置数据进行几何校正,以确保成像的最佳精度。目前,对激光成像信号进行几何校正的方法可以分为利用激光回波信息进行校正以及利用辅助定位设备的融合信息作为校正判据两类。

      (1)利用回波信息进行校正

      由于硬件设备限制,使用激光回波的丰富信息作为校正依据的方法运用较为广泛。实际上,激光探测造成的几何误差主要来源于回波信号的测量误差,一旦由于环境和探测设备硬件原因导致回波信号的测量出现了误差,必然会导致成像目标的信号畸变[40]。从激光探测的硬件探测和信号处理的流程来看,几何误差的来源和处理思路可通过图4来表述。

      图  4  激光成像几何误差的来源和处理思路

      Figure 4.  Sources and processing ideas of geometric errors in laser imaging

      例如,在修正传播介质误差时,文献[40-41]结合纯转动拉曼信号和米散射信号实现了激光雷达系统的几何因子校正任务。此类算法以拉曼-米算法得到的气溶胶后向散射系数为基准,引入纯大气距离修正回波信号从而确定系统的几何因子廓线,完成系统的校正。除此之外,实验校正的方法还有利用星载激光雷达和地基激光雷达的联合观测法等[42]。在处理成像目标的误差时,Zhang等[43]对二维精度激光成像器的几何校正进行了研究,提出了一种倾斜校正模型来补偿偏差并变换坐标系,通过两个不同的测量位置,利用最小二乘近似法和坐标之间的关系,提出了垂直补偿多位置校正模型。在处理发射和处理设备存在的误差时,Liu等[44]针对机载激光成像设备存在的几何误差进行了分析,针对由装置侧滚、俯仰、偏航和装配引起的误差分别设计了几何校正算法程序。

      (2)利用辅助定位设备的融合信息进行校正

      许多高精度激光成像系统不仅安装有激光发射系统,还安装有其他辅助定位装置(例如GNSS、北斗等导航定位装置),通过多种信息的融合,可以辅助校正激光成像信号的几何信息。Skaloud等[45]使用GPS/INS导出的位置和方向信息作为校正几何参数,对机载激光扫描几何参数(孔径视角和测距仪偏移)进行了精确的估计。Rewehel等[46]提出了一种自动GCP的几何校正方法,通过全球导航卫星系统和惯性测量单元的辅助数据对机载激光成像系统进行了准确和快速几何校正处理。

    • 点云是目前许多领域表达目标三维信息的重要手段,可使用各类不同成像体制的激光雷达进行获取。针对点云信号特点进行处理也是十分必要且热门的研究领域。对点云信号进行处理主要有点云去噪、点云背景去除和点云强度、几何校正等方面。需要说明的是,激光点云信号获取的方式与传统激光信号获取原理一致,在信号处理过程中也有着大量相似之处。所以该节针对点云信号处理的内容主要介绍点云去噪、点云背景去除两个方面,其余处理技术与激光信号处理类似,在此不再赘述。

    • 与传统激光成像类似,使用激光探测等手段在实际中获取三维目标信息的过程中,往往获取的三维点云信息中包含大量的无用信息和偏差信息。所以,在激光三维成像信息的预处理过程中,去噪是非常必要和重要的一项任务。然而,对三维点云进行处理是十分具有挑战性的任务,因为3D点云信息是置换不变的(无序的),想要进行3D点云去噪等处理任务,就必须考虑点云三维信息中的顺序信息或者语义信息。解决这一问题的方法可以分为传统方法和基于深度学习的方法两大类别。其中,传统的点云去噪方法已经获得了较好的去噪效果。Chen等[47]将3D点云投影到2D平面上,再使用传统图像处理的去噪方法进行去噪。以及利用点云的局部邻域信息进行统计分析,通过统计直方图的阈值设定等滤波手段进行点云去噪[48-49]。此外,使用无监督学习算法进行点云去噪也是一种常见的方法,例如,使用DBSCAN算法及其改进的聚类算法[50-51]对含有噪声的点云进行聚类,使用Mean Shift[52]、移动最小二乘算法[53]进行三维曲面拟合等。

      基于深度学习的点云去噪方法是随着PointNet[54]等点云特征处理网络的出现而出现的,并在相同复杂程度的去噪任务中获得了SOTA。Rakotosaona等[29]提出了一种称为PointCleanNet的两阶段数据驱动去噪架构,该架构涉及局部离群点检测网络和去噪网络。本地异常值检测网络使用基于PCPNet[30]网络架构来检测和移除异常值,该去噪网络通过巧妙设置损失函数,估计校正位移矢量来降低噪声水平,从而产生去噪成像信号。Roveri等[55]首次使用卷积神经网络来实现激光成像信号的去噪。此方法通过高度图生成网络和高度图去噪网络学习激光点云的局部映射,将从局部面片提取的每个点集转换为其合并版本,其中输出点非常精确和密集的采样底层曲面,而后通过将点云投影到学习的映射中,再使用CNN将点云平移回表面,对信号进行去噪。Zhang等[31]提出的Pointfilter是另一类用于点云去噪的典型网络结构:编码器-解码器架构。他们直接将每个噪声点的原始相邻点作为输入,并回归一个位移向量,将该噪声点推回到其地面真实位置。训练好的神经网络可以自动从输入的噪声点云生成目标激光点云。此外,Pistilli等[32]提出一种利用图神经网络实现激光成像信息去噪的网络GPDNet,如图5所示,网络输入每个点的特征向量和点之间的相似性,通过构建层次结构,利用局部和非局部特征来有效地正则化信号去噪问题。

      图  5  文献[32]提出的激光成像信息去噪的网络GPDNet架构示意图

      Figure 5.  Proposed GPDNet architecture for laser imaging information denoising based on Ref.[32]

    • 使用激光雷达获得目标点云的过程中也会获得环境背景点云等非目标信息,比如机载激光雷达探测海上目标时会将探测范围内的海面点云一并获取。去除环境背景点云的方法一般通过点云分割来完成。同样的,目前背景分割方法也包含传统分割方法和基于深度学习的方法两类。传统的背景分割方法主要通过拟合背景面来实现目标和背景的分割。具有代表性的拟合方法有基于直线的拟合[56]、基于主成分分析的拟合[57]等。此外Moosmann等[58]利用局部凸性的方法对背景进行逐块局部分割,实现了自动驾驶环境的地面快速分割。Fischler等[59]提出了适用于自动驾驶领域地面分割的拟合算法RANSAC,此方法避免了先前的拟合算法中复杂的随机迭代。Narksri等[60]进一步改进了RANSAC算法,将分割算法分为边缘点识别和背景点分割两个阶段,对坡度、凹陷等背景的分割效果较好。尽管通过缩小拟合范围能够一定程度解决分割失效的问题,但由于拟合算法自身的局限性,其对复杂背景(例如坡度、凹陷的地面和风浪变化的海面)识别效果仍然有限,分割结果中容易出现较多的错误结果。

      基于深度学习的背景分割方法在近年来得到了深入研究。与其余点云处理任务类似,PointNet也被用来提取分割背景点云的特征,GndNet[61]整合了多个PointNet进行特征编码,得到了非常好的地面和非地面分割效果。除此之外,Xu等[62]使用点云转换为体素的信息进行背景点云的语义分割,将点云的距离信息、体素信息和点云信息充分融合,提出了分割网络RPVNet,网络的结构如图6所示,网络包含三个分支,每个分支网络之间有多个交互,体素和深度图分支共享类似的U-Net架构,点云分支使用多层感知机(MLP)进行特征处理。

      图  6  激光背景分割网络RPVNet架构示意图

      Figure 6.  Schematic diagram of RPVNet architecture of laser background segmentation network

      Shen等[63]将点云投影到2D图像上,随后设计了一种跳跃卷积神经网络进行背景分割,在结果中获得了较好的鲁棒性。以上使用不同深度神经网络结构进行背景点云分割的方法在场景鲁棒性方面具有较好性能,但受限于数据集的规模和多样性,不同的环境中的分割效果相差较大,在实际应用中还需要针对场景具体设计网络和构造数据集。

    • 激光测距指通过激光探测的手段测量目标与观测点之间的距离[64]。当前,实现激光测距主要有三角式测距、干涉测距、脉冲测距以及光子计数测距等方法。其中三角式和干涉测距主要应用在近程测距任务中,测距精度较高;而脉冲测距和光子计数测距则主要应用在距离分辨率要求较低的远距离测距中。激光测距任务是激光成像最直接的应用方式之一,其仅关心测距精度的大小和测距范围,所以此类任务的研究主要集中在光学硬件[2,65]和光学信号去噪[66-67]方面,信息的处理较少。激光测距信息处理的研究主要集中在回波估计上,通过预测和解算激光回波时刻,达到提升测距精度的目的。回波时间识别方法主要包括前沿检测、峰值检测和恒比定时检测方法[68],但是这些方法均会受到信号幅度的极大影响。Hao等[69]提出了光程差分过零检测方法,该方法减少了表面目标回波特性对测距精度的影响,但由于差分光路的设计,其检测信噪比较高。

      深度学习技术在激光测距回波估计中同样得到了应用。Hu等[70]将回波时间的计算转化为波形分类问题,并通过使用深度学习来实现。然而,此方法用于训练的参考中的模拟数据没有使用真实对象的回波,并且神经网络太深,实用还有待提高。Xu等[71]提出了一种基于深度学习的FPGA脉冲激光测距方法,此方法实现过程如图7所示,其利用深度学习自动学习回波特征,依然将回波时间识别问题转化为波形分类问题,在训练样本中加入大量真实样本,并将神经网络移植到FPGA中,进一步提高了距离解算的速度和精度。

      图  7  基于CNN的脉冲激光测距系统示意图

      Figure 7.  Block diagram of CNN-based pulse laser ranging system

    • 激光成像目标重建指通过处理后的多个角度的传感器信息对探测目标进行二维或三维重建,目的是得到更加真实、能够反映更多细节的目标图像。为了重建目标图像,就需要依靠仅有的激光成像信息进行拼接、推理和补充等。其中多角度的同一目标立体匹配和激光点云数据拼接是重建过程中最关键的两个问题。

    • 立体匹配又称为目标配准,目的是将多个角度的图像数据进行对应。迭代最近点(Iterative Closest Point, ICP)是最常用的配准方法,通过迭代估计点相关性并计算对象间的最小二乘优化得到配准结果[72]。但ICP法仍有一定的缺点:一是显式估计最近点对应,这导致复杂度与点数成二次相关;二是算法对初始化参数敏感;三是算法不可微。为了克服这种初始扰动敏感的缺点,部分学者致力于研究全局最优估计的方法。Yang等[73]设计了Go-ICP,这是一种基于分支定界的优化方法,用于获得全局最优估计。此外,凸松弛算法联合黎曼优化、半定规划和混合整数规划等优化算法也在全局最优估计中成功运用[74-75]。但上述方法的一个主要缺点是计算时间长,不适合实时应用。此外,不少学者还应用深度学习来实现目标配准。文献[76-77]在体素上使用深度学习,体素化是一种将空间离散化并将点云转换为结构网格的方法。这些方法的主要缺点包括计算时间和内存需求。Aoki等[78]提出了PointNetLK,将PointNet[54]用于点云配准,PointNetLK对ICP算法进行了修改,并将修改的ICP框架展开为递归神经网络,然后将PointNet集成到网络中,是一种全新的深度学习配准方法。

    • 在实际应用中,通常需要在同一场景中的多个位置进行扫描,并拼接每个位置获得的点云数据,从而确保数据测量的准确性和完整性。因此,点云拼接是数据处理的关键步骤,拼接的效率和准确性直接关系到后续步骤的效果。近年来,许多研究人员在点云拼接方面做了大量工作。例如, Chu等[79]提出了一种基于2D-SIFT特征的拼接方法,根据SIFT关键点反映的三维点云特征信息,得到关键点与配准的关系,实现点云拼接。范强等[80]提出了一种粗糙配准算法,包括Harris角点自适应提取和特征描述匹配。Zhong等[81]提出了一种基于三维Harris算子的点云拼接算法,将三维Harris算子和法向量结合提取三维兴趣点,而后计算所有三维兴趣点的快速点特征直方图和初始变换矩阵,最后利用ICP算法实现了准确的配准。

    • 除了利用激光点云进行重建的方法外,激光反射断层成像是一个典型的图像重建方法。如图8所示,杨彪等[82]在目前激光反射断层成像普遍采用反投影算法重构图像的基础上,将CT成像中常用的迭代重建算法引入到激光反射断层成像的图像重建,提高了激光反射断层成像目标重构的图像质量。图6中展示了反射层析成像的实验示意图和激光图像的重建结果。刘一凡等[83]通过回波波形分解优化的方式重构了层析图像,进一步提升了图像质量。

      图  8  文献[82]中的(a)反射层析成像实验示意图和(b)激光图像重建结果

      Figure 8.  An illustration of (a) experimental schematic diagram of reflection tomography and (b) laser image reconstruction results in Ref.[82]

    • 激光目标检测[84]指通过处理后的激光图像信息对照射场景中的特定目标实现分类、识别、跟踪等任务,得到特定目标的不同维度的信息。在进行激光目标检测时,需提取易于识别的目标特征,所以激光点云信息是最常见的一种检测数据源。点云是通过激光探测获得的一系列无序的点集序列,点集中的每个点都包含物体的一个三维坐标。

    • 一般来说,点云目标检测与跟踪是同时进行的,在复杂场景中,对动目标进行检测必须能够高精度跟踪目标运动状态。场景流信息是激光动目标检测最直观的表达方式之一,其将每个场景点的3D运动与速度矢量相关联,早期利用3D点云场景流信息对动目标进行识别通过连续帧的物体运动估计来实现,例如文献[85],通过对逐帧点云片段进行分割和估计,成功得到了动目标的场景流信息,此方法基于距离的计算,模型手工化程度较高,获得的结果数据较为稀疏。此类手工模型方法还有RANSAC[86]、基于SHOT算子[87]的方法等,但这些方法受初始化参数的影响较大,鲁棒性还有待提高。

    • 在激光点云目标检测中,原始的点云信息、点云的投影信息以及体素化的点云信息为常见的3类利用信息。第一种可利用点云处理网络PointNet[54]和PointNet++[88]对原始点云数据直接处理来实现;第二种可使用点云处理网络RT3D[89]将点云数据投影到鸟瞰图并使用候选区域建议网络(Region Proposal Network, RPN)对场景中的目标进行检测;第3种可使用点云处理网络VoxelNet[90]通过特征学习网络将点云数据体素化,而后经过卷积层和RPN对目标进行端到端的检测。

      与静态点云数据处理不同,动态点云数据可以反映激光探测场景中的物体动态信息,实现对目标的跟踪,但也会因为过高的数据维度导致处理难度的增加。直接对非结构化的动态点云数据进行学习获取动目标的场景流是非常具有挑战性的任务,使用基于数据驱动的深度学习算法能够很好地解决这一类型的问题。许多学者针对性地设计了一系列深度学习网络,例如,FlowNet3d[91]、FlowNet3d++[92]、DispNet和SceneFlowNet[93]等网络直接从点云中学习场景流,并获得了较好的泛化能力。Gojcic等[94]不仅在特征编码过程中进行了权值共享,还在物体的刚性运动解码和方位预测解码二者之间共享了权值,进一步提升了动目标场景流的正确率。Wang等[95]提出了一种具有双注意力机制的分层神经网络,从相邻帧中学习点特征的相关性,并引入了一种新的注意力嵌入模块,使用双注意力的方法逐块聚集相邻点的特征,并逐层细化场景流,此网络输入点的数量大于场景流估计的输出点的数量,平衡了精度和资源消耗。此外,Tishchenko等[96]将场景流分解为非刚性流和自我运动流,从一对点云中的数据点迭代学习相对场景流变换,基于点云序列的时间一致性,利用自监督学习的方法完成了精确的场景流生成,此方法在精细化场景流的求解上获得了非常好的效果。同样的,文献[97]提出了一种基于自监督学习的LiDAR场景流估计算法SLIM,算法提出了一种新的网络设计,允许在大规模的点云上进行训练和评估,消除了以往结构中下采样的需求,此方法在动目标场景流预测和分割任务中获得了优秀的结果。在此基础上,Behl等[98]提出了一种端到端训练的模型PointFlowNet (如图9所示),特征编码器将相邻帧的点云数据作为特征编码器输入,输出特征图数据,下文理解编码器将输入的不同帧的数据进行展平处理,相同语义的点云投影在相同位置,且运动状态具有连续性。而后经过下采样的数据叠加输入各类解码器,场景流解码器得到体素的3D场景流,并通过刚性运动解码器得到每个点的刚性变换;运动自回归器在上下文理解编码器输出的基础上进一步下采样,得到动目标的刚性运动回归结果;物体方位解码器预测得到动目标的位置,结合刚性运动解码器输出的逐点刚性变换,即可通过目标运动解码器得到动目标的场景流。

      图  9  PointFlowNet网络结构和目标检测过程示意图[98]

      Figure 9.  An illustration of PointFlowNet network structure and target detection process[98]

      另外,结合语义分割网络强大的表征能力,也能够很好地分割逐帧的点云数据,从而对目标进行了检测和识别,例如RangeNet++[99]、SalsaNext[100]、MINet[101]和加入了注意力机制模块的RVMOS方法[102]等。虽然这些方法能够获得鲁棒性较强的动目标分割效果,但分割结果事实上并不能够对动目标进行完美分割,其原因是语义信息是基于分类结果生成的,对于能够运动的静止物体也会判断为动目标,例如停靠的舰船和车辆等。所以,部分学者提出使用其他更加鲁棒的动态信息进行动目标分割。如图10所示,Chen等[103]提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)的方法,使用从LiDAR扫描生成的包含距离信息的逐帧点云数据进行残差操作,使用残差图像和以及当前的扫描数据作为当前帧的CNN输入,输出为该点云是否属于运动物体的标签。

      图  10  基于CNN的语义分割网络结构和目标检测的示意图[103]

      Figure 10.  An illustration of semantic segmentation network structure and target detection based on CNN[103]

      Mersch等[104]直接利用4D点云数据进行CNN训练,以滑动时间窗口的方式操作逐帧点云数据得到时间序列的点云数据预测结果,并使用二进制贝叶斯滤波器来融合某时刻的预测和观测数据,而后进一步利用CNN进行动目标识别,此方法具有较高的动目标识别鲁棒性。Sun等[105]同样使用原始点云数据的距离图和残差图作为动目标分割的信息源,设计了一种改进的SalsaNext网络,将原网络结构修改为输入距离图和残差图的双分支结构,利用注意力机制模块将其融合,并在对应的下采样和上采样层之间使用残差链接,这一结构显著降低了动目标识别产生的边界模糊伪影,且能够实现在线运行。

    • 当前,激光成像处理技术作为研究的热点已经获得了长足的发展,且在各类激光成像场景中获得了不错的应用效果,各类成像处理算法在实际的成像任务中应用广泛。但从文献综述和分析的结果来看,仍然还有许多亟待解决和探索的问题。

      (1)激光成像信号处理技术中,除了回波信号的去噪和辐射校正外,还有其他需要处理的内容,比如在对动目标进行探测时由于跟踪技术的信号偏差导致的激光位置偏差。由于激光成像的场景包含多种复杂情况,包括激光搭载平台和目标的相对运动、旋转、震动等都会产生回波信号的误差。所以讨论不同场景下的信号处理技术必须根据场景实际来确定,以获得更精确的回波信号。

      (2)激光成像信号的去噪任务在传统方法中取得了不错的效果,去噪速度和精度均较好,基本能够满足实时性的需求。基于深度学习的去噪方法通过设计和训练深度神经网络,得到了超越传统方法的去噪效果,但去噪效率和鲁棒性却有待提升,以适应实时处理去噪的应用标准和不同环境不同体制的激光成像处理任务。

      (3)在2.2节中讨论激光成像几何校正的过程中,可以看出当前在校正激光信号时主要考虑由于激光回波信号导致的位置误差。而实际上的激光成像系统(特别是多传感器融合的系统)可能存在定位系统的误差、惯性探测系统的误差、测角测距误差、传感器内部误差、传感器同步误差等等,这一系列的误差都会影响激光的几何信息,实际激光成像的应用中还需要充分考虑。

      (4)在第3节中,讨论的激光成像信息处理技术基本上是基于扫描式的激光成像而言的,特别是利用深度学习技术处理非扫描激光成像信息的算法研究还很少[106-107],是由于此类成像体制中的成像数据集较少,目前流行的基于数据驱动的算法应用时存在较大困难,深度学习模型在此类成像体制中的应用有很大研究潜力。

      (5)激光三维成像所利用的信息多为激光点云,目前基于数据驱动的深度学习算法在成像过程中展现了强大的效果,但算法受制于数据集的规模和多样性,导致目标检测、识别效果还有待提高。当前点云成像数据集相对于二维图像数据集来说规模还很有限,且当前数据集基本上都是在不存在自然和人工干扰条件下获得的,使用现有数据集训练得到的深度神经网络泛化性能还有待进一步提高。

    • 针对以上对激光成像处理技术的发展需求,笔者认为如下研究方向值得关注:

      (1)发展以阵列激光成像、激光合成孔径成像为代表的具有领域优势的成像体制的激光处理技术。单光子阵列激光成像能够以十分轻便的载荷实现高质量的三维成像,卫星搭载的激光合成孔径成像能够获得及高分辨率的导航图像,拓展卫星导航的运用范围。所以对这些具有领域优势的新型成像体制的信号和信息处理技术需要优先大力发展。此外,文中综述的激光成像可能并未囊括所有的成像体制,针对不同状态目标的激光成像方法可能还有很多,比如基于调频连续波的激光成像,在实验中获得了质量极高的复杂环境点云数据,且成像体制更加灵活[108],需要深入研究其处理技术。

      (2)研究面向目标精确识别的更加符合实际应用的激光信号处理方法。目标精确识别是激光成像的关键应用之一,成像过程中激光的去噪、辐射校正和几何校正是完成激光成像任务的基础。但目前的研究多为针对某一方面的信号处理任务展开的,且研究的适用范围还较为局限。所以,在实际的成像任务中,需要结合成像场景、体制、需求等方面具体分析实际的信号处理方法,将多种信号处理方法进行耦合,可通过多任务、轻量化、强鲁棒的深度神经网络设计,获得高效、高质量的成像处理结果。

      (3)发展利用其他模态信息增强激光成像的多模态激光成像处理技术。目前,借鉴其他信号载体成像技术完善激光成像的多模态成像技术获得了极大发展。激光成像的载体虽然与微波、红外信号成像不同,但这些信息载体均为广义电磁波,其他模态的信号在目标成像获得了较好效果的方法同样可以借鉴到激光成像中[109]。所以,激光多模态成像过程中的成像处理技术也将获得十分广阔的发展前景。

      (4)针对不同成像体制构建激光动目标成像大规模数据集。在4.1节中分析得出,不论是基于非扫描的还是3D点云数据的激光成像在数据集上还不够丰富,且针对非扫描激光成像的深度学习算法研究也很有限,所以还需要进一步丰富不同环境和干扰条件下的多种成像体制背景的激光成像数据,构造大规模的激光成像数据集。

      (5)基于3D点云激光成像中的无监督、弱监督和自监督算法需要深入研究。使用扫描式的激光探测设备进行点云数据采集时获取的数据并不具有不同物体的标签,对大规模数据集进行标注是一件非常繁琐的工作。使用无先验数据或者规模较小的标注数据集进行训练的方法以及无标签学习的方法与实际成像任务更加接近,目前这一方面的工作具有非常大的研究前景。

      (6)在基于深度学习的激光成像信号和信息处理算法中,处理算法的实时性是其落地应用的前提。在实际的场景中,去噪、校正、检测、识别、跟踪等任务往往需要μs甚至ns量级的时间分辨率,所以在深度学习处理效果优越的前提下,未来并行计算、分布式处理等技术也将服务于激光成像处理任务中,不断提升处理质量和效率。

    • 激光成像处理一直是光学成像和信号处理领域的热点研究问题,在过去的20年中,激光成像信号和信息处理技术得到了长足发展。文中总结梳理了激光成像处理技术的当前研究现状,分析了典型处理技术的过程和方法,并讨论了此领域的发展需求和未来发展方向。在过去的研究中,深度学习已经深度运用到激光成像处理中,通过深度学习的强大表征学习能力,激光成像处理的质量、精度、鲁棒性等方面得到了质的飞跃。在未来针对不同信号和信息处理任务的研究中,成像任务的标准化大规模数据集和更加鲁棒的深度神经网络处理范式将是研究的深入发展方向。需要说明的是,激光成像处理技术并不局限于文中所列举的这些内容,还有许多信号和信息的处理技术是文中未涉及的,这些方面也是值得研究人员进一步发现和探索。

参考文献 (109)

目录

    /

    返回文章
    返回