Advances of laser range-gated three-dimensional imaging (invited)

1965年是激光距离选通成像的技术元年^[1]。不同于传统成像技术对视场内目标和背景“无选择性”成像，激光距离选通成像技术仅对感兴趣距离区间内目标“选择性”成像，从而可过滤感兴趣区与成像系统间的介质散射噪声以及感兴趣区外的背景噪声，提高作用距离和成像质量。该技术透散射介质远距离成像的特点使得研究者们快速意识到其在夜间和水下远距离成像方面的应用潜力^[2-4]。然而，受制于高性能脉冲激光器和选通成像器件发展的制约，激光距离选通成像技术在随后的二十年发展缓慢。直到20世纪90年代，随着硬件技术的不断成熟，该技术被重新唤醒，在夜视和水下成像等应用领域得到迅速发展，并形成了系列的产品和装备^[5-8]。

激光距离选通成像可以获得与感兴趣成像区选通延时对应的距离信息，但感兴趣区内的精细距离信息仍是丢失的，所以，本质上仍是二维成像。人类生活在三维空间中，但是，传统二维成像技术在成像过程中将三维空间投影为二维图像，丢失了距离信息，从而导致空间信息降维，无法实现目标定位和尺寸测量等三维空间感知应用。随着人工智能时代的到来，二维成像已无法满足机器“看清世界、感知三维空间”的技术需求，因此，人们开始发展各种各样的三维成像和激光雷达技术^[9-10]。激光距离选通成像技术广义上是基于光的时间飞行法实现的，可对空间切片成像，因此，类似医学断层成像，可通过获取大量的场景空间切片图像实现三维重建。基于这一思路，2004年，丹麦国防组织的Jens Busk等人提出了基于距离选通的延时切片扫描三维成像技术^[11]。不同于传统扫描激光雷达，距离选通三维成像技术采用选通面阵图像传感器（ICCD或ICMOS）作为成像器件，像素规模可超过百万，其空间分辨率超过机械扫描激光雷达，也优于基于雪崩光电二极管（APD）阵列的闪光激光成像雷达^[12]，在远距离、快速、高分辨率三维成像具有发展潜力。经过近十余年的发展，除步进延时扫描三维成像技术外，国内外还发展了增益调制、距离能量相关等激光距离选通三维成像技术，并开展了安防监控、生态监测和避障导航等应用研究。论文将综述激光距离选通三维成像技术的研究现状及发展趋势，并介绍该技术在大气环境下和水下的典型应用情况。

典型的激光距离选通成像系统由脉冲激光器、选通成像器件和时序控制器（TCU）组成。其中，时序控制器为脉冲激光器和选通成像器件提供工作时序，控制激光脉冲和选通脉冲间的延时、脉冲宽度和工作频率等。激光距离选通成像系统的工作原理如图1所示，脉冲激光器向目标发射激光脉冲，激光脉冲经介质（大气或水体等）传输，遇到目标时被目标反射或散射，形成目标回波信号，当目标回波信号传输至选通成像器件时，选通门开启，面阵图像传感器（CCD或CMOS）接收回波信号，输出选通图像。

Figure 1.  Laser range-gated imaging technology

当选通脉冲和激光脉冲间的延时时间为$ \tau $时，选通切片的距离$ R $为：

当选通门宽为t_g、激光脉宽为t_L时，选通切片的景深d为：

式中：c为真空中的光速； n为传输介质的折射率。

理论上，激光距离选通成像是由激光脉冲函数和选通脉冲函数卷积实现的，距离在r处的目标回波信号能量为：

式中：η_r和η_L分别为成像镜头和照明镜头的透过率；M·N为ICCD/ICMOS的像素数；ρ为目标反射率；A_r为成像镜头接收孔径面积；σ为传输介质的光衰减系数；P(t)为激光脉冲函数；G(t)为选通脉冲函数。公式（3）被称为激光雷达作用距离方程，是包含激光脉冲特性、介质传输特性、目标特性、光学系统传输特性和成像器件特性等各量的乘积。

图1中给出了文中作者及其团队研制的激光选通成像系统在雾天和水下获得的船舶和USAF1951目标靶的选通图像。其中，船舶图像是传统连续激光夜视和激光选通夜视在808 nm近红外激光照明下雾天获得的；目标靶图像是传统彩色摄像机和激光选通成像在532 nm绿光照明下水中获得的。相比之下，传统光学图像中的目标淹没在雾和水体的散射噪声中，无法有效探测和识别。然而，激光距离选通成像可通过控制激光脉冲和选通脉冲间的延时对感兴趣距离下的空间进行切片成像，过滤了成像链路上的介质散射噪声以及感兴趣区外的背景噪声，从而实现了雾雨雪等气溶胶及水体条件下的透散射成像，有效提高作用距离和成像质量。

由于不同特征的激光脉冲和选通脉冲卷积后的距离能量包络特征不同，反映了不同距离处目标回波信号的能量特征，因此，存在“时间—空间”的映射关系，这为激光距离选通成像实现三维场景重建提供了可能性。经过十多年的发展，国内外学者已提出了步进延时扫描、增益调制和距离能量相关等激光距离选通三维成像技术。

2004年，丹麦国防研究组织的Jens Busk等人提出了一种延时切片扫描三维成像技术^[11]，利用激光距离选通成像通过延时步进的方式获取不同距离下的选通图像序列，如图2（a）所示，进而利用各选通图像延时值的加权平均值解算目标距离：

式中：c为真空中的光速；n为传输介质的折射率；$\tau _0 $为系统初始延时；Δt为延时步进值；i为步进延时选通图像的序号；I_i为第i张选通图像的灰度值；N为扫描获得的选通图像总数。该方法通过加权平均的方法消除了目标反射率差异对距离值造成的影响，同时减少了距离能量包络的形状对距离值解算造成的影响。利用此方法，2005年Jens Busk等人在选通门宽500 ps、激光脉宽500 ps、步进延时步长100 ps下实现了海水中距离4 m处泥沙堆的三维成像，如图2（b）所示，其距离分辨率达到毫米级^[13]。虽然该方法采用了面阵成像器件作为探测器，不存在机械扫描部件，但是该方法欲实现高距离分辨率，需在较小的延时步长下通过延时步进扫描的方式获取大量的选通图像，采用主频2.4 GHz的笔记本电脑的处理时间为15~30 s，因此，该方法仍存在实时性低的问题。

Figure 2.  Time slicing 3D range-gated imaging^[13]. (a) Principle; (b) Underwater 3D image

2010年，哈尔滨工业大学的张勇等人提出基于质心法的延时切片扫描三维成像方法^[14]，通过计算不同延时下的选通图像质心，即各图像延时值的加权平均，得出距离值。该方法考虑了高斯型激光脉形和选通脉形的影响，可根据应用场景选择最优切片数，提高解算精度。但实际激光脉形和选通脉形并非完美高斯型，难以确定最优切片数，降低了实用性。此外，该方法仍存在步进延时扫描实时性低的问题。

2016年，马来西亚莫纳什大学的Sing Yee Chua等人提出了噪声加权延时切片扫描三维成像技术^[15]，距离解算方法为：

公式（5）与公式（4）相比，增加了噪声相关的权重w_i，降低了噪声对三维重建准确度的影响。利用该方法在100 ps延时步长下获取了距离厚度为0.48 m内的物体的155张切片图像，三维重建的距离解算误差由12.65%减小至3.84%。该方法假设步进延时选通图像的灰度值直方图呈高斯分布，通过图像灰度与高斯分布的差值判断该切片是否被噪声干扰，并降低噪声干扰图像的权重。然而，实际的切片图像灰度并非完美的高斯分布，使得该方法在实际应用中对距离准确度的提升有限。为了进一步提高延时切片扫描三维成像的距离准确度，Sing Yee Chua等人于2017年提出了更为详细的距离解算模型^[16]，综合考虑了激光脉形、激光雷达方程和目标BRDF特性等，利用该模型进行的对距离厚度0.48 m和0.4 m的目标距离解算误差分别达到了2.26%和2.93%，0.48 m目标的反射率高于0.4 m目标的反射率，所用成像系统的激光脉宽为4 ns，选通门宽为5 ns，延时步长为100 ps。

为了提高步进延时切片扫描三维成像的实时性，2018年，水下时间飞行成像项目“UTOFIA” ^[17]中的Risholm P等人提出了一种延时寻峰扫描三维成像方法^[18]。在该方法的步进延时扫描策略中，每一次成像所获取的选通图像为：

式中：x为图像像素坐标；z为选通图像的起始距离，每次成像过程采集了从z到无穷远处的回波信号。理论上，${I^{}}(x,z)$的导数${I^{'}}(x,z) $表示在z距离处的信号强度，目标位置应该是${I^{'}}(x,z) $的峰值位置。但是，由于临近目标的前向散射、水体后向散射和器件噪声等因素的影响，${I^{'}}(x,z) $的峰值位置往往不是目标位置。针对此，该团队设计了综合利用差分滤波、多帧平均和抛物线二次拟合的超分辨距离求解算法：首先，对${I^{'}}(x,z) $在z方向进行差分滤波，检测目标信号，并抑制后向散射的影响；然后，从后向前寻找多帧平均和差分滤波后的信号峰值，这种寻峰算法可以有效避免寻找到错误的目标峰值位置；最后，采用二次多项式拟合出抛物线的顶点，将顶点位置作为解算的目标距离，实现超距离分辨率的三维距离解算，如图3所示。实验中，利用该方法水下距离分辨率达到了0.8 cm，获得了远优于18.8 cm选通切片厚度的距离分辨率。

针对目标反射率差异和水体散射噪声导致难以寻峰的问题，2020年，华中科技大学Xiaojun Yin等人提出了基于贝叶斯方法的水下距离选通三维图像重建算法^[19]，通过极大后验概率法排除干扰峰，挑选出准确峰值，实现了目标场景的三维重建，减少了深度估计误差，如图4所示。

Figure 3.  Max peak finding 3D range-gated imaging^[18]. (a) Parabolic fitting by only three data points; (b) Intensity image; (c) Depth map

Figure 4.  Underwater 3D range-gated imaging based on Bayesian reconstruction method ^[19]

2008年，浙江大学的张秀达等人提出了一种线性增益调制三维成像法^[20]，不同于步进延时扫描三维成像，如图5所示，该方法采用了两个具有不同增益模式的选通门，对于感兴趣的待测空间切片，当选通脉冲函数为固定增益g₁(t)时获得选通图像E_c，当选通脉冲函数为线性增益调制的g₂ (t)时获得选通图像E_m，该图像包含了目标的“距离—增益”信息。

Figure 5.  Linear-gain-modulated 3D range-gated imaging^[20]

根据两幅选通图像E_c和E_m间的能量关系可反演出目标距离信息：

式中：$z_0 $是选通图像的起始距离；α和β是两个可测的常量，与激光脉形有关，需要事先测量确定；E_c是固定增益时选通图像强度； E_m是指数增益调制下的选通图像强度。利用该方法，浙江大学实现了800 ~1100 m范围内测距精度小于1 m。

由于线性增益调制三维成像方法存在不同距离下测距精度不同的问题，哈尔滨工业大学的靳辰飞等人于2009年提出了非线性增益调制三维成像方法^[21]，用指数增益调制代替线性增益，如图6所示，指数增益的选通门函数为g_m(t)，其中，g₀为初始增益值，$\tau _{\rm{e}}$为指数增益调制的时间常数，决定了增益随时间的变化率。目标距离信息为：

式中：β可事先测量得到，不需要特定形状的激光脉形；实验结果表明，指数增益调制三维成像的距离精度与距离值无关，即不同距离值的距离解算精度是相同的。利用该方法，哈尔滨工业大学实验上实现了150~180 m范围内0.32 m的测距精度。事实上，增益调制三维成像法仅仅是降低了对激光脉形的要求，但并非与激光脉形完全无关，需要激光脉形稳定，脉宽要远小于选通门宽，且由于需要对选通门的增益进行调制，增加了系统的复杂度^[22]。

Figure 6.  Non-linear-gain modulation for 3D range-gated imaging^[21]

对于步进延时扫描三维成像，短的步进步长可以获得高的距离精度，但是，这将大大增加原始数据量以及数据处理的复杂度。为了解决步进延时扫描三维成像法存在的问题，2007年，法德圣路易斯研究院的Martin Laurenzis等人提出了一种梯形距离能量相关三维成像法^[23]。该方法中激光脉冲和选通脉冲均为方波，在激光脉冲和选通脉冲卷积作用下，选通图像的距离能量包络为梯形，如图7所示。当选通门宽和激光脉宽满足t_g=2t_L时，上升沿、下降沿和顶边的景深大小相等，均为t_Lc/2。为反演三维空间信息，工作中，相邻切片z_0,i-1、z_0,i和z_0,i+1间空间交叠，如图7所示。其中延时关系为τ_0,i=τ_0,i-1 +t_g/2。通过顶边与两腰处能量关系利用公式（9）或（10）便可获得目标距离信息：

式中：${I}_{{\rm{f}},i-1}$为z_0,i-1切片的下降沿；${I}_{{\rm{p}},i}$为z_0,i切片的顶边长；${I}_{{\rm{r}},i+1}$为z_0,i+1切片的上升沿，具体位置已标示在图7中。显然，该方法最少可通过两幅图便可获得目标的距离信息。利用该方法，Matin Laurenzis等人在景深为900 m的场景中，通过三幅选通图像，就获得了测距精度约为10 m，图像大小为692 pixel×520 pixel的三维图像，图7是该系统对650~1550 m的景深范围内获得三幅切片图像以及反演后的三维图。

Figure 7.  Trapezoidal range-intensity correlation 3D range-gated imaging^[23]

为实现大景深下的高距离分辨率三维成像，2009年，浙江大学的张秀达等人提出了基于梯形距离能量相关算法实现编码超分辨率三维成像的想法^[24]。2011年4月，浙江大学基于梯形距离能量相关算法实现了基于三幅选通图像的7码道编码超分辨率三维成像^[25]，在距离600~1100 m范围内，暗目标和亮目标的距离分辨率分别为3.21 m和1.42 m；同年7月，法德圣路易斯研究院在梯形距离能量相关算法下实现了基于3幅选通图像的12码道编码超分辨率三维成像 ^[26]，如图8所示，并在实验中对460~1000 m距离范围内的场景进行了三维成像，其中，暗目标和亮目标RMS距离误差分别为1.1 m和0.5 m。

Figure 8.  12-channel-coding 3D imaging based on trapezoidal range-intensity correlation ^[26]

为进一步降低环境噪声影响和提高距离分辨率，2011年笔者课题组提出了三角形距离能量相关算法^[27-28]，如图9所示，在该方法中，激光脉冲和选通脉冲也均为矩形脉冲，不同于梯形距离能量相关算法，选通门宽与激光脉宽大小相等，因此，选通脉冲和激光脉冲卷积后的距离能量包络为三角形。通过建立相邻切片间的能量灰度比关系可获得目标的距离信息：

Figure 9.  Triangular range-intensity correlation 3D range-gated imaging^[28]. (a) Principle; (b) Experimental results between triangular and trapezoidal methods

式中：I_tail,A和I_head,B分别为选通图像A的尾信号区灰度值和选通图像B头信号区灰度值。不同于梯形距离能量相关算法，三角形算法无体信号区（即梯形平顶区），但是，可由图像A的尾信号和图像B的头信号叠加求和构建等效的体信号区。实验中，相比梯形距离能量相关算法，三角形距离能量相关算法的距离分辨率提高了约2.5倍。

2014年，笔者课题组进一步提出了基于三角形距离能量相关算法的编码超分辨率三维成像，如图10所示，实现了基于三幅选通图像的7码道编码超分辨率三维成像^[29]，相同景深下7码道三角形相关编码优于12码道梯形相关编码的距离分辨率。

Figure 10.  7-channel-coding 3D imaging based on triangular range-intensity correlation^[29]

对于梯形、三角形及其编码距离能量相关三维成像而言，都需要矩形激光脉冲和矩形选通脉冲。目前商业用选通ICCD或ICMOS的选通门宽可达到ps级，可近似输出ns级至μs级矩形选通脉冲。但是，对于固体激光器的激光脉形大多为高斯型或类高斯型，难以输出矩形激光脉冲，且激光脉宽难以调节，从而限制了三维成像景深调节。针对上述问题，2015年，笔者课题组提出了一种多脉冲延时积分整形技术^[30]，如图11（a）所示，利用窄脉冲激光器可等效实现矩形激光脉冲，并解决固体激光器脉宽不可调的问题，从而构建所需的规则形状的梯形或三角形距离能量包络。实验中，利用2 ns固体脉冲激光器实现了等效脉宽60 ns的9 m景深三维成像，见图11（b）和（c），从而提高了该类三维成像技术的实用性。

Figure 11.  Multi-pulse time delay integration method^[30]. (a) Principle; (b) Gated image; (c) 3D image

虽然激光距离选通成像可通过空间切片的方式过滤空间切片与成像系统间传输介质的后向散射等噪声，提高作用距离和图像质量，但是，仍然存在以下问题：空间切片内传输介质的后向散射噪声仍然会出现在选通图像中，导致图像的信噪比和对比度降低，进而降低了三维图像的距离分辨率，尤其是对雾雨雪及水体等强散射介质条件下。针对此，2020年，笔者课题组提出了一种去模糊选通距离能量相关成像方法^[31]，如图12（a）所示，通过控制激光脉冲和选通脉冲间的延时可获取参考噪声图、感兴趣信息帧，并通过关闭激光器获得系统的背景噪声图，进而计算获得传输介质深度噪声图，利用感兴趣信息帧图像与介质深度噪声图差分获得去噪声信息帧图像，最终利用距离能量相关算法实现去模糊三维重建。实验中，对水下距离系统约18.5 m，前后间隔15 cm的两个平板靶进行了成像。其中，二维强度图像的PSNR由处理前的3.77 dB提升到处理后的7.15 dB；相比含噪声的三维图像，去散射噪声的三维图像可通过距离差异清晰区分前后两个目标。

Figure 12.  3D deblurring-gated range-intensity correlation imaging^[31]. (a) Principle; (b) Experimental results

2018年，在DENSE计划支持下，Gruber等人提出了一种基于3幅选通图像的多层感知机三维重建方法^[32]，利用多层感知机神经网络隐式表示距离能量包络，从而求解距离值。训练数据集在德国汉堡和丹麦哥本哈根的汽车夜间行驶中采集，包含200万个场景，每个场景有3幅选通图像和1份激光雷达数据。该方法对25~80 m范围内不同反射率目标靶的距离解算误差小于5%。2019年，Gruber等人进一步提出了一种利用深度学习将选通图像转换为稠密的激光雷达图像的方法Gated2Depth^[33]，设计了基于生成式对抗网络（GAN）的Gated2DepthNet网络，如图13（a）所示，将选通图像作为一个整体进行处理，充分利用了像素间上下文语义信息，将3幅选通图像输入生成稠密深度图。训练和测试的数据由装有Velodyne HDL64-S3激光雷达和BrightwayVision BrightEye选通相机的汽车在欧洲行驶4周采集得到，共有17686个场景，包含晴好天气、夜间和雾雨雪等条件。其中，激光雷达点云数据作为深度图真值用于训练神经网络。此外，训练还利用了由游戏侠盗猎车手5（GTAV）得到的仿真数据集，包含9804个场景。Gated2Depth方法在仿真和真实数据集上进行了测试，相比LiDAR、双目立体视觉等技术，该方法能够生成高质量的稠密深度图像，如图13（b）所示。

Figure 13.  Gated2Depth method^[33]. (a) Gated2DepthNet; (b) Experimental results

Gated2Depth是有监督的距离选通深度估计方法，依赖激光雷达获取的点云作为深度真值，但激光雷达点云稀疏，且在远距离和雨雾雪天气下成像效果不佳。因此，Amanpreet Walia等人在2022年提出了自监督的Gated2Gated方法^[34]，如图14所示，网络输入为3幅选通图像构成的一个选通张量，该网络包含三个子网络：子网络1基于3幅选通图像的距离能量相关性输出场景深度图，子网络2输出场景反射率图和背景光图，子网络3输出当前选通张量和下一位置的选通张量的相机位姿转换矩阵。网络有两个自监督项：一个是通过子网络1输出的场景深度图和子网络2输出的场景反射率图和背景光图，生成选通图像，并与真实选通图像计算损失函数；另一个是通过下一位置的选通张量和子网络3输出的相机位姿转换矩阵，生成当前选通张量，并与实际的选通张量计算损失函数，通过优化损失函数输出高精度的三维图像。Gated2Gated的特点是无需激光雷达数据，只需选通相机即可实现深度学习三维重建，无异源数据融合问题。

Figure 14.  Depth estimation method of Gated2Gated self-supervised learning distance-selective^[34]

上述基于深度学习的选通三维成像算法需要大量的真实场景作为训练集，然而，获取真实场景选通图像训练集需要大量的时间和费用成本。对于梯形和三角形距离能量相关三维成像，则都需要选通图像具有特定几何形状的距离能量包络，但是，由于实际应用中激光脉冲和选通脉冲都不是方波，因此，规则几何形状的距离能量包络往往难以获得。针对此，作者及其团队提出了一种基于卷积神经网络的距离能量包络引导的选通三维成像算法RIP-Gated3D^[35]，该方法可实现基于两幅选通图像端到端的生成高距离精度深度图像。如图15（a）所示，在这个方法中，首先获取选通图像的距离能量包络，并从GTAV中采集虚拟场景数据，然后通过该距离能量包络和虚拟场景数据生成虚拟场景训练集，训练笔者设计的RIRS-net，并使用真实采集的距离能量选通图像微调训练成的网络。该网络可以学习虚拟场景数据集中包含的语义信息和“距离—能量”相关信息，并在真实采集的选通图像中学习准确的“距离—能量”相关信息。图15（b）给出了不同方法反演的深度图及对应的误差图，相比三角形距离能量相关三维重建、多层感知机三维重建和Gated2Depth，RIP-Gated3D方法输出的结果都与真值更加接近，细节更加明显。

Figure 15.  RIP-guided gated 3D imaging algorithm (RIP-Gated3D). (a) Principle; (b) Comparison results of different algorithms

经过几十年的发展，激光距离选通二维成像已有成熟产品，代表性的有加拿大OBZERV公司的Active Range-Gated Camera (ARGC)系列^[36]、北京中科盛视公司的Gated Laser Surveillance System (GLASS)系列^[37]，如图16所示，主要用于安防监控等领域，展现出了在雾雨雪等恶劣天气条件下的破雾雨雪成像能力。此外，以色列Brightway Vision公司面向汽车辅助/自动驾驶应用中全天候视觉感知需求，推出了VISDOM系列^[38]，基于激光距离选通成像感知车辆前方感兴趣区的图像，并过滤雾雨雪散射噪声影响。在水下成像方面，激光距离选通二维成像技术也发展迅速，具体可见文献[39]。相比激光距离选通二维成像，激光距离选通三维成像仍未形成成熟产品，但是其同时获得高分辨率强度图像和稠密深度图像/三维图像的特点，使得该技术驱动了安防监控、生态监测、避障导航等领域的探索性应用研究，部分应用也日趋成熟^[40]。参考技术就绪水平（technology readiness levels，TRL）^[41]，表1展示了现有激光距离选通三维成像技术的技术成熟度及典型应用研究情况。

Figure 16.  2D range-gated imaging products

从实时性来看，步进延时扫描三维成像最差，但是，随着延时寻峰扫描三维成像等新方法的提出，该技术的实时性也得到提高。图17为欧盟UTOFIA计划基于所提出的延时寻峰扫描三维成像研制的UTOFIA系统，并将该技术用于水下生态监测^[42-43]，开展了水下鱼类尺寸原位测量等应用研究。UTOFIA计划致力于研制下一代水下摄像机，具备视频帧频三维成像功能，相比传统水下成像工作距离提升2~3倍，填补水下摄像机（空间分辨率高但作用距离近）与水下声呐（作用距离远但空间分辨率低）的技术盲区^[17]。

Figure 17.  UTOFIA system and its application in the UTOFIA project^[43]

从表1的技术就绪水平来看，整体上距离能量相关三维成像技术的成熟度较高，普遍达到TRL5-7级，其原因主要是：距离能量相关三维成像充分利用了选通图像中目标距离和图像强度的关联信息，能够通过较少的信号采集次数，实现超距离分辨率的三维成像，在成像实时性上具有优势，同时近年来深度学习技术的应用使得距离分辨率得到进一步提升，并逐渐不再依赖于完美的梯形或三角形距离能量包络，提高了系统设计的灵活性和实用性。

图18（a）给出了梯形距离能量相关三维成像技术代表性研究机构法德圣路易斯研究院研制的水下SeaLVi系统^[51]。2014年，法德圣路易斯研究院利用水下SeaLVi系统开展了水下详查^[44]和水下导航^[45]等海上应用研究。图18（b）中，左图是基于19幅选通图像利用延时切片扫描获得的海星三维图像，右图是基于两幅选通图像利用梯形距离能量相关获得的海星三维图像。图19是德国弗劳恩霍夫光电、系统技术及图像处理研究所（IOSB）在2017年基于梯形距离能量相关三维成像技术开展的复杂背景下约2.45 km距离下人员监控应用研究^[46]，利用三维图像中目标和背景的空间差异，可有效发现在亭子里和亭子外的人。

Figure 18.  Underwater SeaLVi and its application in the French-German Institute of Saint Louis ^[44,51]. (a) SeaLVi 2; (b) 3D images of starfish

Figure 19.  Person detection from background in the Fraunhofer IOSB, Germany ^[46]

图20给出了三角形距离能量相关三维成像技术代表性研究机构中国科学院半导体研究所研制的激光选通三维成像系统及其应用情况^[47−49]。海洋生物激光原位三维观测仪“凤眼”可用于mm级到cm级海洋生物原位观测，并可基于三维图像实现生物尺寸测量等功能，该系统2018年搭载“凤凰号”深海着陆器在1070 m水深下获得的水母强度图像和三维图像^[47] 。冠层微细立体结构三维观测仪“CanoMIS”可视为一种新型的植被测量激光雷达，可同时获得冠层高水平分辨率的强度图像和稠密点云数据，用于植被结构精细测量，图20（b）是2020年在中国科学院清原森林生态系统观测研究站观测塔上CanoMIS对千金榆原位观测结果，相比传统成像技术，基于激光选通的三维成像技术可直接过滤背景，实现感兴趣目标测量。图20（c）和（d）是2024年在烟台夜间大雾天气条件下海上监控应用研究结果。图20（c）是“耕海1号”海洋牧场综合体平台观测结果：夜间连续近红外（CW NIR）图像受雾气影响难以看清目标；中波红外（MWIR）和长波红外（LWIR）图像可透雾成像，且轮廓清晰，但是“耕海1号”等文字纹理信息丢失；而激光选通三维成像获得的近红外选通图像可以读取“耕海1号”文字信息，并且通过三维图像可以分辨“海星”造型甲板的三个触角结构。在图20（d）中，利用激光选通三维成像系统对长波红外图像中感兴趣的艇和渔船进行成像和定位，其中近红外选通图像可获得船舷号等纹理信息，三维图像可获得目标的距离和形貌信息，通过三维空间信息分清交叠目标，如渔船3和渔船4。此外，中国科学院半导体研究所还开展了透玻璃、透烟雾等激光选通三维成像应用研究^[50]。

Figure 20.  Laser range-gated 3D imaging systems in the Institute of Semiconductors, CAS^[47−49]. (a) Fengyan; (b) CanoMIS; (c) and (d) Maritime surveillance

2019年，戴姆勒股份公司（2022年更名为梅赛德斯-奔驰集团股份公司）联合加拿大Algolux公司、德国乌尔姆大学和美国普林斯顿大学，在欧盟DENSE计划支持下，针对汽车辅助驾驶和自动驾驶基于Gated2Depth技术开发了一款实时稠密激光雷达^[33]。该激光雷达采用了以色列Brightway Vision 公司的选通相机作为图像传感器，采用了波长808 nm的VCSEL激光器作为照明光源，与传统扫描激光雷达、双目立体视觉等技术进行了4000多km的实测数据对比分析，如图21所示。对比结果显示，Gated2Depth激光雷达可以实现远距离稠密点云数据的获取，实现远场语义解析，将传统的激光雷达点云密度提高两个数量级以上，并可获得高清的纹理图像，同时不依赖环境光、具有破雾雨雪成像能力^[33]。DENSE计划是由戴姆勒股份公司牵头，聚焦汽车自动驾驶应用中雾雨雪等恶劣天气条件下传感器性能降低甚至失效问题，研发新型的全天候传感器，实现感兴趣交通信息及障碍物的高可靠探测感知。

Figure 21.  Gated2Depth-based high-resolution flash LiDAR in the DENSE project^[33]

对于增益调制三维成像技术，目前未见其应用研究报道，其技术就绪水平为TRL4-5级，相比其他两类激光距离选通三维成像技术而言，技术成熟度相对较低。从工作原理上看，相对于距离能量相关三维成像，增益调制三维成像需要调制选通门的增益，增加了系统的复杂度和控制难度。当存在环境光干扰时，增益调制三维成像获得的两幅选通图由于系统增益的不同而导致干扰光背景以及成像器件的噪声均不相同，这增加了该方法降噪的难度。此外，虽然增益调制三维成像降低了对激光脉形方波特性的要求，但需要激光脉宽远小于选通门宽^[23]，提高了对激光窄脉冲特性的要求。这些问题或许影响了增益调制三维成像技术在应用研究方面的进程。但是，需指出的是：增益调制的方式增加了激光距离选通三维成像的可调节参量的维度，在未来研究中仍值得借鉴。

从激光雷达的发展趋势来看，由机械扫描激光雷达到混合固态激光雷达，再到纯固态激光雷达，激光雷达正朝着远距离、快速、大景深、高分辨率的方向发展。从利用脉冲激光作为信息载体实现周围环境三维感知的技术特点来看，激光距离选通三维成像本质上可视为一种激光雷达，但是，又区别于传统的激光雷达。

传统激光雷达可获取三维场景的点云数据，但是往往难以获得高质量强度图像，因此，通常采用激光雷达与摄像机复合的技术方案即通过激光雷达感知三维空间信息，利用摄像机获得场景高清纹理图像。然而，这种复合技术方案存在异源数据融合问题，特别是恶劣天气或低/强照度条件下两种传感器的工作距离存在差异，因此，易出现性能降低或失效的问题。

激光距离选通三维成像采用基于CMOS的门控面阵图像传感器使其能够获得远高于传统激光雷达点云密度的稠密点云，且能同时获得目标场景高质量的强度纹理图像，而其距离选通的工作机制可过滤传输介质散射噪声，实现透散射成像。

因此，不同于传统激光雷达与摄像机复合获得点云数据及纹理图像的技术方案，我们把借助主动光照明，不依赖环境照度，利用单一传感器同时获得反映目标辐射特性和纹理特征的高分辨率强度图像，以及反应目标和所处场景的三维空间信息的稠密点云数据/三维图像，并具备一定的抗介质散射远距离工作能力的技术，称为激光相机雷达技术。激光相机雷达单一传感器的工作特点将解决传统的摄像机与激光雷达复合技术方案中的异源数据融合问题，特别是实现在雾雨雪天气条件下以及水下等传输链路中存在严重散射的情况时有效工作。因此，激光选通三维成像便是一种门控激光相机雷达，其同时获得高分辨率二维纹理图像和三维点云数据的特点使其在安防监控、生态监测、避障导航等领域具有巨大应用潜力。顺应人工智能时代对传感器集成化、多功能化、智能化、小型化的发展趋势，从激光雷达Light Detection and Ranging(LiDAR)到激光相机雷达Light Ranging and Imaging（LiRAI）必将是激光雷达的发展方向。

1）雾、雨、雪、烟、尘及水体等条件下远距离成像

对于主动光学成像技术，由成像系统发出的照射光以及被目标反射的信号光，在成像系统和目标之间传输过程中会经过大气、水等传输介质，光能量会被介质吸收，同时被介质中的散射颗粒，如雾、雨、雪、烟、尘及水体等散射，导致成像距离变近、图像变模糊。虽然激光距离选通三维成像可以通过距离选通的工作方式过滤不在选通切片区域内的后向散射噪声，但是选通切片内的散射噪声仍会进入成像器件，引起图像降质，从而影响三维距离解算精度，限制三维成像的作用距离。如何进一步提高激光距离选通三维成像的透散射介质成像能力是该技术增强技术竞争力的关键，也是挑战。近年来，许多新技术被用于减少介质散射造成的不利影响，但大多基于采集到的图像做后处理操作，缺乏基于物理模型的系统级方案或新成像机制，因此，提升效果有限。

2）快速、大景深、高分辨率三维成像

激光距离选通三维成像本质是一种基于时间飞行法的三维成像技术，目标场景的距离值通过转化为光传输的往返时间确定，其成像速度、景深大小和距离分辨率是互相制约的性能指标。步进延时扫描三维成像通过采集目标场景的大量不同延时的选通图像序列，生成目标场景的三维图像，其三维成像的速度较慢，实时性较差，但其景深大小可以通过调整延时切片的数量调节。增益调制和距离能量相关三维成像通过将光传输的往返时间转换为接收光能量或光电信号的强度，利用能量域的细分实现相应飞行时间域的细分，最少只需要两幅选通图像便可实现高距离分辨率三维重建，因此，三维成像速度快，实时性好，但若想实现更大的景深范围的三维成像，则需要牺牲距离分辨率。如何实现快速、大景深、高分辨率的三维成像是未来激光距离选通三维成像的研究重点之一。

3）高性能彩色激光相机雷达

目标场景的彩色信息维度是目标检测、识别、定位和距离估计等许多计算机视觉任务的重要信息输入，彩色图像也更符合人眼的视觉特征，能够为人类观测者提供更多信息，便于做出相关决策。现有的激光距离选通三维成像通常只能获取目标场景的灰度图像，彩色信息丢失，降低了信息维度。发展彩色门控面阵图像传感器，集高分辨率彩色成像与稠密点云数据获取功能于一身，实现高性能彩色激光相机雷达是激光距离选通三维成像的下一步发展方向。

从20世纪60年代提出激光距离选通成像技术以来，随着激光器、光电成像器件的发展和成熟，激光距离选通三维成像技术受到广泛关注。该三维成像技术继承了激光距离选通透散射成像的技术优势，使其在雾、雨、雪、烟、尘以及水体等散射介质条件下仍可有效工作，因此，在远距离安防监控、复杂环境生态监测、恶劣天气及水下避障导航等领域具有巨大的应用潜力。

从三维成像原理上看，激光距离选通三维成像技术可分为步进延时扫描、增益调制和距离能量相关三类技术。其中，步进延时扫描三维成像可获得高景深—距离分辨率比的三维图像，但实时性较差；增益调制和距离能量相关三维成像则成像速度快，但通常景深—距离分辨率比相对固定。如何实现快速、大景深、高分辨率的三维成像，并进一步提升抗散射介质干扰能力是激光距离选通三维成像继续增强技术竞争力的关键。

从技术发展趋势来看，激光距离选通三维成像为从激光雷达到激光相机雷达，再到彩色激光相机雷达提供了一条技术途径。作为一种采用门控CCD或CMOS作为成像器件的成像技术，受益于大规模集成电路的快速发展，激光距离选通三维成像能够享受微电子技术的发展红利，实现成本降低和规模效益，具有巨大的应用潜力和广阔的市场前景。近年来，计算成像技术迅速发展，有别于传统成像技术将系统设计、信号采集、信息处理分开考虑，计算成像技术从成像系统设计之初就考虑最终面向的应用需求，将计算贯穿到系统设计、信号采集、信息处理的全链路，有效利用深度学习和人工智能算法实现不同系统硬件之间的协同优化，更好地发挥出硬件的性能上限，扩展成像系统的功能维度和信息维度。未来在计算成像技术的加持下，激光距离选通三维成像将实现应用导向的系统设计，从成像原理上实现更快速、更高精度、更远探测距离、更多成像功能、更高感知维度、更强的复杂场景适应能力等，从而满足多样化的场景任务需求。