Vision assisted driving technology based on optical multi-sensor scene information

坦克、装甲车辆实际作战时，为避免人员伤亡，将进入闭舱、无窗驾驶状态。这就亟需研制一套辅助驾驶系统，能够获取车辆一定距离范围内的路况，并将车外场景合理地呈现给驾驶员。目前，闭舱操作有两种显控方式适用于驾驶员，一种是驾驶员显示头盔^[1-4]，利用驾驶员头部方位控制，显示该方位场景视频，并将该视频直接显示在头盔目镜中；另一种是车载显示屏，显示在坦克、装甲车的驾驶员观察屏上，显示模式和显示内容由屏幕周边的按键控制。驾驶员显示头盔由于其视角受限，当车辆通过窄道、有障碍道路，及倒车、上下坡时，无法同时看到车身周围其他部位的环境，致使车辆无法正常行驶。而车载显示屏不能根据人眼观察习惯提供等比的观察视角，给驾驶员营造真实的外界环境。二者均无法单独满足军用车辆闭舱作战需求。

文中设计的辅助驾驶^[5-9]系统采用光学多传感器获取场景信息，同时，将车载显示屏和驾驶员显示头盔两种显示方式相结合，车载显示屏用于车辆在特殊路段通行和倒车时使用，可显示车辆近身360°范围内场景的全景鸟瞰图^[10-16]，同时，可根据驾驶员的需求对某个方位的视频进行凸显显示；驾驶员头盔显示系统通过感知头部方位，将头部方向视频以增强现实透视投影的方式显示在头盔目镜中，真实还原外界环境观察习惯和观察视角，该方式用于车辆高速行驶于常规路面时使用，当路面出现特殊情况时，整个辅助驾驶系统会报警，并在车载显示屏上进行标注。此外，驾驶员显示头盔采用惯性器件和红外LED光源图像跟踪相结合的方法，很好地实现了驾驶员头部扭转角度准确、实时跟踪。

目前，国内外尚无资料显示将头盔显示终端用于辅助驾驶系统的案例，更无将其与驾驶员车载显示终端相结合的相关例子。

辅助驾驶系统主要由光学传感器子系统、显示子系统和图像处理子系统组成。

光学传感器子系统由分布于车体四周的四个光学传感器构成。每个光学传感器选用视场角大于180°，具备宽动态、强光抑制、透雾等功能的星光级相机，以满足系统视场拼接和全天候工作的需求。

显示子系统由车载显示屏和驾驶员显示头盔构成。车载显示屏用于显示车辆近身四周360°全景拼接鸟瞰图，驾驶员显示头盔用于显示以驾驶员视角方向为中心左右20°范围内的车辆近身拼接鸟瞰图。驾驶员显示头盔由一个显示模块、跟踪模块、两个定位传感器部件和一个信息处理部件组成，如图1所示。其中，头盔显示模块采用了光波导超轻技术，以减轻头盔的体积和质量。

Figure 1.  Structure of driver helmet display

图像处理子系统由图像处理硬件和相应软件算法构成。图像处理硬件的核心器件包括协处理器和核心处理器。硬件处理板将协处理器与核心处理器进行集成设计，除了应用的相机组件输入接口，还预留了一些控制接口，并进行了图像输入输出的冗余设计。图像处理软件算法包括车辆近身全景图像拼接子程序和根据驾驶员头部运动角度进行重投影子程序两个部分。

辅助驾驶系统中，呈现于车载显示屏上的车辆近身四周360°全景拼接鸟瞰图由全景图像拼接子程序读入摄像头拍摄的图像数据帧按照全景拼接算法进行全景拼接处理得到。显示于驾驶员显示头盔上的驾驶员视角范围内的车辆近身拼接鸟瞰图由图像重投影子程序根据驾驶员头部运动角度信息进行车辆近身全景观察视频投影映射得到。下面将着重对上述全景拼接算法和图像重投影算法进行测试验证，其中，在测试图像重投影算法之前，介绍了辅助驾驶系统选取的驾驶员头部定位方法。

显示于车载显示屏的全景鸟瞰图采用全景拼接算法实现。全景拼接算法设计部分包括摄像头内外参标定、3D拼接模型建立和网格化、全景图实时显示三部分。由于摄像组件多选用大视场鱼眼镜头，在实时显示全景图之前，需要先进行摄像头内参的标定，使得鱼眼图像可以矫正为普通透视图像。之后在地面铺设标定点，使用角点检测或者人工标定方法检测地面标志点，并根据地面标志点位置和标志点图像坐标计算摄像头的外参（即相对世界坐标的旋转矩阵和平移向量）。之后建立平面、碗面和柱面全景模型，计算网格点在原始图像中的对应像素点，将网格坐标和对应像素坐标传入GPU，同时向GPU中传入原始图像，OpenGL负责全景图的生成和视角变换。软件算法设计流程如图2所示。

Figure 2.  Design flow of software algorithm

在实验室搭建小车模型，如图3所示，在模型四周安装光学传感器，调整全景拼接参数，运行全景鸟瞰图拼接算法，进行车载显示屏上车辆近身360°范围内场景的全景鸟瞰图显示功能的测试，形成的拼接图像如图4所示。其中，图4（a）为小车模型中四个相机组件分别拍摄的图像，图4（b）为四个图像拼接的全景鸟瞰图。

Figure 3.  Car model for experiment

Figure 4.  Test result of panoramic aeroview stitching algorithm

由图4可以看出，文中选用的辅助驾驶系统可获得车辆近身360°范围内全部场景信息。

驾驶员显示头盔将惯性器件和图像跟踪方法相结合，实现高精度、大范围、高实时性驾驶员头部跟踪，实时控制并获取驾驶员头部方位视频。目前，图像式头盔跟踪技术成熟且精度较高，但活动范围的提升与精度提升相互制约。MEMS惯性传感器体积小、质量轻、易集成的特点可使其应用于头盔跟踪，最大优点是活动范围无限制，但存在累计误差，目前精度较低。文中结合MEMS惯性头盔定位和图像定位的性能优势，将二者进行组合，以适应车辆内部空间狭小、图像式头盔跟踪范围受限的问题，同时，惯性跟踪通过图像跟踪进行动态对准，解决惯性跟踪累计误差问题。

驾驶员头部定位子系统由两个定位传感器和一个跟踪模块组成。定位传感器部件装配实物见图1中的传感器组件，车载跟踪模块佩戴于驾驶员头盔后侧，见图1中的跟踪模块。图5为跟踪模块正面示意图，可以看到四个图像定位红外LED光源，壳体内部包含有MEMS惯性传感器。定位传感器分别安装在车辆驾驶员头部上方略后位置的机体框架上，左右两侧各一个，主要功能是作为图像传感器采集镜头视场内的头盔运动视频图像，解算车载跟踪部件红外发光点的实时位置。工作时，MEMS惯性头盔定位和图像定位相互修正，通过信息处理组件（如图1所示）处理，最终给出驾驶员头部扭转的准确角度。

Figure 5.  Schematic diagram of the front of the tracking module

随动头盔的自由视点观察技术主要利用头盔的定位功能，在头盔显示器上显示以驾驶员视角方向为中心左右20°范围内的车辆近身场景拼接鸟瞰图，实现驾驶员在常规路面的正常行驶功能。

如图2所示，在OpenGL中，将曲面模型放置在世界坐标系中，同时虚拟一个摄像机观察世界坐标中的曲面模型。在坦克、装甲车辆中，将驾驶员眼睛当作虚拟相机，观测整个三维模型。在全景鸟瞰图图像拼接算法的基础上，根据驾驶员头部定位子系统中信息处理组件输出的驾驶员头部转角信号，更改虚拟相机的观测方向，进行相应模型投影变换，将驾驶员视角方向为中心左右20°范围内的拼接鸟瞰图裁选出来，输出至驾驶员头盔显示屏。图6为在小车模型实验中两个模拟视点下观测到的全景拼接图像。

Figure 6.  Scene display effect from the different angle of view

将摄像组件加装在图7所示的车辆四周，每个方向各一个，并改装驾驶员显示屏供车辆周围全景图像显示，行驶过程中，将驾驶员前方挡风玻璃和两个后视镜遮蔽，驾驶员戴上头盔显示装置。图7(a)为常规水泥路面，图中白线可用于测试测量侧方停车能力；图7(b)为常规路面放置两个障碍物，用于测试车辆避障行驶，也可将两个障碍物之间距离缩小，用于测试车辆倒车功能；图7(c)划定了一条宽3 m的窄道，用于测试车辆窄道行车。具体测试项目及结果如表1所示，表中路况如上描述，用图7(a)、(b)、(c)表示，不再赘述。

Figure 7.  Outfield experiment

实验结果表明，车辆在常规路况下行驶，速度可达40 km/h，同时该辅助驾驶系统可辅助车辆窄道行车、侧方停车、障碍物绕行和倒车等事项顺利进行。

文中将头盔显示终端与车载显示终端进行结合，二者优势互补，解决了坦克、装甲车辆无窗、闭舱驾驶的问题，实验室内、外实验结果表明，所设计的辅助驾驶系统可以解决车辆在正常道路、特殊道路上的行驶问题，及车辆倒车、绕过障碍物等相关行驶问题。