留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

用于海洋宏生物原位观测的水下激光雷达相机

王新伟 孙亮 雷平顺 陈嘉男 杨于清 张岳 钟鑫 何军 王敏敏 周燕

王新伟, 孙亮, 雷平顺, 陈嘉男, 杨于清, 张岳, 钟鑫, 何军, 王敏敏, 周燕. 用于海洋宏生物原位观测的水下激光雷达相机[J]. 红外与激光工程, 2021, 50(6): 20211039. doi: 10.3788/IRLA20211039
引用本文: 王新伟, 孙亮, 雷平顺, 陈嘉男, 杨于清, 张岳, 钟鑫, 何军, 王敏敏, 周燕. 用于海洋宏生物原位观测的水下激光雷达相机[J]. 红外与激光工程, 2021, 50(6): 20211039. doi: 10.3788/IRLA20211039
Wang Xinwei, Sun Liang, Lei Pingshun, Chen Jianan, Yang Yuqing, Zhang Yue, Zhong Xin, He Jun, Wang Minmin, Zhou Yan. Underwater light ranging and imaging for macro marine life in-situ observation and measurement[J]. Infrared and Laser Engineering, 2021, 50(6): 20211039. doi: 10.3788/IRLA20211039
Citation: Wang Xinwei, Sun Liang, Lei Pingshun, Chen Jianan, Yang Yuqing, Zhang Yue, Zhong Xin, He Jun, Wang Minmin, Zhou Yan. Underwater light ranging and imaging for macro marine life in-situ observation and measurement[J]. Infrared and Laser Engineering, 2021, 50(6): 20211039. doi: 10.3788/IRLA20211039

用于海洋宏生物原位观测的水下激光雷达相机

doi: 10.3788/IRLA20211039
基金项目: 国家自然科学基金面上项目(61875189);国家科技部重点研发计划(2016YFC0302503);南方海洋科学与工程广东省实验室(珠海)创新团队建设项目(311021011);中国科学院青年创新促进会项目(2017155)
详细信息
    作者简介:

    王新伟,男,研究员,博士,主要从事水下光学成像、激光雷达、智能监控等领域的研究

  • 中图分类号: TN29

Underwater light ranging and imaging for macro marine life in-situ observation and measurement

  • 摘要: 海洋宏生物原位“观”和“测”对于海洋生态环境、海洋生物资源和海底矿产资源的研究和评估具有重要的意义。目前用于海洋宏生物原位观察的传统水下摄像机存在目标辐射特性、水体光散射、距离信息丢失等导致的低对比度目标探测难的问题。针对此,提出了水下激光雷达相机,可以兼顾并超越传统激光扫描雷达与摄像机复合的技术方案,利用单一系统同时获得百万像素高对比度的二维强度图像和高分辨率的三维图像,且二维图像中的像素和三维图像中的体素一一对应,并介绍了基于该技术研制的“凤眼”系统,其光立体采样区体积可调,距离分辨率优于1 cm,像素数为1360×1024。自2018年起,“凤眼”在我国南海海域进行了4个航次的海上试验,获取了海底宏生物及微地形地貌图像,最大工作深度达到3 291 m。
  • 图  1  海洋宏生物原位探测中低对比度目标探测难题

    Figure  1.  Challenge of LOST detection in macro marine life in-situ observation

    图  2  水下激光雷达相机

    Figure  2.  Underwater LiRAI

    图  3  激光雷达相机工作原理

    Figure  3.  Principle of LiRAI

    图  4  水下激光雷达相机LOST探测仿真效果

    Figure  4.  Simulation results of underwater LiRAI for LOST detection

    图  5  水下视频剖面仪UVP5工作原理

    Figure  5.  Working principle of UVP5

    图  6  LiRAI光立体采样区

    Figure  6.  LiRAI optical sampling volume

    图  7  凤眼系统

    Figure  7.  Fengyan systems

    图  8  距离分辨率水池实验结果

    Figure  8.  Range resolution result in pool experiment

    图  9  光立体采样区调节水池实验结果

    Figure  9.  Optical sampling volume adjustment results in pool experiment

    图  10  凤眼系统海上试验流程

    Figure  10.  Sea trial flow diagram of "Fengyan" systems

    图  11  凤眼系统海上试验结果

    Figure  11.  Sea trial results of "Fengyan" systems

  • [1] Sun Song, Sun Xiaoxia. Future ocean and our research strategy [J]. Bulletin of the Chinese Academy of Sciences, 2016, 31(12): 1285-1292. (in Chinese)
    [2] Wang Pinxian. Developing deep-sea science and technology: Perspectives and pitfall [J]. Scinece & Technology Review, 2021, 39(3): 71-79. (in Chinese)
    [3] Davis C S, Thwaites F T, Gallager S M, et al. A three-axis fast-tow digital Video Plankton Recorder for rapid surveys of plankton taxa and hydrography [J]. Limnology and Oceanography: Methods, 2005, 3(2): 59-74. doi:  10.4319/lom.2005.3.59
    [4] Picheral M, Guidi L, Stemmann L, et al. The underwater vision profiler 5: an advanced instrument for high spatial resolution studies of particle size spectra and zooplankton [J]. Limnology and Oceanography: Methods, 2010, 8(9): 462-473. doi:  10.4319/lom.2010.8.462
    [5] Tristan Biard, Lars Stemmann, Marc Picheral, et al. In situ imaging reveals the biomass of giant protists in the global ocean [J]. Nature, 2016, 532(7600): 504-519. doi:  10.1038/nature17652
    [6] Feng Jingchun, Liang Jianzhen, Zhang Si, et al. Development of deep-sea biological resources exploitation equipment [J]. Strategic Study of CAE, 2020, 22(6): 67-75. (in Chinese)
    [7] Simone Marini, Emanuela Fanelli, Valerio Sbragaglia, et al. Tracking fish abundance by underwater image recognition [J]. Scientific Reports, 2018, 8(1): 13748. doi:  10.1038/s41598-018-32089-8
    [8] Maureen Mellody. Robust Methods for the Analysis of Images and Videos for Fisheries Stock Assessment: Summary of a Workshop [M]. Washington DC: The National Academies Press, 2014.
    [9] Kresimir Williams, Alex De Robertis, Zachary Berkowitz, et al. An underwater stereo-camera trap [J]. Methods in Oceanography, 2014, 11: 1-12. doi:  10.1016/j.mio.2015.01.003
    [10] Jaffe J S. Underwater optical imaging: the past, the present, and the prospects [J]. IEEE Journal of Oceanic Engineering, 2015, 40(3): 683-700. doi:  10.1109/JOE.2014.2350751
    [11] Lythgoe J N. Polarized light and underwater vision [J]. Nature, 1967, 213(5079): 893-894. doi:  10.1038/213893a0
    [12] Keil T, Immarco A, Kerpchar M. Recnet underwater range-gated measurements [C]//SPIE, 1968, 12: 33-43.
    [13] Ines Dumke, Autun Purser, Yann Marcon, et al. Underwater hyperspectral imaging as an in situ taxonomic tool for deep-sea megafauna [J]. Scientific Reports, 2018, 8(1): 12860. doi:  10.1038/s41598-018-31261-4
    [14] Miquel Massot-Campos, Gabriel Oliver-Codina. Optical sensors and methods for underwater 3D reconstruction [J]. Sensors, 2015, 15(112): 31525-31557. doi:  10.3390/s151229864
    [15] Mariani P, Quincoces I, Haugholt K. Range-gated imaging system for underwater monitoring in ocean environment [J]. Sustainability, 2019, 11(1): 162.
    [16] Wang Xinwei, Sun Liang, Lei Pingshun, et al. Underwater 3D triangular range-intensity correlation imaging beyond visibility range (invited) [J]. Infrared and Laser Engineering, 2018, 47(9): 0903001. (in Chinese)
    [17] Oceaneering. Geoscience and AUV Surveys. [EB/OL]. [2021-04-15] https://www.oceaneering.com/survey-and-mapping/geoscience-and-auv-surveys/.
    [18] Wang Xinwei, Li Youfu, Zhou Yan. Triangular-range-intensity profile spatial -correlation method for 3D supper-resolution range-gated imaging [J]. Applied Optics, 2013, 52(30): 7399-7046. doi:  10.1364/AO.52.007399
    [19] Wang Xinwei, Li Youfu, Zhou Yan. Multi-pulse time delay integration method for flexible 3D super-resolution range-gated imaging [J]. Optics Express, 2015, 23(6): 7820-7831. doi:  10.1364/OE.23.007820
    [20] Sun Liang, Wang Xinwei, Liu Xiaoquan, et al. Lower-upper-threshold correlation for underwater range-gated imaging self-adaptive enhancement [J]. Applied Optics, 2016, 55(29): 8248-8255. doi:  10.1364/AO.55.008248
    [21] Wang Minmin, Wang Xinwei, Zhang Yue, et al. Range-intensity-profile prior dehazing method for underwater range-gated imaging [J]. Optics Express, 2021, 29(5): 7630-7640. doi:  10.1364/OE.417131
    [22] Wang Minmin, Wang Xinwei, Sun Liang, et al. Underwater 3D deblurring-gated range-intensity correlation imaging [J]. Optics Letters, 2020, 45(6): 1455-1458. doi:  10.1364/OL.385983
    [23] Yang Yuqing, Wang Xinwei, Sun Liang, et al. Binning-based local-threshold filtering for enhancement of underwater 3D gated range-intensity correlation imaging [J]. Optics Express, 2021, 29(6): 9385-9395. doi:  10.1364/OE.420359
  • [1] 王晓彬, 赵泓楷, 周雨迪, 张芳, 徐沛拓, 刘群, 刘崇, 刘东.  偏振海洋激光雷达探测黄海水母特性 . 红外与激光工程, 2021, 50(6): 20211038-1-20211038-7. doi: 10.3788/IRLA20211038
    [2] 何赛灵, 李硕, 陈祥, 徐展鹏, 边秋莞, 罗晶, 罗龙强.  高光谱图谱仪与激光雷达及其在海洋生物检测方面的应用 . 红外与激光工程, 2021, 50(6): 20211033-1-20211033-21. doi: 10.3788/IRLA20211033
    [3] 邓可然, 魏凯, 晋凯, 董若曦, 李敏, 张雨东.  1.8米望远镜钠信标自适应光学系统的高对比度成像性能研究 . 红外与激光工程, 2020, 49(8): 20200058-1-20200058-9. doi: 10.3788/IRLA20200058
    [4] 张扬, 黄卫东, 董长哲, 袁金如, 贺岩, 万渊, 汪自军, 陈利平, 竹孝鹏, 臧华国, 卜令兵, 刘继桥.  海洋激光雷达探测卫星技术发展研究 . 红外与激光工程, 2020, 49(11): 20201045-1-20201045-12. doi: 10.3788/IRLA20201045
    [5] 徐沛拓, 陶雨婷, 刘志鹏, 刘群, 崔晓宇, 周雨迪, 刘崇, 刘东.  海洋激光雷达实验与仿真结果的对比 . 红外与激光工程, 2020, 49(2): 0203007-0203007. doi: 10.3788/IRLA202049.0203007
    [6] 沈振民, 赵彤, 王云才, 郑永超, 尚卫东, 王冰洁, 李静霞.  混沌脉冲激光雷达水下目标探测 . 红外与激光工程, 2019, 48(4): 406004-0406004(7). doi: 10.3788/IRLA201948.0406004
    [7] 张浩, 李向春, 杨倩, 吴承璇, 雷卓.  水下气泡光学图像识别方法 . 红外与激光工程, 2019, 48(3): 326001-0326001(7). doi: 10.3788/IRLA201948.0326001
    [8] 胡波, 张云菲, 吴超鹏, 杨永, 陈宗恒, 宋宏, 陶军.  基于图像的水下三点激光测距方法研究 . 红外与激光工程, 2019, 48(10): 1005011-1005011(10). doi: 10.3788/IRLA201948.1005011
    [9] 赵耀宏, 王园园, 罗海波, 李方舟.  红外成像系统中的高动态范围压缩与对比度增强新技术 . 红外与激光工程, 2018, 47(S1): 172-181. doi: 10.3788/IRLA201847.S126001
    [10] 李荣华, 温帅方, 肖余之, 李金明.  空间在轨激光成像雷达指标优选宏模型 . 红外与激光工程, 2018, 47(2): 230003-0230003(8). doi: 10.3788/IRLA201847.0230003
    [11] 孙国栋, 秦来安, 程知, 何枫, 侯再红.  成像激光雷达测量大气能见度实验研究 . 红外与激光工程, 2017, 46(10): 1030003-1030003(9). doi: 10.3788/IRLA201766.1030003
    [12] 李飞, 张鸿翼, 徐卫明, 舒嵘.  天基合成孔径激光雷达非合作目标成像系统设计与实验 . 红外与激光工程, 2016, 45(10): 1030001-1030001(8). doi: 10.3788/IRLA201645.1030001
    [13] 夏彦文, 郑奎兴, 刘华, 赵军普, 彭志涛, 孙志红, 董军, 李森.  纳秒整形激光脉冲波形的高对比度诊断 . 红外与激光工程, 2016, 45(11): 1106002-1106002(6). doi: 10.3788/IRLA201645.1106002
    [14] 王盈, 黄建明, 刘玉, 陈凤, 魏祥泉.  空间目标激光雷达成像仿真技术 . 红外与激光工程, 2016, 45(9): 906002-0906002(6). doi: 10.3788/IRLA201645.0906002
    [15] 邓潘, 张天舒, 刘建国, 刘洋, 董云升, 范广强.  532 nm和355 nm瑞利激光雷达观测中层大气的数据对比分析 . 红外与激光工程, 2016, 45(S2): 19-25. doi: 10.3788/IRLA201645.S230001
    [16] 阮航, 吴彦鸿, 叶伟.  匀速运动目标逆合成孔径激光雷达成像算法 . 红外与激光工程, 2014, 43(4): 1124-1129.
    [17] 王新伟, 曹忆南, 刘超, 孔庆善, 崔伟, 周燕, 李友福.  2D/3D 距离选通成像的低对比度目标探测 . 红外与激光工程, 2014, 43(9): 2854-2859.
    [18] 阮航, 吴彦鸿, 张书仙.  基于天基逆合成孔径激光雷达的静止轨道目标成像 . 红外与激光工程, 2013, 42(6): 1611-1616.
    [19] 张建忠, 郭帮辉, 谭向全, 孙强.  高对比度中/长波红外双波段视景仿真系统光学设计及测试实验 . 红外与激光工程, 2013, 42(11): 2894-2900.
    [20] 葛明达, 孙剑峰, 王天骄, 王骐.  基于对比度调制法对条纹管激光雷达距离像的去噪方法 . 红外与激光工程, 2013, 42(6): 1448-1452.
  • 加载中
图(11)
计量
  • 文章访问数:  34
  • HTML全文浏览量:  8
  • PDF下载量:  8
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-04-15
  • 修回日期:  2021-05-16
  • 刊出日期:  2021-06-30

用于海洋宏生物原位观测的水下激光雷达相机

doi: 10.3788/IRLA20211039
    作者简介:

    王新伟,男,研究员,博士,主要从事水下光学成像、激光雷达、智能监控等领域的研究

基金项目:  国家自然科学基金面上项目(61875189);国家科技部重点研发计划(2016YFC0302503);南方海洋科学与工程广东省实验室(珠海)创新团队建设项目(311021011);中国科学院青年创新促进会项目(2017155)
  • 中图分类号: TN29

摘要: 海洋宏生物原位“观”和“测”对于海洋生态环境、海洋生物资源和海底矿产资源的研究和评估具有重要的意义。目前用于海洋宏生物原位观察的传统水下摄像机存在目标辐射特性、水体光散射、距离信息丢失等导致的低对比度目标探测难的问题。针对此,提出了水下激光雷达相机,可以兼顾并超越传统激光扫描雷达与摄像机复合的技术方案,利用单一系统同时获得百万像素高对比度的二维强度图像和高分辨率的三维图像,且二维图像中的像素和三维图像中的体素一一对应,并介绍了基于该技术研制的“凤眼”系统,其光立体采样区体积可调,距离分辨率优于1 cm,像素数为1360×1024。自2018年起,“凤眼”在我国南海海域进行了4个航次的海上试验,获取了海底宏生物及微地形地貌图像,最大工作深度达到3 291 m。

English Abstract

    • 在过去的几十年中,海洋观测受到全球的关注,在观测方法、观测范围、观测技术和观测精度等方面都取得了长足进步,但物理环境的观测、海洋化学环境和生物环境的观测还非常落后,尤其是生物环境的观测,能够达到实用标准的探测器很少[1]。现在的生物环境数据大部分来自基于科学考察船的海洋调查。在瞬息万变的海洋环境中,这种观测方式已难以满足现代海洋科学对生物观测数据长期、实时、原位获取的需求。

      由于海洋生态系统在不同时间和空间尺度呈现不同的生物群落结构和生态功能特征,从而观测范围需从海面短暂的“考察”延伸到海洋内部进行长期的“观测”,特别是针对深海。深海是生命的源泉、资源的宝库,为地球上的生命提供了最大的栖居场所,生物多样性极高,拥有丰富的生物资源和基因资源,同时深海海底富含锰结核、富钴结壳、金属硫化物、可燃冰等矿产资源,但是其永恒的黑暗和极端的环境使得深海开发面临巨大的挑战,人类对深海的认知仍十分匮乏。深海仍是地球表面最大的“暗世界”[2]。长久以来,深海海底的生物群落和环境变化是人类认知不明的“科学盲区”。深层海洋中的生物多样性、深海食物网的现状、变动规律、与全球气候变化和人类活动之间的关系,特别是与海底采矿和其他深海活动之间的关系等是亟待解决的问题[1]。而海洋观测技术与装备正是人类打开“暗世界”的钥匙,是人类开发和利用海洋资源的关键核心技术。

      面向上述需求,人类开始加速发展基于视觉成像的海洋生物原位观测传感器技术。一方面,将这些传感器作为载人和无人深潜平台的“眼睛”,实现灵活、机动的海底生物原位观测;另一方面,与海底观测网技术结合,进行连续的实时观测。在海洋微生物方面,代表性的原位观测仪器有美国伍兹霍尔海洋研究所的浮游动物录像机VPR(Video plankton recorder)[3]和法国巴黎第六大学的水下视频剖面仪UVP(Underwater video profiler)[4],并已成功应用于百微米级海洋微生物监测及分析[5]。不同于海洋微生物,海洋宏生物是眼睛能够看得见的海洋生物,通常是指mm级或cm级以上的生物,因此,不需要采用显微成像技术,通常采用水下光学摄像机便可以原位观察,已被广泛应用于深海生物物种、生态系统资源的识别和调查[6]

      但是,传统水下光学摄像机只能获得二维强度图像,在成像过程中三维空间投影为二维图像距离信息丢失,难以实现量化分析,特别是交叠目标[7]。2015年美国国家科学研究委员会发布的《基于图像及视频的渔业资源评估技术报告》中指出,交叠目标和伪装目标是目前水下摄像机量化分析的主要挑战[8]。水下三维成像技术可实现三维场景的重建,获得目标的尺寸信息,并可以利用目标与目标间、目标与背景间的空间信息差异,提高数量统计的准确度。因此,双目立体视觉等三维成像技术被用于海洋宏生物原位量化测量[8-9]。但是,水下双目立体视觉相机是全景深成像,在成像过程中,目标、水体噪声和背景都被成像器件接收,导致图像对比度低,且采样水体体积难以准确界定,从而难以实现高准确度的丰度统计分析。此外,双目立体视觉三维重建时需要目标有清晰的特征点,而水下图像易出现低对比度问题,导致目标纹理等细节信息模糊,难以实现特征点立体匹配。

      鉴于海洋宏生物原位观测及量化分析的重要意义以及传统技术存在的低对比度目标探测难的问题,提出了水下激光雷达相机(Light Ranging And Imaging, LiRAI),可同时获取海洋宏生物二维强度图像和三维图像,服务于海洋宏生物的识别和量化分析。

    • 参考文献[7]和[8]指出了海洋宏生物量化分析难的问题。为进一步分析和凝练问题的本质,选取这两篇参考文献中的典型图:图1(a)为参考文献[7]海底观测网中水下摄像机获得的鱼群图像,图1(b)为参考文献[8]给出的底栖的比目鱼图像。从图1中可以看出:图1(a)中的鱼与鱼之间以及图1(b)中的比目鱼与海底背景之间都存在对比度低的问题,导致难以准确发现和识别目标,从而难以实现高准确度鱼的数量统计。因此,低对比度目标(Low contrast target,LOST)是海洋宏生物量化分析的难题。如何实现LOST探测和识别是实现海洋宏生物量原位观测的关键点。

      图  1  海洋宏生物原位探测中低对比度目标探测难题

      Figure 1.  Challenge of LOST detection in macro marine life in-situ observation

      导致海洋宏生物出现LOST问题的原因可总结为:

      (1)目标与背景辐射特性相近或一致导致目标 “隐身”的问题,例如鱼群中鱼与鱼、海洋生物保护色伪装、水下目标被生物附着或泥沙覆盖;

      (2)光在水中传播时会被水体散射和吸收,导致光能量呈e指数衰减,同时图像中引入水体散射等噪声,使得图像信噪比降低、目标细节模糊,出现图像对比度低的问题,尤其是在浑浊水质下的情况。

      此外,传统的水下光学成像是二维成像,在成像过程中,三维空间投影为二维图像,导致距离信息丢失,出现空间信息降维问题,使得无法实现目标尺寸测量。

      针对水体散射和吸收问题,直接的解决思路是如何滤除水体散射、减弱水体吸收,提高图像信噪比和对比度,代表性的技术有相机光源分立成像、偏振成像、激光选通成像等[10-12]。针对目标辐射特性导致目标“隐身”的问题,直接的解决思路是利用多光谱和高光谱成像放大辐射特性中的光谱细微差别来发现目标[13],但是对于同种类的生物则无效,例如图1(a)中的同种群中的鱼,而间接的解决思路则是避开目标辐射特性维度,从空间维度重建三维场景,利用目标与背景的空间差异实现隐身目标的探测。在水下三维重建方面,代表性的技术有激光扫描雷达、结构光成像、双目立体视觉、激光选通三维成像等[14-16]

      从海洋生物量化测量和LOST探测的有效性角度,水下三维重建技术相比传统的水下二维成像技术更具有优势,三维空间维度的信息利于生物的数量统计和尺寸测量,但是,具有清晰纹理信息的高分辨率二维图像又是生物种群识别和行为分析的重要依据。因此,海洋生物原位观测技术,从应用层面需要兼顾“观”和“测”,进而从技术层面上需要同时获得高分辨率二维图像和三维点云数据/距离图。

    • 海洋宏生物原位观测需要兼顾二维图像的“观”和三维图像的“测”。传统水下激光扫描雷达和相机复合的技术可以利用激光扫描雷达获得三维点云数据,利用相机获得高分辨率静态二维图像,通过异源数据融合实现目标二维图像和三维点云数据获取[17]。但是,该复合技术中激光扫描雷达的机械扫描工作方式往往导致空间分辨率低、实时性差,不利于海洋生物等小尺寸运动目标的探测。因此,如何抑制水体散射噪声实现高对比度二维图像和高分辨率三维图像的实时获取,成为海洋宏生物原位观测的关键。针对此,提出了水下激光雷达相机LiRAI,技术上兼顾并超越激光雷达和水下摄像机复合的技术方案,实时获得百万像素的二维强度图像和三维点云数据。

      图2顶部所示,传统的水下光学成像是全景深图像,成像链路中的水体散射、感兴趣目标和背景都被成像,且三维空间降维为二维平面图像,因此,图像呈现低对比度的特点,存在LOST问题。不同于传统水下光学成像,LiRAI可以抑制水体后向散射噪声并过滤背景,仅对感兴趣的采样区进行成像,同时获得高对比度的二维图像和高分辨率三维图像,其成像效果如图2底部所示。

      图  2  水下激光雷达相机

      Figure 2.  Underwater LiRAI

      LiRAI的工作原理如图3所示,典型的LiRAI系统主要由脉冲激光器、门控成像器件、时序控制器和图像处理模块构成。其中,脉冲激光器发射纳秒级激光脉冲,经照明镜头整形后以泛光形式照明水体;门控成像器件可实现纳秒级快门,采集目标的回波信号并转化为图像;时序控制器主要是输出同步触发信号,触发脉冲激光器和门控成像器件按照设计的编码时序工作。工作过程中,在时序控制器编码时序控制下,脉冲激光器向水体发射激光脉冲,激光脉冲在水中传播时会被水体吸收和散射,遇到目标时会被目标反射或散射形成后向传输的回波信号,在设定的延时τA下,门控成像器件开启快门接收回波信号,持续开启时间tGate后快门关闭,获得A帧;在设定的延时τB下,快门以同样的门宽开启工作,获得B帧。延时τAτB满足τB=τA+tGate,其中tGate为快门门宽;快门门宽与激光脉宽满足tGate = tLaser。当激光脉冲和选通脉冲均为矩形脉冲时,在卷积作用下,A帧和B帧的距离能量包络均为三角形。其中,三角形包络的上升沿称为头信号区,下降沿称为尾信号区。如图3所示,A帧的尾信号与B帧的头信号交叠,该交叠区域为LiRAI的有效光立体采样区。

      图  3  激光雷达相机工作原理

      Figure 3.  Principle of LiRAI

      光立体采样区内的三维空间信息是基于笔者提出的三角形距离能量相关三维成像技术实现的[16, 18],通过A帧和B帧交叠区的能量灰度比关系可获得目标的距离信息r

      $$ r=\frac{{\tau }_{\rm A}c}{2n}+\frac{{I}_{\rm head,B}}{{I}_{\rm head,B}+{I}_{\rm tail,A}}D $$ (1)

      式中:Itail,AIhead,B分别为A帧的尾信号区灰度值和B帧的头信号区灰度值;n为水的折射率;c为光在真空中传播的速度;D 为光立体采样区的景深,其大小为:

      $$ D=\frac{{t}_{\rm Laser}c}{2n} $$ (2)

      通过公式(1)获得目标距离信息后,利用摄像机模型便可重建目标三维空间信息。

      A帧和B帧图像交集叠加便可获得光立体采样区的二维强度图像:

      $$ {I}_{\rm sampling}={I}_{\rm head,B}+{I}_{\rm tail,A} $$ (3)

      由公式(1)和(3),LiRAI便同时获得了光立体采样区的二维图像和三维空间信息。

    • 针对交叠鱼群和底栖生物伪装存在的LOST问题,图4给出了基于蒙特卡洛仿真的LiRAI探测结果。仿真中,水体衰减系数为0.1/m,吸收系数为0.02/m,散射系数为0.08/m,不对称因子为0.9,光子数为100亿,典型工作距离为5 m。图4(a)为鱼群LiRAI仿真结果,包括二维强度图像(左侧)和三维图像(右侧);图4(b)是底栖伪装的比目鱼LiRAI仿真结果,也包括二维强度图像(左侧)和三维图像(右侧)。由图4中可以看出,当反应目标纹理等辐射特性的二维图像中目标对比度低时,利用三维图像中目标的空间信息差异可有效发现低对比度目标。

      图  4  水下激光雷达相机LOST探测仿真效果

      Figure 4.  Simulation results of underwater LiRAI for LOST detection

      在梳理LiRAI技术特点前,先分析一下水下视频剖面仪UVP5如何解决海洋微生物原位观测中的低对比度目标探测、采样体积量化和目标尺寸测量的问题。如图5所示,UVP5采用两组波长625 nm的LED对射照明水体,相机光轴垂直于LED对射方向采集照明水体内的目标图像,实现暗场成像,从而提高浮游动物图像的对比度,而采样体积的大小则近似认为是LED对射形成的空间立体采样区,同时在已知相机与采样区距离信息的条件下,基于摄像机模型便可量化测量目标的尺寸[4]。但是,由于UVP5的采样区是LED对射形成的,采样体积受限于LED的机械安装布局而难以灵活调节。

      图  5  水下视频剖面仪UVP5工作原理

      Figure 5.  Working principle of UVP5

      对于LiRAI技术,若门控成像器件的CCD或CMOS的靶面宽度为w,高度为h,成像镜头的焦距为f,如图6所示,则LiRAI的光立体采样区的体积V的大小为:

      图  6  LiRAI光立体采样区

      Figure 6.  LiRAI optical sampling volume

      $$ V=\frac{whD({R}_{\rm A}^{2}+{R}_{\rm B}^{2}+{R}_{\rm A}{R}_{\rm B})}{3{f}^{2}} $$ (4)

      公式(4)中,D已由公式(2)给出,RARB由延时τAτB决定,其大小分别为:

      $$ {R}_{\rm A}=\frac{{\tau }_{\rm A}c}{2n} $$ (5)
      $$ {R}_{\rm B}=\frac{{\tau }_{\rm B}c}{2n}=\frac{({\tau }_{\rm A}+{t}_{\rm Gate})c}{2n} $$ (6)

      从公式(4)~(6)可以看出,通过调节系统的焦距、延时和快门宽度可以调节光立体采样区的大小,通过调节延时可以调节光立体采样区的位置。因此,不同于UVP5,LiRAI的光立体采样区体积是可调的,理论上不受机械限制,这样就可以满足不同尺寸海洋宏生物的观测。观测大尺寸海洋宏生物时,可以调大光立体采样区;观测小尺寸海洋宏生物时,可以调小光立体采样区。

      对于UVP5,由于三维空间投影为二维图像,采样体积内的距离信息仍是丢失的,只能以光立体采样区的单一粗距离信息作为目标的距离。然而,LiRAI则可重建光立体采样区内的三维空间信息,从而获得每个目标的精细距离信息和特征尺寸信息。

      此外,在低对比度目标探测方面,LiRAI具有与UVP5类似的光切片成像的特点,可以过滤水体噪声和背景干扰的特点。不同的是:UVP5是通过两组LED对射形成光切片,而LiRAI则是通过激光选通的方式形成光切片,具有更灵活的调节能力[19]

      综上所述,LiRAI用于海洋宏生物探测具有以下技术特点:

      (1)单一系统同时获得二维图像和三维图像,二维像素与三维体素一一对应,无需异源数据融合;

      (2)高对比度二维成像,仅对感兴趣光立体采样区成像,直接过滤水体噪声和背景干扰;

      (3)无机械扫描高分辨率三维成像;

      (4)光立体采样体积可灵活调节,满足不同尺寸海洋生物观测需求。

      LiRAI的这些技术特点有利于海洋宏生物量化分析:二维图像可用于行为分析和种群识别;三维图像可用于获得目标特征尺寸信息,进行粒径谱分析;利用三维图像中目标和目标之间、目标和背景间的空间差异可提高交叠目标数量统计的准确度;在获得生物数量以及采样体积信息后可反演生物丰度信息。此外,利用LiRAI可以获得时间序列图像,增加时间维度,用于生物量时空分布分析。

    • 基于LiRAI技术,笔者先后研制了海洋宏生物三维原位观测系统“凤眼1”和“凤眼2”,如图7(a)所示。“凤眼1”和“凤眼2”的系统总体构成基本一致。以“凤眼2”为例,该系统主要由脉冲激光器、门控ICCD、时序控制器和图像处理单元构成。其中,脉冲激光器的中心波长为~532 nm,平均功率约为0.5 W,激光脉宽约为1 ns,门控ICCD的像素数为1360×1024,最小选通门宽为3 ns,时序控制器是基于FPGA实现的,可以实现1 ns级编码时序控制。“凤眼2”系统典型工作距离为3~8 m,最大工作距离可达20 m级,光立体采样区最小景深约为35 cm。相比于“凤眼1”,“凤眼2”在系统集成度和去噪能力方面均有所提升,体积是“凤眼1”的2/5,质量也减少了1/2。

      图  7  凤眼系统

      Figure 7.  Fengyan systems

      LiRAI技术用于海洋宏生物观测时,三维成像的距离分辨率和光立体采样区体积的调节性能是两个重要的技术指标。

      距离分辨率的测试场景如图8(a)所示,采用“凤眼2”作为成像系统,以金字塔作为立体靶标,金字塔距“凤眼2”的距离约为3 m。金字塔不含底座共11阶,台阶步长为1 cm。图8(b)为三维重建结果,可以通过RGB编码的距离图上分辨各台阶,距离分辨率优于1 cm,距离均方根误差(RMSE)值为4.12 mm。

      图  8  距离分辨率水池实验结果

      Figure 8.  Range resolution result in pool experiment

      光立体采样体积的调节实验场景如图9(a)所示,采用“凤眼2”作为成像系统,选用6个一次性纸质圆形餐盘作为目标,并以36 cm为间隔布放在长度为1.8 m的架子上,形成水下多目标靶,如图9(b)所示。图9(c)是在视场约为22°、A帧延时为33 ns、快门门宽6 ns条件下获得的小采样体积的结果,目标靶中心距离“凤眼2”约4 m。在该视场范围内共有5个盘子,如图9(c)顶部左图所示,但是在LiRAI技术下,仅对采样景深内3个盘子成像,其他盘子均被过滤,如图9(c)顶部右图所示。图9(c)底部图则是与顶部右图对应的三维图像。图9(d)是在视场为26°、A帧延时为60 ns、快门门宽10 ns条件下获得的大采样体积的结果,目标靶中心距离“凤眼”系统约7 m。在该视场范围内共有6个盘子,在LiRAI技术下,对采样景深内6个盘子成像,二维图像如图9(d)左图所示,三维图像如图9(d)右图所示。图9的试验结果表明,基于LiRAI技术的“凤眼2”具备光立体采样景深和视场调节的功能,可实现光立体采样区体积的调节。

      图  9  光立体采样区调节水池实验结果

      Figure 9.  Optical sampling volume adjustment results in pool experiment

    • 自2018年5月以来,“凤眼”系统搭载中国科学院深海科学与工程研究所研制的“凤凰”深海着陆器,在中国南海水域进行了4个航次的海上试验,其中,水深1 000 m级10余个潜次,水深3000 m级2个潜次。图10给出了“凤眼”系统典型的应用方案。“凤眼”系统装载到深海着陆器上,并由母船完成水面布放,深海着陆器下潜。到达海底后,深海着陆器发送指令启动“凤眼”系统,然后“凤眼”系统按照预先设定的工作模式自动完成光立体采样区的采样,同步实时获得采样区的二维强度图像和三维图像。完成作业后凤眼系统自动关闭,着陆器抛载上浮,并回收到母船。回收后,工作人员通过数据缆下载“凤眼”硬盘存储的数据,用于数据分析和科学研究。

      图  10  凤眼系统海上试验流程

      Figure 10.  Sea trial flow diagram of "Fengyan" systems

      图11给出了“凤眼”在1000 m级海试中水母和海底微地形地貌的结果。图11(a)为1070 m水深下获得的水母图像,基于三维图像可以获得水母尺寸约为5 cm。图11(b)为约1 000 m水深下获得的深海着落器附近的海底微地形地貌图,探测距离范围为4~22 m,相比二维强度图像,三维图像可以清楚地显示出距离着陆器17.5 m处存在一小丘。

      图  11  凤眼系统海上试验结果

      Figure 11.  Sea trial results of "Fengyan" systems

    • 海洋宏生物原位观测技术可将传统的实验室观测搬到海底进行长期、连续、实时、无干扰的“在线”观测,对于原位分析海洋生物的行为、尺寸、数量、丰度、粒径谱、生物量时空分布等信息的变化具有重要的意义。海洋宏生物原位观测数据能自然、真实地反映海洋生态结构与功能的变化、海洋生态资源产出的变化以及生态系统健康的变化等。文中针对海洋宏生物探测中的LOST问题,提出了水下激光雷达相机LiRAI,可同时获得光立体采样区内目标的百万像素二维图像和三维图像。基于LiRAI研制的“凤眼”系统在我国南海海域进行了1000 m级及3000 m级的海试,实现了深海宏生物的原位观测和海底微地形地貌的获取,这些探索性的研究为海洋生物原位的“观”和“测”提供了新的手段。针对LiRAI采用的三角形距离能量相关三维成像技术,已进行了系列的水下去噪增强研究工作[20-23]。结合这些去噪增强工作,后续也将基于“凤眼”系统深入开展海洋宏生物量化分析研究。

      致 谢:感谢中国科学院深海科学与工程研究所在“凤凰”深海着陆器及海上试验验证方面的平台支持。

参考文献 (23)

目录

    /

    返回文章
    返回