-
海洋是涵盖超过70%地球表面的连续海水。洋流统治着世界的天气并孕育着各类生物，这些丰富的水域影响人类的生活和生存。因此发展先进的海洋生物光学监测手段对海洋生态系统的保护至关重要[1]。传统的海洋生物光学监测手段包括遥感检测、宏观尺度水下相机和微观尺度光学显微镜观察。遥感已被广泛应用于研究浅海和淡水底栖环境[2]，可以绘制单个底栖生境或多个不同底栖生境分布图，例如海草、珊瑚礁和藻类的群落分布。但其有着空间分辨率较低和灵敏度较差的缺点，比如微藻只有在聚集或局部浓度较高时才能被观察到。遥感监测时间的延迟限制了早期预警的可能性，有可能会造成较为严重的环境损害[3]。光学显微镜方法需要训练有素的专业人员通过形态学特征来识别和分类各种微观海洋生物样品，这既耗时又非常昂贵。即便如此，上述光学监测方法的准确度、灵敏度和特异性仍然不够。
与传统光学检测手段相比，高光谱成像技术具有无创、高效、高通量等优点，通过生成三维高光谱立方体，可以同时获得空间和光谱信息。由于获得的光谱能够提供与分子键的振动行为或特定物质的吸收特性有关的丰富复杂结构信息，高光谱成像被广泛应用于现场监测、食品质量评估和生物医学等诸多领域[4-11]。高光谱数据收集的方法包括空间扫描和光谱扫描技术。值得一提的是，自旋式高光谱图谱扫描方式是笔者团队最近提出的一种新颖空间扫描方式，其具有便携、无需移动的凝视、稳定、性价比高等诸多优点。因此文中将介绍自研多种空间扫描方式高光谱成像系统，并详述其应用于微藻、斑马鱼等海洋样品检测的相关可能性。由于高光谱成像技术拥有着高光谱分辨率和宽光谱范围，这也将会包含大量冗余信息，将会大量增加样本处理时间。因此我们团队考虑使用机器学习等算法[12]，对冗余数据进行降维，有效地提高了模型的分类精度及分类鲁棒性，以及实现了对微藻生长周期的精准预测。
物体目标距离信息探测也是海洋探测重要目标之一，因此笔者团队自主搭建了可实现距离及物质荧光高光谱信息同时测量的新型非弹性高光谱沙姆激光雷达系统。高光谱沙姆激光雷达实际上是将一维沙姆成像原理与高光谱成像技术有机结合的连续光激光雷达系统。这种新型激光雷达系统不同于体积庞大、价格昂贵的传统脉冲式激光雷达，其光源使用的是小尺寸、轻质量、高功率的连续光半导体激光器，而不是脉冲固态激光器，同时使用线阵或者面阵的CMOS相机作为传感器接收回波信号，这使得新型沙姆激光雷达系统具有结构紧凑、性能稳定、成本低及可维护性好的优点，目前已经广泛应用于大气测量[13-16]、油污鉴别[17]、燃烧诊断[18]、生物监测[19-21]、三维测量[22-26]等领域。
近期笔者团队使用自主搭建的非弹性高光谱沙姆激光雷达系统在实验室和近岸实地环境进行了多次水生生物的测量实验。文中主要介绍了安朵仙水母、巴布亚硝水母、多管水母、双生水母和棕囊藻等水生动植物的测量结果。笔者团队在实验室和近岸实地成功获取了这些水生动植物的荧光高光谱，实验结果证明了非弹性高光谱沙姆激光雷达系统在海洋生物监测上具有很大的潜力。
此外，为融合二维空间、一维光谱、一维深度等四维信息于一体，笔者团队基于振镜凝视式高光谱技术，结合结构光三维探测技术，自主搭建了一套能实现高光谱分辨率（3 nm）、高空间分辨率、高深度精度（27.5 μm）的四维高光谱探测系统，并对植株叶绿素分布做了探测研究。
-
笔者团队基于传统高光谱线推扫成像原理，开发了一种线推扫多模式显微成像图谱仪[27]，并将其应用于海洋生物样品的透射、反射及荧光光谱成像探测中。该系统可实现5 μm空间分辨及3 nm光谱分辨率，系统示意图如图1所示。
图 1 显微高光谱成像仪原理图及系统标定结果。（a）原型显微高光谱成像仪的照片；（b）光学元件示意图：1.物镜 2.成像镜头 3.狭缝 4.准直透镜 5.棱镜 6.光栅 7.棱镜 8.管透镜 9.CMOS；（c）校准光源原始光谱图像；（d）系统测量的定标光谱，光谱分辨率约为3 nm；（e）波长和像素之间的校准结果；（f）商业光谱仪测量的校准光源光谱；（g）分辨率测试板的重建高光谱图像，分辨线（4.39 μm）；（h）整个工作系统的原型示意图[27]
Figure 1. Schematic diagram of microscopic hyperspectral imager and the results of system calibration. (a) A photo of the prototype microscopic hyperspectral imager; (b) Schematic illustration of the optical elements: 1. Objective, 2. Imaging lens, 3. Slit, 4. Collimator lens, 5. Prism, 6. Grating, 7. Prism, 8. Tube lens, 9. CMOS; (c) Original spectral image of a calibration source; (d) Spectrum of the calibration source measured by our system. The spectral resolution is about 3 nm; (e) Calibration result between the wavelength and pixel index; (f) Spectrum of the calibration source measured by a commercial spectrometer; (g) Reconstructed hyperspectral image of the resolution test target. Resolvable lines in element 6 of group 6 (4.39 μm); (h) Prototype of the whole working system[27]
为了避免高倍物镜工作距离短可能产生的阴影，设计了落射式和透射式照明光路，从而确保了照明和探测之间的共轴性，如图2所示。通过在不同的光照模式之间切换，可以实现对不同样本和应用的多模式检测。下文展示了三个实验检测的例子，以验证文中系统光谱成像能力。
图 2 （a）侧面光照条件下阴影生成示意图；（b）多模式检测示意图。各部件示意图：1.单模光纤，2.光纤准直器，3.透镜，4.分束器，5.长通滤波片，6.物镜，7.样品和运动平台，8.高光谱成像系统[27]
Figure 2. (a) Schematic diagram of the shadow generation under lateral illumination condition; (b) Illustration of multi-mode detections. Reflection mode and fluorescence mode use epi-illumination, while transmission mode employs trans-illumination. Schematic diagram of each component: 1. Single mode fiber, 2. Fiber collimator, 3. Doublet lens, 4. Beam splitter, 5. Long pass filter, 6. Objective, 7. Sample and motion stage, 8. Infinity-corrected hyperspectral imaging system, consisting of the imaging module[27]
笔者团队首先使用系统对半透明样品即斑马鱼进行了透射高光谱成像检测，结果示意图如图3所示。由于鳍的透明性，其透射光谱与宽带光源的光谱基本相同。图中蓝色星点部分含有大量的黑色素，引起整个可见光带的吸收；黄色标识点为卵黄囊，其中存在β-胡萝卜素和血红蛋白导致其透射光谱在480 nm和580 nm处吸收。以上结果验证了文中系统对半透明或透明样品的图谱检测能力。
图 3 透射模式下斑马鱼高光谱检测结果。（a）水下斑马鱼的光学显微图像，比例尺：100 μm；（b）高光谱重建斑马鱼高光谱图像。比例尺：100 μm；（c）斑马鱼局部放大图像和三个标注点，包括透明鳍（标记为红点）、斑点（标记为蓝星）和卵黄囊（标记为黄色三角形）；（d）三个标注点对应的透射光谱[27]
Figure 3. Experimental results the hyperspectral detection of a zebrafish under the transmission mode. (a) Optical microscopic image of a zebrafish underwater. Scale bar: 100 μm; (b) Hyperspectral image of a zebrafish reconstructed from our system. Scale bar: 100 μm; (c) Partial enlarged image of the zebrafish and three points of interest, including the transparent fin (marked as red dot), speckle (marked as blue star) and yolk sac (marked as yellow triangle); (d) Corresponding transmittance spectrum at the three points of interest[27]
在文中系统荧光模式下，笔者团队对南海水产科学研究院提供的5种不同类型的致灾微藻（聚囊藻、角毛藻、衣藻、小球藻和棕囊藻）进行了图谱检测，图4（a）给出了五种微藻在450~780 nm波长范围内的35×5荧光光谱，为了消除溶液浓度的影响，对每个光谱进行归一化处理，归一化结果如图4（b）所示，从图中可以看到五种致灾微藻的归一化光谱略有不同，究其原因是因为叶绿素的种类和含量不同，这些差异表明了利用文中系统进行荧光信号识别分类的可能性。
图 4 （a）用MMHI系统测定了5种致灾微藻的荧光光谱；（b）归一化光谱；（c）用商用光谱仪测定了5种致灾微藻的荧光光谱；（d）归一化光谱[27]
Figure 4. (a) Measured fluorescence spectra of five disaster-causing microalgae by the MMHI system; (b) Normalized spectra of (a); (c) Measured fluorescence spectra of five disaster-causing microalgae by a commercial spectrometer; (d) Normalized spectra of (c)[27]
另外，为验证文中系统的荧光检测精度，使用另一台商用光谱仪（STS-VIS，Ocean Optics，Largo，FL，USA）也检测其相应荧光光谱。测量结果和标准化结果如图4（c）和（d）所示。其中（a）和（c）荧光强度的差异是由于两个系统的曝光和增益不同所致，而（b）和（d）归一化结果的细微差异则是由于两个系统中探测器的波长响应函数不同所致。结果表明，文中系统和商用光谱仪探测结果具有较高一致性，证明了该系统用于微藻分类的可行性和准确性。基于以上荧光光谱信号，使用主成分分析算法对五种微藻样本进行分类，分类效果如图5所示，可以看出该荧光高光谱成像方法能较好地分离不同类型的微藻样品，显示出其在海洋微藻识别和环境监测方面的巨大潜力。
-
先前笔者团队已完成图谱仪器的小型化（长度150 mm，质量130 g）[28]，在小型化的基础上研发了一种自旋式高光谱图谱仪，如图6所示，不同于推扫和摆扫，旋转扫描是一种便携式、无须移动凝视式、稳定性好、性价比高的扫描方法[29]。
图 6 （a）旋转高光谱图谱仪实物图；（b）原理图和光学元件（1.成像镜头，2.线缝，3.准直透镜，4.光栅，5.棱镜，6.成像透镜）；（c）系统安装于旋转支架上[29]
Figure 6. (a) The photo of our rotational hyperspectral scanner; (b) Schematic diagram and optical elements (1. imaging lens; 2. line slit; 3. collimating lens; 4. grating; 5. prism; 6. imaging lens); (c) Installed on a rotational mount[29]
但是在扫描过程中，笔者团队发现无法精密将狭缝中心调节至机械旋转轴上。在成像方面，这意味着扫描线和旋转中心之间存在径向和切向偏移，所扫描图像中间存在一个盲圈。此时若不考虑盲圈强行进行拼接，则会出现如图7（a）、（b）所示的图像畸变。因此设计了相应的图像处理算法，从角度记录的高光谱数据立方体重建图像。该算法在机械失准引起的径向和切向偏移不确定的情况下，遍历寻找径向和切向最优位移值即相关系数最优值，重建图像，图像效果如图7（d）所示。
为验证自旋图像重建算法，笔者团队使用自旋式高光谱图谱仪对浙江大学紫金港校区建筑物（78 m距离）进行了扫描，扫描效果如图8（b）所示。从灰度图像可以看出，除了图像中心缺失部分外，并没有观察到明显的失真或变形。中间缺失部分是由狭缝位置偏离旋转中心所致，后期可通过可调器件可消除中心空洞，效果如图8（c）所示。
为验证自旋式高光谱图谱仪彩色还原精度，笔者团队使用文中系统对比色板进行了扫描，扫描效果如图9所示。可以清楚地分辨棋盘上的每一种颜色，甚至是灰度差异。很好地证明了文中系统具有较优的色彩还原能力。
笔者团队还使用本系统对新鲜水果进行了扫描，扫描效果如图10~11所示，这进一步证明了便携式自旋高光谱图谱仪可以获得具有较高的空间和光谱精度高光谱图像。由于无须大范围的机械平移或摆扫扫描，只需定点自旋凝视式对目标扫描成像，所以在水下环境中无须克服水流阻力，也表明了该套系统应用于海洋水下环境进行原位探测的巨大潜力。
-
由于高光谱分辨率和宽光谱范围，捕获的高光谱立方体通常覆盖数百个波段，包含大量冗余信息。为了提供可靠的数据输入，利用机器学习算法等计算方法[30]，可以方便地研究样本之间的内在关系，提取大量样本之间的差异信息。通过对多余数据的降维，可有效地提高模型的分类精度及分类鲁棒性。因此笔者团队结合机器学习算法，将高光谱成像技术应用于海洋生物检测分类中[31]。
首先笔者团队对三种微藻（棕囊藻，角毛藻，莱茵衣藻）进行了透射式高光谱成像以探究它们的吸收特性，成像结果如图12所示。对于每种微藻，样品的平均透射光谱如图13所示。从图12（a）~（c）中发现所有研究的微藻物种在440 nm波段附近都有明显的吸收，其中莱茵衣藻吸收最强，棕囊藻次之，角毛藻吸收最弱。在图12（c）中，还发现莱茵衣藻在约680 nm处有一个尖锐的吸收峰。为了验证吸收特性的准确性，使用了商用分光光度计（uv2550，日本岛津）测量吸光度。测量结果如图13（d）所示。其吸光度证实，三种微藻中莱茵衣藻在可见光波段有最强的吸收，在440 nm和680 nm波长处有尖峰。棕囊藻的吸光度也相对高于角毛藻，尤其是在440 nm波长附近。
图 13 三种微藻吸收特性验证。（a）原始LED光源和三种微藻的透射光谱；（b）归一化光谱；（c）微藻相对于LED光源的透射率；（d）商用分光光度计所测量的微藻吸光度[31]
Figure 13. Verification of absorption characteristics of three microalgae. (a) Original transmission spectra of the LED light source and three microalgae; (b) Normalized spectra of (a); (c) Transmittance of the microalgae relative to the LED light source; (d) Absorbance of the microalgae measured by a commercial spectrophotometer[31]
值得一提的是，对于角毛藻，笔者团队注意到与440 nm透射率相比，商用仪器测量的相应波段吸光度缺少了一些特征。笔者团队分析，可能是由于检测方法的不同，造成了一些测量误差。将含有微藻样品的溶液放置在比色皿中，用商用分光光度计进行检测时，比色皿可能会引起一些散射，导致某些特征的丢失，而使用文中的图谱系统直接提取微藻透射光谱的感兴趣区域，包含更精确的特征。总而言之，图13（c）和图13（d）中的吸收特性之间存在明显的趋势一致性，验证了图谱系统的光谱测量精度。
基于所获得的图谱信息，结合机器学习中的主成分分析-支持向量机（PCA-SVM）算法对以上几种微藻分类。主成分分析（PCA）是一种无监督方法，用于识别高光谱特征组合，使数据方差最大化，降低数据维数以减轻计算负担。这些特征被捕获为一组新的变量，称为主成分。前几个主成分通常能够体现数据的大部分差异。然而，PCA作为一种无监督方法，对高光谱数据的分组没有先验知识，不适合用于群体分类。相比之下，支持向量机（SVM）是一种有监督的方法，有助于区分群体。因此笔者团队使用线性SVM算法对三类样本的光谱进行了分类，如图14（a）所示，其中分割区域是根据前两个主成分（PC1和PC2）计算得出，图14（b）和（c）展示了PCA-SVM算法的分类效果。
图 14 （a）使用线性支持向量机分类后的三种微藻PC2和PC1散点图；（b） 180个样品（包括60个角毛藻、60个衣藻和60个棕囊藻）透射光谱的混淆矩阵；（c） ROC曲线对应于（a）中的SVM分类器[31]
Figure 14. (a) Scatter plot of the scores of PC2 versus PC1 of three microalgae along with the linear SVM classifiers. The entire two-dimensional space is divided into three regions as labeled; (b) Confusion matrix of all transmission spectra for 180 samples (including 60 chaetoceros, 60 chlamydomonas and 60 phaeocystis); (c) The ROC curves corresponding to the SVM classifiers in (a)[31]
笔者团队使用了上述机器学习分类方法对一组混合微藻溶液中的棕囊藻和莱茵衣藻进行了种属鉴定，可视化其分类效果。扫描高光谱图像如图15（a）所示，从图中很难区分特定物种。图15（b）中显示了在680 nm波段，棕囊藻和莱茵衣藻吸收特性差异的空间图像，其中灰度值相对较低的区域是莱茵衣藻。因为其较强的吸收，灰度值较高的区域为棕囊藻。应用阈值分割来创建模板图像掩模，如图15（d）所示。然后通过向原始高光谱图像中添加模板来实现物种识别，如图15（c）所示。
图 15 一组混合微藻的物种分类示意图。（a）混合微藻在可见波段的高光谱图像；（b）混合微藻单波段（680 nm）的高光谱图像；（c）加上图像掩模后图（a）的种属鉴定结果，蓝色和红色区域分别代表莱茵衣藻和棕囊藻；（d）模板图像掩模后由图（b）上的阈值分割所生成图像[31]
Figure 15. Demonstration for the species identification from a group of mixed microalgae. (a) Hyperspectral image of the mixed microalgae at the broad visible bands; (b) Hyperspectral image of the mixed microalgae at the single spectral band (680 nm); (c) The result of species identification on (a) after adding the image mask, the blue and red regions represent the chlamydomonas and phaeocystis, respectively; (d) The template image mask, generated by threshold segmentation on (b)[31]
值得一提的是，笔者团队还对棕囊藻生长期进行了估计与验证。微藻相对容易聚集，当其数量增长超过一定阶段时，种群迅速增长可能导致严重的生态问题，如赤潮。因此，实时监测微藻的生长阶段是非常重要的，以实现早期预警检测系统。由于棕囊藻是引起赤潮暴发的主要微藻种之一，因此选择它作为研究对象进行生长阶段分析。在实验室条件下培养了棕囊藻，并基于随机森林（RF）算法建立了相应的统计模型来预测其生长阶段，如图16所示。
图 16 （a）棕囊藻25天以上的生长曲线 1：滞后期 2：指数增长期 3：稳定期 4：下降期；（b）棕囊藻的归一化透射光谱；（c）训练集对生长阶段的预测结果；（d）测试集对生长阶段的预测结果[31]
Figure 16. (a) Growth curve of phaeocystis over 25 days. 1: lag phase, 2: exponential growth phase, 3: stable phase, 4: decline phase; (b) Normalized transmission spectra of phaeocystis; (c) Predicted results of the growth stage by the training set; (d) Predicted results of the growth stage by the test set[31]
图16（a）绘制了25天的生长曲线，在此期间棕囊藻经历了一个完整的生长周期。微藻的生长周期一般分为四个阶段：滞后期、指数生长期、稳定期和衰退期。微藻的生长取决于培养环境中营养物质的含量，早期营养物质充足时，微藻的生长将呈指数增长，但中后期随着营养物质的逐渐消耗，微藻的生长开始逐渐下降。
对每次检测的平均透射光谱进行归一化，并绘制在图16（b）中，可以看到透射光谱的归一化强度受色素（如叶绿素）含量的影响，叶绿素的浓度与棕囊藻的密度呈正相关。值得注意的是，棕囊藻在指数生长和下降阶段的密度可能相等，但由于培养基中营养物质和代谢物的变化，它们的光谱仍会略有不同。
通过整个检测，得到了一组60×9的透射光谱，并将其按7∶3的比例随机分成训练集和测试集。即用42×9的样本数据建立预测模型，用18×9的样本数据验证模型的可靠性。训练集和测试集的预测结果分别如图16（c）和（d）所示。预测和实际生长阶段之间的完美一致性用实线表示，两条虚线之间的区域是可接受的偏差范围。表明预测和实际生长阶段之间存在良好的线性关系。
-
上述多种高光谱图谱系统所获取的是二维图像和一维高光谱信息，缺少距离探测深度信息。然而，在海洋应用中，物体目标距离信息探测也是海洋探测重要内容之一。因此笔者团队将高光谱成像技术和沙姆成像原理结合，研发了一种新型的连续光高光谱沙姆激光雷达系统，可应用于海洋生物的探测，在微藻和水母探测取得了一些进展；并且基于振镜凝视式高光谱技术，结合结构光三维探测技术，自主搭建了一套高精度四维高光谱探测系统，详细内容将在下文阐述。
-
沙姆激光雷达系统是基于沙姆成像原理（Scheimpflug Principle）的一种新型的连续光激光雷达。沙姆成像原理具体描述为通过倾斜像平面使得物平面、成像透镜平面和像平面相交于一条直线，以获取目标物体全面清晰的像，如图17所示。基于其形似书本翻页，这个规则也被称为合页规则(Hinge Rule)。满足沙姆原理的成像系统理论上可以在使用大口径的成像透镜时实现无穷远的景深，对长距离范围内的物体清晰成像，同时实现大口径和无限焦深。
图 17 沙姆原理示意图。O是坐标系的原点；O'是透镜的中心；O''是图像传感器的坐标原点；
$ \varphi $ 是像平面与透镜平面之间的夹角；$ \theta $ 是物平面与透镜平面之间的夹角；$ {v}_{0} $ 是像面中心与透镜中心的距离；$ d $ 是透镜中心到物平面的距离；$ {p}_{I} $ 是图像传感器上像点的像素位置；A、B为物平面上的物点，A'、B'为A、B对应的像点Figure 17. Schematic diagram of Scheimpflug principle. O is the origin of coordinate system; O' is the center of the lens; O'' is the coordinate origin of the image sensor;
$ \varphi $ is the included angle between image plane and lens plane;$ \theta $ is the included angle between object plane and lens plane;$ {v}_{0} $ is the length between the center of the image plane and the center of the lens; d is the length from the center of the lens to the object plane;$ {p}_{I} $ is is the pixel position of the image point on the image sensor; A and B are object points in the object plane, A' and B' are image points corresponding to A and B如图17所示，基于几何光学的原理，可以推导得到满足沙姆成像原理下，其图像传感器像素位置与成像物体距离之间的关系：
$$ {\textit{z}}=\frac{d[{p}_{I}\left({\rm sin}\varphi -{\rm cos}\varphi {\rm cot}\theta \right)+{v}_{0}]}{{p}_{I}\left({\rm cos}\varphi +{\rm sin}\varphi {\rm cot}\theta \right)+{v}_{0}{\rm cot}\theta } $$ (1) 式中：
$ {\textit{z}} $ 是物平面上的物点到坐标原点O的距离；$ d $ 是透镜中心到物平面的距离；$ \varphi $ 是像平面与透镜平面之间的夹角；$ \theta $ 是物平面与透镜平面之间的夹角；$ {v}_{0} $ 是像面中心与透镜中心的距离；$ {p}_{I} $ 是图像传感器上像点的像素位置，可以由公式（2）计算得到：$$ {p}_{I}=\left({N}_{p}/2-{n}_{p}\right){\omega }_{p} $$ (2) 式中：
$ {N}_{p} $ 是单列或单行的像素总个数；$ {n}_{p} $ 是每个像素对应图像传感器坐标原点O″的位置，O″为图像传感器的中心；$ {\omega }_{p} $ 是像素尺寸。$ {v}_{0} $ 可由成像公式计算可得：$$ {v}_{0}=fd/\left(d-f\mathrm{cos}\theta \right) $$ (3) 式中：
$ f $ 是成像透镜的焦距。$ \varphi $ 可以根据三角关系得到：$$ \varphi ={\rm arctan}\frac{f\mathrm{sin}\theta }{d-f\mathrm{cos}\theta } $$ (4) 当沙姆激光雷达系统应用于水下探测时，由于水的折射率与空气不同，光束在经过空气-水界面时会产生折射，这使系统中物点距离与像点像素位置的关系发生了变化，如果不加以矫正，所得到的距离信息将产生较大的误差，因此需要对空气-水界面的折射进行矫正以消除误差。如图18所示，沙姆成像原理在成像过程中，光束经过空气-水交界面后发生折射，使得真实的物点比未矫正的物点距离更远。根据折射定律和光束的几何关系，可以在
$ yo{\textit{z}}$ 面矫正z方向上产生的距离测量误差，校正后实际的物点距离为：
图 18 距离矫正示意图。O是坐标系的原点；O'是透镜的中心；
$ {p}_{I} $ 是像平面上图像传感器每个像素的位置；A0是未考虑空气-水界面折射时物体的位置；A1是物体实际的位置；A1'是A1对应的像点；$ {\delta }_{1} $ 是入射光束与垂直方向的夹角；$ {\delta }_{2} $ 是折射光束与垂直方向的夹角；z0是坐标原点(O)与空气-水界面之间的距离；z是未矫正的距离（OA0）；z1是矫正后实际的距离（OA1）Figure 18. Optical layout of distance correction. O is the origin of coordinate system; O' is the center of the lens;
$ {p}_{I} $ is the position of each pixel of the image sensor on the image plane; A0 is the position of the object without considering the refraction of the air-water interface; A1 is the actual position of the object; A1' is the image point corresponding to A1;$ {\delta }_{1} $ is the angle between the incident light and the vertical direction;$ {\delta }_{2} $ is the angle between the refracted light and the vertical direction; z0 is the distance between the origin of the coordinates (O) and the air-water interface; z is the uncorrected distance (OA0); z1 is the actual distance (OA1) after correction$$ {{\textit{z}}}_{1}={{\textit{z}}}_{0}+\left( {{\textit{z}}}_{0}\right)\frac{\mathrm{tan}{\delta }_{2}}{\mathrm{tan}{\delta }_{1}} $$ (5) 式中：z是未经矫正的距离（OA0）；z1是矫正后的距离（OA1）；z0是透镜平面与空气-水界面之间的垂直距离（OM）。
$ {\delta }_{1} $ 和$ {\delta }_{2} $ 分别是入射光束和折射光束与空气-水界面的夹角。 -
非弹性高光谱沙姆激光雷达系统是将一维沙姆成像原理与高光谱成像技术结合的一种新型的连续光激光雷达系统，可以用于探测物质荧光光谱。满足沙姆成像原理的沙姆激光雷达系统理论上具有无穷景深，可以灵敏的探测到激光照射路径上物体所发出的荧光信号。图19（a）所示是笔者团队搭建的新型非弹性高光谱沙姆激光雷达系统的实验样机，主要包括激光发射模块和接收模块，图19（b）是其成像原理图。发射模块使用的是中心波长为446 nm的商用蓝色激光二极管，其最大输出功率为1.5 W，可根据应用场景进行更换合适波长和功率的半导体激光器。接收模块由成像透镜、倾斜的狭缝、准直透镜、长通滤光片、棱镜-光栅-棱镜(PGP)结构、聚焦透镜和CMOS传感器组成。物体在激光激发下产生的荧光首先经过焦距为50 mm的佳能成像镜头聚焦到缝宽为50 μm的狭缝，然后通过焦距为75 mm的消色差双胶合的准直透镜准直，随后通过PGP结构进行分光，最终经过与准直透镜规格完全一致的聚焦透镜聚焦成像在面阵CMOS相机上。PGP分光结构中的闪耀光栅每毫米300刻槽，楔形棱镜的转向角为6°。可根据激光器波长和物质荧光光谱选择合适的长通滤波片滤除背景杂散光，以提高图像的信噪比，方便实验数据的处理和分析。
图 19 （a）非弹性高光谱沙姆激光雷达系统样机；（b）非弹性高光谱沙姆激光雷达成像原理图：L1和L2是准直透镜，OF是一种长通滤光片。P1和P2是两个对称的楔形棱镜，G是每毫米300个刻槽的透射光栅
Figure 19. (a) A prototype of inelastic hyperspectral Scheimpflug lidar system; (b) Inelastic hyperspectral Scheimpflug lidar imaging schematic: L1 and L2 are collimated lenses, and OF is a long-pass optical filter. P1 and P2 are two symmetrical wedge prisms, and G is a transmission grating with 300 grooves per mm
为调试方便，将成像透镜平面与物平面的夹角
$ \theta $ 设置为90°。经过计算可得成像透镜平面与像平面夹角$ \varphi $ 为14°。因此，狭缝和面阵CMOS相机需要分别倾斜14°，以满足共轭成像关系。此外，狭缝方向必须严格与光栅分光方向垂直，以保证距离和光谱定标准确。面阵相机所获取的图像，一个方向记录光谱信息，一个方向记录空间信息（即距离）。在光谱数据处理时，在原始光谱图像中选择感兴趣距离范围以及光谱范围，将对应的像素点强度按照空间方向进行叠加，并根据公式（5）归一化，就可以得到测量物体的归一化荧光光谱数据。$$ {I_{norm}}\left( \lambda \right) = \frac{{{I_{origin}}\left( \lambda \right) - {I_{\min }}}}{{{I_{\max }} - {I_{\min }}}} $$ (6) 将系统应用于实验前，需要先对系统的距离和光谱进行标定。如图20（a）所示，未进行折射矫正的数据与矫正后的真实数据误差较大，这体现了折射矫正的必要性和准确性。从图中可以看到，非弹性高光谱沙姆激光雷达系统距离空气-水界面的距离约为2.4 m。光谱标定采用的是标准的汞灯光源，标定结果如图20（b）所示，可以区分开576.960 nm和579.066 nm的谱线，系统的光谱分辨率在2.1 nm左右。
图 20 （a）距离定标结果；（b）光谱标定结果
Figure 20. (a) Distance calibration result; (b) Spectral calibration result
笔者利用自主搭建的非弹性高光谱沙姆激光雷达实验样机，分别在实验室环境和近岸实地环境下进行了多次水中生物探测实验。
在实验室环境下，笔者团队对蓝色安朵仙水母、褐色安朵仙水母和巴布亚硝水母进行了荧光光谱探测，图21给出了这三种水母的实物照片。将水母依次置于方形玻璃器皿中后（玻璃器皿在446 nm和488 nm激光激发下不会产生荧光），放置于规格为240 cm×40 cm×30 cm的水箱内，使用最大功率为1.5 W、中心波长分别为446 nm和488 nm的半导体激光二极管作为激发光先后对这些水母进行探测，都观察到了明显的红色荧光信号。这些红色荧光主要由于这三种水母体内有单细胞虫黄藻共生，而虫黄藻体内的叶绿素在446 nm和488 nm的激光激发下会产生680 nm附近的红色荧光。对探测到的水母荧光光谱信号进行处理后的光谱图如图22所示，可以看出三种水母荧光光谱曲线的趋势大致相同。
图 21 （a）蓝色安朵仙水母样品；（b）褐色安朵仙水母样品；（c）巴布亚硝水母样品
Figure 21. (a) A sample of blue Cassiopea andromedah; (b) A sample of brown Cassiopea andromeda; (c) A sample of Mastigias papua
图 22 高光谱沙姆激光雷达测得的三种水母的荧光高光谱图。（a）激发光波长为446 nm；（b）激发光波长为488 nm
Figure 22. Fluorescence hyperspectra of three kinds of jellyfish measured by hyperspectral Scheimpflug lidar: (a) The wavelength of excitation light is 446 nm; (b) The wavelength of excitation light is 488 nm
根据实验室环境下的实验结果可以看出，光源为446 nm或488 nm的非弹性高光谱沙姆激光雷达都可以探测到水母的荧光信号，可以应用于体内有虫黄藻共生的水母的探测。
笔者团队还使用非弹性高光谱沙姆激光雷达系统实地对棕囊藻和水母等生物进行了探测。2021年1月下旬，中国深圳大鹏金沙湾-南澳近岸海域爆发了球形棕囊藻赤潮。笔者团队在岸边捞取了不少球形棕囊藻囊体样品，较大的囊体的直径可达15~16 mm，较小的囊体的直径也在几个毫米，如图23（a）所示。随后，笔者团队将这些球形棕囊藻囊体样品置于500 mm×100 mm×50 mm规格的亚克力板透明水箱内，并置于距离高光谱沙姆激光雷达约3 m的地方。此时激光雷达的光源采用的是最大功率1.5 W的中心波长为446 nm的蓝色半导体激光二极管。
图 23 (a)球形棕囊藻实物图，较大的囊体的直径可达15~16 mm；(b)岸上水箱实验测得的球形棕囊藻囊体的归一化荧光光谱；(c)在近岸渔排现场测量的照片；(d) 在近岸渔排现场测的球形棕囊藻囊体的归一化荧光光谱
Figure 23. (a) A photograph of phaeocystis globosa showed that the diameter of large cysts could reach 15-16 mm; (b) Normalized fluorescence spectra of phaeocystis globosa cysts measured in the onshore tank experiment; (c) A photograph of on-site measurement in the nearshore fishing ground; (d) Normalized fluorescence spectra of phaeocystis globosa cysts measured in the nearshore fishing ground
对探测到的球形棕囊藻囊体的荧光进行了归一化处理。如图23（b）所示，在500~550 nm之间的是微弱的水拉曼的峰，在650~800 nm之间是叶绿素荧光峰。随后，笔者团队在2021年1月24日晚上，在近岸的渔排上利用非弹性高光谱沙姆激光雷达系统直接对近岸的棕囊藻囊体进行探测。如图23（c）所示，红圈内的小红点就是海水中的球形棕囊藻囊体在446 nm的激光激发下产生的红色荧光信号。图23（d）是对现场测量的球形棕囊藻囊体荧光光谱的处理结果，从图中可以看到水的拉曼非常强。其次，对比在岸上水箱测量的球形棕囊藻囊体，现场测量的囊体的荧光在750 nm附近的小肩峰消失了，这是由于水对长波的吸收较大，这部分的荧光被水吸收了。
此外，笔者团队还于中国深圳大鹏金沙湾-南澳海域捕捞了一些该海域常见的水母（多管水母、双生水母），如图24所示。在实验室环境下，提取活性较高的水母置于装有纯净海水的透明培养皿内，作为实验前的预处理。
图 24 (a)多管水母;(b)双生水母
Figure 24. (a) Aequorea; (b) Diphyidae
将非弹性高光谱沙姆激光雷达系统的光源换成最大功率为1.5 W、中心波长为488 nm的半导体激光器，作为水母荧光的激发光源。装有纯净海水的透明比色皿在该波长下不会产生荧光。水母实验样品被置于距离雷达约3 m的位置。对获取的水母荧光光谱进行归一化处理，图25（a）和（b）分别给出了多管水母和双生水母在488 nm激发下产生的归一化荧光光谱，其荧光峰峰值都在515 nm左右，双生水母的光谱范围更广，在550~600 nm之间仍有很明显的荧光。实验结果证实了光源为488 nm的非弹性高光谱沙姆激光雷达探测系统还可应用于多管水母和双生水母的探测。
图 25 (a)多管水母归一化荧光光谱；(b)双生水母归一化荧光光谱
Figure 25. (a) Normalized fluorescence spectra of aequorea; (b) Normalized fluorescence spectra of diphyidae
-
为融合二维空间、一维光谱、一维深度等四维信息于一体，笔者团队基于振镜凝视式高光谱技术，结合结构光三维探测技术，搭建了一套能实现高光谱分辨率（3 nm）、高空间分辨率、高深度精度（27.5 μm）的四维高光谱探测系统[32]，其示意图和系统参数指标如图26及表1所示。其光谱范围可覆盖400~800 nm；光谱分辨率可达3 nm；深度精度为27.5 μm；四维探测时间小于80 s。系统四维探测分为两部分：第一部分是结构光三维重建及高光谱立方体数据采集；第二部分是三维空间数据与高光谱数据融合形成四维数据集，四维融合探测结果如图27所示。
表 1 四维高光谱探测系统参数
Table 1. Four dimensional hyperspectral detection system parameters
Specifications of the HSDA system Characteristic parameters Spectral range/nm 400-800 Spectral resolution/nm <3 Depth resolution/mm 0.0275 Plane fit standard deviation/mm 0.0269 Num of 4D points <800×800 Acquisition time/s <80 FOV/(°) 30 Measurement field/mm2 96×64 Working distance/mm 300-600 
图 27 系统流程图。（a）原始4D模型；（b）原点模型中A、B、C、D点的光谱曲线；（c）基于光谱信息的点云分割4D模型；（d）不同波长（450~750 nm）的单色图像，用于不同的3D透视[32]
Figure 27. Flow chart of system.(a) Original 4D model; (b) Spectrum curves of point A, B, C and D in the origin model; (c) 4D model with point cloud segmentation based on spectral information; (d) Monochrome images at different wavelengths (450-750 nm) for different 3D perspectives[32]
基于自主搭建的四维高光谱探测系统，对真实植株与塑料植株的四维高光谱进行了探测实验，其探测结果如图28~图29所示。从图29（d）光谱曲线可以看出，绿色植物的反射光谱在450 nm和670 nm处有吸收峰，这是由叶绿素的光吸收引起的，而塑料植物的反射光谱在440 nm和470 nm处有吸收峰。提取上述几处峰值点，A和B的光谱之间的差异可实现最大化。因此，尽管真实植株与塑料植株的三维点云模型具有非常相似的外观，但两者可以通过反射光谱很容易地进行区分。也就是说，每个3D点对应一个唯一的光谱数据，可以作为区分真植物和塑料植物的主要特征。上述人脸及植株探测实验，验证了文中四维探测系统具有高光谱分辨率、高空间分辨率、高深度精度的探测能力，也体现了该套系统在水下原位探测海洋生物的四维高光谱信息的巨大潜力。
图 28 （a）绿色植物；（b）被测绿色植物的高光谱立方体；（c）绿色植物的三维点云模型；（d）在不同角度和不同波长（450~675 nm）下观察到的绿色植物的四维数据；（e）放大叶片数据；（f）叶片中蓝色矩形区域点云的分布；（g）点云的曲面面片[32]
Figure 28. (a) The green plant; (b) The hyperspectral cube of the measured green plant; (c)3D point cloud model of the green plant; (d) The 4D data of the green plant observed at different angles and at different wavelengths (450-675 nm); (e) Enlargement of the leaf blade margin; (f) The distribution of the point cloud of blue rectangular region in the leaf blade; (g) The surface patch of the point cloud[32]
-
人类文明发展到现在，对海洋探索的脚步从未停歇，光学检测技术在海洋探测领域发挥着越来越重要的作用。文中提到了笔者团队基于三种不同空间扫描方式研发了多模式（即透射、反射、荧光）高光谱成像系统，并详述了其应用于多种藻类、斑马鱼等海洋样品检测的相关可能性。针对高光谱数据冗余问题，本团队结合了机器学习等算法，对高光谱冗余数据进行了有效降维，较优地提高了模型的分类精度及分类鲁棒性。并且于实验室模拟构建了藻类生长模型，使用自主搭建的荧光高光谱系统探测到了不同生长时期微藻透射高光谱数据，结合机器学习预测算法，实现了对其生长周期的精准预测。
另外文中提及了自主搭建的用于测量物质荧光高光谱的新型非弹性高光谱沙姆激光雷达系统，并详述了使用高光谱沙姆激光雷达系统在实验室和近岸实地环境进行的多次水生生物荧光高光谱测量实验，其中包括安朵仙水母、巴布亚硝水母和棕囊藻等水生生物。其实验结果也证明了非弹性高光谱沙姆激光雷达系统在海洋生物监测上的潜力。
为融合二维空间、一维光谱、一维深度等四维信息于一体，文中提及了笔者团队基于振镜凝视式高光谱技术，结合结构光三维探测技术，自主搭建了一套能实现高光谱分辨率（3 nm）、高空间分辨率、高深度精度（27.5 μm）的四维高光谱探测系统，并对植株叶绿素分布做了探测研究。
以上提及的高光谱成像及高光谱沙姆激光雷达系统，结构紧凑、轻巧易携。随着探测技术的进一步发展成熟，加以防水技术支持，相信可以在海洋原位观测等相关应用上发挥更好的作用。
Application of hyperspectral imager and lidar in marine biological detection
-
摘要:
海洋是涵盖超过70%地球表面的连续海水，发展先进的海洋生物光学监测手段对海洋生态系统的保护至关重要。文中综述了笔者团队在小型高光谱图谱仪与激光雷达系统搭建及其在海洋生物检测等应用上的部分近期工作。图谱仪方面介绍了不同空间扫描方式的高光谱图谱仪在透射、反射及荧光等不同工作模式下，对数种藻类、斑马鱼等海洋生物进行了图谱检测，并且基于图谱数据结合机器学习算法实现了微藻种类的精准分类和藻类生长周期的准确预测；在激光雷达方面详述了使用非弹性高光谱沙姆激光雷达系统在实验室和近岸实地环境进行了多次水生生物的测量实验，成功获取其荧光高光谱，证明了非弹性高光谱沙姆激光雷达系统在海洋生物监测应用中的巨大潜力。此外，笔者团队还搭建了一套四维凝视成像探测系统能实现高光谱分辨率（3 nm）、高空间分辨率、高深度精度（27.5 μm）的精准探测。
Abstract:Oceans are continuous waters that cover more than 70% of the earth's surface. The optical monitoring of marine life is very important for the protection of marine ecosystem. In this paper, a review on our recent work in the construction of compact hyperspectral spectrometers and lidar systems and their applications in e.g. marine biological detection was given. Hyperspectral imagers with different spatial scanning methods were demonstrated, which were used to detect several kinds of algae, zebrafish and other marine organisms under different modes, such as transmission, reflection and fluorescence modes. In addition, based on some machine learning algorithm, accurate classification of microalgae and accurate prediction of algae growth cycle were achieved. In the aspect of lidar, an inelastic hyperspectral Scheimpflug lidar system has been used to measure aquatic organisms in laboratory and inshore field environment and their fluorescence hyperspectra have been captured successfully, which demonstrated the great potential of the inelastic hyperspectral Scheimpflug lidar system in the application of marine biological monitoring. A four-dimensional detection system which could achieve high spectral resolution (3 nm), high spatial resolution and high depth precision (27.5 μm) was also presented.
-
Key words:
- hyperspectral imager /
- Scheimpflug lidar system /
- jelly fish /
- phaeocystis /
- 4D detection
-
图 1 显微高光谱成像仪原理图及系统标定结果。（a）原型显微高光谱成像仪的照片；（b）光学元件示意图：1.物镜 2.成像镜头 3.狭缝 4.准直透镜 5.棱镜 6.光栅 7.棱镜 8.管透镜 9.CMOS；（c）校准光源原始光谱图像；（d）系统测量的定标光谱，光谱分辨率约为3 nm；（e）波长和像素之间的校准结果；（f）商业光谱仪测量的校准光源光谱；（g）分辨率测试板的重建高光谱图像，分辨线（4.39 μm）；（h）整个工作系统的原型示意图[27]
Figure 1. Schematic diagram of microscopic hyperspectral imager and the results of system calibration. (a) A photo of the prototype microscopic hyperspectral imager; (b) Schematic illustration of the optical elements: 1. Objective, 2. Imaging lens, 3. Slit, 4. Collimator lens, 5. Prism, 6. Grating, 7. Prism, 8. Tube lens, 9. CMOS; (c) Original spectral image of a calibration source; (d) Spectrum of the calibration source measured by our system. The spectral resolution is about 3 nm; (e) Calibration result between the wavelength and pixel index; (f) Spectrum of the calibration source measured by a commercial spectrometer; (g) Reconstructed hyperspectral image of the resolution test target. Resolvable lines in element 6 of group 6 (4.39 μm); (h) Prototype of the whole working system[27]
图 2 （a）侧面光照条件下阴影生成示意图；（b）多模式检测示意图。各部件示意图：1.单模光纤，2.光纤准直器，3.透镜，4.分束器，5.长通滤波片，6.物镜，7.样品和运动平台，8.高光谱成像系统[27]
Figure 2. (a) Schematic diagram of the shadow generation under lateral illumination condition; (b) Illustration of multi-mode detections. Reflection mode and fluorescence mode use epi-illumination, while transmission mode employs trans-illumination. Schematic diagram of each component: 1. Single mode fiber, 2. Fiber collimator, 3. Doublet lens, 4. Beam splitter, 5. Long pass filter, 6. Objective, 7. Sample and motion stage, 8. Infinity-corrected hyperspectral imaging system, consisting of the imaging module[27]
图 3 透射模式下斑马鱼高光谱检测结果。（a）水下斑马鱼的光学显微图像，比例尺：100 μm；（b）高光谱重建斑马鱼高光谱图像。比例尺：100 μm；（c）斑马鱼局部放大图像和三个标注点，包括透明鳍（标记为红点）、斑点（标记为蓝星）和卵黄囊（标记为黄色三角形）；（d）三个标注点对应的透射光谱[27]
Figure 3. Experimental results the hyperspectral detection of a zebrafish under the transmission mode. (a) Optical microscopic image of a zebrafish underwater. Scale bar: 100 μm; (b) Hyperspectral image of a zebrafish reconstructed from our system. Scale bar: 100 μm; (c) Partial enlarged image of the zebrafish and three points of interest, including the transparent fin (marked as red dot), speckle (marked as blue star) and yolk sac (marked as yellow triangle); (d) Corresponding transmittance spectrum at the three points of interest[27]
图 4 （a）用MMHI系统测定了5种致灾微藻的荧光光谱；（b）归一化光谱；（c）用商用光谱仪测定了5种致灾微藻的荧光光谱；（d）归一化光谱[27]
Figure 4. (a) Measured fluorescence spectra of five disaster-causing microalgae by the MMHI system; (b) Normalized spectra of (a); (c) Measured fluorescence spectra of five disaster-causing microalgae by a commercial spectrometer; (d) Normalized spectra of (c)[27]
图 6 （a）旋转高光谱图谱仪实物图；（b）原理图和光学元件（1.成像镜头，2.线缝，3.准直透镜，4.光栅，5.棱镜，6.成像透镜）；（c）系统安装于旋转支架上[29]
Figure 6. (a) The photo of our rotational hyperspectral scanner; (b) Schematic diagram and optical elements (1. imaging lens; 2. line slit; 3. collimating lens; 4. grating; 5. prism; 6. imaging lens); (c) Installed on a rotational mount[29]
图 13 三种微藻吸收特性验证。（a）原始LED光源和三种微藻的透射光谱；（b）归一化光谱；（c）微藻相对于LED光源的透射率；（d）商用分光光度计所测量的微藻吸光度[31]
Figure 13. Verification of absorption characteristics of three microalgae. (a) Original transmission spectra of the LED light source and three microalgae; (b) Normalized spectra of (a); (c) Transmittance of the microalgae relative to the LED light source; (d) Absorbance of the microalgae measured by a commercial spectrophotometer[31]
图 14 （a）使用线性支持向量机分类后的三种微藻PC2和PC1散点图；（b） 180个样品（包括60个角毛藻、60个衣藻和60个棕囊藻）透射光谱的混淆矩阵；（c） ROC曲线对应于（a）中的SVM分类器[31]
Figure 14. (a) Scatter plot of the scores of PC2 versus PC1 of three microalgae along with the linear SVM classifiers. The entire two-dimensional space is divided into three regions as labeled; (b) Confusion matrix of all transmission spectra for 180 samples (including 60 chaetoceros, 60 chlamydomonas and 60 phaeocystis); (c) The ROC curves corresponding to the SVM classifiers in (a)[31]
图 15 一组混合微藻的物种分类示意图。（a）混合微藻在可见波段的高光谱图像；（b）混合微藻单波段（680 nm）的高光谱图像；（c）加上图像掩模后图（a）的种属鉴定结果，蓝色和红色区域分别代表莱茵衣藻和棕囊藻；（d）模板图像掩模后由图（b）上的阈值分割所生成图像[31]
Figure 15. Demonstration for the species identification from a group of mixed microalgae. (a) Hyperspectral image of the mixed microalgae at the broad visible bands; (b) Hyperspectral image of the mixed microalgae at the single spectral band (680 nm); (c) The result of species identification on (a) after adding the image mask, the blue and red regions represent the chlamydomonas and phaeocystis, respectively; (d) The template image mask, generated by threshold segmentation on (b)[31]
图 16 （a）棕囊藻25天以上的生长曲线 1：滞后期 2：指数增长期 3：稳定期 4：下降期；（b）棕囊藻的归一化透射光谱；（c）训练集对生长阶段的预测结果；（d）测试集对生长阶段的预测结果[31]
Figure 16. (a) Growth curve of phaeocystis over 25 days. 1: lag phase, 2: exponential growth phase, 3: stable phase, 4: decline phase; (b) Normalized transmission spectra of phaeocystis; (c) Predicted results of the growth stage by the training set; (d) Predicted results of the growth stage by the test set[31]
图 17 沙姆原理示意图。O是坐标系的原点；O'是透镜的中心；O''是图像传感器的坐标原点；
$ \varphi $ 是像平面与透镜平面之间的夹角；$ \theta $ 是物平面与透镜平面之间的夹角；$ {v}_{0} $ 是像面中心与透镜中心的距离；$ d $ 是透镜中心到物平面的距离；$ {p}_{I} $ 是图像传感器上像点的像素位置；A、B为物平面上的物点，A'、B'为A、B对应的像点Figure 17. Schematic diagram of Scheimpflug principle. O is the origin of coordinate system; O' is the center of the lens; O'' is the coordinate origin of the image sensor;
$ \varphi $ is the included angle between image plane and lens plane;$ \theta $ is the included angle between object plane and lens plane;$ {v}_{0} $ is the length between the center of the image plane and the center of the lens; d is the length from the center of the lens to the object plane;$ {p}_{I} $ is is the pixel position of the image point on the image sensor; A and B are object points in the object plane, A' and B' are image points corresponding to A and B
图 18 距离矫正示意图。O是坐标系的原点；O'是透镜的中心；
$ {p}_{I} $ 是像平面上图像传感器每个像素的位置；A0是未考虑空气-水界面折射时物体的位置；A1是物体实际的位置；A1'是A1对应的像点；$ {\delta }_{1} $ 是入射光束与垂直方向的夹角；$ {\delta }_{2} $ 是折射光束与垂直方向的夹角；z0是坐标原点(O)与空气-水界面之间的距离；z是未矫正的距离（OA0）；z1是矫正后实际的距离（OA1）Figure 18. Optical layout of distance correction. O is the origin of coordinate system; O' is the center of the lens;
$ {p}_{I} $ is the position of each pixel of the image sensor on the image plane; A0 is the position of the object without considering the refraction of the air-water interface; A1 is the actual position of the object; A1' is the image point corresponding to A1;$ {\delta }_{1} $ is the angle between the incident light and the vertical direction;$ {\delta }_{2} $ is the angle between the refracted light and the vertical direction; z0 is the distance between the origin of the coordinates (O) and the air-water interface; z is the uncorrected distance (OA0); z1 is the actual distance (OA1) after correction
图 19 （a）非弹性高光谱沙姆激光雷达系统样机；（b）非弹性高光谱沙姆激光雷达成像原理图：L1和L2是准直透镜，OF是一种长通滤光片。P1和P2是两个对称的楔形棱镜，G是每毫米300个刻槽的透射光栅
Figure 19. (a) A prototype of inelastic hyperspectral Scheimpflug lidar system; (b) Inelastic hyperspectral Scheimpflug lidar imaging schematic: L1 and L2 are collimated lenses, and OF is a long-pass optical filter. P1 and P2 are two symmetrical wedge prisms, and G is a transmission grating with 300 grooves per mm
图 20 （a）距离定标结果；（b）光谱标定结果
Figure 20. (a) Distance calibration result; (b) Spectral calibration result
图 21 （a）蓝色安朵仙水母样品；（b）褐色安朵仙水母样品；（c）巴布亚硝水母样品
Figure 21. (a) A sample of blue Cassiopea andromedah; (b) A sample of brown Cassiopea andromeda; (c) A sample of Mastigias papua
图 22 高光谱沙姆激光雷达测得的三种水母的荧光高光谱图。（a）激发光波长为446 nm；（b）激发光波长为488 nm
Figure 22. Fluorescence hyperspectra of three kinds of jellyfish measured by hyperspectral Scheimpflug lidar: (a) The wavelength of excitation light is 446 nm; (b) The wavelength of excitation light is 488 nm
图 23 (a)球形棕囊藻实物图，较大的囊体的直径可达15~16 mm；(b)岸上水箱实验测得的球形棕囊藻囊体的归一化荧光光谱；(c)在近岸渔排现场测量的照片；(d) 在近岸渔排现场测的球形棕囊藻囊体的归一化荧光光谱
Figure 23. (a) A photograph of phaeocystis globosa showed that the diameter of large cysts could reach 15-16 mm; (b) Normalized fluorescence spectra of phaeocystis globosa cysts measured in the onshore tank experiment; (c) A photograph of on-site measurement in the nearshore fishing ground; (d) Normalized fluorescence spectra of phaeocystis globosa cysts measured in the nearshore fishing ground
图 25 (a)多管水母归一化荧光光谱；(b)双生水母归一化荧光光谱
Figure 25. (a) Normalized fluorescence spectra of aequorea; (b) Normalized fluorescence spectra of diphyidae
图 27 系统流程图。（a）原始4D模型；（b）原点模型中A、B、C、D点的光谱曲线；（c）基于光谱信息的点云分割4D模型；（d）不同波长（450~750 nm）的单色图像，用于不同的3D透视[32]
Figure 27. Flow chart of system.(a) Original 4D model; (b) Spectrum curves of point A, B, C and D in the origin model; (c) 4D model with point cloud segmentation based on spectral information; (d) Monochrome images at different wavelengths (450-750 nm) for different 3D perspectives[32]
图 28 （a）绿色植物；（b）被测绿色植物的高光谱立方体；（c）绿色植物的三维点云模型；（d）在不同角度和不同波长（450~675 nm）下观察到的绿色植物的四维数据；（e）放大叶片数据；（f）叶片中蓝色矩形区域点云的分布；（g）点云的曲面面片[32]
Figure 28. (a) The green plant; (b) The hyperspectral cube of the measured green plant; (c)3D point cloud model of the green plant; (d) The 4D data of the green plant observed at different angles and at different wavelengths (450-675 nm); (e) Enlargement of the leaf blade margin; (f) The distribution of the point cloud of blue rectangular region in the leaf blade; (g) The surface patch of the point cloud[32]
表 1 四维高光谱探测系统参数
Table 1. Four dimensional hyperspectral detection system parameters
Specifications of the HSDA system Characteristic parameters Spectral range/nm 400-800 Spectral resolution/nm <3 Depth resolution/mm 0.0275 Plane fit standard deviation/mm 0.0269 Num of 4D points <800×800 Acquisition time/s <80 FOV/(°) 30 Measurement field/mm2 96×64 Working distance/mm 300-600 
下载: 导出CSV
-
[1] Vahtmäe E, Paavel B, Kutser T. How much benthic information can be retrieved with hyperspectral sensor from the optically complex coastal waters? [J]. J Appl Remote Sens, 2020, 14(1): 016504. doi: 10.1117/1.JRS.14.016504 [2] Klemas V V. Coastal and environmental remote sensing from unmanned aerial vehicles:An overview [J]. Journal of Coastal Research, 2015, 31(5): 1260-1267. doi: 10.2112/JCOASTRES-D-15-00005.1 [3] Lou Xiulin, Hu Chuanmin. Diurnal changes of a harmful algal bloom in the East China Sea: Observations from GOCI [J]. Remote Sensing of Environment, 2014, 140: 562-572. doi: 10.1016/j.rse.2013.09.031 [4] Pettersen R, Johnsen G, Bruheim P, et al. Development of hyperspectral imaging as a bio-optical taxonomic tool for pigmented marine organisms [J]. Organisms Diversity & Evolution, 2014, 14(2): 237-246. [5] Bansod B, Singh R, Thakur R. Analysis of water quality parameters by hyperspectral imaging in Ganges River [J]. Spatial Information Research, 2018, 26: 203-211. doi: 10.1007/s41324-018-0164-4 [6] Jia Beibei, Yoon Seung-Chul, Zhuang Hong, et al. Prediction of pH of fresh chicken breast fillets by VNIR hyperspectral imaging [J]. Journal of Food Engineering, 2017, 208: 57-65. doi: 10.1016/j.jfoodeng.2017.03.023 [7] Cai F, Lu W, Shi W, et al. A mobile device-based imaging spectrometer for environmental monitoring by attaching a lightweight small module to a commercial digital camera [J]. Scientific Reports, 2017, 7(1): 15602. doi: 10.1038/s41598-017-15848-x [8] Gardner B, Reddy R, Mayerich D, et al. Application of vibrational spectroscopy and imaging to point-of-care medicine: A review [J]. Appl Spectrosc, 2018, 72(S1): 52-84. [9] Cai F, Dan W, Min Z, et al. Pencil-like imaging spectrometer for bio-samples sensing [J]. Biomedical Optics Express, 2017, 8(12): 5427. doi: 10.1364/BOE.8.005427 [10] Yao Xinli, Li Shuo, He Sailing. Dual-mode hyperspectral bio-imager with a conjugated camera for quick object-selection and focusing [J]. Progress in Electromagnetics Research, 2020, 168: 133-143. doi: 10.2528/PIER20080308 [11] Wei Lin, Su Kang, Zhu Siqi, et al. Identification of microalgae by hyperspectral microscopic imaging system [J]. Spectroscopy Letters, 2017, 50(1): 59-63. doi: 10.1080/00387010.2017.1287094 [12] Chang Chih-Chung, Lin Chih-Jen. Libsvm: A library for support vector machines [J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 1-27. doi: 10.1145/1961189.1961199 [13] Kong Z, Liu Z, Zhang L, et al. Atmospheric pollution monitoring in urban area by employing a 450-nm Lidar system [J]. Sensors (Basel), 2018, 18(6): 1880. doi: 10.3390/s18061880 [14] Kong Z, Ma T, Cheng Y, et al. Feasibility investigation of a monostatic imaging lidar with a parallel-placed image sensor for atmospheric remote sensing [J]. Journal of Quantitative Spectroscopy and Radiative Transfer, 2020, 254: 107212. doi: 10.1016/j.jqsrt.2020.107212 [15] Mei L, Brydegaard M. Atmospheric aerosol monitoring by an elastic Scheimpflug lidar system [J]. Opt Express, 2015, 23(24): A1613-A1628. doi: 10.1364/OE.23.0A1613 [16] Mei L, Guan P, Yang Y, et al. Atmospheric extinction coefficient retrieval and validation for the single-band Mie-scattering Scheimpflug lidar technique [J]. Opt Express, 2017, 25(16): A628-A638. doi: 10.1364/OE.25.00A628 [17] Gao Fei, Li Jingwei, Lin Hongze, et al. Oil pollution discrimination by an inelastic hyperspectral Scheimpflug lidar system [J]. Opt Express, 2017, 25(21): 25515-25522. doi: 10.1364/OE.25.025515 [18] Malmqvist E, Brydegaard M, Alden M, et al. Scheimpflug lidar for combustion diagnostics [J]. Opt Express, 2018, 26(12): 14842-14858. doi: 10.1364/OE.26.014842 [19] Duan Z, Yuan Y, Lu J C, et al. Underwater spatially, spectrally, and temporally resolved optical monitoring of aquatic fauna [J]. Opt Express, 2020, 28(2): 2600-2610. doi: 10.1364/OE.383061 [20] Zhao G, Malmqvist E, Rydhmer K, et al. Inelastic hyperspectral lidar for aquatic ecosystems monitoring and landscape plant scanning test[C]//The 28th International Laser Radar Conference (ILRC 28), EPJ Web of Conferences, 2018, 176: 01003. [21] Zhao G, Ljungholm M, Malmqvist E, et al. Inelastic hyperspectral lidar for profiling aquatic ecosystems [J]. Laser & Photonics Reviews, 2016, 10(5): 807-813. doi: 10.1002/lpor.201600093 [22] Chen Kun, Gao Fei, Chen Xiang, et al. Overwater light-sheet Scheimpflug lidar system for an underwater three-dimensional profile bathymetry [J]. Appl Opt, 2019, 58(27): 7643-7648. doi: 10.1364/AO.58.007643 [23] Gao Fei, Lin Hongze, Chen Kun, et al. Light-sheet based two-dimensional Scheimpflug lidar system for profile measurements [J]. Opt Express, 2018, 26(21): 27179-27188. doi: 10.1364/OE.26.027179 [24] He Sailing, Chen Xiang, Li Shuo, et al. Small hyperspectral imagers and lidars and their marine applications [J]. Infrared and Laser Engineering, 2020, 49(2): 0203001. (in Chinese) doi: 10.3788/IRLA202049.0203001 [25] Lin Hongze, Zhang Yao, Mei Liang. Fluorescence Scheimpflug LiDAR developed for the three-dimension profiling of plants [J]. Opt Express, 2020, 28(7): 9269-9279. doi: 10.1364/OE.389043 [26] Luo Longqiang, Chen Xiang, Xu Zhanpeng, et al. A parameter-free calibration process for a Scheimpflug LIDAR for volumetric profiling [J]. Progress in Electromagnetics Research, 2020, 169: 117-127. doi: 10.2528/PIER20120701 [27] Xu Zhanpeng, Jiang Yiming, He Sailing. Multi-mode microscopic hyperspectral imager for the sensing of biological samples [J]. Applied Sciences, 2020, 10(14): 4876. doi: 10.3390/app10144876 [28] Cai Fuhong, Chen Jie, Xie Xiaofeng, et al. The design and implementation of portable rotational scanning imaging spectrometer [J]. Opt Commun, 2020, 459: 125016. doi: 10.1016/j.optcom.2019.125016 [29] Luo Longqiang, Li Shuo, Yao Xinli, et al. Rotational hyperspectral scanner and related image reconstruction algorithm [J]. Sci Rep, 2021, 11: 3296. doi: 10.1038/s41598-021-82819-8 [30] Xu Zhanpeng, Jiang Yiming, Ji Jiali, et al. Classification, identification, and growth stage estimation of microalgae based on transmission hyperspectral microscopic imaging and machine learning [J]. Opt Express, 2020, 28(21): 30686-30700. doi: 10.1364/OE.406036 [31] Kürüm U, Wiecha P R, French R, et al. Deep learning enabled real time speckle recognition and hyperspectral imaging using a multimode fiber array [J]. Opt Express, 2019, 27(15): 20965-20979. doi: 10.1364/OE.27.020965 [32] Luo Jing, Li Shuo, Forsberg Erik, et al. 4D surface shape measurement system with high spectral resolution and great depth accuracy [J]. Opt Express, 2021, 29(9): 13048-13070. doi: 10.1364/OE.423755 -
点击查看大图
计量
- 文章访问数: 736
- HTML全文浏览量: 304
- 被引次数: 0
