Volume 51 Issue 10
Oct.  2022
Turn off MathJax
Article Contents

Song Hong, Zhang Yangfan, Yang Ping, Wu Chaopeng, Wang Mengjie, Li Zixin, Syed Raza Mehdi, Wang Tianliang, Huang Hui. Research on spectral reflectance measurement based on LCTF imager[J]. Infrared and Laser Engineering, 2022, 51(10): 20220019. doi: 10.3788/IRLA20220019
Citation: Song Hong, Zhang Yangfan, Yang Ping, Wu Chaopeng, Wang Mengjie, Li Zixin, Syed Raza Mehdi, Wang Tianliang, Huang Hui. Research on spectral reflectance measurement based on LCTF imager[J]. Infrared and Laser Engineering, 2022, 51(10): 20220019. doi: 10.3788/IRLA20220019

Research on spectral reflectance measurement based on LCTF imager

doi: 10.3788/IRLA20220019
Funds:  Key Research and Development Plan of Zhejiang Province(2020C03012,2021C03181)
  • Received Date: 2022-03-02
  • Rev Recd Date: 2022-04-10
  • Available Online: 2022-11-02
  • Publish Date: 2022-10-28
  • Spectral reflectance of targeted object is considered a vital inherent physical property in underwater spectral detection. However, the underwater environment poses significant challenges in spectral detection through strong absorption and scattering effects of light. To explore the influence of water turbidity on the accuracy of spectral detection, this paper describes the spectral reflectance detection under varying turbidity. Underwater spectral imaging system based on liquid crystal tunable filter (LCTF) is used for experimentation. Results proved that the increase in turbidity will further enhance the scattering intensity of water body. Based on the nonlinear increase in the pixel response of black and white board, the rapid upsurge in scattering intensity between 400–500 nm is noticed. Simultaneously, the spectral reconstruction method is applied, which yielded in maximum absolute error of 5.3% for spectral reflectance under different turbidity conditions.
  • [1] Song H, Mehdi S R, Huang H, et al. Classification of freshwater zooplankton by pre-trained convolutional neural network in underwater microscopy [J]. International Journal of Advanced Computer Science and Applications (IJACSA), 2020, 11(7): 252-258.
    [2] Kamran S, Song H, Mehdi S R, et al. Design and testing of an underwater microscope with variable objective lens for the study of benthic communities [J]. Journal of Marine Science and Application, 2021, 20: 1-9. doi:  10.1007/s11804-020-00154-2
    [3] Werdell P J, McKinna L I W, Boss E, et al. An overview of approaches and challenges for retrieving marine inherent optical properties from ocean color remote sensing [J]. Progress in Oceanography, 2018, 160: 186-212. doi:  10.1016/j.pocean.2018.01.001
    [4] Han M, Lyu Z, Qiu T, et al. A review on intelligence dehazing and color restoration for underwater images [J]. IEEE Transactions on Systems Man & Cybernetics Systems, 2018, 50(5): 1820-1832.
    [5] Castillón M, Palomer A, Forest J, et al. State of the art of underwater active optical 3D scanners [J]. Sensors, 2019, 19(23): 51-61.
    [6] Zhao Y, Dai H, Shen L, et al. Review of underwater polarization clear imaging methods [J]. Infrared and Laser Engineering, 2020, 49(6): 20190574. (in Chinese)
    [7] Yang P, Guo Y, Wei H, et al. Method for spectral restoration of underwater images: theory and application [J]. Infrared and Laser Engineering, 2017, 46(3): 0323001. (in Chinese)
    [8] Polerecky L, Bissett A, Al-Najjar M, et al. Modular spectral imaging system for discrimination of pigments in cells and microbial communities [J]. Applied and Environmental Microbiology, 2009, 75(3): 758-771. doi:  10.1128/AEM.00819-08
    [9] Song H, Wan Q, Wu C, et al. Calibration method of underwater phase laser ranging [J]. Infrared and Laser Engineering, 2019, 48(4): 0406008. (in Chinese)
    [10] Liu H, Büscher J V, Köser K, et al. Automated activity estimation of the cold-water coral lophelia pertusa by multispectral imaging and computational pixel classification [J]. Journal of Atmospheric and Oceanic Technology, 2021, 38(2): 141-154. doi:  10.1175/JTECH-D-19-0139.1
    [11] Johnsen G. Underwater hyperspectral imaging: US Patent, 8,502,974[P]. 2013-8-1.
    [12] Song H, Wan Q, Wu C, et al. Development of an underwater spectral imaging system based on LCTF [J]. Infrared and Laser Engineering, 2020, 49(2): 0203005.
    [13] Guo Y, Song H, Tao B, et al. Model-based restoration of underwater spectral images captured with narrowband filters [J]. Optics Express, 2016, 24(12): 13101-13120. doi:  10.1364/OE.24.013101
    [14] Wu C, Shentu Y, Chaofan C, et al. Development of an underwater multispectral imaging system based on narrowband color filters[C]//Proceedings of the IEEE/MTS OCEANS’18 (IEEE, 2018), Charleston, SC, USA, 2018: 1–6.
    [15] Wei H, Guo Y, Yang P, et al. The influences of color filters on the estimation of underwater light attenuation[C]//Proceedings of the IEEE/MTS OCEANS’17 (IEEE, 2018), Aberdeen, UK, 2017: 1–4.
    [16] Liu H, Sticklus J, Köser K, et al. TuLUMIS-a tunable LED-based underwater multispectral imaging system [J]. Opt Express, 2018, 26: 7811-7828.
    [17] Xue Q, Bai H, Wang H, et al. Development of underwater hyperspectral imaging detecting technology(Invited) [J]. Acta Photonica Sinica, 2021, 50(12): 1201001.
    [18] Xue Q, Tian Z, Yang B, et al. Underwater hyperspectral imaging system using a prism–grating–prism structure [J]. Appl Opt, 2021, 60: 894-900.
    [19] Song Hong. Underwater spectral imaging system based on liquid crystal tunable filter [J]. Journal of Marine Science and Engineering, 2021, 9(11): 1206. doi:  10.3390/jmse9111206
    [20] Wang X, Liao N, Li Y, et al. The research on reconstruction of spectral in lctf imaging system based on comparative measurement [J]. Spectroscopy and Spectral Analysis, 2018, 38(1): 290-295. (in Chinese)
    [21] Han P, Liu F, Yang K, et al. Active underwater descattering and image recovery. [J]. Applied Optics, 2017, 56(23): 6631-6638. doi:  10.1364/AO.56.006631
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(8)

Article Metrics

Article views(288) PDF downloads(59) Cited by()

Related
Proportional views

Research on spectral reflectance measurement based on LCTF imager

doi: 10.3788/IRLA20220019
  • 1. Ocean College, Zhejiang University, Zhoushan 316021, China
  • 2. School of Media & Design, Hangzhou Dianzi University, Hangzhou 310018, China
  • 3. Hainan Institute of Zhejiang University, Sanya 572024, China
Fund Project:  Key Research and Development Plan of Zhejiang Province(2020C03012,2021C03181)

Abstract: Spectral reflectance of targeted object is considered a vital inherent physical property in underwater spectral detection. However, the underwater environment poses significant challenges in spectral detection through strong absorption and scattering effects of light. To explore the influence of water turbidity on the accuracy of spectral detection, this paper describes the spectral reflectance detection under varying turbidity. Underwater spectral imaging system based on liquid crystal tunable filter (LCTF) is used for experimentation. Results proved that the increase in turbidity will further enhance the scattering intensity of water body. Based on the nonlinear increase in the pixel response of black and white board, the rapid upsurge in scattering intensity between 400–500 nm is noticed. Simultaneously, the spectral reconstruction method is applied, which yielded in maximum absolute error of 5.3% for spectral reflectance under different turbidity conditions.

    • 20世纪80年代,海洋观测开始成为众多国家的重要研究课题[1-2]。光学技术作为重要的观测手段,主要应用在卫星遥感领域,但是由于卫星遥感为高空探测,空气与水体的干扰较大,观测范围仅限于浅水区域[3]。为获取深水区域的光学信息,水下光学成像技术得到快速发展。由于水对光的吸收、散射作用,以及水体浊度、盐度、扰动等因素的存在,传统的光学成像技术获取的水下图像质量较差[4]。为解决上述问题,发展出水下激光扫描三维成像技术[5]、水下偏振成像技术[6]、水下光谱成像技术[7]等。

      相比水下激光三维扫描与水下偏振成像技术,水下光谱成像技术将二维空间信息和一维光谱信息相融合,使隐藏在狭窄波段内的光谱特征信息得到挖掘,具有高光谱分辨率和高空间分辨率的优势[8]。21世纪初期至今,水下光谱技术从无到有,在深海海底表层目标定性与定量探测方面显现出巨大的潜力,已被有效应用于军事探测、海底矿物勘探绘图[9]、海底生态环境调查、海洋考古调查以海洋物种(如海绵、珊瑚)分类研究[10]等领域。

      目前,多款水下光谱成像仪已应用于各类水下探测活动。2009年,挪威科技大学与Ecotone公司研发出一款推扫式水下高光谱成像仪,对珊瑚、海底管道、藻类、矿船等进行了光谱探测[11];2016年,浙江大学设计了一款基于轮转式光谱成像系统的光谱成像仪,使用31个不同透射波段的滤光片,依次将滤光片切换到成像光路上,实现不同波段的光谱成像。该系统通过了水下50 m以内的耐压测试,并于海南三亚地区开展珊瑚礁的近距离光谱成像研究[12-15];2018年,浙江大学与德国亥姆霍兹海洋研究所合作,开发了一款水下多光谱成像仪[16];2021年,中国海洋大学设计了一款推扫式水下高光谱成像仪,该成像仪稳定性高,检测效果好,实现了大规模目标检测[17]

      光谱成像技术的核心之一是如何实现不同波段的光谱分光,其直接影响系统结构复杂度、体积、质量以及性能等。根据光谱分光原理的不同,光谱分光方法可分为色散型、干涉型[18]、滤光片型[12]、编码孔径型和计算层析型等。液晶可调谐滤光片(Liquid Crystal Tunable Filter , LCTF)作为滤光片的一种,可通过电信号控制实现快速切换出射光的中心波长,无运动机械结构,简化了系统结构,提高了可靠性、响应速度和自动化程度。文中在浙江大学宋宏课题组设计的一款基于LCTF的水下光谱成像仪的基础上[19],探究不同水体浊度、不同光照条件对基于黑、白板的光谱反射率探测方法准确度的影响。

      光谱反射率是物体固有特性。采用合适的方法重建目标物的光谱反射率是光谱分析和光谱图像处理的前提。水下光谱图像的光谱反射率重建方式有两种:第一种是将成像系统和照明系统进行光谱辐照定标,获得入射光光谱辐照能量分布,再根据光谱图像中目标物位置的像素响应反演绝对光谱辐射能量,以之作为目标物位置的反射光光谱辐照能量,最终以反射光光谱辐照能量与入射光光谱辐照能量之比作为光谱反射率[7]。第二种光谱反射率重建方法是基于标准目标物光谱反射率已知的对比测量法[20]。文中提出了基于对比测量法的黑、白板水下光谱反射率重建的方法:通过引入标准参考物(已知光谱反射率的标准漫反射黑板和白板)进行目标物光谱反射率重建;此方法采集标准白板、黑板和目标物的光谱图像数据,通过后处理重建目标物的光谱反射率。

    • 图1为基于LCTF的水下光谱成像仪,该成像系统以LCTF作为核心元件,内部光学结构设计主要采用“成像镜头+LCTF+图像传感器”的形式。相较于“滤光片+成像镜头+图像传感器”,该结构使得光谱相机结构更紧凑,调谐速度更快;成像镜头采用大口径电动调焦镜头,可通过步进电机对镜头进行快速调焦;采用LCTF作为光谱分光器件,可通过电信号控制LCTF的透射波长,实现可见光范围内窄波段扫描;采用科学级CCD相机作为图像传感器以提高水下环境成像灵敏度。

      Figure 1.  LCTF-based underwater imaging spectrometer

      水下光谱成像仪通过耐压舱隔离水体,由于耐压仓玻璃两侧的光传播介质分别为水体和空气,故成像需要考虑水体与玻璃窗口的折射差问题。为了简化模型,假设本系统为水下自发光目标物的水下光谱成像,目标物发出的光会在水-光学玻璃-空气界面发生两次的折射进入成像镜头。简化的光路如图2所示,水下光谱成像的光路可等效转换为移除光学玻璃后,在空气中对折射虚拟物平面上的虚拟目标物进行成像。因此成像模型中的像距${z}_w $可定义为:

      式中:${l_a} $为镜头光心与光学玻璃内表面之间的距离;${l_g} $为光学玻璃的厚度;${l_w} $为目标物平面与光学玻璃外表面之间的距离;${n_g} $为光学玻璃的折射率(例如亚克力玻璃的折射率近似为1.49);${n_w} $为水体的折射率(近似为1.33)。

      定义水下目标物上某一点在物平面上的空间位置坐标为$P\left(x_w, y_w\right) $,相机的焦距为$f $,像平面与镜头光心距离记为$Z_{w}^{\prime} $,则该点在图像传感器像平面上的共轭点位置坐标记为$P\left(x_w^{\prime}, y_w^{\prime} \right) $,则:

      Figure 2.  Schematic diagram of the spectral reflectance measurement test device of the LCTF-based underwater image spectrometer

    • 物体表面的光谱反射率曲线信息可作为物体识别的重要特征信息。在空气中,光谱反射率重建一般采用比对测量法:标准白板的光谱反射率和光谱响应值分别为${{R_w(\lambda_c)}}$$I_{{w}}$,目标物的光谱响应值$ {I_c} $,则目标物的光谱反射率${R}_{c}\left(\lambda_{c}\right)$如下:

      在水体中,目标物光谱反射率探测难度较大。尤其是在浑浊的水体中,悬浮颗粒对光产生较大的散射作用,导致成像模糊,光谱信息被扰乱。针对这些问题,文中提出了基于对比测量法的黑白板水下光谱反射率重建的方法,引入标准黑板和白板作为校正板来进行水体中的目标物光谱反射率重建。白板的光谱反射率和光谱响应分别为$ R_w(\lambda_ c) $$ I_{\text{w}} $,黑板的光谱反射率和光谱响应分别为$ R_b(\lambda_ c) $$I_{{b}}$,目标物的光谱响应为$I_{{c}}$,则水下目标物的光谱反射率${{R_c(\lambda_c)}}$如下:

    • 水下目标物的光谱反射特征引起的吸收峰或反射峰的带宽一般为5~50 nm左右,文中利用LCTF的水下光谱成像仪以2 nm为步长采集目标物的光谱图像数据,提取图像空间任一像元或像元组合的光谱响应曲线。

      由于光入射稀释的脱脂牛奶后瑞利散射占主导地位,且它的光学厚度为1.155,消光系数与海水相当[21]。因此可以通过在清水中滴加脱脂牛奶改变水体浊度,模拟不同浊度的海水。

      图3所示为测量水下目标物光谱反射率的实验装置,水缸尺寸为30 cm×20 cm×15 cm,相机距色板的垂直距离为80 cm。该装置可用于定量分析水体浊度与光照条件对光谱反射率测量结果的影响,进而获知基于LCTF的水下光谱成像仪的黑白板水下光谱反射率重建方法的准确度。实验过程如下:

      Figure 3.  Schematic diagram of the spectral reflectance measurement test device

      (1) 在暗室环境搭建实验平台,启动系统并预热;

      (2) 启动两个白光LED光源(光照条件A),往玻璃缸中加入实验室清水,将白板置于玻璃缸底部;

      (3) 设置对焦状态和各波段曝光时间,以2 nm的步长采集从400~700 nm共151个波段的白板的光谱图像;同时采用单反相机拍摄彩色图像;

      (4) 将白板替换为黑板和色板,分别重复步骤(3)采集151个波段的光谱图像;同时采用单反相机拍摄彩色图像;

      (5) 往水体中加入一定量牛奶乳浊液,增加水体的浊度,并通过浊度计测量水体浊度;

      (6) 重复步骤(3)~(5),采集一系列不同水体浊度下的光谱图像数据。

      此外,将光照条件改为两个白光LED光源、两个蓝光LED光源照明(光照条件B),重新采集不同浊度条件水体和湖水的黑板、白板和色板的光谱图像数据。

    • 对于某一中心波长下采集的光谱图像,其像素响应与系统的响应带宽以及带宽范围内各器件的光谱特性有关。假设在带宽内各光谱特性均匀分布,则像素响应$I\left(x, y, \lambda_c\right) $为:

      式中:$\left(x, y \right) $表示特定像元对应数字图像中的像素位置;$\lambda_c $表示光谱图像对应波段中心波长;$K\left( {{\lambda _c}} \right) $表示光谱能量到像素响应的映射关系;$R\left( {\lambda _c} \right)$表示目标物的光谱反射率;${E_s}\left( {{\lambda _c}} \right) $表示目标物位置的入射光谱辐射能量;$ {E_t}\left( {{\lambda _c}} \right) $表示进入像面的水体或水面杂散光;$c\left( {{\lambda _c}} \right) $表示水体光谱衰减系数;${l_w} $表示水深。

      确定光照与水体浊度条件,数据处理过程如下:

      (1) 对所有白板、黑板、色板的光谱图像进行去噪处理;

      (2) 在每一种色块图像上选取7×7等间距阵列分布的区域,每个区域的尺寸为5 pixel×5 pixel,以该区域内的像素响应中位数作为该色块的像素响应;

      (3) 基于步骤(2)提取的像素区域,分别提取白板和黑板的像素光谱响应;

      (4) 第row行、第col列色块的第i行、第j列像素区域的像素响应可以记为$ I_c $,白板光谱图像的相同位置的像素响应记为$I_{{w}}$,黑板光谱图像的相同位置的像素响应记为$ I_b $

      由于是相同位置,近似认为$K\left(\lambda_c\right)、 E_s\left(\lambda_c\right)、 c\left(\lambda_c\right)、 E_t\left(\lambda_c\right) $ 保持不变。

      (5) 第row行、第col列色块的第i行、第j列像素区域对应的光谱反射率为:

    • 该实验使用基于黑板、白板矫正方法对水下光谱相机获取的光谱图像进行了光谱反射率重建,验证了该方法重建光谱反射率的准确性,同时证明了基于LCTF的水下光谱相机的可靠性与稳定性。

      图4所示,当采用两个白光LED光源照明时,直接将相同位置的黑板和白板的光谱图像像素响应相除,获得不同浊度下系统对水体的光谱响应。当水体为清水时(0 NTU),黑、白板的像素响应比值在450~700 nm内较低且较平稳,平均值为3.9%。当水体浊度逐渐增加时(11-51 NTU),即水体中的乳浊液分散质粒子浓度增加,使得水体散射作用明显增强,CCD像面接收到的散射光信号相比目标物反射信号的比例明显提升,导致黑、白板的像素响应比值非线性增加,且在400~500 nm范围内的水体散射作用增强更快。

      Figure 4.  Pixel response ratio of blackboard and whiteboard in water with different turbidity

      当清水中采用两个白光LED光源照明时,对系统采集到的色板的光谱图像数据进行黑、白板校正处理,获得不同颜色色块的光谱反射率数据,其结果如图5所示。红色、黄色、绿色、蓝色等不同色相的色块的光谱反射率具有不同的光谱特征,同一色相内不同饱和度、明度的色块亦有不同的光谱特征。例如深红色色块在630~700 nm波段内具有较高且平稳的光谱反射率,均值为36.6%;粉色色块的光谱反射率曲线具有3个波峰特征,峰值波长分别为446 nm、604 nm与672 nm;淡粉色色块在610~700 nm波段内具有较高且平稳的光谱反射率,均值为51.9%;黄色色块在540~700 nm波段内具有较高且平稳的光谱反射率,均值为48.2%。

      Figure 5.  Spectral reflectivity of different color blocks in clear water

      在不同光照以及水体的条件下,所得到的结果如图6所示。相比图3所示的空气中色板图像,光照条件A下的清水中色板彩色图像色调偏蓝,光照条件B下的清水中色板彩色图像色调偏紫。在光照条件A与清水条件下采集光谱图像,然后计算色板光谱反射率,并将该结果作为基准。清水中加入一定量牛奶乳浊液使得水体浊度增加到11 NTU。清水中,色板在光照条件A下的光谱反射率,相比基准的最大绝对偏差1.9%,最大相对偏差为4.1%。清水中,色板在光照条件B下的光谱反射率,相比基准的最大绝对偏差为2.3%,最大相对偏差为4.9%。湖水中(采集自浙江大学舟山校区内明辉湖湖水,浊度为12 NTU),色板在光照条件为B下的光谱反射率,相比基准的最大绝对偏差为2.8%,最大相对偏差为6.1%。

      Figure 6.  Spectral reflectivity of yellow color patches under different water bodies and different light conditions

      在光照条件A下,通过牛奶乳浊液逐步增加水体浊度,同时采集色板光谱图像,通过黑、白板矫正处理可以得到不同浊度条件下不同色块的光谱反射率曲线,其结果如图7所示。当水体浊度较小时,同一色块在不同水体浊度下的光谱反射率计算结果接近一致,当水体浊度逐渐增加时,部分波段的光谱反射率计算结果波动会增大,最大绝对偏差为5.3%,但整体谱形特征并未发生改变。总体来看,通过黑、白板校正处理,水下目标物的光谱反射率还原结果与实际值接近一致,照明条件、水体浊度的变化对计算结果的影响较小。

      Figure 7.  Spectral images of color palettes collected under water with different turbidits, and spectral reflectance of different color patches obtained by processing

    • 文中针对基于LCTF的水下光谱成像仪开展了水下目标物的光谱图像光谱反射率重建方法研究。为克服水体散射对光谱反射率的测量的影响,在比对测量法的基础上,引入黑白板对反射率测量结果进行矫正。实验结果表明,通过改变水体浊度和光照条件并且用文中提出的基于黑白板矫正的光谱反射率测量方法,可精确地从光谱图像数据中准确提取出目标物的光谱响应曲线和光谱反射率曲线。最终的实验结果表明光谱反射率最大绝对偏差为5.3%。进一步论证了基于LCTF的水下光谱成像仪所获取数据的准确性和可靠性。

Reference (21)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return