HTML
-
液体透镜是一种具备焦距受控调节功能的新型光学器件，与传统光学透镜的主要区别在于其自身焦距能够由输入电信号直接进行调控，焦距调控通过改变材料折射率、表面曲率等参数实现，不依赖于机械运动结构，具有结构紧凑可靠、动态性好、易于集成控制等特点。随着器件性能水平和制造质量的不断提升，液体透镜在空间位姿测量、三维重构、目标跟踪捕获、机器人测量控制等机器视觉测量任务中的应用潜力日益凸显[1-3]，其中基于液体透镜的光学调焦作为一项重要的基础应用技术，由于能够取代传统机械调焦组件实现快响应、无运动器件的光学调焦，得到了国内外同行的持续关注。
根据焦距调节原理不同，液体透镜可分为变折射率液体透镜和变曲率液体透镜两类。其中变折射率透镜[4]基于液晶材料分子取向分布的电控调节使透镜整体呈现折射率渐变，其响应时间较长，对输入光束的偏振态敏感，在实际应用中存在较多限制。变曲率液体透镜包括电润湿液体透镜[5]和柔性薄膜腔液体透镜[6]两种，它们都通过输入电信号改变液体表面曲率半径进行焦距调节，其中电润湿液体透镜是基于电润湿效应原理，通过改变液体与基底间电压调控液体外形，从而改变透镜焦距；柔性薄膜腔液体透镜通过电磁致动器控制液态光学介质的腔体内部压力，使柔性薄膜曲率发生变化，从而实现焦距调控。电润湿液体透镜与柔性薄膜腔液体透镜的响应时间均可达到10 ms以内，而后者更容易实现大通光口径结构，并且光学面型受重力影响相对较小，文中将基于柔性薄膜腔液体透镜构建电控调焦单目视觉系统并开展研究。
在各类机器视觉测量系统构建过程中，首要工作是通过标定获取系统内参，而液体透镜调焦系统在工作过程中焦距、主点坐标、畸变系数等参数均随透镜输入电流、环境温度、重力变形等因素变化，难以直接应用现有方法进行准确标定，这一特点限制了液体透镜调焦技术在机器视觉测量领域中的应用推广。为解决上述问题，国内外学者开展了一系列研究工作，Wang等人[7]基于电磁力学模型分析了液体透镜电流-焦距模型，但计算过程需要电磁致动器的结构参数和柔性薄膜材料的弹性系数、泊松比等参数作为输入量，这些参数在商用器件的应用中通常难以获取，限制了该方法的推广；Sugiura等人[8]分析了重力对液体透镜的影响作用方式，定量给出了透镜竖直放置状态下的光轴偏移程度，但在实际应用中重力方向往往与透镜轴线方向不垂直，该方法难以直接用于补偿；Wu等人[9]针对变焦镜头随焦距变化的内参矩阵系数和畸变模型系数，建立了相应的标定模型，提出了基于棋盘格靶标的标定方法，该方法不能直接用于液体透镜调焦系统标定，但其思路具有一定指导意义；Hu等人[10]利用液体透镜的多个输入状态下进行内参标定，并利用插值、二次多项式拟合等方法确定液体透镜焦距与输入电流关系，该方法未考虑外部影响因素，实际应用中精度不高；Lu等人[11]提出了基于三次多项式的调焦模型和基于查找表的温度干扰补偿方法，该方法具有一定实用性，但其调焦模型物理依据不明确，基于插值的温度补偿过程繁琐且精度有限，同时缺少对重力作用影响的分析。综上所述，目前尚未建立准确可靠的液体透镜调焦系统内参数学模型，在实际应用中通常采用插值法近似获取内参数值，但后者操作繁琐、精度不高，限制了液体透镜调焦系统在机器视觉测量领域的应用。
文中工作旨在建立一套有效的液体透镜调焦视觉测量系统内参标定方法，该方法物理模型明确，能够补偿环境影响，与现有方法相比具有标定精度高、标定步骤简明易行等特点。首先从液体透镜器件的多物理量耦合模型出发建立电控调焦数学模型，并针对温度、重力等典型外部影响因素的作用模式建立相应的补偿数学模型，然后结合器件具体结构形式提出外部影响量补偿方法并建立补偿装置，最终基于针孔相机模型和液体透镜数学模型，提出液体透镜调焦系统内参标定方法，并开展实验验证。
-
文中构建的液体透镜调焦视觉测量系统结构如图1（a）所示。系统由液体透镜、成像镜头、倾角传感器和相机等部件组成，系统采用Optotune公司的液体透镜产品，型号为EL-16-40-TC-VIS-5D-C，其通光口径为16 mm，光焦度调节范围为−2D~+3D，液体透镜安装在成像镜头外侧，成像镜头焦距为50 mm，工作过程中对焦环锁定在无穷远位置。
Figure 1. Optical scheme of liquid lens focusing system and working principle of typical focusing system
图1（b）、（c）所示分别为文中液体透镜调焦系统与传统机械调焦系统工作原理，当工作距离发生变化时，图1（c）所示的机械调焦系统通过机械运动改变系统后截距，使图像传感器平面与像平面重合，实现清晰对焦；图1（b）所示的液体透镜调焦系统通过调控输入电流，使液体透镜光焦度在0~+3D范围内改变，确保物平面始终与液体透镜前焦面重合，从而在333 mm~∞工作距离范围内实现基于液体透镜的电控对焦。
由调焦工作原理对比分析可知，液体透镜调焦系统是将机械调焦中的机械运动转化为液体透镜的焦距调控，从而实现快速无机械运动调焦。另一方面，液体透镜光学性能易受输入电流、环境温度和重力方向等因素影响，焦距、光轴方位等参数在工作过程中为变量，难以通过传统视觉模型进行内参标定。下面从液体透镜工作机理与外部因素影响原理出发，分析并建立液体透镜工作模型和相应误差量的补偿模型，作为研究系统内参标定方法的基础。
-
柔性薄膜腔液体透镜结构与工作原理如图2所示。当载流线圈电磁场与永磁体磁场方向相同时，控制腔中的液态光学介质在压力作用下进入光学腔，使光学腔柔性薄膜向外凸起，此时液体透镜焦距fliq'>0；载流线圈电磁场与永磁体磁场方向相反时，在相同机理作用下，液体透镜焦距fliq'<0。文中主要针对fliq'>0的工作状态进行研究。
Figure 2. Structure diagram and electric controlling principle of liquid lens based on elastic membrane cavity
在图2所示的电磁致动器结构中，载流线圈轴线方向磁场强度H(z)可近似表示为：
式中：I为线圈输入电流；rmin为线圈最内环路半径；zr为考察点与线圈平面距离；nr、kr分别为线圈匝数和层数。在磁场作用下，载流线圈电磁场对永磁体产生的电磁力FE表达式为[7]：
式中：Br为永磁体剩磁；Am为永磁体底面积；Vm为永磁体体积。将公式（1）代入公式（2），并用C1表示常数项，可得：
在电磁力FE的作用下，液体透镜柔性薄膜向外凸起，面型近似为球面，其中心高度为：
式中：pE为腔体中液态介质压强，且有pE=FE/Am；p0为液态介质初始压强，通常远小于pE，此处可忽略不计；Em为柔性薄膜的杨氏模量；νe为柔性薄膜的泊松比；a为柔性薄膜光学腔通光半径；he为柔性薄膜厚度；ε0为柔性薄膜的预应变。
根据球面几何关系与透镜焦距公式，可得液体透镜焦距表达式：
式中：Re为液体透镜柔性薄膜曲率半径；n0、nliq分别表示空气折射率、液态光学介质折射率。由公式（5）可见，液体透镜焦距fliq与输入电流I成反比。对图1所示的液体透镜调焦光学系统结构应用光学系统组合焦距公式，系统总焦距可表示为：
-
温度变化通过改变液体体积和折射率，使参量hmax和nliq发生变化，通过公式（5）对透镜焦距fliq造成影响。根据参考文献[12-13]，在10~50 ℃范围内，酒精、硅油等常见液态光学介质的密度、折射率均与介质温度T成线性关系：
首先考虑光学介质密度ρliq变化引入的影响。以T0为基准温度，当温度升高至T时，液态光学介质体积增加量为：
式中：V0为基准温度下的光学介质总体积；
$\; \rho _{liq}^{(0)} $ 为基准温度下的光学介质密度；$\; \rho _{liq}^{(1)} $ 为温度升高后的光学介质密度。由于介质密度相对变化量较小，在分母中使用$\; \rho _{liq}^{(0)} $ 代替$\; \rho _{liq}^{(1)} $ 进行约简。设薄膜凸出部分体积为VS，根据几何关系，基准温度下柔性薄膜中心高表达式为：
液态光学介质温度变化时，引起的体积变化量ΔV(T)与薄膜凸出部分体积VS相叠加，温度变化后薄膜中心高为：
当温度变化时，液态光学介质折射率按照公式（7）的关系变化。以T0为基准温度，当温度变化量为ΔT时，对应的折射率变为：
将公式（11）、（12）代入公式（5），并用光焦度参数Dliq代替焦距参数，可得到温度变化量为ΔT时，液体透镜光焦度表达式：
硅油类液态光学介质折射率与温度之间的线性系数kn绝对值较小，可以忽略不计；同时，根据公式（5）可得光焦度与输入电流的关系Dliq=1/fliq=I/C3，用C6表示常数项，可得到基准温度等效电流
$ {I^{(0)}} $ 的表达式：由上式可知，在工作温度T下对液体透镜输入电流
$ {I^{(T)}} $ ，能够实现与基准温度T0下输入电流$ {I^{(0)}} $ 相同的焦距调节效果。在计算焦距时通过公式（14）求出的基准温度等效电流$ {I^{(0)}} $ 替代实际输入电流$ {I^{(T)}} $ ，能够补偿温度变化对系统焦距参数的影响。 -
当液体透镜以非水平方向放置时，由于重力方向与光轴方向不一致，透镜外形将产生非对称形变，透镜光轴方向也将沿重力方向偏移。
首先考虑液体透镜竖直放置的情形，采用图3所示的柱面模型对薄膜受力情况进行简化分析，令柱面方程为z=f(y)。
Figure 3. Cylindrical mechanical model of liquid lens
在柱面上沿X方向取一宽度为dx的窄带，并在窄带内高度为y的基准点向上截取高度为dy的区域PQRS。设薄膜张力为Te，液体重力Z方向分量为Fg，液态光学介质压力Z方向分量为Fp，根据作用力平衡关系FT+Fg+Fp=0建立微分方程，求解可得柱面与Y-Z平面交线方程：
式中：j=(p0+pe)/2ρga为与致动器输入压强相关的变参量。由公式（15）可知液体透镜曲面顶点位置在重力作用下的偏移量Δyν仅与j相关，并且二者近似成双曲线关系，用qz表示常数项，可得关系式：
考虑液体透镜沿与竖直方向成θ角放置的情形，在公式（16）中用关于θ的一次函数
$ {q_z}(\theta ) = {k_q}\theta + {b_q} $ 近似表示参量qz与倾角θ之间的关系，并用gcosθ代替g，则液体透镜曲面顶点偏移量Δyv可表示为：接下来分析由液体透镜曲面顶点偏移Δyν引入的调焦光学系统光心偏移量Δyimg。如图4所示，重力变形后透镜曲面顶点O'处斜率tO'=dz/dy=0，在Δyν较小的情况下，根据公式（15），液体透镜几何中心点O处的斜率可近似表示为：
Figure 4. Relationship between liquid lens' surface vertex offset and deflection angle of chief ray
设φ1'为光学系统主光线Lb经液体透镜折转后与光轴的夹角，根据几何光学成像关系，主光线对应像点（光心）在y方向的偏移量为：
式中：ffix为成像镜头焦距。整理以上各关系式，并用一次函数Te=keI+be近似表示薄膜张力与输入电流的关系，可得：
根据参考文献[11]，液体透镜工作状态下，j值通常大于30，因此公式（20）中(1+2j)项可用2j近似代替，用C7、C8、C9表示常系数，可化简公式（20）得到光心竖直方向偏移量与夹角θ、输入电流I之间的关系：
-
为补偿温度、重力等环境因素对内参的影响，实现系统内参的准确标定，设计了图5所示的标定装置与相应的标定流程，并提出系统内参系数拟合标定方法。
Figure 5. Environmental influence calibration device
-
由1.2节分析可知，基准温度等效电流I(0)是输入电流I(T)和温差ΔT的函数，通过在不同温度、不同输入电流下采集多组测量数据，即可通过拟合确定I(0)表达式各项系数。据此设计基准温度等效电流标定装置如图5(a)所示，主要包括平行光管、珀罗板、被测液体透镜、CMOS相机与计算机等器件。
基于该装置的基准温度等效电流标定流程如下：首先调整平行光管、液体透镜和CMOS相机相对位置，使三者光轴重合，然后调节液体透镜与CMOS相机间距至某一大于液体透镜最短焦距值并固定；将环境温度调至基准温度T0，改变液体透镜输入电流，使珀罗板图像清晰，记录此时图像中珀罗板某一线对间距像素数d0和输入电流I0(0)，在预设温度范围内逐渐升高环境温度，在各温度点调节液体透镜输入电流，使珀罗板线对间距保持不变，记录n组输入电流值与温差值；升温至上限后，改变液体透镜与CMOS相机间距，重新从基准温度开始重复上述升温测量过程，共测量m次。利用上述m×n组数据，拟合求解基准温度等效电流表达式（公式（14））中的常数项参数C6。
-
包含液体透镜调焦组件的相机在重力作用下，主点将沿竖直方向偏移，偏移量与液体透镜倾角θ及输入电流I关系由公式（21）给出。为了确定式中系数C7、C8、C9，设计了图5(b)所示的标定装置。
装置由光纤激光器、光纤准直器、ND滤光片、被测液体透镜、成像镜头、倾角传感器、CMOS相机、可调倾斜台组成。在标定过程中，首先调节倾斜台使液体透镜光轴与重力方向重合，此时液体透镜沿水平方向放置，重力作用影响量为零，在该状态下调节各部件相对位置，确保光纤准直器发出的激光与系统光轴重合；从90°开始逐渐减小倾角值，在不同的倾角下记录若干组主点位置偏移量与输入电流数据，对主点重力偏移量表达式（公式（21））中的常系数参量C7、C8、C9进行拟合求解。
-
根据线性相机模型，相机坐标系下坐标为(Xc,Yc,Zc)的空间物点与图像平面共轭像点坐标(u,v)的关系可表示为[14]：
式中：s为比例因子；等式右侧第一项为内参矩阵，其中fx、fy分别为像平面u轴、v轴归一化焦距，(u0,v0)为主点在u-v坐标系下的坐标。
对于液体透镜调焦相机，将公式（6）、（21）代入内参矩阵，使用α1、α2、α3、β1、β2、β3表示未知常系数，并用基准温度等效电流I(0)替代输入电流I，相机内参矩阵可表示为：
考虑实际相机系统的光学畸变，设与理想像点(X,Y)对应的实际像点为(X′,Y′)，二者关系为：
在考虑前两阶径向畸变和切向畸变的情况下，像点偏移量δX和δY的函数表达式为：
式中：k1、k2为径向畸变系数；p1、p2为切向畸变系数。在变焦相机系统中，这四个畸变系数可以用下式表示[15-17]：
式中：a1~a12为常系数；fmean=(fx+fy)/2，可通过相机线性模型内参矩阵相应元素求出。
由公式（24）、（26）可见，文中采用的液体透镜调焦相机内参模型待定系数共有18个，包括内参矩阵的六个待定系数α1、α2、α3、β1、β2、β3和非线性畸变参数的12个待定系数a1~a12；在由I(0)、θ唯一确定的每个工作状态下对相机进行标定，可建立关于上述系数的七个方程，对相机在三个以上不同工作状态下进行内参标定，即可通过拟合方法由超定方程组求出全部未知参量。
-
基于上节参数标定方法搭建图6所示装置进行基准温度等效电流标定、系统主点重力偏移标定和相机内参综合标定实验，对文中提出的标定方法可行性进行验证。
Figure 6. System parameter calibration devices
-
按照2.1节所述方案，搭建图6（a）所示标定装置。标定过程中，令系统基准温度T0为26 ℃，通过液体透镜内置温度传感器获取器件内部温度值，共在五个不同距离下重复温升标定步骤。
对各轮标定得到的基准温度等效电流、实际输入电流、温升值数据进行拟合，所得结果为图7所示的三维平面。将拟合所得系数代入公式（14）模型，可得基准温度等效电流表达式：
Figure 7. Test data and fit result of reference temperature equivalent current
-
构建图7（b）所示的主点重力偏移标定装置，利用2.2节方法对公式（24）各项系数进行标定。其中相机与重力方向夹角调节步长为10°，在各测量角度下，输入电流范围为0~170 mA，电流调节步长为17 mA。测量过程中应用加权质心法求取激光光斑坐标，并采用基准温度等效电流对输入电流值予以补偿。
图8所示三维曲面为基于公式（21）模型对角度θ、输入电流I、主点沿v轴偏移量Δyimg关系的拟合结果。将拟合所得参数代入模型，可得主点重力偏移量表达式：
Figure 8. Calibration result of gravity induced principle point offset
-
搭建图6（c）所示的相机内参标定系统，基于2.3节方法标定液体透镜调焦相机内参表达式各项系数。标定采用单元长度为3、6、30 mm的棋盘格靶标，角点位置精度为10 μm，标定过程中保持相机位姿固定并调节液体透镜输入电流，在五个不同工作状态下变换靶标位置姿态并拍摄得到五组标定图像，对各组图像通过张正友方法求解相机内参值，并利用最小二乘拟合求取内参表达式各项系数。表1为相机内参fx、fy、v0、k1、k2、p1、p2表达式系数的拟合结果，其中在对畸变参数k1、k2、p1、p2拟合时，使用经过归一化处理后的焦距均值fmean(norm)参与拟合运算，可改善拟合结果的稳定性。
Expression of fitting intrinsic parameters Fitted coefficients P1 P2 P3 $ {f_x} = \dfrac{1}{{{P_1} \cdot {I^{(0)}} + {P_2}}} $ −4.366×10−8 1.100×10−4 - $ {f_y} = \dfrac{1}{{{P_1} \cdot {I^{(0)}} + {P_2}}} $ −4.006×10−8 1.097×10−4 - $ {v_0} = {P_1} \cdot \Delta {y_{img}} + {P_2} $ 68.126 659.556 - ${k_1} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ −1.772×10−2 6.134×10−2 1.367×10−2 ${k_2} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ 1.198 −2.701 −18.785 ${p_1} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ 8.530×10−4 −3.357×10−3 1.002×10−2 ${p_2} = {P_1} \cdot f_{mean(norm)}^2 + {P_2} \cdot {f_{mean(norm)} } + {P_3}$ −1.060×10−3 8.194×10−4 4.432×10−4 Table 1. Expression of intrinsic parameters and fitted coefficients
由于机器视觉测量系统内参真实数值难以直接获取，所以文中基于内参标定结果测量尺寸已知的目标，通过目标尺寸测量结果精度间接验证系统内参标定结果的准确程度。
精度验证采用单元边长30 mm的棋盘格靶标，测量图像组共包含20幅由液体透镜调焦相机拍摄得到的靶标图像，每幅图像包含35个角点，图9（a）为全部角点的定位误差统计情况。根据统计结果，基于文中方法所得相机内参，图像角点空间映射结果位置偏差均值为0.10 mm，偏差量95%置信区间上限为0.268 mm，最大偏差值为0.368 mm；利用映射所得角点坐标求取棋盘格靶标边长，最大相对误差为0.68%。
Figure 9. Statistical result of positional error using intrinsic parameters acquired by different methods
作为对照，采用插值法求取相机内参，基于相同的图像组重复上述精度验证步骤，角点定位误差统计情况如图9（b）所示，其中图像角点映射结果位置偏差均值为0.353 mm，偏差量95%置信区间上限为0.775 mm，最大偏差值为0.910 mm，利用坐标映射结果求取棋盘格边长的最大相对误差为1.25%。
以上实验结果表明，文中提出的液体透镜调焦系统标定方法性能优于插值法，在单目视觉空间坐标定位与几何尺寸测量任务中应用文中方法进行内参标定，能够达到更高的精度。
-
文中面向机器视觉测量应用需求，提出了一种液体透镜调焦系统内参标定方法。首先分析了液体透镜器件电控调焦工作机理及温度、重力等外部影响因素作用机理，建立了用以表征视觉系统内参与有关输入控制量、外部影响量之间关系的数学模型，提出了包括基准温度等效电流标定、主点重力偏移量标定和内参系数拟合标定等环节的标定方法。与插值法等同类标定方法相比，文中方法涉及的参量均具有明确的物理意义，并且补偿了环境温度和重力因素影响，在保持标定工作量基本不变的基础上，能够得到比现有方法更准确的内参标定结果。利用文中标定结果测量边长30 mm棋盘格靶标角点空间坐标，其中图像角点空间映射位置误差均值0.10 mm，棋盘格边长测量结果最大相对误差0.68%，两项误差比插值法所得内参的测量结果分别减小了27.2%和54.4%。文中方法在基于液体透镜的机器视觉测量实践中具有一定实用意义和推广价值。
DownLoad: