Correction of Gamma nonlinearity method by orthogonal fringe order subregional precoding

文中方法基于数字条纹投影三维测量技术^[11]，测量原理图1所示。计算机向投影仪传入一组正弦条纹图，并由投影仪依次投射至物体表面，相机拍摄经过物体表面调制后的图像并传入计算机，计算机结合标定结果和相位解算结果计算得到物体表面的三维坐标。

Figure 1.  3D measurement principle of digital fringe projection

条纹投影三维测量过程中需要获得相位信息，一般采用N步相移法，由投影仪向被测区域投射N步相移正弦条纹图，垂直于条纹方向光强可表示为：

式中：$ {I_n} $为N步相移中第n步（n=1,2,···,N）相移图的光强分布；$ {I_a} $为背景光强值；$ {I_b} $为光强幅值，二者均为常数，通常$ {I_a} = {I_b} $；$ \phi $为包裹相位值。可利用如下公式求得$ \phi $值：

获得周期性包裹相位值后需要展开相位，时域方法主要有多频法、多波长外差法和数论法^[12]，其中多波长法选择图像条纹数分别为$ {f_1} = M $、$ {f_2} = M - 1 $、$ {f_3} = M - \sqrt M $，通过$ {f_{13}} = {f_1} - {f_3} $、$ {f_{23}} = {f_2} - {f_3} $、$ {f_{123}} = {f_{13}} - {f_{23}} $三次相位差频得到主值相位级次为：

将级次代入下式可得周期唯一的绝对相位值^[13]。

实际测量中，由于投影仪与相机存在Gamma非线性，导致理想正弦条纹图经过整个系统后变为非正弦，从而导致产生相位误差，影响测量精度。在分析系统输入与输出关系时，常将其规格化表示为^[9]：

式中：$ {I_n} $为理想条纹图光强，即输入光强；$ {I_c} $为相机拍摄得到的光强，即输出光强；$ \gamma $为整个系统的Gamma系数。通过系统向一均质白板投射并采集0~255范围内以5个灰度值为步长的51幅灰度图，灰度响应曲线如图2所示，横坐标为理想输入光强，纵坐标为系统采集光强。在输入光强较弱时，输入光强增大时，采集光强变化缓慢；随着输入光强增大但未达到200时，斜率不断增大；而输入光强大于200时，采集光强已经饱和并保持在一定水平范围内波动。

Figure 2.  Gamma nonlinear gray response curve

预编码校正Gamma非线性的思想是通过标定拟合输出$ {I_c} $关于输入$ {I_n} $的函数关系$ f(·) $并将其反函数$ {f}^{-1}(·) $作用于输入图像^[14]，即：

为抵消或削弱公式(5)中$ \gamma $带来的失真，则需要提前标定出系统$ \gamma $值，进而在生成图像时编入$ \gamma $值的倒数实现反向变换，即：

然而，用该模型常常不能准确描述灰度曲线，导致预编码效果并不理想。

若将预编码模型改用多项式表示输入的原始图像与相继采集的输出图像之间的光强关系，光强经过投影仪与相机的三阶非线性响应，所以多项式次数取7次，可表示为：

若直接对上式求反函数得到结果并不唯一，不妨直接将输入与输出置换，求输入$ {I_n} $关于输出$ {I_c} $的函数关系$ g(·) $，即：

利用图2数据比较公式(7)和(9)两种模型拟合结果如图3所示，其中点列表示每幅图平均灰度值，由图中蓝色拟合曲线可以看出公式(9)更为准确地拟合了输出与输入之间的非线性关系，因此预编码主动校正模型采用多项式模型。

Figure 3.  Effect of two precoding models

许多测量系统一般使用商用投影仪投射条纹图像，投影范围内不同位置亮度不完全一致，导致Gamma值不一致^[10]。如图4所示，由相机采集某部分投影区域（非投影中心）等步长灰阶图像，对其纵向某行每25×25个像素灰度平均值，并由此计算一次该范围Gamma值，得到Gamma分布图，Gamma值在该投影范围波动下降，证明Gamma分布不一致且随灰度值变化。

Figure 4.  Gamma distribution

所以对整个测量范围并不能使用单一Gamma值。整个视场的输入输出关系由公式(5)进一步表示为$ {I_c} = {\left( {{I_n}} \right)^{\gamma (x,y)}} $。

若对输入条纹图进行分区域校正，不能直接对输入图像划分相等边长的像素区间并直接代入拍摄灰度图分割后拟合的多项式系数。因为投影图像与拍摄图像大小、方向（文中考虑二者图像坐标系相差近似90°的极端情况）并不一致，投影仪与相机光心位置随机且一般不重合。因此需要找到拍摄灰度图与待编码投影图之间的像素对应关系，从而将拍摄图像子区域的多项式系数对应到正确的待编码输入图像子区域。

相位信息具有将世界坐标与图像坐标联系起来的作用，可利用正交相位映射关系分区并匹配各个子区域的编码值。但若以像素点为单位进行相位映射分区，像素间Gamma值变化不明显，且计算量过大，遂考虑以正交方向的正弦条纹图的纵横级次^[15]的n倍为单位进行分区。

选择级次倍数决定了划分区域的大小，进而决定校正的精度与运算速度。倍数越小，所分区域越小，编码值越能精确表示子区域，但同时区域越多导致计算越慢；倍数越大，计算越快，但编码精确度越低；当倍数大于一定值时，将不具针对性。具体倍数可根据相位误差随Gamma值变化情况确定。以四步相移(N=4)为例，根据参考文献[8]，相位误差表示为：

式中：$ {B_k} $为高次谐波系数。当$ \gamma $不为整数时，有$ {B_{k + 1}}/{B_k} = \left( {\gamma - k} \right)/\left( {\gamma + k + 1} \right) $，则：

将其代入公式(10)，并对两边求导，令$\rm{d}\Delta \phi /\rm{d}\phi = 0$，得到相位误差关于相位变化的最大值为：

通过上式计算图4各个Gamma值对应$ \Delta {\phi _{\max }} $，利用二次多项式拟合并求导，将图4中Gamma最大值代入，得到相位误差最大值变化量与Gamma变化量关系：

则只要确定$\rm{d}\Delta {\phi _{\max }}$精度要求，即可计算出$\rm{d}\gamma$最小值作为阈值，则级次倍数所划分各区域均应满足Gamma值极差小于阈值，即：

式中：M代表级次倍数；$ \gamma _{\max }^M $、$ \gamma _{\min }^M $分别表示以M倍级次分区后某一区域内各像素点真实Gamma值的最大值和最小值。

具体分区域及预编码步骤如下：

（1）向均质白板投射$ K = \left[ {255/s} \right] $（s为步长）幅等步长灰阶图并采集。

（2）在同样状态下，投射正交方向标准正弦条纹图并采集。

（3）对步骤（2)所采集图片根据公式(3)计算级次。

（4）利用所拍摄区域内所得纵横M倍级次之间的交集对拍摄视场分区，则每个子区域$ {A_{ij}} $（i,j为相机视场内纵横M倍级次）像素点集为：

图5所示为拍摄81条纹图计算纵横级次后纵向第55单级次和横向第45单级次所交区域。

Figure 5.  Schematic diagram of level division of fringe pattern

（5）根据点集图像坐标$ {S_{ij}}\left( {u,v} \right) $提取步骤（1）中的K幅灰度图中对应的像素点集对应灰度值$ {S_{ijk}}\left( {u,v,I} \right) $，并求每幅图点集灰度平均值${\bar I_{ijk}} = \dfrac{1}{L}\displaystyle\sum\limits_{l = 1}^L {{I_l}}$，其中k表示第k幅图，L为点集$ {S_{ij}} $中点的个数。

（6）将过曝值去除后，对其余$ k' $个灰度值$ {\bar I_{ijk'}} $与对应$ k' $个理想线性灰度值根据公式(9)计算该子区域预编码多项式系数$ {B_{ij}} = \left\{ {{b_1},{b_2} \cdots {b_7}} \right\} $。

（7）针对每个子区域多项式系数确定相应$ {I_a} $、$ {I_b} $值，使三者组合后的条纹对比度最大化，即：

（8）在生成标准条纹图时，根据公式(1)预计纵横条纹级次分布，根据公式(9)将每组预编码系数$ {B_{ij}} $、$ {I_{a/b(ij)}} $应用到对应子区域$ {A_{ij}} $，最终得到拍摄范围所对应部分被系数阵列校正的N步相移纵横条纹图，而其余部分保持原始状态，即多项式只有一次项且系数为1。图6所示为单倍级次分区映射原理及81条纹图分区域预编码校正后效果图。若要获得整个投影范围编码值，可移动或增加相机扩充拍摄范围，将新增多项式系数代替原始系数补充进81×81组系数阵列。

Figure 6.  Effect picture of 81 fringe pattern after precoding correction

为验证该方法在实际应用时的可行性和有效性，文中使用了一套测量系统进行实验验证，系统主要由一台BenQ LX833STD激光短焦投影仪，分辨率1024×768 pixel；一台Basler acA2040-120 μm面阵相机，分辨率2048×1536 pixel；一块均质白板，大小420 mm×300 mm。由于三步相移的相位误差明显大于四步相移^[8]，且目前四步相移应用更广泛，所以采用四步相移进行Gamma非线性校正前后的效果对比更能体现该方法的有效性；由于测量视场范围较大，所以主值条纹图选择81条纹图结合进行实验，则令两组图像条纹数分别为80、72，考虑纵横方向后，最终需要投射的条纹图片数为24幅；以相位误差变化量小于最大相位误差的0.1倍为精度，则$ d\Delta {\phi _{\max }} = 0.1\Delta {\phi _{\max }} \approx 0.04 $，$ {\left( {d\gamma } \right)_{\min }} \approx 0.13 $，以拍摄到较宽的横条纹（投影仪图像坐标系下的纵条纹）为准，对应81条纹图$ M \leqslant 3 $倍级次，在保证精度的基础上，为保证运算速度，遂取级次倍数为3进行分区。

向均质白板投射51幅等步长灰阶图并采集后，分别用计算单一多项式系数、采集条纹纵横级次分区域计算多项式系数方法生成条纹图并采集，输入条纹图与采集条纹图某列的灰度值对比局部图（以相机坐标系方向）如图7所示，由图7(d)大致可看出，经过预编码校正的条纹图与投影仪和相机的非线性抵消后的灰度曲线更接近理想的正弦波。

Figure 7.  Comparison of fringes generated by different correction methods and fringe gray images collected

计算三种情况下拍摄的均质白板条纹图的整个平面相位，并投射20步相移图计算相位作为基准相位面，将三个相位面分别与基准相位面做差，得到相位差平面如图8(a)~(c)所示。

Figure 8.  Phase difference plane partial graph

图8(d)、(e)显示了对应三种情况下在纵向相位变化方向上某一整行的主值相位与理想相位的差，理想相位由未校正的测量相位经过多项式拟合得到。可以看出，经过多项式预编码校正的相位误差明显小于未校正的相位误差而经过分区域校正后效果也好于不分区域校正的结果。表1所示为在这三种情况下整个采集范围内的标准差等情况，其中分区域校正方法相比未校正时标准差减少82.24%，相比不分区域校正方法标准差减少20.59%。

测量圆盘并进行三维重建，图9为重建结果，可以看出经过文中方法校正后相比校正前圆盘表面更为光滑，波纹程度明显减轻。

Figure 9.  Reconstruction results of measurement disk

文中分析了三维测量系统存在的Gamma非线性导致产生相位误差的问题，并建立模型分析Gamma非线性响应变化趋势，不同区域Gamma值不尽相同。提出了正交条纹级次分区域预编码校正Gamma非线性方法，对于某个随机的投影仪与相机之间的位置关系，利用纵横条纹级次对视场分区，用所拍摄等值递增的灰度图像计算每个区域的多项式系数并统一生成编码条纹图，实现了分区域多项式预编码。实验证明：分区域校正方法相比未校正时标准差减少82%，相比不分区域校正方法标准差减少20%，用于测量也效果良好。如同系统标定只需精确标定一次即可应用于之后的测量，文中方法也只需精细化计算一套分区域多项式系数并由此生成编码条纹图，即可满足该系统此后的测量需要，准确性高，灵活性强，实用性强。