Accumulated error elimination method of aerial array image stitching

图像拼接技术是指将具有重叠区域的两张图像通过一定的变换关系组合成一张宽视野图像。航空遥感图像拼接技术是在航空遥感技术上逐渐发展进步起来的，随着航空遥感在测绘工程，军事侦察和灾害防治方面的应用越来越多，相应的遥感图像拼接技术也得到了飞速发展^[1-3]。目前，拼接误差积累消除是航空遥感图像拼接领域一个重点研究方向。

虽然国内外学者对图像拼接技术研究不断深入，解决了如拼接速度，拼接精度，去除拼接缝等一系列问题^[4－5]，但是对于图像拼接误差累积的问题仍然没有得到有效消除。例如，徐秋辉^[6]利用特征匹配进行微调，得到多条带拼接图像，但实验中以首张图像为基准，使得基准图像的误差传递给了下一张。Weiping Zhang^[7]结合L-M算法，有效较少了误差累积，但当图像数据增多时，误差累积仍然比较明显。Ruizhe Shao^[8]选择少量特征点作为锚点代替大量特征点进行特征匹配，保证了拼接速度，实验中如果图像重叠率较大并且畸变较小时，带来的误差累积效果不明显，但是图像数据重叠率较小时，实验中的误差累积会导致严重变形。

因此，文中提出了一种航空遥感图像无误差累积拼接方法。首先利用航空遥感平台位置与姿态信息完成图像投影变换与图像无误差累积粗拼接，并通过改进的坐标微调策略，进一步消除传统坐标微调的误差累积并提高图像拼接的精度。

传统图像拼接依靠特征匹配进行拼接^[9-10]，该方法仅考虑了相邻两张图像的映射关系，当进行多张图像拼接时，前一序列拼接图像间的误差传递到后续图像拼接效果中，如图1所示，理想情况下序列图像沿直线拼接，然而实际拼接时，图像可能会沿弧线一侧倾斜，造成严重的误差累积，且仅依靠该方法造成的误差累积不易消除，对后续图像拼接造成很大影响。

Figure 1.  Error accumulation

为了克服特征匹配拼接误差积累效应，利用每幅图像成像时的遥感平台位置与姿态信息，设置统一的地面空间分辨率D，逐幅图像向地面进行投影变换，保证每幅投影变换后图像拼接误差的独立性，避免传递性，继而消除了图像拼接的累积误差，如图2所示。当图像成像时，由航空遥感平台POS系统记录的摄影中心S₁、S₂经纬度坐标为地面坐标系O-XYZ中地底点P₁、P₂坐标。然后寻找像底点c₁、c₂的投影点C₁、C₂，即单幅图像投影后的原点位置，在图2中投影点C₁、C₂与地底点P₁、P₂重合。最后，在设置的地面分辨率D下，按照统一的图像方位，将投影后图像中投影点C₁、C₂与地底点P₁、P₂嵌套，即可完成无误差积累的粗略拼接。

Figure 2.  Schematic diagram of ground projection

每幅待拼接的图像均按照面阵图像构像方程，如公式（1）所示，进行投影变换^[11]：

其中，

式中：φ、ω、κ分别为相机的俯仰角、翻滚角和真航向角。

为简化投影计算，可将参考坐标原点移至摄影中心，即X_S=Y_S=Z_S=0；并且将投影后图像坐标单位转换为pixel，公式（1）可以改写为：

式中：D为设置的地面空间分辨率；X、Y坐标单位为pixel。根据公式（2）可以将图像中像点坐标(x,y)与投影图像中对应像素坐标(X,Y)建立联系。然后，将(x,y)处灰度值f(x,y)投影到坐标(X,Y)处。如果遍历图像中每一个像素即可完成图像的投影变换。

公式（1）中采用真航向角进行投影变换，除了保证投影后图像方位的一致性外，还使投影后图像正上方为真北方向（X轴方向）、正左方为正西方向（Y轴方向）；公式（2）中引入地面空间分辨率D，除为保证投影后图像方位地面空间分辨率的一致性，还使坐标单位转换为像素。这两种技术处理均是为了方便后续的图像拼接与评价工作。

按照公式（2）将图像投影后得到投影结果，如图3所示，图像的四个顶点坐标分别为(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)、(X₄,Y₄)。

Figure 3.  Determine the position of the projection point

由于投影点处在单幅投影图像的原点位置(X₀,Y₀)，故从图3可以看出，单幅投影图像原点为投影图像四个顶点坐标的最大值，即：

在地面空间分辨率D下，设置图像拼接区域图，区域上方为真北方向，如图4所示。首先在其中任意确定P_i点。例如，不失一般性首先确定P₁点坐标（X₁,Y₁），坐标单位：pixel；然后依次确定其他摄影中心对应地面点坐标。

Figure 4.  Determine the position of the ground nadir point

例如，P₂点坐标由地底点P₁、P₂经纬坐标(B₁,L₁)、(B₂,L₂)按公式（4）计算得到：

其中

式中：ΔB=B₂−B₁；B₀=(B₂+B₁)/2；ΔL=L₁−L₂；a为地球长半轴；e为地球的偏心率；e′为椭球第二偏心率；D为设置的地面空间分辨率。

在拼接区域图中，如果将每幅投影图像的投影点与对应的地底点嵌套放置，即可完成图像的无误差积累的粗拼接。但是，遥感平台位置与姿态信息的测量精度对图像投影变换效果影响较大。一般情况下，平台位置与姿态信息均存在一定误差，造成拼接图像中相邻图像间存局部错位情况，需要进一步利用图像间坐标微调提高拼接精度。

部分学者提出针对坐标微调提出各种策略，然而这些方法中使用某一条带或某一图像作为基准^[6]。当以某图像作为基准图像时，默认为该图像的位置不存在误差，当进行坐标微调时，基准图像的误差仍然存在并会将该误差传递到待微调图像。随着拼接图像数量增加，误差会进行累积，当误差累积达到一定数值，对后续图像产生影响。

例如，I₁到I_n是经图像粗拼接后得到图像，如图5所示，由于每张图像自身位置存在一定误差。当以I₁作为基准图像时，默认I₁自身位置准确，由此I₁自身误差被忽略了，但是在通过调整I₂以实现与I₁精拼接的过程中，I₁自身误差传递给了I₂。当前状态下，I₂看似与I₁完成了精拼接，但此时I₂位置并非其准确位置。进行I₃与I₂之间微调时，由于此时I₂在前一过程中进行了微调，I₃与I₂特征点间匹配关系发生了变化，为了使得二者能准确拼接，需将I₂微调后特征点与I₃匹配进行微调，由此误差再次累积。如此往复，进行到I_n微调时，I_n位置累积误差是前n−1张总和。

Figure 5.  Error accumulation of traditional fine-tuning

综上所述，坐标微调误差累积来源分为两部分，其一为没有考虑基准图像误差，导致基准图像误差传递给后续图像；其二为误差间的传递性，由于后续图像微调建立在与前一图像的特征匹配关系上，当前一图像微调后，二者间误差也由此传递。

针对拼接图像微调误差累积的问题，文中提出了无误差累积坐标调整策略。首先，针对第一部分误差累积来源，提出无基准图像微调，即不设定基准图像，将每张图像视为独立个体，对每张图像都需要进行坐标微调，以减小自身精度带来的误差，确保该值不会传递到后续图像。针对第二部分误差累积来源，提出全局图像微调策略。在上一步微调的基础上，综合考虑图像与其相邻图像间关系，再进行相应的坐标精调。

为了便于描述，采用图像行（或列）向坐标微调来说明，如图6所示。图6中5段粗实线表示5幅拼接图像位置，实线（图像）端点表示拼接图像重叠区域采用SIFT算法提取的同名像点位置。

Figure 6.  Image coordinate adjustment diagram

（1）重叠区域特征点错位误差值确定

在拼接图像的重叠区域利用SIFT算法提取同名像对坐标(x₁₁,y₁₁)、(x₂₁,y₂₁)、……、(x_1n,y_1n)、(x_2n,y_2n)，如图7所示，分别计算每对同名像点的位置差，如公式（5）所示：

然后，按照1 pixel的间隔步长，分别统计X轴方向与Y轴方向的误差直方图。最后，分别取两个方向直方图中极大值的均值作为特征点错位误差值m_x、n_y。

（2）坐标微调

图6中，粗拼接图像之间均有一定的错位，重叠区域错位像素值采用正值表示，间隔区域错位像素值采用负值表示。

为了防止微调的误差积累，采取拼接误差均分的思想，每幅拼接图像可以单独地根据图像坐标轴负方向错位值(m_x2,n_y2)和正方向错位值(m_x1,n_y1)，按照公式（6）单独进行微调。两端拼接图像的错位值可设置为(0,0)，如图6中所示的位置差表示方法。

如果ΔM （或ΔN）为正值，则向X （或Y）轴正方向微调|ΔM| （或|ΔN|）的像素距离；如果ΔM （或ΔN）为负值，则向X （或Y）轴负方向微调|ΔM| （或|ΔN|）的像素距离；如果ΔM （或ΔN）为零值，则不调整。

采用此方法进行坐标微调时，由于不选择基准图像，每幅拼接图像独立进行局部区域微调，拼接图像选择的先后顺序对微调效果没有影响，避免了基准图像误差传递，确保了坐标微调不会产生误差积累现象。

Figure 7.  Determine feature point misalignment error value

经过坐标微调后的图像克服了传统坐标微调的误差累积，但实验中仅经过坐标微调后的拼接图像之间仍然存在一定的误差，如图6中坐标微调示意图所示。为了进一步消除拼接误差，提出无误差累积坐标精调的办法。精调流程如图8所示。

首先，按照微调计算方法，重新计算微调后的拼接图像各匹配点间错位误差值m_x、n_y。其次，判断X轴或Y轴方向错位误差值的绝对值是否小于一定阈值ε，实验中阈值ε取为10。若大于ε，认为调整后精度仍达不到要求，则在调整后特征匹配关系基础上，按照坐标微调的方法再次进行坐标精调；若小于ε时，认为精调后精度达到预定要求，不需要调整。最后，经过多次的精调，直到拼接图像间错位误差值均小于设置的阈值ε即完成拼接。

如图6中精调所示，通过坐标微调及坐标精调，各图像间重叠区域及间隔区域缩小，相比于初始图像错位情况得到明显改善，体现了坐标调整无误差累积且精度高的优点。

Figure 8.  Coordinate adjustment flow chart

文中采取主观评价与客观评价相结合的方式对拼接后效果图像进行评价。主观评价准则采用国际无线电咨询委员会制定的CCIR500-1的主观评价标准^[12]，如表1所示。

然而图像拼接具有一定特殊性，由于图像拼接更加关注相邻图像间的灰度过渡和拼接缝带来的影响，而且主观评价对于图像拼接质量缺乏量化的标准，个人印象受影响的因素较多，因此客观评价也是很有必要的。

借鉴参考文献[12]中对图像质量评价的做法，选用SSIM算法对图像拼接质量进行评价。SSIM算法从亮度、对比度和结构相似度对拼接质量进行评价。评价公式（7）如下：

式中：C₁'和C₂'分别是为了防止分母过小引起函数不稳定而引入的常量；μ_x和μ_y为标准图像和待评价图像的平均强度；σ_x和σ_y为标准差；σ_xy表示两图像间互相关系数。

文中实验采用航空无人机拍摄某地区的序列图像，如图9所示，图像大小为5344 pixel×4008 pixel，航向重叠率为20%，姿态参数如表2所示。

Figure 9.  Experimental images

为了验证算法无误差累积的优点，采用序列图像拼接。按文中算法将图像序列拼接，首先给出文中算法结果与卫星影像叠合的结果，并与参考文献[3]进行比较，如图10所示。

Figure 10.  Comparison of experimental results. (a) Proposed experimental results; (b) Literature [3] experimental results

文中实验数据结果如图10（a）所示，由于文中采用了基于地理坐标方式拼接，使得单张图像间的误差不会出现传递，并且在进行坐标微调时，确保了每张图像间的同等变换，即使图像数量增加，也不会造成严重的图像畸变。而参考文献[3]实验结果如图10（b）所示，参考文献[3]以特征匹配的方法进行拼接，选择首张图像作为基准图像，靠近左上方的图像质量较好，能与卫星影像基本对齐，而随着拼接误差累积，右下方图像质量骤然下降，产生了明显的图像畸变。与图10（a）框中所选范围进行对比，发现参考文献[3]实验中影像明显产生畸变，且误差累积严重，不能与卫星影像实现对齐。随着拼接图像数量增加，图像产生的畸变也越来越大。通过对比可以发现，当选择以特征匹配作为拼接方法时，误差累积效果会进行图像间传递，而文中算法消除了图像拼接间的误差累积，由此验证了文中算法有效地解决了图像误差累积问题。

为了验证文中算法拼接的精度，采用主观评价与客观评价相结合的方法。给出参考文献[13]与文中算法细节对比结果，如图11所示。

Figure 11.  Experimental details contrast images. (a) Proposed experimental details; (b) Literature [13] experimental results; (c) Detailed comparison

主观评价方面，通过文中实验（如图11(a)所示）与参考文献[13]实验（如图11(b)所示）以及细节部分。参考文献[13]采用影像分层匹配的方式进行拼接，通过对拼接序列图像进行分层，将图像总体误差平均分配到各影像序列中，图像拼接总体效果较有改善，然而拼接图像局部细节不佳，拼接精度不高。如图11(c)所示，左图为文中细节部分，右图为参考文献[13]细节部分，通过对比发现参考文献[13]由于采用分层匹配拼接的思想，图像之间的拼接效果并不理想，出现明显拼接错位。

客观评价方面，采用SSIM算法对参考文献[3]，参考文献[13]，传统坐标微调结果与文中算法结果进行图像质量评价，对比验证文中算法精度。给出SSIM算法质量评价结果，如表3所示。

通过表3数据发现，参考文献[3]评价结果明显差于其他三种坐标微调结果。而文中算法的拼接质量较优于参考文献[13]和传统微调算法拼接质量。这是由于文中算法消除了图像拼接间的误差累积，并且进一步提高了拼接精度，同时兼顾了局部拼接和整体叠合的效果，整幅拼接图像结构上没有产生明显的错位。由此验证了文中算法拼接的精度。

为了充分验证文中算法无误差累积的优点，对比与卫星影像叠合的细节部分，如图12所示，图12(c)为细节对比图像，左侧为文中算法结果，右侧为传统微调算法结果。对比发现文中无误差累积微调算法结果能与卫星图像有效叠合，且无明显错位，而传统坐标微调与之叠合结果产生了明显的偏差，在区域1和区域2处，发现明显图像结果与卫星影像不能实现正确对齐。这是由误差累积导致的错位，当图像数量增加时，错位会更加明显。由此验证了文中算法的精度上高于传统坐标微调精度，体现了文中算法无误差累积的优点。

Figure 12.  Experimental details contrast images. (a) Proposed experimental details; (b) Traditional fine-tuning experiment details; (c) Detailed comparison

为提高拼接精度，文中在实验中采用迭代运算进行图像精调，由此给图像拼接处理带来了一定运算量。文中利用地理位置坐标进行图像粗拼接，定位误差不大于30 m，实验中设定图像分辨率为0.1 m，对应像素点距离不超过300 pixel。为使特征匹配对间距离不大于ε pixel，进行图像间坐标精调，由此可知，ε的大小将直接影响图像精调的计算量。文中根据实验数据，设定ε为10，共进行12次迭代运算。既保证了图像拼接精度，又不会使计算量急剧增加。

经过文中方法完成粗拼接及坐标调整，图像几何结构上完成对齐，基本满足图像拼接目视观察要求。

文中针对航空图像拼接误差累积问题，提出了航空面阵图像拼接的累积误差消除方法。通过实验对比表明，文中方法解决了图像拼接误差累积的问题。在图像质量评价和与卫星图像叠合中，说明文中方法有效地解决了图像拼接误差积累问题，很好地与地理空间二维信息保持了一致性。