-
采用TDI探测器成像遥感相机的积分时间需要根据卫星摄影点速高比进行调整。当满足理想积分时间条件时，像的移动速度和TDI探测器电荷转移速度相同，没有非正常像移。卫星平台飞行姿态的指向精度以及稳定度变化、偏流角变化、高频振动、积分时间失配等因素都会导致非正常像移[1-2]。平台指向精度，平台稳定度和偏流角变化可通过设计指标保证，控制在一定限度内；高频振动可通过仿真分析评价影响效果并采取隔震措施。文中研究对象为积分时间失配导致的非正常像移。像移是制约星载TDI探测器型相机实现高分辨率成像的主要原因，积分时间的精确测算对TDI探测器型空间相机成像质量保证尤为重要。对于TDI型空间遥感相机的积分时间实时测算本质上属于像移补偿问题，国内外研究像移补偿计算方法主要包括：(1)坐标转换方法；(2)光线追迹法；(3)基于联合变换相关器的测量方法。我国研究人员计算像移补偿参数主要采用坐标转换方法并进行了大量研究工作。王家骐等通过坐标变化的方法推导出一种高精度像移速度计算方法；巫兆聪等建立了考虑高程的成像矢量模型精确地计算相机成像时像点对应地面成像点的坐标及像移补偿参数[3]。
常规空间遥感相机积分时间计算的核心是求出摄影点斜距与摄影点地速的比值（简称速高比）。国内外获取速高比的方法主要有：平行狭缝法、扫描相关法、光程差法、外差法和直接计算法。其中光程差法与文中方法有类似之处，但原理和技术途径不同，其通过配置两台速高比传感器来实现，本质上是利用光程差原理进行解算；直接计算法利用导航接收机或者多普勒雷达测出摄影点地速，利用激光测距仪测出摄影点斜距，直接计算出速高比。而文中方法将常规速高比获取问题简化为图像匹配测距问题，即方法不需要精确测量摄影点斜距，取而代之的是通过简化计算模型来得到TDI型空间遥感相机积分时间的精确测量值，该方法对于被观测目标高程数据未知的情况下，摄影点斜距无法精确获得的应用场景尤为重要。就笔者掌握的资料来看，国内外的研究中，主要针对速高比获取方法进行了系统研究，而目标高程信息未知的情况下，航天领域中TDI型空间遥感相机积分时间的实时测算应用鲜见发表的文献。
一方面，在对地观测任务中，常规空间遥感相机积分时间的获取采用导航接收机系统速高比测算方法，为提高积分时间计算精度，导航接收机对摄影点速高比计算需要考虑加入数字高程数据。另一方面，在待观测目标高程信息未知的深空探测任务中，利用常规的导航接收机系统速高比测算方法来获得精确积分时间不可行。针对上述两方面的问题和应用需求，文中提出一种基于帧间角点匹配的积分时间实时测算方法，该方法可以较低的成本实现积分时间的实时测算，且不依赖于被观测目标点的高程信息，方法具备星上可实现性，且不会增加地面运管的复杂度，有效提高原始图像质量，测算方法同样适用于高程信息未知的深空探测任务。
-
TDI探测器型空间遥感相机在成像过程中，成像高度变化时，成像目标的像移速度将随之改变，对于TDI探测器，其正常工作的基本前提是光生电荷包的转移与像面上图像的运动保持同步，任何的误匹配都将导致图像模糊。为了保证同步，需要使像的移动速度和电荷包转移速度相同，实际工作中，电荷包转移速度由驱动电路垂直转移频率来确定，而在工程实现中垂直转移频率取决于系统积分时间的设定。即经过TDI探测器的一个行周期即积分时间，景物的像恰好移动一行[4]。因此，必须定期调整TDI探测器的行积分时间。对地观测任务中，常规积分时间计算即采用速高比测算方法来实现，公式如下：
$$ {{T}}_{\rm{int}}=\frac{d}{f}{\Bigg/}{(V/L)}_{\text{摄影点}} $$ (1) 式中：
${{{T}}_{{\rm{int}}}}$ 为积分时间；$d$ 为TDI探测器像元尺寸；$f$ 为相机焦距；$V$ 为摄影点地速；$L$ 为摄影点斜距；$ {(V/L)}_{\text{摄影点}}$ 为摄影点速高比，即摄影点地速与摄影点斜距之比。速高比测算积分时间通过星上导航接收机系统来实现，导航接收机根据测定的惯性坐标系下的位置坐标
$ {(X,Y,Z)}_{\text{惯性系}}$ 和速度坐标$ {({V}_{{x}},{V}_{y},{V}_{{\textit{z}}})}_{\text{惯性系}}$ ，结合姿态角估值以及相机与卫星本体坐标系转换关系，即可以确定相机在惯性空间的指向，从而求得相机在不同姿态时视轴与地球面的交点，并最终得到该时刻对应的速高比。进而利用公式（1）求出与轨道实时测试参数对应的TDI探测器积分时间。该方法的前提是把地球理想化为参考椭球模型，事实上，由于地面高程的影响，像点对应的地面成像点会发生偏移[3]，从而影响导航接收机对摄影点速高比$ {(V/L)}_{\text{摄影点}}$ 的计算精度，积分时间的失配将影响相机的光学成像质量。为提高积分时间计算精度，导航接收机对摄影点速高比计算需要考虑加入数字高程数据。即公式（1）中摄影点斜距
$L$ 计算时利用地表数字高程模型修正斜距值。巫兆聪等的研究结果表明高程对成像积分时间计算准确度会有一定的影响[3]。为了获取高质量和高分辨率的遥感影像，高程对TDI探测器型空间遥感相机成像质量的影响不可忽视。其中被观测对象高程的获得有两种方式：一是利用历史数据星上预置模型制作高程查找表，实时查找卫星成像位置的高程信息；二是卫星增设激光测距仪，实时测算成像点高程信息。在对地观测任务中，方式一需要预置星上高程模型，即首先要求高程信息是已知的，同时星上需要配置相应存储空间。2005年之后高分辨率SAR卫星系统陆续发射，它们的主要任务计划之一就是生成高分辨率的全球数字高程模型[5]。模型的获得存在固有需要解决的问题，如：高程误差的存在，测高精度低，数字高程模型精度的提高对星上存储空间的需求成指数增加等问题，高程模型误差源于星载DEM的采样间隔以及插值过程中产生的误差。由于高程是用来修正摄影点斜距信息的，根据常规速高比测算方法原理，摄影点斜距直接影响积分时间的计算精度。常规斜距的粗略计算模型需要利用光轴矢量和地球交点的精确模型，同时需考虑数字高程对斜距的影响。方式二可实时测算，但从工程实现考虑成本较高昂，且需要增加地面运管的复杂度。常规空间遥感观测类卫星平台以导航分系统、测控分系统、载荷分系统、数传分系统、测控分系统为基础配置。测绘类卫星会配置激光测距仪以获得精确的高程数据来实现载荷任务，但激光测距仪往往需要配合地面测绘应用进行使用。与此同时，在深空探测任务中，由于高程数据未知，没有预置DEM模型可用，而增配激光测距仪存在局限性问题，因此为了保障载荷任务的实时性，在目标高程数据未知情况下，为了实时获得摄影点精确斜距协助载荷任务，同时不增加地面运管的复杂度，可使用高频面阵CMOS测速相机替代激光测距仪来实现系统载荷任务。文中提出的基于帧间角点匹配测距的积分时间实时测算方法，依托高频面阵CMOS测速相机来实现，在考虑了高程信息影响的同时，兼顾了星上存储空间、成本控制以及地面运管的复杂度问题。
-
基于帧间角点匹配测距的积分时间实时测算系统工作原理及实施方案如下：系统除了配置TDI探测器型高分辨率相机用于实现高分辨率高质量遥感观测任务之外，在平台上增设一个高频面阵CMOS相机用于像移速度测算。高频面阵CMOS相机中利用一台星载智能处理器实现包括图像局部提取、帧间图像特征检测、帧间图像匹配、亚像元定位测距、积分时间实时解算的功能，将计算结果实时传输给高分辨率TDI探测器系统缓存，根据星上绝对时间依据时标信息定时执行相应的积分时间。从成本控制角度，高频面阵CMOS相机的低成本实施方案如下：（1）镜头与高分辨率TDI探测器系统主光学共用；布局与主光学错开一定的视场，会增加一定的光学尺寸，相对于单独增加一个镜头，更加经济实用，同时减小了镜头主体安装误差所引入的误差源影响。（2）星载智能处理器可以与主探测器共用；分时完成相关计算功能，节省硬件成本，同时相比独立单机而言，体积、质量和功耗均会得到优化。
系统保证积分时间实时性有以下三个方面措施：（1）提前开机。高频面阵CMOS相机相比于高分辨率TDI探测器系统需要提前开机成像并完成图像匹配测算；（2）整星布局。当两个系统采用两个独立的光学镜头时，整星布局需保证CMOS探测器视轴在主探测器视轴的前方；（3）整星前向侧摆。该措施是在受整星布局约束，两个系统的视轴布局无法满足高频面阵CMOS相机提前开机要求时，解决措施为整星前向侧摆来实现。现有方法常规计算时采用外推的方法来获得积分时间的预估值，而文中方法预置到高分辨率TDI探测器系统的积分时间值为实测值。以预置+定时执行的模式来保证系统测算滞后问题和积分时间精度问题。图1为测算系统实现方案的数据流。
图 1 基于帧间角点匹配测距的积分时间实时测算系统
Figure 1. Integration time real-time measurement system based on interframe angle matching distance measurement
高频面阵CMOS相机像移速度测算的基本原理是，在短时间内连续曝光两次对同一地物成像，得到两幅面阵图像，根据成像时间间隔
$\Delta t$ 和像移距离$\Delta L$ ，可以得到像移速度${V_2}$ ，进而可以计算得出TDI探测器型高分辨率相机的积分时间，图2和图3为测算系统原理图。计算过程如下。
图 2 测算系统原理示意图
Figure 2. Schematic diagram of calculating system principle
图 3 高频面阵CMOS像移速度V2测算原理图
Figure 3. Schematic diagram of high frequency array CMOS image motion velocity V2 calculation
假设卫星运行高度为
$H$ ，TDI探测器型高分辨率相机的焦距为${f_1}$ ，像移速度为${V_1}$ ；CMOS相机的焦距为${f_2}$ ，像移速度为${V_2}$ 。地物运行速度为$ {V}_{\text{地}}$ ，对于安装在同一个平台上的两台相机而言，地物的运动速度$ {V}_{\text{地}}$ 是相同的。因此存在以下比例关系：$$ \frac{{f}_{1}}{{V}_{1}}=\frac{H}{{V}_{\text{地}}} $$ (2) $$ \frac{{f}_{2}}{{V}_{2}}=\frac{H}{{V}_{\text{地}}}$$ (3) 公式简化得出：
$$ \frac{1}{{{V_1}}} = \frac{{{f_2}}}{{{V_2} \times {f_1}}} $$ (4) 而
${V_2}$ 可以通过相同地物在高频面阵CMOS测速相机上的间隔时间为$\Delta t$ 的两幅图像上的位移$\Delta L$ 计算得出：$$ {V_2} = \frac{{\Delta L}}{{\Delta t}} $$ (5) 设TDI探测器型高分辨率相机的像元尺寸为
${d_1}$ ，由像移速度${V_1}$ 以及像元尺寸${d_1}$ ，即可通过公式（6）计算出TDI探测器的积分时间${T_{\rm{int} }}$ ：$$ {T_{\rm{int} }} = \frac{{{d_1}}}{{{V_1}}} = \frac{{{d_1} \times {f_2} \times \Delta t}}{{\Delta L \times {f_1}}} $$ (6) 系统测算过程中利用多种典型地物在时间间隔为
$\Delta t$ 的多帧图像中的像元位置差来做平均，从而减小$\Delta L$ 的误差。需要注意的是，高频面阵CMOS的帧频必须和自身的像移速度匹配，需高于
${1 / {{T_{\rm{int} }}}}$ 才能满足使用需求。现已有帧频大于1000${\rm{fps}}$ 的宇航级CMOS器件可满足帧频的需求。 -
由公式（6）可知，由于
${d_1}$ ，${f_1}$ ，${f_2}$ ，$\Delta t$ 可以认为是常数；根据现有测试设备及测试方法所能达到的能力，${f_1}$ ，${f_2}$ 的测量误差精度不超过2/1000；$\Delta t$ 误差来源有两种，一是与绝对时钟的固定偏差，二是时钟的温漂，对于高精度晶振，两者之和小于30 μs。因此积分时间${T_{\rm{int} }}$ 的误差主要来源于$\Delta L$ 。$\Delta L$ 的误差来源于图像匹配算法的精度。由算术合成法求绝对误差传递公式得：
$$ \begin{split} \Delta {{T}_{\rm{int}}}=&d{}_{1}\times (|{}{\Delta t}{/}{\Delta L\times {{f}_{1}}}\;|\times \Delta {{f}_{2}}+|{}{{{f}_{2}}\times \Delta t}{/}{\Delta L\times {{f}_{1}}^{2}}\;|\times \Delta {{f}_{1}}+ \\ & |{}{{{f}_{2}}}{/}{\Delta L\times {{f}_{1}}}\;|\times \Delta (\Delta t)\text+|{}{{{f}_{2}}\times \Delta t}{/}{{{f}_{1}}\times \Delta {{L}^{2}}}\;|\times \Delta (\Delta L)) \\ \end{split} $$ (7) 根据设计结果，系统以如下参数为例，轨高为300 km，TDI探测器型高分辨率系统采用7
${\text{μ}}{\rm{m}}$ 探测器，即${d_1} = 7\;{\text{μ}}{\rm{m}}$ ，焦距${f_1} = 3\;700\;{\rm{mm}}$ ；高频面阵CMOS系统采用6.7${\text{μ}}{\rm{m}}$ ×6.7${\text{μ}}{\rm{m}}$ CMOS器件，即${d_2} = 6.7\;{\text{μ}}{\rm{m}}$ ，焦距${f_2} = 116\;{\rm{mm}}$ ；系统焦距${f_1}$ ，${f_2}$ 测试误差按照2/1000来考虑，则有$\Delta {f_1} = 7.4\;{\rm{mm}}$ ，$\Delta {f_2} = 0.232\;{\rm{mm}}$ ，对间隔10帧的CMOS图像做匹配，帧频为100 fps，所以$\Delta t$ =100${\rm{ms}}$ ，$\Delta (\Delta t) = 30\;{{{\text{μ}}{\rm {s}}}}$ 。对于300 km轨高，焦距${f_2} = $ $ 116\;{\rm{mm}}$ 的CMOS相机，基于地球的像移速度约为${{1.6\;{\text{μ}}{\rm{m}}} / {{\rm{ms}}}}$ ；所以有$\Delta L = 160\;{\text{μ}}{\rm{m}}$ ，即典型地物在CMOS像面上帧间像的位移约为20个像元；通过对多个地物取像的位移平均以提高匹配精度，图像匹配算法当达到0.2个像元匹配精度，则$\Delta (\Delta L) = 1.34\;{\text{μ}}{\rm{m}}$ ，按公式（7）计算得出：$$ \begin{split} \Delta {T_{\rm{int} }} =& 7 \times (0.039\;19 + 0.039\;19 + 0.005\;88 + \\ & 0.164\;10) = 1.738\;5\;{{\text{μ}}{\rm{s}}} \end{split} $$ (8) 由相对误差计算公式可得：
$$ \begin{split} {}{\Delta {{T}_{\rm{int}}}}{/}{{{T}_{\rm{int}}}}\;=&|{}{1}{/}{{{f}_{2}}}\;|\times \Delta {{f}_{2}}+|{}{1}{/}{{{f}_{1}}}\;|\times \Delta {{f}_{1}}+ \\ & |{}{1}{/}{\Delta t}\;|\times \Delta (\Delta t)+|{}^{1}{/}{\Delta L}\;|\times \Delta (\Delta L) \\ \end{split} $$ (9) $$ {}{\Delta {{T}{\rm{int}}}}{/}{{{T}_{\rm{int}}}}\;=0.012\;7 $$ (10) 当达到0.1个像元的匹配精度，则文中方法的积分时间测算相对误差为
${{\Delta {T_{\rm{int} }}} / {{T_{\rm{int} }}}} = 0.008\;5$ 。从相对误差计算公式可以看出，面阵CMOS连续两次曝光所产生的像移
$\Delta L$ 的选值越大，则文中方法所得积分时间测算精度越高，但该值在工程实现选取时受限于积分时间实时性要求，常规系统对积分时间的延时要求不大于2 s，$\Delta L$ 的选值需兼顾精度和实时性两个要素。同时系统焦距的测量误差对积分时间的计算精度影响不可忽视。 -
由上文可知，基于帧间角点匹配测距的积分时间实时测算系统中积分时间
${T_{\rm{int} }}$ 的误差主要来源于$\Delta L$ 对于文中所述算法，$\Delta L$ 求取过程本质上是高频面阵相机帧间图像特征点检测、特征匹配和亚像元定位问题。因此，基于帧间角点匹配测距的积分时间实时测算误差源包括图像特征点检测、特征匹配和亚像元定位几个方面，文中采用角点阈值优化及先验知识剔除误匹配点的策略来减小由于匹配算法所引入的误差，以确保$\Delta L$ 计算精度满足系统设计需求。基于MATLAB平台进行仿真分析Harris角点算法在计算帧间像移
$\Delta L$ 的应用效果，图源来自国内民用高分辨率相机“高景一号”，轨高为500 km，结合仿真需要及应用特点，选取无人迹干预且纹理信息丰富的遥感图像，制作50组样本数据，模拟高频面阵CMOS测速相机在短时间内曝光所成两帧图像。实验样本图片规格尺寸：501×501 pixel；图片背景色彩模式：灰度；格式：jpg；。样本图像帧间位移设置为12个像元。 -
基于特征的图像匹配方法是遥感图像配准中最常见的方法之一，相比利用灰度信息，基于特征匹配具备精度高、对噪声灰度变化、图像形变具有鲁棒性高的优势。然而特征点检测提取的过程复杂、计算量大，星上处理资源有限不利于特征点提取配准方法的实现[6]。该应用区别于传统的图像配准，本质上是图像帧间测距问题，两帧图像拍摄间隔时间短，连续帧间图像内背景多为刚性位移，对比遥感图像主流匹配算法优缺点，Harris角点算法复杂度低运算量相对较小，使星上处理过程更具备时效性，更符合系统使用需求。该系统在Harris角点算法计算过程中，采用角点阈值优化及先验知识剔除误匹配点的策略，达到有效降低数据量提高匹配时效的效果，通过仿真验证了优化设计的可行性和有效性。
综合考虑算法实时性和有效性的需求，系统选用Harris角点特征检测算法来实现帧间像移
$\Delta L$ 的计算。该应用本质上是图像帧间测距问题，对特征角点及匹配点对的有效性和精度要求更高，故对特征点数量优化时选取固有特征稳定的强角点以减少误匹配，同时特征点数量减少，计算量相应下降。基于该应用在特征点检测阈值的选择上取强角点阈值。帧间图像匹配是针对选取的图像特征，对帧间待匹配点相似性度量进行计算的过程，由于短时间内曝光产生图像主要是刚性位移，针对该系统应用场景需求，经过对比特征点匹配算法的优缺点，其中归一化互相关（Normalised Cross-Correlation，NCC）方法解决了光照敏感的问题，有效规避了帧间图像的灰度差异。在剔除误匹配时利用先验知识对算法系数的选取进行了优化。对于给定案例中，先验知识为间隔10帧的高频面阵相机图像像移约为20个像元，匹配区域利用该值进行框选，区域外点对多为误匹配点对，予以剔除。实验结果是从50组样本结果中选取一组纹理信息较丰富的样本数据仿真结果为例进行分析说明。
图4(a)方框标记部分为边缘角点，其误匹配率高，通过利用先验知识优化匹配参数将边缘角点进行剔除。优化效果如图4(b)所示，误匹配剔除为匹配精度的提高提供了理论基础，同时匹配部分代码执行时间缩短了约0.8 s。可以看到优化后仍存在误匹配点，其对于
$\Delta L$ 帧间测距的影响在亚像元精匹配时会进行二次剔除。
图 4 先验知识对Harris角点误匹配的剔除效果
Figure 4. Elimination effect of prior knowledge on Harris angle point mismatching
由图5和表1的对比结果可知，角点阈值取值越小，则被检测角点数量相应增加，相比于优化后算法所得特征点的有效性更高，但是特征点数量增多增加了算法运算量，相应的代码执行时间成倍增加，优化后误匹配率从13.63%降低到7.14%，而优化前后匹配精度均值二者的性能相当，均达到优于0.1个像元。仿真结果验证了采用角点阈值优化及先验知识剔除误匹配点策略的有效性，降低了特征角点数量及特征点匹配运算量，代码执行时间提高了2倍。
图 5 Harris算法优化匹配效果
Figure 5. Matching effect optimized by Harris algorithm
表 1 Harris算法优化前后对比
Table 1. Before and after optimization with Harris algorithm
Before optimization After optimization Nunber of feature points detected 343/527 118/201 Logarithm of feature points match 88 14 Validity ratio of feature points 10.11% 4.38% Logarithm of mismatched points 12 1 Mismatch ratio 13.63% 7.14% Code execution time/s 2.539 1.325 Mean of matching precision 0.0431 0.0394 -
将剔除了误匹配的角点匹配对进行亚像元定位解算，算法原理是角点附近的点可分为在边缘上的点和非边缘上的点两类。边缘点的梯度方向与两者连线垂直，而非边缘点的灰度梯度为零，可见在角点附近点的灰度梯度均垂直于该点与角点的连线[7]。亚像元定位仿真结果如图6所示，图6(a)为优化前匹配精度曲线，图6(b)为优化后匹配精度曲线。由仿真结果可知亚像元优化后的全部匹配角点定位误差值优于0.13个像元。应用时取多组匹配角点所得
$\Delta L$ 的均值以提高精度，样本数据精度仿真结果$\Delta (\Delta L)$ 均值优于0.1个像元，基于强角点阈值和先验知识剔除误匹配点的选取策略，使得匹配角点对数量由88对降低为14对，而算法代码执行时间提高了2倍且匹配精度相当，均满足优于0.1个像元。经分析，系统误差对成像质量影响因子在设计范围内，可知该算法的帧间匹配误差在实时测算系统应用时可满足使用需求。考虑到样本数据的局限性，系统参数指标设计时$\Delta (\Delta L)$ 精度值按照0.2个像元进行考虑。下一节基于成像质量影响因子分析，对系统成像参数结合仿真结果给出了设置建议。
图 6 亚像元定位后
$ \Delta{{L}}$ 测量精度仿真结果（匹配误差为0的点对在上图中未作显示）Figure 6. Simulation results of
$ \Delta{{L}}$ measurement accuracy after sub-pixel positioning(Matching errors of zero are not shown in the figure above)针对样本数据场景，基于Harris角点检测匹配算法复杂度低、计算量小、纹理丰富场景的图像特征点检测及匹配效果较好，样本数据仿真验证结果统计信息表明，通过亚像元定位匹配精度可满足0.2个像元，由相对误差计算公式（9）可知积分时间测算相对误差为
${{\Delta {T_{\rm{int} }}} / {{T_{\rm{int} }}}}$ =0.0127，此时积分时间测算残差对成像质量的影响将在下一节进行分析。然而作为角点检测算法，Harris算法有其自身的局限性，对于纹理平滑的图像检测效果不理想，出现漏检甚至无特征点检出现象。而此种场景下SIFT算法则展现出了颇具优势的一面，Harris+SIFT相结合的检测算法应用将是帧间像移$\Delta L$ 检测算法改进的下一步研究方向。 -
系统的调制传递函数（MTF）是评价TDI探测器系统成像质量的重要参数，它表示系统再现景物图像的能力[8]。
相机积分时间计算残差对图像MTF的影响主要取决于像移失配量，一般分析积分时间残差对成像质量影响的方法是计算积分时间不同步引起奈奎斯特频率处的MTF[9]。积分时间计算残差对图像MTF的影响仅作用于TDI方向，主要决定于像移失配量，因此系统配置的TDI探测器型高分辨率相机的积分时间残差对图像的影响为[10-11]：
$$ {{{{MTF}}}_{\Delta {{T}_{\rm{int}}}}}={}{\sin (N \cdot \pi \cdot \Delta l \cdot f)}{/}{N \cdot \sin (\pi \cdot \Delta l \cdot f)}\; $$ (11) 式中：N为积分级数；
$\Delta l$ 为单级像移失配量。$\Delta l= $ $ {\Delta {{T}_{\rm{int}}} \cdot {{d}_{1}}}/{{{T}_{\rm{int}}}}\;$ ，代入公式（11）可得：$$ \begin{split} {{{{MTF}}}_{\Delta {{T}_{\rm{int}}}}}=&{}{\sin (N \cdot \pi \cdot f \cdot {{d}_{1}} \cdot {\Delta {{T}_{\rm{int}}}}/{{{T}_{\rm{int}}}}\;)}{/}\\ &{N \cdot \sin (\pi \cdot f \cdot {{d}_{1}} \cdot {\Delta {{T}_{\rm{int}}}}/{{{T}_{\rm{int}}}}\;)}\; \end{split} $$ (12) 根据上文仿真分析结论，帧间图像匹配精度按照0.2个像元考虑，进行残差对成像质量的影响分析。以0.2个像元的匹配精度为例，根据主流TDI探测器级数设置，当
$N$ 取不同级次，$f$ 为奈奎斯特频率，代入公式（12）可得${{\rm{MTF}}_{\vartriangle {T_{\rm{int} }}}}$ 如表2所示。当
$ {N \cdot \Delta {{T}_{\rm{int}}}}/{{{T}_{\rm{int}}}}\;$ =2时，在奈奎斯特频率极限处$f = {f_N} = {1 / {2\;{d_1}}}$ ，${{{MTF}}_{\Delta {T_{\rm{int} }}}}$ =0，根据对MTF的要求，只有成像系统的MTF≥0.02时人眼才能分辨。因此，这种退化一般认为是不可接受的。根据TDI探测器制造商研究报告，结合工程经验，像移小于0.3个像元尺寸则认为系统传函影响因子在可接受范围，需要满足$ {N \cdot \Delta {{T}_{\rm{int}}}}/{{{T}_{\rm{int}}}}\;$ <0.3，即${{\Delta {T_{\rm{int} }}} / {{T_{\rm{int} }}}} < {{0.3} / N}$ 。该影响因子在TDI探测器系统中呈现随级数增加而降低的特征。因此探测器使用的级数越多，系统对积分时间计算精度要求越高。由公式(12)分析，结合表2计算结果可知，为保证图像像质，积分级数应尽量选择低级数。给定案例中，当高频面阵CMOS测速相机帧间角点匹配达到0.2个像元匹配精度时，TDI探测器级数
$N$ 应不高于24级。当达到0.1个像元匹配精度时，TDI探测器级数$N$ 应不高于48级。从图7可以看出随着级数的增加，$MT{F_{\vartriangle {T_{\rm{int} }}}}$ 呈下降趋势。表 2 不同级数下积分时间计算残差对像质的影响因子
Table 2. Influence factors of integral-time residual error on image quality in different TDI stages
Integration stages ${ { {MT\!F} }_{\Delta { {{T} }_{\rm{int} } } } }$
（0.1 pixel precision）${ { {MT\!F} }_{\Delta { {{T} }_{ {int} } } } }$
（0.2 pixel precision）6 0.9989 0.9976 12 0.9957 0.9905 24 0.9830 0.9622 48 0.9329 0.8540 72 0.8529 0.6899 96 0.7478 0.4915 
图 7 TDI级数与
${{\rm{MTF}}_{\Delta {T_{\rm{int} }}}}$ 的关系Figure 7. Relationship between TDI stage and
${{\rm{MTF}}_{\Delta {T_{\rm{int} }}}}$ 文中以典型案例系统参数为例，由相对误差计算公式可知，系统焦距的测量误差对积分时间的计算精度影响不可忽视，因此系统设计时应综合考虑高频面阵相机帧间图像像移
$\Delta L$ 的算法优化和系统焦距测量方法两个设计要素，同时要兼顾图像匹配算法时效性和积分时间预置问题。 -
文中提出了一种积分时间实时测算方法，通过配置一台高频面阵CMOS相机实时计算像移速度，进而得出目标成像点的积分时间，作为TDI探测器型高分辨率相机的精确输入完成推扫成像，由于具备不依赖高程信息的特点，该方法可用于高程信息未知的深空探测任务中。方法简单有效，具备低成本及实时性，且星上易实现，能够有效提高原始图像质量。重点针对高频面阵CMOS相机图像帧间亚像元匹配计算问题进行了仿真分析研究，综合考虑算法实时性有效性的需求，系统选用Harris角点特征检测算法来实现帧间图像
$\Delta L$ 的计算，针对应用特点，采用角点阈值优化及先验知识剔除误匹配点相结合的策略，对Harris角点算法参数进行优化，仿真结果验证了该策略的有效性，降低了特征角点检测及匹配计算时效，同时对已匹配特征点对进行亚像元定位，有效提高了匹配效率及匹配精度，精度能够满足应用需求。最后对测算方法误差源及残差进行了分析，并分析了计算残差对成像质量的影响，在保证成像像质的原则下，给出了系统成像参数建议，为测算方法的在轨应用提供理论基础和设计参考。
Real-time calculation method of integral time based on interframe angle point matching
-
摘要: 在阐述积分时间测算原理基础上，对测算算法的误差源及残差进行了分析，并定量分析了残差对成像质量的影响，利用50组样本数据通过MATLAB仿真验证了采用Harris角点特征检测算法来实现帧间图像像移
$ \Delta {{L}}$ 的亚像元精确计算的有效性，采用角点阈值优化及先验知识剔除误匹配点相结合的策略，有效降低特征角点检测及匹配计算时效，减少了运算数据量，对已匹配角点亚像元定位计算，仿真结果表明$ \Delta {{L}}$ 计算精度优于0.2个像元可满足测算方法在轨使用需求。最后结合实时测算方法应用特点给出了TDI探测器型高分辨率空间遥感相机成像参数的建议，为测算方法的在轨应用提供设计参考。采用高频面阵CMOS测速相机进行积分时间实时测算的方法能有效解决目标高程数据未知情况下，摄影点斜距无法精确获得的问题，方法具备低成本及星上可行性，同时能够弥补像移失配所导致的像质下降现象，有利于TDI探测器型高分辨率空间遥感相机成像性能的提升。-
关键词:
- 空间遥感相机 /
- 积分时间实时测算 /
- Harris角点特征匹配 /
- 计算误差分析 /
- 成像参数
Abstract: On the basis of the theory of integral time calculation, the error sources of measuring algorithm and residual error were analyzed, and the quantitative analysis and research on the influence of residual error on imaging quality was carried out, the effectiveness of using Harris angle point algorithm to realize sub-pixel location of interframe image motion$ \Delta {{L}}$ was verified by using 50 groups of sample data through MATLAB. The strategy combining the corner threshold optimization and the prior knowledge elimination of mismatching can effectively reduce the amount of operational data, and carry out the sub-pixel location calculation for the matched angle points. The simulation results show that the calculation accuracy of$ \Delta {{L}}$ is better than 0.2 pixel, which can meet the demand of on-orbit use of the calculation method. Finally, with the application characteristics of the real-time calculation method, the imaging parameters of TDI detector high resolution remote sensing camera were proposed, which provided design reference for on-orbit use of the calculation method. Using high frequency plane array CMOS cameras to calculate integral time method can effectively solve the target elevation data is unknown cases, photography slant distance cannot be accurately obtained. Calculation method with low cost and feasibility on orbit, can compensate for the image quality degradation caused by image motion mismatch, which is beneficial to the improvement of imaging performance of TDI detector high resolution remote sensing camera. -
图 1 基于帧间角点匹配测距的积分时间实时测算系统
Figure 1. Integration time real-time measurement system based on interframe angle matching distance measurement
图 3 高频面阵CMOS像移速度V2测算原理图
Figure 3. Schematic diagram of high frequency array CMOS image motion velocity V2 calculation
图 4 先验知识对Harris角点误匹配的剔除效果
Figure 4. Elimination effect of prior knowledge on Harris angle point mismatching
图 6 亚像元定位后
$ \Delta{{L}}$ 测量精度仿真结果（匹配误差为0的点对在上图中未作显示）Figure 6. Simulation results of
$ \Delta{{L}}$ measurement accuracy after sub-pixel positioning(Matching errors of zero are not shown in the figure above)
图 7 TDI级数与
${{\rm{MTF}}_{\Delta {T_{\rm{int} }}}}$ 的关系Figure 7. Relationship between TDI stage and
${{\rm{MTF}}_{\Delta {T_{\rm{int} }}}}$ 表 1 Harris算法优化前后对比
Table 1. Before and after optimization with Harris algorithm
Before optimization After optimization Nunber of feature points detected 343/527 118/201 Logarithm of feature points match 88 14 Validity ratio of feature points 10.11% 4.38% Logarithm of mismatched points 12 1 Mismatch ratio 13.63% 7.14% Code execution time/s 2.539 1.325 Mean of matching precision 0.0431 0.0394 
下载: 导出CSV
表 2 不同级数下积分时间计算残差对像质的影响因子
Table 2. Influence factors of integral-time residual error on image quality in different TDI stages
Integration stages ${ { {MT\!F} }_{\Delta { {{T} }_{\rm{int} } } } }$
（0.1 pixel precision）${ { {MT\!F} }_{\Delta { {{T} }_{ {int} } } } }$
（0.2 pixel precision）6 0.9989 0.9976 12 0.9957 0.9905 24 0.9830 0.9622 48 0.9329 0.8540 72 0.8529 0.6899 96 0.7478 0.4915
下载: 导出CSV
-
[1] Li Xiaoyun, Du Wei. Analysis of image motion effect on satellite TDICCD camera image quality [J]. Spacecraft Engineering, 2011, 20(3): 51-55. (in Chinese) doi: 10.3969/j.issn.1673-8748.2011.03.008 [2] Zhuang Xuxia, Wang Zhile, Ruan Ningjuan, et al. Influence analysis of image motion on image quality of satellite-board TDI camera optical system [J]. Spacecraft Recovery & Remote Sensing, 2013, 34(6): 66-73. (in Chinese) doi: 10.3969/j.issn.1009-8518.2013.06.009 [3] Wu Zhaocong, Yang Fan, Wu Yuan, et al. The influence of elevation on the TDICCD camera’s image motion compensation [J]. Geomatics and Information Science of Wuhan University, 2015, 12(12): 1571-1574. (in Chinese) [4] Chen Liang, Liu Chunxia, Gong Xinghui. Image shift and compensation of TDI CCD camera for polar orbit satellite [J]. Journal of Remote Sensing, 2002, 6(1): 35-39. (in Chinese) doi: 10.11834/jrs.20020107 [5] 蒋厚军. 高分辨率星载InSAR技术在DEM生成及更新中的应用研究[D]. 武汉: 武汉大学, 2012. Jiang Houjun. High-resolution spaceborne SAR interferometry for DEM generation and updating [D]. Wuhan: Wuhan University, 2012. (in Chinese) [6] 赵悟. SIFT 与 Harris 算法在图像特征点提取中的适用性研究[D]. 山东: 山东师范大学, 2016. Zhao Wu. An application analysis to SIFT and Harris corner detector for feature points extraction [D]. Shandong: Shandong Normal University, 2016. (in Chinese) [7] Li Hongjun, Xu Shuyan, Yan Dejie. Research of remote sensing image matching with sub-pixel accuracy [J]. Laser Technology, 2008, 32(5): 493-495. (in Chinese) [8] Lv Hengyi, Xue Xucheng, Zhao Yunlong, et al. Measurement and experiment of modulation transfer at Nyquist frequency for space optical cameras [J]. Optics and Precision Engineering, 2015, 23(5): 1484-1489. (in Chinese) doi: 10.3788/OPE.20152305.1484 [9] 周虎, 王小勇. 积分时间不同步对TDICCD 空间探测相机成像质量影响的仿真[C]. 第二十三届全国空间探测学术交流会论文集. 厦门: 中国空间科学学会, 2010. 11-16. Zhou Hu, Wang Xiaoyong. Simulation of the influence of integration time asynchrony on image quality of TICCD space camera [C]//Proceeding of the 23rd National Space Exploration Academic Exchange Conference, 2010: 11-16. [10] Wong H S, Yao Y L, Schlig E S. TDI charge-coupled devices: design and applications [J]. IBM Journal of Research and Development, 1992, 36(1): 83-85. doi: 10.1147/rd.361.0083 [11] Fan Chao, Li Yingcai, Yi Hongwei. Influence of velocity-height ratio of satellite on the TDICCD camera [J]. Acta Armamentarii, 2007, 28(7): 35-39. (in Chinese) -
点击查看大图
计量
- 文章访问数: 405
- HTML全文浏览量: 156
- PDF下载量: 27
- 被引次数: 0
