-
对于像元尺寸较小的探测器而言,在低压工艺环境下,探测器满阱电荷无法提高到一个较高的量级,因此会使得所成图像在较高辐亮度下过早饱和,进而影响了图像的信噪比、动态范围。另外,由于探测器采用CMOS单层POLY结构,较双层POLY的CCD工艺在转移效率上有所减弱,限制了级数的增加。因此超高分辨率相机在弱光成像能力受到了极大的限制[4-6]。
-
针对以上两个限制因素,文中提出了一种混合域级数累加方法。具体方式主要思想如下:首先通过多片探测器感光单元分别感光;根据感光区物理位置的不同将感光后的多片数据通过FPGA进行一定缓存,将缓存后的数据进行数字累加。如此实现了多片电荷域累加图像的数字累加。感光区数量可根据需求自由调整,以四段感光区为例,结构如图1所示。
具体步骤如下。首先,根据预设的积分时间,生成时间延迟积分电荷转移时序,控制探测器进行电荷转移,分时对每个子感光区域内n级感光像元针对同一景物感光产生的电荷,按列进行累加,将累加后的电荷进行量化并输出灰度值,得到按TDI扫描方向分时产生的四组数字图像;最后,将每一区域缓存的数字图像进行行向累加,累加后的结果做为多片感光区的综合累加结果。从而实现了TDICMOS超大级数累加功能。
-
当高分辨率相机工作在弱光照条件下,影响图像的主要因素如下。
(1)辐照度的降低、较小的曝光时间使得探测器的光生电荷数量远远达不到器件满阱,因此信噪比也会有一定程度下降;(2)暗电流和噪声的影响使得图像动态范围急剧降低;
下面对文中所述混合域成像方式下信噪比和动态范围进行计算分析。
-
光子照射到探测器像元感光区光敏面的过程可以被看作独立、均匀、持续发生的一种随机过程。在一定时间内光敏面所接收光子的数值是在一个平均状态下有着微小的波动。这种光子数值的微小起伏便成为了光子的散粒嗓声,也称为光子噪声。对地观测成像时,图像所表现出的主要噪声为光子噪声[7]。假设单位时间内光子入射到探测器光敏面上的数量为
$\omega $ ,探测器的量子效率$\xi $ ,系统的积分时间为T,在该单位时间内光电转换产生的电子数L遵循如下公式:$$ L = \omega \xi T \;\;\;\;\;\sigma = \sqrt S = \sqrt {\omega \xi T} $$ (公式1) 因此,在混合域累加系统中,两片感光单元累加后的光子散粒噪声为:
$$ {\sigma _1}^{} = \sqrt {{\sigma ^2} + {\sigma ^2}} = \sqrt {2\omega \xi T} $$ (公式2) -
动态范围表示图像中所包含最亮值与暗场下噪声的比值,其数值的增加可有效提高图像的识别度。相比普通的图像,高动态范围的探测能力可以提供更多的图像细节。在一定程度上,动态范围的增加,可有效提高图像的弱光照成像能力,是高分辨率成像一个重要指标。
动态范围计算公式如下:
$$DR = 20\log \dfrac{{{{\mu} _{y.{\rm sat}}}}}{{{{\mu} _{y.{\rm readout}}}}}$$ (公式3) 式中:DR为动态范围,单位dB;
${{\mu} _{y.{\rm sat}}}$ 为探测器所能探测到最大信号,饱和输出,单位DN;${{{mu} _{y.{\rm readout}}}}$ 为探测器所能探测到最小信号,读出噪声,单位DN;探测器最小信号即低温测试条件下暗场情况能够达到的信号均值,理论上在该种情况下暗电平值远小于读出噪声,因此业内普遍采用读出噪声或链路噪声做为动态范围计算中的最小值:
$$\overline {HDR} = 20\log \left(\frac{{n \times {D_{\rm S}}}}{{\sqrt n \times {N_{{\rm dark}}}}}\right)$$ (公式4) 由公式可知,若为四段感光单元成像,根据四片感光单元独立不相关理论,链路噪声提高到原来的2倍。总亮度提高为原来的4倍,因此动态范围增加了6 dB。因此对于混合域累加而言,有效地提高了探测动态范围,对弱光照下成像能力的提升有较大作用。
-
采用混合域多感光单元累加方式,探测器内部FPGA接收多片感光单元的高速数据的同时,需要将每片数据按一定方式进行缓存,经过特定时间缓存后的数据才能进行图像预处理和数字累加。因此缓存时间的精确程度直接影响累加数据的混叠情况,缓存时间偏大或偏小都会直接影响图像的MTF。而传统光学测量方法较低无法满足需求。基于此,文中提出一种基于互相关理论的图像配准方法实现多片感光单元间的位置关系的精确测量,并提出一种同步时序的方法实现多片探测器之间成像时刻的微调。
-
图像配准方法的分类依据不同的应用方向而有所不同,对于文中可见光遥感图像而言,主要包括利用图像灰度信息的方法和利用图像特征的方法两个大类。
其中利用灰度信息的方法有互相关法和最大互信息配准法。利用图像特征的方法主要包括:基于点特征的方法、基于轮廓的图像配准方法、基于其他特征的配准方法[8]。
(1)互相关法:一种最基本的基于灰度的图像配准方法,是一种相似性度量或表征图像配准的匹配程度,目前演变为多种匹配算法,最经典的如序列相关法。
(2)互信息法:用来衡量两个随机变量的互相依赖程度,用熵来表示。20世纪末互信息作为一种相似性判据首次应用在医学图像中,当需要配准的两幅图像达到最佳配准度时,两幅图像的互信息值能够达到最大。
(3)基于特征的图像配准方法:主要是由参考图像和待配准图像之间的几何关系来求得配准参数,这类方法实施起来比基于灰度的配准方法复杂点。它首先要对图像进行特征提取,这些特征主要有:边缘、点、线、角以及曲率等,并以这些特征作为配准的依据,然后根据这些提取出来的特征去寻找变换关系,最终求得配准参数。
综上所示,基于特征的图像配准方法由于先验图像信息提取困难,计算复杂度高,无法实现在轨应用;互信息法虽然能够较好地表征两幅图像的信息匹配度,但多幅图像系统的计算量较大,所需硬件支持程度同样较高,因此不适用于航天遥感成像系统。而基于灰度的相关法图像配准方式,计算复杂度较低,且不需要对图像分割等进行图像预处理,经过一定的优化同样可以达到高精度的图像配准。因此文中采用该种方法,针对文章中多片感光单元特性与精度要求进行算法改进,从而达到多片感光单元间隔的高精度测量。下面文中在插值方式和资源优化两个方面分别对优化方法进行说明。
-
对于文中所述相邻两片感光单元图像而言,所测景物被像元阵列离散化采样,其采样深度为1个像元。因此通过互相关法进行图像配准后,所得到u,v值仅仅达到1个像元的精度。为了提高配准精度,假设图像中所体现的景物信息主要为低频特性,在相邻两个点之间灰度值线性程度较高,可以将离散化采样的图像进行线性填充,即采用插值的方法实现离散采样点的细化。
灰度级插值有多种方法可以实现,典型的有以下三种方法,分别有:一次插值法、双线性插值法、立方卷积插值法。为了兼顾系统实时性与精度,文章采取双线性插值法对相邻感光单元所成图像进行多次插值,将插值后两幅图像通过互相关法计算得到相对位移。
这种插值法的基本思想为:先确定一个内插点z,然后找出与z最相邻的四个点,假设这四个点围成的区域内图像的灰度值变化是线性的,根据这个假设就可以用线性内插法通过这最近邻的四个点求出点z的灰度值,如图2所示。
假设待配准图像经过反向映射得到参考图像上的一个浮点坐标为(i+x, j+y),其中i、j为整数,0<x<1, 0<y<1。则插值像元的灰度公式如下:
$$ \begin{split} f(i + x,j + y) =& (1 - x)(1 - y)f(i,j) +x(1 - y)f(i,j + 1)+\\ & (1 - x)yf(i + 1,j) +xyf(i + 1,j + 1)\\ \end{split} $$ (公式5) 该种方式很好地弥补了一次线性插值的不足,能够较好地体现探测器的二维离散化特性,使得插值像元更加线性,提高了互相关法计算时的准确度。
-
依据混合域成像多片感光区的自身特点,文中进行如下针对性的算法优化和精度提升工作。
(1)图像窗口的选取优化
根据工艺装配精度和入轨前振动,以及在轨遥感卫星先验知识得知,探测器多感光单元之间间隔在振动前后产生的变化小于像元级别。因此文中首先选取待配准的两片感光单元图像,分别对每片感光单元选取一组5×5的小规模阵列作为计算窗口,如此可有效提高计算速度。
(2)插值次数的选取优化
根据现有电路资源可知,在5×5阵列的窗口条件下,可支持多次插值的图像配准计算,5×5原始窗口得到的配准精度仅能达到1个像元级别。若要实现0.1像元的配准精度,可将5×5的阵列转换为50×50的较大规模阵列。如此,配准模型的资源占用情况如下:
配准模型需使用512个DSP48资源,主要使用了其中的乘法器,用于插值运算。32个BRAM资源主要在缓存模块用于数据存储。16%的Slice资源则主要是占用了其寄存器资源。同时根据模型的静态时序报告得知,校正模型最高可以在171.221 MHz(5.84 ns)的时钟下工作。
根据以上分析,现有FPGA可以满足文中所述的互相关配准算法的实现。考虑舍入误差后,行向和列向在10倍插值后的图像的配准精度可达到0.1个像元。
(3)计算量的优化
与此同时,每片感光单元均存在噪声的引入。以单片感光单元12 bit图像满量程信噪比在43 dB计算,图像噪声均值为32 DN,即至少图像的低四位数据可以在计算中不进行带入。
基于此,文中优化了模型中图像的bit位,仅采取8 bit图像带入计算。算法的BRAM和DSP 48资源进一步减少,执行速度也有一定提升。
(4)计算误差的舍入
在配准计算时,选取的图像主要信息应为低频信息。配准窗口内的高频信息会给双线性插值后图像带来失真,影响计算精度。为了防止在轨成像时窗口选取到高频景物信息,可依次选取多组不同窗口图像进行计算,计算结果通过均值处理后得到最终多片感光单元物理间隔。
-
文中提出一种基于FPGA同步成像时刻的校准方法,可使得探测器在成像时刻处产生一定程度的精确延时。根据图3电极结构,探测器每一个像元的曝光的起始和终点时刻均通过PH1-〉PH2-〉PH3-〉PH4四个部分实现。对于感光单元小数部分的间隔,实际上可以通过改变曝光时刻的起始点实现景物位置的略微变化。
根据分析,TDICMOS探测器通过FPGA所提供同步syn信号、垂直电荷转移驱动CI1、CI2、CI3、CI4信号。探测器通过势阱的高低变化实现固定方式的电荷转移。以四项连续转移为例,调整时序如下:
图3感光单元2中的CI1~CI4、syn均与感光单元1有固定相位差。相位差的时间TDelay根据当前积分时间与计算出的成像间隔N的小数部分取值相关。
根据此相位差,CI1-CI4为FPGA根据行同步syn所生成的连续转移时序,感光单元1与感光单元2中该转移信号也具有相位差。因此通过FPGA实现图像精确配准的关键在于两个图像之间的时间间隔。
$$ {T_{{\rm delay}}} = T \times c,\;\;\;\;\;\;{K_{}} = \frac{{0.5 \times {t_{\rm clk}}}}{{T \times c}} $$ (公式6) 式中:T为当前积分时间;c为感光间隔N的小数部分;K为匹配误差;tclk为FPGA时钟周期。
公式规定了时间间隔在FPGA中的处理方式。时间间隔的整数部分通过上一节中所述FPGA进行图像缓存的方式实现。而时间间隔的小数部分通过电荷转移的时序关系来实现。FPGA可处理的小数部分延迟时间约等于行周期与小数部分时间间隔的乘积。由于FPGA为时钟驱动的同步系统,因此主时钟周期决定了成像时刻的匹配精度。匹配后误差见公式(6)。以FPGA主时钟tclk为100 MHz为例,采用文章所述匹配方式后,匹配精度可达到99.9%以上。
文中选用V7690T及其相关图像处理电路实现配准和相关数据的预处理。FPGA综合仿真后,可以实现4片感光单元100 kHz行频以上推扫成像。
该方法同样也可在多片焦平面探测器品字形拼接以及大规模面阵探测器拼接时,用以减小拼接误差,提高大幅宽成像时多片拼接探测器的尺寸偏差,提高了图像拼接后的精确度。
-
笔者进行实验室测试验证。首先,通过搭建成像测试环境,实现单纯电荷域与混合域成像方式下信噪比、动态范围的对比验证。随后在滚筒靶标背景下测试其成像能力。采用4片感光单元12 k像元7 μm器件,像距与物距达到3∶1。滚筒线速度达到2100 mm/s,工作行频100 kHz。
-
实验室均匀光下,在一段感光单元成像系统下,采集20组不同光照条件下图像拟合信噪比曲线如图4所示。
根据曲线可知,随着光强增加图像DN值在15000处,即接近饱和时,信噪比优于43.3 dB。
成像系统为四段感光区混合域累加的情况下,采用同一级数,同一积分时间,增益适当调整使得与一段感光单元DN值相近,得到图像信噪比拟合曲线如图5所示。
根据上图可知,图像DN值在15000处,信噪比优于49 dB。对比可知,四片感光单元与一片感光区相比增长接近于6 dB,符合文中第二章节关于信噪比的理论推导。
随后文中测得两种成像系统在电荷-DN转换因子、等效满阱电荷、暗噪声的值,从而计算得到动态范围,对比如表1所示。
表 1 不同成像系统动态范围对比
Table 1. Comparison of dynamic range of different imaging systems
Charge-DN factor/DN·e-1 Full well/ke Dark noise/DN Dynamic range/dB Charge domain 0.15 109.2 1.95 66.4 Hybrid domain 0.15 25.81 4.15 71.92 根据表中所述测试结果,四段感光单元的混合域累加方式由于等效满阱四倍于电荷域的单片感光单元成像,同时暗噪声仅增加了两倍,因此动态范围提高了近6 dB。而动态范围的增强会有效提升弱光成像下景物细节,验证了第二章所述理论。
-
在测试前通过对暗箱内的相机x、y、z轴的精调实现成像光轴在滚筒中心。之后分别对多段感光区、多段感光区成像时刻精调后两个状态进行动态成像测试。测试结果如图6所示。
从图中可知,由于在多片感光单元片外累加时,产生了多片感光单元匹配问题,在积分方向图像的混叠现象较为明显。在图像开启成像时刻精调算法后,输出图像如图7所示。
根据成像时刻精调后图像所示,与图6相比,图像在静态方向对比度保持较高水平的基础上,垂直动态方向对比度得到了有效地增强。原图显示较为模糊的较密线对在调整后,已经能够完全清晰可见。
对以上三次所成图像进行MTF计算分别得到表2中结果。计算结果标明,四片感光单元由于掺杂了不同景物的图像,累加后图像产生了较大混跌,MTF下降较为明显,在经过文中所述成像时刻校准后,减少了不同景物的掺杂,较大程度上抑制了混叠,因此MTF得到了明显提升。该测试验证了精调方法的有效性。
表 2 成像时刻精调前后MTF对比
Table 2. MTF comparison before and after fine adjustment
Charge domain hybrid domain (before adjustment) Hybrid domain (after adjustment) MTF 0.162 0.055 0.143
Research on hybrid domain TDICMOS imaging technology based on imaging time calibration
-
摘要: 随着航天遥感领域超高分辨率成像电子学中行频的不断提升,一个积分时间内光生电荷数量逐渐减少,弱光成像能力有所下降,电子学中需要采用增大时间延迟积分级数的方法弥补能量的不足。传统数字域累加探测器有着引入过多噪声与帧频受限的多项弊端,而电荷域探测器的超大级数累加会带来电荷转移效率的下降和图像的混叠。基于此,文章在采用低功耗、高集成度TDICMOS基础上,提出了一种基于电荷域和数字域混合的新型累加方式,并对影响弱光成像像质水平的主要指标进行分析。随后针对混合域累加方式下多感光单元间的像质退化,提出一种基于图像配准的成像时刻校准方法,通过多片感光单元间隔测量和成像时刻时序微调有效改善了大积分级数电荷运动与景物运动的失配程度。最后通过滚筒测试验证了成像时刻校准方法的有效性,通过性能测试验证了混合域成像在弱光照下探测能力的提升。结果表明,文中所提方法有效地解决了TDI型探测器的主要瓶颈,为超高分辨率遥感相机提供了有效的解决方案。Abstract: With the increase of line frequency of high resolution imaging electronics in the field of high resolution space remote sensing, the number of photo-electrons in one integration time is gradually reduced, and the imaging ability of the camera in weak light decreases. In electronics, it is necessary to increase TDI stages to make up for the lack of energy. The traditional digital domain accumulation sensor has many disadvantages, such as excessive noise and low frame rate. The large TDI sensor in charge domain will reduce the charge transfer efficiency and increase image aliasing. Based on TDICMOS imaging with low power consumption and high integration, a new hybrid accumulation method based on charge domain and digital domain was proposed. The main indexes that affect the image quality of weak light imaging were analyzed. Then, aiming at the degradation of image quality between multiple photosensitive units under the mode of hybrid domain accumulation, an imaging time calibration method based on image registration was proposed. Through the interval measurement of multiple photosensitive units and the fine-tuning of imaging signal timing, the mismatch between the large integral series charge motion and the scene motion was effectively improved. Finally, through the roller target test, the effectiveness of the imaging time calibration method was verified. The imaging ability of hybrid domain imaging in weak light was also verified by performance test. The results show that the proposed method in this paper can effectively solve the main bottleneck problem of TDI sensor, provides an effective solution for high resolution remote sensing camera.
-
Key words:
- line frequency /
- TDI stage /
- charge transfer efficiency /
- imaging time
-
表 1 不同成像系统动态范围对比
Table 1. Comparison of dynamic range of different imaging systems
Charge-DN factor/DN·e-1 Full well/ke Dark noise/DN Dynamic range/dB Charge domain 0.15 109.2 1.95 66.4 Hybrid domain 0.15 25.81 4.15 71.92 表 2 成像时刻精调前后MTF对比
Table 2. MTF comparison before and after fine adjustment
Charge domain hybrid domain (before adjustment) Hybrid domain (after adjustment) MTF 0.162 0.055 0.143 -
[1] Hyun Jung Lee. Charge-couple CMOS TDI imager[C]//Image Sensors Workshop, 2017: 155-162. [2] Laurens Korthout. A 256 stage charge domain TDI CMOS imager[C]//CNES workshop, 2017: 753-761. [3] 陶淑萍, 金光, 曲宏松, 等. 采用卷帘数字域TDI 技术的CMOS成像系统设计[J]. 红外与激光工程, 2012, 41(9): 2380-2385. doi: 10.3969/j.issn.1007-2276.2012.09.024 Tao Shuping, Jin Guang, Qu Hongsong, et al. Design of CMOS imaging system based on rolling TDI in digital domain [J]. Infrared and Laser Engineering, 2012, 41(9): 2380-2385. (in Chinese) doi: 10.3969/j.issn.1007-2276.2012.09.024 [4] Yu Hang, Qian Xinyuan, Chen Shoushun, et al. A time-delay-integration CMOS image sensor with pipelined charge transfer architecture[C]//IEEE International Symposium on Circuits and Systems, 2012: 1624-1627. [5] Bogaerts J, De Munck K, De Moor P, et al. Image sensor analog and digital on-chip processing[C]//Workshop Backside Illuminated Active Pixel Sensors for Earth Observation, 2007: 1123-1129. [6] Yu H, Qian X Y, Zhao B, et al. Design of a radiation tolerant CMOS image sensor[C]//International Symposium on Integrated Circuits, 2011: 412-415. [7] Chen X, Yin C, Feng Y. A virtual simulation system of TDI line scan camera[C]//IEEE International Conference on Advanced Intelligent Mechatronics, 2008: 138-144. [8] 朱明, 姚强, 唐俊, 等. 超图约束和改进归一化互相关方法相结合的图像配准算法[J]. 国防科技大学学报, 2019, 41(3): 50-55. doi: 10.11887/j.cn.201903009 Zhu Ming, Yao Qiang, Tang Jun, et al. Image registration algorithm with hypergraph constraint and improved normalized cross correlation method [J]. Journal of National University of Defense Technology, 2019, 41(3): 50-55. (in Chinese) doi: 10.11887/j.cn.201903009