-
读出电路开窗技术具有较多的应用场景。在大面阵红外焦平面上,如图1所示,用户可通过开窗技术重构图像大小帮助观察感兴趣的区域或快速导出指定区域的信号[9]。此外,该技术还可应用于目标跟踪或模式识别中[10]。
读出电路开窗的目的之一是在不增加带宽和功耗的前提下提高帧率。读出电路开窗后每一帧所需读出的数据量显著降低,减少了数据读出的时间,从而使得帧频得以提高。
在开窗情况下,设开窗的窗口形状为正方形,当窗口尺寸变化时,需要读出的总数据量X的变化式为:
$$ X={a\cdot m}^{2} $$ (1) 式中:m为窗口尺寸;
$ a $ 为模数转换器(Analog digital converter,ADC)的位数。假设读出每一位数据都需要固定的时长t,且电路为单通道读出,则完成一帧数据读出需要的理论时间$ {T}_{out} $ 和理论帧频$ F $ 分别如公式(2)和公式(3)所示:$$ {T}_{out}={a\cdot t\cdot m}^{2} $$ (2) $$ F=\frac{1}{{T}_{out}} $$ (3) 若ADC位数为15位,像元面阵大小为1024×1280,当开窗的窗口尺寸逐渐缩小时,需要读出的总数据量和数据读出所需时间的关系如图2所示。
图 2 总数据量和读出时间与窗口尺寸的关系
Figure 2. Relationship between total data volume and readout time and ROI size
由此可以看出,随着窗口尺寸的减小,读出的总数据量和数据读出所需的时间都明显降低。
在实际应用中,受像元阵列积分时间的影响,读出电路完成一帧数据读出所需的时间并不完全等于上述的数据读出理论时间,即电路的帧频与理论帧频存在差异。当电路处于边积分边读出(Integration while read, IWR)模式下时,电路的帧频、数据读出时间及像元积分时间的关系如公式(4)所示。若数据读出时间小于像元的积分时间,则电路的帧频主要受限于积分时间;若数据读出时间大于像元的积分时间,则电路的帧频主要被电路的读出时间所限制。
$$ F=\left\{\begin{array}{c}\dfrac{1}{{a\cdot t\cdot m}^{2}},{T}_{{\rm{out}}} > {T}_{{\rm{int}}}\\ \dfrac{1}{{T}_{{\rm{int}}}}{,T}_{{\rm{out}}}\leqslant {T}_{{\rm{int}}}\end{array}\right. $$ (4) 当电路处于先积分后读出(Integration then read, ITR)模式时,电路的帧频可表示为:
$$ F=\frac{1}{{a\cdot t\cdot m}^{2}+{T}_{{\rm{int}}}} $$ (5) 式中:
${T}_{{\rm{int}}}$ 为像元积分时间。设面阵大小为1024×1280,积分时长为5 ms,每读出一位数据所需时间按照2 ns计算,帧频与不同窗口尺寸的关系如图3所示。
从图中可以看到,电路在IWR模式下,窗口尺寸减小时,帧频呈现明显的上升趋势。然而,随着当窗口尺寸进一步减小,数据读出时间减小,当读出时间小于像元的积分时长后,电路完成一帧所需的时间主要取决于电路的积分时间,所以电路的帧频不再降低,而是维持在200 Hz;电路在ITR模式下,随着窗口尺寸的降低,电路的帧频逐步提升,在窗口读出时间低于积分时间后,电路的帧频上升趋势逐渐减缓,最终趋近于200 Hz,此时窗口尺寸为1×1。因此,开窗口技术能有效降低读出的数据总量,对提高帧频有显著的作用。
-
文中提出的基于行列控制字的读出电路开窗架构如图11所示。该架构与同步读取模式类似,读出的起始位置取决于存储在行列上的控制字。此时为像元(N-3,3)被选通时电路的状态。
该方案由信号处理电路和控制子电路组成,其中控制子电路由移位寄存器和存储器组成。控制电路接收并处理由串行外围接口(Serial Peripheral Interface,SPI)输入的数据,并将数据进行预处理,然后生成控制字和控制信号并传递给控制子电路。控制子电路存储控制字于窗口的起始行和列,当电路读出时,子电路读取存储器内的数值,从而实现不同起始位置的读出,控制字向后依次移位依次读出各行各列,结束位置由控制电路产生,实现任意大小的窗口。
该架构通过分别控制行和列来实现选通。当只选通一行和一列时,只有一个像元被选通,实现了最小窗口尺寸1×1;同时该架构将控制电路设计在像元阵列外围,不占用像元内部的面积;采用控制子电路模块来分别控制每行和每列,可以重复使用,所以在面阵尺寸发生变化时,电路不需要重新定制化设计,易于扩展;另外,没有采用组合逻辑电路,不存在竞争冒险现象;同时,控制字的数量被缩减,控制字写入的路径也被较好的缩短,因此在窗口位置或大小发生变化时,电路恢复读出所需的时间也相对较少。
-
读出电路开窗的一个重要应用方向是目标搜索和跟踪。当目标的位置发生改变时,读出电路的窗口位置也应该迅速随之改变。当窗口的位置或者大小改变时,电路需要一段时间来恢复正常读出,我们称之为称为窗口切换速度,窗口切换速度越快,则电路对实际应用的影响越小。
在格雷码译码器架构中,窗口切换速度很快,其所需的时间仅为组合逻辑电路的延时,所以在此忽略不计。采用同步读取模式的三种架构都需要写入控制字,所以需要考量控制字的写入时间。
在单像元控制字架构中,由于在每一位像元中都存在控制字,当窗口的位置或者大小改变时,需要重新写入每一位控制字,需要时间较长,产生控制字写入时间
$ T $ ,如公式(6)所示:$$ T=M\cdot {(t}_{e}+{T}_{rclk}) $$ (6) 式中:M为面阵行数;
$ {t}_{e} $ 为该生成控制字信号所需的时间;$ {T}_{rclk} $ 表示行时钟周期。在子阵列控制字架构中,采用对子阵列编码的逻辑,减少了控制字的数量,降低了控制字写入时间,控制字写入时间
$ T $ ,如公式(7)所示:$$ T=\frac{M\cdot {(t}_{e}+{T}_{rclk})}{x} $$ (7) 式中:
$ x $ 为子阵列的大小。其中,当子阵列的大小为1×1时,该方案的控制字写入时间与单像元控制字相同。文中所提出的行列控制字架构方案产生的控制字写入时间
$ T $ ,如公式(8)所示:$$ T=r\cdot {T}_{rclk} $$ (8) 式中:
$ r $ 为窗口位置改变后的行的起始位置。单像元控制字架构采用了每个像元都存储控制字的方案,除了需要将控制字逐行存储在预定位置外,还需要额外的时间
$ {t}_{e} $ 去产生控制字;子阵列控制字架构相对减少了控制字的数量,但是仍然需要额外的时间$ {t}_{e} $ 去产生控制字;而文中所提出的架构中控制字只有两个,且不需要额外的时间去产生。下面以面阵大小1024×1280,子阵列大小32×32为例,对比三种方案的控制字写入时间,如图12所示。考虑到实际情况中不同电路需要的额外时间
$ {t}_{e} $ 不同,这里将时间$ {t}_{e} $ 视为0,即不需要额外的时间。从图中可以看到,控制字写入时间最长的为单像元控制字架构,由于像元内的控制字需要逐一改变,所以其需要遍历各行,需要时间最长为
$ {1\;024 \cdot T}_{rclk} $ ;子阵列控制字通过增大最小窗口尺寸,降低了控制字数量,在Schrey等人提出的方案中,最小窗口尺寸为32×32,相应的时间也缩短到了$ {32 \cdot T}_{rclk} $ ,当最小窗口尺寸降低时,如公式(8)所示,所需的时间也成比例的增加。当子阵列的尺寸减小到4×4时,该架构下的控制字写入时间为$ {256 \cdot T}_{rclk} $ 。文中所提出的架构产生的控制字写入时间随窗口起始位置的变化而变化。当位置较为靠前时,该架构产生的控制字写入时间最小,随着位置逐渐向后移动,时间逐渐增加,平均时间为$ {512 \cdot T}_{rclk} $ 。对比3种架构,在不考虑时间
$ {t}_{e} $ 的情况下,文中提出的架构相对比于单像元控制字架构,在同等的最小窗口尺寸下,平均控制字写入时间降低了1倍。在子阵列控制字架构中,当子阵列的尺寸较大时,子阵列控制字架构切换时间较低,随着子阵列的尺寸逐渐减小,其控制字写入时间增加,当子阵列的尺寸减小到4×4时,该架构下的控制字写入时间为单像元控制字架构下的控制字写入时间的四分之一。 -
此节将提供一种基于文中所提出的行列控制字架构的开窗电路实现方案,并展示了该实现方案具体的工作流程及工作时序。
控制子电路的设计是本架构的重点,控制子电路由移位寄存器和数据存储器组成,其中移位寄存器和数据存储器均为D触发器(DFF)。如图13所示,信号ROW_ED无效时,当前级移位寄存器的输入由前一级移位寄存器的输出RS<N-1>、当前级数据存储器的输出和信号ROI_RS共同控制。当信号ROI_RS处于低电平时,移位寄存器的输入为前一级移位寄存器的输出RS<N-1>,移位寄存器正常工作。
当信号ROW_ED有效时,无论其他信号是否有效,在信号CLK_RS上升沿之后,所有移位寄存器都将被复位,并关闭电路的输出。最终,通过信号ROI_RS和信号ROW_ED共同控制窗口的读出。同时信号ROW_WIR和信号ROW_WIR的上升沿需要延迟于CLK_RS的上升沿,确保信号可以成功建立。
ROI_RS处于高电平时,存储在数据存储器中的数据被写入移位寄存器的输入,以确定窗口的开始位置。当读出电路读出窗口数据之前,需要将控制字分别写入数据存储器中。
图14展示了完整的行控制字写入过程。如图14(a)所示,首先在第一个移位寄存器输入信号ROI_S,通过移位寄存器移位该信号,直至窗口的第一行对应的位置,如图14(b)所示。当控制字移动到新状态的起始位置时,存储在数据存储器中的数据在信号ROW_WIR的作用下写入控制字至寄存器,如图14(c)所示。写入完成后,复位所有移位寄存器,行控制字写入完成,如图14(d)所示。行控制字的写入时序如图15所示,其中信号ROW_WIR与信号RS<3>存在延时,以确保信号可以成功的被写入寄存器。该方案在读出时先选通一行,然后逐次选通各列,由于行列的选通的逻辑相同,所以文中只详细介绍行选逻辑及时序。
该方案的行选工作逻辑如图16所示,如图16(a)所示,开始信号ROW_RS输入,将寄存器内数据写入移位寄存器,如图16(b)所示,选通窗口第一行,然后移位寄存器逐级向下移位,如图16(c)所示,逐行选通,当选通至窗口最后一行时,结束信号ROI_ED输入至移位寄存器,如图16(d)所示,复位移位寄存器,行选结束。
图17为行选过程的时序图,其中信号ROI_ED与信号RS<N>存在延时,以确保在下一个时钟上升沿之前,所有移位寄存器的输入端全部为0,从而完成复位。
-
由于本架构需要在电路外围增加控制电路,为了确定额外增加的控制电路所占用的面积,文中在0.18
$ \;\text{μm} $ 工艺,15$ \;\text{μm} $ 像元尺寸,面阵大小1024×1280的条件下,对文中的读出电路开窗电路方案进行了版图设计,其中增加了控制子电路的行选电路版图如图18(a)所示,宽度为$ 96.7\;\text{μm} $ ,因为整体版图长度过长,所以截取了1~200行的控制电路,1~200行长度为$ 2\;351.27\;\text{μm} $ ,原电路版图宽度约为$ 20\;\mathrm{mm} $ ,尺寸增加小于0.5%,尺寸增加较小,对原电路影响很小,其中增加的控制电路的版图如图18(b)所示,大小为$ 57.6\;\text{μm} \times 163.2\;\text{μm} $ ,面积为9253.44$ {\;\text{μm} }^{2} $ ,总体版图大小约为$ 4\;{{\rm{cm}}}^{2} $ ,控制电路额外占用面积约为原始电路的0.000025%,占用面积很小。为了进一步验证该方案的可行性,搭建了一个像元面阵大小为16×16的电路,其中规定窗口大小为12×12,起始位置为(3,3),实验得出波形如图19所示。行选产生信号RS<3>~RS<14>,读出3~14行,与预设条件一致。读出预定区域内的图像,电路工作正常。
同时,为了验证电路在大面阵时的工作情况,设计了一个1280×1024的像元阵列,通过寄存器模拟像元,并将每个模拟像元对应的行列值相加存储在寄存器中以模拟不同位置不同像元的输出。设置窗口大小为733×179,起始位置为(101,211),读取不同像元的输出值,以读取的值表示该像元在图像中的灰度值,并将其映射为彩色图像。仿真结果如图20所示,上图为全面阵的图像,其中的黑色框为待读出的开窗区域,下图为读出的窗口数据图像,可以看到该电路正确读出。其中仿真设定行时钟周期为30 ns,实际窗口切换时间为3032.4 ns,公式(8)计算所需时间为
$ {101\cdot T}_{rclk} $ ,理论值为3030 ns,仿真与计算误差的2.4 ns为电路在实际实现过程中路径上驱动及各级反相器的延时。 -
文中提出了一种基于行列控制字的新开窗架构,并提供了一种电路实现方式。表1对比了各个架构。
表 1 不同方案的对比
Table 1. Comparison of different schemes
Reference Ref.[15] Ref.[14] Ref.[13] This paper Architecture Gray code addressing Subarray control word Single pixel
control wordRow and column control word Min. size of ROI 4×4 32×32 1×1 1×1 Increase the number of transistors per pixel 0 0.26 34 - Control word writing time 0 32·Trclk 1 024·Trclk (1-1 024)·Trclk Existing the race and hazard phenomenon Yes No No No Different array sizes circuits need to be custom redesigned Yes No No No 格雷码译码器架构理论最小窗口可以达到1×1,目前美国indigo公司产品ISC0403最小尺寸为4×4,该架构采用异步读出模式,存在竞争冒险的风险,而且不同面阵大小电路需要重新定制化设计。
采用同步读出模式的子阵列架构与单像元控制字架构不会产生竞争冒险现象,但是在像元内增加了晶体管,导致像元尺寸难以缩小。
文中提出的架构采用同步读出模式,避免了竞争冒险现象,同时该架构采用了重复模块,在面阵大小变化时不需要重新设计,可扩展性相对较好;相对于子阵列架构来说,该方案的最小窗口尺寸达到1×1,而且将控制电路设计于面阵外围,没有占用像元面积,使得像元尺寸容易缩小;相对于单像元控制字方案,在同样的最小窗口尺寸下,没有占用像元面积,而且大大提高了窗口切换速度。
Research on ROI readout technology of ROIC
-
摘要: 读出电路开窗是红外焦平面和图像传感器读出电路中,用于提高图像帧频降低带宽的重要技术。该技术通过减小读出阵列的窗口尺寸,降低电路读出的数据量,从而提高帧频。介绍了两类主要的开窗模式:异步读出模式和同步读出模式。针对异步读出模式扩展性差、存在竞争冒险的问题,以及同步读出模式占用像元面积和窗口切换速度慢的问题,基于同步读出提出了一种行列控制字架构,并设计了一种用于该架构的可重复单元电路,提高了对不同面阵规格的扩展性。完成了所提出的开窗电路设计和版图设计,并对该电路进行了仿真验证。对比其他方案,文中设计实现了任意位置、最小1×1尺寸的开窗,同时解决了占用像元面积和竞争冒险问题,并提高了窗口切换速度。Abstract: Region of interest (ROI) readout is an important technology used in the infrared focal plane array(IRFPA) and image sensor readout integrated circuits to improve the frame rate and reduce the bandwidth, which is realized by the reduced ROI size and the readout data volume. Two ROI readout modes including asynchronous readout and synchronous readout are introduced in this paper. The asynchronous readout mode exhibits poor scalability and the problem of the competitive risk, while the synchronous readout mode occupies pixel area and the ROI switching speed is slow. To solve these problems, this paper proposes a row-column control word architecture based on synchronous readout mode, and a reusable unit circuit is designed to improve the scalability for various array size. The circuits and layout for the proposed architecture are designed, which are verified by circuit simulation. Compared with other architectures, the proposal realizes ROI readout at arbitrary position with minimum size of 1×1. Moreover, problems including the occupying of pixel area and competitive risk are solved, as well as the ROI switching speed.
-
Key words:
- infrared FPA /
- readout integrated circuit /
- region of interest(ROI)
-
表 1 不同方案的对比
Table 1. Comparison of different schemes
Reference Ref.[15] Ref.[14] Ref.[13] This paper Architecture Gray code addressing Subarray control word Single pixel
control wordRow and column control word Min. size of ROI 4×4 32×32 1×1 1×1 Increase the number of transistors per pixel 0 0.26 34 - Control word writing time 0 32·Trclk 1 024·Trclk (1-1 024)·Trclk Existing the race and hazard phenomenon Yes No No No Different array sizes circuits need to be custom redesigned Yes No No No -
[1] Liu Wu, Sun Guozheng. The status quo, developments and military application analysis of the multi-color ir focal plane arrays [J]. Infrared Technology, 2004, 26(3): 1-4,10. (in Chinese) [2] Zheng Yingqi, Chen Yongjie, Zhu Xiaozhang. Research progress of near-infrared organic photovoltaic photodetectors [J]. Acta Polymerica Sinica, 2022, 53(4): 354-373. (in Chinese) [3] Zhong Shengyou, Yao Libin, Fan Mingguo, et al. 1280 × 1024, 10 μm digital IRFPA readout integrated circuit design (Invited) [J]. Infrared and Laser Engineering, 2022, 51(4): 20211113. (in Chinese) [4] Choi J, Han S W, Kim S J, et al. A spatial-temporal multi-resolution CMOS image sensor with adaptive frame rates for moving objects in the region-of-interest[C]//IEEE International Solid-state Circuits Conference. IEEE, 2007. [5] Chen Nan, Zhang Jiqing, Mao Wenbiao, et al. High-dynamic-range and high-sensitivity IRFPA digital-pixel ROIC technology (Invited) [J]. Infrared and Laser Engineering, 2022, 51(3): 20210821. (in Chinese) [6] Bai Piji, Zhao Jun, Han Fuzhong, et al. Review of digital mid-wave infrared focal plane array detector assembly [J]. Infrared and Laser Engineering, 2017, 46(1): 0102003. (in Chinese) doi: 10.3788/IRLA201746.0102003 [7] Yao Libin, Chen Nan, Hu Douming, et al. Digital infrared focal plane array detectors (Invited) [J]. Infrared and Laser Engineering, 2022, 51(1): 20210995. (in Chinese) [8] Jiang Yongqing, Zhou Yanliu. A simple implementation of arbitrary windowing in 256×256 CMOS image sensor [J]. Semiconductor Optoelectronics, 2011, 32(1): 105-108. [9] Deng T Q J, Shen K, Ruan A W, et al. Design of a control circuit for a user reconfigurable ROIC for IRFPA applications [J]. COMPEL International Journal of Computations and Mathematics in Electrical, 2010, 29(2): 327-337. doi: 10.1108/03321641011014797 [10] Liu X, Zhang M, Van der Spiegel J. A low power multi-mode CMOS image sensor with integrated on-chip motion detection[C]//IEEE, 2013: 2416-2419. [11] Liu Qi, Xia Xiaojuan, Xu Shen. Design of 640 × 512-25 μm multi-function infrared readout circuit [J]. Aero Weaponry, 2019, 26(2): 90-95. (in Chinese) [12] Doran R W. The gray code [J]. Journal of Universal Computer Science, 2007, 13(11): 1573-1597. [13] Castro R D, Castillo S M, Juárez R, et al. Advanced region of interest function for image sensors: US. Patent 9, 979, 904[P]. 2018-05-22. [14] Schrey O, Huppertz J, Filimonovic G, et al. A 1 k/spl times/1 k high dynamic range CMOS image sensor with on-chip programmable region-of-interest readout [J]. IEEE Journal of Solid-State Circuits, 2002, 37(7): 911-915. doi: 10.1109/JSSC.2002.1015690 [15] Kataria H, Asplund C, Lindberg A, et al. Novel high-resolution VGA QWIP detector [C]//SPIE, 2017, 10177: 529-536.