图像是人类记录和认识世界最为直接也最为重要的工具。在目前的生产生活中，最普遍的成像方式，是利用面阵光电探测器，例如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)，直接测量光学系统像面的光强分布。随着半导体领域研究的深入，面阵探测器向着高空间分辨率、高时间分辨率和低成本化迅猛发展，客观上促进了传统光学成像系统在成像质量上的提高和应用范围的扩大。但是，传统成像方式并不能完全满足目前所有的成像需求，例如特殊波段下的低成本高质量图像获取等等，这就使得人们必须寻找新的成像方式来解决这些亟待解决的问题。

关联成像（Correlated imaging），又被称为鬼成像或者单像素成像，作为一种新兴的成像方式，在近年来得到了广泛的研究关注。由于关联成像使用桶探测器而非面阵探测器，大大降低了对探测器的要求，因此在某些特殊波段的应用中，关联成像相比于传统光学成像系统更具有优势。到目前为止，关联成像已经实现了在太赫兹波段^[1-3]、红外波段^[4-5]、X射线波段^[6-9]、甚至于原子^[10-11]、中子^[12-13]、电子^[14-15]成像。同时，也可以实现多光谱^[16-19]、高光谱^[20-22]成像。除二维成像外，关联成像还可以对物体实现三维重构^[23-25]。此外，关联成像在光学加密^[26-28]、透过散射介质成像^[29-31]、超快成像^[32-33]、相位成像^[34-37]、非视域成像^[38]、荧光寿命成像^[33,39]、显微成像^[4,40]等诸多领域也展示出了广阔的应用前景。关联成像的历史，可追溯到1995年马里兰大学的史砚华团队利用纠缠光子对首次实现的量子鬼成像^[41]。后来，罗彻斯特大学的Boyd团队^[42]和马里兰大学的Alejandra Valencia等人^[43]分别利用经典光源和赝热光源实现了关联成像，将关联成像从量子领域引入经典领域，并证明了关联成像的基础是光场的二阶相关性而非必须量子纠缠。到了2008年，麻省理工学院的Shapiro团队发表计算鬼成像相关的工作^[44]。他们首次使用空间光调制器（Spatial Light Modulator）取代旋转毛玻璃，将一系列利用计算机设计的具有特定空间结构的图案加载到空间光调制器上，入射光经空间光调制器调制后形成结构光场对目标进行空间编码。这种利用空间光调制器产生结构光场的方法大大降低了关联成像系统的光路复杂度，也有效地提高了重构图像质量，因而成为了一种被广泛采用的关联成像方式。

尽管使用空间光调制器是目前计算关联成像中的主流选择，但在某些特殊应用场景中也会使用掩膜版来进行光场调制^[16,45-52]。这是因为空间光调制器存在波长响应范围以及调制速度的限制，而掩膜版却在这些方面具有独特的优势。实际上，掩膜版的使用可以追溯到19世纪末。1884年，尼普科夫发明了尼普科夫盘，如图1(a)所示，通过旋转来对投影于盘表面的物体图像进行空间编码，利用一个光敏元件以及一个与编码端同步转动的尼普科夫盘，就可以实现对编码后图像信息的传输和再现。尼普科夫盘后来被广泛运用到机械电视机中^[53-54]，但是由于其能量转换效率的低下以及再现图像信噪比的不理想，这种方式逐渐被淘汰。到了20世纪40年代末，研究人员开始逐渐将掩膜版应用于光谱探测中^[55-58]。Golay通过在光谱仪的输入或输出端设置掩膜版实现对光谱仪的输出光进行编码，相比于传统的顺序扫描光谱仪，这种使用掩膜版的光谱仪能够以更高的速率以及更大的信噪比获得光谱信息^[55]。1968年，Gottlieb将一种二值正交序列的掩膜版用于图像编码中，并提出了一种通过一维掩膜版实现二维图像编码的方法，这种方法提高了再现图像的信噪比并降低了掩膜版制造难度^[59]。20世纪70年代，利用掩膜版实现图像编码与重构的技术得到了广泛地使用^[60-63]。由于当时掩膜制造工艺的限制以及实现掩膜编码的繁琐性，随着其他成像技术的发展，利用掩膜版进行图像编码再现的方式逐渐淡出了人们的视野。至21世纪，关联成像技术的兴起为掩膜版提供了良好的应用平台，而掩膜版的使用也弥补了空间光调制器性能上的不足，使得关联成像适用于更多场景下的应用。

图  1  (a)尼普科夫盘示意图^[47]；(b) 20世纪70年代光谱相机中使用的掩膜版示意图^[61]

Figure 1.  (a) Schematic diagram of the Nipkow disk^[47]; (b) Schematic diagram of the mask used in spectroscopic cameras in the 1970s^[61]

光的一阶相干性表征了光场与光场之间的干涉能力，这里用杨氏双缝干涉实验来进一步说明。图2(a)为杨氏双缝干涉实验的原理图，光经过小孔$ {S}_{1} $和$ {S}_{2} $后在干涉屏表面P点的振幅分布为：

图  2  (a)杨氏双缝干涉实验原理图；(b) Hanbury Brown-Twiss星体干涉仪的原理图

Figure 2.  (a) Schematic diagram of Young's double slit interference experiment; (b) Schematic diagram of the Hanbury Brown-Twiss stellar interferometer

式中：$ E\left(\overrightarrow{{r}_{1}},{t}_{1}\right) $表示在$ {t}_{1} $时刻通过小孔$ {S}_{1} $的光在P点的振幅分布；$ E\left(\overrightarrow{{r}_{2}},{t}_{2}\right) $表示在$ {t}_{2} $时刻通过小孔$ {S}_{2} $的光在P点的振幅分布。P点的强度分布为：

其中，$ {(\cdot )}^{\mathrm{*}} $表示求复共轭，等号右边第三项为干涉项，为了更方便地描述干涉特性，定义一阶相干函数为：

二阶相干函数表征的是光场强度之间的干涉特性，其可以表示为：

20世纪50年代中期，曼彻斯特大学的Hanbury Brwon和Twiss为了测量双星的角半径，设计了一个光强干涉实验^[64]，如图2(b)所示，该实验就是著名的HBT实验。在HBT实验之前，所有的干涉仪都是基于相干光场的干涉现象,也即光场的一阶相干性。而HBT星体干涉仪利用了二阶相干性，其测量方式是对两个光强信号进行关联运算，从关联运算结果获取所要测量的星体角半径。

关联成像对于参考光与单像素探测器在信号光路收集的一系列光强做关联运算，得到物体的振幅及相位的空间分布信息，这是一种利用光场的二阶相干性对目标物体实现重构的过程。基于赝热光调制和空间光调制器调制的关联成像原理分别如图3(a)和图3 (b)所示。

图  3  关联成像原理图^[65]

Figure 3.  Schematic diagram of correlation imaging^[65]

在赝热光关联成像系统中，如图3(a)所示，激光经旋转毛玻璃调制产生的赝热光被分束器分成两束，一束经过距离L被CCD探测，得到赝热光强度的空间分布I(x,y)，这一路被称为参考光路；另一束经过相同的距离L照射在物体表面，物体的透射光由收集透镜会聚后被没有空间分辨能力的桶探测器接收。桶探测器探测到的光强可表示为：

式中：${O}({x},{y})$为物体的透过率空间分布。

当毛玻璃旋转时，其调制的结构光场也在不断变化，不同时刻CCD拍摄到的结构光场强度分布可表示为$ {I}_{t}(x,y) $, 与每一结构光场对应的光强测值为：

故，参考光路结构光场与信号光路单像素探测器收集到的光强值的二阶关联为：

一次完整的关联成像过程，需要CCD多次拍摄结构光场，多个结构光场的强度分布可用向量进行表示，记为$ \overrightarrow{{I}_{t}}(x,y) $，同样地，桶探测器探测的一系列探测值也可记为$ \overrightarrow{{y}_{t}} $。则二阶关联为：

对结构光场$ \overrightarrow{{I}_{t}}(x,y) $和探测值$ \overrightarrow{{y}_{t}} $进行零均值化处理，可以降低串扰项的影响，故物体${O}({x},{y})$的重构图像$ \overrightarrow{{G}^{\left(2\right)}}\left(x,y\right) $可以表示为：

相较于传统的成像技术，关联成像作为一种新型的成像技术，利用一个单像素探测器即可完成图像的重构，在特殊波段、弱光成像等领域有着显著的优势。

从文中可以看出，关联成像的必要条件之一是实现光场强度的涨落。为了实现这种涨落，研究人员设计了利用旋转毛玻璃产生赝热光场或利用调制器件产生变化的结构照明光场等多种方法。

由于热光场具有强度随机涨落的性质，满足经典关联成像的需要，因此在最开始时，科研人员考虑使用热光源实现关联成像。但是，热光是由原子或分子自发辐射产生，其相干时间远小于光电探测器的响应时间，探测器一般无法探测到热光的涨落。随着研究深入，Martienssen和Spiller发明了赝热光源，其既可以模拟热光场的涨落性质，又具有较长的相干时间，可以被探测器测量。常用的产生赝热光场的办法之一是用激光光束照射旋转的毛玻璃。国防科技大学陈平形课题组证明了激光照射旋转毛玻璃产生的赝热光场符合热光场强度随机涨落的统计特性，也具有满足探测器测量要求的相干时间。由于旋转毛玻璃产生的赝热光场是未知的，因此在进行关联运算时，仍需设置参考光路来探测赝热光场的强度空间分布信息，这使得整个系统光路较为复杂，且成像信噪比较低。

随着科学技术的不断进步，数字微镜阵列（DMD）、液晶空间光调制器和LED阵列问世，为关联成像提供了更多思路。将激光光束入射至DMD、SLM等调制器件表面可以产生特定的、已知的结构光场，从而省略了参考光路，提高了重构图像的信噪比。由关联成像的成像机制可知，空间光调制器件的刷新速率决定了成像速度，但目前，此类器件中最快的刷新速率也只有22.7 kHz，远达不到对于高速运动物体的成像需求。为了进一步提升成像速度，破除现有光场调制器件对关联成像速度限制的问题，北京航空航天大学孙鸣捷课题组提出了一种基于LED阵列的高速空间结构光场调制方法及成像系统。LED阵列的调制速率达到了2.5 MHz，成像速度达到了5 kHz^[66-67]。但基于LED阵列的关联成像也有其固有缺点，LED的发光波长已然是确定的，失去了关联成像与任何光源的兼容优势。

虽然LED阵列及DMD等空间光调制器的使用在很大程度上优化了关联成像系统，但是上述器件自身的缺陷仍局限着关联成像的适用范围，因此，人们也在不断地探究其他结构光场调制方式。早在20世纪70年代，基于哈达玛变换光学就利用掩膜版实现了空间复用成像。之后随着光电调制器件的诞生，掩膜版由于调制精度与调制速率的限制逐渐被放弃。如今，由于掩膜版加工工艺的进步，掩膜版已经具有了相当良好的调制精度，并且，掩膜版在光谱响应方面的优势一直不能被其他调制器件替代。利用掩膜版与待成像物体之间的相对运动就可以实现关联成像所必需的“涨落”条件，所以，基于掩膜版调制的关联成像近些年来又正在兴起，包括笔者课题组在内的许多研究人员针对基于掩膜版调制的关联成像作了进一步的研究。

基于单一固定光学掩膜板的光场调制与DMD的调制相同之处在于，两种调制方式都需要空间光调制图案与物体之间的相对变化；而不同之处在于，对物体的动态编码不是由空间光调制器刷新产生变化的结构光以进行，而是利用运动物体在固定掩膜板上的相对运动进行的。以被动光场调制为例，物体通过光学成像系统被成像到像平面上（即传统相机中探测器靶面所处的平面），根据光路可逆原理，在像平面上，放置一个固定的长条形的光学掩膜板（通常为二值型振幅掩膜版），即可在物平面上产生一副静止的结构光照明。假设物体所成图像的尺寸远小于掩膜板面积。当物体运动时，其在光学掩膜板上所成的像也会随之发生位移。不同时刻，像处于不同的位置，而掩膜板的结构是随机的，因此当像移动到不同位置处时，所受到的“局部光场调制”，即物体图像所重合的掩膜板的局部结构，会发生变化，这种机制就产生了关联成像所需要的“变化的光场调制”。如果采取一定措施，能将物体在照明结构上的实时位置记录下来，同时通过单像素探测器探测相应的物光强度，就可以提取出一组照明结构与对应的单像素探测值，进而可以实现关联成像。

受制于关联成像的成像机制，之前大部分关联成像的相关工作都是针对静止目标或准静止目标的。直到Jiang等提出的基于单像素探测器的高速运动目标成像方案^[68]，打破了以往关联成像对运动目标，特别是高速运动目标的恐惧。该方案不仅保留了已经被广泛验证过的关联成像在光谱等方面的优势，还把关联成像发展向了快速成像领域，并且在对高速运动目标的成像上，更具有超过现有昂贵的面阵高速相机的能力。

图4所示为Jiang等提出的高速成像方案。不同于传统的关联成像依靠不断刷新编码图案去完成空间编码，在该方案中，编码是利用运动目标本身的位移特性，自主地在单一固定的矩形图案上完成的。矩形编码图案放置在运动目标的路径上，且长边方向和运动方向保持一致。目标运动过程中，相对图案移动一个编码像素便实现了一次空间采样，当目标掠过整个矩形图案时就完成了一次关联成像的完整采样。由于矩形图案是预先设计好的，能被简单的数值化并提取出编码矩阵，再提取单像素探测器记录的信号，便能完成一次关联重构。

图  4  单像素探测器的高速运动目标成像原理图^[68]

Figure 4.  Schematic diagram of imaging high-speed moving target based on single-pixel detector^[68]

Jiang等在实验上验证了提出的基于单像素探测器对高速运动目标成像的可行性，证明了该方案对运动目标的捕获能力完全取决于单像素探测系统的工作带宽和采样速度。另外，为了尽可能的减少采样率，即矩形编码图案的长度，压缩感知算法和深度学习算法分别被用来重构。实验表明深度学习算法表现更优，在6%的采样率下就能实现良好的重构效果。不得不提及的是，Jiang实验中的目标是匀速直线运动的，但是基于此方案的高速关联成像不仅仅适用于这种限制比较大的情况。当目标是非匀速直线或者是非匀速非直线运动时，补充相应的辅助探测系统，该方案依旧是适用的。

2018年日本科研人员Ota等在《Science》期刊上介绍了一种新式的细胞分选平台，称为Ghost Cytometry^[69]。该技术在原理上和上面介绍的基于单像素探测器的高速运动目标成像非常相似，只不过他们的工作重点放在了鉴定和分选血液中各类细胞，以便用来确诊患者血液中异常细胞的种类和数量。

鬼式细胞分选仪的工作原理如图5所示。首先，大量待测细胞流经预设好的矩形图案编码区域，由光电倍增管记录下编码后的细胞荧光强度信号。然后，来自光电倍增管的电信号传输至FPGA电路板，其根据得到的信号并结合通过机器学习预先训练好的异常细胞判别依据，来判别是否发出一个脉冲信号去驱动压电致动器(PZT)进行异常细胞的分离。在整个细胞分选过程中，不需要对细胞进行成像，而是直接利用机器学习以信号的形式来判别。最终，鬼式细胞分选仪能在极低的错误率下，以每秒一万个细胞左右的速率鉴定和分离细胞。

图  5  鬼式细胞分选仪示意图^[69]

Figure 5.  Schematic diagram of ghost cytometry^[69]

该工作以单一固定掩膜版的调制方式，利用单像素探测器的高带宽优势，在不重构图像的情况下，利用机器学习以探测信号的形式来鉴定异常细胞，并实现了对异常细胞的分离。该工作不仅验证了关联成像在高速成像、显微成像、医学诊断等方面的应用潜力，还开发了一套可广泛使用的产品，为关联成像走向实际应用迈出了重要的一步。

2019年，Ma等首次提出了推扫式鬼成像雷达^[70]。尽管在成像的过程中也是使用单一固定的掩膜版作为调制器件，但具体的空间采样形式又和上两种的成像方式有一些不同。推扫式鬼成像雷达的空间采样不是利用目标在编码区域的自主运动，而是将掩膜版和探测器放置在运动平台上，依靠平台相对场景的运动来实现编码图案的切换从而完成采样的。推扫式鬼成像雷达的原理如图6所示。地面场景由光学成像系统成像到掩膜版上，掩膜版后放置一个柱状透镜和线阵探测器，柱状透镜将透过掩膜版每一列的光场分别会聚于线阵探测器上一点。假设掩膜版的分辨率大小是m×n，且移动平台沿着n方向运动，则线阵探测器的有效像素数为n个，垂直运动方向上每一列的m个掩膜版像素能独立完成一次空间采样，其编码信号由线阵探测器上的一个有效像素记录。当平台移动时，场景中垂直运动方向的m个像素依次被推扫式采样，当这m个像素移动过一个掩膜版的距离后，总共进行n次空间采样过程。利用线阵探测器上n个有效像素分别记录的信号值，就可以完成重构。

图  6  推扫式鬼成像雷达原理图^[70]

Figure 6.  Schematic diagram of ghost imaging LiDAR using push-broom scanning^[70]

这种推扫式的鬼成像雷达拓宽了关联成像的工作模式。传统关联成像中，只用到一个单像素探测器，所有的编码图案的信号都是由这一个单像素探测器采集的。而在这种推扫式鬼成像雷达中，用到了线阵探测器，线阵探测器中的每一个探测像素都和一个一维的确定的编码图案绑定。虽然每一个探测像素只服务于一个固定的编码图案，但是整个成像过程是平行扫描运行的，完全没有浪费探测资源。另外，推扫式鬼成像雷达不仅仅是关联成像的一种新的实现形式，而且极具实际应用价值。在大多数光学成像系统中，分辨率由衍射极限决定，但在红外、太赫兹等特殊波段或单光子等特殊类型的雷达成像中，由于探测器技术发展尚不成熟，阵列规模较低，导致成像分辨率受到探测器像素规模的制约。因此，对于这些雷达成像系统来说，成像分辨率的提高往往需要依赖于成像像素规模的提高。在目前很难有效增加特殊波段相机像素规模的情况下，推扫式鬼成像雷达能以目前低分辨的线阵探测器完成高分辨雷达成像。

文中介绍了以结构光编码相对静止、物体运动或者物体静止、结构编码和探测器推扫为例的编码形式，解释了单一固定光学掩膜板光场调制的原理。在关联成像过程中，只需要物体与结构光照明之间有“相对运动”即可实现连续变化的调制。为了实现物体与固定掩膜版结构光照明之间的相对运动，另一种有效的实现方式是将掩膜版制作成环形形状，并放置于可以旋转的转轮上。当转轮以一定的速度匀速转动时，即可通过一定的光路实现对待成像区域的连续、周期性的光场调制。到目前为止，已经有多种基于旋转掩膜版的关联成像技术被提出，有的只用单个单像素探测器采集重构出单幅图像，有的用多个探测器完成了多波长同时采集，一次采集能重构多幅图像，实验装置如图7所示。

图  7  旋转掩膜版的关联成像实验装置图^[16]

Figure 7.  Experimental setup of correlation imaging based on a rotating mask^[16]

正交编码是指关联成像中用正交矩阵的每一行依次作为调制矩阵去编码目标的空间信息。常用的正交矩阵有哈达玛矩阵和傅里叶基矩阵等。其中，哈达玛矩阵的组成元素是二值的，能方便地用空间光调制器表达出来，在关联成像中更受欢迎。当关联成像采用迭代算法重构时，需要随机编码的数量远超图像分辨率的调制次数，而正交编码只需一倍成像分辨率编码次数即可完成一次高质量重构。且在不考虑噪声的情况下，重构出的图像是完美的。正交编码的引入大大减少了一次关联成像过程的编码次数，提高了关联成像的速度，推动关联成像进一步走向实际应用。在此之前，已经有大量基于空间光调制器的正交编码关联成像被验证和研究，文中将介绍基于掩膜版的正交编码关联成像能否实现。

2020年，Hayasaki等就在基于掩膜版的关联成像中使用了正交哈达玛矩阵编码^[51]。如图8所示，直接将哈达玛矩阵中提取的每一个编码图案按照环形分布印刷在掩膜版上。掩膜版由一个电机驱动，在转动时，每个编码图案依次经过视场，完成一次空间编码。通过实验验证了该方案在4×4空间分辨率下多光谱成像的可行性。总的来看，课题组的工作中虽然使用了哈达玛正交矩阵作为编码图案，但每个编码图案在空间上是独立分布的，这使得在掩膜版有限的环形区域能够印刷的编码图案数量有限的。又因为关联成像中编码图案的数量是随着成像分辨率的提高而增加，因而该方案很难实现较高分辨率的关联成像，只能适用于空间分辨率要求不高的应用场景。

图  8  Hayasaki等实验中使用的掩膜版示意图^[51]

Figure 8.  Schematic diagram of the mask used in the experiment of Hayasaki et al^[51]

文中介绍了掩膜版作为调制器时采用正交编码的方式来完成关联成像。但该方案中编码图案之间是独立分布的，导致掩膜版上可印刷的编码图案数量有限，不能进行高分辨的关联成像，很难有广泛的应用前景。基于掩膜版的连续分布式正交编码策略，规避了上一种方案中关联成像分辨率低的问题。

除了常规的正交矩阵外，还存在着一种特殊的矩阵，即循环S矩阵。该矩阵虽然失去了严格的正交性，但该矩阵作为编码矩阵也能在不考虑噪声的情况下，实现对目标无失真的重构。2021年，以色列Hahamovich等利用该矩阵完成了基于转动掩膜版的高质量关联成像^[52]。其实，循环S矩阵的使用可以追溯到20世纪70年代的哈达玛变换相机和成像光谱仪。循环S矩阵构造方法为：将n维哈达玛矩阵的第一行以及第一列移除，再将形成的n−1维方阵中的所有1元素替换为0，所有的−1元素替换为1，形成S矩阵，取S矩阵中的任一行作为目的矩阵的第一行，循环右移（或左移）n−2次生成循环S矩阵。循环S矩阵在关联成像中作为测量矩阵时，可以通过快速哈达玛变换从探测值中恢复出目标空间信息。更重要的是，如图9所示，循环S矩阵能被连续的印刷在掩膜版上。当掩膜版转动时，每移动一个掩膜版像素即可刷新一张编码图案。这是因为循环S矩阵独特的构造使得相邻编码图案在空间分布上只有一列之差。

图  9  (a) Hahamovich等实验中使用的基于循环S矩阵掩膜版的示意图；(b) Hahamovich等人实验的部分结果^[52]

Figure 9.  (a) Schematic diagram of the mask based on cyclic S matrix used in the Hahamovich et al experiment; (b) Part results of the experiment by Hahamovich et al^[52]

再次回顾Hahamovich等人的工作，该课题组不仅将遗忘多年的循环S矩阵重新应用到关联成像中，还搭建了高精度的实验系统，完成了高质量的成像。首先，在技术上通过相机标定的手段，解决了掩膜版在转动时，由马达主轴跳动和掩膜版安装位置不准确造成的漂移问题，这为整个成像过程中能够按照预设的编码矩阵完成空间编码提供了保障。然后，还讨论了掩膜版上每个调制像素为六边形或正方形时的成像效果。此外，结合传统成像中使用的亚像素移动的策略，实现了三倍调制分辨率的超分辨成像。

在关联成像中，常用的重构算法有两种：一种是迭代重构算法；另一种是压缩感知重构算法。其中，压缩感知在花费更多计算力的代价下，能以较低的采样率完成关联成像。压缩感知的成像理论是依托于物体在特定变换域能量集中分布，呈现一定稀疏性的特点来实现压缩采样。其重建过程旨在寻找当前变换域的稀疏解，即重建当前变换域中能量集中的部分，具有较高的普适性。因此，基于压缩感知重构的关联成像一经提出，就引起了广泛的关注和研究。

2012年Shen等^[46]以及2020年Vallés等^[50]都用了如图10所示的掩膜版，分别在红外和太赫兹波段利用压缩感知算法来完成关联成像。这种掩膜版在空间分布上没特别的设计，掩膜版上的每一个像素都是正方形的，亮暗是随机分布的。以被动成像为例，在成像过程中，需要选择一个固定且大小适配掩膜版的窗口作为编码区域，也就是成像视场。目标场景通过光学系统成像到此区域，由于掩膜版的转动，该窗口的编码图案不断刷新，每转动一个小角度，都相当于对目标图像完成了一次空间编码。编码后的光场强度由单像素探测器记录。关联成像的重构过程需要探测矩阵与探测信号对应，但是上述两个工作中掩膜版的编码方式，很难做到让探测矩阵和探测信号对应，这主要是因为掩膜版的编码图案很难准确的数字化。当掩膜版转动时，不同半径处的线速度不一样，就会造成成像窗口内的编码像素的倾斜，或者窗口边沿上像素的不完整。在这种情况下，窗口内的编码图案只能以近似的方式得到字数矩阵，这会给重构引入极大的误差，从而降低重构图像的质量。总的来说，这种图案分布的掩膜版，虽然在设计和加工上简单一些，但在重构过程比较麻烦，还会降低图像重构质量，不是一个完美的选择。

图  10  Vallés等实验中使用的掩膜版示意图^[50]

Figure 10.  Schematic diagram of the mask used in the experiment of Vallés et al^[50]

最近，Jiang等^[16]提出的基于转动掩膜版的关联成像在掩膜版图案分布上进行了全新的设计。该工作的灵感来源于课题组的上一个工作^[68]。如图11所示，首先确定了一个已知随机分布的长方形图案作为关联成像的编码矩阵，假设其分辨率大小为a×b，其中a远小于b，则能从这个长方形图案中划分出b-a+1个分辨率为a×a的子图案，并将这些子图案作为关联成像中每一次空间编码的图案。当这个长方形图案相对目标沿着同一方向移动时，便实现了关联成像中不同编码图案的切换。课题组上一个工作通过运动目标本身相对于掩膜版的运动实现了编码过程，但在该工作中，编码过程是靠掩膜版的转动来完成的。为实现工作中的编码方式，首先需要把这个长方形图案变成环形。在变成环形之前，需在长方形图案的后面填加了一段等宽的全零矩阵作为标志位，此举是为了方便重构过程中找到探测信号对应的编码矩阵。接着，对这个添加了标志位的长矩阵进行上采样，通过极坐标变换的方式，将长方形图案变成圆环状图案。最后，以此圆环为图纸加工成掩膜版，并将掩膜版安装在马达上，在马达的转动下完成连续的空间编码。该掩膜版如图11(b)所示，此时掩膜版上每个调制像素是扇形的，且大小随着半径变化，半径越大扇形面积越大。在这种情况下，即使掩膜版转动时不同半径处的线速度不一致，也会保证不同半径处的每个调制像素是同时切换的。这样一来，重构时编码矩阵是确定的，不需要去做近似，从而避免了不必要的误差。Jiang等分别通过模拟仿真和物理实验的方式验证了方案的可行性。图11(c)是该课题组的成像结果，其中，左上第一张是模拟数据的原图，左下第一张是模拟的传统关联成像结果图。左上第二张和第三张分别是直接重构的模拟和实验结果，它们下方是对应的矫正后的图像。

图  11  图(a)和(b)为Jiang等实验中使用的掩膜版示意图； (c)模拟和实验结果^[16]

Figure 11.  Fig. (a) and Fig. (b) are schematic diagrams of masks used in the experiment of Jiang et al; (c) Simulation and experimental results^[16]

该课题组以实验验证了所设计的掩膜版可行性之后，又通过新的实验展示了基于掩膜版调制关联成像在成像谱段方面的优势。掩膜版作为一个空间光调制器，其光谱响应范围取决于掩膜版的制作材料，实验中所使用的掩膜版是由石英玻璃上镀铬制作的。相比于常见的空间光调制器，该掩膜版在200~2 000 nm的光谱范围内都能完成较高效率的结构光调制。在实验上利用两个二向色镜和三个不同的单像素探测器完成了光谱范围从紫外到短波红外的多光谱同时成像。图12是实验的成像结果。首先成像了在空间不同位置放置的三个单色LED，这三个LED的发光波长分别是365 nm、520 nm和1 064 nm。来自不同探测器信号重构出的图像中只显示了该探测器探测波段内LED的像。然后，又以打印的“S、P、I”三个字母作为成像目标，其中字母“S”未作任何处理，字母“P”上涂了一层防晒霜，而字母“I”上涂了一层油画染料。对这三个字母进行紫外到短波红外的同时成像，来自紫外探测器信号重构出的图像中只有字母“S”，这是因为防晒霜和油画染料能阻碍了紫外光照射到后面的字母；由可见光探测器信号重构出的图像中有字母“S”和“P”，这是因为防晒霜对可见光没有阻隔作用，而可见光依旧不能透过油画染料；来自红外探测器信号重构出的图像中三个字母都能看到，这是因为红外光不仅能透过防晒霜也能透过油画染料。这一多光谱的实验不仅证明了基于掩膜版调制的关联成像有着出色的宽光谱成像能力，还生动地体现出了宽光谱成像的广泛应用场景。另外，该课题组搭建的成像系统还达到了100 fps的成像速度，实现了对燃烧火焰的多光谱动态成像。

图  12  Jiang等的多光谱成像实验结果图

Figure 12.  Experimental results of multispectral imaging by Jiang et al

综上所述，Jiang等提出的方案极大地解决了掩膜版调制关联成像中调制图案数字化的问题。另外，课题组的工作还突出了基于掩膜版调制关联成像的两个优势：一个是在成像速度上超过了基于空间光调制器的关联成像；另一个是实现了现有面阵相机不可能实现的从紫外到红外谱段的同时成像。

掩膜版调制关联成像不仅适用于光学波段。实际上，在非光学波段的关联成像系统中也会广泛地使用掩膜版，掩膜版调制相对于其他非光学波段的调制方式在系统复杂度等方面具有显著的优势。

在关联成像被提出之前，太赫兹波段成像大多是通过点扫面成像或面阵探测器成像实现的，但是这两种成像方式分别在成像时间以及探测灵敏度和成像成本等方面具有固有的缺陷。随着关联成像的发展，2008年，莱斯大学的Chan等首次提出了太赫兹关联成像系统，并结合压缩感知算法，实现了空间分辨率为32×32 pixel、压缩比约为30%的太赫兹成像^[71]。Chan等利用印制在印刷电路板（PCB）上的铜制掩膜版实现了对太赫兹波段场的调制。一张PCB上印制了600个不同的铜制随机二值图案，每个图案都为32×32 pixel，每个像素的大小为1 mm×1 mm。逐次移动PCB可以实现不同图案的切换，从而完成空间采样过程，最终重构出了物体的图像。然而，这种逐次移动切换采样图案的方式需要精确的运动控制平台以实现每次切换后的图案保持在同一位置，使得系统较为复杂。2016年，天津大学的Duan等提出了另一种单一掩膜版的太赫兹关联成像系统^[72]，该系统不是将一套图案分别印制在掩膜版的不同位置，而是直接构造了一个随机二值的长方形掩膜版，其长宽分别为99 pixel和20 pixel，利用一维平移台将掩膜版每沿长边移动一个像素的距离，就可以切换一次采样图案，这样就形成了80个20×20 pixel的采样图案，再结合压缩感知算法，最终实现了空间分辨率为20×20 pixel、压缩比为20%的太赫兹成像。

上述基于矩形掩膜版的工作诚然成功地实现了太赫兹波段的关联成像，在一定程度上弥补了原有太赫兹成像方式的缺陷，但是矩形掩膜版的各掩膜图案之间的切换仍旧是一个耗时较长的过程。为了提高成像速度，太赫兹关联成像系统中也会使用旋转掩膜版进行调制。利用旋转掩膜版进行太赫兹波段的关联成像是在2012年时由Shen等首次实现的^[46]，一直到近些年，这种简洁高效的调制方式仍会被许多课题组采用，例如VALLÉS等在2020年发表的工作^[50]。这两个工作所采用的掩膜版设计方案都是直接将随机二值矩阵加载于圆盘上，以方形像素实现调制。Shen等利用印制在圆盘形PCB上的铜制掩膜版进行关联成像，每一掩膜图案的空间分辨率为32×32 pixel，最终得到空间分辨率为32×32 pixel的重构图像，并结合压缩感知算法，使得压缩比达到约16%。但是，PCB的衬底材料对1 THz以上频率的入射太赫兹波有强烈的吸收，因此，这一系统仅能对1 THz以下频率的太赫兹波进行有效成像。而VALLÉS等采用的是不锈钢板直接穿孔形成的掩膜版，以此来避免不希望的吸收，使得这一系统能够在整个太赫兹频段（3~13 THz）实现关联成像，并且结合了亚像素算法，以空间分辨率为32×32 pixel的掩膜图案实现了空间分辨率为1 200×1 200 pixel的高像素分辨重构结果。此外，VALLÉS等还完成了这一系统在可见光（532 nm）以及近红外（1 510 nm）波段的成像实验，进一步验证了系统的宽谱段成像能力。

X射线成像具有较长的穿透深度和极高的空间分辨率，因而在材料学、生物医学以及国防军工等诸多领域有着广泛的应用需求。但与光学波段不同的是，X射线波段成像需要面对两大难题，一是这一波段缺乏高质量的元件对X射线束进行分束、聚焦、反射等操作；二是传统X射线成像技术要求X射线源具有高度的相干性以及亮度^[73-75]，这在实际应用中是难以实现的。因此，利用低相干源的无透镜X射线成像方案亟待被实现。

考虑到关联成像在低相干源条件下的适用性，2016年，Yu等提出了一种使用空间非相干源的无透镜关联成像方案，首次实现了X射线波段的关联成像^[7]。利用带有位置随机分布的圆孔的金箔对X射线进行空间调制，圆孔直径小于1 μm，深度为2.7 μm。这种多孔金箔起到了掩膜版的作用，X射线穿过多孔金箔后可以形成结构照明，并且由于圆孔随机分布，结构照明会随着X射线入射位置的改变而改变。每次测量时，需将金箔固定，将物体移出光路并用CCD测量结构照明的空间分布，然后将物体放入光路测量此时强度信息，完成一次测量后，将金箔横向移动形成下一个结构照明，重复之前的过程再次测量。Yu等利用这种方法获取了目标物体的高分辨率傅里叶变换衍射图，并成功地通过傅里叶变换恢复了物体在空间域的振幅和相位分布，实现了无透镜非相干照明的非晶体样品X射线成像，并且，这一工作还为费米子(如中子和电子)等没有强相干源的无透镜衍射成像提供了可行的解决方案。

Yu等所使用的掩膜版类似于关联成像中的旋转毛玻璃，其图案分布未知，需要通过CCD测量得到结构照明的空间分布。2019年，Klein等^[76]利用已知掩膜图案的掩膜版进行了X射线关联成像，直接得到了目标物体的图像。通过数值模拟设计出所使用的随机二值图案，然后利用激光在金箔及铜箔上刻蚀，形成在实验中使用的掩膜版，测量过程中，平移掩膜版即可实现不同掩膜图案的切换。又通过关联运算重构出了50 μm和80 μm狭缝的图像，实现了在降低对X射线源要求的条件下的高分辨率成像。2020年，He等^[77]提出了一种另一种掩膜版X射线关联成像的方式，将一组hadamard基采样图案直接刻蚀与金箔的不同位置制成掩膜版，并将其安装于二维电动平台上，通过移动掩膜版位置使得X射线入射到不同的采样图案上，完成测量过程。此外，还利用了多级小波卷积神经网络（CH-MWCNN）算法，以18.75%的压缩率实现了对目标物体的高分辨率重构。

文中归纳了近年来主要使用的两类掩膜版调制的关联成像方案，着重介绍了它们各自的工作原理，并进一步分析了它们各自的特点以及在未来的应用前景，同时，也对于非光学波段的掩膜版关联成像工作进行了简要的总结和阐述，证明了掩膜版关联成像在宽谱段范围的应用潜力。首先以量子鬼成像为始介绍了关联成像的发展历程，然后从物理和数学两个角度解释了关联成像的成像机理，其间引入了一些关于掩膜版起源与早期应用的例子。对近些年来关联成像中使用掩膜版的相关工作进行了总结，根据成像过程中掩膜版的工作状态，把这些工作分为两大类：基于单一固定掩膜版调制的关联成像和基于转动掩膜版调制的关联成像。其中，对三项基于单一固定掩膜版调制的关联成像工作进行了介绍，它们都是利用目标和掩膜版之间的相对位移来实现对目标的连续空间编码。这种空间编码模式打破了传统关联成像中空间光调制器刷新速率对成像速度的限制，使得关联成像的成像速度仅限制于单像素探测系统的工作带宽和采样速率。因此，在这种成像模式适用的场景下，关联成像捕获高速运动目标的能力远超现有的超快面阵相机。此外还介绍了四项基于转动掩膜版调制的关联成像工作，它们之间的主要区别在掩膜版设计上，按照调制效率从低到高的顺序对他们分别进行了详细的介绍。其中，Hahamovich等人和Jiang等人提出的最新式转动掩膜版不仅完美适配关联成像的工作模式，还能完成高分辨、高质量以及宽光谱的成像。最后，为了特别说明掩膜版调制在特殊波段成像的适用性，介绍了太赫兹波段和X射线波段中典型的掩膜版关联成像工作。实践证明，掩膜版可以对非光学波段光束进行高效调制，从而实现了关联成像，这使得非光学波段单像素探测器在技术实现难度、灵敏度及造价等方面的优势能够应用于成像领域，并为特殊波段的高质量成像提供了一种简洁易行的方案，解决了其他成像系统中对光源或其他元件要求过高的问题，同时，随着压缩感知或深度学习算法的引入，降低了采样次数，进一步缩短了成像时间。

综上所述，掩膜版作为一个结构光调制器件被应用于关联成像中，并且，与其他常用的调制器件相比有着固有的优势。首先，掩膜版的调制光谱范围较广，从X射线波段到太赫兹波段都已被验证，这是其他调制器所不具备的。其次，掩膜版相比于空间光调制器和旋转的毛玻璃，能实现更高的调制效率。最后，掩膜版在加工制作上还有着低成本、低技术壁垒的优势，能被广泛地推广应用。总之，随着关联成像技术的进一步发展，掩膜版必定会在常用的结构光调制器件中占有一席之地，并发挥不可替代的作用。