-
基于信息论视角的研究往往是基于一系列数学模型和方法进行的。因此,在具体介绍传统光学成像的信息论研究之前,作为其背景,笔者先简单介绍一下对于传统光学成像系统的数学描述[3]。
-
所谓确定性描述,是在不考虑噪声及其他的随机性来源的前提下,对物、像和系统的描述。一般地,常用函数来表示待成像目标的分布,其中最常见的便是自变量为三维欧式空间坐标的函数
$ f\left( {x,y,z} \right) $ ;此外,还可以加入额外的自变量如时间$ t $ (有动态信息的目标)、光波长$ \lambda $ (有光谱信息的目标)等。在数学上,这样描述真实目标分布的函数可以看作是无穷维Hilbert空间上的一个向量${{f}}$ ,笔者在这里将这一空间称为“物空间”。另一方面,对像的描述也是类似的,可以使用函数$ g\left( {x,y} \right) $ 进行描述(这里,由于成像探测器是二维的,因此函数自变量一般只有二维空间坐标),也可以将其看作另一个Hilbert空间(这里称之为“像空间”)中的向量${{g}}$ 。在此基础上,可通过系统的点响应函数$h\left( {{{{r}}_g};{{{r}}_f}} \right)$ 来对一个成像系统进行理想情况下的数学描述:$$ g\left({r}_{g}\right)={\displaystyle \int h\left({r}_{g};{r}_{f}\right)f\left({r}_{f}\right)\text{d}{r}_{f}}$$ (1) 式中:
${{{r}}_f}$ 、${{{r}}_g}$ 分别为物体分布函数和像分布函数的自变量。也可用物空间到像空间的映射算符$ \mathcal{H} $ 来表示,即:$$ {{g}} = \mathcal{H}{{f}}$$ (2) 根据物和像的分布函数自变量的连续或离散,成像系统的映射算符
$ \mathcal{H} $ 一般可以分为从连续到连续、从连续到离散、从离散到离散三种。点响应函数$h\left( {{{{r}}_g};{{{r}}_f}} \right)$ 或算符$ \mathcal{H} $ 的性质,便能够反映成像系统的一些性质和性能。例如,理想情况下的绝大部分成像系统是线性的;又比如,对传统近似具备空间平移不变性的成像系统成像分辨率的一个典型描述是通过点扩散函数的半高全宽定义的。另外,在这个确定性的描述框架下,一旦知道准确的映射关系$ \mathcal{H} $ ,便可以通过对像空间的探测数据的处理,如通过滤波、求解逆问题等手段得到待成像物体的分布信息。 -
与上面所述的确定性描述不同的是,传统光学成像系统的统计性描述主要考虑的是对某一类成像目标的特性以及像面探测噪声的特性进行描述,不过统计性描述需要建立在确定性描述的基础上。这里笔者仍然从物、系统和像这三者上来展开说明。物体的统计性描述,其研究对象不再是单个的物体及其分布函数,而是将分布函数看作是某个随机过程中的一个样本函数。这个随机过程所描述的则是由同一类的所有可能物体的分布函数所构成的完整系综。对物体的统计性描述,所研究的就是这个系综的若干统计特性甚至概率密度分布
${{pr}}\left( {{f}} \right)$ 。目前,研究者们已经提出了一些比较常用的概率密度分布模型,如高斯混合模型、纹理模型等。这些统计特性,可在滤波或解逆问题时作为目标物体的先验约束、或用于成像系统仿真时的典型物体生成等。而成像系统的统计随机性,目前主要考虑的是源自探测过程中的各种噪声。大多数噪声与探测器件的物理原理有关,如散粒噪声、热噪声、$ {1 \mathord{\left/ {\vphantom {1 f}} \right. } f} $ 噪声。实际中,常用的噪声模型是泊松分布(表征光子计数探测器的噪声)和正态分布(能比较好地表征多种噪声的总体干扰)模型。由于探测噪声的存在,使得实际成像系统的描述模型变为:$$ {{g}} = \mathcal{H}{{f}} + {{n}}$$ (3) 式中:
${{n}}$ 表示噪声。进而,对系统的统计描述,就可以在使用映射算符的确定性描述的基础上以条件概率密度来表示:$$ {{pr}}\left( {{{g}}\left| {{f}} \right.} \right) = {{p}}{{{r}}_{{n}}}\left( {{{g}} - \mathcal{H}{{f}}\left| {\mathcal{H}{{f}}} \right.} \right)$$ (4) 式中:
${{p}}{{{r}}_{{n}}}\left( \cdot \right)$ 代表噪声模型。对系统的统计性描述模型可以用于分析成像系统信息容量、描述其成像统计分辨率等。最后,在对物体和系统的统计性描述的基础上,能够导出对于系统所成的像的一个统计性描述,从而能够分析系统对某一类物体的成像能力,或尝试对成像系统进行优化。 -
光学成像系统信息论研究中的一个比较基础的问题,就是类似通信系统那样,评估一个成像系统的信道容量。这一节中将首先简要介绍分析光学系统信道容量问题的工具—光学信息论,然后回顾若干经典的相关研究工作。
-
在香农信息论提出之后,国内外研究者们便尝试将其引入成像光学领域,逐渐形成了光学信息论这一研究方向。这里主要介绍其中的一些关于分析系统信道容量的核心概念和方法。
在香农信息论中,一个比较著名的结果是香农公式[1],其描述了高斯白噪声干扰的连续信道的信道容量为:
$$ C = T\Delta \nu {\log _2}\left( {1 + \frac{{{P_s}}}{{{P_n}}}} \right)$$ (5) 式中:
$ T $ 为信号的传输时长;$ \Delta \nu $ 为信号的传输带宽;$ {P_s} $ 为信号的平均功率;$ {P_n} $ 为高斯白噪声的平均功率。光学信息论通过将香农公式进行改动和拓展,以引入到光学中来表征一个成像系统的光学信道容量。其中重要的一个拓展是关于光学自由度的定义。原始香农公式中的$ T\Delta \nu $ ,是时间信号以Nyquist采样率进行离散采样处理后的独立表达系数的数目,可以理解为信号的自由度,也称系统的香农数。在光学成像系统中,被传递的图像信息由光场信号表征,其不再仅仅是时间的函数,因而需要重新考虑其自由度。由于光场有多个维度,其光学自由度数应该是由这些维度叠加贡献的[4]:$$ {N_{DOF}} = {N_t} \cdot {N_s} \cdot {N_c} \cdot {N_\psi }$$ (6) 式中: Nt、Ns、Nc、
$N_{\psi}$ 分别为时间、空间、光谱、偏振自由度。一般地,时间自由度,类似于原始香农公式,由光场信号的传输时长和时间带宽确定;光谱自由度原则上应按照系统的光谱分辨率和光谱带宽划分出的独立光波段数来确定;偏振自由度按照光场的偏振状态来确定。至于空间自由度,则是光场信号比较独有的一个特性,其分析方法经历了比较复杂的研究讨论,目前比较规范的方法是使用有限视场光学本征函数理论[5]。在实际的光学成像系统中,成像视场和像面探测器的空间尺寸实际上都是有限的,并且有限成像孔径所导致的光场衍射效应使得系统能够传递的空间频率也是有限的。例如,一个传统的4-f相干成像系统的实际成像过程可以比较泛化地表示为:
$$ g\left( x \right) = {\mathcal{D}_X}{\mathcal{B}_\mathit{\Omega}}f\left( x \right)$$ (7) 式中:
$ {\mathcal{D}_X} $ ,${\mathcal{B}_\mathit{\Omega}}$ 分别表示施加空间范围限制和空间频率范围限制的算符;$ X $ ,$\mathit{\Omega}$ 分别表示截止空间范围和截止空间频率。对于这样的系统,经典的傅里叶光学分析中所用的复指数函数集${\left\{ {{{\rm{e}}^{ - {\text{i}}{\boldsymbol{\omega }} {{r}}}}} \right\}_{\boldsymbol{\omega }}}$ 不再是其本征态,因而使用Abbe成像理论[6]进行的理想化系统描述也不再适用。经过研究,回转椭球波函数理论[7]被用于构造这样空间、频带均受限的系统的本征函数集$\left\{ {{\psi _i}\left( \mathit{\Theta} \right)} \right\}_{i = 0}^\infty$ ,其中$\mathit{\Theta}$ 是函数的参量,不同$\mathit{\Theta}$ 对应不同的回转椭球波函数集。进而,通过将一个特定成像系统中的物体$ f $ 和像$ g $ 在这样的本征函数基上展开为:$$ \begin{aligned} f =& \sum\limits_{i = 0}^\infty {{a_i}{\psi _i}\left(\mathit{\Theta}\right)} \\ g =& \sum\limits_{i = 0}^\infty {{\lambda _i}\left(\mathit{\Theta}\right){a_i}{\psi _i}\left( \mathit{\Theta}\right)} \end{aligned}$$ (8) 通过
${\lambda _i}\left(\mathit{\Theta}\right)$ 分析各分量的衰减程度,给出系统映射算符$ \mathcal{H} $ 所能传递的有效本征函数分量的数目,并将其作为系统能够传递的光场空间自由度数。这套理论方法,被称为有限视场光学本征函数理论,它解决了如何计算光场空间自由度数这一核心问题,构建了使用信息论来分析光学成像系统的桥梁。 -
光学信息论中的有限视场光学本征函数理论,可以用于分析若干光学成像系统的光场空间自由度,进而研究成像系统的信道容量。例如,在《光学信息论》[8]一书中介绍了使用菲涅尔椭球波函数作为本征函数,按照上面所述方法来分析平面全息成像系统信息量的具体过程。Stern和Javidi两人[9]使用信息论中的香农数这一概念,分析了集成成像系统所传递的光场空间自由度数,通过单独分析系统中每个微透镜构成的子系统的自由度数后将他们独立加和,得到总的自由度数;并在考虑每个微透镜生成的子图像有交叉干扰的情况下分析了噪声,从而估计了集成成像系统的信道容量。另一方面,也有研究者使用与经典香农信息论中的概念不同的Kolmogorovε-熵,来分析光学成像系统的像面图像中所包含的成像物体的信息量[10]。此外,对光学成像系统的信道容量的分析,被广泛应用于基于信息理论的成像系统分辨率研究、成像系统评价和优化工作中。
-
成像分辨率是光学成像系统的重要指标之一。传统光学成像系统的模式为“点到点”映射的直接成像,其分辨率长期以来被认为是受到空间衍射斑大小的制约。在以信息论的视角来分析成像系统之后,研究者们对于系统的分辨率有了新的认识。这一节主要回顾使用信息光学成像方法视角在传统光学成像系统分辨率方面的一些研究。
-
由于光波传播过程中的衍射效应,经典的光学系统都具有空间截止频率,高于该频率的频谱分量将会丢失。由此,对于一个典型的“点到点”直接成像的光学系统来说,其像面上的点扩散函数,将不再是一个理想的没有大小的点,而是一个由于高频分量的丢失在空间有一定扩展大小的中心亮四周暗的光斑。在此基础上,经典分辨率描述认为,如果物面上两个点相距的距离使得它们经过成像系统产生的斑刚好错开而可以被分辨,就将这个距离(或角距离)定为系统的分辨率。对于相干成像系统来说,其分辨率就是著名的Abbe极限[11]:
$$ d = \frac{\lambda }{{2{\text{NA}}}}$$ (9) 式中:
$ \lambda $ 为波长;$ {\text{NA}} $ 是系统的数值孔径;而对于非相干成像系统来说,一般用Rayleigh衍射极限[12]来描述其角分辨率,即:$$ \delta = 1.22\frac{\lambda }{D}$$ (10) 式中:
$ D $ 为系统的口径。 -
经典分辨率描述,是在“点到点”直接成像的框架下,比较偏直觉性地得到的分辨率极限。在信息论提出之后,研究者们也开始以新的视角思考光学成像系统的分辨率。其中,很早期的工作试图从通信理论即经典香农信息论的视角,来分析成像系统在一个给定的信噪比下所能达到的分辨能力[13-14]。G. W. King和A. G. Emslie[13]两人最早基于通信理论的视角分析了光谱分析系统的分辨率与系统若干参数的关系。G. Francia[14]也比较早地将成像系统的光学自由度和系统分辨率联系起来,提出了一些很有启发性的观点,并结合一些例子对它们做了定性的分析;他的分析表明以信息论视角来思考成像系统的分辨率是必要的。沿着Francia的思路,后续出现了不少通过光学成像系统信道容量进行分辨率分析的研究[15-20],并通过加入新的考虑要素,发展了这一研究方向。其中,Cox和Sheppard将Lukosz所提出的光学自由度数不变定理[15]进行了拓展,提出光学系统信道容量不变定理[18],即:
$$ {N_{{\text{DOF}}}}{\log _2}\left( {1 + {\text{SNR} }}\right) = {\text{constant}}$$ (11) 并用它分析了数据后处理方法可能带来的分辨率提升与信噪比的关系,在只考虑空间自由度的情况下比较直觉性地得到如下公式(以二维图像为例):
$$ {\text{SR}} = {\left[ {\frac{{\log \left( {1 + {\text{SN}}{{\text{R}}_1}} \right)}}{{\log \left( {1 + {\text{SN}}{{\text{R}}_2}} \right)}}} \right]^{{1 \mathord{\left/ {\vphantom {1 2}} \right. } 2}}} $$ (12) 式中:
$ {\text{SN}}{{\text{R}}_1} $ ,$ {\text{SN}}{{\text{R}}_2} $ 分别表示原图像和分辨率提升处理后图像的信噪比。在分辨率极限的定量分析方面,Bershad[16]在光学信道容量$ C $ 的基础上,通过考虑成像系统的孔径尺寸$ 2\alpha $ ,类比信道传输率定义了如下的单位空间孔径尺寸所传递的信息容量:$$ {C_0} = \frac{C}{{2\alpha }}$$ (13) 并使用
$$ {d_I} = {1 \mathord{\left/ {\vphantom {1 {{C_0}}}} \right. } {{C_0}}} $$ (14) 这一具有角分辨率量纲的量作为所谓的“信息分辨距离”(Information resolution distance);这种将信息bit与二维空间距离结合来定义分辨率的做法,提供了成像系统空间分辨率描述的新思路。1990年,Kosarev[19]发展了适用于无空间带宽限制的信号的香农定理,并沿类似Bershad的思路,以单位尺寸上的信息bit数给出了系统的“信息分辨率”极限的一个理论公式:
$$ {C \mathord{\left/ {\vphantom {C X}} \right. } X}\left( {{\text{bits c}}{{\text{m}}^{ - 1}}} \right) = \mathit{\Omega} \left( {{\text{c}}{{\text{m}}^{ - 1}}} \right){\log _2}\left( {1 + {\text{SNR}}} \right)$$ (15) 式中:
$ X $ ,$\mathit{\Omega}$ 为系统的空间视场大小和空间频带限制。最近,Narimanov也按照这个思路针对远场显微成像系统进行了更具体的分析和讨论[20]。另一方面,基于广义的信息论中的估计与检测理论进行成像系统分辨率的分析也是十分重要的一大研究方向。这方面的研究,最早可追溯到20世纪60年代Harris使用假设检验方式考虑分辨率的工作[21]。他研究了在高斯噪声下分辨两个点源的问题,通过分析“两点源经成像系统后被判别为两个”这一正确决策的概率,来研究分辨率与噪声水平的关系。随后,Helstrom对于有背景和噪声干扰的光学成像系统进行了一系列的研究工作[22-24]。一方面,他沿用假设检验的思想,以两个中心已知的等亮度点源为研究对象,通过综合考虑“两点源被判别两个”的正确概率和“一个点源被判别为两个”的错误概率来描述它们的“可被分辨能力”,从而探究系统的分辨率和信噪比及背景的关系[22],并把这个思路应用于非相干成像系统的分析[23]。另一方面,基于Cramér-Rao不等式[25],他推导了通过成像系统的探测信号对非相干物体的辐照强度分布进行无偏估计的误差下界,并研究发现当物体精细程度在系统的经典分辨率描述的尺度之内时,这个误差会显著增加[24]。类似于研究信噪比对分辨率描述的影响,Lucy基于统计理论研究了为使成像系统达到一定分辨率所需要的探测光子数[26]。由于“点到点”直接成像模式的点扩散函数在理想情况下具有平移不变性,随后的研究便主要集中于分析目标为两个点源的情况,并逐渐给出分辨率的定量表达式。例如,Bettens等人[27]使用Cramér-Rao下界(CRLB)来分析对于两个点源之间距离的估计精度,并用该下界来描述系统的分辨率;其中使用近似的高斯形状的点扩散函数,得到估计精度的下界为:
$$ \text{CRLB}=\frac{8{\sigma }^{4}}{N{d}^{2}}$$ (16) 式中:
$ \sigma $ 为高斯函数的标准差;$ N $ 为探测时的光子数;$ d $ 为两个点源的距离。可以看出,估计的CRLB随着两点间距的增加而减小。沿着这个思路,Smith提出了“统计分辨率”的概念[28],如图2 所示,图中给出了不同信噪比下两点间距估计的下界随两点间距的变化曲线,当对两个点源的距离$d$ 进行无偏估计的CRLB满足:$$ \sqrt {{\text{CRLB}}\left( d \right)} = d $$ (17) 时,认为这两个点源是可分辨的,并将此时的CRLB作为系统的统计分辨率极限。使用CRLB来界定分辨率的想法,也被用于分析单分子显微定位系统的分辨率极限[29]以及多次散射对成像系统分辨率的影响[30]等。
基于信息理论的分辨率描述研究所得到的结果表明经典衍射极限所约束的分辨率在理论上是可以被超越的,也为目前已经提出的若干超分辨成像方法提供了科学的解释和性能评估的可能理论标准。
-
如何打破经典分辨率描述的限制,一直被视为是光学成像研究中一项很有挑战性的课题。目前,已经有许多的工作,在传统光学成像的模式框架下,提出并验证了超越经典分辨率的技术可行性。按照原理角度的不同,可以将它们大致分为“基于映射精度视角的超分辨成像技术”和“基于信息视角的超分辨成像技术”两类。
-
为了与“基于信息视角的超分辨成像技术”进行比较,我们先简要回顾一下“基于映射精度视角的超分辨成像技术”。这一类技术,通过设计改进成像系统,提升物面到像面“点到点”映射的精度使其突破衍射极限的限制,来实现超经典分辨率的成像。经典衍射极限的存在,物理上是由于光场传播时其空间频谱的高频分量丢失而使得系统的“点到点”映射精度有限。因此,通过设计系统来提升能够探测到的空间频谱范围进而提高映射精度,便是一个十分自然有效的思路。这一方面的典型研究有近场光学显微镜[31],结构光照明显微[32-33]等。近场光学显微镜通过使用微小探针,将原本无法传播的倏逝波转化为传播波,从而能够得到其所包含的高频分量,由此提高了映射精度。与此类似的是核磁共振成像[34],通过基于核磁共振效应的空域-频域转换,将近场信息转换到远场进行探测,从而提高物-像之间的映射精度。结构光照明显微技术,则是通过预设的结构光主动照明待成像物体,对成像系统映射的中心空间频率进行了搬移;然后通过改变结构光的结构方位,进行多次测量后在二维空间合成一个更宽的空间频谱(如图3 所示);最终在不改变光学系统本身的频谱范围限制的情况下实现了成像映射精度的提升。另一方面,也有研究者直接在空间域进行操作,将系统的点扩散衍射斑尺寸尽可能地减小实现超分辨率成像。例如,受激发射损耗荧光显微技术[35-36],通过设计荧光显微技术中的损耗光形状,使得只有激发光中心很小部分的自发荧光能被探测到,从而控制有效发光面积小于衍射斑尺寸(如图4 所示),再使用这样的光进行点扫描成像,就能在远场实现超过衍射分辨率的成像。
-
与基于映射精度视角的超分辨率技术不同,基于信息视角的超分辨率技术主要利用的是成像系统传递函数、噪声以及成像物体的一些统计先验信息,通过一些信号处理的方法得到超越系统本身的衍射分辨率极限的成像结果。
经典衍射极限的存在是由于光场传播过程中的高频分量丢失。在没有外界噪声的情况下,可以认为像面上的信号准确反映了成像系统截止频率内的成像目标傅里叶分量。那么,是否有可能通过这些已知的分量来推断丢失的高频分量呢?Harris曾指出,一个空间有界的物体,其傅里叶变换是一个解析函数[37];而在数学上,如果一个解析函数在一定范围内是已知的,那么整个函数就是可以被完全确定的。也就是说,原则上通过成像目标有界这一特性以及解析延拓的信号处理方法,可以实现超衍射分辨率的光信号重建。但实际探测噪声的存在使得探测信号中包含的位于系统截止频率内的物体傅里叶分量并不准确。为了处理噪声的影响,可以通过正则化滤波的方法对像面信号进行处理[38]。例如,使用维纳滤波方法[39],在已知系统传递函数、成像目标功率谱密度、噪声功率谱密度等统计先验信息的情况下,可以较好地实现抗噪声的超分辨图像重建[40]。在理论上,Lucy分析了解卷积方法所能恢复图像的分辨率的统计极限[26, 41],表明其与探测光子数密切相关。
另一方面,经典超分辨率技术中的光激活定位显微[42]和随机光学重建显微技术[43],实质上是利用成像目标的点稀疏先验信息,通过对成像数据进行精准定位处理实现超分辨率成像的。它们通过在每次曝光时随机“点亮”少部分待成像目标上的分子,使得每次成像时的实际目标是由一些相距较远的稀疏点构成;在得到探测图像后,再根据这个“人为的”稀疏先验通过算法精确定位这些稀疏点,获得超过衍射极限的统计分辨率,从而在多次曝光定位后得到超分辨率的成像结果。一个比较简洁的随机光学重建显微原理示意如图5所示。
-
由于光学成像系统与通信系统的相似性,以信息论视角对成像系统进行设计也是自信息论诞生后就逐渐兴起的研究方向。考虑到光电探测器件的离散数字化采样特性,对于实际“采样成像系统”的研究受到较多关注,主要特点是将光学系统和信号采集处理系统作为一个整体进行基于信息论的评价和优化设计。其中最有代表性的、研究成果最丰富的研究群体是以F. O. Huck为代表的研究组。1984年他们较早地用信息论研究了线扫描和阵列传感器的光学成像系统的优化设计[44],主要通过信道密度度量(平均每单位面积视场的信息量)分析了系统中若干参数(灵敏度、空间响应函数、探测器采样间隔、信噪比等)在光学系统最优设计中的制约关系。随后他们又将光学采样系统和后续数据处理联合起来考虑[45-46],研究发现尽管不同的数据处理方法会影响光学系统的设计,但采样数据的信息密度是一个总体上较优的优化指标;当然这样的优化设计也要受到实际光学系统参数的制约。2000年,Rachel比较总括性地阐述了使用信息度量将光电成像系统进行整体性设计的研究思想[47]。除典型的实空间透镜成像系统之外,Carretero等人使用图像熵研究了全息成像系统的优化设计[48],Chou等人使用互信息量为度量参量研究了二元成像系统的光学设计[49]。中国科学院长春光学精密机械与物理研究所韩昌元课题组是国内较早进行这方面研究的课题组。他们在21世纪初发表了多篇文章[50-53],对“采样成像系统”的各个子系统(划分如图6所示)进行了端到端的平均互信息量的分析,通过数值计算的方式,给出了互信息与各个子系统参数如光学响应指数、探测器采样间隔、动态范围等的变化曲线。他们的研究表明,相比子系统的端到端信息量,总体系统端到端信息量最大化是更优的系统全链路一体化设计准则。
上述的系统优化设计均是以成像为最终目标任务进行的。在实际应用中,有许多场景并不需要进行非常高质量的成像,如目标识别、追踪、分类等。对于这类任务牵引下的成像系统,使用总体端到端的目标图像互信息量作为系统性能的评价并不完全适配。2007年,Neifeld等人提出了任务定义的光学成像系统信息度量[54]。他们通过构建成像场景与任务目标的关系模型,将其加入原有的成像系统模型中得到任务定义的模型。例如,一个简单的检测物体有无的任务,其场景模型可以构造为:
$$ {{f}} = {{{V}}_{{\text{target}}}}X + {{{V}}_{{\text{bg}}}}$$ (18) 式中:
${{{V}}_{{\text{target}}}}$ 和${{{V}}_{{\text{bg}}}}$ 分别代表已知分布的成像物体和背景场景;$ X $ 是一个二值的随机变量,代表物体是否存在。基于这样的模型计算任务定义的互信息量,并且用它分析研究了一些系统参数对目标任务的重要性。这一理论概念,十分适合被应用于以任务为导向进行成像系统的设计,与后面将要介绍的新型成像系统的设计有着很大的关联。综上所述,基于传统光学成像技术的信息光学成像研究对信息理论与光学成像技术之间的融合进行了卓有成效的探索并建立起了基本的理论框架,极大地加深了人们从信息传输获取层面对光学成像系统的理解,并对光学成像系统性能,特别是成像超分辨能力的突破起到了显著的推动作用。但是,除结构光照明显微技术外,传统光学成像的“固定点到点”所见即所得的图像信息采集模式和信息论中编码压缩及调制解调的信息传输模式之间的互不兼容,使得基于信息论的传统光学成像研究更多的具有理论上的意义,对实际应用系统的优化设计更多的是起到锦上添花的作用,难以在成像功能上有实质性的突破。
-
近年来,光场调控技术和光场面阵探测器件的突破性进展,使得利用光场涨落对成像目标进行调制编码以及对调制光场空间分布的实时记录成为可能。随之涌现了许多新型光学成像技术,拓展了光学成像的研究领域。其中,相当一部分的研究可以被归结为在传统光学成像系统的结构模式下,通过成像目标编码、系统点扩散函数(Point spread function, PSF)设计、变换探测方式或者它们的若干组合来设计成像系统的功能。从通信系统的视角来看,不考虑系统外成像光路,这三种方式可以被分别对应为对信源端、信道和信宿端的操作。
基于目标编码的成像技术,一般流程是对成像目标的像面信息进行编码调制,经探测器得到调制后的光场信息,最后通过算法求解。这方面的典型技术如单像素成像[55-56]、单次曝光压缩成像[57]、压缩超快摄影[58-59]等。其中,单像素成像技术通过空间光调制器对像面信息进行一系列压缩采样,然后使用一个没有像素分辨的探测器记录压缩采样后从物体上反射回来的整体强度信息,最后通过压缩感知算法求解得到目标的图像信息;而单次曝光压缩成像,是通过编码对像面信息进行了调制及压缩采样并将其经过成像光路结构传递到探测面,最后使用算法结合先验约束来恢复目标高维图像;压缩超快摄影技术,则是结合了目标编码与条纹相机探测,实现对超高速动态场景信息的成像。
基于系统PSF设计(称为PSF engineering)的成像技术,大多是通过在原有“点到点”直接成像模式的框架下,在光学系统中加入调制或衍射器件改变经典的PSF形状,从而实现系统成像功能的拓展。例如,通过在4-f成像系统的中间频谱面加入空间光调制器并设计其上的调制分布,能够改变系统原有的近似“点”状的PSF,如设计双螺旋PSF[60]、或优化的PSF[61],实现基于传统成像光路的三维成像,在单分子定位显微上发挥了重要作用[62]。
基于变换探测方式的成像技术,是将传统的使用单面阵探测器记录光场强度信号的方式进行了改变,从而一定程度上缓解面阵探测器只能探测二维光学信息的问题。例如,计算层析成像[63-64],通过在不同方位角度对成像目标进行多次信息探测,并以相应的方法进行信息重构,可以得到目标的三维光场信息;其中,经典的层析成像技术[63]得到的基本是空间三维信息,而计算成像光谱仪[64]通过将断层扫描的探测方式与系统衍射色散调制相结合,能够实现多光谱图像信息的获取。另外,光场相机[65]通过在经典成像系统的像面前加入微透镜阵列,改变最终探测器上得到的图像信息排列方式,再结合数据处理方法,实现可在不同深度重新聚焦的大景深相机。
与上面介绍的成像技术相比,使用光场时空涨落调制目标并通过强度关联提取物体信息的鬼成像技术,其原理结构与传统光学成像的“点到点”图像信息采集模式有所不同。在鬼成像中,具有时空涨落的照明光源发出的光束被分为两路,其中一路光经过物体后被探测器记录,称为物臂,而另一路光则不通过物体被另一探测器记录,称为参考臂。在其中任一路(尤其是通过物体的这一路)的探测器记录的信号上,都无法直接看到与物体图像信息相关的花样,这表明鬼成像系统的图像信息采集模式并不是传统成像系统那样的较为简明直接的“点到点”所见即所得映射关系。然而,通过两臂探测信号的强度关联这一信号解码方式,可以将探测目标的图像信息恢复出来。起初,鬼成像是使用纠缠光源并通过双臂光子符合计数的方式实现的[66-67],后来研究者们也实现了使用经典光源并通过强度关联运算的鬼成像[68]。并且,国内外研究者从统计光学和量子相干理论出发,完成了对使用经典热光源的鬼成像技术的理论分析[69-70]。相比传统光学成像方式,鬼成像由于具有非相干光实现相干成像、超衍射分辨、高灵敏度等特点而受到广泛关注,并被应用于许多光学成像领域,如遥感[71-72]、三维成像[73-74]、光谱成像[75-76]、偏振成像[77-78]、X光成像[79-80]、荧光显微成像[81]等。
此外,近几年兴起的透过散射介质成像[82]技术和非视域成像[83]技术,则是对应实际应用场景的需求,探究当传统成像模式的直接“点到点”图像信息映射条件由于散射介质或障碍物的存在而无法被满足时,如何设计光学系统并从探测信号中提取所需要的成像目标的信息。它们的原理思路与传统光学成像或鬼成像均不相同。以信息论的视角来理解,这些成像模式对应的,应该是一个在复杂信道模型下的通信问题。
-
各种光学成像技术,其目的都是通过系统实现光学图像信号的“点到点”的再现,即建立起我们想要观察的物空间场景信息与像空间的一一对应关系。在光学成像系统中,这种信息的传递和再现,是以光场作为载体完成的。以光场相干性理论的视角来看,光场的分布和涨落
$E\left( {{{r}},t} \right)$ 在本质上是一个只能通过其统计特性来进行描述的随机过程[84]。而根据概率统计的相关理论,这个随机过程所携带的信息是可以通过它的各阶联合矩(即光场各阶相干函数)$$ \begin{gathered} \left\{ {{{\left\langle {{E^{{k_1}}}\left( {{{{r}}_1},{t_1}} \right){E^{{k_2}}}\left( {{{{r}}_2},{t_2}} \right) \cdots {E^{{k_n}}}\left( {{{{r}}_n},{t_n}} \right)} \right\rangle }_{\text{e}}}} \right\} \hfill \\ n = 0,1, \cdots {\text{ }}{k_1},{k_2}, \cdots {k_n} = 0,1, \cdots \hfill \\ \end{gathered} $$ (19) 来完整描述的。基于此,以光场相干性理论的视角来理解现有的光学成像技术可以发现,它们都是从光学系统探测面处光场的某一阶相干函数(目前常见的是一阶和二阶)中获取目标成像所需要的信息。
-
传统光学成像系统,基本是通过对系统的设计,从探测面光场的一阶相干函数,来获取成像目标的信息。在如图7所示的照相机系统中,理想情况下其探侧面上的光场
${E_{{t}}}\left( {{{r}},t} \right)$ 与二维物面光场${E_{\text{o}}}\left( {{{r}},t} \right)$ 满足:$$ {E_{{t}}}\left( {{{r}},t} \right) = h\left( {{r}} \right) * {E_{\text{o}}}\left( {{{r}},t} \right)$$ (20) 式中:
$h\left( {{r}} \right)$ 为系统具有平移不变性质的点扩散函数;“$* $ ”表示卷积运算。考虑到照相机系统一般使用自然光作为物体的照明光源,物面光场具有非相干特性,由此,探测面记录的光场强度(该面光场的一个特殊一阶自关联函数)分布为:$$ {I_{{t}}}\left( {{r}} \right) = \left\langle {E_{{t}}^*\left( {{{r}},t} \right){E_{{t}}}\left( {{{r}},t} \right)} \right\rangle = {\left| {h\left( {{r}} \right)} \right|^2} * {T_{\text{o}}}\left( {{r}} \right)$$ (21) 从而通过
${\left| {h\left( {{r}} \right)} \right|^2}$ 构建了物面到像面的一一对应关系,${\left| {h\left( {{r}} \right)} \right|^2}$ 的宽度则表征了系统的空间分辨率。除了使用非相干方式对物体进行成像之外,利用相干光进行物体信息获取的方法,有相衬、全息、衍射成像等。其中,Zernike在1935年提出的相衬成像方法[85]的原理如图8 所示。使用扩束的均匀相干光照明纯相位物体,然后通过对其出射光场$A{{\rm{e}}^{{\text{i}}\varphi \left( {{r}} \right)}}$ 在频谱面进行滤波使其零频分量增加相移$ \delta $ ,使得最终成像探测面上的光场分布变为:$$ {E_{{t}}}\left( {{r}} \right) = A\left[ {{{\rm{e}}^{{\text{i}}\delta }} - 1 + {{\rm{e}}^{{\text{i}}\varphi \left( {{r}} \right)}}} \right]$$ (22) 当
$\varphi \left( {{r}} \right)$ 比较小时,成像探测面上的光强分布可近似为:$$ {I_{{t}}}\left( {{r}} \right) = \left\langle {E_{{t}}^*\left( {{r}} \right){E_{{t}}}\left( {{r}} \right)} \right\rangle \approx {A^2}\left[ {1 + 2\varphi \left( {{r}} \right)\sin \delta } \right]$$ (23) 因而可通过强度分布直接一一对应地反映出相位分布。Gabor在20世纪40年代末提出了全息术的构想[86-87],其原理如图9 所示。物体经过相干光束照明后产生的物光
${E_{\text{o}}}\left( {{r}} \right)$ 与一束均匀分布的相干参考光${E_{{r}}}\left( {{r}} \right) = A$ 进行干涉,其强度分布形成全息图;当用与参考光相同或共轭的相干光照明全息图时,可以将物体的光场完全复现。简单分析可知,全息图上记录的强度分布为:$$ \begin{aligned} I\left( {{r}} \right) =& \left\langle {E_{{r}}^*\left( {{r}} \right){E_{{r}}}\left( {{r}} \right)} \right\rangle + \left\langle {E_{\text{o}}^*\left( {{r}} \right){E_{\text{o}}}\left( {{r}} \right)} \right\rangle +\\ & \left\langle {E_{{r}}^*\left( {{r}} \right){E_{\text{o}}}\left( {{r}} \right)} \right\rangle + \left\langle {E_{\text{o}}^*\left( {{r}} \right){E_{{r}}}\left( {{r}} \right)} \right\rangle \end{aligned}$$ (24) 而成像目标的信息,是包含在上式后两项即参考光与物光的一阶互关联函数的实部中的,即:
$$ \left\langle {E_{{r}}^*\left( {{r}} \right){E_{\text{o}}}\left( {{r}} \right)} \right\rangle = A\int {{\text{d}}{{{r}}_{\text{o}}}t\left( {{{{r}}_{\text{o}}}} \right)\exp \left[ {\frac{{ik}}{{2z}}{{\left( {{{r}} - {{{r}}_{\text{o}}}} \right)}^2}} \right]}$$ (25) 式中:
$t\left( {{{{r}}_{\text{o}}}} \right)$ 为物面的复透过率函数;$ z $ 为物体到探侧面的距离。另外,相干衍射成像[88]是新近提出的一种衍射成像技术,其原理如图10 所示。它使用相干光照明待成像物体,然后在远场区域探测强度分布,从而获取物体的傅里叶衍射强度谱图像;根据Fraunhofer衍射公式容易得到探测面上的光强分布为:$$ {I_{{t}}}\left( {{r}} \right) \propto {\left| {{{\left. {{F}\left\{ {t\left( {{{{r}}_{\text{o}}}} \right)} \right\}} \right|}_{{{f}} = \frac{{{r}}}{{\lambda z}}}}} \right|^2}$$ (26) 即探侧面上的每一点均对应着一个特定傅里叶频率分量的信息。然后通过相位恢复算法,从衍射谱图像中获得成像物体的复透过率分布。
可以看出,在上述的四种典型成像技术中,成像目标的信息实质上均包含在探测面上光场的一阶关联函数(自关联/强度或互关联)中,此时在探测面上能够直接得到所需要的图像信息分布。此外,2.1节中介绍的基于目标编码、系统PSF设计和探测方式变换的新型成像技术,由于它们仍保持着传统成像系统中的光路架构,以光场相干性理论的视角来看,它们对目标信息的复现,即建立物空间与像空间的一一对应关系,与传统成像系统基本一致,仍是通过像面上光场的一阶关联函数实现的。
-
另一方面,从光场的二阶(或高阶)关联函数中获取目标信息的成像技术,最早可以追溯到20世纪中叶的Hanbury Brown-Twiss (HB-T)强度干涉实验[89]。其实验结构如图11 所示,通过将遥远星体的光分为两路后分别探测其强度信号:
$$ \begin{gathered} I\left( {{{{r}}_1},t} \right) = {E^*}\left( {{{{r}}_1},t} \right)E\left( {{{{r}}_1},t} \right) \hfill \\ I\left( {{{{r}}_2},t} \right) = {E^*}\left( {{{{r}}_2},t} \right)E\left( {{{{r}}_2},t} \right) \hfill \\ \end{gathered}$$ (27) 然后计算两路探测光场的二阶涨落关联函数,在光场服从高斯随机过程的条件下,可以得到光场的互强度的模,即:
$$ \left\langle {\Delta I\left( {{{{r}}_1},t} \right)\Delta I\left( {{{{r}}_2},t + \tau } \right)} \right\rangle = {\left| {{\mathit\Gamma ^{\left( {1,1} \right)}}\left( {{{{r}}_1},{{{r}}_2};\tau } \right)} \right|^2}$$ (28) 根据范西特-泽尼克定理,可以从光场互强度的模
$\left| {{\mathit\Gamma ^{\left( {1,1} \right)}}\left( {{{{r}}_1},{{{r}}_2};\tau } \right)} \right|$ 的分布中,求得星体的角直径信息。除HB-T实验之外,在上节中介绍到的鬼成像技术,其成像机理也是典型的从光场二阶(或高阶)关联函数中获取目标信息;不同的是,它利用的是经过物体的光场与未经过物体光场的二阶互关联。热光场鬼成像的二阶关联理论表明,两臂探测信号的二阶关联函数
$\Delta {G^{\left( 2 \right)}}\left( {{{{r}}_{{r}}},{{{r}}_{{t}}}} \right)$ 有如下形式[69]:$$ \Delta {G^{\left( 2 \right)}}\left( {{{{r}}_{{r}}},{{{r}}_{{t}}}} \right) = \left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{t}}}\left( {{{{r}}_{{t}}}} \right)} \right\rangle \propto {\left| {\int {{{{\rm{d}}}}{{r}}h_{{r}}^*\left( {{{{r}}_{{r}}};{{r}}} \right){h_{{t}}}\left( {{{{r}}_{{t}}};{{r}}} \right)} } \right|^2}$$ (29) 式中:
${h_{{r}}}\left( {{{{r}}_{{r}}};{{r}}} \right)$ ,${h_{{t}}}\left( {{{{r}}_{{t}}};{{r}}} \right)$ 分别表示参考臂和物臂(包含物体信息在内)的光场脉冲响应函数。研究表明通过设计合适的脉冲响应函数,基于热光场的二阶关联函数也可以构建起成像目标物空间与像空间的一一对应关系。特别是由于参考臂的存在,在物臂的结构受限时,可以通过设计参考臂的脉冲响应函数来实现所需要的成像功能,这使得鬼成像系统相比传统固定的物面到像面“点到点”映射模式的光学系统有了更大的灵活性。近年来,研究者们通过设计合适的鬼成像系统的脉冲响应函数,先后发展出了实空间鬼成像、衍射鬼成像[79, 90]、相位鬼成像[91-92]、全息鬼成像[93]等与传统成像系统有相同功能的成像模式。实空间鬼成像是鬼成像系统中光路结构较为简单的一种,它的典型原理图如图12 所示。光源在分束后,参考光路经自由传播距离
$z$ 后,被空间分辨的探测器接收;物光路同样传播距离$ z_1$ 后照射在待成像目标上,然后由一个桶探测器记录所有透过物体的总光强。当满足$ z_1=z $ 时,两路信号的强度涨落关联结果为:$$ \left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{t}}}} \right\rangle \propto {\left| {t\left( {{{{r}}_{{r}}}} \right)} \right|^2} * {g^{\left( 2 \right)}}\left( {{{{r}}_{{r}}}} \right)$$ (30) 式中:
${g^{\left( 2 \right)}}\left( {{{{r}}_{{r}}} - {{{r}}_{\text{o}}}} \right) = \dfrac{{\left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{\text{o}}}\left( {{{{r}}_{\text{o}}}} \right)} \right\rangle }}{{\left\langle {{I_{{r}}}\left( {{{{r}}_{{r}}}} \right)} \right\rangle \left\langle {{I_{\text{o}}}\left( {{{{r}}_{\text{o}}}} \right)} \right\rangle }}$ 是参考臂光场与物臂照明光场的归一化二阶涨落关联函数,它与公式(21)中的${\left| {h\left( {{r}} \right)} \right|^2}$ 类似,表征了实空间鬼成像系统的空间分辨率。可以看出,实空间鬼成像系统通过二阶关联函数构建了物空间与像空间在空域上的一一对应关系。相位鬼成像的原理由Gong等人[91]在2010年提出,并由Zhang等人[92]在2014年进行了实验验证,其示意图如图13所示。其中,参考光路仍是自由传播距离 z 后被探测器记录强度分布;物光路则被设计为一个马赫-曾德尔干涉型光路,物体位于其中一支路上,且到光源的距离$ {z_0} + {z_1} $ 与z相等,物光路上的出射光强由两个桶探测器分别接收并记录信号${I_{{{t1}}}},{I_{{{t2}}}}$ 。理论推导表明,参考臂与物臂光强信号的涨落关联结果之差与之和可分别写为:$$ \begin{gathered} \left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{{t2}}}}} \right\rangle - \left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{{t1}}}}} \right\rangle \propto {t^*}\left( {{{{r}}_{{r}}}} \right) + t\left( {{{{r}}_{{r}}}} \right) \hfill \\ \left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{{t2}}}}} \right\rangle + \left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{{t1}}}}} \right\rangle \propto 1 + {\left| {t\left( {{{{r}}_{{r}}}} \right)} \right|^2}\hfill \\ \end{gathered}$$ (31) 因而实现了对物体幅度和相位分布的恢复。2013年,Song等人[93]使用与相位鬼成像类似的光路架构,理论提出并实验验证了全息鬼成像的方案。其光路如图14 所示。相比相位鬼成像的方案,全息鬼成像在物臂处只用一个无空间分辨能力的探测器记录光强
${I_{{t}}}$ 。理论上可以推导得到,双臂光强涨落关联的结果为:$$\left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{t}}}} \right\rangle \propto \int {{\text{d}}{{{r}}_{\text{o}}}t\left( {{{{r}}_{\text{o}}}} \right)\exp \left[ {\frac{{ik}}{{2Z}}{{\left( {{{{r}}_{{r}}} - \alpha {{{r}}_{\text{o}}}} \right)}^2}} \right]} + c.c. + C$$ (32) 将上式对比公式(24)、(25)可以看出,通过强度关联,也可以利用热光源像基于相干光的传统全息成像那样获取到目标的全息图。此外,对应Fraunhofer相干衍射成像的衍射鬼成像,其典型原理图如图15 所示。热光源发出的光经过分束器分为两路后,参考臂的光传播距离
$ d $ 后被具有空间分辨能力的探测器接收,物臂的光传播距离$ {d_1} $ 后照射在物体上,之后再传播$ {d_2} $ 后被不具有空间分辨能力的点探测器接收。当两臂光路满足$ d = {d_1} + {d_2} $ 时,计算两路光场信号的二阶关联,可得:$$ \left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{r}}}} \right)\Delta {I_{{t}}}} \right\rangle \propto {\left| {{{\left. {\mathcal{F}\left\{ {t\left( {{r}} \right)} \right\}} \right|}_{{{f}} = \frac{{{{{r}}_{{r}}}}}{{\lambda {d_2}}}}}} \right|^2}$$ (33) 从而在Fresnel衍射区域与基于光场一阶关联的传统Fraunhofer相干衍射成像一样构建了目标的傅里叶分量与像面上点的一一对应关系。
-
上一节的阐述表明,光学成像所需要的物空间与像空间的“点到点”对应关系,可以通过光路设计,基于探测面光场分布的一阶关联或(二阶)高阶关联函数构建。在实际的光学成像系统中,光场的分布情况需要使用探测器进行记录。目前最常用的光电探测器的理论基础是基于光电效应所建立的光电探测理论。Mandel基于量子光学中的光与物质相互作用理论分析了光电探测问题,提出了Mandel光电探测理论[94-95]。该理论表明,光电探测器在线偏光
$ E\left( t \right) $ 的照射下,在时间间隔$ \left( {t,t + T} \right) $ 内所激发的自由电子数$ n $ 满足:$$ n\sim{\text{Poisson}}\left( {\alpha \int_t^{t + T} {I\left( {t'} \right){\text{d}}t'} } \right) $$ (34) 式中:
$ \alpha $ 为探测器量子效率;$ I\left( t \right) = {E^*}\left( t \right)E\left( t \right) $ 为瞬时光强。由于光场的涨落特征时间一般在${10^{ - 14}}\sim{10^{ - 11}}{\text{s}}$ ,远小于光电探测器的积分时间$ T $ (大于$ {10^{ - 9}}{\text{s}} $ ),可近似认为$ T \to \infty $ ,从而探测器的输出服从:$$ n\sim{\text{Poisson}}\left( {\alpha {{\left\langle I \right\rangle }_t}} \right) $$ (35) 即通常情况下光电探测器可以直接得到平均光强(光场一阶自关联)。这样的光电探测机制,使得基于光场一阶关联函数的成像模式可以在光强较强时通过在像面的探测直接所见即所得的获取一阶关联函数所携带的图像信息。在光强较弱、光场一阶关联信息的探测信噪比较低时,也可以利用统计先验信息结合算法对其进行估计[96-97]。而基于光场(二阶)高阶关联函数的成像模式,由于热光场的特征涨落时间(相干时间尺度)远小于光电探测器的积分测量时间,因此一般实验条件下光电探测器的输出信号无法实时反映光场的涨落,其高阶关联函数在现有光电探测机制下难以被直接探测。目前,这一成像模式中的光场高阶关联函数的探测实现方式主要是使用纠缠光源或极弱光条件下的双路光子符合计数,或利用涨落可控的赝热光场在宏观尺度上模拟微观涨落光场从而可以基于现有光电探测器件直接测量光场的宏观涨落信号并计算其强度关联,获取光场高阶关联函数中所携带的图像信息。由于实际测量时的测量次数总是有限的,这种做法在数学实质上是使用多个样本的数据均值来估计系综平均,即:
$$ \widetilde{O}\left({r}_{{r}},{r}_{{t}}\right)=\frac{1}{m}{\displaystyle \sum _{i=1}^{m}\Delta {I}_{{r}}^{\left(i\right)}\left({r}_{{r}}\right)\Delta {I}_{{t}}^{\left(i\right)}\left({r}_{{t}}\right)}$$ (36) 当样本数据量不足时,其成像结果与弱光情形下的传统一阶关联成像类似,获得的图像质量较差。为了同样结合先验信息提高二阶关联成像的图像恢复质量,可以将图像重构问题写为如下的优化问题[98]:
$$ \mathop {\min }\limits_O f\left[ {O\left( {{{{r}}_{{r}}},{{{r}}_{{t}}}} \right) - \widetilde{O} \left( {{{{r}}_{{r}}},{{{r}}_{{t}}}} \right)} \right] + \lambda R\left[ {O\left( {{{{r}}_{{r}}},{{{r}}_{{t}}}} \right)} \right]$$ (37) 式中:第一项为二阶关联的误差项;第二项表示对目标图像信息的先验约束。由于对二阶关联误差项的模型研究还不充分,因此目前较为普遍的做法是将其近似为:
$$ f\left[{y-{\mathit\Phi} x}\right]$$ (38) 以便结合成熟的现代信号处理和信息理论进行图像恢复以及成像系统的分析和优化工作,其中
${{y}}$ 是物臂探测信号,${\mathit{\Phi }}$ 与参考臂的光强涨落分布有关,${{x}}$ 为待成像的目标信息。由此可知,在鬼成像系统中可以通过灵活的设计参考臂的光场涨落实现对目标场景的编码调制,从而使其摆脱传统光学成像系统中“固定点到点”图像信息采集模式的限制;这极大地提高了光学成像系统与现代信息传输模型的契合程度,扩宽了信息论与光学成像相互融合的舞台。总结来说,通过光场一阶关联函数获取物体图像信息的成像模式,其成像功能的实现和拓展主要依靠经典的成像光路结构。因其传递函数
$ \mathcal{H} $ 的形式受到“固定点到点”所见即所得的图像信息采集模式的限制,难以和信息论的调制编码信息传递方式融合,因此在这种情况下,以信息论视角对系统进行的分析研究,更多地具有理论上的意义,一定程度上制约了现代信息理论的施展空间。相比之下,基于光场(二阶)高阶关联函数的成像模式,不仅可以通过光场涨落对目标场景进行编码调制,还可以较为灵活地基于光场高阶关联设计全新的成像架构获取所需要的目标信息,实现传统光学成像难以实现的成像功能。这扩展了信息论在理解和优化成像系统方面的研究舞台,同时也对相关信息光学成像研究提出了迫切的需求。下面笔者将以上述特点为主要侧重点,以信息传递和获取的信息光学成像视角介绍基于光场(二阶)高阶关联函数的成像模式近年来的发展。 -
从光场(二阶)高阶关联函数获取目标信息的成像模式,既能够通过光场涨落对目标场景进行编码调制,又可以比较灵活地设计新的系统传递函数,具有将高维光场信息编码映射到低维,通过光学信道实现光场信息压缩感知,使用光场高维信息实现超实空间衍射分辨率极限成像,基于特定任务进行系统设计等特点。
-
高阶关联成像模式可以利用参考臂的光场涨落实现对目标场景的编码调制,因此可以设计光场涨落将高维信息编码到更低的时空维度,实现高维光场信息向低维的映射,从而使得利用低维探测器对光场高维空间信息的直接成像探测成为可能。这方面典型的成像技术有鬼成像雷达、鬼成像高维光场相机、X光衍射鬼成像等。
-
鬼成像雷达[71, 74]的原理见图16 ,它使用脉冲激光被调制后产生的具有时空涨落的光场对辐照目标进行编码式照明,同时在接收端获取目标整体回波信号的能量涨落,然后通过辐照光场与物臂探测记录的回波光场的二阶关联获取目标的空间三维图像信息。在探测过程中,它通过涨落光场对物体的编码,将目标的三维空间光场(二维平面+一维深度)信息映射到低维的时间序列回波信号上。以信息论的视角来看,鬼成像雷达将传统雷达系统仅在时频维度进行的调制编解码模式拓展到了整个四维时空维度。由于目标场景在更高的时空维度中有着更加丰富的结构和先验信息,因此和传统的测距测速雷达相比,鬼成像雷达为信息论提供了更为广阔的应用空间。其灵活的编码方式将有助于针对不同特性的应用场景,在现代信息理论的指导下进行对应的编码探测,以提高信息获取效率,实现信息论意义下的最优设计。
典型的鬼成像雷达的工作模式是以被空间调制的窄脉冲激光对目标场景进行辐照,并探测其回波信号的强度涨落。最近几年又发展出了能够同时探测到目标三维图像信息以及运动和振动模式的相干探测鬼成像雷达[99-100]。这种技术的原理是通过被时(频)空调制的长脉冲激光照射目标,并以相干探测的方式探测回波信号的光场涨落,最终通过光场的二阶关联并结合时频分析技术获取目标的三维图像及速度、振动模式信息。由于鬼成像雷达具有比传统雷达更高的时空调制维度,可以预见,只有与现代信息理论深度融合,才有可能建立起鬼成像雷达的系统设计优化及指标分析评估的完整理论体系。
-
鬼成像高维光场相机[75, 78]是基于近场衍射散斑场效应[101-102],利用光场的各态历经特性,将原始鬼成像中使用光场时间维涨落二阶关联的方式转变为从物光场和参考光场的空间维涨落关联函数中获取信息,进而提出的一种实用的自然光被动鬼成像方案。相机系统的原理如图17 所示。经过物体的光通过空间随机相位调制器后产生衍射,在探测面上会形成具有空间涨落的光场并被记录下强度分布
${I_{{t}}}\left( {{{{r}}_{{t}}}} \right)$ 。通过计算这个空间涨落光场与物面不同位置处只有单色点源$\delta \left( {{{r}},k} \right)$ 时探测面上的空间涨落光场${I_{{r}}}\left( {{{{r}}_{{t}}};{{r}},k} \right)$ 在空间维上的二阶关联,可以获取到物空间目标物体光场的光谱-空间信息;此时二阶关联结果的表达式为[75]:$$ \begin{gathered} \Delta {G^{\left( 2 \right)}}\left( {{{r}},k} \right) = {\left\langle {\Delta {I_{{t}}}\left( {{{{r}}_{{t}}}} \right)\Delta {I_{{r}}}\left( {{{{r}}_{{t}}};{{r}},k} \right)} \right\rangle _{{{{r}}_{{t}}}}}\propto \\ T\left( {{{r}},k} \right) * {g^{\left( 2 \right)}}\left( {{{r}},k} \right) \\ \end{gathered} $$ (39) 式中:
${{r}}$ 为二维空间坐标;$ k = {1 \mathord{\left/ {\vphantom {1 \lambda }} \right. } \lambda } $ 代表光谱维坐标;${g^{\left( 2 \right)}}\left( {{{r}},k} \right)$ 为归一化二阶关联函数,实质上表征了相机系统在高维光场空间的分辨率。传统的成像相机只是将目标物体光场的二维空间分布信息一对一地映射到探测面上,而“简并”了公式(6)中的光谱、偏振等其他维度。在鬼成像高维光场相机中,所需要获取的高维光场图像空间中各个像元的信息,通过空间随机相位调制器产生的衍射,被以随机编码的方式映射到了探测器的二维平面上。这时,通过一阶关联无法以传统“所见即所得”的直观方式得到图像信息;但这种映射借助随机相位调制器对光场各参量的衍射效应随参量的变化,实质上保留了光场的高维信息。通过计算高维光场图像空间中相邻两个像元所分别对应的随机衍射光场的二阶关联,可以获得成像系统分辨率的定量描述。因此,鬼成像相机通过设计其光学信道,实际上对光场高维信息进行了“解简并”。另外,由于光场信息被映射到二维探测面上,因此通过单次曝光就可以获取到所有被调制的光场高维信息,这使得鬼成像相机能够被用于高速动态场景的多维信息获取。从上述分析可以看出,鬼成像相机比传统相机具有更高的信息获取效率。而对此的定量理论分析,如这一类成像系统的信道容量、成像质量评估、及成像结果的置信度等,则还需要以信息论的视角方法进行进一步的研究。
-
与上述在实空间成像的鬼成像雷达和相机不同,基于热X光的衍射鬼成像[79]通过设计物臂与参考臂的双路结构形成合适的系统传递函数,实现了在菲涅尔衍射区使用二阶关联函数对目标傅里叶衍射谱信息的获取,使得可以通过热X光实现基于衍射成像的非晶态物体分析。它的典型原理如公式(33)所述,成像光路示意图如图15 所示。直观来看,X光衍射鬼成像系统通过设计双路的结构,实现了将物臂目标的二维衍射谱信息映射到物臂点探测器的一维时序信号中。在这种模式的基础上,还可以通过对参考臂结构的进一步设计,对二维衍射空间信息向一维时序信号的映射模式进行优化,实现非局域调制的X光衍射鬼成像[103],以减少实际应用场景下物光路上对物体的辐射剂量和采样时间,提升成像质量。另外,借鉴于光场时间维关联向空间维转化的思想,在探测模式上,通过多个点探测器的空间复用探测[104],可以进一步提高信息的获取速度,并有效改善衍射谱图像的质量。衍射鬼成像这种信息映射模式对目标信息的传递能力,可以通过计算衍射谱信息被编码到一维后的信号所携带的信息量进行分析。Hu等人[105]以衍射鬼成像系统物臂探测信号的强度为变量,研究了探测信号的Fisher信息量的变化规律,发现其与物臂探测信号的强度涨落大小正相关,这为映射编码方式的优化提供了基于信息理论的思路。与现代信息理论的进一步融合,将为进一步完善X光衍射鬼成像系统的定量描述理论框架,以及基于此的成像性能定量分析和系统优化提供有力的理论支撑。
-
基于光场二阶(高阶)关联函数的成像模式,通过光场涨落编码和传递函数设计,可以实现所需要的物空间高维光场信息到低维探测空间的映射。这种模式为利用光学系统信道直接实现光场信息的压缩感知[106]提供了条件。而基于光场一阶关联函数建立物-像之间的对应关系来获取目标信息的传统成像模式,其整体光学信道形式的灵活性受到一定制约;尽管通过在像面上的编码采样可以实现像面信息的压缩采样,但其信息传输仍局限于使用经典的成像光路,并不一定是严格意义上的压缩感知。
此外,在典型的鬼成像系统中是由光场的时空涨落完成对目标信息的编码,并通过系统结构设计以及光场传播的共同作用,基于光场的二阶关联构建成像系统物-像之间的一一对应关系。通过计算光场二阶关联所获得的系统物-像间的一一对应关系保证了一定统计分布系综平均条件下成像系统图像信息的存在性和唯一性,并且由光场二阶关联所获得的系统像传递函数还可以直接给出成像系统各参数和所成的像之间的定量关系。由于鬼成像系统的图像信息传输与其光场涨落模式有关,因此其对图像信息的感知模式相比传统成像系统更加灵活。可以从信息论的视角,通过考虑目标场景的先验统计特性来更好地结合压缩感知理论[107-108]进行系统光场涨落模式的优化设计,以便更加充分地利用光学信道的图像信息传递能力。
目前,已有的以信息理论视角进行的对鬼成像系统目标信息压缩感知的典型优化研究工作主要可分为三类:(1)基于经典信息论的,如研究在不同的信道传递矩阵条件下,鬼成像系统物臂探测信号与成像目标之间的互信息,尝试以互信息最大为目标优化成像系统[109];(2) 基于压缩感知非相干采样理论,即按照该理论中的非相干性条件,设计鬼成像系统的信道传递矩阵以确保探测信号最大程度地获取到目标信息[110];(3)基于图像统计特性,如设计系统编码方式,以实现对目标小波域系数的随机采样[111];以及利用字典学习的方法,通过对目标图像的稀疏表示的方式来描述其统计特性,并将非相干采样理论与图像统计特性结合起来进行鬼成像系统的光场优化,提高系统对成像目标的信息获取效率[112]。此外,已有的通过Fisher信息度量来分析鬼成像系统中不同强度的物臂探测信号所携带信息量的大小的研究[105],也有望为基于光强涨落进行光场压缩感知模式的优化[113]提供信息论角度的理论依据。
-
基于光场(二阶)高阶关联函数的成像模式可以将高维信息“无简并”地映射到低维空间,并通过计算探测到的光场的二阶关联函数对光场高维信息直接成像。因此,就分辨率这一概念而言,理论上受到成像系统衍射限制的将是光场高维空间的分辨率,而不再是传统衍射极限定义的二维空间分辨率,这为探索不同于前述基于传统光学成像系统框架的新概念超分辨方法提供了新的可能途径。在这种情况下,对于成像系统的分辨率定义,亦需要以信息论的视角来考虑和研究。
以3.1.2节中介绍的鬼成像高维光场相机系统为例,可以结合压缩感知理论来分析定义系统在光场高维空间的分辨率,并给出满足一定光路参数约束条件下,系统在空间-光谱三维空间的分辨率表达式;然后在此基础上,考察分析通过光场高维信息来实现超越二维空间衍射分辨率极限的方法[114]。首先,通过数学计算可以建立表征系统高维空间成像分辨率的归一化二阶关联函数:
$$ {g^{\left( 2 \right)}}\left( {{{{\tau }}_i},{{{\tau }}_j}} \right) = \frac{{{{\left\langle {\Delta {I_{{r}}}\left( {{{{r}}_{{t}}};{{{\tau }}_i}} \right)\Delta {I_{{r}}}\left( {{{{r}}_{{t}}};{{{\tau }}_j}} \right)} \right\rangle }_{{{{r}}_{{t}}}}}}}{{{{\left\langle {{I_{\text{r}}}\left( {{{{r}}_{{t}}};{{{\tau }}_i}} \right)} \right\rangle }_{{{{r}}_{{t}}}}}{{\left\langle {{I_{{r}}}\left( {{{{r}}_{{t}}};{{{\tau }}_j}} \right)} \right\rangle }_{{{{r}}_{{t}}}}}}} $$ (40) 与系统信道传递矩阵的互相干度
$ \;\mu $ 之间的关系:$$ \mu \approx \mathop {\max }\limits_{i \ne j} \left| {{g^{\left( 2 \right)}}\left( {{{{\tau }}_i},{{{\tau }}_j}} \right)} \right| $$ (41) 式中:
${{{\tau }}_i},{{{\tau }}_j}$ 分别表示光场高维空间中的两个不同点。然后,考虑到压缩感知理论中的精确重构条件[115],即当矩阵互相干度$ \mu $ 与目标的稀疏度$ K $ 满足:$$ \mu < \frac{1}{{2K - 1}} $$ (42) 可以保证对稀疏信号的准确重构,那么,当目标上两点
${{{\tau }}_i},{{{\tau }}_j}$ 间的距离满足:$$ {g^{\left( 2 \right)}}\left( {{{{\tau }}_i},{{{\tau }}_j}} \right) < \frac{1}{{2K - 1}} $$ (43) 目标能够被准确重构,也即被清晰分辨。由此,可以通过推导得到鬼成像相机在空间-光谱三维空间的分辨率极限约束公式:
$$ \exp \left[ { - {{\left( {\frac{{2\pi \left( {{n_p} - 1} \right)\omega \Delta \lambda }}{{{{\overline \lambda }^2}}}} \right)}^2}} \right]{\left[ {\frac{{2{J_1}\left( {\frac{{\pi D{{\left| {\Delta {{r}}} \right|}^2}}}{{\bar \lambda f}}} \right)}}{{\frac{{\pi D{{\left| {\Delta {{r}}} \right|}^2}}}{{\overline \lambda f}}}}} \right]^2} < \frac{1}{{2K - 1}} $$ (44) 式中:
$ {n_p} $ 和$ \omega $ 分别是空间随机相位调制器的折射率和高度起伏的均方差;$ D $ 和$ f $ 分别是相机系统的口径和镜头焦距;$\Delta {{r}}$ 和$ \Delta \lambda $ 分别是系统的二维物空间及光谱维度的分辨率。这一分辨率极限的示意图如图18 所示,可以看出,二维空间中的分辨率$\Delta {{r}}$ 与光谱维的分辨率$ \Delta \lambda $ 之间存在相互耦合,整体受到系统衍射的限制。另一方面,当增大$ \Delta \lambda $ ,即光谱维差异性提高时,$\Delta {{r}}$ 受到的限制将放宽,这说明可以利用目标光谱维度的差异性来实现超越空间衍射极限的分辨率。另外,对于鬼成像系统,也可以使用类似于传统的基于信息视角的超分辨成像技术的思想,通过结合目标先验和系统传递函数先验的方式来提升分辨率。例如,Tong等人[116]提出通过对鬼成像系统探测信号及系统传递矩阵进行正则化预处理然后进一步使用算法求解的方式,实现了有噪声情况下的超衍射分辨率图像重构。并且,其理论推导表明,从傅里叶频率域的视角来看,这种用于鬼成像系统的正则化预处理方法,其对目标信息频率分量的作用与用于传统成像系统的维纳滤波是一致的。
-
如前面1.4节所述,在实际应用中,有许多场景如目标识别、追踪、分类等,所直接需要的信息不再是目标场景的完整图像信息,因此可以基于不同的任务导向,采用信息论的方法优化成像系统设计。传统的独立光学成像探测系统由于其图像传递函数的形式受到光路结构的限制,在这一类任务上往往是只能先成像,再基于感存算一体的探测系统,通过边缘计算进行分析。基于光场(二阶)高阶关联函数的成像,由于可以更加灵活地设计目标光场信息向探测面的映射模式,因此在以特定任务为导向的成像系统设计上就可以直接依照信息理论优化设计系统的图像信息映射模式,使得无需对目标进行高质量成像也能得到相应的信息。
目前,面向特定任务的鬼成像研究,其主要手段为根据所需要的信息来设计调制光场的花样,并辅以相应的数据处理方法来完成对应的任务。已有的任务导向鬼成像研究有非成像目标检测识别[117-119]、非成像目标分类[120-121]、目标边缘图像获取[122-123]、目标的非成像快速追踪与渐进成像[124-125]等。这些研究充分利用了鬼成像系统对目标信息映射模式的灵活性,是最近几年来基于光场(二阶)高阶关联函数的成像在面向任务的系统设计方面的初步尝试。另一方面,1.4节中提到的基于任务定义光学成像系统信息度量和分析系统所能传递信息量的理论框架,可以和目前以任务为导向的鬼成像系统研究结合起来,发展更加完整的基于任务定义的信息光学成像系统设计框架。
Review, current status and prospect of researches on information optical imaging (Invited)
-
摘要: 从信息论的视角理解、研究、优化光学成像系统是成像科学自信息论诞生以来的一个重要研究方向,也一直在取得一系列相应的进展。但是,由于传统光学成像系统物面至像面的“固定点到点”所见即所得的图像信息采集模式,使得基于信息论的传统光学成像研究更多的具有理论上的意义,对实际应用系统的优化设计更多的是起到锦上添花的作用,难以在成像功能上有实质性的突破。随着现代光场调控技术和基于光场高阶关联的新概念光学成像技术的突破性进展,目前已经能够在成像过程中利用可控的光场时空涨落对目标图像进行编码,这对从信息论的角度理解和优化光学成像系统提出了迫切的需求,同时也为信息光学成像这一研究方向提供了全新的发展机遇。文中将回顾自信息论提出的半个多世纪以来信息光学成像的国内外发展历史,并结合目前光学成像的最新进展讨论其若干研究现状和可能的发展趋势。Abstract: To understand, study and optimize optical imaging systems from the viewpoint of information theory has been an important research field of the imaging science since the birth of information theory, accompanied by a series of corresponding progress which has been being achieved. However, due to the ''fixed point-to-point'' mode of image information acquisition from the object plane to the image plane in traditional optical imaging systems, studies on them based on information theory are more meaningful in the theoretical sense while just acting as icing on the cake for optimization and design of practical application systems, which makes substantial breakthroughs in new imaging functions are difficult to be made therein. With breakthroughs in both the modern modulation techniques of light fields and new-concept optical imaging techniques based on the high-order correlation of light fields, currently it has been able to encode the target image by using controllable spatiotemporal fluctuations of light fields during the imaging process. This not only puts forward new demands for understanding and optimizing optical imaging systems from the viewpoint of information theory, but also brings new opportunities for the research field of information optical imaging. This paper will first review the domestic and international development history of information optical imaging during the last half century since the birth of information theory, and then discuss its current research status and potential developing tendency by combining with latest progress in the field of optical imaging.
-
-
[1] Shannon C E. A mathematical theory of communication [J]. The Bell System Technical Journal, 1948, 27(3): 379-423. doi: 10.1002/j.1538-7305.1948.tb01338.x [2] Blahut R E. Principles and Practice of Information Theory[M]. US: Addison-Wesley Longman Publishing Co., Inc., 1987. [3] Barrett H H, Myers K J. Foundations of Image Science[M]. US: John Wiley & Sons, 2013. [4] Gabor D. IV light and information [J]. Progress in Optics, 1961, 1: 109-153. [5] Di Francia G T. Degrees of freedom of an image [J]. JOSA A, 1969, 59(7): 799-804. doi: 10.1364/JOSA.59.000799 [6] Ernst A. Contributions to the theory of the microscope and the nature of microscopic vision [J]. Archive for Microscopic Anatomy, 1873, 9: 413-418. (in German [7] Slepian D. Prolate spheroidal wave functions, Fourier analysis and uncertainty—IV: Extensions to many dimensions; generalized prolate spheroidal functions [J]. Bell System Technical Journal, 1964, 43(6): 3009-3057. doi: 10.1002/j.1538-7305.1964.tb01037.x [8] Tao Chunkan, Tao Chunkuang. Optical Information Theory[M]. Beijing: Science Press, 1999: 121-129. (in Chinese) [9] Stern A, Javidi B. Shannon number and information capacity of three-dimensional integral imaging [J]. JOSA A, 2004, 21(9): 1602-1612. doi: 10.1364/JOSAA.21.001602 [10] de Micheli E, Viano G A. Inverse optical imaging viewed as a backward channel communication problem [J]. JOSA A, 2009, 26(6): 1393-1402. doi: 10.1364/JOSAA.26.001393 [11] Abbe E. XV. —The relation of aperture and power in the microscope (continued) [J]. Journal of the Royal Microscopical Society, 1883, 3(6): 790-812. doi: 10.1111/j.1365-2818.1883.tb05956.x [12] Rayleigh L. XXXI. Investigations in optics, with special reference to the spectroscope [J]. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 1879, 8(49): 261-274. doi: 10.1080/14786447908639684 [13] King G W, Emslie A G. Spectroscopy from the point of view of the communication theory [J]. JOSA A, 1951, 41(6): 405-412. doi: 10.1364/JOSA.41.000405 [14] Di Francia G T. Resolving power and information [J]. JOSA A, 1955, 45(7): 497-501. doi: 10.1364/JOSA.45.000497 [15] Lukosz W. Optical systems with resolving powers exceeding the classical limit [J]. JOSA A, 1966, 56(11): 1463-1471. doi: 10.1364/JOSA.56.001463 [16] Bershad N J. Resolution, optical-channel capacity and information theory [J]. JOSA A, 1969, 59(2): 157-163. doi: 10.1364/JOSA.59.000157 [17] Fried D L. Resolution, signal-to-noise ratio, and measurement precision [J]. JOSA A, 1979, 69(3): 399-406. doi: 10.1364/JOSA.69.000399 [18] Cox I J, Sheppard C J R. Information capacity and resolution in an optical system [J]. JOSA A, 1986, 3(8): 1152-1158. doi: 10.1364/JOSAA.3.001152 [19] Kosarev E L. Shannon's superresolution limit for signal recovery [J]. Inverse Problems, 1990, 6(1): 55. doi: 10.1088/0266-5611/6/1/007 [20] Narimanov E. Resolution limit of label-free far-field microscopy [J]. Advanced Photonics, 2019, 1(5): 056003. [21] Harris J L. Resolving power and decision theory [J]. JOSA A, 1964, 54(5): 606-611. doi: 10.1364/JOSA.54.000606 [22] Helstrom C. The detection and resolution of optical signals [J]. IEEE Transactions on Information Theory, 1964, 10(4): 275-287. doi: 10.1109/TIT.1964.1053702 [23] Helstrom C. Detection and resolution of incoherent objects by a background-limited optical system [J]. JOSA A, 1969, 59(2): 164-175. doi: 10.1364/JOSA.59.000164 [24] Helstrom C. Resolvability of objects from the standpoint of statistical parameter estimation [J]. JOSA A, 1970, 60(5): 659-666. doi: 10.1364/JOSA.60.000659 [25] Fisher R A. On the mathematical foundations of theoretical statistics [J]. Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character, 1922, 222(594-604): 309-368. doi: 10.1098/rsta.1922.0009 [26] Lucy L B. Statistical limits to super resolution [J]. Astronomy and Astrophysics, 1992, 261: 706. [27] Bettens E, Van Dyck D, Den Dekker A J, et al. Model-based two-object resolution from observations having counting statistics [J]. Ultramicroscopy, 1999, 77(1-2): 37-48. doi: 10.1016/S0304-3991(99)00006-6 [28] Smith S T. Statistical resolution limits and the complexified Cramér-Rao bound [J]. IEEE Transactions on Signal Processing, 2005, 53(5): 1597-1609. doi: 10.1109/TSP.2005.845426 [29] Ram S, Ward E S, Ober R J. Beyond Rayleigh's criterion: A resolution measure with application to single-molecule microscopy [J]. Proceedings of the National Academy of Sciences, 2006, 103(12): 4457-4462. doi: 10.1073/pnas.0508047103 [30] Sentenac A, Guérin C A, Chaumet P C, et al. Influence of multiple scattering on the resolution of an imaging system: A Cramer-Rao analysis [J]. Optics Express, 2007, 15(3): 1340-1347. doi: 10.1364/OE.15.001340 [31] Betzig E, Chichester R J. Single molecules observed by near-field scanning optical microscopy [J]. Science, 1993, 262(5138): 1422-1425. doi: 10.1126/science.262.5138.1422 [32] Gustafsson M G L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy [J]. Journal of Microscopy, 2000, 198(2): 82-87. doi: 10.1046/j.1365-2818.2000.00710.x [33] Zhang H K, Chen X, Liu W, et al. Super-resolution imaging of fluorescent dipoles via polarized structured illumination microscopy [J]. Nature Communications, 2019, 10(1): 1-10. doi: 10.1038/s41467-018-07882-8 [34] Vlaardingerbroek M T, Boer J A. Magnetic Resonance Imaging: Theory and Practice[M]. New York: Springer Science & Business Media, 2013. [35] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy [J]. Optics Letters, 1994, 19(11): 780-782. doi: 10.1364/OL.19.000780 [36] Neupane B, Ligler F S, Wang G. Review of recent developments in stimulated emission depletion microscopy: applications on cell imaging [J]. Journal of Biomedical Optics, 2014, 19(8): 080901. doi: 10.1117/1.JBO.19.8.080901 [37] Harris J L. Diffraction and resolving power [J]. JOSA A, 1964, 54(7): 931-936. doi: 10.1364/JOSA.54.000931 [38] Banham M R, Katsaggelos A K. Digital image restoration [J]. IEEE Signal Processing Magazine, 1997, 14(2): 24-41. doi: 10.1109/79.581363 [39] Wiener N. Extrapolation, Interpolation and Smoothing of Stationary Time Series with Engineering Applications[M]. New York: John Wiley, 1949. [40] Sekko E, Thomas G, Boukrouche A. A deconvolution technique using optimal Wiener filtering and regularization [J]. Signal Processing, 1999, 72(1): 23-32. doi: 10.1016/S0165-1684(98)00161-3 [41] Lucy L B. Resolution limits for deconvolved images [J]. The Astronomical Journal, 1992, 104: 1260-1265. doi: 10.1086/116315 [42] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution [J]. Science, 2006, 313(5793): 1642-1645. doi: 10.1126/science.1127344 [43] Rust M J, Bates M, Zhuang X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM) [J]. Nature Methods, 2006, 3(10): 793-796. doi: 10.1038/nmeth929 [44] Fales C L, Huck F O, Samms R W. Imaging system design for improved information capacity [J]. Applied Optics, 1984, 23(6): 872-888. doi: 10.1364/AO.23.000872 [45] Huck F O, Fales C L, Halyo N, et al. Image gathering and processing: information and fidelity [J]. JOSA A, 1985, 2(10): 1644-1666. doi: 10.1364/JOSAA.2.001644 [46] Huck F O, Fales C L, McCormick J A, et al. Image-gathering system design for information and fidelity [J]. JOSA A, 1988, 5(3): 285-299. doi: 10.1364/JOSAA.5.000285 [47] Alter-Gartenberg R. Information metric as a design tool for optoelectronic imaging systems [J]. Applied Optics, 2000, 39(11): 1743-1760. doi: 10.1364/AO.39.001743 [48] Carretero L, Fimia A, Beléndez A. Entropy-based study of imaging quality in holographic optical elements [J]. Optics Letters, 1994, 19(17): 1355-1357. doi: 10.1364/OL.19.001355 [49] Chou W C, Neifeld M A, Xuan R. Information-based optical design for binary-valued imagery [J]. Applied Optics, 2000, 39(11): 1731-1742. doi: 10.1364/AO.39.001731 [50] Chi X F, Shi W X, Han C Y, et al. Information-theory based optimizing design methods in sampled-imaging system [J]. Journal of China Institute of Communications, 2002, 23(9): 88-93. (in Chinese) [51] Han C Y, Yu Y H. Design methods of CCD detection system and the statistical characteristics of sampled targets [J]. Journal of Jilin University (Information Science Edition), 2002, 20(4): 23-26. (in Chinese) [52] Chi X F, Han C Y, Yi Z D. Matching design methods based on information theory in sampled imaging systems [J]. Acta Optica Sinica, 2003, 23(3): 278-283. (in Chinese) [53] Chi X F, Han C Y, Yi Z D. Undersampled noise analysis and integral electro-optical design [J]. Opto-Electronic Engineering, 2003, 30(2): 56-59. (in Chinese) [54] Neifeld M A, Ashok A, Baheti P K. Task-specific information for imaging system analysis [J]. JOSA A, 2007, 24(12): B25-B41. doi: 10.1364/JOSAA.24.000B25 [55] Duarte M F, Davenport M A, Takhar D, et al. Single-pixel imaging via compressive sampling [J]. IEEE Signal Processing Magazine, 2008, 25(2): 83-91. doi: 10.1109/MSP.2007.914730 [56] Gibson G M, Johnson S D, Padgett M J. Single-pixel imaging 12 years on: a review [J]. Optics Express, 2020, 28(19): 28190-28208. doi: 10.1364/OE.403195 [57] Yuan X, Brady D J, Katsaggelos A K. Snapshot compressive imaging: Theory, algorithms, and applications [J]. IEEE Signal Processing Magazine, 2021, 38(2): 65-88. doi: 10.1109/MSP.2020.3023869 [58] Gao L, Liang J, Li C, et al. Single-shot compressed ultrafast photography at one hundred billion frames per second [J]. Nature, 2014, 516(7529): 74-77. doi: 10.1038/nature14005 [59] Qi D, Zhang S, Yang C, et al. Single-shot compressed ultrafast photography: A review [J]. Advanced Photonics, 2020, 2(1): 014003. [60] Pavani S R P, Thompson M A, Biteen J S, et al. Three-dimensional, single-molecule fluorescence imaging beyond the diffraction limit by using a double-helix point spread function [J]. Proceedings of the National Academy of Sciences, 2009, 106(9): 2995-2999. doi: 10.1073/pnas.0900245106 [61] Shechtman Y, Sahl S J, Backer A S, et al. Optimal point spread function design for 3D imaging [J]. Physical Review Letters, 2014, 113(13): 133902. doi: 10.1103/PhysRevLett.113.133902 [62] von Diezmann A, Shechtman Y, Moerner W E. Three-dimensional localization of single molecules for super-resolution imaging and single-particle tracking [J]. Chemical Reviews, 2017, 117(11): 7244-7275. doi: 10.1021/acs.chemrev.6b00629 [63] Buzug T M. Computed Tomography[M]//Springer Handbook of Medical Technology. Heidelberg: Springer, 2011: 311-342. [64] Descour M, Dereniak E. Computed-tomography imaging spectrometer: experimental calibration and reconstruction results [J]. Applied Optics, 1995, 34(22): 4817-4826. doi: 10.1364/AO.34.004817 [65] Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera[D]. US: Stanford University, 2005. [66] Strekalov D V, Sergienko A V, Klyshko D N, et al. Observation of two-photon ''ghost'' interference and diffraction [J]. Physical Review Letters, 1995, 74(18): 3600. doi: 10.1103/PhysRevLett.74.3600 [67] Pittman T B, Shih Y H, Strekalov D V, et al. Optical imaging by means of two-photon quantum entanglement [J]. Physical Review A, 1995, 52(5): R3429. doi: 10.1103/PhysRevA.52.R3429 [68] Bennink R S, Bentley S J, Boyd R W, et al. Quantum and classical coincidence imaging [J]. Physical Review Letters, 2004, 92(3): 033601. doi: 10.1103/PhysRevLett.92.033601 [69] Cheng J, Han S. Incoherent coincidence imaging and its applicability in X-ray diffraction [J]. Physical Review Letters, 2004, 92(9): 093903. doi: 10.1103/PhysRevLett.92.093903 [70] Gatti A, Brambilla E, Bache M, et al. Ghost imaging with thermal light: Comparing entanglement and classical correlation [J]. Physical Review Letters Series A. Mathematical and Physical Sciences, 2004, 93(9): 093602. doi: 10.1103/PhysRevLett.93.093602 [71] Zhao C, Gong W, Chen M, et al. Ghost imaging lidar via sparsity constraints [J]. Applied Physics Letters, 2012, 101(14): 141123. doi: 10.1063/1.4757874 [72] Erkmen B I. Computational ghost imaging for remote sensing [J]. JOSA A, 2012, 29(5): 782-789. doi: 10.1364/JOSAA.29.000782 [73] Sun B, Edgar M P, Bowman R, et al. 3D computational imaging with single-pixel detectors [J]. Science, 2013, 340(6134): 844-847. doi: 10.1126/science.1234454 [74] Gong W, Zhao C, Yu H, et al. Three-dimensional ghost imaging lidar via sparsity constraint [J]. Scientific Reports, 2016, 6(1): 26133. [75] Liu Z, Tan S, Wu J, et al. Spectral camera based on ghost imaging via sparsity constraints [J]. Scientific Reports, 2016, 6(1): 25718. doi: 10.1038/s41598-016-0001-8 [76] Wang Y, Suo J, Fan J, et al. Hyperspectral computational ghost imaging via temporal multiplexing [J]. IEEE Photonics Technology Letters, 2015, 28(3): 288-291. [77] Shi D, Hu S, Wang Y. Polarimetric ghost imaging [J]. Optics Letters, 2014, 39(5): 1231-1234. doi: 10.1364/OL.39.001231 [78] Chu C, Liu S, Liu Z, et al. Spectral polarization camera based on ghost imaging via sparsity constraints [J]. Applied Optics, 2021, 60(16): 4632-4638. doi: 10.1364/AO.417022 [79] Yu H, Lu R, Han S, et al. Fourier-transform ghost imaging with hard X-rays [J]. Physical Review Letters, 2016, 117(11): 113901. doi: 10.1103/PhysRevLett.117.113901 [80] Pelliccia D, Rack A, Scheel M, et al. Experimental X-Ray ghost imaging [J]. Physical Review Letters, 2016, 117(11): 113902. doi: 10.1103/PhysRevLett.117.113902 [81] Li W, Tong Z, Xiao K, et al. Single-frame wide-field nanoscopy based on ghost imaging via sparsity constraints [J]. Optica, 2019, 6(12): 1515-1523. doi: 10.1364/OPTICA.6.001515 [82] Jin X, Wang X Y, Du D Y, et al. Progress and prospect of scattering imaging [J]. Laser and Optoelectronics Progress, 2021, 58(18): 1811002. (in Chinese) doi: 10.3788/LOP202158.1811002 [83] Faccio D, Velten A, Wetzstein G. Non-line-of-sight imaging [J]. Nature Reviews Physics, 2020, 2(6): 318-327. doi: 10.1038/s42254-020-0174-8 [84] Mandel L, Wolf E. Optical Coherence and Quantum Optics[M]. UK: Cambridge University Press, 1995: 41-65. [85] Zernike F. How I discovered phase contrast [J]. Science, 1955, 121(3141): 345-349. doi: 10.1126/science.121.3141.345 [86] Gabor D. A new microscopic principle [J]. Nature, 1948, 161: 777-778. doi: 10.1038/161777a0 [87] Gabor D. Microscopy by reconstructed wave-fronts [J]. Proceedings of the Royal Society of London. Series A. Mathematical and Physical Sciences, 1949, 197(1051): 454-487. [88] Miao J, Charalambous P, Kirz J, et al. Extending the methodology of X-ray crystallography to allow imaging of micrometre-sized non-crystalline specimens [J]. Nature, 1999, 400(6742): 342-344. doi: 10.1038/22498 [89] Brown R H, Twiss R Q. Correlation between photons in two coherent beams of light [J]. Nature, 1956, 177(4497): 27-29. doi: 10.1038/177027a0 [90] Zhang M, Wei Q, Shen X, et al. Lensless Fourier-transform ghost imaging with classical incoherent light [J]. Physical Review A, 2007, 75(2): 021803. doi: 10.1103/PhysRevA.75.021803 [91] Gong W, Han S. Phase-retrieval ghost imaging of complex-valued objects [J]. Physical Review A, 2010, 82(2): 023828. doi: 10.1103/PhysRevA.82.023828 [92] Zhang D J, Tang Q, Wu T F, et al. Lensless ghost imaging of a phase object with pseudo-thermal light [J]. Applied Physics Letters, 2014, 104(12): 121113. doi: 10.1063/1.4869959 [93] Song X B, Xu D Q, Wang H B, et al. Experimental observation of one-dimensional quantum holographic imaging [J]. Applied Physics Letters, 2013, 103(13): 131111. doi: 10.1063/1.4822423 [94] Mandel L, Sudarshan E C G, Wolf E. Theory of photoelectric detection of light fluctuations [J]. Proceedings of the Physical Society, 1964, 84(3): 435. doi: 10.1088/0370-1328/84/3/313 [95] Mandel L, Wolf E. Optical Coherence and Quantum Optics[M]. UK: Cambridge University Press, 1995: 438-464. [96] Kolaczyk E D, Nowak R D. Multiscale likelihood analysis and complexity penalized estimation [J]. The Annals of Statistics, 2004, 32(2): 500-527. [97] Makitalo M, Foi A. Optimal inversion of the Anscombe transformation in low-count Poisson image denoising [J]. IEEE Transactions on Image Processing, 2010, 20(1): 99-109. [98] Han S, Yu H, Shen X, et al. A review of ghost imaging via sparsity constraints [J]. Applied Sciences, 2018, 8(8): 1379. doi: 10.3390/app8081379 [99] Pan L, Wang Y, Deng C, et al. Micro-Doppler effect based vibrating object imaging of coherent detection GISC lidar [J]. Optics Express, 2021, 29(26): 43022-43031. doi: 10.1364/OE.436105 [100] Gong W L, Sun J F, Deng C J, et al. Research progress on single-pixel imaging Lidar via coherent detection [J]. Laser & Optoelectronics Progress, 2021, 58(10): 1011003. (in Chinese) [101] Giglio M, Carpineti M, Vailati A. Space intensity correlations in the near field of the scattered light: A direct measurement of the density correlation function $g\left( r \right)$ [J]. Physical Review Letters, 2000, 85(7): 1416-1419. doi: 10.1103/PhysRevLett.85.1416[102] Cerbino R, Peverini L, Potenza M A C, et al. X-ray-scattering information obtained from near-field speckle [J]. Nature Physics, 2008, 4(3): 238-243. doi: 10.1038/nphys837 [103] Tan Z, Yu H, Lu R, et al. Non-locally coded Fourier-transform ghost imaging [J]. Optics Express, 2019, 27(3): 2937-2948. doi: 10.1364/OE.27.002937 [104] Zhu R, Yu H, Lu R, et al. Spatial multiplexing reconstruction for Fourier-transform ghost imaging via sparsity constraints [J]. Optics Express, 2018, 26(3): 2181-2190. doi: 10.1364/OE.26.002181 [105] Hu C, Zhu R, Yu H, et al. Correspondence Fourier-transform ghost imaging [J]. Physical Review A, 2021, 103(4): 043717. doi: 10.1103/PhysRevA.103.043717 [106] Yonina C Eldar, Gitta Kutyniok. Compressed Sensing: Theory and Applications[M]. UK: Cambridge University Press, 2012. [107] Donoho D L. Compressed sensing [J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306. doi: 10.1109/TIT.2006.871582 [108] Candes E J, Tao T. Decoding by linear programming [J]. IEEE Transactions on Information Theory, 2005, 51(12): 4203-4215. doi: 10.1109/TIT.2005.858979 [109] Li E R, Chen M L, Gong W L, et al. Mutual information of ghost imaging systems [J]. Acta Optica Sinica, 2013, 33(12): 1211003. (in Chinese) doi: 10.3788/AOS201333.1211003 [110] Xu X, Li E, Shen X, et al. Optimization of speckle patterns in ghost imaging via sparse constraints by mutual coherence minimization [J]. Chinese Optics Letters, 2015, 13(7): 071101. doi: 10.3788/COL201513.071101 [111] Czajkowski K M, Pastuszczak A, Kotyński R. Single-pixel imaging with Morlet wavelet correlated random patterns [J]. Scientific Reports, 2018, 8(1): 1-8. [112] Hu C, Tong Z, Liu Z, et al. Optimization of light fields in ghost imaging using dictionary learning [J]. Optics Express, 2019, 27(20): 28734-28749. doi: 10.1364/OE.27.028734 [113] Liu B, Wang F, Chen C, et al. Self-evolving ghost imaging [J]. Optica, 2021, 8(10): 1340-1349. doi: 10.1364/OPTICA.424980 [114] Tong Z, Liu Z, Wang J, et al. Spatial resolution limit of ghost imaging camera via sparsity constraints-break Rayleigh's criterion based on the discernibility in high-dimensional light field space [J]. arXiv e-prints, 2020, arXiv: 2004.00135. [115] Tropp J A. Greed is good: algorithmic results for sparse approximation [J]. IEEE Transactions on InformationTheory, 2004, 50(10): 2231-2242. [116] Tong Z, Liu Z, Hu C, et al. Preconditioned deconvolution method for high-resolution ghost imaging [J]. Photonics Research, 2021, 9(6): 1069-1077. doi: 10.1364/PRJ.420326 [117] Chen H, Shi J, Liu X, et al. Single-pixel non-imaging object recognition by means of Fourier spectrum acquisition [J]. Optics Communications, 2018, 413: 269-275. doi: 10.1016/j.optcom.2017.12.047 [118] Zhai X, Cheng Z, Wei Y, et al. Compressive sensing ghost imaging object detection using generative adversarial networks [J]. Optical Engineering, 2019, 58(1): 013108. [119] Li Y, Shi J, Sun L, et al. Single-pixel salient object detection via discrete cosine spectrum acquisition and deep learning [J]. IEEE Photonics Technology Letters, 2020, 32(21): 1381-1384. doi: 10.1109/LPT.2020.3026472 [120] Zhang Z, Li X, Zheng S, et al. Image-free classification of fast-moving objects using “learned” structured illumination and single-pixel detection [J]. Optics Express, 2020, 28(9): 13269-13278. doi: 10.1364/OE.392370 [121] Cao J N, Zuo Y H, Wang H H, et al. Single-pixel neural network object classification of sub-Nyquist ghost imaging [J]. Applied Optics, 2021, 60(29): 9180-9187. doi: 10.1364/AO.438392 [122] Liu X F, Yao X R, Lan R M, et al. Edge detection based on gradient ghost imaging [J]. Optics Express, 2015, 23(26): 33802-33811. doi: 10.1364/OE.23.033802 [123] Wang L, Zou L, Zhao S. Edge detection based on subpixel-speckle-shifting ghost imaging [J]. Optics Communications, 2018, 407: 181-185. doi: 10.1016/j.optcom.2017.09.002 [124] Sun S, Gu J H, Lin H Z, et al. Gradual ghost imaging of moving objects by tracking based on cross correlation [J]. Optics Letters, 2019, 44(22): 5594-5597. doi: 10.1364/OL.44.005594 [125] Yang D, Chang C, Wu G, et al. Compressive ghost imaging of the moving object using the low-order moments [J]. Applied Sciences, 2020, 10(21): 7941. doi: 10.3390/app10217941 [126] Barbastathis G, Ozcan A, Situ G. On the use of deep learning for computational imaging [J]. Optica, 2019, 6(8): 921-943. doi: 10.1364/OPTICA.6.000921 [127] Rivenson Y, Wu Y, Ozcan A. Deep learning in holography and coherent imaging [J]. Light: Science & Applications, 2019, 8(1): 1-8.