-
显微成像作为研究生物组织和细胞的主要工具，极大地推动了生物和医学领域的发展。但生物样本的多元化与复杂性、及传统光学显微镜的低信噪比和光学衍射极限，极大地限制了其应用[1-2]。不同的生物样本、不同的应用场景对显微成像技术的要求也不相同。因此，在临床应用中，如何通过实际需求获取恰当分辨率的图像，是显微成像应用领域亟待解决的问题之一。
笔者团队在前期研究中提出了一种多分辨显微关联成像方式，根据实际应用中所需图像分辨率实时控制成像过程，输出多分辨成像结果[3]。关联成像技术是通过对光场调制，并利用光场的高阶关联来获得物体的空间或相位分布信息。这种成像方式具有高空间分辨率和强抗干扰能力，可以通过设计不同的光场调制方案获取不同成像质量的重构图像[4-5]。并且可以通过欠采样的方式大幅缩短成像时间，满足生物医学领域的多样化需求[6]。
在关联成像的图像重建中，为了确保重构图像较高分辨率和信噪比，需要大幅延长采样时间，造成了成像时间和存储空间的大量消耗，这也导致了关联成像技术的应用局限性。近年来，人工智能技术特别是深度学习技术发展迅速，已开始与生物医学、认知科学、计算机视觉等学科领域交叉渗透[7-9]。
深度学习技术同样引起了成像领域科研人员的广泛关注[10]。近年来，基于深度学习的成像方法迅速应用到关联成像、散射成像和光学层析等领域[11-12]。2017年，Lyu等首次将深度学习引入关联成像技术，在欠采样条件下获得了较高信噪比的图像结果，但这种方法的训练数据是通过重复多次关联成像过程获得的，工作量巨大且极为耗时[13]。2019年，司徒国海团队提出利用仿真数据作为神经网络的训练集，实现了极低采样比下的图像恢复[14]。但该方法采用手写字符作为训练与测试集，相比于复杂的生物组织，该类型物体线条简单，需要重点关注的成像细节较少，在生物组织的应用上仍存在一定的局限性。2021年，Saad Rizvi等采用深度卷积自动编码器网络实现实时鬼成像[15]，采用STL-1025数据集作为训练和测试集，同样在极低采样条件下获得了良好的图像重构结果，大幅缩短了成像时间。但该方法并未对于STL-1025数据集以外的复杂图像进行测试，在针对特殊样品的生物应用中存在不确定性。
综上所述，文中设计了一种基于深度学习的多分辨显微关联成像系统。对显微镜进行改造，利用关联成像技术获取目标样品重构图像，再结合深度学习技术，保证图像质量的同时缩短成像时间、减少内存占用。这种多分辨显微关联成像系统可以灵活应用于生物组织高分辨成像及细胞筛选等高速识别领域。
-
将空间光场
$ {I^m}(x,y) $ 加载到数字微镜阵列上对空间光场调制。调制后的空间光场经透镜投射至成像样品$ O(x,y) $ ，单像素探测器接收携带物体信息的光场强度信号$ {B^m} $ ，成像原理如图1所示。M次探测后的样品重构图像的二阶关联公式表示如下：
图 1 显微关联成像原理图
Figure 1. Diagram of microscopic correlation imaging
$$ G(x,y) = \left\langle {{B^m} \cdot {I^m}(x,y)} \right\rangle $$ (1) 式中：
$ G(x,y) $ 表示光场和探测值的二阶关联函数；$ \left\langle {} \right\rangle $ 代表求系综平均。以矩阵形式表示图像重构过程，将探测值
$ {B^m} $ 转化为一维列向量，即：$$ B = {[ {{B^1}}\;\;\; {{B^2}}\;\;\; \cdots \;{{B^M}} ]^{\rm{T}}} $$ (2) 式中：
$ {\left[ {} \right]^{\rm{T}}} $ 代表矩阵的转置；M代表总探测次数。将物体$ O(x,y) $ 同样转化为一维列向量：$$ O={\left[ \begin{array}{cc}O\left(1\text{，}1\right) \begin{array}{cc}\begin{array}{cc}O\left(1\text{，}2\right)\cdots \end{array} O\left(m\text{，}n\right)\end{array}\end{array} \right]}^{{\rm{T}}} $$ (3) 将用于调制光场的矩阵A表示为：
$$ A=\left[\begin{array}{cccc} I_{1}^{1} & I_{2}^{1} & \cdots & I_{N}^{1} \\ I_{1}^{2} & I_{2}^{2} & \cdots & I_{N}^{2} \\ \vdots & \vdots & \ddots & \vdots \\ I_{1}^{M} & I_{2}^{M} & \cdots & I_{N}^{M} \end{array}\right] $$ (4) 式中：N代表调制矩阵总像素数。所有的探测值向量B即可表示为：
$$ B = AO $$ (5) 由此，公式（1）改写为：
$$ G = \frac{1}{M}{A^{\rm{T}}}B = \frac{1}{M}{A^{\rm{T}}}AO $$ (6) 当m=M，即采样率为100%，重构成像质量较高，但同时伴随着较长的成像时间和较大的存储空间。为了满足实际生物应用，成像系统往往需要通过欠采样的方式缩短成像时间，节约存储空间，但这必将导致重构图像质量下降，图像噪声大幅提升。
-
首先对显微镜主体进行改造，在已有显微镜的光路中加装分束装置，并在显微镜主体的适当位置开孔，将通过物镜放大后携带样本信息的光导出至多分辨显微关联成像（DLGI）系统。DLGI系统设计主要包括硬件设计和软件升级两部分。
硬件设计部分将实验系统集成到尺寸为24 cm×18 cm×12 cm的壳体中，如图2所示。系统外的导光筒为显微镜主体和多分辨显微关联成像系统的连接装置，与显微镜主体通过法兰连接。系统内部为被动式关联成像光路，由导光筒、可调光阑、扩束镜、聚焦透镜、数字微镜阵列（DMD）和硅基探测器（PDA）组成。显微镜发出的光照射样品后一部分进入导光筒，利用光阑（最大可调通光口径为20 mm）调节光束直径后进入可变焦扩束镜，确保携带样本信息的光清晰投射至DMD （微镜尺寸：13.7 μm，分辨率：1024 pixel×768 pixel，封装尺寸：14.0 mm×10.5 mm）；DMD加载预置散斑图样对光信号进行调制，调制后的光信号经透镜由光电倍增管接收，透镜与PDA间距离可前后调节，采集光信号的强度变化。成像系统内部配有工控机和数据采集卡，用于控制DMD并加载预置图样，同时记录探测器采集的光强信息，最终通过计算重构出目标样本图像。
图 2 多分辨显微关联成像系统结构设计
Figure 2. Structure design of multi-resolution microscopic correlation imaging system
实际成像中可根据需求适当降低采样率，以提升时间分辨率。但随着采样率的降低，关联成像结果会产生较多的噪声，对图像分析带来干扰。而深度学习作为成像后的图像处理工具，通过学习样本数据的内在规律和表示层次，能快速地去除噪声，准确提升图像中特征信息的对比度，使图像分析更加准确快捷。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。为了更准确地实现关联成像的深度学习，在改造装置内配置工控机，将低采样率成像结果与满采样超分辨成像结果建立映射关系，可在设备使用的同时，继续学习修正深度学习结果，不断提升软件的可靠性。并通过不同样品类别的区分，建立多样品处理工具，使用前的模块选择可进一步提升深度学习的准确度。
目前，大部分深度学习方案运算量巨大，计算复杂度高，无法适用于文中提出的多分辨显微关联成像系统，因此，所设计的系统采用基于重参数化思想的超高效轻量超分网络，在资源受限的设备下实现实时高质量成像。
训练时仅采用一种生物组织样品（ 结节性甲状腺肿），在不同位置、不同特征处共截取1500张图像进行训练，选择Adam为优化器，损失函数为重建图像和原始图像之间的均方误差（MSE）。图3为训练阶段的框架图，线性模块的输入通道数为x，输出通道数为y，采用卷积扩展得到p个临时通道后进行压缩。由于两个卷积之间无非线性激活层，可以在推理阶段进行合并。因此，可以在训练阶段训练一个较大网络，在推理阶段合并为高效轻量网络[16]，并通过与长短跳跃残差连接组合使收敛速度提升，图像质量改善。
图 3 神经网络结构示意图
Figure 3. Structure of proposed neural network
-
为了验证系统的多分辨成像能力，测试了不同采样率β下的成像结果：
$$ \beta = \frac{m}{M} $$ (7) 式中：m代表欠采样下的实际测量次数；M代表满采样下的测量次数。以纳米分辨率板（HIGHRES-1，NEWPORT，美国）作为待测目标物体（最小线宽137 nm）。首先，通过100倍物镜（浸油物镜）对分辨率板进行放大，获取了8组不同采样率下的成像结果（图像分辨率：128 pixel×128 pixel），如图4所示。当β=50%时，成像结果质量较差，分辨率版小刻度位置已无法识别。随着采样率增大，成像结果逐渐清晰，图像细节逐渐显现。这种多分辨显微关联成像系统既可以获得用于生物切片观测的高分辨率图像，又能够通过欠采样的方式满足细胞筛选、血流成像等实时成像中低分辨率图像的需要。实际应用中，可以根据对待测目标物体的不同图像质量需求选择不同的分辨率，平衡成像质量与成像时间之间的矛盾关系。
图 4 分辨率板多分辨显微关联成像结果
Figure 4. Imaging results of multi-resolution microscopic correlated imaging for highest resolution target
从图4中可以看出，欠采样方式获取的多分辨成像结果虽然可以大幅缩短成像时间，但其成像质量也显著降低，低采样率的成像结果噪声较大，导致图像细节难以识别，对于生物医学领域的应用带来极大限制。为了解决这一问题，将深度学习与关联成像技术相结合，消除欠采样造成的图像噪声，恢复图像有用信息。
以组织切片（结节性甲状腺肿）作为待测目标物体，测试了经硬件设计和软件设计后的多分辨显微关联成像（DLGI）系统性能。同样获得了5组不同采样率下的成像结果（图像分辨率：128 pixel×128 pixel），如图5所示。随着采样率的降低，系统的成像质量显著下降，同时伴随着大量噪声产生。当采样率达到60%时，传统关联成像（GI）中生物组织的内部细节无法识别，这种图像质量对于病理切片观察是不可接受的。
图 5 不同采样率下生物样本GI和DLGI成像结果对比
Figure 5. Comparison of imaging results of biological samples from GI and DLGI with different sampling rates
将DLGI与GI结果进行对比，获取的重构图像在不同采样率下的重构性能进行比较。采用深度学习方法后，图像质量显著改善。即使在采样率为60%的情况下，生物组织的内部细节和边缘轮廓也会清晰还原，并且图像噪声明显改善。
为了直观地说明成像系统的优势，表1显示了不同采样率下的时间和内存消耗。成像时间主要取决于DMD的调制频率（文中设置DMD调制频率为20 kHz）和深度学习的推理时间。所采用的基于重参数化思想的超高效轻量超分网络显著降低了图像计算复杂度，推理时间可达51 ms。内存消耗包括两部分：预置矩阵的存储空间和探测器探测值的存储空间。每个探测器强度值占8个字节。在传统关联成像方法中，随着采样率的降低，时间和内存消耗虽然逐渐减少，但图像质量大幅下降，无法满足实际需求。然而，所提出的多分辨显微关联成像系统，即使采样率达到60%，也可以识别重构图像的细节。文中的成像系统在保证成像质量的同时，成像时间可节约0.37 s，同时显著减少了内存占用，研究结果对生物医学领域具有重要意义。
表 1 不同采样率下的成像时间和存储空间
Table 1. Time and memory consumption of images with different sampling rates
Sampling rate 100% 90% 80% 70% 60% 50% Sampling time/s 0.745 0.671 0.596 0.522 0.447 0.373 DL time/s 0.051 0.051 0.051 0.051 0.051 0.051 Total imaging time/s 0.796 0.722 0.647 0.573 0.498 0.424 Memory consumption/kB 1 048 704 943 833 838 963 734 092 629 222 524 352 为了验证系统对不同类型样本的适用性，对形态差异较大的生物样本（肝细胞肝癌）进行测试，同样取得了较为理想的成像结果，如图6所示。
为了进一步标定所设计的成像系统的分辨能力，对100倍物镜放大后的分辨率板进行了不同采样率下的成像测试（图像分辨率：128 pixel×128 pixel），如图7所示。
图7(a)为采样率为70%时的GI成像结果，此时分辨率板最小线条位置处（11）已被噪声覆盖，无法识别。但DLGI的图像质量明显提升，噪声消除，如图7(b)所示。提取了GI、DLGI和原始图像目标位置的强度分布（图7(a)~(c)红色虚线，对应图像110像素点位置），并绘制了3种不同条件下的目标位置归一化强度分布曲线。从图7(d)~(f)中可以看出，红色、绿色、蓝色三条虚线标识的位置分别对应分辨率板11-1，11-2，11-3的位置。GI的分布曲线已被噪声覆盖，完全无法识别线条间隔，DLGI的曲线表现出明显的强弱分布规律，与原始图像结果一致，证明了深度学习对系统成像质量的提升能力。
图 6 不同采样率下生物样本GI和DLGI成像结果对比
Figure 6. Comparison of imaging results of biological samples from GI and DLGI with different sampling rates
不同类型生物样本和分辨率板成像结果表明，所设计的多分辨显微关联成像系统具有良好的鲁棒性和抗噪性能，可满足生物医学领域的实时成像需求。
图 7 分辨率板成像结果。(a) GI；(b) DLGI；(c)原始图像； (d)~(f)重构图像特定位置的归一化强度分布图；(g) 表格代表分辨率板不同位置对应的线条间隔（表格来自Newport官网）
Figure 7. Imaging results of resolution target. (a) GI；(b) DLGI；(c) Ground truth; (d)-(f) Normalized intensity distribution of target position in image; (g) The table represents the line spacing corresponding to different positions of resolution target (Newport)
-
文中对传统荧光显微镜进行了改造，通过硬件设计和软件升级两个步骤，设计了基于深度学习的多分辨显微关联成像系统，该系统采用高效轻量超分网络，在资源受限的设备下仍可实现实时高质量成像。分析了成像系统在5种不同采样率下的性能，并将结果与传统关联成像结果进行了比较。实验结果表明，在低采样率下，成像系统鲁棒性和抗噪性能优异，对于提升成像时间分辨率具有重要意义，在生物医学成像领域具有广泛的应用前景。
System design of multi-resolution microscopic correlation imaging based on deep learning
-
摘要: 显微成像技术作为研究细胞和生物组织的主要工具，对生物医学的发展起到了极大的推动作用。生物样本的复杂化和生物医学领域对时间和空间分辨率的多样化需求决定了单一功能生物成像系统应用的局限性。为满足生物医学领域的多样化需求，解决成像质量与成像时间之间的矛盾，设计了一种基于深度学习的多分辨显微关联成像系统。该系统通过对显微镜进行硬件设计改造和软件处理，将深度学习与关联成像技术有效结合，当采样率仅为60%时，成像系统能够较好地恢复图像细节，大幅降低欠采样带来的噪声，同时显著提升系统成像的时间分辨率。另外，为了满足所设计的小型多分辨显微关联成像系统的实际需求，采用基于重参数化思想的超高效轻量超分网络，在资源受限的设备下实现实时高质量成像。所提出的成像系统可以在保证成像质量的同时显著缩短成像时间和减少内存占用。不同类型生物样本和分辨率板的测试结果进一步表明了系统的鲁棒性和抗噪性能，研究结果对生物医学领域具有重要意义。Abstract:
Objective Microscopic imaging technology is the primary research method for biological organs, tissues and cells. It plays a significant role in promoting the development of biology and medicine. However, the diversity and complexity of biological samples, the low signal-to-noise ratio, and the optical diffraction limit of traditional optical microscopy significantly limit its application. Different biological samples and different application scenarios have different requirements for microscopic imaging technology. Therefore, in clinical applications, how to obtain images with appropriate resolution through practical needs, and how to shorten imaging time while ensuring imaging quality are the problems that need to be solved urgently in microscopic imaging applications. Methods The microscope is modified by adding a beam-splitting device in the optical path. The light that carries the sample information was exported to the multi-resolution microscopic correlation imaging system after being magnified by the objective lens. The experimental system was integrated into the shell (24 cm×18 cm×12 cm, Fig.2). The optical signal is illuminated to DMD, and the signal light is modulated by DMD and received by a single-pixel detector. The reconstructed images of the sample are obtained through the second-order correlation operation of the modulation matrix and detection intensity of a single-pixel detector. The imaging system was equipped with an industrial computer and a data acquisition card, which are used to control the DMD, load the preset pattern and record the light intensity collected by the detector. The reconstructed images of the sample are obtained through the second-order correlation operation of the modulation matrix and detection intensity of a single-pixel detector. Then the images are processed through deep learning. Results and Discussions The tissue slice was used as the target object, and the performance of the DLGI system after hardware and software design were tested. The imaging results under five different sampling rates were obtained (image resolution: 128×128, Fig.5 and Fig.6). With the decrease of the sampling rate, the imaging quality is reduced significantly, accompanied by a large amount of noise. When the sampling rate reaches 60%, the internal details of biological tissue in traditional correlation imaging (GI) cannot be recognized, and it is unacceptable for pathological section observation. The image quality is significantly improved after using the deep learning method. Even when the sampling rate is 60%, the internal details and edge contours of biological tissues can be restored clearly, and the image noise is significantly improved. In this paper, the ultra-efficient and lightweight hyper-division network based on heavy parameterization reduced the complexity of image calculation significantly (Fig.3), and the reasoning time can reach 51 ms. The imaging time of the imaging system in this paper can save 0.37 s while ensuring the imaging quality and significantly reducing the memory occupation (Tab.1) . Conclusions A multi-resolution microscopic correlated imaging based on deep learning is designed to meet the diverse needs of microscopic imaging and solve the contradiction between imaging quality and imaging time in practical application. The system combines deep learning with correlation imaging technology through hardware design and software processing of the microscope. The imaging system can restore image details with a sampling rate of only 60%, significantly reduce the noise caused by under-sampling, and significantly improve the time resolution of the system. In addition, to meet the actual needs of the small-scale imaging systems, an ultra-efficient super-resolution network is adopted based on the overparameterization method to realize real-time imaging under equipment with limited resources. The proposed imaging system can significantly reduce the imaging time and memory occupation while maintaining imaging quality. The test results of different types of biological samples and resolution boards further show the robustness and anti-noise performance of the system. The research results of the system have great significance for the biomedical field. -
Key words:
- microscopic imaging /
- correlation imaging /
- deep learning /
- multi-resolution imaging
-
图 2 多分辨显微关联成像系统结构设计
Figure 2. Structure design of multi-resolution microscopic correlation imaging system
图 4 分辨率板多分辨显微关联成像结果
Figure 4. Imaging results of multi-resolution microscopic correlated imaging for highest resolution target
图 5 不同采样率下生物样本GI和DLGI成像结果对比
Figure 5. Comparison of imaging results of biological samples from GI and DLGI with different sampling rates
图 6 不同采样率下生物样本GI和DLGI成像结果对比
Figure 6. Comparison of imaging results of biological samples from GI and DLGI with different sampling rates
图 7 分辨率板成像结果。(a) GI；(b) DLGI；(c)原始图像； (d)~(f)重构图像特定位置的归一化强度分布图；(g) 表格代表分辨率板不同位置对应的线条间隔（表格来自Newport官网）
Figure 7. Imaging results of resolution target. (a) GI；(b) DLGI；(c) Ground truth; (d)-(f) Normalized intensity distribution of target position in image; (g) The table represents the line spacing corresponding to different positions of resolution target (Newport)
表 1 不同采样率下的成像时间和存储空间
Table 1. Time and memory consumption of images with different sampling rates
Sampling rate 100% 90% 80% 70% 60% 50% Sampling time/s 0.745 0.671 0.596 0.522 0.447 0.373 DL time/s 0.051 0.051 0.051 0.051 0.051 0.051 Total imaging time/s 0.796 0.722 0.647 0.573 0.498 0.424 Memory consumption/kB 1 048 704 943 833 838 963 734 092 629 222 524 352 
下载: 导出CSV
-
[1] Pan Wenhui, Chen Bingling, Zhang Jianguo, et al. Compressed sensing STORM super-resolution image reconstruction based on noise correction-principal component analysis preprocessing algorithm [J]. Chinese Journal of Lasers, 2020, 47(2): 0207024. (in Chinese) doi: 10.3788/CJL202047.0207024 [2] Zhang Saiwen, Deng Yaqi, Wang Chong, et al. Research on super-resolution fluorescence microscopy imaging based on multiple measurement vector compressed sensing [J]. Infrared and Laser Engineering, 2021, 50(11): 20210484. (in Chinese) doi: 10.3788/IRLA20210484 [3] Feng Yueshu, Zhou Cheng, Liu Xuan, et al. Study of multi-resolution microscopic correlated imaging based on Hadamard optimized matrix [J]. Acta Optica Sinica, 2021, 41(21): 116-124. (in Chinese) doi: 10.3788/AOS202141.2111001 [4] Li W W, Tong Z S, Xiao K, et al. Single-frame wide-field nanoscopy based on ghost imaging via sparsity constraints [J]. Optica, 2019, 6(2): 1515-1522. doi: 10.1364/OPTICA.6.001515 [5] Liu H C. Imaging reconstruction comparison of different ghost imaging algorithms [J]. Scientific Reports, 2020, 10(1): 14626. doi: 10.1038/s41598-020-71642-2 [6] Liu Zhentao, Hu Chenyu, Tong Zhishen, et al. Some research progress on the theoretical study of ghost imaging in Shanghai Institute of Optics and Fine Mechanics, Chinese Academy of Sciences (Invited) [J]. Infrared and Laser Engineering, 2021, 50(12): 20211059. (in Chinese) doi: 10.3788/IRLA20211059 [7] Lee J, Singh J. Integration of digital twin and deep learning in cyber-physical systems: Towards smart manufacturing [J]. International Journal of Machine Tools and Manufacture, 2020, 38(8): 901-910. doi: 10.1109/TSM.2020.2995548 [8] Kumar J D, Zhang Z, Huang K Q. Multi angle optimal pattern-based deep learning for automatic facial expression recognition-ScienceDirect [J]. Pattern Recognition Letters, 2020, 139: 157-165. doi: 10.1016/j.patrec.2017.06.025 [9] Justine B, Merey R, Silvio G, et al. SeedQuant: A deep learning-based tool for assessing stimulant and inhibitor activity on root parasitic seeds [J]. Plant Physiology, 2021, 186(3): 1632-1644. doi: 10.1093/plphys/kiab173 [10] Zhou Hongqiang, Huang Lingling, Wang Yongtian. Deep learning algorithm and its application in optics [J]. Infrared and Laser Engineering, 2019, 48(12): 1226004. (in Chinese) doi: 10.3788/IRLA201948.1226004 [11] Nehme E, Weiss L E, Michaeli T, et al. Deep-STORM: Super-resolution single-molecule microscopy by deep learning [J]. Optica, 2018, 5(4): 458-464. doi: 10.1364/OPTICA.5.000458 [12] Wang H D, Rivenson Y, Jin Y Y, et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy [J]. Nature Methods, 2018, 16(1): 103-110. doi: 10.1038/s41592-018-0239-0 [13] Lyu M, Wang W, Wang H, et al. Deep-learning-based ghost imaging [J]. Scientific Reports, 2017, 7(1): 17865. doi: 10.1038/s41598-017-18171-7 [14] Wang F, Wang H, Wang H C, et al. Learning from simulation: An end-to-end deep-learning approach for computational ghost imaging [J]. Optics Express, 2019, 27(18): 25560-25572. doi: 10.1364/OE.27.025560 [15] Rizvi S, Cao J, Zhang K, et al. Deringing and denoising in extremely under-sampled fourier single pixel imaging [J]. Optics Express, 2020, 28(5): 7360-7374. doi: 10.1364/OE.385233 [16] Bhardwaj K, Milosavljevic M, Chalfin A, et al. Collapsible linear blocks for super-efficient super resolution[DB/OL]. (2021-03-17) [2022-08-26]. https://arxiv.org/abs/2103.09404v1. -
点击查看大图
图(7) / 表(1)
计量
- 文章访问数: 159
- HTML全文浏览量: 37
- PDF下载量: 35
- 被引次数: 0
