首页
登录
注册
-
在显微成像领域，许多细胞样本呈无色透明状态，传统的明/暗场显微成像技术无法获取样本的3维信息[1-2]。荧光染色虽然可以提高对比度，但可能对活细胞造成不可逆的损害[3]。研究发现利用光波穿过样品时产生的相位延迟，可以反映出细胞的结构和厚度等信息。但由于光波振动频率太高，人眼和现有的图像传感器无法直接捕获相位，因此，相位显微成像的研究显得尤其重要[4]。尽管相衬和微分干涉显微术能通过相位延迟获取细胞结构，但它们无法提供细胞厚度等定量信息[5-6]。数字全息等干涉方法可以定量分析相位，但需要高度相干的光源和复杂的干涉设备，这可能引入散斑噪声的干扰。光强传输方程（TIE）则通过利用强度与待求相位之间的非线性关系，从强度中反演出相位。这种方法无需迭代和复杂的干涉装置，计算简单，无需相位解包裹，适用于完全相干与部分相干光场，在透明样本的3维重建中展示出显著的优势[7-8]。
近年来，TIE方程得到了广泛的研究与应用。张赵[9]通过电控变焦透镜获取多张离焦图像，结合快速傅里叶变换实现活细胞定量相位成像。Cheng Hong等人[10]提出了一种基于双波长照明的TIE相位展开算法，以提高绝对相位的计算精度。Grant S D等[11]利用3D打印设计了一种低成本、便携的TIE设备进行藻类研究，该设备大幅降低了研究成本。但这些方法依赖于高成本的光学设备或多离焦的采集方式，这会影响系统的速度和精度，且都构建了完整的光学系统，如能将相位恢复功能嵌入现有的传统显微镜，将极大扩展应用场景。Chen Chao等[12]设计了一种双目式小型相位成像相机用于研究活细胞，只需采集2张离焦图像即可实现相位恢复，设备结构简单，且可兼容传统显微镜。但是其采用的离焦距离是固定不变的，改变离焦距离可以提供更多的空间频率信息进而改善相位恢复效果[13-14]，并且缺乏自动对焦功能会影响采集图像的清晰度。针对上述问题，本文基于TIE相位恢复设计了一款采用3D打印的透明样本3维重建系统。该系统优化了传统光学结构，仅需一条携带样品信息的光路输入，可以与传统显微成像系统配合使用；利用步进电机控制双目相机精确离焦，并嵌入自动对焦和视场配准算法，仅需同时采集2张离焦图像便可进行相位恢复从而实现3维重建。
-
TIE方程是在傍轴近似下利用Helmholtz方程获得，如式（1）所示，可以描述平行于轴方向的强度的变化与垂直于轴平面的相位分布之间的定量关系[15]。
式中：
$2\pi /\lambda $ 为波数；I是对焦图像的强度，$ \partial I/\partial {\textit{z}} $ 为强度沿z轴的变化梯度，$ {\nabla _ \bot } $ 为作用在$(x,y)$ 平面的梯度算子，$ \varphi $ 即为所要求的相位分布。由式（1）可知，变化梯度$ \partial I/\partial {\textit{z}} $ 为自变量，可通过沿光轴方向的两张离焦图像求差分来近似替代，如式（2）所示。式中：
${I_1}$ 为过焦图像强度，${I_2}$ 为欠焦图像强度，$\Delta {\textit{z}}$ 为离焦距离。因此仅需获取相同离焦距离的过焦和欠焦图像作为输入，采用基于快速傅里叶变换（FFT）的求解方法计算相位，最后根据所求相位差值进行3维重建。其流程如图1所示。其中，$\psi $ 为通过傅里叶变换的微分特性推算得到的辅助函数，$(u,v)$ 为空间坐标$(x,y)$ 对应的频谱单位坐标。 -
当携带样品信息的光路输入后，由分光棱镜一分为二，采用两个步进电机托载双目相机芯片精准采集离焦图像。随后将图像传输到PC机的相位恢复软件中进行相位求解，获得样本的相位分布。系统的基本原理如图2所示。
基于相位恢复的透明样本3维重建系统包括3维重建成像平台和相位恢复软件两部分。其详细组成如图3所示。
-
（1）光路分束模块。为简化系统结构、缩小体积、减少光传播过程中的损耗，本文采用了一块分光比为1∶1、波长范围为400～700 nm、半透半反射的分光棱镜对光路作处理，使系统能够同时采集两张离焦图像，其实物与光路原理如图4（a）所示。
（2）离焦图像采集模块。相比于CCD，CMOS具有体积小、成本低、功耗小、传输速率快的特点，且系统需要双目式成像。因此本文选用大恒图像的金星系列CMOS，分辨率高且价格低。其实物图如图4（b）所示，其具体参数如表1所示。
（3）离焦距离控制模块。本文选用小型20步进电机滑台控制离焦距离，其步距角为18 °，螺距为0.5 mm，其自身精度可以达到0.025 mm。为提高离焦精度，本文采用TMC2225细分驱动器弥补电机自身精度的不足，最高可以实现32细分，精度可以达到μm级。通过微控制器和自主设计的PCB板进行控制，采用5 V供电，其实物如图4（c）所示。
（4）机械结构模块。本文通过NX12.0自主设计机械结构，由3D打印制作，采用微型精密滚珠导轨防止CMOS移动过程中产生倾斜，减小体积的同时保证了良好的稳定性。其3维模型和装配好的实物如图4（d）所示。
-
本文基于Opencv4.6.0、PyQt5以及大恒图像配套SDK开发相位恢复软件，其界面和工作流程如图5所示。
（1）相机控制模块。结合大恒图像的SDK包，可以实现设备扫描、打开/关闭相机、图像预览等功能。同时还可以通过调节曝光率、CMOS增益等相机参数提高图像质量。
（2）对焦及通信模块。本模块通过串口实现软件对电机的控制，嵌入了基于Laplace清晰度评价函数和变步长搜索的自动对焦算法。在工作时首先将两个电机位置初始化，随后控制x轴电机托载CMOS变步长移动，每成功移动一次就采集一次图像进行清晰度评价，直到找出清晰度峰值的位置作为对焦位置，随后将y轴电机移动至相同位置。最后将2个电机前后移动相同的离焦量，即可获取两张清晰的离焦图像。
（3）视场配准模块。在机械结构设计及硬件装配时会出现一定的误差，导致双目相机的视场产生旋转、平移偏差。本模块结合了基于互相关的视场配准算法，其配准效果如图6所示。在配准前红框细节区域可以明显观察到视场存在细微偏差，通过计算2张图像的互相关值并多次迭代，进而找到最佳匹配位置，得到仿射变换矩阵，配准后经过裁剪即可得到视场一致的离焦图像，由配准后的红框细节区域可以看出。
（4）相位恢复模块。本模块可进行光强传输方程求解获得相位图像进而根据相位差值获得3维重建图。
-
本文系统测试及实验由大恒光学实验台辅助验证，使用中心波长为633 nm的红光光源为系统提供带有样本信息的前置光路。测试及实验分为分辨率及相位恢复精确度测试、人体血细胞观测实验以及载玻片划痕观测实验。
-
通过USAF1951分辨率板测试系统的成像分辨率。在10倍物镜下，双目相机两侧均可以清晰观测到第7组的第5号线，如图7（a）所示，由分辨率表可得其分辨率可以达到2.46 μm。系统误差的存在会阻碍达到最佳分辨率，但对于低成本成像系统而言，其性能已满足需求。
通过随机相位板进行系统相位恢复精确度测试，用10倍物镜对随机相位板进行0.5 mm离焦的相位恢复，采集的离焦图像如图7（b）所示，经过视场配准、TIE求解后的相位图像及感兴趣部分z轴切面曲线如图7（c）所示。由于随机相位板阶梯差近似600 nm，与光源的波长相当，因此其阶梯相位差预期接近
${\text{π}}$ 。画出感兴趣部分的z轴切面曲线可以得出本系统对随机相位板相位恢复的相位差也在${\text{π}}$ 左右，呈阶梯二进制分布，符合预期。需要指出的是，TIE相位恢复本质上为一种近似方法，其精确度还会受到噪声、视场配准误差以及离焦距离不准的影响。根据测试结果，系统已经可以满足相位恢复使用。 -
本实验在10倍物镜下对人体血液涂片进行相位恢复以及3维重建。图8（a）为双目相机采集到的原始血细胞离焦1 mm图像，左侧为过焦图像，右侧为欠焦图像。对原始图像进行旋转、配准、裁剪后可以得到两张视场一致的离焦图像，如图8（b）、（c）所示。最后通过求解光强传输方程得到相位图像如图8（e）所示。通过3维重建图可以清晰观察到人体红细胞独特的中心凹陷结构以及定量的相位差分布如图8（f）所示。结果表明本文系统可以让传统显微成像系统获得更好的生物细胞观测效果，可获取更多细胞细节信息，且不需要任何侵入式操作。
-
在生物实验中，常见的载玻片磕碰和划痕会引入实验干扰，这些细微损伤往往难以通过传统显微镜进行识别。本实验在10倍物镜下对载玻片划痕进行离焦1 mm相位恢复与3维重建，如图9所示。3维重建的结果显示，划痕区域存在明显的凹陷和玻璃结构损伤。这表明本文系统不仅能让传统显微成像系统有效识别生物实验中的干扰因素，还可以扩展传统显微镜的领域。将其应用于工业缺陷检测，能够提供更高的精确度和更深入的细节分析，从而更有效地识别和评估透明工业产品中的微小缺陷。
-
本文基于TIE相位恢复设计一款低成本的透明样本3维重建系统，采用3D打印制作，结构紧凑，体积仅为110 mm×110 mm×60 mm。简化了光学结构，仅需一条携带样品信息的光路输入，可以搭配传统显微成像系统使之具备相位恢复以及3维重建的功能。开发了一套相位恢复软件来实现实时预览、图像采集以及电机控制，同时结合了自动对焦算法和视场配准算法以实现高质量的相位恢复。通过分辨率测试、人体血细胞和载玻片划痕观测实验验证可行性。实验结果表明，本文系统不仅可以清晰成像，还可以定量获得透明样本的相位分布以及3维形貌，让传统显微成像系统的观察效果有了很大的提升。
基于相位恢复的透明样本3维重建系统
Three-dimensional reconstruction system for transparent samples based on phase retrieval
-
摘要: 为解决传统显微成像技术难以获取无色透明样本结构和厚度的问题，设计了一款小型透明样本3维重建系统。该系统通过对透明样本进行相位恢复，实现3维重建。系统的设计突破了传统光学结构，只需输入携带样本信息的光线，经过分光棱镜分成两路，终由双目相机捕获。系统使用3D打印制作，尺寸仅为110 mm×110 mm×60 mm，成本低廉，并可与传统显微成像设备配合使用。系统内置自动对焦和视场配准算法，只需采集1张过焦和1张欠焦图像，通过求解光强传输方程便可进行相位恢复，从而实现透明样本的3维重建。测试结果显示，10倍物镜下系统的成像分辨率可达2.46 μm，同时相位恢复精确度也能达到基本要求。系统成功对血细胞和载玻片划痕进行了3维重建，证明了系统的可行性与实用性。Abstract: In response to the difficulties posed by traditional microscopy imaging techniques in capturing the structure and thickness of colorless transparent samples, we have designed a miniature three-dimensional reconstruction system for such samples. This innovative system, breaking away from traditional optical structures, performs phase retrieval on transparent samples to achieve three-dimensional reconstruction. It requires only light carrying sample information, which is then bifurcated by a spectroscope and captured by a stereo camera. Constructed using 3D printing technology, the compact system measures just 110 mm×110 mm×60 mm, offering a cost-effective solution that is also compatible with traditional microscopy imaging equipment. It incorporates autofocus and field of view correction algorithms, which, by collecting one over-focused and one under-focused image, solve the transport intensity equation to enable phase retrieval and hence the three-dimensional reconstruction of transparent samples. Test results have shown that the system can achieve an imaging resolution of 2.46 μm under a 10× objective lens, and the phase recovery accuracy can also meet the basic requirements. Furthermore, the successful three-dimensional reconstruction of blood cells and scratches on microscope slides validates the system's feasibility and practicality.
-
-
表 1 CMOS相机参数表
Table 1. CMOS camera parameters
model transmission mode resolution frames/Hz pixel dimension/(μm×μm) VEN-134-90U3M-D USB3.0 1280 ×1024 ×290 4.8×4.8 
下载: 导出CSV
-
[1] 左超, 陈钱. 计算光学成像: 何来, 何处, 何去, 何从?[J]. 红外与激光工程, 2022, 51:20220110 doi: 10.3788/IRLA20220110 Zuo Chao, Chen Qian. Computational optical imaging: an overview[J]. Infrared and Laser Engineering, 2022, 51: 20220110 doi: 10.3788/IRLA20220110 [2] Jiang Fuda, Zhang Chonglei. High accuracy quantitative phase imaging based on transport-of-intensity equation[J]. Optics and Lasers in Engineering, 2023, 169: 107700. doi: 10.1016/j.optlaseng.2023.107700 [3] Park Y, Depeursinge C, Popescu G. Quantitative phase imaging in biomedicine[J]. Nature Photonics, 2018, 12(10): 578-589. doi: 10.1038/s41566-018-0253-x [4] Zuo Chao, Li Jiaji, Sun Jiasong, et al. Transport of intensity equation: a tutorial[J]. Optics and Lasers in Engineering, 2020, 135: 106187. doi: 10.1016/j.optlaseng.2020.106187 [5] 何璇. 明场、暗场、相衬的多模显微镜成像技术研究[D]. 成都: 电子科技大学, 2017 He Xuan. Research on multi-mode microscopy imaging technology of brightfield, darkfield, phase contrast[D]. Chengdu: University of Electronic Science and Technology of China, 2017 [6] Trattner S, Kashdan E, Feigin M, et al. Image formation of thick three-dimensional objects in differential-interference-contrast microscopy[J]. Journal of the Optical Society of America A, 2014, 31(5): 968-980. doi: 10.1364/JOSAA.31.000968 [7] 左超, 陈钱, 孙佳嵩, 等. 基于光强传输方程的非干涉相位恢复与定量相位显微成像: 文献综述与最新进展[J]. 中国激光, 2016, 43:0609002 doi: 10.3788/CJL201643.0609002 Zuo Chao, Chen Qian, Sun Jiasong, et al. Non-interferometric phase retrieval and quantitative phase microscopy based on transport of intensity equation: a review[J]. Chinese Journal of Lasers, 2016, 43: 0609002 doi: 10.3788/CJL201643.0609002 [8] 桂博瀚, 李常伟. 基于波面分割及多平面相位恢复的定量相位成像技术[J]. 光学学报, 2023, 43:1411002 doi: 10.3788/AOS230451 Gui Bohan, Li Changwei. Quantitative phase imaging technology based on wavefront segmentation and multiplane phase retrieval[J]. Acta Optica Sinica, 2023, 43: 1411002 doi: 10.3788/AOS230451 [9] 张赵. 基于光强传输方程的相位恢复与多模式成像研究[D]. 南京: 南京理工大学, 2017 Zhang Zhao. Phase retrieval and multi-mode imaging based on light intensity transfer equation[D]. Nanjing: University of Nanjing University of Science and Technology, 2017 [10] Cheng Hong, Wang Jincheng, Gao Yaoli, et al. Phase unwrapping based on transport-of-intensity equation with two wavelengths[J]. Optical Engineering, 2019, 58: 054103. [11] Grant S D, Richford K, Burdett H L, et al. Low-cost, open-access quantitative phase imaging of algal cells using the transport of intensity equation[J]. Royal Society Open Science, 2020, 7: 191921. doi: 10.1098/rsos.191921 [12] Chen Chao, Lu Y Yunan, Huang Huachuan, et al. PhaseRMiC: phase real-time microscope camera for live cell imaging[J]. Biomedical Optics Express, 2021, 12(8): 5261-5271. doi: 10.1364/BOE.430115 [13] Liu Cheng, Wang Shouyu, Veetil S P. Computational optical phase imaging[M]. Singapore: Springer, 2022. [14] Carney S, Khoo T C, Sheikhsofla A, et al. Quantitative phase imaging comparison of digital holographic microscopy and transport of intensity equation phase through simultaneous measurements of live cells[J]. Optics and Lasers in Engineering, 2023, 166: 107581. doi: 10.1016/j.optlaseng.2023.107581 [15] Wang Shouyu, Huang Huachuan, Sun Aihui, et al. Dual-view transport of intensity phase imaging devices for quantitative phase microscopy applications[J]. Sensors & Diagnostics, 2024, 3(3): 381-394. -
图( 9) 表( 1)
计量
- 文章访问数: 611
- HTML全文浏览数: 611
- PDF下载数: 3
- 施引文献: 0