高级搜索

平场复用多焦点结构光照明超分辨显微成像

,  ,  ,  ,  ,  , 

downloadPDF

上一篇

下一篇

葛阳阳, 何灼奋, 黄黎琳, 林丹樱, 曹慧群, 屈军乐, 于斌. 平场复用多焦点结构光照明超分辨显微成像[J]. 物理学报, 2022, 71(4): 048704-1. doi: 10.7498/aps.71.20211712
引用本文: 葛阳阳, 何灼奋, 黄黎琳, 林丹樱, 曹慧群, 屈军乐, 于斌. 平场复用多焦点结构光照明超分辨显微成像[J]. 物理学报, 2022, 71(4): 048704-1. doi: 10.7498/aps.71.20211712
shu
Yang-Yang Ge, Zhuo-Fen He, Li-Lin Huang, Dan-Ying Lin, Hui-Qun Cao, Jun-Le Qu, Bin Yu. Flat-field multiplexed multifocal structured illumination super-resolution microscopy[J]. Acta Physica Sinica, 2022, 71(4): 048704-1. doi: 10.7498/aps.71.20211712
Citation: Yang-Yang Ge, Zhuo-Fen He, Li-Lin Huang, Dan-Ying Lin, Hui-Qun Cao, Jun-Le Qu, Bin Yu. Flat-field multiplexed multifocal structured illumination super-resolution microscopy[J]. Acta Physica Sinica, 2022, 71(4): 048704-1. doi: 10.7498/aps.71.20211712
shu

平场复用多焦点结构光照明超分辨显微成像

  • 1.

    深圳大学物理与光电工程学院, 光电子器件与系统教育部/广东省重点实验室, 深圳　518060

  • 2.

    深圳大学化学与环境工程学院, 深圳　518060

    • 通讯作者: E-mail: yubin@szu.edu.cn

  • 中图分类号: 87.64.M-, 87.64.kv, 42.30.-d, 87.85.Pq

Flat-field multiplexed multifocal structured illumination super-resolution microscopy

  • 1.

    Key Laboratory of Optoelectronic Devices and Systems, Ministry of Education and Guangdong Province, College of Physics and Optoelectronic Engineering, Shenzhen University, Shenzhen 518060, China

  • 2.

    College of Chemistry and Environmental Engineering, Shenzhen University, Shenzhen 518060, China

    • Corresponding author: E-mail:yubin@szu.edu.cn

  • MSC: 87.64.M-, 87.64.kv, 42.30.-d, 87.85.Pq

  • 摘要: 多焦点结构光照明显微技术(multifocal structured illumination microscopy, MSIM)能在50 μm的成像深度内和1Hz的成像速度下实现两倍于衍射极限分辨率的提升, 相比传统的宽场结构光照明显微技术, 具有较大的成像深度和层析能力, 更适合应用于厚样品的长时程三维超分辨成像. 然而, MSIM存在成像速度慢、图像处理过程复杂等问题. 本文提出了一种基于平场复用多焦点结构光照明的快速超分辨显微成像方法和系统(flat-field multiplexed MSIM, FM-MSIM), 通过在照明光路中插入光束整形器件, 将高斯光束转变为均为分布的平顶光束, 提高激发点阵的强度均匀性和扩大视场; 通过将每个衍射受限的激发点沿y方向延长, 形成新的多路复用多焦点阵照明图案, 提高能量利用率, 减少扫描步数, 进而提高成像速度和信噪比; 结合基于多重测量矢量模型的稀疏贝叶斯学习图像重构算法, 简化图像重构步骤, 在保证空间分辨率的同时实现至少4倍于传统MSIM的成像速度. 在此基础上, 利用搭建的FM-MSIM系统进行了BSC细胞微管样片和小鼠肾切片标准样片的超分辨成像实验, 实验结果证明了该系统的快速三维超分辨成像能力, 对于MSIM的发展具有重要的意义.
    Abstract: Multifocal structured illumination microscopy (MSIM) can achieve optically sectioned images with twice the diffraction limited resolution at an imaging speed of 1 Hz and an imaging depth of up to 50 μm. Compared with the traditional wide-field SIM, the MSIM has greater imaging depth and optical sectionning ability, and it is more suitable for long-term three-dimensional (3D) super-resolution imaging of living thick samples. However, the MSIM has some problems, such as slow imaging speed and complex image post-processing process. In this work, a fast super-resolution imaging method and system based on the flat-field multiplexed MSIM (FM-MSIM) is proposed. By inserting a beam shaping device into the illumination light path, the Gaussian beam is reshaped into a uniform flat-top profile, thereby improving the intensity uniformity of excitation multi-spot focal array and expanding the field of view. By elongating each diffraction limited excitation focal point four times along the Y direction to form a new multiplexed multifocal array pattern, the number of scanning steps is reduced, the energy utilization is improved, and then the imaging speed and signal-to-noise ratio are improved. Combined with the sparse Bayesian learning image reconstruction algorithm based on multiple measurement vector model, the image reconstruction steps are simplified, the imaging speed can be improved at least 4 times while ensuring the spatial resolution of MSIM. On this basis, the established FM-MSIM system is used to carry out the super-resolution imaging experiments on the BSC cell microtubule samples and mouse kidney slices. The experimental results prove the fast three-dimensional super-resolution imaging ability of the system, which is of great significance in developing the fast MSIM.
  • 加载中

  • 图 1  FM-MSIM系统光路示意图

    Figure 1.  Schematic diagram of FM-MSIM system.

    下载: 全尺寸图片 幻灯片

    图 2  平场照明实验表征　(a)无光束整形器的罗丹明均匀溶液宽场成像; (b)有光束整形器的罗丹明均匀溶液宽场成像; (c)图(a)和图(b)中蓝色虚线部分布归一化强度轮廓图; (d)无光束整形器的激发点阵; (e)有光束整形器的激发点阵

    Figure 2.  Experimental characterization of flat-field illumination: (a) Wide field imaging of uniform Rhodamine 6 G solution without a beam shaper; (b) wide field imaging of uniform Rhodamine 6 G solution with a beam shaper; (c) normalized intensity fitting profiles along blue dotted line in panel (a) and panel (b); (d) a multifocal excitation pattern without a beam shaper; (e) a multifocal excitation pattern with a beam shaper.

    下载: 全尺寸图片 幻灯片

    图 3  复用多焦点照明原理图　(a) 4 × 1激发点阵扫描原理图; (b) 1 × 1激发点阵扫描原理图; (c)复用的多焦点激发罗丹明均匀染料样品荧光图像

    Figure 3.  Schematic diagram of multiplexed multifocal excitation illumination: (a) Schematic diagram of 4 × 1 excitation spot array scanning; (b) schematic diagram of 1 × 1 excitation spot array scanning; (c) fluorescece image of the excitation foci in a uniform solution of Rhodamine 6G at the sample plane.

    下载: 全尺寸图片 幻灯片

    图 4  原始数据与系统PSF转换为矩阵形式的过程　(a) FM-MSIM点阵数据转换为矩阵Y; (b)系统PSF转换为矩阵H

    Figure 4.  Process of converting raw images and system PSF into matrix form: (a) FM-MSIM multifocal patterns data is converted to matrix Y; (b) System PSF is converted to matrix H.

    下载: 全尺寸图片 幻灯片

    图 5  FM-MSIM 分辨率标定　(a)减去背景噪声的宽场微管图像; (b) 1 × 1点扫模板的MSBL重构图像; (c) 4 × 1点扫模板的MSBL重构图像; (d)蓝色实线处微管强度轮廓线; (e) 白色实线处微管强度轮廓线

    Figure 5.  Resolution in FM-MSIM: (a) Wide field image of microtubule in BSCs labeled with Alexa Fluor 488 phalloidin by subtracting background noise; (b) MSBL reconstructed image of 1 × 1 point scan mode; (c) MSBL reconstructed image of 4 × 1 point scan mode; (d) plots of intensity along blue solid line in panels (a)–(c); (e) plots of intensity along white solid line in panels (a)–(c).

    下载: 全尺寸图片 幻灯片

    图 6  小鼠肾切片不同轴向位置(z = 0, 3 , 6 μm)处的图像: (a)—(c)宽场图像; (d)—(f)MSBL重构图像; (g)图(a)和图(d)中蓝色虚线处的归一化强度分布轮廓曲线; (h) 图(b)和图(e)相同位置处归一化强度分布轮廓曲线; (i)图(c)和图(f)相同位置处归一化强度分布轮廓曲线

    Figure 6.  Images of mouse kidney section at different axial positions(z = 0, 3 and 6 μm): (a)–(c) Wide field images; (d)–(f) MSBL reconstruction images; (g) normalized intensity distribution profiles along the blue dotted line in panel (a) and panel (d); (h) normalized intensity distribution profiles along the same position in panel (b) and panel (e); (i) normalized intensity distribution profiles along the same position in panel (c) and panel (f).

    下载: 全尺寸图片 幻灯片
  • [1] Hell S W, Wichmann J 1994 Opt. Lett. 19 780 doi: 10.1364/OL.19.000780
    [2] Klar T A, Jakobs S, Dyba M, Egner A, Hell S W 2000 Proc. Natl. Acad. Sci. U. S. A. 97 8206 doi: 10.1073/pnas.97.15.8206
    [3] Willig K I, Harke B, Medda R, Hell S W 2007 Nat. Methods 4 915 doi: 10.1038/nmeth1108
    [4] Rust M J, Bates M, Zhuang X 2006 Nat. Methods 3 793 doi: 10.1038/nmeth929
    [5] Betzig E, Patterson G H, Sougrat R, Lindwasser O W, Olenych S, Bonifacino J S, Davidson M W, Lippincott-Schwartz J, Hess H F 2006 Science 313 1642 doi: 10.1126/science.1127344
    [6] Gustafsson M G L 2000 J. Microsc. 198 82 doi: 10.1046/j.1365-2818.2000.00710.x
    [7] Gustafsson M G L 2005 Proc. Natl. Acad. Sci. U. S. A. 102 13081 doi: 10.1073/pnas.0406877102
    [8] Gustafsson M G L, Shao L, Carlton P M, Wang C J, Golubovskaya I N, Cande W Z, Agard D A, Sedat J W 2008 Biophys. J. 94 4957 doi: 10.1529/biophysj.107.120345
    [9] Huang X, Fan J, Li L, Liu H, Wu R, Wu Y, Wei L, Mao H, Lal A, Xi P, Tang L, Zhang Y, Liu Y, Tan S, Chen L 2018 Nat. Biotechnol. 36 451 doi: 10.1038/nbt.4115
    [10] Guo Y, Li D, Zhang S, Yang Y, Liu J J, Wang X, Liu C, Milkie D E, Moore R P, Tulu U S, Kiehart D P, Hu J, Lippincott-Schwartz J, Betzig E, Li D 2018 Cell 175 1430 doi: 10.1016/j.cell.2018.09.057
    [11] Muller C B, Enderlein J 2010 Phys. Rev. Lett. 104 198101 doi: 10.1103/PhysRevLett.104.198101
    [12] York A G, Parekh S H, Dalle Nogare D, Fischer R S, Temprine K, Mione M, Chitnis A B, Combs C A, Shroff H 2012 Nat. Methods 9 749 doi: 10.1038/nmeth.2025
    [13] Schulz O, Pieper C, Clever M, Pfaff J, Ruhlandt A, Kehlenbach R H, Wouters F S, Grosshans J, Bunt G, Enderlein J 2013 Proc. Natl. Acad. Sci. U. S. A. 110 21000 doi: 10.1073/pnas.1315858110
    [14] York A G, Chandris P, Nogare D D, Head J, Wawrzusin P, Fischer R S, Chitnis A, Shroff H 2013 Nat. Methods 10 1122 doi: 10.1038/nmeth.2687
    [15] De Luca G M, Breedijk R M, Brandt R A, Zeelenberg C H, de Jong B E, Timmermans W, Azar L N, Hoebe R A, Stallinga S, Manders E M 2013 Biomed. Opt. Express 4 2644 doi: 10.1364/BOE.4.002644
    [16] Roth S, Heintzmann R 2016 Methods Appl. Fluoresc. 4 045005 doi: 10.1088/2050-6120/4/4/045005
    [17] Wu J J, Li S W, Cao H Q, Lin D Y, Yu B, Qu J L 2018 Opt. Express 26 31430 doi: 10.1364/OE.26.031430
  • 加载中
图( 6)
计量
  • 文章访问数:  391
  • HTML全文浏览数:  391
  • PDF下载数:  1
  • 施引文献:  0
出版历程
  • 收稿日期:  2021-09-14
  • 刊出日期:  2022-02-20

平场复用多焦点结构光照明超分辨显微成像

    通讯作者: E-mail: yubin@szu.edu.cn
  • 1. 深圳大学物理与光电工程学院, 光电子器件与系统教育部/广东省重点实验室, 深圳　518060
  • 2. 深圳大学化学与环境工程学院, 深圳　518060
  • 收稿日期:  2021-09-14

摘要: 多焦点结构光照明显微技术(multifocal structured illumination microscopy, MSIM)能在50 μm的成像深度内和1Hz的成像速度下实现两倍于衍射极限分辨率的提升, 相比传统的宽场结构光照明显微技术, 具有较大的成像深度和层析能力, 更适合应用于厚样品的长时程三维超分辨成像. 然而, MSIM存在成像速度慢、图像处理过程复杂等问题. 本文提出了一种基于平场复用多焦点结构光照明的快速超分辨显微成像方法和系统(flat-field multiplexed MSIM, FM-MSIM), 通过在照明光路中插入光束整形器件, 将高斯光束转变为均为分布的平顶光束, 提高激发点阵的强度均匀性和扩大视场; 通过将每个衍射受限的激发点沿y方向延长, 形成新的多路复用多焦点阵照明图案, 提高能量利用率, 减少扫描步数, 进而提高成像速度和信噪比; 结合基于多重测量矢量模型的稀疏贝叶斯学习图像重构算法, 简化图像重构步骤, 在保证空间分辨率的同时实现至少4倍于传统MSIM的成像速度. 在此基础上, 利用搭建的FM-MSIM系统进行了BSC细胞微管样片和小鼠肾切片标准样片的超分辨成像实验, 实验结果证明了该系统的快速三维超分辨成像能力, 对于MSIM的发展具有重要的意义.

English Abstract

    全文HTML

    1.   引　言

    • 近年来, 超分辨荧光显微成像技术(super-resolution fluorescence microscopy, SRFM)蓬勃发展, 突破了光学衍射极限的限制, 能够以纳米尺度的空间分辨率观察到细胞内的精细结构和动态过程, 已成为生命科学等领域重要的研究工具, 极大地推动了生命科学等诸多领域的发展.

      目前, SRFM主要可以分为受激发射损耗(stimulated emission depletion, STED)显微技术[1-3]、单分子定位显微术(single molecule localization microscopy, SMLM)[4,5]和结构光照明显微技术(structured illumination microscopy , SIM)[6-10]3类技术. STED的空间分辨率通常在60—100 nm的数量级, 由于其采用点扫描的成像方式, 可实现数十微米成像深度的超高分辨率成像. 但是, 其成像速度与观察样品区域大小成反比关系, 而且需要特定的荧光标记及高能量的损耗光, 光漂白和光毒性大, 难以用于研究较大的活体生物样本. SMLM技术如随机光学重构显微技术[4]和光激活定位显微技术[5], 虽然可实现横向10—30 nm、纵向20—50 nm空间分辨率的宽场成像, 但通常需要采集数千甚至数万幅单分子荧光图片来获得一幅超分辨图像, 成像速度慢, 成像深度一般在几个微米, 而且还受到光开关荧光探针标记的限制, 不适合活体厚样品的超分辨成像. 传统宽场SIM利用线性光栅结构光照明, 实现了横向100—120 nm、纵向200 nm左右空间分辨率的宽场、快速成像, 三维成像时间分辨率远高于SMLM, 可达1 Hz[6], 而且需要的光照剂量很小, 不需要特殊的荧光蛋白, 避免了对样品的损伤和干扰, 更适合活细胞成像过程观测. 新出现的海森结构光照明显微[9]和掠入射结构光超分辨显微技术进一步提高了SIM时空分辨率, 实现了优于100 nm分辨率的长时程、快速超分辨成像, 帧频达到200 fps左右, 但成像深度仍然有限. 目前, 宽场SIM成像深度一般在20 μm以内, 无法对深层组织进行超分辨成像, 主要原因在于宽场照明光容易受到样品不均匀性和散射作用的影响. 为了进一步提升SIM的成像深度, 2010年, Müller 和 Enderlein[11]提出了一种新型点扫描结构光照明显微术, 命名为图像扫描显微(image scanning microscopy, ISM), 它用阵列探测器代替传统的共焦显微镜的点探测器, 利用数字像素重定位后续图像处理技术, 在保持高信噪比的同时将成像分辨率提升至宽场照明成像的1.63倍. 然而, 由于受到EMCCD相机帧频的限制, ISM获取一个2 μm×2 μm的样品信息需要花费25 s的成像时间, 极大限制了其应用. 为了解决这一问题, 2012年York等[12]提出了多焦点结构光照明显微技术(multifocal structured illumination microscopy, MSIM), 采用高速数字微反射镜器件 (digital micromirror device, DMD)同时实现多焦点结构光的产生和扫描, 通过数字像素重定位和解卷积技术进行超分辨图像重构, 实现了在成像深度50 μm内的横向约145 nm、轴向约400 nm的空间分辨率和1 Hz时间分辨率的三维超分辨成像, 为活体厚样品的超分辨成像提供了强有力的工具. 2013年, Schulz等[13]提出了基于转盘式共聚焦显微镜的ISM, 其成像处理步骤与MSIM基本一致, 但光学系统相对复杂. 德国Zeiss公司于2014年起, 在共聚焦显微镜的基础上, 推出了多种型号的基于Airyscan探测器的ISM, 成像速度和信噪比获得很大的提升. 随后, 研究人员为了进一步提高ISM的成像速度、简化后续图像处理过程, 发展了多种基于光学像素重定位技术的ISM, 如瞬时结构光照明超分辨显微[14]、二次扫描共聚焦显微[15]和光学光子再分配显微[16]等. 虽然, 这些系统不依赖于后期的像素重定位技术来实现超分辨, 但光学扫描系统复杂, 光路准直要求高, 不便于实际操作和应用. 因此, ISM显微技术在成像速度、成像深度和功能上仍有很大的提升空间.

      综上, 研究和开发新型ISM系统和方法, 进一步提升其性能, 使其更适用于活体厚样品的快速三维高分辨成像, 对于生命科学和生物医学等领域的研究具有重要的意义. 本课题组在前期的研究工作中, 提出基于多重测量矢量模型的稀疏贝叶斯学习(multiple measurement vector sparse bayesian learning, MSBL)的MSIM图像重构算法(MSIMMSBL)[17], 不需要估计多焦点的空间位置信息, 将重建过程视为多重探测矢量的重建问题, 简化了处理步骤, 并进一步提高了MSIM的空间分辨率. 在前期工作基础上, 为了进一步提高MSIM的分辨率、成像速度和信噪比, 本文提出了一种平场复用的多焦点结构光照明显微成像方法(flat-field multiplexed MSIM, FM-MSIM)和系统, 通过在照明光路中引入光束整形器件, 将高斯光束转变为平顶光束, 获得成像视场内更加均匀的激发点阵, 提高系统分辨率; 通过设计新的“4 × 1”多像素复用多焦点照明模式, 采集的点阵源图像仅为MSIM中所采用“1 × 1”单像素多焦点照明模式的1/4, 大大提高了MSIM的成像速度和信噪比; 结合 MSBL进行超分辨图像处理, 得到约2倍于宽场显微分辨率的提升. 设计和搭建了FM-MSIM系统, 开展了细胞微管样片和小鼠肾切片标准样片的超分辨显微成像实验, 验证了系统的分辨率和视场; 编制了MSBL图像重构程序, 实现了厚样品的超分辨三维图像重构. 实验结果证明了系统同时提升了MSIM的时空分辨率和信噪比, 为MSIM发展及其在活体厚样品快速高分辨成像方面的应用提供了理论和技术基础.

    2.   FM-MSIM系统与方法

      2.1.   系统设计与搭建

    • 所搭建的FM-MSIM系统光路如图1所示. 首先, 一台功率为200 mW, 波长为488 nm的固体激光器(Sapphire 488-200CW CDRH , 相干, 美国)发出的激光束经过一个由透镜L1 (f1 = 10 mm)和L2组成的4f系统 (f2 = 75 mm)将光束直径扩大到原来直径的7.5倍; 然后, 经一个光束整形器BeamShaper (TopShape, TSM25-10-D-D-355, Asphericon Inc. 美国)将高斯光束转化为平场光束; 平场光束与DMD面板法线呈24°角照射在DMD光学面上, 并被‘on’状态的微镜反射进入由透镜L3 (f3 = 75 mm)和L4 (f4 = 75 mm)组成的4f滤波系统, 在其频谱平面上放置一个可调式针孔光阑来阻挡DMD的多余衍射级的反射光, 以免产生杂散光干扰. 经DMD调控的反射光束会聚在4f滤波系统中透镜L4的后焦面上形成稀疏的激发点阵, 并且其位置与管镜TL1 (fTL1 = 300 mm)前焦面重合, 确保DMD的光学反射面与管镜的前焦面共轭, 激发滤光片F1放置在管径TL1后面用来防止杂散光进入显微镜; 最终, 激发点阵经过由管镜TL1和物镜(60×, NA = 1.27, 尼康, 日本)构成的显微系统,尺寸缩小为原来的1/90后成像到样品面上并形成最终的激发模式. 样品经激发后发出的荧光经同一个物镜、双色片和发射滤光片F2后, 再经成像管镜TL2 (fTL2 = 200 mm)成像到高灵敏度sCMOS相机(ORCA-Fusion BT, 像素数2304 × 2304, 像素尺寸6.5 μm × 6.5 μm, 滨松, 日本)上. 实验中, DMD面板的像素数为1024 × 768, 每个像素尺寸大小为10.8 μm × 10.8 μm, 经光学系统缩小为原来的1/90后, 其在样品面上的对应大小为120 nm × 120 nm. 在FM-MSIM数据采集过程中, 为了实现扫描和数据采集的同步, 使用Labview软件通过采集卡(NI USB-6363, 美国)分别控制DMD、三维纳米位移台 (E545, PI, 德国)和sCMOS相机.

      • 2.2.   平场照明

    • 在FM-MSIM系统的激发光路中引入光束整形器件, 将入射的准直高斯光束整形为准直的平顶光束, 入射到DMD反射面上的光强分布的均匀性得到了很大改善, 获得了光强分布更加均匀的激发点阵, 并且最大限度地利用DMD的面板来获得更大的照明视场. 首先, 利用罗丹明均匀溶液对光束整形器件的平场照明效果进行了测试, 实验结果如图2所示. 图2(a)和图2(b)分别为无光束整形器和有光束整形器的罗丹明均匀溶液宽场成像图, 图2(c)为沿中心一条直线处的归一化光强分布轮廓图, 可以明显看出经过光束整形器调制后的光强分布更加均匀; 图2(d)和图2(e)为有无光束整形器的激发点阵效果对比图, 同样可以看出经调制后可以得到更加均匀的激发点阵, 从而改善后续的荧光成像和超分辨图像重建.

      • 2.3.   复用的多焦点结构光照明图案

    • 在MSIM中[12], 利用一个DMD同时实现激发点阵的产生和数字扫描, 具体实现方式如下, 根据DMD工作基本原理, 当光束以特定角度入射DMD面板时, 每个处于工作on状态的微反射镜都在样品面对应位置产生一个衍射受限激发点, 只要将一些特定位置的微反射镜处于工作on状态就能在样品面上获得规则的多焦点激发模式. 实际操作时, 通过控制软件加载相同尺寸的黑白图片来决定DMD上微反射镜的工作状态, 当加载的图片黑白像素点的位置发生变化时对应的DMD微反射镜工作状态也产生相应的改变, 从而形成我们想要的激发模式. 然而, 在最初的MSIM的激发点阵图案中, 每个激发点采用DMD上“1 × 1”处于on状态的像素构成, 考虑到图像信噪比, 设置点阵间隔为14 pixels×16 pixels, 则需要采集224幅点阵源图像来重构一幅超分辨图像; 对于480 × 480视场, 相机帧频222 Hz, 超分辨成像速度大约1 Hz, 相对较慢; 而且光能利用率非常低, 造成图像的信噪低, 影响超分辨图像的重构, 因此, 需要发展新的MSIM照明图案.

      基于此, 在FM-MSIM中, 考虑到点阵图像的信噪比, 设计了新的“4 × 1”多像素复用多焦点照明模板, 相当于4行像素同时并行扫描, 匹配点阵模板尺寸, 点阵间隔设置为16 pixels×18 pixels, 则扫描步数为72, 而普通“1 × 1”单像素多焦点照明模式的扫描步数288, 如图3所示, 普通“1 × 1”单像素多焦点照明模式在y方向上的扫描步数为“4 × 1”多像素复用多焦点照明模式的4倍, 因此, 利用新型模板扫描的成像速度是原先模板扫描速度的4倍; 在同样的激发光强度下, 经DMD反射的光能量利用率变为原来的4倍; 利用罗丹明均匀染料样品的点阵荧光图像, 根据信噪比的计算公式$ 10{\mathrm{l}\mathrm{o}\mathrm{g}}_{10}\left({I}_{\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\mathrm{a}\mathrm{l}}/{I}_{\mathrm{n}\mathrm{o}\mathrm{i}\mathrm{s}\mathrm{e}}\right) $, 计算激发点阵的平均峰值信噪比约提高了20%. 图3(a)为4 × 1激发点阵模板扫描原理示意图, 每次移动1个像素点, 对应样品面上移动120 nm. 图3(b)为普通1×1激发点阵模板扫描原理图, 图3(c)为单张点阵图的罗丹明均匀染料荧光图像.

      • 2.4.   超分辨图像重构方法

    • MSIM[12]超分辨重构需要经过数字像素重定位技术, 即多焦点位置标定、数字针孔滤波、图像缩放、求和等4个图像处理步骤来重建超分辨图像, 然后再经过解卷积来进一步提升图像的分辨率, 最终获得2倍于宽场显微镜的分辨率. 在数字像素重定位过程中, 多焦点参考位置的精确估计, 对于MSIM重建算法至关重要. 本课题组在前期的研究工作中, 提出的MSBL图像重构算法[17], 并不需要估计多焦点的空间位置, 将重建过程视为多重探测矢量的重建问题, 简化了处理步骤, 而且进一步提高了MSIM的空间分辨率. 在FM-MSIM中, 由于采用了新的结构光照明图案, 在MSBL图像重构算法中, 对照明模板作相应修改即可.

      利用MSBL进行的超分辨图像重构的基本原理如下: 样品被第m个激发模式${{\boldsymbol{e}}_m}({\boldsymbol{r}})$照射时, 像面上的荧光强度分布${y_m}({\boldsymbol{r}})$可表示为

      式中, ${\boldsymbol{s}}({\boldsymbol{r}})$为样品的结构信息, ${{\boldsymbol{e}}_m}({\boldsymbol{r}})$为激发多焦点的强度分布, 在本文中为新设计的多像素复用多焦点阵列模板, ${\text{PS}}{{\text{F}}_{\det }}({\boldsymbol{r}})$为系统探测点扩散函数. 基于压缩感知理论, 将连续信号转换成离散信号表示, 其中第m个激发模式在空间中的强度分布表示为$ {{\boldsymbol{e}}_m} $, 对应的样品发射的荧光信号为${v_m} = $$ {\boldsymbol{S}} \cdot {{\boldsymbol{e}}_m}$, 其中${\boldsymbol{S}} = {\text{diag}}({s_1}, \cdots, {s_N})$为非负对角矩阵, 表示N像素网格化的结构信息. 将样品荧光信息卷积${\text{PS}}{{\text{F}}_{\det }}({\boldsymbol{r}})$的过程用矩阵H表示, 则(1)式改写为

      其中矩阵Y和H分别代表荧光点阵图像序列和光学系统的响应函数, S和E分别为样品的真实结构信息和光学系统的激发模式. 而(2)式又可进一步改写成

      其中${\boldsymbol{Y}} = [{y_1}, {y_2}, \cdots, {y_N}]$, 其中$ {y_m} $是由第m张点阵数据转换来的列向量, H是测量矩阵, ${\boldsymbol{X}} = {\boldsymbol{S }}\cdot {\boldsymbol{E}} = $$ [{{\boldsymbol{x}}_1}, {{\boldsymbol{x}}_2}, \cdots, {{\boldsymbol{x}}_N}]$, ${{\boldsymbol{x}}_m}$则是${\boldsymbol{s}}({\boldsymbol{r}}) \cdot {{\boldsymbol{e}}_m}({\boldsymbol{r}})$得来的列向量, S和E分别为${\boldsymbol{s}}({\boldsymbol{r}})和{{\boldsymbol{e}}}_{m}({\boldsymbol{r}})$构成的矩阵, 于是, 整个图像重构过程如图4所示.

      首先, 将所有的探测图像序列和系统PSF根据图4(a)和图4(b)转换成矩阵形式. 其中Y矩阵的每一个列矢量对应一幅探测图像, 而H的第i列对应着当样品中只有一个分子发射荧光, 且它的位置随着图4(b)中的箭头移动到第i个位置处时, 得到的探测图像. 假设每幅探测图像的尺寸为$ m\times $$ n $、超分辨成像的尺寸为$ {m}_{0}\times {n}_{0}({m}_{0}, {n}_{0} > m, n) $、探测图像数量为N, 则对应矩阵Y, H和X的大小分别为$ mn\times N, mn\times {m}_{0}{n}_{0} $, 和$ {m}_{0}{n}_{0}\times N $. 由于X = SE, X中的所有列矢量具有相同的空间支撑, 并且这个空间支撑与S相同, 因此重构X的问题可以作为一个多测量矢量问题.

      其次, 利用MSBL算法来求解(4)式. 根据贝叶斯推理, 公式的解$ {X}^{\mathrm{'}} $由最大后验概率估计得到:

      最后, 估计值${X}'$中所有的列矢量相加并转换成一个大小为$ {m}_{0}\times {n}_{0} $的超分辨图像.

      通过上述算法流程, 可以重构出样品的超分辨图像.

    3.   成像结果与讨论

      3.1.   细胞微管样品的超分辨成像

    • 为了验证FM-MSIM系统的超分辨成像能力, 首先利用Alexa Fluor 488标记的非洲绿猴肾细胞(BSC)微管样品进行系统的分辨率标定. 利用MSBL算法分别对传统的“1 × 1”多焦点点阵模板和新设计的“4 × 1 ”多像素复用点阵模板采集得到的图像进行超分辨重构, 得到的结果如图5所示. 图5(a)为减去背景噪声的宽场图像(subtract background widefield, SubWF), 图5(b)为传统“1 × 1”多焦点点阵模板得到的MSBL重构图像, 图5(c)为“4 × 1 ”多像素复用点阵模板得到的MSBL重构图像, 图5(d)和图5(e)分别为图中蓝色和白色实线处的微管强度归一化轮廓曲线, 并对多组微管数据进行了x, y两个方向上的半高全宽(full width at half maximum, FWHM)值进行了统计计算, x方向由高斯拟合得到的FWHM分别为(315 ± 15) nm, (183 ± 10) nm, (162 ± 10) nm同理, y方向半高全宽分别为(306 ± 15) nm, (174 ± 10) nm, (169 ± 10) nm. 可以看出, 利用“4 × 1 ”多像素复用点阵模板采集得到的数据经超分辨重构后的图像分辨率略高, 原因在于使用其对样品进行扫描时得到的荧光强度更强, 在相同的激光功率以及采集频率150 Hz情况下, 拥有更高的信噪比, 这也导致经MSBL算法重构后获得的分辨率更高, 基本达到了宽场显微分辨率的2倍. 此外, 实验中使用的传统的“1 × 1”多焦点点阵模板的扫描步数为288, 采集一幅二维图像所需时间约为1.92 s, 而使用“4 × 1 ”多像素复用照明模板的扫描步数72, 采集一幅二维图像仅需约0.48 s, 可以看出FM-MSIM的成像速度为原先MSIM成像速度的4倍.

      • 3.2.   小鼠肾切片的三维超分辨成像

    • 为了测试FM-MSIM系统的三维成像能力, 使用小鼠肾切片标准样片(FluoCellTM prepared slide#3 mouse kidney section, *AF 488 WGA, AF568 phalloidin, Product of US)进行成像. 相机采集频率200 Hz, 使用“4 × 1 ”多像素复用点阵模板对样品进行二维横向扫描, 并通过Labview控制纳米位移台实现z轴步进扫描成像, 如图6所示, 整个成像区域大小为55.3 μm × 55.3 μm, 每幅图成像时间为0.36 s, 轴向的成像位置分别是0, 3 和6 μm. 从图6可以明显观察到小鼠肾切片不同层样品结构的变化和超分辨的效果, 同时, FM-MSIM处理后的图像分辨率具有显著的提高, 进一步验证了所提出和搭建的FM-MSIM的三维超分辨成像能力.

    4.   结　论

    • 本文提出和搭建了一套基于数字微镜器件和光束整形器件的平场复用的多焦点结构光照明快速超分辨显微成像系统. 利用DMD同时完成了新型“4 × 1 ”多像素复用点阵结构光的产生和快速扫描, 提高了信噪比, 减少了采样时间, 成像速度提升为原来MSIM成像速度的4倍; 同时, 在系统中加入了光束整形器, 将高斯分布的光束调制为均匀分布的平场光束, 提高了点阵均匀性和系统分辨率; 建立了基于多重测量矢量模型的稀疏贝叶斯学习FM-MSIM图像重构算法, 实现了超分辨图像重构. 最后, 利用该系统, 对细胞微管和小鼠肾切片进行三维超分辨成像, 证明了该系统具有快速三维超分辨成像能力, 为进一步开展活细胞及组织的超分辨成像打下了基础.

    参考文献 (17)

目录

/

返回文章
返回