首页
登录
注册
-
磁共振成像(magnetic resonance imaging, MRI)是一种非入侵性成像技术, 可为临床诊断提供结构、功能及解剖信息. MR成像时间与k空间采样数据量直接相关, 高质量成像需大量k空间采样数据, 导致数据采集时间长, 严重制约了MRI临床吞吐量和成像质量. 为加速MR成像, 可通过减少k空间采样数据量来缩短扫描时间, 研究从欠采样的k空间数据实现高质量的快速磁共振成像一直是相关领域的热点及重点研究方向.
由欠采样k空间数据重建MR图像以实现快速MRI, 本质上是求解高度欠定逆问题. 基于信号处理理论的一类方法发展迅速, 该类方法通过引入关于目标MR图像函数的先验信息, 利用正则化方法在保证解的唯一性与稳定性的前提下完成重建. 尤其随着压缩感知(compressed sensing, CS)理论[1]的提出, 稀疏性成为一种广泛使用的构造先验信息的性质, 包括固定稀疏变换(如小波或/和梯度)[2,3]以及更为灵活的自适应稀疏表示(如数据驱动的紧密框架[4]及字典学习[5,6]). 在实际应用场景中, 预先获取的高分辨率参考图像也可提供先验信息, 因其与目标MR图像之间具有结构相似性, 可获得更为稀疏的差异图像[7,8]. 此外, 可将结构化先验信息, 例如支撑信息[9,10]和结构化稀疏性(如组稀疏性、块稀疏性及树稀疏性等)[11,12]引入基于联合子空间(union-of-subspaces)采样理论[13]的重建模型, 有效提高重建精度.
近年来, 深度学习在医学成像领域受到了广泛关注. 在MR图像分割、去噪、分类和快速成像方面[14]的成果大量涌现. 基于深度学习的MRI方法既有数据驱动(data-driven)的, 也有模型驱动(model-driven)的[15,16]. 数据驱动方法旨在学习从欠采样k空间数据/图像到完全采样k空间数据/图像的映射[17-20]. 模型驱动方法从MR图像重建模型出发, 将迭代重建算法流程引入网络[21-23]. 然而, 它们都需要借助大规模、高质量的基于病患的临床数据集进行预训练, 以确保重建精确性. 而由于病患隐私及设备应用限制, 获取庞大数量的高分辨率MR图像训练集具有相当难度, 成为制约临床应用的一大挑战.
由Ulyanov等[24]提出的深度图像先验(deep image prior, DIP)框架表明, 卷积神经网络具有在不进行预训练的情况下正则化各种不适定逆问题的固有能力[25]. DIP将随机噪声输入未经训练的网络, 在成像逆问题中获得了良好效果. DIP已用于去噪、修复、超分辨率重建[26-29]、CS恢复[30]以及医学成像(如PET图像重建[25]、CT重建[31]和动态MRI[32])等领域.
本文提出一种基于支撑先验与深度图像先验的无预训练MR图像重建方法, 该方法属于深度学习类的欠采样MR图像重建方法. 本文所提方法无需预训练、不依赖训练数据集, 将目标图像的支撑先验和结构先验融入DIP框架, 利用这些先验信息提升学习效率. 实验结果表明, 该方法可获得更为精确的重建结果, 且在保持组织边缘与细节方面更具优势. 本文的创新与贡献主要体现在以下方面.
1)利用一幅已知参考图像为目标图像的重建提供支撑先验和结构信息. 由于参考图像与目标图像之间的结构相似性, 一方面, 将参考图像作为深度神经网络的输入, 以引入目标图像的结构先验至学习进程; 另一方面将参考图像在小波域中大系数的索引集作为目标图像的已知支撑集, 并将其补集的
$ l_1 $ 范数正则化约束项增加至传统DIP中. 支撑先验与结构先验信息的引入可显著提升学习的有效性与效率.2)本方法是一种无需预训练、不依赖于训练数据集的深度学习类磁共振图像重建方法. 本方法基于DIP框架, 将网络训练转化为网络参数的最优化求解过程. 鉴于高质量MR数据集的获取难度, 此优势具有实际的临床意义与价值.
-
图1为本文提出的基于支撑先验与深度图像先验的无预训练磁共振图像重建方法总览图. 目标MR图像的重建可分解为3个步骤.
1)获取支撑先验. 本步骤基于参考图像与目标图像的结构相似性, 从已知参考图像的小波域支撑中获取关于目标图像的支撑先验.
2)基于支撑先验与深度图像先验的最优网络参数求解. 本步骤基于DIP框架, 提出融合支撑先验的目标函数, 将对网络的训练转化为网络参数的最优化求解, 无需预训练、不需训练数据集.
3) MR图像重建. 上一步求解得到的最优网络参数下的网络输出即为k空间测量数据对应的重建结果, 本步骤进一步利用测量数据对重建结果进行数据矫正以提高重建精度.
下文将对该方法分步进行详细叙述.
-
在实际临床MRI应用中, 通常对同一病人同一组织器官进行多次连续扫描, 以确保通过多幅MR图像对病灶区域进行综合判断. 由于组织器官的连续性, 这些图像间, 尤其是连续图像间具有非常相似的结构; 此外, 对于介入式手术成像、序列成像、动态MRI、连续帧之间的相似性更加显著. 图2(a)和图2(b)分别为同一病人脑部不同层面的MR成像, 可以看出, 它们不仅在像素空间具有相似的结构特征, 而且经同一小波变换后亦具有相似的能量分布, 如图2(c)和图2(d)所示. 由图2可以看出, 两幅结构相似的MR图像在小波变换下, 刻画组织概貌的低频系数(幅值大的系数)具有近似相同的支撑分布. 因此, 本文考虑选取已知参考图像在小波域中幅值最大的P个小波系数对应的索引集作为目标图像的已知支撑集T.
-
本方法中最优网络参数可通过求解如(1)式所示的最优化问题获得:
其中,
$ {\boldsymbol{y}}\in{\mathbb{C}}^{{M}\times{1}} $ 是目标图像${{\boldsymbol{I}}_{{t}}}\in{\mathbb{C}}^{{N}\times{N}}$ 的k空间测量数据;${{\boldsymbol{I}}_{{r}}}\in{\mathbb{C}}^{{N}\times{N}}$ 为提前获取的高分辨率参考图像, 其与目标图像具有相似的解剖结构;$ {{\boldsymbol{F}}_{\boldsymbol{u}}} $ 代表傅里叶降采样算子; Ψ代表小波变换;$ \lVert \cdot \rVert_2 $ 与$ \lVert \cdot \rVert_1 $ 分别为$ l_2 $ 范数与$ l_1 $ 范数; 正则化参数$ \lambda>0 $ ;${\boldsymbol{f}}({\boldsymbol{\theta}}\mid{{\boldsymbol{I}}_{{r}}})$ 是以参考图像为输入、以θ为参数的未经训练的深度神经网络; T为目标图像的已知支撑集,$T^{{c}}$ 代表已知支撑集T的补集.本文基于DIP, 提出如(1)式所示的目标函数, 将深度神经网络的训练转化为网络参数的最优化求解, 通过反复迭代地优化求解获得最优网络参数. 第一项为数据保真项, 用来约束网络输出与k空间测量数据的一致性. 本方法将已知的参考图像作为网络输入, 由于参考图像与目标图像的结构相似性, 此策略能够充分利用并引入结构化先验至深度网络. 相较于DIP采用随机噪声作为网络输入, 本方法将有利于提升学习效率.
(1)式中的第二项为正则化项, 用于约束部分支撑T已知的目标图像在小波域的稀疏性, 该项的引入基于Modified-CS理论[33]. 该理论证明, 若已知信号的部分支撑T, 则可通过约束该信号在已知支撑集补集
$ T^{{c}} $ 上的$ l_1 $ 范数, 在相同采样数据量下获得更高精度的重建结果. 由于参考图像与目标图像具有相似的解剖结构, 在小波变换下, 两者刻画组织概貌的低频系数具有近似相同的支撑分布. 因此, 考虑选取参考图像${{\boldsymbol{I}}_{ {r}}}$ 在小波域中具有较大幅值的小波系数对应的索引集作为目标图像${{\boldsymbol{I}}_{ {t}}}$ 的已知支撑集T. -
经求解(1)式所示的目标函数, 可得以
${\hat{\boldsymbol{\theta}}}$ 为最优网络参数的卷积神经网络, 其输出为重建图像:为进一步确保测量数据的一致性, 增加数据矫正步骤, 即对网络输出的重建图像
$\hat{\boldsymbol I}_{\rm rec}$ 作用数据矫正算子$ {\rm{Cor}}(\cdot) $ , 可得经矫正的k空间数据$ {{\boldsymbol{y}}_{{\bf{cor}}}} $ :其中, F是傅里叶变换, y是欠采样模板U下对应空间位置处的测量数据,
$\overline{\rm{U}}$ 代表U的补集. (3)式所示的k空间数据矫正算子保证了重建结果与扫描获取的k空间测量数据的完全一致性, 使得重建误差仅集中于未采样的k空间数据.目标MR图像的最终重建结果
${\hat{\boldsymbol{I}}}_{ {t}}$ 可经$ {{\boldsymbol{y}}_{{\rm{cor}}}} $ 的逆傅里叶变换求得: -
本文方法采用U-net网络架构, 与DIP方法[24]采用的网络架构相同. 图1(b)给出了该网络架构, 它是一种具有跳跃连接、形如“沙漏”的编码器-解码器架构. 其中, 编码路径(上)和解码路径(下)由跳跃连接(黄色箭头标记)链接, 以保留不同分辨率下的特征信息. 该网络包括卷积(Conv)层、批标准化(batch normalization, BN)层、泄漏校正线性单元(LeakyReLU)层、降采样(downsample)和双线性插值上采样(Upsample)的重复应用. 网络的最大深度为L.
$ n_{{\rm{d}}}[i] $ ,$ n_{{\rm{u}}}[i] $ 和$ n_{{\rm{s}}}[i] $ 分别表示第i层降采样、上采样和跳跃连接的滤波器数量,$ k_{{\rm{d}}}[i] $ ,$ k_{{\rm{u}}}[i] $ 和$ k_{{\rm{s}}}[i] $ 表示对应的核大小. -
实验中, 将零填充重建、基于CS的MR图像重建及传统DIP重建作为对比方法, 以评估所提出方法的重建性能. 其中, 基于CS的MR图像重建方法采用如下的重建模型:
式中, Ψ为小波变换, 即利用MR图像的小波域稀疏性约束重建, 下文简称该方法为CS-WS. 实验中选用Daubechies小波db2, 采用迭代阈值收缩算法 (iterative shrinkage thresholding algorithm, ISTA)求解.
为确保公平对比, 所有方法都使用与零填充重建相应的k空间测量数据作为输入, 且本文方法和传统DIP方法采用相同的网络架构.
采用相对误差、峰值信噪比(peak signal-to-noise ratio, PSNR)以及结构相似性(structural similarity index, SSIM)[34]作为重建结果的量化评价指标:
其中, x表示真实MR图像,
$ {\hat{\boldsymbol{x}}} $ 表示重建MR图像, 两者大小均为$ N\times N $ ;$ {\rm{MAX}}_{{\boldsymbol{x}}} $ 取x中最大值. 此外, (8)式中,$ \mu_{{\boldsymbol{x}}} $ ,$ \mu_{{\hat{\boldsymbol{x}}}} $ ,$ \sigma_{{\boldsymbol{x}}} $ , 和$ \sigma_{{\hat{\boldsymbol{x}}}} $ 分别为x和$ {\hat{\boldsymbol{x}}} $ 的均值与方差,$ \sigma_{{\boldsymbol{x}}{\hat{\boldsymbol{x}}}} $ 表示x和$ {\hat{\boldsymbol{x}}} $ 的互协方差, 常数$ c_1 = $ $ 0.01 $ ,$ c_2 = 0.03 $ . -
为验证本文方法的有效性, 并评估其重建性能, 选取两组临床获取的人体脑部MR图像进行仿真实验, 如图3所示. 为模拟欠采样k空间数据的获取过程, 使用降采样模板作用于MR图像的二维(2D)离散傅里叶变换. 实验所用的两组MR数据均来自3T Siemens MRI扫描仪, 第一组MR数据成像参数为: SE序列, 偏转角 =
$ 120^\circ $ , TR =$4000\; {\rm{ms}}$ , TE =$91 \;{\rm{ms}}$ , FOV =$176\; {\rm{mm}} \times 176\; {\rm{mm}}$ , 层厚$5.0 \;{\rm{mm }}$ . 图像大小为$ 256 \times 256 $ . 选取图3(a)作为参考图像, 为图3(b)所示的目标图像(记为目标图像1)的重建提供结构先验和支撑信息. 第二组MR数据成像参数为: GR序列, 偏转角 =$ 70^\circ $ , TR =$250 \;{\rm{ms}}$ , TE =$2.5\;{\rm{ ms }}$ , FOV =$220\; {\rm{mm}}\times $ $ 220\; {\rm{mm}}$ , 层厚$5.0 \;{\rm{mm}}$ . 此组MR数据取自于同一病人的脑部扫描序列, 图像大小为$ 512\times 512 $ . 此处选取图3(c)作为参考图像, 分别为图3(d)和图3(e)两幅目标图像(分别记为目标图像2、目标图像3)的重建提供结构先验和已知支撑信息.考虑到不同采样模板对本文方法重建性能的影响, 采用3种类型的采样模板: 笛卡尔采样模板、径向采样模板和变密度采样模板, 如图4所示.
-
本文方法采用的网络架构如图1(b)所示, 实验中所涉及的各参数设置均在表1中列出. 其中包括网络超参数、小波参数(小波函数及分解层数)、已知支撑集(选取参考图像的最大系数个数P. 经实验验证, 通常选取参考图像最大的前20%小波系数索引集作为已知支撑集)和正则化参数λ.
本文实验在Ubuntu 16.04 LTS (64位)操作系统上实现, 平台配置为Intel Core i9-7920X 2.9 GHz CPU和Nvidia GeForce GTX 1080Ti GPU, 11 GB RAM; 运行环境为PyTorch, CUDA, CUDNN.
-
实验一 不同采样率下重建结果. 为了评估本文所提方法的重建性能, 采用笛卡尔采样模板, 分别在不同采样率下进行实验. 表2列出了本文方法、传统DIP方法、基于CS理论的CS-WS方法和零填充重建在10%, 20%, 30%和40%采样率下的相对误差、PSNR和SSIM指标的数值结果. 考虑到训练过程中的随机性(本文方法中网络参数的随机初始化; 传统DIP方法中网络输入和网络参数均为随机初始化), 表中列出的数值结果都为运行10次后取平均获得. 由表2中的数据对比显而易见, 对于3组MR数据, 在相同采样数据量下, 本文方法具有最低的相对误差、最高的PSNR和SSIM值, 即本文方法可获得更精确的重建结果.
图5为目标图像1的重建结果及相应的误差图, 可以看出, 相同采样率下, 本文方法的重建误差更小, 可获得更为精确的重建.
图6—图7给出了目标图像2、目标图像3在本文方法及对比方法下的重建结果. 显然, 本文方法在保留MR图像中结构细节、纹理特征方面具有优势, 尤其在局部放大图中更为明显. 相应的误差图像也进一步表明, 本文方法的重建结果误差最小, 最接近目标MR图像.
实验二 不同采样模板下重建结果. 本部分采用径向采样模板与变密度采样模板分别进行实验, 评估本文方法在不同采样模板下的重建性能. 本文方法与对比方法重建结果的相对误差、PSNR和SSIM值如表3所列. 由表中数据对比可知, 本文方法在径向采样模板、变密度采样模板下的重建图像均具有更低的相对误差、及更高的PSNR和SSIM值, 可获得更为精确的重建结果.
重建图像的视觉对比如图8—图9所示. 相应的误差图像和局部放大图表明, 在径向采样模板、变密度采样模板下, 本文方法的重建更为精确, 能够保留更多的结构特征与细节.
-
为评估本文方法的收敛性, 本部分实验并画出目标图像在不同采样率下的重建误差曲线. 图10中的曲线表示每100次迭代输出重建结果的相对误差(运行10次的平均值). 从曲线可以看出, 在不同的采样率下, 随迭代次数的增加, 相对误差逐渐收敛至一个较低的值. 虽迭代过程中有轻微波动, 但总体趋势保持收敛.
-
由前文多组实验结果验证, 本文提出的MR图像重建方法相较于对比方法具有重建性能的提升. 为了分析验证与本文方法创新性相关的各因素对于重建性能提升的作用与贡献, 本节进行消融实验. 本文方法基于DIP框架以削减对预训练及数据集的依赖, 用以提升重建性能的因素有3个. 因素1: 采用高分辨率参考图像作为深度网络输入, 将结构先验信息引入网络; 因素2: 将参考图像在小波域中幅值大的系数索引集作为目标图像已知支撑集, 提供支撑先验; 因素3: k空间数据矫正, 保证重建结果与扫描获取的k空间测量数据的完全一致性. 表4给出了目标图像1在仅有因素1作用下(简称DIP + Ref)、仅有因素2作用(简称DIP + Sup)、因素1和2同时作用(简称DIP + Ref + Sup)以及因素1, 2, 3全部作用(简称DIP + Ref + Sup + Cor) 时重建结果的量化指标数据.
结合表4及表3中数据可以看出, 仅引入参考图像至DIP框架可提升重建精度, 仅利用参考图像获取支撑先验用于目标图像的重建, 也可提升重建精度. 相比而言, 前者对于重建精度的提升更为显著. 两者结合后, 共同作用下的重建结果更加精确. 从实验结果可以看出, k空间数据矫正可进一步降低重建的误差.
-
本节主要讨论当参考图像与目标图像之间存在对比度差异及运动偏移时, 本文所提方法的有效性. 选取两幅对比度不同的MR图像, 如图11(a)和图11(b)所示, 它们均来自3T Siemens MRI扫描仪. 成像参数分别为: (a) T2加权图像, SE序列, 偏转角 =
$ 120^\circ $ , TR/TE =$4000/91 \;{\rm{ms}}$ , 层厚$5.0 \;{\rm{mm}}$ ; (b) T1加权图像, GR序列, 偏转角 =$ 70^\circ $ , TR/TE =$250/2.5 \;{\rm{ms}}$ , 层厚$5.0\; {\rm{mm }}$ . 以图11(a)为参考图像重建图11(b), 20%笛卡尔采样下的重建结果如图11(c)所示, 重建相对误差为2.19%. 为了进一步验证本文方法对于运动偏移的鲁棒性, 构造如图11(d)所示的目标图像, 与图11(a)的参考图像相比, 既有对比度差异、又存在运动偏移, 20%笛卡尔采样下的重建结果如图11(e)所示, 重建相对误差仅为2.54%. 由此可见, 本文方法对于对比度差异及运动偏移具有一定的鲁棒性. -
表5给出了笛卡尔采样模板下, 采样率分别为10%, 20%, 30%和40%时, 本文方法与对比方法的计算时间. 从表中数据可以看出, 本文提出的方法没有节省时间. 这是由于为了更新损失函数, 每次迭代后的网络输出都需要进行欠采样及正则化项的运算. 尽管如此, 本文方法不依赖于预训练及数据集, 并在重建精度上具有显著提升, 这使得其依然具有一定价值及吸引力. 提升本文方法的重建效率是后续研究的重要内容, 将针对重建模型及进程, 研究提出更为高效的重建策略及算法.
-
本文提出一种新的基于深度学习的欠采样MR图像重建方法, 无需预训练、不依赖训练数据集, 对临床应用具有重要意义. 该方法利用参考图像与目标图像之间的结构相似性, 由参考图像驱动、为目标图像的重建提供支撑先验和结构先验. 将参考图像作为网络输入, 以引入目标图像的结构先验至学习进程, 并将参考图像在小波域中大系数的索引集作为目标图像的已知支撑集, 正则化约束其补集的
$ l_1 $ 范数. 实验表明, 本文方法可获得更为精确的重建结果, 且在保持组织边缘与细节方面更具优势.
基于支撑先验与深度图像先验的无预训练磁共振图像重建方法
Undersampled magnetic resonance image reconstruction based on support prior and deep image prior without pre-training
-
摘要: 基于深度学习的磁共振成像(magnetic resonance imaging, MRI)方法需要大规模、高质量的病患数据样本集进行预训练. 然而, 由于病患隐私及设备等因素限制, 获取大规模、高质量的磁共振数据集在实际临床应用中面临挑战. 本文提出一种新的基于深度学习的欠采样磁共振图像重建方法, 该方法无需预训练、不依赖训练数据集, 而是充分利用待重建的目标MR图像的结构先验和支撑先验, 并将其引入深度图像先验(deep image prior, DIP)框架, 从而削减对训练数据集的依赖, 提升学习效率. 基于参考图像与目标图像的相似性, 采用高分辨率参考图像作为深度网络输入, 将结构先验信息引入网络; 将参考图像在小波域中幅值大的系数索引集作为目标图像的已知支撑集, 构造正则化约束项, 将网络训练转化为网络参数的最优化求解过程. 实验结果表明, 本文方法可由欠采样k空间数据重建得到更精确的磁共振图像, 且在保留组织特征、细节纹理方面具有明显优势.Abstract: Magnetic resonance imaging (MRI) method based on deep learning needs large-quantity and high-quality patient-based datasets for pre-training. However, this is a challenge to the clinical applications because it is difficult to obtain a sufficient quantity of patient-based MR datasets due to the limitation of equipment and patient privacy concerns. In this paper, we propose a novel undersampled MRI reconstruction method based on deep learning. This method does not require any pre-training procedures and does not depend on training datasets. The proposed method is inspired by the traditional deep image prior (DIP) framework, and integrates the structure prior and support prior of the target MR image to improve the efficiency of learning. Based on the similarity between the reference image and the target image, the high-resolution reference image obtained in advance is used as the network input, thereby incorporating the structural prior information into network. By taking the coefficient index set of the reference image with large amplitude in the wavelet domain as the known support of the target image, the regularization constraint term is constructed, and the network training is transformed into the optimization process of network parameters. Experimental results show that the proposed method can obtain more accurate reconstructions from undersampled k-space data, and has obvious advantages in preserving tissue features and detailed texture.
-
Key words:
- magnetic resonance imaging /
- undersampled image reconstruction /
- deep image prior /
- support prior .
-
-
图 2 参考图像和目标图像的结构相似性及小波域支撑分布 (a), (b)同一病人的脑部扫描MR图像; (c), (d)对应的小波系数分布(Haar小波, 9层小波分解)
Figure 2. Structural similarity between the reference and target images and support distributions in the wavelet domain: (a), (b) Brain MR images from the same patient; (c), (d) corresponding wavelet coefficient distributions (Using Haar wavelet at level 9).
图 3 实验数据. 第一组 (a)参考图像; (b)待重建的目标图像1. 第二组 (c)参考图像; (d)待重建的目标图像2; (e)待重建的目标图像3
Figure 3. MR images used in the experiments. Group one: (a) Reference image; (b) target image 1. Group two: (c) Reference image; (d) target image 2; (e) target image 3.
图 4 降采样模板 (a)笛卡尔采样模板; (b)径向采样模板; (c)变密度采样模板
Figure 4. Undersampling masks used in the experiments: (a) Cartesian mask; (b) radial mask; (c) variable density mask.
图 5 笛卡尔采样模板40%采样率下目标图像1的重建结果对比. 第一行为目标图像1与各方法重建结果, 第二行为对应的误差图像, 第三行为对应的局部放大图
Figure 5. Comparison of reconstructions of target image 1 using Cartesian undersampled mask with 40% sampling rate: Target image 1 and reconstruction results (1st row), the corresponding error images (2nd row), and the corresponding zoom-in images (3rd row)
图 6 笛卡尔采样模板20%采样率下目标图像2的重建结果对比. 第一行为目标图像2与各方法重建结果, 第二行为对应的误差图像, 第三行为对应的局部放大图
Figure 6. Comparison of reconstructions of target image 2 using Cartesian undersampled mask with 20% sampling rate: Target image 2 and reconstruction results (1st row), the corresponding error images (2nd row), and the corresponding zoom-in images (3rd row)
图 7 笛卡尔采样模板30%采样率下目标图像3的重建结果对比. 第一行为目标图像3与各方法重建结果, 第二行为对应的误差图像, 第三行为对应的局部放大图
Figure 7. Comparison of reconstructions of target image 3 using Cartesian undersampled mask with 30% sampling rate: Target image 3 and reconstruction results (1st row), the corresponding error images (2nd row), and the corresponding zoom-in images (3rd row)
图 8 变密度采样模板30%采样率下目标图像1的重建结果对比. 第一行为目标图像1与各方法重建结果, 第二行为对应的误差图像, 第三行为对应的局部放大图
Figure 8. Comparison of reconstructions of target image 1 using variable density undersampled mask with 30% sampling rate: Target image 1 and reconstruction results (1st row), the corresponding error images (2nd row), and the corresponding zoom-in images (3rd row).
图 9 径向采样模板10%采样率下目标图像3的重建结果对比. 第一行为目标图像3与各方法重建结果, 第二行为对应的误差图像, 第三行为对应的局部放大图
Figure 9. Comparison of reconstructions of target image 3 using radial undersampled mask with 10% sampling rate: Target image 3 and reconstruction results (1st row), the corresponding error images (2nd row), and the corresponding zoom-in images (3rd row).
图 10 笛卡尔采样模板下本文方法的相对误差曲线
Figure 10. Relative errors curves of the proposed method under Cartesian undersampled mask
图 11 参考图像与目标图像间存在对比度差异及运动偏移情况下本文方法的重建结果 (a)参考图像; (b)待重建目标图像; (c)本文方法对(b)的重建结果; (d)待重建目标图像(存在运动偏移); (e)本文方法对(d)的重建结果; (a)—(c) 相对误差为2.19%, PSNR = 40.8788 dB, SSIM = 0.9937; (d), (e) 相对误差为2.54%, PSNR = 39.0825 dB, SSIM = 0.9937
Figure 11. Reconstructions of the proposed method when there is contrast difference and motion between the reference image and the target image: (a) Reference image; (b) target image to be reconstructed; (c) reconstruction of (b) by the proposed method; (d) target image to be reconstructed(with motion effects); (e) reconstruction of (d) by the proposed method; (a)—(c) the relative error is 2.19%, PSNR = 40.8788 dB, SSIM = 0.9937; (d), (e) relative error 2.54%, PSNR = 39.0825 dB, SSIM = 0.9937.
表 1 实验参数设置
Table 1. Parameter setting for experiments
参数 图像 目标图像1 目标图像2 目标图像3 网络超参数 学习率 0.005 0.003 0.003 L 6 6 6 $n_{\rm{d}}$ 
[32, 64, 64, 64, 128, 128] [16, 32, 64, 64, 128, 128] [16, 32, 64, 64, 128, 128] $n_{\rm{u}}$ 
[32, 64, 64, 64, 128, 128] [16, 32, 64, 64, 128, 128] [16, 32, 64, 64, 128, 128] $n_{\rm{s}}$ 
[16, 16, 16, 16, 16, 16] [16, 16, 16, 16, 16, 16] [16, 16, 16, 16, 16, 16] $k_{\rm{d}}$ 
[3, 3, 3, 3, 3, 3] [3, 3, 3, 3, 3, 3] [3, 3, 3, 3, 3, 3] $k_{\rm{u}}$ 
[3, 3, 3, 3, 3, 3] [3, 3, 3, 3, 3, 3] [3, 3, 3, 3, 3, 3] $k_{\rm{s}}$ 
[1, 1, 1, 1, 1, 1] [1, 1, 1, 1, 1, 1] [1, 1, 1, 1, 1, 1] 迭代次数 5000 3000 3000 小波参数 小波函数 Haar Haar Haar 分解层数 7 8 8 P 13500 55000 52000 λ 1 × 10–10 1 × 10–6 1 × 10–9 
下载: 导出CSV
表 2 笛卡尔采样模板下不同重建方法的相对误差、PSNR及SSIM
Table 2. Relative errors, PSNR and SSIM values of reconstruction by different methods under Cartesian undersampled mask
待重建MR图像 重建方法 10% 20% 相对误差/% PSNR/dB SSIM 相对误差/% PSNR/dB SSIM 目标图像1 零填充 35.64 18.7365 0.5543 16.14 25.6185 0.7135 CS-WS 34.53 19.0101 0.5590 13.74 27.0139 0.7998 DIP 32.51 19.5344 0.6666 12.49 27.8440 0.8989 本文方法 19.89 23.8004 0.8172 9.43 30.2852 0.9793 目标图像2 零填充 19.66 22.5625 0.7550 13.36 25.9204 0.8065 CS-WS 17.14 23.7530 0.7654 10.34 28.1426 0.8507 DIP 15.09 24.9087 0.8473 5.41 33.7814 0.9619 本文方法 7.51 30.9288 0.9454 3.48 37.5915 0.9788 目标图像3 零填充 17.64 23.5716 0.7857 12.76 26.3807 0.8266 CS-WS 15.24 24.8395 0.8139 9.87 28.6144 0.8774 DIP 14.90 25.0660 0.8585 5.43 33.8264 0.9607 本文方法 7.31 31.2228 0.9491 3.53 37.5488 0.9806 待重建MR图像 重建方法 30% 40% 相对误差/% PSNR/dB SSIM 相对误差/% PSNR/dB SSIM 目标图像1 零填充 11.53 28.5361 0.7657 7.71 32.0337 0.8087 CS-WS 9.40 30.3126 0.8689 6.68 33.2736 0.9136 DIP 9.05 30.6386 0.9342 6.98 32.8933 0.9605 本文方法 7.06 32.7970 0.9590 5.64 34.7395 0.9728 目标图像2 零填充 4.61 35.1677 0.8677 3.46 37.6630 0.8830 CS-WS 2.61 40.0883 0.9377 1.95 42.6338 0.9438 DIP 2.80 39.4992 0.9858 2.33 41.1008 0.9892 本文方法 2.08 42.0469 0.9905 1.73 43.6437 0.9931 目标图像3 零填充 4.31 35.8182 0.8813 3.24 38.2961 0.8997 CS-WS 2.45 40.7193 0.9444 1.84 43.1958 0.9601 DIP 3.22 38.5632 0.9824 2.54 40.4324 0.9885 本文方法 2.05 42.2484 0.9908 1.64 44.2051 0.9939
下载: 导出CSV
表 3 径向采样模板及变密度采样模板下不同重建方法的相对误差、PSNR及SSIM
Table 3. Relative errors, PSNR and SSIM values of reconstruction by different methods under radial undersampled mask and variable density undersampled mask
待重建MR图像 采样模板(采样率) 重建方法 相对误差/% PSNR/dB SSIM 目标图像1 径向(20%) 零填充 14.34 26.6426 0.7852 CS-WS 12.11 28.1129 0.8519 DIP 10.95 28.9845 0.9169 本文方法 7.92 31.7960 0.9547 变密度(30%) 零填充 15.03 26.2373 0.7735 CS-WS 11.15 28.8264 0.8662 DIP 9.26 30.4441 0.9321 本文方法 6.43 33.6199 0.9648 目标图像2 径向(10%) 零填充 8.05 30.3202 0.7960 CS-WS 5.73 33.2803 0.9010 DIP 4.40 35.5814 0.9662 本文方法 3.54 37.4434 0.9760 变密度(20%) 零填充 6.47 32.2213 0.8778 CS-WS 3.56 37.4195 0.9625 DIP 3.15 38.4764 0.9821 本文方法 2.57 40.2243 0.9850 目标图像3 径向(10%) 零填充 7.03 31.5576 0.8177 CS-WS 5.18 34.2111 0.9158 DIP 4.73 35.0303 0.9629 本文方法 3.55 37.4852 0.9751 变密度(20%) 零填充 5.82 33.2106 0.8978 CS-WS 3.27 38.2161 0.9675 DIP 3.01 38.9786 0.9819 本文方法 2.54 40.4229 0.9852
下载: 导出CSV
表 4 径向采样模板及变密度采样模板下不同重建方法的相对误差、PSNR及SSIM
Table 4. Relative errors, PSNR and SSIM values of reconstructions by different methods under radial undersampled mask and variable density undersampled mask
采样模板(采样率) 重建方法 相对误差/% PSNR/dB SSIM 径向 (20%) DIP + Ref 8.88 30.9180 0.9478 DIP + Sup 10.35 29.4739 0.9264 DIP + Ref + Sup 8.24 31.5530 0.9512 DIP + Ref + Sup + Cor 7.92 31.7960 0.9547 变密度 (30%) DIP + Ref 7.38 32.4116 0.9583 DIP + Sup 9.08 30.6104 0.9583 DIP + Ref + Sup 6.71 33.2360 0.9620 DIP + Ref + Sup + Cor 6.43 33.6199 0.9648
下载: 导出CSV
表 5 笛卡尔采样下不同重建方法的计算时间
Table 5. Computational time for different reconstruction methods under the Cartesian mask
待重建MR图像 重建方法 计算时间 10% 20% 30% 40% 目标图像1 CS-WS 46 s 46 s 49 s 46 s DIP 2 min 53 s 2 min 43 s 2 min 47 s 2 min 45 s 本文方法 3 min 55 s 3 min 56 s 3 min 54 s 3 min 56 s 图11(d)所示目标图像 CS-WS 42 s 42 s 45 s 44 s DIP 2 min 33 s 2 min 35 s 2 min 35 s 2 min 34 s 本文方法 3 min 14 s 3 min 15 s 3 min 15 s 3 min 13 s
下载: 导出CSV
-
[1] Davenport M A, Duarte M F, Eldar Y C, et al. 2012 Compressed Sensing: Theory and Applications (Cambridge: Cambridge University Press) pp1–64 [2] Lustig M, Donoho D L, Pauly J M 2007 Magn. Reson. Med. 58 1182 doi: 10.1002/mrm.21391 [3] Qu X B, Guo D, Ning B D, Hou Y K, et al. 2012 Magn. Reson. Imaging 30 964 doi: 10.1016/j.mri.2012.02.019 [4] Liu J B, Wang S S, Peng X, Liang D 2015 Comput. Math. Methods Med. 2015 1 [5] Zhan Z F, Cai J F, Guo D, Liu Y S, Chen Z, Qu X B 2016 IEEE Trans. Biomed. Eng. 63 1850 doi: 10.1109/TBME.2015.2503756 [6] Liu Q G, Wang S S, Ying L, Peng X, et al. 2013 IEEE Trans. Image Process. 22 4652 doi: 10.1109/TIP.2013.2277798 [7] Du H Q, Lam F 2012 Magn. Reson. Imaging 30 954 doi: 10.1016/j.mri.2012.03.005 [8] Peng X, Du H Q, Lam F, Babacan D, Liang Z P 2011 In: Proceedings of IEEE International Symposium on Biomedical Imaging Chicago, USA, March 30, 2011 p89 [9] Manduca A, Trzasko J D, Li Z B. 2010 In: Proceedings of SPIE, The International Society for Optical Engineering (California-2010.2.13) p762223 [10] Han Y, Du H Q, Gao X Z, Mei W B 2017 IET Image Proc. 11 155 doi: 10.1049/iet-ipr.2016.0615 [11] Stojnic M, Parvaresh F, Hassibi B 2009 IEEE Trans. Signal Process. 57 3075 doi: 10.1109/TSP.2009.2020754 [12] Usman M, Prieto C, Schaeffter T, et al. 2011 Magn. Reson. Med. 66 1163 doi: 10.1002/mrm.22883 [13] Blumensath T 2011 IEEE Trans. Inf. Theory 57 4660 doi: 10.1109/TIT.2011.2146550 [14] Litjens G, Kooi T, Bejnordi B E, Setio A A A, Ciompi F, Ghafoorian M, van der Laak J A W M, van Ginneken B, Sánchez C I 2017 Med. Image Anal. 42 60 doi: 10.1016/j.media.2017.07.005 [15] Wang S S, Xiao T H, Liu Q G, Zheng H R 2021 Biomed. Signal Process. Control 68 102579 doi: 10.1016/j.bspc.2021.102579 [16] Liang D, Cheng J, Ke Z W, Ying L 2020 IEEE Signal Processing Mag. 37 141 doi: 10.1109/MSP.2019.2950557 [17] Schlemper J, Caballero J, Hajnal J V, Price A N, Rueckert D 2018 IEEE Trans. Med. Imaging 37 491 doi: 10.1109/TMI.2017.2760978 [18] Yang G, Yu S, Dong H, Slabaugh G, Dragotti P L, Ye X J, Liu F D, Arridge S, Keegan J, Guo Y K, Firmin D 2018 IEEE Trans. Med. Imaging 37 1310 doi: 10.1109/TMI.2017.2785879 [19] Wang S S, Su Z H, Ying L, Peng X, Zhu S, Liang F, Feng D G, Liang D 2016 In: IEEE 13th International Symposium on Biomedical Imaging Prague, Czech Republic, April 01, 2016 p514 [20] Akcakaya M, Moeller S, Weingartner S, Ugurbil K 2019 Magn. Reson. Med. 81 439 doi: 10.1002/mrm.27420 [21] Aggarwal H K, Mani M P, Jacob M 2019 IEEE Trans. Med. Imaging 38 394 doi: 10.1109/TMI.2018.2865356 [22] Yang Y, Sun J, Li H B, Xu Z B 2016 In: Advances in Neural Information Processing Systems Barcelona, Spain, December 05, 2016 p10 [23] Qin C, Schlemper J, Caballero J, Price A N, Hajnal J V, Rueckert D 2019 IEEE Trans. Med. Imaging 38 280 doi: 10.1109/TMI.2018.2863670 [24] Ulyanov D, Vedaldi A, Lempitsky V 2018 In: IEEE/CVF Conference on Computer Vision and Pattern Recognition Salt Lake City, USA, June 18, 2018 p9446 [25] Gong K, Catana C, Qi J Y, Li Q Z 2019 IEEE Trans. Med. Imaging 38 1655 doi: 10.1109/TMI.2018.2888491 [26] Gary M, Michael E, Peyman M 2019 arXiv: 1903.10176 [27] Sagel A, Roumy A, Guillemot C 2020 In: IEEE International Conference on Acoustics, Speech and Signal Processing Barcelona, Spain, May 04, 2020 p2513 [28] Liu J M, Sun Y, Xu X J, Kamilov U S 2019 In: IEEE International Conference on Acoustics, Speech and Signal Processing Brighton, Britain, May 12, 2019 p7715 [29] Hashimoto F, Ohba H, Ote K, Teramoto A, Sukada H 2019 IEEE Access 7 96594 doi: 10.1109/ACCESS.2019.2929230 [30] Dave van Veen, Ajil J, Mahdi S, Eric P, Sriram V, Alexandros G D 2018 arXiv: 1806.06438 [31] Daniel O B, Johannes L, Maximilian S 2020 Inverse Problems 36 094004 doi: 10.1088/1361-6420/aba415 [32] Yoo J, Jin K H, Gupta H, Yerly J, Stuber M, Unser M 2021 IEEE Trans. Med. Imaging (Early Access) [33] Vaswani N, Lu W 2010 IEEE Trans. Signal Process. 58 4595 doi: 10.1109/TSP.2010.2051150 [34] Wang Z, Bovik A C, Sheikh H R, Simoncelli E P 2004 IEEE Trans. Image Process. 13 600 doi: 10.1109/TIP.2003.819861 -
计量
- 文章访问数: 297
- HTML全文浏览数: 297
- PDF下载数: 1
- 施引文献: 0