最近,模型驱动的深度学习通过用网络模块替换符号器的一阶信息(即(子)梯度或近端运算符)来拓展到级联网络中的一定迭代算法,该算法呈现出更可说明的与常见的数据驱动网络相比,可以预测。相反,理论上,不一定存在这样的功能常规程序,其一级信息与替换的网络模块匹配,这意味着网络输出可能不被原始正则化模型覆盖。此外,到目前为止,在现实假设下,也没有保证展开网络的全球收敛性和鲁棒性(规律性)。为了弥合这一差距,本文建议在展开网络上提出保障方法。具体而言,专注于加速MRI,我们展开了一个零阶算法,网络模块代表常规器本身,使得网络输出可以仍然被正则化模型覆盖。此外,受到深度均衡模型的理想的启发,在反向化之前,我们执行了展开的迭代网络,以收敛到一个固定点,以确保收敛。如果测量数据包含噪声,我们证明了所提出的网络对嘈杂干扰具有强大。最后,数值实验表明,所提出的网络始终如一地优于最先进的MRI重建方法,包括传统的正规化方法和其他深度学习方法。
translated by 谷歌翻译
最近,未经训练的神经网络(UNNS)显示了在随机采样轨迹上对MR图像重建的令人满意的性能,而无需使用其他全面采样训练数据。但是,现有的基于UNN的方法并未完全使用MR图像物理先验,导致某些常见情况(例如部分傅立叶,常规采样等)的性能差,并且缺乏重建准确性的理论保证。为了弥合这一差距,我们使用特殊设计的UNN提出了一种保障的K空间插值方法,该方法使用特殊设计的UNN,该方法由MR图像的三个物理先验(或K空间数据)驱动,包括稀疏,线圈灵敏度平稳性和相位平滑度。我们还证明,所提出的方法保证了插值K空间数据准确性的紧密界限。最后,消融实验表明,所提出的方法比现有传统方法更准确地表征了MR图像的物理先验。此外,在一系列常用的采样轨迹下,实验还表明,所提出的方法始终优于传统的平行成像方法和现有的UNN,甚至超过了最先进的监督训练的K空间深度学习方法案例。
translated by 谷歌翻译
最近,基于得分的扩散模型在MRI重建中表现出令人满意的性能。这些方法中的大多数都需要大量完全采样的MRI数据作为培训集,有时在实践中很难获得。本文提出了用于MRI重建的完全采样的基于无DATA的分数扩散模型,该模型以不足的采样数据以自我监督的方式学习了完全采样的MR图像。具体而言,我们首先通过贝叶斯深度学习从未采样的数据中推断出完全采样的MR图像分布,然后通过训练分数函数来扰动数据分布并近似其概率密度梯度。利用学到的分数函数为先验,我们可以通过执行条件的Langevin Markov链蒙特卡洛(MCMC)采样来重建MR图像。公共数据集的实验表明,所提出的方法优于现有的自我监督的MRI重建方法,并与常规(完全采样的数据训练)基于得分的扩散方法实现可比性的性能。
translated by 谷歌翻译
减少磁共振(MR)图像采集时间可能会使MR检查更容易获得。包括深度学习模型在内的先前艺术已致力于解决长期MRI成像时间的问题。最近,深层生成模型在算法鲁棒性和使用灵活性方面具有巨大的潜力。然而,无法直接学习或使用任何现有方案。此外,还值得研究的是,深层生成模型如何在混合域上很好地工作。在这项工作中,通过利用基于深度能量的模型,我们提出了一个K空间和图像域协作生成模型,以全面估算从采样量未采样的测量中的MR数据。与最先进的实验比较表明,所提出的混合方法的重建精度较小,在不同的加速因子下更稳定。
translated by 谷歌翻译
近年来,基于深度学习的平行成像(PI)取得了巨大进展,以加速磁共振成像(MRI)。然而,现有方法的性能和鲁棒性仍然可以是不受欢迎的。在这项工作中,我们建议通过柔性PI重建,创建的重量K-Space Genera-Tive模型(WKGM)来探索K空间域学习。具体而言,WKGM是一种通用的K空间域模型,在其中有效地纳入了K空间加权技术和高维空间增强设计,用于基于得分的Genererative模型训练,从而实现良好和强大的重建。此外,WKGM具有灵活性,因此可以与各种传统的K空间PI模型协同结合,从而产生基于学习的先验以产生高保真重建。在具有不同采样模式和交流电因子的数据集上进行实验性重新构建表明,WKGM可以通过先验良好的K-Space生成剂获得最新的重建结果。
translated by 谷歌翻译
The data consistency for the physical forward model is crucial in inverse problems, especially in MR imaging reconstruction. The standard way is to unroll an iterative algorithm into a neural network with a forward model embedded. The forward model always changes in clinical practice, so the learning component's entanglement with the forward model makes the reconstruction hard to generalize. The proposed method is more generalizable for different MR acquisition settings by separating the forward model from the deep learning component. The deep learning-based proximal gradient descent was proposed to create a learned regularization term independent of the forward model. We applied the one-time trained regularization term to different MR acquisition settings to validate the proposed method and compared the reconstruction with the commonly used $\ell_1$ regularization. We showed ~3 dB improvement in the peak signal to noise ratio, compared with conventional $\ell_1$ regularized reconstruction. We demonstrated the flexibility of the proposed method in choosing different undersampling patterns. We also evaluated the effect of parameter tuning for the deep learning regularization.
translated by 谷歌翻译
Computational imaging has been revolutionized by compressed sensing algorithms, which offer guaranteed uniqueness, convergence, and stability properties. In recent years, model-based deep learning methods that combine imaging physics with learned regularization priors have been emerging as more powerful alternatives for image recovery. The main focus of this paper is to introduce a memory efficient model-based algorithm with similar theoretical guarantees as CS methods. The proposed iterative algorithm alternates between a gradient descent involving the score function and a conjugate gradient algorithm to encourage data consistency. The score function is modeled as a monotone convolutional neural network. Our analysis shows that the monotone constraint is necessary and sufficient to enforce the uniqueness of the fixed point in arbitrary inverse problems. In addition, it also guarantees the convergence to a fixed point, which is robust to input perturbations. Current algorithms including RED and MoDL are special cases of the proposed algorithm; the proposed theoretical tools enable the optimization of the framework for the deep equilibrium setting. The proposed deep equilibrium formulation is significantly more memory efficient than unrolled methods, which allows us to apply it to 3D or 2D+time problems that current unrolled algorithms cannot handle.
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
磁共振成像是临床诊断的重要工具。但是,它遭受了漫长的收购时间。深度学习的利用,尤其是深层生成模型,在磁共振成像中提供了积极的加速和更好的重建。然而,学习数据分布作为先验知识并从有限数据中重建图像仍然具有挑战性。在这项工作中,我们提出了一种新颖的Hankel-K空间生成模型(HKGM),该模型可以从一个k-空间数据的训练集中生成样品。在先前的学习阶段,我们首先从k空间数据构建一个大的Hankel矩阵,然后从大型Hankel矩阵中提取多个结构化的K空间贴片,以捕获不同斑块之间的内部分布。从Hankel矩阵中提取斑块使生成模型可以从冗余和低级别的数据空间中学习。在迭代重建阶段,可以观察到所需的解决方案遵守学识渊博的先验知识。通过将其作为生成模型的输入来更新中间重建解决方案。然后,通过对测量数据对其Hankel矩阵和数据一致性组合施加低排名的惩罚来替代地进行操作。实验结果证实,单个K空间数据中斑块的内部统计数据具有足够的信息来学习强大的生成模型并提供最新的重建。
translated by 谷歌翻译
In this work, we propose a novel image reconstruction framework that directly learns a neural implicit representation in k-space for ECG-triggered non-Cartesian Cardiac Magnetic Resonance Imaging (CMR). While existing methods bin acquired data from neighboring time points to reconstruct one phase of the cardiac motion, our framework allows for a continuous, binning-free, and subject-specific k-space representation.We assign a unique coordinate that consists of time, coil index, and frequency domain location to each sampled k-space point. We then learn the subject-specific mapping from these unique coordinates to k-space intensities using a multi-layer perceptron with frequency domain regularization. During inference, we obtain a complete k-space for Cartesian coordinates and an arbitrary temporal resolution. A simple inverse Fourier transform recovers the image, eliminating the need for density compensation and costly non-uniform Fourier transforms for non-Cartesian data. This novel imaging framework was tested on 42 radially sampled datasets from 6 subjects. The proposed method outperforms other techniques qualitatively and quantitatively using data from four and one heartbeat(s) and 30 cardiac phases. Our results for one heartbeat reconstruction of 50 cardiac phases show improved artifact removal and spatio-temporal resolution, leveraging the potential for real-time CMR.
translated by 谷歌翻译
我们提出了一个基于一般学习的框架,用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成,并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题,并学习网络参数,以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛,因为人们可以将各种现代网络结构用于正规化,而所得网络继承了算法的保证收敛性。我们还表明,所提出的网络是参数有效的,其性能与实践中各种图像重建问题中的最新方法相比有利。
translated by 谷歌翻译
磁共振成像可以产生人体解剖和生理学的详细图像,可以帮助医生诊断和治疗肿瘤等病理。然而,MRI遭受了非常长的收购时间,使其易于患者运动伪影并限制其潜力以提供动态治疗。诸如并行成像和压缩感测的常规方法允许通过使用多个接收器线圈获取更少的MRI数据来改变MR图像来增加MRI采集速度。深度学习的最新进步与平行成像和压缩传感技术相结合,具有从高度加速的MRI数据产生高保真重建。在这项工作中,我们通过利用卷积复发网络的特性和展开算法来解决复发变分网络(RevurrentVarnet)的加速改变网络(RevurrentVarnet)的任务,提出了一种基于深入的深度学习的反问题解决者。 RevurrentVarnet由多个块组成,每个块都负责梯度下降优化算法的一个展开迭代,以解决逆问题。与传统方法相反,优化步骤在观察域($ k $ -space)而不是图像域中进行。每次反复出的Varnet块都会通过观察到的$ k $ -space,并由数据一致性术语和复制单元组成,它将作为输入的隐藏状态和前一个块的预测。我们所提出的方法实现了新的最新状态,定性和定量重建导致来自公共多通道脑数据集的5倍和10倍加速数据,优于以前的传统和基于深度学习的方法。我们将在公共存储库上释放所有型号代码和基线。
translated by 谷歌翻译
通过结合使用卷积神经网(CNN)指定的物理测量模型和学习的图像验证者,对基于模型的架构(DMBA)的兴趣越来越大。例如,用于系统设计DMBA的著名框架包括插件培训(PNP),深度展开(DU)和深度平衡模型(DEQ)。尽管已广泛研究了DMBA的经验性能和理论特性,但当确切地知道所需的图像之前,该地区的现有工作主要集中在其性能上。这项工作通过在不匹配的CNN先验下向DMBA提供新的理论和数值见解来解决先前工作的差距。当训练和测试数据之间存在分布变化时,自然会出现不匹配的先验,例如,由于测试图像来自与用于训练CNN先验的图像不同的分布。当CNN事先用于推理是一些所需的统计估计器(MAP或MMSE)的近似值时,它们也会出现。我们的理论分析在一组明确指定的假设下,由于不匹配的CNN先验,在解决方案上提供了明显的误差界限。我们的数值结果比较了在现实分布变化和近似统计估计器下DMBA的经验性能。
translated by 谷歌翻译
深度学习在加速磁共振成像(MRI)中表现出惊人的性能。最先进的深度学习重建采用强大的卷积神经网络,并且由于许多磁共振图像或其对应的k空间是2D的许多磁共振图像或其对应的k空间。在这项工作中,我们展示了一种探讨了1D卷积的新方法,使得深度网络更容易受到培训和广义。我们进一步将1D卷积集成到所提出的深网络中,命名为一维深度低级和稀疏网络(ODL),它展开了低级和稀疏重建模型的迭代过程。在体内膝盖和脑数据集中的广泛结果表明,所提出的ODLS非常适合培训受试者的情况,并提供比视觉和定量的最先进的方法改进的重建性能。此外,ODL还向不同的欠采样场景显示出良好的稳健性以及培训和测试数据之间的一些不匹配。总之,我们的工作表明,在快速MRI中,1D深度学习方案是内存高效且强大的。
translated by 谷歌翻译
The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models are available at: https://github.com/IndigoPurple/DEQSCI .
translated by 谷歌翻译
物理驱动的深度学习方法已成为计算磁共振成像(MRI)问题的强大工具,将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题,并回顾了解决这些方法的经典方法。然后,我们专注于物理驱动的深度学习方法,涵盖了物理驱动的损失功能,插件方法,生成模型和展开的网络。我们重点介绍了特定于领域的挑战,例如神经网络的实现和复杂值的构建基块,以及具有线性和非线性正向模型的MRI转换应用。最后,我们讨论常见问题和开放挑战,并与物理驱动的学习与医学成像管道中的其他下游任务相结合时,与物理驱动的学习的重要性联系在一起。
translated by 谷歌翻译
CSGM框架(Bora-Jalal-Price-Dimakis'17)表明,深度生成前沿可能是解决逆问题的强大工具。但是,迄今为止,此框架仅在某些数据集(例如,人称和MNIST数字)上经验成功,并且已知在分布外样品上表现不佳。本文介绍了CSGM框架在临床MRI数据上的第一次成功应用。我们在FastMri DataSet上培训了大脑扫描之前的生成,并显示通过Langevin Dynamics的后验采样实现了高质量的重建。此外,我们的实验和理论表明,后部采样是对地面定语分布和测量过程的变化的强大。我们的代码和型号可用于:\ URL {https://github.com/utcsilab/csgm-mri-langevin}。
translated by 谷歌翻译
磁共振(MR)图像重建来自高度缺点$ K $ -space数据在加速MR成像(MRI)技术中至关重要。近年来,基于深度学习的方法在这项任务中表现出很大的潜力。本文提出了一种学习的MR图像重建半二次分割算法,并在展开的深度学习网络架构中实现算法。我们比较我们提出的方法对针对DC-CNN和LPDNET的公共心先生数据集的性能,我们的方法在定量结果和定性结果中表现出其他方法,具有更少的模型参数和更快的重建速度。最后,我们扩大了我们的模型,实现了卓越的重建质量,并且改善为1.76美元$ 276 $ 274美元的LPDNET以5美元\倍率为5美元的峰值信噪比。我们的方法的代码在https://github.com/hellopipu/hqs-net上公开使用。
translated by 谷歌翻译
最近关于其他方式的核化图像T1辅助MRI重建的研究表明,进一步加速MRI收购其他方式的潜力。大多数最先进的方法通过开发用于固定的欠采样模式的网络架构来实现改进,而不完全利用方式之间的互补信息。尽管可以简单地修改现有的下采样模式学习算法以允许完全采样的T1加权MR图像来辅助模式学习,但是可以实现重建任务的显着改进。为此,我们提出了一个迭代框架,优化了MRI获取的另一种方式的采样下采样模式,可以在不同的下抽样因子中补充完全采样的T1加权MR图像,同时共同优化T1辅助MRI重建模型。具体地,我们所提出的方法利用两种模式之间的潜在信息的差异来确定可以最大化T1加权MR图像的辅助功率在改善MRI重建时最大化的采样模式。与常用的下采样模式和最先进的方法相比,我们在公共数据集中展示了我们在公共数据集上的学习的下采样模式的卓越表现,可以联合优化重建网络和欠采样模式以8倍的取样因子。
translated by 谷歌翻译
深度学习方法已成为重建MR重建的最新采样的状态。特别是对于地面真理不可行或不可能的情况,要获取完全采样的数据,重建的自我监督的机器学习方法正在越来越多地使用。但是,在验证此类方法及其普遍性的验证中的潜在问题仍然没有得到充实的态度。在本文中,我们研究了自制算法验证未采样MR图像的重要方面:对前瞻性重建的定量评估,前瞻性和回顾性重建之间的潜在差异,常用的定量衡量标准的适用性和普遍性。研究了两种基于自我监督的denoising和先验的深层图像的自我监督算法。将这些方法与使用体内和幻影数据的最小二乘拟合以及压缩感测重建进行比较。它们的推广性通过前瞻性采样的数据与培训不同的数据进行了测试。我们表明,相对于回顾性重建/地面真理,前瞻性重建可能表现出严重的失真。此外,与感知度量相比,与像素定量指标的定量指标可能无法准确捕获感知质量的差异。此外,所有方法均显示出泛化的潜力。然而,与其他变化相比,概括性的影响更大。我们进一步表明,无参考图像指标与人类对图像质量的评级很好地对应,以研究概括性。最后,我们证明了经过调整的压缩感测重建和学习的DeNoising在所有数据上都相似地执行。
translated by 谷歌翻译