自由呼吸的心脏MRI计划是呼吸持有的Cine MRI协议的竞争替代方案,使适用于儿科和其他不能屏住呼吸的人群。因为来自切片的数据顺序获取,所以心脏/呼吸运动模式可能对每个切片不同;目前的自由呼吸方法对每个切片进行独立恢复。除了不能利用切片间冗余之外,需要手动干预或复杂的后处理方法来对准恢复后的图像进行量化。为了克服这些挑战,我们提出了一种无监督的变分深歧管学习方案,用于多层动态MRI的联合对准和重建。该方案共同了解深网络的参数以及捕获特定对象的K-T空间数据的运动引起的动态变化的每个切片的潜在矢量。变形框架最小化表示中的非唯一性,从而提供改进的对准和重建。
translated by 谷歌翻译
我们介绍了一种无监督的深层歧管学习算法,用于运动补偿动态MRI。我们假设自由呼吸的肺部MRI数据集中的运动场在歧管上。每次即时的运动场被建模为深生成模型的输出,由捕获时间变异性的低维时变潜沿驱动。每次即时的图像都是使用上述运动字段作为图像模板的变形版本的建模。模板,深发电机的参数,以及潜伏向量以无监督的方式从K-T空间数据中学到。歧管运动模型用作规范器,使得运动场和图像的联合估计来自少数径向辐射/帧井井出良好。在运动补偿的高分辨率肺线MRI的背景下证明了算法的效用。
translated by 谷歌翻译
我们为高分辨率自由呼吸肺MRI介绍了无监督的运动补偿重建方案。我们将时间序列中的图像帧模拟为3D模板图像卷的变形版本。我们假设变形图在高维空间中的光滑歧管上是点。具体地,我们在每次时刻模拟变形图作为基于CNN的发电机的输出,该发电机的输出具有由低维潜航向量驱动的所有时间框架的权重。潜伏向量的时间序列占数据集中的动态,包括呼吸运动和散装运动。模板图像卷,发电机的参数,以及潜在矢量的直接从k-t空间数据以无监督的方式学习。我们的实验结果表明,与最先进的方法相比,改进了重建,特别是在扫描期间散装运动的背景下。
translated by 谷歌翻译
2D低剂量单板腹部计算机断层扫描(CT)切片可直接测量身体成分,这对于对衰老的健康关系进行定量表征至关重要。然而,由于不同年内获得的纵向切片之间的位置方差,使用2D腹部切片对人体成分变化的纵向分析具有挑战性。为了减少位置差异,我们将条件生成模型扩展到我们的C-斜肌,该模型在腹部区域进行任意轴向切片作为条件,并通过估计潜在空间的结构变化来生成定义的椎骨水平切片。对来自内部数据集的1170名受试者的实验和BTCV Miccai挑战赛的50名受试者的实验表明,我们的模型可以从现实主义和相似性方面产生高质量的图像。来自巴尔的摩纵向研究(BLSA)数据集的20名受试者的外部实验,其中包含纵向单腹部切片验证了我们的方法可以在肌肉和内脏脂肪面积方面与切片的位置方差进行协调。我们的方法提供了一个有希望的方向,将切片从不同的椎骨水平映射到目标切片,以减少单个切片纵向分析的位置差异。源代码可在以下网址获得:https://github.com/masilab/c-slicegen。
translated by 谷歌翻译
Image reconstruction using deep learning algorithms offers improved reconstruction quality and lower reconstruction time than classical compressed sensing and model-based algorithms. Unfortunately, clean and fully sampled ground-truth data to train the deep networks is often unavailable in several applications, restricting the applicability of the above methods. We introduce a novel metric termed the ENsemble Stein's Unbiased Risk Estimate (ENSURE) framework, which can be used to train deep image reconstruction algorithms without fully sampled and noise-free images. The proposed framework is the generalization of the classical SURE and GSURE formulation to the setting where the images are sampled by different measurement operators, chosen randomly from a set. We evaluate the expectation of the GSURE loss functions over the sampling patterns to obtain the ENSURE loss function. We show that this loss is an unbiased estimate for the true mean-square error, which offers a better alternative to GSURE, which only offers an unbiased estimate for the projected error. Our experiments show that the networks trained with this loss function can offer reconstructions comparable to the supervised setting. While we demonstrate this framework in the context of MR image recovery, the ENSURE framework is generally applicable to arbitrary inverse problems.
translated by 谷歌翻译
心肌运动和变形是表征心脏功能的丰富描述符。图像注册是心肌运动跟踪最常用的技术,是一个不当的反问题,通常需要先前对解决方案空间进行假设。与大多数现有的方法相反,它们强加了明确的通用正则化(例如平滑度),在这项工作中,我们提出了一种新的方法,该方法可以隐式地学习了特定于应用程序的生物力学知识,并将其嵌入了神经网络参数化转换模型中。尤其是,提出的方法利用基于变异自动编码器的生成模型来学习生物力学上合理变形的多种多样。然后,可以通过穿越学习的歧管来搜索最佳转换时,在考虑序列信息时搜索最佳转换。该方法在三个公共心脏Cine MRI数据集中进行了验证,并具有全面的评估。结果表明,所提出的方法可以胜过其他方法,从而获得更高的运动跟踪精度,并具有合理的量保存和更好地变化数据分布的概括性。它还可以更好地估计心肌菌株,这表明该方法在表征时空特征以理解心血管疾病方面的潜力。
translated by 谷歌翻译
In this work, we propose a novel image reconstruction framework that directly learns a neural implicit representation in k-space for ECG-triggered non-Cartesian Cardiac Magnetic Resonance Imaging (CMR). While existing methods bin acquired data from neighboring time points to reconstruct one phase of the cardiac motion, our framework allows for a continuous, binning-free, and subject-specific k-space representation.We assign a unique coordinate that consists of time, coil index, and frequency domain location to each sampled k-space point. We then learn the subject-specific mapping from these unique coordinates to k-space intensities using a multi-layer perceptron with frequency domain regularization. During inference, we obtain a complete k-space for Cartesian coordinates and an arbitrary temporal resolution. A simple inverse Fourier transform recovers the image, eliminating the need for density compensation and costly non-uniform Fourier transforms for non-Cartesian data. This novel imaging framework was tested on 42 radially sampled datasets from 6 subjects. The proposed method outperforms other techniques qualitatively and quantitatively using data from four and one heartbeat(s) and 30 cardiac phases. Our results for one heartbeat reconstruction of 50 cardiac phases show improved artifact removal and spatio-temporal resolution, leveraging the potential for real-time CMR.
translated by 谷歌翻译
肾脏DCE-MRI旨在通过估计示踪动力学(TK)模型参数来定义评估肾脏解剖学和对肾功能的定量评估。 TK模型参数的准确估计需要具有高时间分辨率的动脉输入功能(AIF)的精确测量。加速成像用于实现高时间分辨率,其在重建图像中产生欠采样伪像。压缩传感(CS)方法提供各种重建选项。最常见的是,鼓励正规化的时间差异的稀疏性以减少伪影。在CS方法中越来越多的正则化除去环境伪像,但也会过度平滑时间,这减少了参数估计精度。在这项工作中,我们提出了一种训练有素的深神经网络,以减少MRI欠采样伪像而不降低功能成像标记的准确性。通过从较低的维度表示,我们通过从较低维度表示来促进正常化而不是在惩罚术语中进行规范化。在此手稿中,我们激励并解释了较低的维度输入设计。我们将我们的方法与多个正则化权重进行CS重建的方法。所提出的方法导致肾生物标志物与使用CS重建估计的地面真理标记高度相关,这是针对功能分析进行了优化的。同时,所提出的方法减少了重建图像中的伪像。
translated by 谷歌翻译
我们提出了一种使用合理的心形和现实外观合成心脏MR图像的方法,目的是生成标记的数据进行深度学习(DL)训练。它将图像合成分解为标签变形和标签到图像翻译任务。前者是通过VAE模型中的潜在空间插值来实现的,而后者是通过条件GAN模型完成的。我们设计了一种在受过训练的VAE模型的潜在空间中的标记操纵方法,即病理合成,旨在合成一系列具有所需心脏病特征的伪病理合成受试者。此外,我们建议通过估计潜在矢量之间的相关系数矩阵来对2D切片之间的关系进行建模,并利用它在解码到图像空间之前将样品随机绘制的元素关联。这种简单而有效的方法导致从2D片段产生3D一致的受试者。这种方法可以提供一种解决方案,以多样化和丰富心脏MR图像的可用数据库,并为开发基于DL的图像分析算法的开发铺平道路。该代码将在https://github.com/sinaamirrajab/cardiacpathologysynthesis中找到。
translated by 谷歌翻译
物理驱动的深度学习方法已成为计算磁共振成像(MRI)问题的强大工具,将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题,并回顾了解决这些方法的经典方法。然后,我们专注于物理驱动的深度学习方法,涵盖了物理驱动的损失功能,插件方法,生成模型和展开的网络。我们重点介绍了特定于领域的挑战,例如神经网络的实现和复杂值的构建基块,以及具有线性和非线性正向模型的MRI转换应用。最后,我们讨论常见问题和开放挑战,并与物理驱动的学习与医学成像管道中的其他下游任务相结合时,与物理驱动的学习的重要性联系在一起。
translated by 谷歌翻译
依赖广泛训练数据的深度学习算法正在彻底改变图像恢复从令人虐待的测量。在许多成像应用中,培训数据稀缺,包括超高分辨率成像。引入了用于单次图像恢复的深图(DIP)算法,完全消除了对训练数据的需求。利用该方案的挑战是需要早期停止以最小化CNN参数的过度,以对测量中的噪声最小化。我们介绍了一般性的Stein的无偏见风险估计(GSURE)损失度量,以最大限度地减少过度装备。我们的实验表明,确定的方法最大限度地减少了过度装备的问题,从而提高了古典DIP方案的显着提高的性能。我们还使用CuSt-DIP方法与基于模型的展开架构,其通过直接反转方案提供了改进的性能。
translated by 谷歌翻译
休息状态功能磁共振成像(FMRI)是一种强大的成像技术,用于研究UTETO脑功能的功能发展。然而,胎儿的不可预测和过度运动具有有限的临床应用,因为它导致可以系统地改变了功能连接模式的大量信号波动。以前的研究专注于在大胎儿头部运动的情况下的运动参数的准确估计,并在每个时间点使用3D单步插值方法来恢复无动态的FMRI图像。这并不保证重建的图像对应于给定获取的数据的FMRI时间序列的最小错误表示。在这里,我们提出了一种基于胎儿FMRI散射切片的四维迭代重建的新技术。在一组真正的临床FMRI胎儿上定量评估所提出的方法的准确性。结果表明与传统的3D插值方法相比,重建质量的改进。
translated by 谷歌翻译
最近,由于高性能,深度学习方法已成为生物学图像重建和增强问题的主要研究前沿,以及其超快速推理时间。但是,由于获得监督学习的匹配参考数据的难度,对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是,已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中,我们概述了在古典逆问题的背景下的连贯性观点,并讨论其对生物成像的应用,包括电子,荧光和去卷积显微镜,光学衍射断层扫描和功能性神经影像。
translated by 谷歌翻译
我们引入了一个框架,该框架可以从学习概率分布中进行有效的MRI重建。与传统的基于深度学习的MRI重建技术不同,鉴于使用Markov链蒙特卡洛(MCMC)方法测得的K空间,样品是从后部分布中得出的。除了可以通过常规方法获得的图像的最大后验(MAP)估计值外,还可以计算最小平方误差(MMSE)估计值和不确定性图。数据驱动的马尔可夫链是根据从给定的图像数据库中学到的生成模型构建的,并且独立于用于建模K空间测量的前向操作员。这提供了灵活性,因为该方法可以应用于使用不同的采样方案获得的K空间或使用相同的预训练模型接收线圈。此外,我们使用基于反向扩散过程的框架来利用高级生成模型。该方法的性能使用K空间中的10倍下采样在开放数据集上进行评估。
translated by 谷歌翻译
用冷冻电子显微镜(Cryo-EM)溶液中生物分子高分辨率成像的近期突破已经解锁了用于重建分子体积的新门,从而有望在其他人之间进一步进一步进展。尽管有很大的入脚,但Cryo-EM数据分析中的巨大挑战仍然是军团和错综复杂的自然间学科,需要物理学家,结构生物学家,计算机科学家,统计学家和应用数学家的见解。同时,最近的下一代卷重建算法与端到端无监督的深度学习技术相结合的生成建模已经显示了对模拟数据的有希望的结果,但在应用于实验Cryo-EM图像时仍然面临相当大的障碍。鉴于此类方法的增殖并鉴于任务的跨学科性质,我们提出了对高分辨率低分辨率建模领域的最近进步的批判性审查。目前的审查旨在(i)比较和对比这些新方法,而(ii)将它们从透视和使用科学家熟悉的术语呈现出来,在任何五个上述领域中没有Cryo-Em中没有具体的背景。审查始于引言介绍低温 - EM批量重建的深度生成模型的数学和计算挑战,同时概述了这类算法中共享的基线方法。通过这些不同的模型建立了常见的线程编织,我们提供了这些最先进的算法的实际比较,突出了它们的相对优势和劣势以及它们依赖的假设。这使我们能够识别当前方法和途径的瓶颈,以便将来的研究。
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
在几乎不可预测且通常严重的主题运动的情况下获得的多个MR Slices的胎儿大脑的体积重建是一项具有挑战性的任务,对切片转换的初始化非常敏感。我们建议使用经过合成转换数据训练的变压器提出了一种新型的切片到体积的注册方法,该数据将MR Slices的多个堆栈模拟为序列。通过注意机制,我们的模型会自动检测切片之间的相关性,并使用来自其他切片的信息预测一个切片的转换。我们还估计了基础3D卷,以帮助切片到体积的注册,并交替更新音量和转换以提高准确性。合成数据的结果表明,与现有的最新方法相比,我们的方法可实现较低的注册误差和更好的重建质量。还进行了使用现实世界中MRI数据的实验,以证明该模型在严重的胎儿运动下提高3D重建质量的能力。
translated by 谷歌翻译
Computational imaging has been revolutionized by compressed sensing algorithms, which offer guaranteed uniqueness, convergence, and stability properties. In recent years, model-based deep learning methods that combine imaging physics with learned regularization priors have been emerging as more powerful alternatives for image recovery. The main focus of this paper is to introduce a memory efficient model-based algorithm with similar theoretical guarantees as CS methods. The proposed iterative algorithm alternates between a gradient descent involving the score function and a conjugate gradient algorithm to encourage data consistency. The score function is modeled as a monotone convolutional neural network. Our analysis shows that the monotone constraint is necessary and sufficient to enforce the uniqueness of the fixed point in arbitrary inverse problems. In addition, it also guarantees the convergence to a fixed point, which is robust to input perturbations. Current algorithms including RED and MoDL are special cases of the proposed algorithm; the proposed theoretical tools enable the optimization of the framework for the deep equilibrium setting. The proposed deep equilibrium formulation is significantly more memory efficient than unrolled methods, which allows us to apply it to 3D or 2D+time problems that current unrolled algorithms cannot handle.
translated by 谷歌翻译
深度学习在加速磁共振成像(MRI)中表现出惊人的性能。最先进的深度学习重建采用强大的卷积神经网络,并且由于许多磁共振图像或其对应的k空间是2D的许多磁共振图像或其对应的k空间。在这项工作中,我们展示了一种探讨了1D卷积的新方法,使得深度网络更容易受到培训和广义。我们进一步将1D卷积集成到所提出的深网络中,命名为一维深度低级和稀疏网络(ODL),它展开了低级和稀疏重建模型的迭代过程。在体内膝盖和脑数据集中的广泛结果表明,所提出的ODLS非常适合培训受试者的情况,并提供比视觉和定量的最先进的方法改进的重建性能。此外,ODL还向不同的欠采样场景显示出良好的稳健性以及培训和测试数据之间的一些不匹配。总之,我们的工作表明,在快速MRI中,1D深度学习方案是内存高效且强大的。
translated by 谷歌翻译
可解释性和鲁棒性必须在临床应用中整合加速磁共振成像(MRI)重建的机器学习方法。这样做会允许快速高质量的解剖和病理学成像。数据一致性(DC)对于多模态数据的泛化至关重要,以及检测病理学的鲁棒性。这项工作提出了独立复发推理机(CIRIM)的级联,通过展开优化来评估DC,通过梯度下降,并通过设计的术语明确地明确。我们对CIRIM与其他展开的优化方法进行广泛的比较,是端到端变分网络(E2EVN)和轮辋,以及UNET和压缩感测(CS)。评估是分两个阶段完成的。首先,评估关于多次训练的MRI模型的学习,即用{t_1} $ - 加权和平凡对比,以及$ {t_2} $ - 加权膝盖数据。其次,在通过3D Flair MRI数据中重建依赖多发性硬化(MS)患者的3D Flair MRI数据来测试鲁棒性。结果表明,CIRIM在隐式强制执行DC时表现最佳,而E2EVN需要明确制定的DC。 CIRIM在重建临床MS数据时显示出最高病变对比度分辨率。与CS相比,性能提高了大约11%,而重建时间是二十次减少。
translated by 谷歌翻译