用于医学图像重建的深度神经网络传统上使用高质量的地基图像作为训练目标训练。最近关于噪声的工作(N2N)已经示出了使用与具有地面真理的多个噪声测量的潜力。然而,现有的基于N2N的方法不适合于从经历非身份变形的物体的测量来学习。本文通过补偿对象变形来提出用于训练深层重建网络的变形补偿学习(DecoLearn)方法来解决此问题。DecoLearn的一个关键组件是一个深度登记模块,它与深度重建网络共同培训,没有任何地理监督。我们在模拟和实验收集的磁共振成像(MRI)数据上验证了甲板,并表明它显着提高了成像质量。
translated by 谷歌翻译
物理驱动的深度学习方法已成为计算磁共振成像(MRI)问题的强大工具,将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题,并回顾了解决这些方法的经典方法。然后,我们专注于物理驱动的深度学习方法,涵盖了物理驱动的损失功能,插件方法,生成模型和展开的网络。我们重点介绍了特定于领域的挑战,例如神经网络的实现和复杂值的构建基块,以及具有线性和非线性正向模型的MRI转换应用。最后,我们讨论常见问题和开放挑战,并与物理驱动的学习与医学成像管道中的其他下游任务相结合时,与物理驱动的学习的重要性联系在一起。
translated by 谷歌翻译
我们为高分辨率自由呼吸肺MRI介绍了无监督的运动补偿重建方案。我们将时间序列中的图像帧模拟为3D模板图像卷的变形版本。我们假设变形图在高维空间中的光滑歧管上是点。具体地,我们在每次时刻模拟变形图作为基于CNN的发电机的输出,该发电机的输出具有由低维潜航向量驱动的所有时间框架的权重。潜伏向量的时间序列占数据集中的动态,包括呼吸运动和散装运动。模板图像卷,发电机的参数,以及潜在矢量的直接从k-t空间数据以无监督的方式学习。我们的实验结果表明,与最先进的方法相比,改进了重建,特别是在扫描期间散装运动的背景下。
translated by 谷歌翻译
Supervised Deep-Learning (DL)-based reconstruction algorithms have shown state-of-the-art results for highly-undersampled dynamic Magnetic Resonance Imaging (MRI) reconstruction. However, the requirement of excessive high-quality ground-truth data hinders their applications due to the generalization problem. Recently, Implicit Neural Representation (INR) has appeared as a powerful DL-based tool for solving the inverse problem by characterizing the attributes of a signal as a continuous function of corresponding coordinates in an unsupervised manner. In this work, we proposed an INR-based method to improve dynamic MRI reconstruction from highly undersampled k-space data, which only takes spatiotemporal coordinates as inputs. Specifically, the proposed INR represents the dynamic MRI images as an implicit function and encodes them into neural networks. The weights of the network are learned from sparsely-acquired (k, t)-space data itself only, without external training datasets or prior images. Benefiting from the strong implicit continuity regularization of INR together with explicit regularization for low-rankness and sparsity, our proposed method outperforms the compared scan-specific methods at various acceleration factors. E.g., experiments on retrospective cardiac cine datasets show an improvement of 5.5 ~ 7.1 dB in PSNR for extremely high accelerations (up to 41.6-fold). The high-quality and inner continuity of the images provided by INR has great potential to further improve the spatiotemporal resolution of dynamic MRI, without the need of any training data.
translated by 谷歌翻译
深度学习方法已成为重建MR重建的最新采样的状态。特别是对于地面真理不可行或不可能的情况,要获取完全采样的数据,重建的自我监督的机器学习方法正在越来越多地使用。但是,在验证此类方法及其普遍性的验证中的潜在问题仍然没有得到充实的态度。在本文中,我们研究了自制算法验证未采样MR图像的重要方面:对前瞻性重建的定量评估,前瞻性和回顾性重建之间的潜在差异,常用的定量衡量标准的适用性和普遍性。研究了两种基于自我监督的denoising和先验的深层图像的自我监督算法。将这些方法与使用体内和幻影数据的最小二乘拟合以及压缩感测重建进行比较。它们的推广性通过前瞻性采样的数据与培训不同的数据进行了测试。我们表明,相对于回顾性重建/地面真理,前瞻性重建可能表现出严重的失真。此外,与感知度量相比,与像素定量指标的定量指标可能无法准确捕获感知质量的差异。此外,所有方法均显示出泛化的潜力。然而,与其他变化相比,概括性的影响更大。我们进一步表明,无参考图像指标与人类对图像质量的评级很好地对应,以研究概括性。最后,我们证明了经过调整的压缩感测重建和学习的DeNoising在所有数据上都相似地执行。
translated by 谷歌翻译
In this work, we propose a novel image reconstruction framework that directly learns a neural implicit representation in k-space for ECG-triggered non-Cartesian Cardiac Magnetic Resonance Imaging (CMR). While existing methods bin acquired data from neighboring time points to reconstruct one phase of the cardiac motion, our framework allows for a continuous, binning-free, and subject-specific k-space representation.We assign a unique coordinate that consists of time, coil index, and frequency domain location to each sampled k-space point. We then learn the subject-specific mapping from these unique coordinates to k-space intensities using a multi-layer perceptron with frequency domain regularization. During inference, we obtain a complete k-space for Cartesian coordinates and an arbitrary temporal resolution. A simple inverse Fourier transform recovers the image, eliminating the need for density compensation and costly non-uniform Fourier transforms for non-Cartesian data. This novel imaging framework was tested on 42 radially sampled datasets from 6 subjects. The proposed method outperforms other techniques qualitatively and quantitatively using data from four and one heartbeat(s) and 30 cardiac phases. Our results for one heartbeat reconstruction of 50 cardiac phases show improved artifact removal and spatio-temporal resolution, leveraging the potential for real-time CMR.
translated by 谷歌翻译
在本文中,我们开发了一种高效的回顾性深度学习方法,称为堆叠U-网,具有自助前沿,解决MRI中刚性运动伪影的问题。拟议的工作利用损坏的图像本身使用额外的知识前瞻,而无需额外的对比度数据。所提出的网络通过共享来自相同失真对象的连续片的辅助信息来学习错过的结构细节。我们进一步设计了一种堆叠的U-网的细化,便于保持图像空间细节,从而提高了像素到像素依赖性。为了执行网络培训,MRI运动伪像的模拟是不可避免的。我们使用各种类型的图像前瞻呈现了一个密集的分析:来自同一主题的其他图像对比的提出的自助前锋和前锋。实验分析证明了自助前锋的有效性和可行性,因为它不需要任何进一步的数据扫描。
translated by 谷歌翻译
肾脏DCE-MRI旨在通过估计示踪动力学(TK)模型参数来定义评估肾脏解剖学和对肾功能的定量评估。 TK模型参数的准确估计需要具有高时间分辨率的动脉输入功能(AIF)的精确测量。加速成像用于实现高时间分辨率,其在重建图像中产生欠采样伪像。压缩传感(CS)方法提供各种重建选项。最常见的是,鼓励正规化的时间差异的稀疏性以减少伪影。在CS方法中越来越多的正则化除去环境伪像,但也会过度平滑时间,这减少了参数估计精度。在这项工作中,我们提出了一种训练有素的深神经网络,以减少MRI欠采样伪像而不降低功能成像标记的准确性。通过从较低的维度表示,我们通过从较低维度表示来促进正常化而不是在惩罚术语中进行规范化。在此手稿中,我们激励并解释了较低的维度输入设计。我们将我们的方法与多个正则化权重进行CS重建的方法。所提出的方法导致肾生物标志物与使用CS重建估计的地面真理标记高度相关,这是针对功能分析进行了优化的。同时,所提出的方法减少了重建图像中的伪像。
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
强度衍射断层扫描(IDT)是指用于从一组仅2D强度测量的样品成像样品的3D折射率(RI)分布的一类光学显微镜技术。由于相位信息的丢失和缺失的锥体问题,无伪影RI地图的重建是IDT的一个基本挑战。神经领域(NF)最近成为一种新的深度学习方法(DL),用于学习物理领域的连续表示。 NF使用基于坐标的神经网络来表示该场,通过将空间坐标映射到相应的物理量,在我们的情况下,复杂价值的折射率值。我们将DEPAF作为第一种基于NF的IDT方法,可以从仅强度和有限角度的测量值中学习RI体积的高质量连续表示。 DECAF中的表示形式是通过使用IDT向前模型直接从测试样品的测量值中学到的,而无需任何地面真相图。我们对模拟和实验生物学样品进行定性和定量评估DECAF。我们的结果表明,DECAF可以生成高对比度和无伪影RI图,并导致MSE超过现有方法的2.1倍。
translated by 谷歌翻译
最近关于其他方式的核化图像T1辅助MRI重建的研究表明,进一步加速MRI收购其他方式的潜力。大多数最先进的方法通过开发用于固定的欠采样模式的网络架构来实现改进,而不完全利用方式之间的互补信息。尽管可以简单地修改现有的下采样模式学习算法以允许完全采样的T1加权MR图像来辅助模式学习,但是可以实现重建任务的显着改进。为此,我们提出了一个迭代框架,优化了MRI获取的另一种方式的采样下采样模式,可以在不同的下抽样因子中补充完全采样的T1加权MR图像,同时共同优化T1辅助MRI重建模型。具体地,我们所提出的方法利用两种模式之间的潜在信息的差异来确定可以最大化T1加权MR图像的辅助功率在改善MRI重建时最大化的采样模式。与常用的下采样模式和最先进的方法相比,我们在公共数据集中展示了我们在公共数据集上的学习的下采样模式的卓越表现,可以联合优化重建网络和欠采样模式以8倍的取样因子。
translated by 谷歌翻译
人工智能(AI)和机器学习(ML)在改善医学成像工作流程(从图像获取和重建到疾病诊断和治疗)方面具有巨大潜力。特别是,近年来,用于医学图像重建的AI和ML算法(尤其是基于深度学习(DL)的方法)的使用,尤其是基于深度学习(DL)的方法已有显着增长。就重建质量和计算效率而言,DL技术已证明具有竞争力,并且通常比常规重建方法优越。基于DL的图像重建的使用还提供了有前途的机会,可以改变心脏图像的获取和重建方式。在本章中,我们将回顾用于心脏成像的基于DL的重建技术的最新进展,重点是心脏磁共振(CMR)图像重建。我们主要关注该应用程序的监督DL方法,包括图像后处理技术,模型驱动方法和基于K空间的方法。还讨论了DL对心脏图像重建的当前局限性,挑战和未来机会。
translated by 谷歌翻译
通过结合使用卷积神经网(CNN)指定的物理测量模型和学习的图像验证者,对基于模型的架构(DMBA)的兴趣越来越大。例如,用于系统设计DMBA的著名框架包括插件培训(PNP),深度展开(DU)和深度平衡模型(DEQ)。尽管已广泛研究了DMBA的经验性能和理论特性,但当确切地知道所需的图像之前,该地区的现有工作主要集中在其性能上。这项工作通过在不匹配的CNN先验下向DMBA提供新的理论和数值见解来解决先前工作的差距。当训练和测试数据之间存在分布变化时,自然会出现不匹配的先验,例如,由于测试图像来自与用于训练CNN先验的图像不同的分布。当CNN事先用于推理是一些所需的统计估计器(MAP或MMSE)的近似值时,它们也会出现。我们的理论分析在一组明确指定的假设下,由于不匹配的CNN先验,在解决方案上提供了明显的误差界限。我们的数值结果比较了在现实分布变化和近似统计估计器下DMBA的经验性能。
translated by 谷歌翻译
自我监督的学习表现出了巨大的希望,因为它可以在没有完全采样的数据的情况下训练深度学习MRI重建方法。当前用于物理学指导的重建网络的自我监督的学习方法分裂获得了两个不相交的数据,其中一种用于独立网络中的数据一致性(DC),另一个用于定义培训损失。在这项研究中,我们提出了一种改进的自我监督学习策略,该策略更有效地使用获得的数据来训练物理学指导的重建网络,而无需数据完全采样的数据。提出的通过数据下采样(SSDU)对所提出的多掩码自我监督的学习(SSDU)应用于获得的测量结果,将其分为每个训练样本的多对不相交集,而使用这些对DC单位和DC单位和其中一对,其他用于定义损失的,从而更有效地使用了不足采样的数据。多面罩SSDU应用于完全采样的3D膝盖上,并前瞻性地采样3D脑MRI数据集,用于各种加速度和图案,并与CG-Sense和单膜ssdu dl-MRI以及受监督的DL-MRI以及当时的DL-MRI进行比较。提供了完全采样的数据。膝盖MRI的结果表明,提出的多面罩SSDU胜过SSDU,并与受监督的DL-MRI紧密相关。一项临床读者的研究进一步将多面罩SSDU在SNR和混叠伪影方面高于监督的DL-MRI。大脑MRI的结果表明,与SSDU相比,多面罩SSDU可以达到更好的重建质量。读者的研究表明,与单罩SSDU相比,r = 8时的多面膜SSDU显着改善了重建,r = 8,以及r = 2时的CG-Sense。
translated by 谷歌翻译
目的:并行成像通过用一系列接收器线圈获取其他灵敏度信息,从而加速了磁共振成像(MRI)数据,从而降低了相位编码步骤。压缩传感磁共振成像(CS-MRI)在医学成像领域中获得了普及,因为其数据要求较少,而不是平行成像。并行成像和压缩传感(CS)均通过最大程度地减少K空间中捕获的数据量来加快传统MRI获取。由于采集时间与样品的数量成反比,因此从缩短的K空间样品中的图像的反向形成会导致收购更快,但具有混乱的伪像。本文提出了一种新型的生成对抗网络(GAN),即雷德格尔(Recgan-gr)受到多模式损失的监督,以消除重建的图像。方法:与现有的GAN网络相反,我们提出的方法引入了一种新型的发电机网络,即与双域损耗函数集成的弹药网络,包括加权幅度和相位损耗函数以及基于平行成像的损失,即Grappa一致性损失。提出了K空间校正块,以使GAN网络自动化生成不必要的数据,从而使重建过程的收敛性更快。结果:全面的结果表明,拟议的Recgan-GR在基于GAN的方法中的PSNR有4 dB的改善,并且在文献中可用的传统最先进的CNN方法中有2 dB的改进。结论和意义:拟议的工作有助于显着改善低保留数据的图像质量,从而更快地获取了5倍或10倍。
translated by 谷歌翻译
Image reconstruction using deep learning algorithms offers improved reconstruction quality and lower reconstruction time than classical compressed sensing and model-based algorithms. Unfortunately, clean and fully sampled ground-truth data to train the deep networks is often unavailable in several applications, restricting the applicability of the above methods. We introduce a novel metric termed the ENsemble Stein's Unbiased Risk Estimate (ENSURE) framework, which can be used to train deep image reconstruction algorithms without fully sampled and noise-free images. The proposed framework is the generalization of the classical SURE and GSURE formulation to the setting where the images are sampled by different measurement operators, chosen randomly from a set. We evaluate the expectation of the GSURE loss functions over the sampling patterns to obtain the ENSURE loss function. We show that this loss is an unbiased estimate for the true mean-square error, which offers a better alternative to GSURE, which only offers an unbiased estimate for the projected error. Our experiments show that the networks trained with this loss function can offer reconstructions comparable to the supervised setting. While we demonstrate this framework in the context of MR image recovery, the ENSURE framework is generally applicable to arbitrary inverse problems.
translated by 谷歌翻译
磁共振(MR)图像重建来自高度缺点$ K $ -space数据在加速MR成像(MRI)技术中至关重要。近年来,基于深度学习的方法在这项任务中表现出很大的潜力。本文提出了一种学习的MR图像重建半二次分割算法,并在展开的深度学习网络架构中实现算法。我们比较我们提出的方法对针对DC-CNN和LPDNET的公共心先生数据集的性能,我们的方法在定量结果和定性结果中表现出其他方法,具有更少的模型参数和更快的重建速度。最后,我们扩大了我们的模型,实现了卓越的重建质量,并且改善为1.76美元$ 276 $ 274美元的LPDNET以5美元\倍率为5美元的峰值信噪比。我们的方法的代码在https://github.com/hellopipu/hqs-net上公开使用。
translated by 谷歌翻译
Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN
translated by 谷歌翻译
减少磁共振(MR)图像采集时间可能会使MR检查更容易获得。包括深度学习模型在内的先前艺术已致力于解决长期MRI成像时间的问题。最近,深层生成模型在算法鲁棒性和使用灵活性方面具有巨大的潜力。然而,无法直接学习或使用任何现有方案。此外,还值得研究的是,深层生成模型如何在混合域上很好地工作。在这项工作中,通过利用基于深度能量的模型,我们提出了一个K空间和图像域协作生成模型,以全面估算从采样量未采样的测量中的MR数据。与最先进的实验比较表明,所提出的混合方法的重建精度较小,在不同的加速因子下更稳定。
translated by 谷歌翻译
深度学习方法已成功用于各种计算机视觉任务。受到成功的启发,已经在磁共振成像(MRI)重建中探索了深度学习。特别是,整合深度学习和基于模型的优化方法已显示出很大的优势。但是,对于高重建质量,通常需要大量标记的培训数据,这对于某些MRI应用来说是具有挑战性的。在本文中,我们提出了一种名为DUREN-NET的新型重建方法,该方法可以通过组合无监督的DeNoising网络和插件方法来为MR图像重建提供可解释的无监督学习。我们的目标是通过添加明确的先验利用成像物理学来提高无监督学习的重建性能。具体而言,使用denoising(红色)正规化实现了MRI重建网络的杠杆作用。实验结果表明,所提出的方法需要减少训练数据的数量才能达到高重建质量。
translated by 谷歌翻译