基于深度学习的技术实现最新的技术会导致广泛的图像重建任务，例如压缩传感。这些方法几乎总是具有超参数，例如在优化损耗函数中平衡不同项的权重系数。典型的方法是训练模型，以通过某些经验或理论理由确定的超参数设置。因此，在推理时，模型只能计算与预定的超参数值相对应的重建。在这项工作中，我们提出了一种基于超网络的方法，称为HyperRecon，以训练不可知论到超参数设置的重建模型。在推理时，HyperRecon可以有效地产生不同的重建，每个重建都对应于不同的高参数值。在此框架中，用户有权根据自己的判断选择最有用的输出。我们使用两个大规模和公共可用的MRI数据集演示了压缩感测，超分辨率和去索任务的方法。我们的代码可在https://github.com/alanqrwang/hyhyperrecon上找到。

可解释性和鲁棒性必须在临床应用中整合加速磁共振成像（MRI）重建的机器学习方法。这样做会允许快速高质量的解剖和病理学成像。数据一致性（DC）对于多模态数据的泛化至关重要，以及检测病理学的鲁棒性。这项工作提出了独立复发推理机（CIRIM）的级联，通过展开优化来评估DC，通过梯度下降，并通过设计的术语明确地明确。我们对CIRIM与其他展开的优化方法进行广泛的比较，是端到端变分网络（E2EVN）和轮辋，以及UNET和压缩感测（CS）。评估是分两个阶段完成的。首先，评估关于多次训练的MRI模型的学习，即用{t_1} $ - 加权和平凡对比，以及$ {t_2} $ - 加权膝盖数据。其次，在通过3D Flair MRI数据中重建依赖多发性硬化（MS）患者的3D Flair MRI数据来测试鲁棒性。结果表明，CIRIM在隐式强制执行DC时表现最佳，而E2EVN需要明确制定的DC。 CIRIM在重建临床MS数据时显示出最高病变对比度分辨率。与CS相比，性能提高了大约11％，而重建时间是二十次减少。

基于分数的扩散模型为使用数据分布的梯度建模图像提供了一种强大的方法。利用学到的分数函数为先验，在这里，我们引入了一种从条件分布中进行测量的方法，以便可以轻松地用于求解成像中的反问题，尤其是用于加速MRI。简而言之，我们通过denoising得分匹配来训练连续的时间依赖分数函数。然后，在推论阶段，我们在数值SDE求解器和数据一致性投影步骤之间进行迭代以实现重建。我们的模型仅需要用于训练的幅度图像，但能够重建复杂值数据，甚至扩展到并行成像。所提出的方法是不可知论到子采样模式，可以与任何采样方案一起使用。同样，由于其生成性质，我们的方法可以量化不确定性，这是标准回归设置不可能的。最重要的是，我们的方法还具有非常强大的性能，甚至击败了经过全面监督训练的模型。通过广泛的实验，我们在质量和实用性方面验证了我们方法的优势。

通过获取有限的测量，近来有很多关于加速MRI中的数据采集过程的兴趣。部署经常复杂的重建算法以在这种设置中保持高图像质量。在这项工作中，我们提出了一种使用卷积神经网络，MNET的数据驱动采样器，为每个扫描对象提供自适应的特定于对象的采样模式。该网络针对每个物体观察非常有限的低频k空间数据，并且在一个达到高图像重建质量的情况下快速预测所需的下采样模式。我们提出了一个伴随的交流型训练框架，其掩模后向过程可以有效地生成用于采样器网络的训练标签并共同列举图像重建网络。 FastMri膝关节数据集上的实验结果证明了提出的学习欠采样网络在四倍和八倍加速下产生对象特定的掩模的能力，该八倍的加速度实现了优于几种现有方案的卓越图像重建性能。拟议的联合采样和重建学习框架的源代码可在https://github.com/zhishenhuang/mri获得。

CSGM框架（Bora-Jalal-Price-Dimakis'17）表明，深度生成前沿可能是解决逆问题的强大工具。但是，迄今为止，此框架仅在某些数据集（例如，人称和MNIST数字）上经验成功，并且已知在分布外样品上表现不佳。本文介绍了CSGM框架在临床MRI数据上的第一次成功应用。我们在FastMri DataSet上培训了大脑扫描之前的生成，并显示通过Langevin Dynamics的后验采样实现了高质量的重建。此外，我们的实验和理论表明，后部采样是对地面定语分布和测量过程的变化的强大。我们的代码和型号可用于：\ URL {https://github.com/utcsilab/csgm-mri-langevin}。

我们提出了明确结合频率和图像特征表示的神经网络层，并表明它们可以用作频率空间数据重建的多功能构建块。我们的工作是由MRI习得引起的挑战所激发的，该挑战是信号是所需图像的傅立叶变换。提出的联合学习方案既可以校正频率空间的天然伪像，又可以操纵图像空间表示，以重建网络各层的相干图像结构。这与图像重建的大多数当前深度学习方法形成鲜明对比，该方法分别处理频率和图像空间特征，并且通常在两个空间之一中仅运行。我们证明了联合卷积学习在各种任务中的优势，包括运动校正，denosing，从不足采样的采集中重建，以及对模拟和现实世界多层MRI数据的混合采样和运动校正。联合模型在所有任务和数据集中都始终如一地产生高质量的输出图像。当整合到具有物理启发的数据一致性约束的最终采样重建的情况下，将其集成到艺术风化的优化网络中时，提议的体系结构显着改善了优化景观，从而产生了减少训练时间的数量级。该结果表明，联合表示特别适合深度学习网络中的MRI信号。我们的代码和预算模型可在https://github.com/nalinimsingh/interlacer上公开获得。

Image reconstruction using deep learning algorithms offers improved reconstruction quality and lower reconstruction time than classical compressed sensing and model-based algorithms. Unfortunately, clean and fully sampled ground-truth data to train the deep networks is often unavailable in several applications, restricting the applicability of the above methods. We introduce a novel metric termed the ENsemble Stein's Unbiased Risk Estimate (ENSURE) framework, which can be used to train deep image reconstruction algorithms without fully sampled and noise-free images. The proposed framework is the generalization of the classical SURE and GSURE formulation to the setting where the images are sampled by different measurement operators, chosen randomly from a set. We evaluate the expectation of the GSURE loss functions over the sampling patterns to obtain the ENSURE loss function. We show that this loss is an unbiased estimate for the true mean-square error, which offers a better alternative to GSURE, which only offers an unbiased estimate for the projected error. Our experiments show that the networks trained with this loss function can offer reconstructions comparable to the supervised setting. While we demonstrate this framework in the context of MR image recovery, the ENSURE framework is generally applicable to arbitrary inverse problems.

基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是，临床用例已增加了兴趣，并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用，其中测量数据的量很少，以使获取时间短而且辐射剂量较低，降低了串联的伪像，促使数据驱动的DeNoINEDENO算法的开发，其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET，这是一个数据驱动的双域denoising模型，其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno，而实现过滤后的反向投影算法的第三层则夹在前两种之间，并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能，并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络，并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。

深度学习方法已成为重建MR重建的最新采样的状态。特别是对于地面真理不可行或不可能的情况，要获取完全采样的数据，重建的自我监督的机器学习方法正在越来越多地使用。但是，在验证此类方法及其普遍性的验证中的潜在问题仍然没有得到充实的态度。在本文中，我们研究了自制算法验证未采样MR图像的重要方面：对前瞻性重建的定量评估，前瞻性和回顾性重建之间的潜在差异，常用的定量衡量标准的适用性和普遍性。研究了两种基于自我监督的denoising和先验的深层图像的自我监督算法。将这些方法与使用体内和幻影数据的最小二乘拟合以及压缩感测重建进行比较。它们的推广性通过前瞻性采样的数据与培训不同的数据进行了测试。我们表明，相对于回顾性重建/地面真理，前瞻性重建可能表现出严重的失真。此外，与感知度量相比，与像素定量指标的定量指标可能无法准确捕获感知质量的差异。此外，所有方法均显示出泛化的潜力。然而，与其他变化相比，概括性的影响更大。我们进一步表明，无参考图像指标与人类对图像质量的评级很好地对应，以研究概括性。最后，我们证明了经过调整的压缩感测重建和学习的DeNoising在所有数据上都相似地执行。

物理驱动的深度学习方法已成为计算磁共振成像（MRI）问题的强大工具，将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题，并回顾了解决这些方法的经典方法。然后，我们专注于物理驱动的深度学习方法，涵盖了物理驱动的损失功能，插件方法，生成模型和展开的网络。我们重点介绍了特定于领域的挑战，例如神经网络的实现和复杂值的构建基块，以及具有线性和非线性正向模型的MRI转换应用。最后，我们讨论常见问题和开放挑战，并与物理驱动的学习与医学成像管道中的其他下游任务相结合时，与物理驱动的学习的重要性联系在一起。

用于医学图像重建的深度神经网络传统上使用高质量的地基图像作为训练目标训练。最近关于噪声的工作（N2N）已经示出了使用与具有地面真理的多个噪声测量的潜力。然而，现有的基于N2N的方法不适合于从经历非身份变形的物体的测量来学习。本文通过补偿对象变形来提出用于训练深层重建网络的变形补偿学习（DecoLearn）方法来解决此问题。DecoLearn的一个关键组件是一个深度登记模块，它与深度重建网络共同培训，没有任何地理监督。我们在模拟和实验收集的磁共振成像（MRI）数据上验证了甲板，并表明它显着提高了成像质量。

Computational imaging has been revolutionized by compressed sensing algorithms, which offer guaranteed uniqueness, convergence, and stability properties. In recent years, model-based deep learning methods that combine imaging physics with learned regularization priors have been emerging as more powerful alternatives for image recovery. The main focus of this paper is to introduce a memory efficient model-based algorithm with similar theoretical guarantees as CS methods. The proposed iterative algorithm alternates between a gradient descent involving the score function and a conjugate gradient algorithm to encourage data consistency. The score function is modeled as a monotone convolutional neural network. Our analysis shows that the monotone constraint is necessary and sufficient to enforce the uniqueness of the fixed point in arbitrary inverse problems. In addition, it also guarantees the convergence to a fixed point, which is robust to input perturbations. Current algorithms including RED and MoDL are special cases of the proposed algorithm; the proposed theoretical tools enable the optimization of the framework for the deep equilibrium setting. The proposed deep equilibrium formulation is significantly more memory efficient than unrolled methods, which allows us to apply it to 3D or 2D+time problems that current unrolled algorithms cannot handle.

本文解决了利益区域（ROI）计算机断层扫描（CT）的图像重建问题。尽管基于模型的迭代方法可用于此问题，但由于乏味的参数化和缓慢的收敛性，它们的实用性通常受到限制。另外，当保留的先验不完全适合溶液空间时，可以获得不足的溶液。深度学习方法提供了一种快速的替代方法，从大型数据集中利用信息，因此可以达到高重建质量。但是，这些方法通常依赖于不考虑成像系统物理学的黑匣子，而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口，最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中，从而在各种应用中均具有出色的性能。本文介绍了一种新颖的，展开的深度学习方法，称为U-RDBFB，为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合，因此有效地处理了很少的截断数据。然后，嵌入在迭代重新加权方案中的块双重前向（DBFB）算法的迭代将在神经网络体系结构上展开，从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进，包括基于模型的迭代方案，深度学习体系结构和深度展开的方法。

展开的神经网络最近实现了最先进的MRI重建。这些网络通过在基于物理的一致性和基于神经网络的正则化之间交替来展开迭代优化算法。但是，它们需要大型神经网络的几次迭代来处理高维成像任务，例如3D MRI。这限制了基于反向传播的传统训练算法，这是由于较大的记忆力和计算梯度和存储中间激活的计算要求。为了应对这一挑战，我们提出了加速MRI（GLEAM）重建的贪婪学习，这是一种高维成像设置的有效培训策略。 GLEAM将端到端网络拆分为脱钩的网络模块。每个模块都以贪婪的方式优化，并通过脱钩的梯度更新，从而减少了训练过程中的内存足迹。我们表明，可以在多个图形处理单元（GPU）上并行执行解耦梯度更新，以进一步减少训练时间。我们介绍了2D和3D数据集的实验，包括多线圈膝，大脑和动态心脏Cine MRI。我们观察到：i）闪闪发光的概括以及最先进的记忆效率基线，例如具有相同内存足迹的梯度检查点和可逆网络，但训练速度更快1.3倍； ii）对于相同的内存足迹，闪光在2D中产生1.1dB PSNR的增益，而3D在端到端基线中产生1.8 dB。

深度学习方法已成功用于各种计算机视觉任务。受到成功的启发，已经在磁共振成像（MRI）重建中探索了深度学习。特别是，整合深度学习和基于模型的优化方法已显示出很大的优势。但是，对于高重建质量，通常需要大量标记的培训数据，这对于某些MRI应用来说是具有挑战性的。在本文中，我们提出了一种名为DUREN-NET的新型重建方法，该方法可以通过组合无监督的DeNoising网络和插件方法来为MR图像重建提供可解释的无监督学习。我们的目标是通过添加明确的先验利用成像物理学来提高无监督学习的重建性能。具体而言，使用denoising（红色）正规化实现了MRI重建网络的杠杆作用。实验结果表明，所提出的方法需要减少训练数据的数量才能达到高重建质量。

基于深度学习的脑磁共振成像（MRI）重建方法有可能加速MRI采集过程。尽管如此，科学界缺乏适当的基准，以评估高分辨率大脑图像的MRI重建质量，并评估这些所提出的算法在存在小而且预期的数据分布班次存在下的表现。多线圈磁共振图像（MC-MRI）重建挑战提供了一种基准，其目的在于使用高分辨率，三维，T1加权MRI扫描的大型数据集。挑战有两个主要目标：1）比较该数据集和2）上的不同的MRI重建模型，并评估这些模型的概括性，以通过不同数量的接收器线圈获取的数据。在本文中，我们描述了挑战实验设计，并总结了一系列基线和艺术脑MRI重建模型的结果。我们提供有关目前MRI重建最先进的相关比较信息，并突出挑战在更广泛的临床采用之前获得所需的普遍模型。 MC-MRI基准数据，评估代码和当前挑战排行榜可公开可用。它们为脑MRI重建领域的未来发展提供了客观性能评估。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。

压缩传感（CS）一直在加速磁共振成像（MRI）采集过程中的关键作用。随着人工智能的复苏，深神经网络和CS算法正在集成以重新定义快速MRI的领域。过去几年目睹了基于深度学习的CS技术的复杂性，多样性和表现的大量增长，这些技术致力于快速MRI。在该荟萃分析中，我们系统地审查了快速MRI的深度学习的CS技术，描述了关键模型设计，突出突破，并讨论了有希望的方向。我们还介绍了一个综合分析框架和分类系统，以评估深度学习在基于CS的加速度的MRI的关键作用。

在过去的几年中，提出了多种基于深神经网络（DNN）的方法，以解决来自未取消采样的“ K-Space”（傅立叶域）数据的挑战性不足的反向问题。然而，反对采集过程中的变化和解剖学分布的不稳定性表明，与其经典的对应物相比，DNN体系结构对相关物理模型的概括不佳。较差的概括有效地排除了DNN适用于临床环境中不足采样的MRI重建。我们通过引入物理培养的DNN体系结构和培训方法来提高DNN方法的泛化MRI重建能力。除了模型体系结构中观察到的数据外，我们的体系结构还编码底面采样掩码，并采用适当的培训方法，该方法使用与各种无底采样掩码生成的数据一起鼓励模型概括了未散布的MRI重建问题。我们通过对公开可用的快速MRI数据集进行了广泛的实验，证明了我们的方法的附加价值。我们的物理提出的方法达到了增强的概括能力，这使得与获得的稳健性和解剖学分布的变化相比，尤其是在病理区域中，与香草DNN方法和DNN进行了显着提高，并在病理区域中进行了显着提高，并且受过培训的DNN训练，并接受了强烈的掩盖掩模的增强。接受训练的模型和代码以复制我们的实验，将在接受后用于研究目的。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.