心肌运动和变形是表征心脏功能的丰富描述符。图像注册是心肌运动跟踪最常用的技术，是一个不当的反问题，通常需要先前对解决方案空间进行假设。与大多数现有的方法相反，它们强加了明确的通用正则化（例如平滑度），在这项工作中，我们提出了一种新的方法，该方法可以隐式地学习了特定于应用程序的生物力学知识，并将其嵌入了神经网络参数化转换模型中。尤其是，提出的方法利用基于变异自动编码器的生成模型来学习生物力学上合理变形的多种多样。然后，可以通过穿越学习的歧管来搜索最佳转换时，在考虑序列信息时搜索最佳转换。该方法在三个公共心脏Cine MRI数据集中进行了验证，并具有全面的评估。结果表明，所提出的方法可以胜过其他方法，从而获得更高的运动跟踪精度，并具有合理的量保存和更好地变化数据分布的概括性。它还可以更好地估计心肌菌株，这表明该方法在表征时空特征以理解心血管疾病方面的潜力。

从电影心脏磁共振（CMR）成像中恢复心脏的3D运动可以评估区域心肌功能，对于理解和分析心血管疾病很重要。但是，3D心脏运动估计是具有挑战性的，因为获得的Cine CMR图像通常是2D切片，它限制了对整个平面运动的准确估计。为了解决这个问题，我们提出了一个新颖的多视图运动估计网络（Mulvimotion），该网络集成了以短轴和长轴平面获取的2D Cine CMR图像，以学习心脏的一致性3D运动场。在提出的方法中，构建了一个混合2D/3D网络，以通过从多视图图像中学习融合表示形式来生成密集的3D运动场。为了确保运动估计在3D中保持一致，在训练过程中引入了形状正则化模块，其中利用了来自多视图图像的形状信息，以提供3D运动估计的弱监督。我们对来自英国生物银行研究的580名受试者的2D Cine CMR图像进行了广泛评估，用于左心室心肌的3D运动跟踪。实验结果表明，该方法在定量和定性上优于竞争方法。

这项研究提出了一个基于移动网格参数化的端到端无监督的差异可变形登记框架。使用此参数化，可以使用其转换雅各布的决定因素和末端速度场的卷曲来建模。变形场的新模型具有三个重要优势。首先，它放松了对成本函数的显式正则化项和相应重量的需求。平滑度隐含在溶液中，从而导致物理上合理的变形场。其次，它通过适用于转换雅各布决定因素的明确约束来保证差异性。最后，它适用于心脏数据处理，因为该参数化的性质是根据​​径向和旋转成分定义变形场。通过在包括2D和3D心脏MRI扫描在内的三个不同数据集上评估拟议方法来研究算法的有效性。结果表明，所提出的框架在生成差异变换的同时优于现有的基于学习的方法和基于非学习的方法。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

从图像中学习心脏运动中的时空对应关系对于理解心脏解剖结构的潜在动力学很重要。许多方法明确施加了平滑度约束，例如位移矢量字段（DVF）上的$ \ Mathcal {l} _2 $ NORM，而通常忽略转换中的生物力学可行性。其他几何约束要么正规化特定的感兴趣区域，例如在心肌上施加不可压缩性，要么引入其他步骤，例如在物理模拟的数据集上训练单独的基于网络的正规器。在这项工作中，我们提出了一个明确的生物力学知识，因为在所有心脏结构中对更通用的生物力学上可行的转化进行建模，而无需引入额外的训练复杂性，因此对预测的DVF进行了正则化。在2D MRI数据的背景下，我们验证了两个公开可用数据集的方法，并执行广泛的实验，以说明与其他竞争性正规化方案相比，我们提出的方法的有效性和鲁棒性。我们提出的方法可以通过视觉评估更好地保留生物力学特性，并使用定量评估指标显示分割性能的优势。该代码可在\ url {https://github.com/voldemort108x/bioinformed_reg}上公开获得。

我们介绍了一种基于梯度下降的图像登记网络（Gradirn），用于通过在深度学习框架中嵌入基于梯度的迭代能量最小化来学习可变形的图像配准。传统的图像登记算法通常使用迭代能量 - 最小化优化来查找一对图像之间的最佳变换，这在需要许多迭代时是耗时的。相比之下，基于学习的方法通过训练深神经网络来迁移这一昂贵的迭代优化，以便通过快速网络向前通过训练后可以实现一对图像的登记。通过图像重建技术的成功激励，与迭代变分能优化的数学结构相结合的深度学习，我们基于多分辨率梯度下降能量最小化制定新颖的登记网络。网络的前进通过通过卷积神经网络（CNN）参数化的显式图像相容梯度步骤和用于固定数量的迭代的卷积神经网络（CNN）。我们使用自我差异化来导出显式图像异化梯度W.r.t.的前向计算图。变换，因此可以在没有复杂和易于出错的梯度衍生的情况下使用任意图像相似度量和转换模型。我们证明，这种方法通过使用2D心动MR图像和3D脑MR图像使用更少的学习参数，在使用更少的学习参数时实现最先进的登记性能。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

图像注册广泛用于医学图像分析中，以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络（CNN）的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多，但是从复杂的CNN方法中获得的准确性提高是适度的。在这里，我们介绍了一个新的基于深神经的图像注册框架，名为\ textbf {mirnf}，该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的，使用神经ODE求解器集成了MiRNF的速度矢量输出，以得出两个图像之间的对应关系。此外，我们提出了一个混合坐标采样器以及级联的体系结构，以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验，这表明我们提出的框架提供了最新的注册性能，同时保持了可比的优化时间。

来自类似的心脏磁共振（CMR）图像的3D运动估计对于评估心脏功能和心血管疾病的诊断很重要。以前的大多数方法都侧重于估计完整图像空间中的像素 - /体素运动场，这忽略了运动估计主要是相关且在感兴趣的对象中有用的事实，例如心脏。在这项工作中，我们将心脏建模为3D几何网格，并提出了一种新型的基于深度学习的方法，该方法可以从2D短轴和长轴CMR图像中估算心脏网格的3D运动。通过开发可区分的网格到图像射击器，该方法能够利用2D多视图CMR图像的解剖形状信息进行3D运动估计。 Rasterizer的不同性使我们能够训练该方法最终到端。提出方法的一个优点是，通过跟踪每个顶点的运动，它可以保持时间帧之间3D网格的顶点对应关系，这对于对网格上心脏功能的定量评估很重要。我们评估了从英国生物银行研究获得的CMR图像的建议方法。实验结果表明，所提出的方法在定量和定性上都优于常规和基于学习的心脏运动跟踪方法。

儿科肌肉骨骼系统的形态学和诊断评价在临床实践中至关重要。但是，大多数分段模型在稀缺的儿科成像数据上都不好。我们提出了一种新的预训练的正则化卷积编码器 - 解码器，用于分割异质儿科磁共振（MR）图像的具有挑战性的任务。在这方面，我们采用转移学习方法以及正规化策略来改善分段模型的概括。为此，我们已经构思了用于分割网络的新颖优化方案，其包括丢失函数的额外正则化术语。为了获得全局一致的预测，我们纳入了基于形状的正则化，从自动编码器学习的非线性形状表示来源。另外，通过鉴别器计算的对抗正规化是集成的，以鼓励合理的描绘。评估来自脚踝和肩部关节的两个稀缺的小儿摄像数据集的多骨分割任务的方法，包括病理和健康检查。所提出的方法与先前提出的骰子，灵敏度，特异性，最大对称表面距离，平均对称表面距离和相对绝对体积差异度量的方法更好或以前的方法进行更好或以前的方法进行比例。我们说明所提出的方法可以很容易地集成到各种骨骼分割策略中，并且可以提高在大型非医学图像数据库上预先培训的模型的预测准确性。获得的结果为小儿肌肉骨骼障碍的管理带来了新的视角。

神经网络在医疗图像分割任务上的成功通常依赖于大型标记的数据集用于模型培训。但是，由于数据共享和隐私问题，获取和手动标记大型医疗图像集是资源密集的，昂贵的，有时是不切实际的。为了应对这一挑战，我们提出了一个通用的对抗数据增强框架Advchain，旨在提高培训数据对医疗图像分割任务的多样性和有效性。 AdvChain通过动态数据增强来增强数据，从而产生随机链接的光线像和几何转换，以类似于现实而又具有挑战性的成像变化以扩展训练数据。通过在培训期间共同优化数据增强模型和分割网络，可以生成具有挑战性的示例，以增强下游任务的网络可推广性。所提出的对抗数据增强不依赖生成网络，可以用作通用分割网络中的插件模块。它在计算上是有效的，适用于低声监督和半监督学习。我们在两个MR图像分割任务上分析和评估该方法：心脏分割和前列腺分割具有有限的标记数据。结果表明，所提出的方法可以减轻对标记数据的需求，同时提高模型泛化能力，表明其在医学成像应用中的实际价值。

物理驱动的深度学习方法已成为计算磁共振成像（MRI）问题的强大工具，将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题，并回顾了解决这些方法的经典方法。然后，我们专注于物理驱动的深度学习方法，涵盖了物理驱动的损失功能，插件方法，生成模型和展开的网络。我们重点介绍了特定于领域的挑战，例如神经网络的实现和复杂值的构建基块，以及具有线性和非线性正向模型的MRI转换应用。最后，我们讨论常见问题和开放挑战，并与物理驱动的学习与医学成像管道中的其他下游任务相结合时，与物理驱动的学习的重要性联系在一起。

纵向形象注册是具有挑战性的，并且由于深学习，尚未受益于主要的性能改善。通过深映像的启发，本文介绍了不同利用的深层架构作为常规，以解决图像登记问题。我们提出了一种称为MIRRBA的特定主题可变形的登记方法，依赖于深的金字塔架构是限制变形场的现有参数模型。 MIRRBA不需要学习数据库，而是仅登记的图像，以便注册一对图像以优化网络参数并提供变形字段并提供变形字段。我们展示了深度架构的正规化力量，并呈现了新的元素，以了解架构在注册的深度学习方法中的作用。因此，要研究网络参数的影响，我们在110个转移乳腺癌全身宠物图像的私有数据集中运行了不同的架构配置，具有大脑，膀胱和转移性病变的手动分割。我们将其与传统的迭代登记方法进行比较和监督基于深度学习的模型。使用检测率和骰子分数评估全局和局部注册准确性，而使用雅加诺的决定因素评估登记现实。此外，我们计算了不同方法以消失的速率缩小消失的病变的能力。 MIRRBA显着改善了监督模型的器官和病变骰子分数。关于消失率，MIRRBA多倍于最佳性能的传统方法SYNCC得分。因此，我们的工作提出了一种替代方法来弥合常规和深度学习的方法之间的性能差距，并展示了深度架构的规律力量。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

小儿肌肉骨骼系统的临床诊断依赖于医学成像检查的分析。在医学图像处理管道中，使用深度学习算法的语义分割使人可以自动生成患者特定的三维解剖模型，这对于形态学评估至关重要。但是，小儿成像资源的稀缺性可能导致单个深层分割模型的准确性和泛化性能降低。在这项研究中，我们建议设计一个新型的多任务多任务多域学习框架，在该框架中，单个分割网络对由解剖学的不同部分产生的多个数据集进行了优化。与以前的方法不同，我们同时考虑多个强度域和分割任务来克服小儿数据的固有稀缺性，同时利用成像数据集之间的共享特征。为了进一步提高概括能力，我们从自然图像分类中采用了转移学习方案，以及旨在在共享表示中促进域特异性群集的多尺度对比正则化，以及多连接解剖学先验来执行解剖学上一致的预测。我们评估了使用脚踝，膝盖和肩关节的三个稀缺和小儿成像数据集进行骨分割的贡献。我们的结果表明，所提出的方法在骰子指标中的表现优于个人，转移和共享分割方案，并具有统计学上足够的利润。拟议的模型为智能使用成像资源和更好地管理小儿肌肉骨骼疾病提供了新的观点。

可变形的图像注册提供了有关图像的动态信息，并且在医学图像分析中至关重要。但是，由于单个时期脑MR图像和多阶梯超声心动图的不同特征，因此很难使用相同的算法或模型准确地注册它们。我们提出了一个无监督的多尺度相关性迭代注册网络（SearchMorph），该模型具有三个亮点。 （1）我们引入了成本量来加强特征相关性和构造的相关金字塔以补充多尺度相关信息。 （2）我们设计了搜索模块来搜索多尺度金字塔中功能的注册。 （3）我们使用GRU模块进行变形场的迭代细化。本文提出的网络显示了在常见的单个时间段登记任务中的领导，并解决了多时间运动估计任务。实验结果表明，我们提出的方法比最新方法获得了更高的注册精度和更低的折叠点比。

具有3D+T（4D）信息的时间体积图像通常用于医学成像中，以统计分析时间动力学或捕获疾病进展。尽管已经对自然图像的基于深度学习的生成模型进行了广泛的研究，但时间医学图像生成（例如4D心脏量数据）的方法受到限制。在这项工作中，我们提出了一个新颖的深度学习模型，该模型在源和目标体积之间产生了中间时间的体积。具体而言，我们通过调整最近对现实图像产生的非转化扩散概率模型来提出扩散可变形模型（DDM）。我们提出的DDM由扩散和变形模块组成，因此DDM可以在源和目标量之间学习空间变形信息，并提供潜在的代码，用于沿着测量路径生成中间帧。一旦训练了我们的模型，从扩散模块估算的潜在代码将简单地插入并馈入变形模块，该模块使DDM能够沿着连续轨迹生成时间帧，同时保留源图像的拓扑。我们证明了每个受试者舒张期和收缩期之间的4D心脏MR图像产生的提议方法。与现有的变形方法相比，我们的DDM在时间体积生成上实现了高性能。

可变形的图像注册对于许多医学图像分析是基础。准确图像注册的关键障碍在于图像外观变化，例如纹理，强度和噪声的变化。这些变化在医学图像中很明显，尤其是在经常使用注册的大脑图像中。最近，使用深神经网络的基于深度学习的注册方法（DLR）显示了计算效率，比基于传统优化的注册方法（ORS）快几个数量级。 DLR依靠一个全球优化的网络，该网络经过一组培训样本训练以实现更快的注册。但是，DLR倾向于无视ORS固有的目标对特异性优化，因此已经降低了对测试样品变化的适应性。这种限制对于注册出现较大的医学图像的限制是严重的，尤其是因为很少有现有的DLR明确考虑了外观的变化。在这项研究中，我们提出了一个外观调整网络（AAN），以增强DLR对外观变化的适应性。当我们集成到DLR中时，我们的AAN提供了外观转换，以减少注册过程中的外观变化。此外，我们提出了一个由解剖结构约束的损失函数，通过该函数，我们的AAN产生了解剖结构的转化。我们的AAN被目的设计为容易插入广泛的DLR中，并且可以以无监督和端到端的方式进行合作培训。我们用三个最先进的DLR评估了3D脑磁共振成像（MRI）的三个公共数据集（MRI）。结果表明，我们的AAN始终提高了现有的DLR，并且在注册精度上优于最先进的OR，同时向现有DLR增加了分数计算负载。

Template generation is a crucial step of groupwise image registration which deforms a group of subjects into a common space. Existing traditional and deep learning-based methods can generate high-quality template images. However, they suffer from substantial time costs or limited application scenarios like fixed group size. In this paper, we propose an efficient groupwise template generative framework based on variational autoencoder models utilizing the arithmetic property of latent representation of input images. We acquire the latent vectors of each input and use the average vector to construct the template through the decoder. Therefore, the method can be applied to groups of any scale. Secondly, we explore a siamese training scheme that feeds two images to the shared-weight twin networks and compares the distances between inputs and the generated template to prompt the template to be close to the implicit center. We conduct experiments on 3D brain MRI scans of groups of different sizes. Results show that our framework can achieve comparable and even better performance to baselines, with runtime decreased to seconds.