我们介绍了一种基于梯度下降的图像登记网络（Gradirn），用于通过在深度学习框架中嵌入基于梯度的迭代能量最小化来学习可变形的图像配准。传统的图像登记算法通常使用迭代能量 - 最小化优化来查找一对图像之间的最佳变换，这在需要许多迭代时是耗时的。相比之下，基于学习的方法通过训练深神经网络来迁移这一昂贵的迭代优化，以便通过快速网络向前通过训练后可以实现一对图像的登记。通过图像重建技术的成功激励，与迭代变分能优化的数学结构相结合的深度学习，我们基于多分辨率梯度下降能量最小化制定新颖的登记网络。网络的前进通过通过卷积神经网络（CNN）参数化的显式图像相容梯度步骤和用于固定数量的迭代的卷积神经网络（CNN）。我们使用自我差异化来导出显式图像异化梯度W.r.t.的前向计算图。变换，因此可以在没有复杂和易于出错的梯度衍生的情况下使用任意图像相似度量和转换模型。我们证明，这种方法通过使用2D心动MR图像和3D脑MR图像使用更少的学习参数，在使用更少的学习参数时实现最先进的登记性能。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN

心肌运动和变形是表征心脏功能的丰富描述符。图像注册是心肌运动跟踪最常用的技术，是一个不当的反问题，通常需要先前对解决方案空间进行假设。与大多数现有的方法相反，它们强加了明确的通用正则化（例如平滑度），在这项工作中，我们提出了一种新的方法，该方法可以隐式地学习了特定于应用程序的生物力学知识，并将其嵌入了神经网络参数化转换模型中。尤其是，提出的方法利用基于变异自动编码器的生成模型来学习生物力学上合理变形的多种多样。然后，可以通过穿越学习的歧管来搜索最佳转换时，在考虑序列信息时搜索最佳转换。该方法在三个公共心脏Cine MRI数据集中进行了验证，并具有全面的评估。结果表明，所提出的方法可以胜过其他方法，从而获得更高的运动跟踪精度，并具有合理的量保存和更好地变化数据分布的概括性。它还可以更好地估计心肌菌株，这表明该方法在表征时空特征以理解心血管疾病方面的潜力。

这项研究提出了一个基于移动网格参数化的端到端无监督的差异可变形登记框架。使用此参数化，可以使用其转换雅各布的决定因素和末端速度场的卷曲来建模。变形场的新模型具有三个重要优势。首先，它放松了对成本函数的显式正则化项和相应重量的需求。平滑度隐含在溶液中，从而导致物理上合理的变形场。其次，它通过适用于转换雅各布决定因素的明确约束来保证差异性。最后，它适用于心脏数据处理，因为该参数化的性质是根据​​径向和旋转成分定义变形场。通过在包括2D和3D心脏MRI扫描在内的三个不同数据集上评估拟议方法来研究算法的有效性。结果表明，所提出的框架在生成差异变换的同时优于现有的基于学习的方法和基于非学习的方法。

可变形的图像注册对于许多医学图像分析是基础。准确图像注册的关键障碍在于图像外观变化，例如纹理，强度和噪声的变化。这些变化在医学图像中很明显，尤其是在经常使用注册的大脑图像中。最近，使用深神经网络的基于深度学习的注册方法（DLR）显示了计算效率，比基于传统优化的注册方法（ORS）快几个数量级。 DLR依靠一个全球优化的网络，该网络经过一组培训样本训练以实现更快的注册。但是，DLR倾向于无视ORS固有的目标对特异性优化，因此已经降低了对测试样品变化的适应性。这种限制对于注册出现较大的医学图像的限制是严重的，尤其是因为很少有现有的DLR明确考虑了外观的变化。在这项研究中，我们提出了一个外观调整网络（AAN），以增强DLR对外观变化的适应性。当我们集成到DLR中时，我们的AAN提供了外观转换，以减少注册过程中的外观变化。此外，我们提出了一个由解剖结构约束的损失函数，通过该函数，我们的AAN产生了解剖结构的转化。我们的AAN被目的设计为容易插入广泛的DLR中，并且可以以无监督和端到端的方式进行合作培训。我们用三个最先进的DLR评估了3D脑磁共振成像（MRI）的三个公共数据集（MRI）。结果表明，我们的AAN始终提高了现有的DLR，并且在注册精度上优于最先进的OR，同时向现有DLR增加了分数计算负载。

纵向形象注册是具有挑战性的，并且由于深学习，尚未受益于主要的性能改善。通过深映像的启发，本文介绍了不同利用的深层架构作为常规，以解决图像登记问题。我们提出了一种称为MIRRBA的特定主题可变形的登记方法，依赖于深的金字塔架构是限制变形场的现有参数模型。 MIRRBA不需要学习数据库，而是仅登记的图像，以便注册一对图像以优化网络参数并提供变形字段并提供变形字段。我们展示了深度架构的正规化力量，并呈现了新的元素，以了解架构在注册的深度学习方法中的作用。因此，要研究网络参数的影响，我们在110个转移乳腺癌全身宠物图像的私有数据集中运行了不同的架构配置，具有大脑，膀胱和转移性病变的手动分割。我们将其与传统的迭代登记方法进行比较和监督基于深度学习的模型。使用检测率和骰子分数评估全局和局部注册准确性，而使用雅加诺的决定因素评估登记现实。此外，我们计算了不同方法以消失的速率缩小消失的病变的能力。 MIRRBA显着改善了监督模型的器官和病变骰子分数。关于消失率，MIRRBA多倍于最佳性能的传统方法SYNCC得分。因此，我们的工作提出了一种替代方法来弥合常规和深度学习的方法之间的性能差距，并展示了深度架构的规律力量。

Brain extraction and registration are important preprocessing steps in neuroimaging data analysis, where the goal is to extract the brain regions from MRI scans (i.e., extraction step) and align them with a target brain image (i.e., registration step). Conventional research mainly focuses on developing methods for the extraction and registration tasks separately under supervised settings. The performance of these methods highly depends on the amount of training samples and visual inspections performed by experts for error correction. However, in many medical studies, collecting voxel-level labels and conducting manual quality control in high-dimensional neuroimages (e.g., 3D MRI) are very expensive and time-consuming. Moreover, brain extraction and registration are highly related tasks in neuroimaging data and should be solved collectively. In this paper, we study the problem of unsupervised collective extraction and registration in neuroimaging data. We propose a unified end-to-end framework, called ERNet (Extraction-Registration Network), to jointly optimize the extraction and registration tasks, allowing feedback between them. Specifically, we use a pair of multi-stage extraction and registration modules to learn the extraction mask and transformation, where the extraction network improves the extraction accuracy incrementally and the registration network successively warps the extracted image until it is well-aligned with the target image. Experiment results on real-world datasets show that our proposed method can effectively improve the performance on extraction and registration tasks in neuroimaging data. Our code and data can be found at https://github.com/ERNetERNet/ERNet

大多数基于深度学习（DL）的可变形图像登记方法使用卷积神经网络（CNN）来估计移动和固定图像对的位移字段。但是，这要求CNN中的卷积内核不仅从输入中提取强度特征，而且还了解图像坐标系。我们认为，后者的任务对传统CNN来说是具有挑战性的，从而限制了他们在注册任务中的性能。为了解决此问题，我们首先介绍坐标翻译器，坐标转换器是一个可区分的模块，该模块识别固定和移动图像之间的匹配功能，并在不需要训练的情况下输出其坐标对应关系。它卸载了了解CNN的图像坐标系的负担，从而使它们可以专注于特征提取。然后，我们提出了一个新型的可变形注册网络IM2Grid，该网络使用多个坐标转换器与从CNN编码中提取的层次结构特征，并以粗略的方式输出变形字段。我们将IM2Grid与无监督的3D磁共振图像注册的最新DL和非DL方法进行了比较。我们的实验表明，IM2Grid在定性和定量上都优于这些方法。

图像注册广泛用于医学图像分析中，以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络（CNN）的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多，但是从复杂的CNN方法中获得的准确性提高是适度的。在这里，我们介绍了一个新的基于深神经的图像注册框架，名为\ textbf {mirnf}，该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的，使用神经ODE求解器集成了MiRNF的速度矢量输出，以得出两个图像之间的对应关系。此外，我们提出了一个混合坐标采样器以及级联的体系结构，以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验，这表明我们提出的框架提供了最新的注册性能，同时保持了可比的优化时间。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

可变形图像配准是医学成像和计算机视觉的基本任务之一。经典登记算法通常依赖于迭代优化方法来提供准确的变形，这需要高计算成本。虽然已经开发了许多基于深度学习的方法来进行快速图像登记，但估计具有较少拓扑折叠问题的变形场仍然挑战。此外，这些方法仅使登记到单个固定图像，并且不可能在移动和固定图像之间获得连续变化的登记结果。为了解决这个问题，我们介绍了一种新的扩散模型的概率图像配准方法，称为DemageUseMorph。具体而言，我们的模型了解移动和固定图像之间变形的得分函数。类似于现有的扩散模型，DiffUsemorph不仅通过反向扩散过程提供合成变形图像，而且还使运动图像的各种水平与潜在的空间一起。在2D面部表达图像和3D脑图像登记任务上的实验结果表明，我们的方法可以通过拓扑保存能力提供灵活和准确的变形。

从图像中学习心脏运动中的时空对应关系对于理解心脏解剖结构的潜在动力学很重要。许多方法明确施加了平滑度约束，例如位移矢量字段（DVF）上的$ \ Mathcal {l} _2 $ NORM，而通常忽略转换中的生物力学可行性。其他几何约束要么正规化特定的感兴趣区域，例如在心肌上施加不可压缩性，要么引入其他步骤，例如在物理模拟的数据集上训练单独的基于网络的正规器。在这项工作中，我们提出了一个明确的生物力学知识，因为在所有心脏结构中对更通用的生物力学上可行的转化进行建模，而无需引入额外的训练复杂性，因此对预测的DVF进行了正则化。在2D MRI数据的背景下，我们验证了两个公开可用数据集的方法，并执行广泛的实验，以说明与其他竞争性正规化方案相比，我们提出的方法的有效性和鲁棒性。我们提出的方法可以通过视觉评估更好地保留生物力学特性，并使用定量评估指标显示分割性能的优势。该代码可在\ url {https://github.com/voldemort108x/bioinformed_reg}上公开获得。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

可变形图像注册在医学图像分析的各种任务中起着至关重要的作用。从常规能源优化或深层网络中得出的成功的注册算法需要从计算机专家那里进行巨大努力来井设计注册能源，或者仔细调整特定类型的医疗数据类型的网络架构。为了解决上述问题，本文提出了一种自动学习注册算法（Autoreg），该算法（Autoreg）合作优化了建筑及其相应的培训目标，使非计算机专家，例如医疗/临床用户，以方便地查找现有的注册各种情况的算法。具体而言，我们建立了一个三级框架，以自动搜索机制和合作优化来推导注册网络体系结构和目标。我们对多站点卷数据集和各种注册任务进行图像注册实验。广泛的结果表明，我们的自动化可能会自动学习给定量的最佳深度注册网络并实现最先进的性能，也比主流UNET体系结构显着提高了计算效率（从0.558到0.558至0.270秒，对于3D图像对相同的配置）。

最近，已广泛研究了基于深度学习的方法，以进行可变形的图像注册任务。但是，大多数努力将复合图像表示形式直接映射到通过卷积神经网络的空间转换，而忽略了其捕获空间对应关系的有限能力。另一方面，变压器可以更好地表征与注意机制的空间关系，其远程依赖性可能对注册任务有害，在这种情况下，距离太大的体素不太可能是相应的对。在这项研究中，我们提出了一个新型的变形器模块，以及用于可变形图像配准任务的多尺度框架。变形器模块旨在通过将位移矢量预测作为几个碱基的加权总和来促进从图像表示到空间转换的映射。借助多尺度框架以粗略的方式预测位移字段，与传统和基于学习的方法相比，可以实现卓越的性能。进行了两个公共数据集的全面实验，以证明所提出的变形器模块以及多规模框架的有效性。

许多注册方法都存在着早期工作，重点是基于优化的图像对方法。最近的工作着重于深度注册网络，以预测空间转换。在这两种情况下，通常使用的非参数登记模型，该模型估计转换功能而不是低维转换参数，都需要选择合适的正常器（鼓励平滑转换）及其参数。这使得模型难以调整，并将变形限制为所选正规器允许的变形空间。尽管存在不正常转换的光流的深度学习模型，而是完全依赖于数据，这些模型可能不会产生对医学图像注册期望的差异转换。因此，在这项工作中，我们在无监督的图标深度学习登记方法上开发了Gradicon，该方法仅使用逆矛盾进行正则化。但是，与图标相反，我们证明并从经验上验证，使用梯度反矛盾损失不仅显着改善了收敛性，而且还会导致所得转换图的类似隐式正则化。磁共振（MR）膝关节图像和计算机断层扫描（CT）肺图像的合成实验和实验表明Gradicon的表现出色。我们在保留简单的注册公式的同时，实现了最新的（SOTA）精度，这实际上很重要。

基于深神经网络（DNN）的不确定性（基于DNN）的图像登记算法在部署图像注册算法中起着至关重要的作用在面向研究的处理管道中。目前可用的基于DNN的图像登记算法的不确定性估计方法可能导致临床决策，这是由于对注册的不确定性的潜在不准确估计源是对注册潜在空间的假定参数分布的源。我们引入了NPBDREG，这是一种完全非参数贝叶斯框架，通过将ADAM优化器与随机梯度Langevin Dynamics（SGLD）相结合，以通过后验通过后抽样将基于DNN的可变形图像注册中的不确定性估计。因此，它具有提供与出现未分布数据的存在高度相关的不确定性估计值。我们使用四个公开可用数据库中的$ 390 $图像对（MGH10，CMUC12，ISBR18和LPBA40）在Brain MRI图像配准上证明了NPBDREG的附加价值，与基线概率VoxelMorph模型（PRVXM）相比。 NPBDREG显示了预测不确定性与分布数据（$ r> 0.95 $ vs. $ r <0.5 $）的更好相关性，并且注册准确性提高了7.3％（骰子得分，$ 0.74 $ vs。 $ 0.69 $，$ p \ ll 0.01 $），注册平滑度提高了18％（变形字段中的折叠百分比为0.014 vs. 0.017，$ p \ ll 0.01 $）。最后，与基线PRVXM方法相比，NPBDREG证明了由混合结构噪声损坏的数据（骰子得分为$ 0.73 $，$ 0.69 $，$ p \ ll 0.01 $）的概括能力更好。

差异图像注册是医学图像分析中的至关重要任务。最近基于学习的图像注册方法利用卷积神经网络（CNN）学习图像对之间的空间转换并达到快速推理速度。但是，这些方法通常需要大量的培训数据来提高其概括能力。在测试时间内，基于学习的方法可能无法提供良好的注册结果，这很可能是因为培训数据集的模型过于拟合。在本文中，我们提出了连续速度场（NEVF）的神经表示，以描述两个图像之间的变形。具体而言，该神经速度场为空间中的每个点分配了一个速度向量，该速度在对复杂变形场进行建模时具有更高的灵活性。此外，我们提出了一种简单的稀疏抽样策略，以减少差异注册的记忆消耗。提出的NEVF还可以与预先训练的基于学习的模型合并，该模型的预测变形被视为优化的初始状态。在两个大规模3D MR脑扫描数据集上进行的广泛实验表明，我们提出的方法的表现优于最先进的注册方法。

通常需要对术前和术后大脑图像进行注册，以评估脑神经胶质瘤治疗的有效性。尽管最近基于深度学习的可变形注册方法在健康的大脑图像方面取得了显着的成功，但由于参考图像中缺乏对应关系，它们中的大多数人将无法与病理相处。在本文中，我们提出了一种基于深度学习的可变形登记方法，该方法共同估计缺乏对应关系和双向变形场的区域。前向后的一致性约束用于帮助从两个图像中缺乏对应关系的体素的切除和复发区域的定位。来自Brats-Reg挑战的3D临床数据的结果表明，与传统和深度学习的注册方法相比，我们的方法可以改善图像对齐方式，无论是否具有成本函数掩盖策略。源代码可在https://github.com/cwmok/dirac上获得。