在不同的成像方式上建立自称的语义对应是一项基础但强大的计算机视觉任务。当前的多模式注册技术最大化手工制作的域间相似性功能，在建模非线性强度关系和变形方面受到限制，并且可能需要重新工程或在新任务，数据集和域配对上进行大量重新设计或表现不佳。这项工作提出了反合，这是多模式变形注册的一种无监督的对比表示学习方法。通过将学习的多尺度局部贴片特征投射到共同学习的域间嵌入空间上，Cortareg获得了对非刚性多模式对齐有用的表示形式。在实验上，与新生儿T1-T2脑MRI登记任务上的一系列基线和消融相比，通过在一系列基准中进行平滑且可逆的变形，实现了准确，稳健的结果，并在广泛的变形正则化强度范围内验证了所有方法。

医学计算机视觉的最新自我监督进步利用了在下游任务（例如分割）之前预处理的全球和局部解剖自我相似性。但是，当前方法假设I.I.D.图像采集是在临床研究设计中无效的，其中随访纵向扫描跟踪特定于主体的时间变化。此外，现有的自我监督方法用于医学上相关的图像到图像体系结构仅利用空间或时间自相似性，并且仅通过在单个图像尺度上应用的损失来进行，而天真的多尺度空间时空扩展崩溃了解决方案。对于这些目的，本文做出了两种贡献：（1）它提出了一种局部和多规模的时空表示方法，用于对纵向图像进行训练的图像到图像架构。它利用了学到的多尺度内部主体内特征的时空自相似性来进行训练，并开发出几种特征正规化，以避免崩溃的身份表示。 （2）在填充期间，它提出了一个令人惊讶的简单的自我监督分割一致性正规化以利用受试者内部的相关性。该框架以单次分割设置为基准，该框架的表现优于良好调整的随机定位基线和为I.I.D设计的当前自我监督技术。和纵向数据集。在纵向神经退行性的成年MRI和发育的婴儿脑MRI中，这些改进都得到了证明，并产生了更高的性能和纵向一致性。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

许多注册方法都存在着早期工作，重点是基于优化的图像对方法。最近的工作着重于深度注册网络，以预测空间转换。在这两种情况下，通常使用的非参数登记模型，该模型估计转换功能而不是低维转换参数，都需要选择合适的正常器（鼓励平滑转换）及其参数。这使得模型难以调整，并将变形限制为所选正规器允许的变形空间。尽管存在不正常转换的光流的深度学习模型，而是完全依赖于数据，这些模型可能不会产生对医学图像注册期望的差异转换。因此，在这项工作中，我们在无监督的图标深度学习登记方法上开发了Gradicon，该方法仅使用逆矛盾进行正则化。但是，与图标相反，我们证明并从经验上验证，使用梯度反矛盾损失不仅显着改善了收敛性，而且还会导致所得转换图的类似隐式正则化。磁共振（MR）膝关节图像和计算机断层扫描（CT）肺图像的合成实验和实验表明Gradicon的表现出色。我们在保留简单的注册公式的同时，实现了最新的（SOTA）精度，这实际上很重要。

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

可变形的注册包括找到两个不同图像之间的最佳密集对应。许多算法已发表，但临床应用难以解决优化问题所需的高计算时间。通过利用GPU计算和学习过程，深入学习超越了这种限制。然而，许多深度学习方法不考虑经典算法尊重的理想性质。在本文中，我们呈现MICS，一种用于医学成像注册的新型深度学习算法。由于注册是一个不良问题，我们将我们的算法集中在不同性质的方面：逆一致性，对称性和方向节约。我们还将我们的算法与多步策略组合以改进和改进变形网格。虽然许多方法向脑MRI应用了登记，但我们探讨了更具挑战性的身体定位：腹部CT。最后，我们在Learn2Reg挑战期间使用的数据集中评估了我们的方法，允许与已发布的方法进行公平比较。

医疗图像注册和细分是多种临床程序的关键任务。这些任务的手动实现是耗时的，质量高度取决于医师的专业水平。为了减轻这项费力的任务，已经开发了自动工具，其中大多数解决方案都是有监督的技术。但是，在医疗领域中，拥有代表性的基础真理的强有力假设远非现实。为了克服这一挑战，已经研究了无监督的技术。但是，它们的性能仍然有限，并且无法产生合理的结果。在这项工作中，我们提出了一个新型的统一的无监督框架，用于图像注册和分割，我们称为PC-Swinmorph。我们框架的核心是两种基于补丁的策略，我们证明补丁表示是性能增益的关键。我们首先引入了基于补丁的对比策略，该策略可执行当地条件和更丰富的特征表示。其次，我们利用一个3D窗口/移动的窗口多头自发项模块作为补丁缝制策略，以消除贴片分裂中的人工制品。我们通过一组数值和视觉结果证明，我们的技术优于当前最新的无监督技术。

脑MRI图像的登记需要解决变形领域，这对于对准复杂的脑组织，例如皮质核等，这是极其困难的现有努力，该努力在具有微小运动的中间子场中分解目标变形领域，即逐步登记阶段或较低的分辨率，即全尺寸变形场的粗析估计。在本文中，我们认为这些努力不是相互排斥的，并为普通和粗良好的方式同时提出统一的脑MRI登记统一框架。具体地，在双编码器U-Net上构建，定制移动的MRI对被编码和解码成从粗略到精细的多尺度变形子字段。每个解码块包含两个提出的新颖模块：i）在变形场积分（DFI）中，计算单个集成子字段，翘曲，其等同于来自所有先前解码块的子字段逐渐翘曲，并且II）非刚性特征融合（NFF），固定移动对的特征由DFI集成子场对齐，然后融合以预测更精细的子场。利用DFI和NFF，目标变形字段被修改为多尺度子场，其中较粗糙的字段缓解了更精细的一个和更精细的字段的估计，以便构成以前粗糙的较粗糙的那些错位。私人和公共数据集的广泛和全面的实验结果展示了脑MRI图像的优越的登记性能，仅限于逐步登记和粗略估计，平均骰子的粗略估计数量在最多8％上升。

图像注册广泛用于医学图像分析中，以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络（CNN）的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多，但是从复杂的CNN方法中获得的准确性提高是适度的。在这里，我们介绍了一个新的基于深神经的图像注册框架，名为\ textbf {mirnf}，该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的，使用神经ODE求解器集成了MiRNF的速度矢量输出，以得出两个图像之间的对应关系。此外，我们提出了一个混合坐标采样器以及级联的体系结构，以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验，这表明我们提出的框架提供了最新的注册性能，同时保持了可比的优化时间。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

跨模式图像合成是一个主动研究主题，具有多个医学临床相关的应用。最近，允许对配对但未对准数据进行培训的方法开始出现。但是，没有适用于广泛的现实世界数据集的健壮且良好的方法。在这项工作中，我们通过引入新的变形均衡性鼓励损失函数，对跨模式图像合成问题的问题提出了一个通用解决方案。该方法包括对图像合成网络的联合培训以及单独的注册网络，并允许在输入上进行对抗训练，即使使用未对准数据。这项工作通过允许对更困难的数据集进行跨模式图像合成网络的毫不费力培训来降低新的临床应用程序的标准，并为开发新的基于通用学习的跨模式注册算法开发机会。

可变形的图像注册对于许多医学图像分析是基础。准确图像注册的关键障碍在于图像外观变化，例如纹理，强度和噪声的变化。这些变化在医学图像中很明显，尤其是在经常使用注册的大脑图像中。最近，使用深神经网络的基于深度学习的注册方法（DLR）显示了计算效率，比基于传统优化的注册方法（ORS）快几个数量级。 DLR依靠一个全球优化的网络，该网络经过一组培训样本训练以实现更快的注册。但是，DLR倾向于无视ORS固有的目标对特异性优化，因此已经降低了对测试样品变化的适应性。这种限制对于注册出现较大的医学图像的限制是严重的，尤其是因为很少有现有的DLR明确考虑了外观的变化。在这项研究中，我们提出了一个外观调整网络（AAN），以增强DLR对外观变化的适应性。当我们集成到DLR中时，我们的AAN提供了外观转换，以减少注册过程中的外观变化。此外，我们提出了一个由解剖结构约束的损失函数，通过该函数，我们的AAN产生了解剖结构的转化。我们的AAN被目的设计为容易插入广泛的DLR中，并且可以以无监督和端到端的方式进行合作培训。我们用三个最先进的DLR评估了3D脑磁共振成像（MRI）的三个公共数据集（MRI）。结果表明，我们的AAN始终提高了现有的DLR，并且在注册精度上优于最先进的OR，同时向现有DLR增加了分数计算负载。

可变形图像注册在医学图像分析的各种任务中起着至关重要的作用。从常规能源优化或深层网络中得出的成功的注册算法需要从计算机专家那里进行巨大努力来井设计注册能源，或者仔细调整特定类型的医疗数据类型的网络架构。为了解决上述问题，本文提出了一种自动学习注册算法（Autoreg），该算法（Autoreg）合作优化了建筑及其相应的培训目标，使非计算机专家，例如医疗/临床用户，以方便地查找现有的注册各种情况的算法。具体而言，我们建立了一个三级框架，以自动搜索机制和合作优化来推导注册网络体系结构和目标。我们对多站点卷数据集和各种注册任务进行图像注册实验。广泛的结果表明，我们的自动化可能会自动学习给定量的最佳深度注册网络并实现最先进的性能，也比主流UNET体系结构显着提高了计算效率（从0.558到0.558至0.270秒，对于3D图像对相同的配置）。

基于深神经网络（DNN）的不确定性（基于DNN）的图像登记算法在部署图像注册算法中起着至关重要的作用在面向研究的处理管道中。目前可用的基于DNN的图像登记算法的不确定性估计方法可能导致临床决策，这是由于对注册的不确定性的潜在不准确估计源是对注册潜在空间的假定参数分布的源。我们引入了NPBDREG，这是一种完全非参数贝叶斯框架，通过将ADAM优化器与随机梯度Langevin Dynamics（SGLD）相结合，以通过后验通过后抽样将基于DNN的可变形图像注册中的不确定性估计。因此，它具有提供与出现未分布数据的存在高度相关的不确定性估计值。我们使用四个公开可用数据库中的$ 390 $图像对（MGH10，CMUC12，ISBR18和LPBA40）在Brain MRI图像配准上证明了NPBDREG的附加价值，与基线概率VoxelMorph模型（PRVXM）相比。 NPBDREG显示了预测不确定性与分布数据（$ r> 0.95 $ vs. $ r <0.5 $）的更好相关性，并且注册准确性提高了7.3％（骰子得分，$ 0.74 $ vs。 $ 0.69 $，$ p \ ll 0.01 $），注册平滑度提高了18％（变形字段中的折叠百分比为0.014 vs. 0.017，$ p \ ll 0.01 $）。最后，与基线PRVXM方法相比，NPBDREG证明了由混合结构噪声损坏的数据（骰子得分为$ 0.73 $，$ 0.69 $，$ p \ ll 0.01 $）的概括能力更好。

Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN

最近，致力于通过现代机器学习方法预测脑部疾病的最新神经影像学研究通常包括单一模态并依靠监督的过度参数化模型。但是，单一模态仅提供了高度复杂的大脑的有限视图。至关重要的是，临床环境中的有监督模型缺乏用于培训的准确诊断标签。粗标签不会捕获脑疾病表型的长尾谱，这导致模型的普遍性丧失，从而使它们在诊断环境中的有用程度降低。这项工作提出了一个新型的多尺度协调框架，用于从多模式神经影像数据中学习多个表示。我们提出了一般的归纳偏见分类法，以捕获多模式自学融合中的独特和联合信息。分类法构成了一个无解码器模型的家族，具有降低的计算复杂性，并捕获多模式输入的本地和全局表示之间的多尺度关系。我们使用各种阿尔茨海默氏病表型中使用功能和结构磁共振成像（MRI）数据对分类法进行了全面评估，并表明自我监督模型揭示了与疾病相关的大脑区域和多模态链接，而无需在预先访问PRE-PRE-the PRE-the PRE-the PRE-the PRE-PRECTEN NICKES NOCKER NOCKER NOCKER NOCKER NOCKER NOCE访问。训练。拟议的多模式自学学习的学习能够表现出两种模式的分类表现。伴随的丰富而灵活的无监督的深度学习框架捕获了复杂的多模式关系，并提供了符合或超过更狭窄的监督分类分析的预测性能。我们提供了详尽的定量证据，表明该框架如何显着提高我们对复杂脑部疾病中缺失的联系的搜索。

在图像登记中，许多努力已经致力于开发流行的标准化互信息标准的替代方案。同时对这些努力，越来越多的作品已经证明了登记准确性的大量收益也可以通过对准图像的结构表示而不是图像本身来实现的。在这条研究路径之后，我们提出了一种基于从诸如梯度矢量流场的结构信息的正则化矢量字段的对准来提出一种新方法，如梯度向量流字段，我们调用\ Texit {Vector Field Mettionity}。我们的方法可以通过将矢量字段相似与基于强度的注册的替换方法相似，以直接的方式与任何现有的登记框架组合。在我们的实验中，我们表明所提出的方法在几个公共图像数据集上使用多样性的成像方式和解剖位置对几个公共图像数据集进行了比较。

由于变形领域缺乏原因，可变形的登记模型广泛采用无监督的学习策略。这些模型通常取决于基于强度的相似性损失，以获得学习融合。尽管成功，但这种依赖性不足。对于单片机图像的可变形登记，对准的两个图像不仅具有难以区分的强度差异，而且在统计分布和边界区域中也紧密。考虑到设计良好的损耗功能可以促进学习模型进入所需的收敛，我们通过通过混合丢失集成多个图像特性来学习T1加权MR图像的可变形登记模型。我们的方法在保持变形平滑度的同时以高精度注册OASIS数据集。

通常需要对术前和术后大脑图像进行注册，以评估脑神经胶质瘤治疗的有效性。尽管最近基于深度学习的可变形注册方法在健康的大脑图像方面取得了显着的成功，但由于参考图像中缺乏对应关系，它们中的大多数人将无法与病理相处。在本文中，我们提出了一种基于深度学习的可变形登记方法，该方法共同估计缺乏对应关系和双向变形场的区域。前向后的一致性约束用于帮助从两个图像中缺乏对应关系的体素的切除和复发区域的定位。来自Brats-Reg挑战的3D临床数据的结果表明，与传统和深度学习的注册方法相比，我们的方法可以改善图像对齐方式，无论是否具有成本函数掩盖策略。源代码可在https://github.com/cwmok/dirac上获得。