目的：在数字组织病理学中，虚拟多染色对于诊断和生物标志物研究很重要。此外，它为各种深度学习任务提供了准确的基础真相。可以使用不同的连续部分或重新染色同一部分来获得虚拟多染色。两种方法都需要图像注册来补偿组织变形，但是很少关注其准确性。方法：我们比较连续和重新染色部分的变异图像注册，并分析图像分辨率的效果，从而影响准确性和所需的计算资源。我们提供了一个新的重新染色和连续部分的混合数据集（Hyreco，81个滑梯对，约3000个地标），我们公开可用，并将其图像注册结果与自动非辅助组织学图像注册（ANHIR）挑战数据进行比较（连续230个滑梯对）。结果：在连续部分之间，我们在注册7.1 {\ Mu} M（Hyreco）和16.0 {\ Mu} M（anhir）后获得了中位标记错误。在重新染色的部分之间，Hyreco数据集的两个子集中的中值注册误差为2.3 {\ MU} M和0.9 {\ MU} M。我们观察到，在两种情况下，可变形的注册导致比仿射注册的地标性较低，尽管在重新染色部分中的影响较小。结论：连续和重新染色部分的可变形注册是对不同污渍联合分析的有价值的工具。意义：虽然重新染色切片的注册允许核级比对，从而可以直接分析相互作用的生物标志物，但连续切片仅允许转移区域级注释。可以使用更粗的图像分辨率以低计算成本来实现后者。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

我们研究Claire（一种差异性多形状，多-GPU图像注册算法和软件）的性能 - 在具有数十亿素素的大规模生物医学成像应用中。在这样的分辨率下，大多数用于差异图像注册的软件包非常昂贵。结果，从业人员首先要大量删除原始图像，然后使用现有工具进行注册。我们的主要贡献是对降采样对注册性能的影响的广泛分析。我们通过将用Claire获得的全分辨率注册与合成和现实成像数据集的低分辨率注册进行比较，研究了这种影响。我们的结果表明，完全分辨率的注册可以产生卓越的注册质量 - 但并非总是如此。例如，将合成图像从$ 1024^3 $减少到$ 256^3 $将骰子系数从92％降低到79％。但是，对于嘈杂或低对比度的高分辨率图像，差异不太明显。克莱尔不仅允许我们在几秒钟内注册临床相关大小的图像，而且还可以在合理的时间内以前所未有的分辨率注册图像。考虑的最高分辨率是$ 2816 \ times3016 \ times1162 $的清晰图像。据我们所知，这是有关此类决议中图像注册质量的首次研究。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

在图像登记中，许多努力已经致力于开发流行的标准化互信息标准的替代方案。同时对这些努力，越来越多的作品已经证明了登记准确性的大量收益也可以通过对准图像的结构表示而不是图像本身来实现的。在这条研究路径之后，我们提出了一种基于从诸如梯度矢量流场的结构信息的正则化矢量字段的对准来提出一种新方法，如梯度向量流字段，我们调用\ Texit {Vector Field Mettionity}。我们的方法可以通过将矢量字段相似与基于强度的注册的替换方法相似，以直接的方式与任何现有的登记框架组合。在我们的实验中，我们表明所提出的方法在几个公共图像数据集上使用多样性的成像方式和解剖位置对几个公共图像数据集进行了比较。

Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN

许多注册方法都存在着早期工作，重点是基于优化的图像对方法。最近的工作着重于深度注册网络，以预测空间转换。在这两种情况下，通常使用的非参数登记模型，该模型估计转换功能而不是低维转换参数，都需要选择合适的正常器（鼓励平滑转换）及其参数。这使得模型难以调整，并将变形限制为所选正规器允许的变形空间。尽管存在不正常转换的光流的深度学习模型，而是完全依赖于数据，这些模型可能不会产生对医学图像注册期望的差异转换。因此，在这项工作中，我们在无监督的图标深度学习登记方法上开发了Gradicon，该方法仅使用逆矛盾进行正则化。但是，与图标相反，我们证明并从经验上验证，使用梯度反矛盾损失不仅显着改善了收敛性，而且还会导致所得转换图的类似隐式正则化。磁共振（MR）膝关节图像和计算机断层扫描（CT）肺图像的合成实验和实验表明Gradicon的表现出色。我们在保留简单的注册公式的同时，实现了最新的（SOTA）精度，这实际上很重要。

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

Coronary Computed Tomography Angiography (CCTA) provides information on the presence, extent, and severity of obstructive coronary artery disease. Large-scale clinical studies analyzing CCTA-derived metrics typically require ground-truth validation in the form of high-fidelity 3D intravascular imaging. However, manual rigid alignment of intravascular images to corresponding CCTA images is both time consuming and user-dependent. Moreover, intravascular modalities suffer from several non-rigid motion-induced distortions arising from distortions in the imaging catheter path. To address these issues, we here present a semi-automatic segmentation-based framework for both rigid and non-rigid matching of intravascular images to CCTA images. We formulate the problem in terms of finding the optimal \emph{virtual catheter path} that samples the CCTA data to recapitulate the coronary artery morphology found in the intravascular image. We validate our co-registration framework on a cohort of $n=40$ patients using bifurcation landmarks as ground truth for longitudinal and rotational registration. Our results indicate that our non-rigid registration significantly outperforms other co-registration approaches for luminal bifurcation alignment in both longitudinal (mean mismatch: 3.3 frames) and rotational directions (mean mismatch: 28.6 degrees). By providing a differentiable framework for automatic multi-modal intravascular data fusion, our developed co-registration modules significantly reduces the manual effort required to conduct large-scale multi-modal clinical studies while also providing a solid foundation for the development of machine learning-based co-registration approaches.

纵向形象注册是具有挑战性的，并且由于深学习，尚未受益于主要的性能改善。通过深映像的启发，本文介绍了不同利用的深层架构作为常规，以解决图像登记问题。我们提出了一种称为MIRRBA的特定主题可变形的登记方法，依赖于深的金字塔架构是限制变形场的现有参数模型。 MIRRBA不需要学习数据库，而是仅登记的图像，以便注册一对图像以优化网络参数并提供变形字段并提供变形字段。我们展示了深度架构的正规化力量，并呈现了新的元素，以了解架构在注册的深度学习方法中的作用。因此，要研究网络参数的影响，我们在110个转移乳腺癌全身宠物图像的私有数据集中运行了不同的架构配置，具有大脑，膀胱和转移性病变的手动分割。我们将其与传统的迭代登记方法进行比较和监督基于深度学习的模型。使用检测率和骰子分数评估全局和局部注册准确性，而使用雅加诺的决定因素评估登记现实。此外，我们计算了不同方法以消失的速率缩小消失的病变的能力。 MIRRBA显着改善了监督模型的器官和病变骰子分数。关于消失率，MIRRBA多倍于最佳性能的传统方法SYNCC得分。因此，我们的工作提出了一种替代方法来弥合常规和深度学习的方法之间的性能差距，并展示了深度架构的规律力量。

在这项工作中，我们考虑了成对的跨模式图像注册的任务，这可能会受益于仅利用培训时间可用的其他图像，而这些图像从与注册的图像不同。例如，我们专注于对准主体内的多参数磁共振（MPMR）图像，在T2加权（T2W）扫描和具有高B值（DWI $ _ {high-b} $）的T2加权（T2W）扫描和扩散加权扫描之间。为了在MPMR图像中应用局部性肿瘤，由于相应的功能的可用性，因此认为具有零B值（DWI $ _ {B = 0} $）的扩散扫描被认为更易于注册到T2W。我们使用仅训练成像模态DWI $ _ {b = 0} $从特权模式算法中提出了学习，以支持具有挑战性的多模式注册问题。我们根据356名前列腺癌患者的369组3D多参数MRI图像提出了实验结果图像对，与注册前7.96毫米相比。结果还表明，与经典的迭代算法和其他具有/没有其他方式的经典基于测试的基于学习的方法相比，提出的基于学习的注册网络具有可比或更高准确性的有效注册。这些比较的算法也未能在此具有挑战性的应用中产生DWI $ _ {High-B} $和T2W之间的任何明显改进的对齐。

纵向脑磁共振成像（MRI）含有病理扫描的登记是由于组织外观变化而挑战，仍然是未解决的问题。本文介绍了第一脑肿瘤序列登记（Brats-Reg）挑战，重点是估计诊断患有脑弥漫性胶质瘤的同一患者的术前和后续扫描之间的对应关系。 Brats-Reg挑战打算建立可变形登记算法的公共基准环境。关联的数据集包括根据公共解剖模板，为每个扫描的大小和分辨率策划的DE识别的多机构多参数MRI（MPMRI）数据。临床专家在扫描内产生了广泛的标志标记点，描述了跨时域的不同解剖位置。培训数据以及这些地面真相注释将被释放给参与者来设计和开发他们的注册算法，而组织者将扣留验证和测试数据的注释，并用于评估参与者的集装箱化算法。每个所提交的算法都将使用几个度量来定量评估，例如中位绝对误差（MAE），鲁棒性和雅可比的决定因素。

图像注册广泛用于医学图像分析中，以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络（CNN）的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多，但是从复杂的CNN方法中获得的准确性提高是适度的。在这里，我们介绍了一个新的基于深神经的图像注册框架，名为\ textbf {mirnf}，该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的，使用神经ODE求解器集成了MiRNF的速度矢量输出，以得出两个图像之间的对应关系。此外，我们提出了一个混合坐标采样器以及级联的体系结构，以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验，这表明我们提出的框架提供了最新的注册性能，同时保持了可比的优化时间。

通常需要对术前和术后大脑图像进行注册，以评估脑神经胶质瘤治疗的有效性。尽管最近基于深度学习的可变形注册方法在健康的大脑图像方面取得了显着的成功，但由于参考图像中缺乏对应关系，它们中的大多数人将无法与病理相处。在本文中，我们提出了一种基于深度学习的可变形登记方法，该方法共同估计缺乏对应关系和双向变形场的区域。前向后的一致性约束用于帮助从两个图像中缺乏对应关系的体素的切除和复发区域的定位。来自Brats-Reg挑战的3D临床数据的结果表明，与传统和深度学习的注册方法相比，我们的方法可以改善图像对齐方式，无论是否具有成本函数掩盖策略。源代码可在https://github.com/cwmok/dirac上获得。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

超声（US）成像数据的分割和空间比对在头三个月获得的数据对于监测整个关键时期的人类胚胎生长和发育至关重要。当前的方法是手动或半自动的，因此非常耗时，容易出现错误。为了自动执行这些任务，我们提出了一个多ATLAS框架，用于使用深度学习，以最小的监督使用深度学习，以自动分割和空间对齐。我们的框架学会了将胚胎注册到地图集，该地图集由在胎龄（GA）范围内获取的美国图像组成，分段并在空间上与预定义的标准方向排列。由此，我们可以得出胚胎的分割，并将胚胎放在标准方向上。使用在8+0到12+6周GA的美国图像，并选择了八个受试者作为地图集。我们评估了不同的融合策略，以合并多个地图集：1）使用单个主题中的地图集训练框架，2）使用所有可用地图的数据训练框架和3）3）结合每个受试者训练的框架。为了评估性能，我们计算了测试集的骰子分数。我们发现，使用所有可用地图的训练框架优于结合的结合，与对单个主题进行培训的所有框架中的最佳框架相比，给出了类似的结果。此外，我们发现，从所有可用的地图中，从GA最接近的四个图像中选择图像，无论个人质量如何，都以0.72的中位数分数获得了最佳效果。我们得出的结论是，我们的框架可以准确地分割和空间对齐孕妇在3D US图像中对胚胎进行对齐，并且对于可用地图中存在的质量变化是可靠的。我们的代码可在以下网址公开获取：https：//github.com/wapbastiaansen/multi-atlas-seg-reg。

非刚性注册以非刚性方式与目标形状保持一致的源形状变形，是计算机视觉中的经典问题。由于数据（噪声，离群值和部分重叠）和高度自由度，因此此类问题可能具有挑战性。现有方法通常采用$ \ ell_ {p} $键入鲁棒标准来测量对齐误差并规范变形的平滑度，并使用近端算法来解决所得的非平滑优化问题。但是，这种算法的缓慢收敛性限制了其广泛的应用。在本文中，我们提出了一种基于全球平稳的稳健标准进行对齐和正则化的稳健非刚性登记的公式，该规范可以有效地处理异常值和部分重叠。使用大型最小化算法解决了该问题，该算法将每次迭代减少到使用封闭形式的解决方案的凸二次问题。我们进一步应用安德森加速度以加快求解器的收敛性，使求解器能够在具有有限的计算能力的设备上有效运行。广泛的实验证明了我们方法在两种形状之间具有异常值和部分重叠的形状之间的非刚性比对的有效性，并进行定量评估表明，就注册准确性和计算速度而言，它的表现优于最先进的方法。源代码可从https://github.com/yaoyx689/amm_nrr获得。

可变形的图像注册对于许多医学图像分析是基础。准确图像注册的关键障碍在于图像外观变化，例如纹理，强度和噪声的变化。这些变化在医学图像中很明显，尤其是在经常使用注册的大脑图像中。最近，使用深神经网络的基于深度学习的注册方法（DLR）显示了计算效率，比基于传统优化的注册方法（ORS）快几个数量级。 DLR依靠一个全球优化的网络，该网络经过一组培训样本训练以实现更快的注册。但是，DLR倾向于无视ORS固有的目标对特异性优化，因此已经降低了对测试样品变化的适应性。这种限制对于注册出现较大的医学图像的限制是严重的，尤其是因为很少有现有的DLR明确考虑了外观的变化。在这项研究中，我们提出了一个外观调整网络（AAN），以增强DLR对外观变化的适应性。当我们集成到DLR中时，我们的AAN提供了外观转换，以减少注册过程中的外观变化。此外，我们提出了一个由解剖结构约束的损失函数，通过该函数，我们的AAN产生了解剖结构的转化。我们的AAN被目的设计为容易插入广泛的DLR中，并且可以以无监督和端到端的方式进行合作培训。我们用三个最先进的DLR评估了3D脑磁共振成像（MRI）的三个公共数据集（MRI）。结果表明，我们的AAN始终提高了现有的DLR，并且在注册精度上优于最先进的OR，同时向现有DLR增加了分数计算负载。

我们提出了一种新颖的方法，该方法将基于机器学习的交互式图像分割结合在一起，使用Supersoxels与聚类方法结合了用于自动识别大型数据集中类似颜色的图像的聚类方法，从而使分类器的指导重复使用。我们的方法解决了普遍的颜色可变性的问题，并且在生物学和医学图像中通常不可避免，这通常会导致分割恶化和量化精度，从而大大降低了必要的训练工作。效率的这种提高促进了大量图像的量化，从而为高通量成像中的最新技术进步提供了交互式图像分析。所呈现的方法几乎适用于任何图像类型，并代表通常用于图像分析任务的有用工具。