病理学家需要结合不同染色病理切片的信息，以获得准确的诊断结果。可变形图像配准是融合多模式病理切片的必要技术。本文提出了一个基于混合特征的基于特征的可变形图像登记框架，用于染色的病理样品。我们首先提取密集的特征点，并通过两个深度学习功能网络执行匹配点。然后，为了进一步减少虚假匹配，提出了一种结合隔离森林统计模型和局部仿射校正模型的异常检测方法。最后，插值方法基于上述匹配点生成用于病理图像注册的DVF。我们在非刚性组织学图像注册（ANHIR）挑战的数据集上评估了我们的方法，该挑战与IEEE ISBI 2019会议共同组织。我们的技术的表现使传统方法的平均水平注册目标误差（RTRE）达到0.0034。所提出的方法实现了最先进的性能，并在评估测试数据集时将其排名1。提出的基于特征的混合特征的注册方法可能会成为病理图像注册的可靠方法。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

Purpose: In laparoscopic liver surgery (LLS), pre-operative information can be overlaid onto the intra-operative scene by registering a 3D pre-operative model to the intra-operative partial surface reconstructed from the laparoscopic video. To assist with this task, we explore the use of learning-based feature descriptors, which, to our best knowledge, have not been explored for use in laparoscopic liver registration. Furthermore, a dataset to train and evaluate the use of learning-based descriptors does not exist. Methods: We present the LiverMatch dataset consisting of 16 preoperative models and their simulated intra-operative 3D surfaces. We also propose the LiverMatch network designed for this task, which outputs per-point feature descriptors, visibility scores, and matched points. Results: We compare the proposed LiverMatch network with anetwork closest to LiverMatch, and a histogram-based 3D descriptor on the testing split of the LiverMatch dataset, which includes two unseen pre-operative models and 1400 intra-operative surfaces. Results suggest that our LiverMatch network can predict more accurate and dense matches than the other two methods and can be seamlessly integrated with a RANSAC-ICP-based registration algorithm to achieve an accurate initial alignment. Conclusion: The use of learning-based feature descriptors in LLR is promising, as it can help achieve an accurate initial rigid alignment, which, in turn, serves as an initialization for subsequent non-rigid registration. We will release the dataset and code upon acceptance.

Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

在许多临床应用中，内窥镜图像之间的特征匹配和查找对应关系是从临床序列中进行快速异常定位的许多临床应用中的关键步骤。尽管如此，由于内窥镜图像中存在较高的纹理可变性，稳健和准确的特征匹配的发展成为一项具有挑战性的任务。最近，通过卷积神经网络（CNN）提取的深度学习技术已在各种计算机视觉任务中获得了吸引力。但是，他们都遵循一个有监督的学习计划，其中需要大量注释的数据才能达到良好的性能，这通常不总是可用于医疗数据数据库。为了克服与标记的数据稀缺性有关的限制，自我监督的学习范式最近在许多应用程序中表现出了巨大的成功。本文提出了一种基于深度学习技术的内窥镜图像匹配的新型自我监督方法。与标准手工制作的本地功能描述符相比，我们的方法在精度和召回方面优于它们。此外，与选择基于精度和匹配分数的基于最先进的基于深度学习的监督方法相比，我们的自我监管的描述符提供了竞争性能。

大多数基于深度学习（DL）的可变形图像登记方法使用卷积神经网络（CNN）来估计移动和固定图像对的位移字段。但是，这要求CNN中的卷积内核不仅从输入中提取强度特征，而且还了解图像坐标系。我们认为，后者的任务对传统CNN来说是具有挑战性的，从而限制了他们在注册任务中的性能。为了解决此问题，我们首先介绍坐标翻译器，坐标转换器是一个可区分的模块，该模块识别固定和移动图像之间的匹配功能，并在不需要训练的情况下输出其坐标对应关系。它卸载了了解CNN的图像坐标系的负担，从而使它们可以专注于特征提取。然后，我们提出了一个新型的可变形注册网络IM2Grid，该网络使用多个坐标转换器与从CNN编码中提取的层次结构特征，并以粗略的方式输出变形字段。我们将IM2Grid与无监督的3D磁共振图像注册的最新DL和非DL方法进行了比较。我们的实验表明，IM2Grid在定性和定量上都优于这些方法。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

大量位移光流是许多计算机视觉任务不可或缺的一部分。基于粗到精细方案的差异稀疏匹配，并在局部优化以颜色，梯度和平滑度来调节能量模型，使它们对稀疏匹配，变形和任意大型位移对噪声敏感。本文解决了此问题并提出了混合流，这是大型位移和变形的变异运动估计框架。在图像对上执行多尺度混合匹配方法。通过按照群集的上下文描述符匹配，通过根据特征描述符对像素进行分类而形成的粗尺度簇。我们在每个匹配的粗尺度簇中包含的精细尺度超级像素上应用多尺度的图形匹配。无法进一步细分的小簇使用局部特征匹配进行匹配。这些初始匹配在一起形成了流动，该流程通过边缘固定插值和变化的细化而传播。我们的方法不需要训练，并且由于现场运动而引起的实质性位移以及刚性和非韧性转换是强大的，因此它非常适合大规模图像（例如宽面积运动图像（WAMI））。更值得注意的是，混合流在代表感知组的任意拓扑的有向图上起作用，从而在存在明显变形的情况下改善运动估计。我们展示了混合流的优越性能，在两个基准数据集上的最先进的变量技术，并通过最先进的基于深度学习的技术报告可比的结果。

在医学中，图像注册对于图像引导的干预措施和其他临床应用至关重要。但是，很难解决，通过机器学习的出现，最近在该领域的医疗图像注册方面已经取得了很大的进步。深度神经网络的实施为某些医学应用提供了机会，例如在更少的时间内进行图像注册，以高精度，在操作过程中对抗肿瘤中发挥关键作用。当前的研究对基于无监督的深神经网络的医学图像注册研究的最新文献进行了全面的范围审查，其中包括到本领域在此日期中发表的所有相关研究。在这里，我们试图总结医学领域中无监督的基于深度学习的注册方法的最新发展和应用。在当前的全面范围审查中，精心讨论和传达了基本和主要概念，技术，从不同观点，新颖性和未来方向的统计分析。此外，这篇评论希望帮助那些被这一领域铆接的活跃读者深入了解这一激动人心的领域。

作为许多医疗应用的重要上游任务，监督的地标本地化仍然需要不可忽略的注释成本才能实现理想的绩效。此外，由于繁琐的收集程序，医疗地标数据集的规模有限，会影响大规模自我监督的预训练方法的有效性。为了应对这些挑战，我们提出了一个两阶段的单次医疗地标本地化框架，该框架首先通过无监督的注册从标记的示例中删除了地标，以便未​​标记的目标，然后利用这些嘈杂的伪标签来训练健壮的探测器。为了处理重要的结构变化，我们在包含边缘信息的新型损失函数的指导下学习了全球对齐和局部变形的端到端级联。在第二阶段，我们探索了选择可靠的伪标签和半监视学习的跨矛盾的自持矛盾。我们的方法在不同身体部位的公共数据集上实现了最先进的表现，这证明了其一般适用性。

在目前的生物和医学研究中，统计形状建模（SSM）提供了解剖/形态学表征的基本框架。这种分析通常通过识别群体样本中发现的相对少量的几何一致性特征来驱动。这些特征随后可以提供有关人口形状变化的信息。密集的对应模型可以提供易于计算，并在后面减小时产生可解释的低维形状描述符。然而，用于获得这种对应关系的自动方法通常需要图像分割，然后是显着的预处理，这在计算和人力资源方面都是征税。在许多情况下，分段和后续处理需要手动指导和解剖学特定域专业知识。本文提出了一种自我监督的深度学习方法，用于发现可以直接用作形状描述符的图像中的地标进行分析。我们使用地标驱动的图像登记作为主要任务，以强制神经网络发现井注册图像的地标。我们还提出了一个正则化术语，允许对神经网络的稳健优化进行稳健优化，并确保地标均匀跨越图像域。所提出的方法避免分割和预处理，并直接使用仅2D或3D图像产生可用的形状描述符。此外，我们还提出了在训练损失函数上提出了两个变体，允许将现有的形状信息集成到模型中。我们在几个2D和3D数据集上应用此框架以获取其形状描述符，并分析其实用程序以获取各种应用程序。

可变形的图像注册提供了有关图像的动态信息，并且在医学图像分析中至关重要。但是，由于单个时期脑MR图像和多阶梯超声心动图的不同特征，因此很难使用相同的算法或模型准确地注册它们。我们提出了一个无监督的多尺度相关性迭代注册网络（SearchMorph），该模型具有三个亮点。 （1）我们引入了成本量来加强特征相关性和构造的相关金字塔以补充多尺度相关信息。 （2）我们设计了搜索模块来搜索多尺度金字塔中功能的注册。 （3）我们使用GRU模块进行变形场的迭代细化。本文提出的网络显示了在常见的单个时间段登记任务中的领导，并解决了多时间运动估计任务。实验结果表明，我们提出的方法比最新方法获得了更高的注册精度和更低的折叠点比。

Deformable image registration is a key task in medical image analysis. The Brain Tumor Sequence Registration challenge (BraTS-Reg) aims at establishing correspondences between pre-operative and follow-up scans of the same patient diagnosed with an adult brain diffuse high-grade glioma and intends to address the challenging task of registering longitudinal data with major tissue appearance changes. In this work, we proposed a two-stage cascaded network based on the Inception and TransMorph models. The dataset for each patient was comprised of a native pre-contrast (T1), a contrast-enhanced T1-weighted (T1-CE), a T2-weighted (T2), and a Fluid Attenuated Inversion Recovery (FLAIR). The Inception model was used to fuse the 4 image modalities together and extract the most relevant information. Then, a variant of the TransMorph architecture was adapted to generate the displacement fields. The Loss function was composed of a standard image similarity measure, a diffusion regularizer, and an edge-map similarity measure added to overcome intensity dependence and reinforce correct boundary deformation. We observed that the addition of the Inception module substantially increased the performance of the network. Additionally, performing an initial affine registration before training the model showed improved accuracy in the landmark error measurements between pre and post-operative MRIs. We observed that our best model composed of the Inception and TransMorph architectures while using an initially affine registered dataset had the best performance with a median absolute error of 2.91 (initial error = 7.8). We achieved 6th place at the time of model submission in the final testing phase of the BraTS-Reg challenge.

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

脑MRI图像的登记需要解决变形领域，这对于对准复杂的脑组织，例如皮质核等，这是极其困难的现有努力，该努力在具有微小运动的中间子场中分解目标变形领域，即逐步登记阶段或较低的分辨率，即全尺寸变形场的粗析估计。在本文中，我们认为这些努力不是相互排斥的，并为普通和粗良好的方式同时提出统一的脑MRI登记统一框架。具体地，在双编码器U-Net上构建，定制移动的MRI对被编码和解码成从粗略到精细的多尺度变形子字段。每个解码块包含两个提出的新颖模块：i）在变形场积分（DFI）中，计算单个集成子字段，翘曲，其等同于来自所有先前解码块的子字段逐渐翘曲，并且II）非刚性特征融合（NFF），固定移动对的特征由DFI集成子场对齐，然后融合以预测更精细的子场。利用DFI和NFF，目标变形字段被修改为多尺度子场，其中较粗糙的字段缓解了更精细的一个和更精细的字段的估计，以便构成以前粗糙的较粗糙的那些错位。私人和公共数据集的广泛和全面的实验结果展示了脑MRI图像的优越的登记性能，仅限于逐步登记和粗略估计，平均骰子的粗略估计数量在最多8％上升。

可变形的注册包括找到两个不同图像之间的最佳密集对应。许多算法已发表，但临床应用难以解决优化问题所需的高计算时间。通过利用GPU计算和学习过程，深入学习超越了这种限制。然而，许多深度学习方法不考虑经典算法尊重的理想性质。在本文中，我们呈现MICS，一种用于医学成像注册的新型深度学习算法。由于注册是一个不良问题，我们将我们的算法集中在不同性质的方面：逆一致性，对称性和方向节约。我们还将我们的算法与多步策略组合以改进和改进变形网格。虽然许多方法向脑MRI应用了登记，但我们探讨了更具挑战性的身体定位：腹部CT。最后，我们在Learn2Reg挑战期间使用的数据集中评估了我们的方法，允许与已发布的方法进行公平比较。

动机：医学图像分析涉及帮助医师对病变或解剖结构进行定性和定量分析的任务，从而显着提高诊断和预后的准确性和可靠性。传统上，这些任务由医生或医学物理学家完成，并带来两个主要问题：（i）低效率； （ii）受个人经验的偏见。在过去的十年中，已经应用了许多机器学习方法来加速和自动化图像分析过程。与受监督和无监督的学习模型的大量部署相比，在医学图像分析中使用强化学习的尝试很少。这篇评论文章可以作为相关研究的垫脚石。意义：从我们的观察结果来看，尽管近年来增强学习逐渐增强了动力，但医学分析领域的许多研究人员发现很难理解和部署在诊所中。一个原因是缺乏组织良好的评论文章，针对缺乏专业计算机科学背景的读者。本文可能没有提供医学图像分析中所有强化学习模型的全面列表，而是可以帮助读者学习如何制定和解决他们的医学图像分析研究作为强化学习问题。方法和结果：我们从Google Scholar和PubMed中选择了已发表的文章。考虑到相关文章的稀缺性，我们还提供了一些出色的最新预印本。根据图像分析任务的类型对论文进行仔细审查和分类。我们首先回顾了强化学习的基本概念和流行模型。然后，我们探讨了增强学习模型在具有里程碑意义的检测中的应用。最后，我们通过讨论审查的强化学习方法的局限性和可能的​​改进来结束这篇文章。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。