自由点变压器（FPT）已被提出为使用深神经网络的数据驱动的，非刚性点设置的注册方法。由于fpt不基于点附近或对应关系假设约束，因此可以通过根据倒角距离最大程度地减少无监督的损失来简单训练它。这使得fpt可以适应现实世界中的医学成像应用，在这些应用程序中可能无法获得地面变形，或者在仅在要对齐的点集中只有不同程度的完整性的情况下。为了测试FPT及其对培训数据集的依赖性的对应关系的限制，这项工作探讨了FPT从良好策划的非医学数据集到医学成像数据集的普遍性。首先，我们在ModelNet40数据集上训练FPT，以证明其有效性和FPT的出色注册性能，而不是基于迭代和学习的点设置注册方法。其次，我们证明了缺少数据的刚性和非刚性注册和鲁棒性的卓越性能。最后，我们通过在没有额外的训练的情况下注册了重建的脊柱和通用脊柱模型的徒手超声扫描，强调了模型网训练的FPT的有趣概括性，从而在13位患者的情况下，对地面真相曲率的平均差异为1.3度。

在基于模型的医学图像分析中，感兴趣的三个特征是感兴趣的结构，其相对姿势和代表一些物理性质的图像强度谱的形状。通常，这些通过统计模型分别通过统计模型来通过主要测地分析或主成分分析将对象的特征分解成一组基函数。本研究提出了一种统计建模方法，用于在医学图像中自动学习形状，姿势和强度特征，我们称之为动态多特征类高斯过程模型（DMFC-GPM）。 DMFC-GPM是基于高斯过程（GP）的模型，具有编码线性和非线性变化的共享潜在空间。我们的方法在连续域中定义，其具有基于变形字段的线性空间中的形状，姿势和强度特征类。在用于建模形状和强度特征变化的方法以及比较刚性变换（姿势）的方法中，适于变形现场度量。此外，DMFC-GPMS继承了GPS内在的属性，包括边缘化和回归。此外，它们允许在从图像采集过程获得的那些之上增加额外的姿势特征可变性;我们是什么术语作为排列建模。对于使用DMFC-GPMS的图像分析任务，我们适应了Metropolis-Hastings算法，使得具有完全概率的特征预测。我们验证了使用受控合成数据的方法，并且我们在肩部的CT图像上对骨结构进行实验，以说明模型姿势和形状特征预测的功效。模型性能结果表明，这种新的造型范例是强大，准确，可访问的，并且具有潜在的应用，包括肌肉骨骼障碍和临床决策

Purpose: The purpose of this paper is to present a method for real-time 2D-3D non-rigid registration using a single fluoroscopic image. Such a method can find applications in surgery, interventional radiology and radiotherapy. By estimating a three-dimensional displacement field from a 2D X-ray image, anatomical structures segmented in the preoperative scan can be projected onto the 2D image, thus providing a mixed reality view. Methods: A dataset composed of displacement fields and 2D projections of the anatomy is generated from the preoperative scan. From this dataset, a neural network is trained to recover the unknown 3D displacement field from a single projection image. Results: Our method is validated on lung 4D CT data at different stages of the lung deformation. The training is performed on a 3D CT using random (non domain-specific) diffeomorphic deformations, to which perturbations mimicking the pose uncertainty are added. The model achieves a mean TRE over a series of landmarks ranging from 2.3 to 5.5 mm depending on the amplitude of deformation. Conclusion: In this paper, a CNN-based method for real-time 2D-3D non-rigid registration is presented. This method is able to cope with pose estimation uncertainties, making it applicable to actual clinical scenarios, such as lung surgery, where the C-arm pose is planned before the intervention.

基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。

通过学习，已经提出了神经网络进行医学图像注册，并具有大量的培训数据，以及图像对之间的最佳转换。这些训练有素的网络可以进一步优化一对测试图像 - 称为测试时间优化。这项工作将图像注册作为一种元学习算法。可以通过对齐训练图像对，同时提高测试时间优化功效来对此网络进行训练；以前被视为两个独立培训和优化过程的任务。假设所提出的元注册以最大化测试时间优化在网络的“外部”元优化中的效率和有效性。对于通常是时间关键但训练数据中限制的图像引导应用程序，将潜在的速度和准确性与经典注册算法，无元学习的注册网络以及没有测试时间优化数据的单对优化进行了比较。本文使用来自108名前列腺癌患者的临床超声超声图像数据进行了实验。这些实验证明了元注册方案的有效性，该方案相对于现有基于学习的方法而产生的性能显着提高。此外，由于其快速的测试时间优化过程，元注册在一小部分时间内与经典迭代方法相当。

Coronary Computed Tomography Angiography (CCTA) provides information on the presence, extent, and severity of obstructive coronary artery disease. Large-scale clinical studies analyzing CCTA-derived metrics typically require ground-truth validation in the form of high-fidelity 3D intravascular imaging. However, manual rigid alignment of intravascular images to corresponding CCTA images is both time consuming and user-dependent. Moreover, intravascular modalities suffer from several non-rigid motion-induced distortions arising from distortions in the imaging catheter path. To address these issues, we here present a semi-automatic segmentation-based framework for both rigid and non-rigid matching of intravascular images to CCTA images. We formulate the problem in terms of finding the optimal \emph{virtual catheter path} that samples the CCTA data to recapitulate the coronary artery morphology found in the intravascular image. We validate our co-registration framework on a cohort of $n=40$ patients using bifurcation landmarks as ground truth for longitudinal and rotational registration. Our results indicate that our non-rigid registration significantly outperforms other co-registration approaches for luminal bifurcation alignment in both longitudinal (mean mismatch: 3.3 frames) and rotational directions (mean mismatch: 28.6 degrees). By providing a differentiable framework for automatic multi-modal intravascular data fusion, our developed co-registration modules significantly reduces the manual effort required to conduct large-scale multi-modal clinical studies while also providing a solid foundation for the development of machine learning-based co-registration approaches.

Purpose: In laparoscopic liver surgery (LLS), pre-operative information can be overlaid onto the intra-operative scene by registering a 3D pre-operative model to the intra-operative partial surface reconstructed from the laparoscopic video. To assist with this task, we explore the use of learning-based feature descriptors, which, to our best knowledge, have not been explored for use in laparoscopic liver registration. Furthermore, a dataset to train and evaluate the use of learning-based descriptors does not exist. Methods: We present the LiverMatch dataset consisting of 16 preoperative models and their simulated intra-operative 3D surfaces. We also propose the LiverMatch network designed for this task, which outputs per-point feature descriptors, visibility scores, and matched points. Results: We compare the proposed LiverMatch network with anetwork closest to LiverMatch, and a histogram-based 3D descriptor on the testing split of the LiverMatch dataset, which includes two unseen pre-operative models and 1400 intra-operative surfaces. Results suggest that our LiverMatch network can predict more accurate and dense matches than the other two methods and can be seamlessly integrated with a RANSAC-ICP-based registration algorithm to achieve an accurate initial alignment. Conclusion: The use of learning-based feature descriptors in LLR is promising, as it can help achieve an accurate initial rigid alignment, which, in turn, serves as an initialization for subsequent non-rigid registration. We will release the dataset and code upon acceptance.

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

我们通过补充每个图像的弱点将内扫描（iOS）和牙科锥形电脑层析术（CBCT）图像集成到一个图像中的完全自动化方法。单独的牙科CBCT可能无法通过有限的图像分辨率和各种CBCT伪像（包括金属诱导的伪像）来描绘牙齿表面的精确细节。 iOS非常准确地扫描窄区域，但它在全拱扫描过程中产生累积缝合误差。该方法不仅要补偿具有iOS的CBCT衍生的牙齿表面的低质量，而且还要校正整个牙弓的IOS的累积拼接误差。此外，整合提供了一种图像中CBCT的IOS和齿根的牙龈结构。所提出的全自动方法包括四个部分; （i）iOS数据（TSIM-iOS）的单个牙齿分割和识别模块; （ii）CBCT数据（TSIM-CBCT）的个体齿分割和识别模块; （iii）IOS和CBCT之间的全球到局部牙齿登记; （iv）全拱ios的缝合纠错。实验结果表明，该方法分别达到了0.11mm和0.30mm的地标和表面距离误差。

在这项工作中，我们考虑了成对的跨模式图像注册的任务，这可能会受益于仅利用培训时间可用的其他图像，而这些图像从与注册的图像不同。例如，我们专注于对准主体内的多参数磁共振（MPMR）图像，在T2加权（T2W）扫描和具有高B值（DWI $ _ {high-b} $）的T2加权（T2W）扫描和扩散加权扫描之间。为了在MPMR图像中应用局部性肿瘤，由于相应的功能的可用性，因此认为具有零B值（DWI $ _ {B = 0} $）的扩散扫描被认为更易于注册到T2W。我们使用仅训练成像模态DWI $ _ {b = 0} $从特权模式算法中提出了学习，以支持具有挑战性的多模式注册问题。我们根据356名前列腺癌患者的369组3D多参数MRI图像提出了实验结果图像对，与注册前7.96毫米相比。结果还表明，与经典的迭代算法和其他具有/没有其他方式的经典基于测试的基于学习的方法相比，提出的基于学习的注册网络具有可比或更高准确性的有效注册。这些比较的算法也未能在此具有挑战性的应用中产生DWI $ _ {High-B} $和T2W之间的任何明显改进的对齐。

Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

由于介导的介入X射线和未定义的预介入计算机断层扫描（CT）之间的映射关系是不确定的，辅助定位装置或身体标记，例如医疗植入物，通常用于确定这种关系。然而，由于复杂的现实，这种方法不能广泛用于临床上。为了确定映射关系，并实现没有辅助设备或标记的人体的初始化估计，所提出的方法应用图像分割和深度匹配，以直接匹配X射线和CT图像。结果，训练有素的网络可以直接预测任意X射线和CT之间的空间对应。实验结果表明，当与传统方法相结合的方法时，实现的准确性和速度可以满足基本的临床干预需求，并为介入内注册提供了新的方向。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

在医学中，图像注册对于图像引导的干预措施和其他临床应用至关重要。但是，很难解决，通过机器学习的出现，最近在该领域的医疗图像注册方面已经取得了很大的进步。深度神经网络的实施为某些医学应用提供了机会，例如在更少的时间内进行图像注册，以高精度，在操作过程中对抗肿瘤中发挥关键作用。当前的研究对基于无监督的深神经网络的医学图像注册研究的最新文献进行了全面的范围审查，其中包括到本领域在此日期中发表的所有相关研究。在这里，我们试图总结医学领域中无监督的基于深度学习的注册方法的最新发展和应用。在当前的全面范围审查中，精心讨论和传达了基本和主要概念，技术，从不同观点，新颖性和未来方向的统计分析。此外，这篇评论希望帮助那些被这一领域铆接的活跃读者深入了解这一激动人心的领域。

Point Cloud Registration is the problem of aligning the corresponding points of two 3D point clouds referring to the same object. The challenges include dealing with noise and partial match of real-world 3D scans. For non-rigid objects, there is an additional challenge of accounting for deformations in the object shape that happen to the object in between the two 3D scans. In this project, we study the problem of non-rigid point cloud registration for use cases in the Augmented/Mixed Reality domain. We focus our attention on a special class of non-rigid deformations that happen in rigid objects with parts that move relative to one another about joints, for example, robots with hands and machines with hinges. We propose an efficient and robust point-cloud registration workflow for such objects and evaluate it on real-world data collected using Microsoft Hololens 2, a leading Mixed Reality Platform.

非刚性注册以非刚性方式与目标形状保持一致的源形状变形，是计算机视觉中的经典问题。由于数据（噪声，离群值和部分重叠）和高度自由度，因此此类问题可能具有挑战性。现有方法通常采用$ \ ell_ {p} $键入鲁棒标准来测量对齐误差并规范变形的平滑度，并使用近端算法来解决所得的非平滑优化问题。但是，这种算法的缓慢收敛性限制了其广泛的应用。在本文中，我们提出了一种基于全球平稳的稳健标准进行对齐和正则化的稳健非刚性登记的公式，该规范可以有效地处理异常值和部分重叠。使用大型最小化算法解决了该问题，该算法将每次迭代减少到使用封闭形式的解决方案的凸二次问题。我们进一步应用安德森加速度以加快求解器的收敛性，使求解器能够在具有有限的计算能力的设备上有效运行。广泛的实验证明了我们方法在两种形状之间具有异常值和部分重叠的形状之间的非刚性比对的有效性，并进行定量评估表明，就注册准确性和计算速度而言，它的表现优于最先进的方法。源代码可从https://github.com/yaoyx689/amm_nrr获得。

最近基于深度学习的医学图像注册方法实现了与传统优化算法在减少的运行时间时具有竞争力的结果。但是，深度神经网络通常需要大量标记的培训数据，并且容易受到培训和测试数据之间的领域变化。尽管基于按键的注册可以减轻典型的强度移位，但由于不同的视野，这些方法仍然遭受几何域移位。作为一种补救措施，在这项工作中，我们提出了一种用于图像注册的几何结构域适应性的新方法，将模型从标记的源调整为未标记的目标域。我们以基于按键的注册模型为基础，将用于几何特征学习的图形卷积与循环信念优化相结合，并提议通过自我增压来减少域的转移。为此，我们将模型嵌入了卑鄙的教师范式中。我们将平均教师扩展到这种情况下，通过1）调整随机增强方案和2）将学习的特征提取与可区分优化相结合。这使我们能够通过对学习学生和时间平均的教师模型的一致预测来指导未标记的目标域中的学习过程。我们评估了在两个具有挑战性的适应方案（dir-lab 4d ct to copd，copd to copd to Learn2Reg）下呼气到肺CT注册的方法。我们的方法一致地将基线模型提高了50％/47％，甚至匹配了对目标数据训练的模型的准确性。源代码可在https://github.com/multimodallearning/registration-da-mean-teacher上获得。

目的：在数字组织病理学中，虚拟多染色对于诊断和生物标志物研究很重要。此外，它为各种深度学习任务提供了准确的基础真相。可以使用不同的连续部分或重新染色同一部分来获得虚拟多染色。两种方法都需要图像注册来补偿组织变形，但是很少关注其准确性。方法：我们比较连续和重新染色部分的变异图像注册，并分析图像分辨率的效果，从而影响准确性和所需的计算资源。我们提供了一个新的重新染色和连续部分的混合数据集（Hyreco，81个滑梯对，约3000个地标），我们公开可用，并将其图像注册结果与自动非辅助组织学图像注册（ANHIR）挑战数据进行比较（连续230个滑梯对）。结果：在连续部分之间，我们在注册7.1 {\ Mu} M（Hyreco）和16.0 {\ Mu} M（anhir）后获得了中位标记错误。在重新染色的部分之间，Hyreco数据集的两个子集中的中值注册误差为2.3 {\ MU} M和0.9 {\ MU} M。我们观察到，在两种情况下，可变形的注册导致比仿射注册的地标性较低，尽管在重新染色部分中的影响较小。结论：连续和重新染色部分的可变形注册是对不同污渍联合分析的有价值的工具。意义：虽然重新染色切片的注册允许核级比对，从而可以直接分析相互作用的生物标志物，但连续切片仅允许转移区域级注释。可以使用更粗的图像分辨率以低计算成本来实现后者。

姿势注册在视觉和机器人技术中至关重要。本文重点介绍了无初始化姿势注册的挑战性任务，最高为7DOF，用于均质和异质测量。虽然最近基于学习的方法显示了使用可区分求解器的希望，但它们要么依赖于启发式定义的对应关系，要么易于局部最小值。我们提出了一个可区分的相关（DPC）求解器，该求解器是全球收敛性且无对应的。当与简单的特征提取网络结合使用时，我们的一般框架DPCN ++允许使用任意初始化的多功能姿势注册。具体而言，特征提取网络首先从一对均质/异质测量值中学习致密特征网格。然后将这些特征网格转换为基于傅立叶变换和球形径向聚集的翻译和比例不变频谱表示形式，将翻译转换和从旋转中脱钩。接下来，使用DPC求解器在频谱中独立有效地估计旋转，比例和翻译。整个管道都是可区分和训练的端到端。我们评估了DCPN ++在多种注册任务上，以不同的输入方式，包括2D Bird的视图图像，3D对象和场景测量以及医疗图像。实验结果表明，DCPN ++的表现优于经典和基于学习的基础线，尤其是在部分观察到的异质测量方面。