Coronary Computed Tomography Angiography (CCTA) provides information on the presence, extent, and severity of obstructive coronary artery disease. Large-scale clinical studies analyzing CCTA-derived metrics typically require ground-truth validation in the form of high-fidelity 3D intravascular imaging. However, manual rigid alignment of intravascular images to corresponding CCTA images is both time consuming and user-dependent. Moreover, intravascular modalities suffer from several non-rigid motion-induced distortions arising from distortions in the imaging catheter path. To address these issues, we here present a semi-automatic segmentation-based framework for both rigid and non-rigid matching of intravascular images to CCTA images. We formulate the problem in terms of finding the optimal \emph{virtual catheter path} that samples the CCTA data to recapitulate the coronary artery morphology found in the intravascular image. We validate our co-registration framework on a cohort of $n=40$ patients using bifurcation landmarks as ground truth for longitudinal and rotational registration. Our results indicate that our non-rigid registration significantly outperforms other co-registration approaches for luminal bifurcation alignment in both longitudinal (mean mismatch: 3.3 frames) and rotational directions (mean mismatch: 28.6 degrees). By providing a differentiable framework for automatic multi-modal intravascular data fusion, our developed co-registration modules significantly reduces the manual effort required to conduct large-scale multi-modal clinical studies while also providing a solid foundation for the development of machine learning-based co-registration approaches.

筛查结肠镜检查是多种3D计算机视觉技术的重要临床应用，包括深度估计，表面重建和缺失区域检测。但是，由于难以获取地面真相数据，因此在实际结肠镜检查视频中对这些技术的开发，评估和比较仍然在很大程度上是定性的。在这项工作中，我们提出了一个带有高清临床结肠镜和高保真结肠模型的结肠镜检查3D视频数据集（C3VD），用于在结肠镜检查中进行基准计算机视觉方法。我们介绍了一种新颖的多模式2D-3D注册技术，以注册光学视频序列，并以地面真实的视图对已知3D模型的视图。通过将光学图像转换为具有生成对抗网络的深度图，并通过进化优化器对齐边缘特征来注册不同的模态。在模拟实验中，这种注册方法达到了0.321毫米的平均翻译误差，平均旋转误差为0.159度，无误地面真相可用。该方法还利用视频信息，将注册精度提高了55.6％以进行翻译，与单帧注册相比，旋转60.4％。 22个简短的视频序列被注册，以生成10,015个总帧，具有配对的地面真实深度，表面正常，光流，遮挡，六个自由度姿势，覆盖范围图和3D模型。该数据集还包括胃肠病学家与配对地面真相姿势和3D表面模型获得的筛选视频。数据集和注册源代码可在urr.jhu.edu/c3vd上获得。

全身动态PET中的受试者运动引入了框架间的不匹配，并严重影响参数成像。传统的非刚性注册方法通常在计算上是强度且耗时的。深度学习方法在快速速度方面实现高精度方面是有希望的，但尚未考虑示踪剂分布变化或整体范围。在这项工作中，我们开发了一个无监督的自动深度学习框架，以纠正框架间的身体运动。运动估计网络是一个卷积神经网络，具有联合卷积长的短期记忆层，充分利用动态的时间特征和空间信息。我们的数据集在90分钟的FDG全身动态PET扫描中包含27个受试者。与传统和深度学习基线相比，具有9倍的交叉验证，我们证明了拟议的网络在增强的定性和定量空间对齐方面获得了卓越的性能在显着降低参数拟合误差中。我们还展示了拟议的运动校正方法的潜力来影响对估计参数图像的下游分析，从而提高了将恶性与良性多代谢区域区分开的能力。一旦受过培训，我们提出的网络的运动估计推理时间比常规注册基线快460倍，表明其潜力很容易应用于临床环境中。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

超声（US）成像数据的分割和空间比对在头三个月获得的数据对于监测整个关键时期的人类胚胎生长和发育至关重要。当前的方法是手动或半自动的，因此非常耗时，容易出现错误。为了自动执行这些任务，我们提出了一个多ATLAS框架，用于使用深度学习，以最小的监督使用深度学习，以自动分割和空间对齐。我们的框架学会了将胚胎注册到地图集，该地图集由在胎龄（GA）范围内获取的美国图像组成，分段并在空间上与预定义的标准方向排列。由此，我们可以得出胚胎的分割，并将胚胎放在标准方向上。使用在8+0到12+6周GA的美国图像，并选择了八个受试者作为地图集。我们评估了不同的融合策略，以合并多个地图集：1）使用单个主题中的地图集训练框架，2）使用所有可用地图的数据训练框架和3）3）结合每个受试者训练的框架。为了评估性能，我们计算了测试集的骰子分数。我们发现，使用所有可用地图的训练框架优于结合的结合，与对单个主题进行培训的所有框架中的最佳框架相比，给出了类似的结果。此外，我们发现，从所有可用的地图中，从GA最接近的四个图像中选择图像，无论个人质量如何，都以0.72的中位数分数获得了最佳效果。我们得出的结论是，我们的框架可以准确地分割和空间对齐孕妇在3D US图像中对胚胎进行对齐，并且对于可用地图中存在的质量变化是可靠的。我们的代码可在以下网址公开获取：https：//github.com/wapbastiaansen/multi-atlas-seg-reg。

我们通过补充每个图像的弱点将内扫描（iOS）和牙科锥形电脑层析术（CBCT）图像集成到一个图像中的完全自动化方法。单独的牙科CBCT可能无法通过有限的图像分辨率和各种CBCT伪像（包括金属诱导的伪像）来描绘牙齿表面的精确细节。 iOS非常准确地扫描窄区域，但它在全拱扫描过程中产生累积缝合误差。该方法不仅要补偿具有iOS的CBCT衍生的牙齿表面的低质量，而且还要校正整个牙弓的IOS的累积拼接误差。此外，整合提供了一种图像中CBCT的IOS和齿根的牙龈结构。所提出的全自动方法包括四个部分; （i）iOS数据（TSIM-iOS）的单个牙齿分割和识别模块; （ii）CBCT数据（TSIM-CBCT）的个体齿分割和识别模块; （iii）IOS和CBCT之间的全球到局部牙齿登记; （iv）全拱ios的缝合纠错。实验结果表明，该方法分别达到了0.11mm和0.30mm的地标和表面距离误差。

晚期钆增强磁共振成像（LGE MRI）通常用于可视化和量化左心房（LA）疤痕。疤痕的位置和程度提供了心理生理学和心房颤动进展的重要信息（AF）。因此，LGE MRI的La Scar分段和量化可用于AF患者的计算机辅助诊断和治疗分层。由于手动描绘可能是耗时的，并且经过专家内和专家间变异性，因此非常需要自动化这种计算，这然而仍然仍然具有挑战性和研究。本文旨在为La腔，墙壁，瘢痕和消融差距分割和LGE MRI的定量提供系统审查，以及AF研究的相关文献。具体而言，我们首先总结AF相关的成像技术，特别是LGE MRI。然后，我们详细介绍了四个计算任务的方法，并总结了每个任务中应用的验证策略。最后，概述了未来可能的未来发展，简要调查了上述方法的潜在临床应用。审查表明，该主题的研究仍处于早期阶段。虽然已经提出了几种方法，但特别是对于LA分割，由于与图像采集的高度变化相关的性能问题和图像采集差异有关的性能问题，仍有很大的算法发展。

通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

目的：在数字组织病理学中，虚拟多染色对于诊断和生物标志物研究很重要。此外，它为各种深度学习任务提供了准确的基础真相。可以使用不同的连续部分或重新染色同一部分来获得虚拟多染色。两种方法都需要图像注册来补偿组织变形，但是很少关注其准确性。方法：我们比较连续和重新染色部分的变异图像注册，并分析图像分辨率的效果，从而影响准确性和所需的计算资源。我们提供了一个新的重新染色和连续部分的混合数据集（Hyreco，81个滑梯对，约3000个地标），我们公开可用，并将其图像注册结果与自动非辅助组织学图像注册（ANHIR）挑战数据进行比较（连续230个滑梯对）。结果：在连续部分之间，我们在注册7.1 {\ Mu} M（Hyreco）和16.0 {\ Mu} M（anhir）后获得了中位标记错误。在重新染色的部分之间，Hyreco数据集的两个子集中的中值注册误差为2.3 {\ MU} M和0.9 {\ MU} M。我们观察到，在两种情况下，可变形的注册导致比仿射注册的地标性较低，尽管在重新染色部分中的影响较小。结论：连续和重新染色部分的可变形注册是对不同污渍联合分析的有价值的工具。意义：虽然重新染色切片的注册允许核级比对，从而可以直接分析相互作用的生物标志物，但连续切片仅允许转移区域级注释。可以使用更粗的图像分辨率以低计算成本来实现后者。

图像引导放射疗法中的CBCT为患者的设置和计划评估提供了关键的解剖学信息。纵向CBCT图像登记可以量化分裂间的解剖变化。这项研究的目的是提出一个无监督的基于深度学习的CBCT-CBCT变形图像登记。提出的可变形注册工作流程包括训练和推理阶段，这些培训和推理阶段通过基于空间转换的网络（STN）共享相同的进率前路。 STN由全球生成对抗网络（Globalgan）和本地GAN（Localgan）组成，分别预测了粗略和细尺度运动。通过最小化图像相似性损失和可变形矢量场（DVF）正则化损失，而无需监督地面真实DVF的训练，对网络进行了训练。在推理阶段，训练有素的Localgan预测了局部DVF的斑块，并融合形成全图像DVF。随后将局部全图像DVF与Globalgan生成的DVF合并以获得最终的DVF。在实验中，使用来自20名腹部癌症患者的100个分数CBCT评估了该方法，并在保持测试中来自21名不同腹部癌症患者的队列中的105个分数CBCT。从定性上讲，注册结果显示了变形的CBCT图像与目标CBCT图像之间的对齐。定量地，在基准标记和手动确定的地标计算的平均目标注册误差（TRE）为1.91+-1.11 mm。变形CBCT和目标CBCT之间的平均平均绝对误差（MAE），归一化的跨相关性（NCC）分别为33.42+-7.48 HU，0.94+-0.04。这种有希望的注册方法可以提供快速准确的纵向CBCT对准，以促进分流的解剖变化分析和预测。

从磁共振成像（MRI）数据（称为颅骨条状）中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富，但通常是针对具有特定采集特性的图像量身定制的，即近乎各向异性的分辨率和T1加权（T1W）MRI对比度，这些分辨率在研究环境中很普遍。结果，现有的工具倾向于适应其他图像类型，例如在诊所常见的快速旋转回声（FSE）MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力，但这些方法面临着类似的负担，因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身，我们引入了Synthstrip，这是一种快速，基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学，强度分布和远远超过现实医学图像范围的完全合成训练数据集，Synthstrip学会了成功推广到各种真实获得的大脑图像，从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效，从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。

在这项工作中，我们考虑了成对的跨模式图像注册的任务，这可能会受益于仅利用培训时间可用的其他图像，而这些图像从与注册的图像不同。例如，我们专注于对准主体内的多参数磁共振（MPMR）图像，在T2加权（T2W）扫描和具有高B值（DWI $ _ {high-b} $）的T2加权（T2W）扫描和扩散加权扫描之间。为了在MPMR图像中应用局部性肿瘤，由于相应的功能的可用性，因此认为具有零B值（DWI $ _ {B = 0} $）的扩散扫描被认为更易于注册到T2W。我们使用仅训练成像模态DWI $ _ {b = 0} $从特权模式算法中提出了学习，以支持具有挑战性的多模式注册问题。我们根据356名前列腺癌患者的369组3D多参数MRI图像提出了实验结果图像对，与注册前7.96毫米相比。结果还表明，与经典的迭代算法和其他具有/没有其他方式的经典基于测试的基于学习的方法相比，提出的基于学习的注册网络具有可比或更高准确性的有效注册。这些比较的算法也未能在此具有挑战性的应用中产生DWI $ _ {High-B} $和T2W之间的任何明显改进的对齐。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

心肌运动和变形是表征心脏功能的丰富描述符。图像注册是心肌运动跟踪最常用的技术，是一个不当的反问题，通常需要先前对解决方案空间进行假设。与大多数现有的方法相反，它们强加了明确的通用正则化（例如平滑度），在这项工作中，我们提出了一种新的方法，该方法可以隐式地学习了特定于应用程序的生物力学知识，并将其嵌入了神经网络参数化转换模型中。尤其是，提出的方法利用基于变异自动编码器的生成模型来学习生物力学上合理变形的多种多样。然后，可以通过穿越学习的歧管来搜索最佳转换时，在考虑序列信息时搜索最佳转换。该方法在三个公共心脏Cine MRI数据集中进行了验证，并具有全面的评估。结果表明，所提出的方法可以胜过其他方法，从而获得更高的运动跟踪精度，并具有合理的量保存和更好地变化数据分布的概括性。它还可以更好地估计心肌菌株，这表明该方法在表征时空特征以理解心血管疾病方面的潜力。

动机：医学图像分析涉及帮助医师对病变或解剖结构进行定性和定量分析的任务，从而显着提高诊断和预后的准确性和可靠性。传统上，这些任务由医生或医学物理学家完成，并带来两个主要问题：（i）低效率； （ii）受个人经验的偏见。在过去的十年中，已经应用了许多机器学习方法来加速和自动化图像分析过程。与受监督和无监督的学习模型的大量部署相比，在医学图像分析中使用强化学习的尝试很少。这篇评论文章可以作为相关研究的垫脚石。意义：从我们的观察结果来看，尽管近年来增强学习逐渐增强了动力，但医学分析领域的许多研究人员发现很难理解和部署在诊所中。一个原因是缺乏组织良好的评论文章，针对缺乏专业计算机科学背景的读者。本文可能没有提供医学图像分析中所有强化学习模型的全面列表，而是可以帮助读者学习如何制定和解决他们的医学图像分析研究作为强化学习问题。方法和结果：我们从Google Scholar和PubMed中选择了已发表的文章。考虑到相关文章的稀缺性，我们还提供了一些出色的最新预印本。根据图像分析任务的类型对论文进行仔细审查和分类。我们首先回顾了强化学习的基本概念和流行模型。然后，我们探讨了增强学习模型在具有里程碑意义的检测中的应用。最后，我们通过讨论审查的强化学习方法的局限性和可能的​​改进来结束这篇文章。

机器人超声（US）成像旨在克服美国自由企业考试的一些局限性，例如难以保证操作员可重复性。然而，由于患者之间的解剖学和生理变化以及解剖下结构的相对运动，富有鲁棒性产生最佳轨迹以检查感兴趣的解剖学时，当他们构成明确的关节时，这是一项挑战。为了应对这一挑战，本文提出了一种基于视觉的方法，允许自动机器人美国肢体扫描。为此，使用带注释的血管结构的人臂的Atlas MRI模板用于生成轨迹并注册并将其投射到患者的皮肤表面上，以进行机器人的美国获得。为了有效地细分并准确地重建目标的3D容器，我们通过将通道注意模块纳入U-NET型神经网络中，利用连续美国框架中的空间连续性。自动轨迹生成方法对具有各种铰接关节角度的六名志愿者进行评估。在所有情况下，该系统都可以成功地获取志愿者四肢上计划的血管结构。对于一名志愿者，还提供了MRI扫描，可以评估美国图像中扫描动脉的平均半径，从而导致半径估计（$ 1.2 \ pm0.05〜mm $）可与MRI地面真相相当（$ 1.2 \ $ $） PM0.04〜mm $）。

在图像登记中，许多努力已经致力于开发流行的标准化互信息标准的替代方案。同时对这些努力，越来越多的作品已经证明了登记准确性的大量收益也可以通过对准图像的结构表示而不是图像本身来实现的。在这条研究路径之后，我们提出了一种基于从诸如梯度矢量流场的结构信息的正则化矢量字段的对准来提出一种新方法，如梯度向量流字段，我们调用\ Texit {Vector Field Mettionity}。我们的方法可以通过将矢量字段相似与基于强度的注册的替换方法相似，以直接的方式与任何现有的登记框架组合。在我们的实验中，我们表明所提出的方法在几个公共图像数据集上使用多样性的成像方式和解剖位置对几个公共图像数据集进行了比较。

自由点变压器（FPT）已被提出为使用深神经网络的数据驱动的，非刚性点设置的注册方法。由于fpt不基于点附近或对应关系假设约束，因此可以通过根据倒角距离最大程度地减少无监督的损失来简单训练它。这使得fpt可以适应现实世界中的医学成像应用，在这些应用程序中可能无法获得地面变形，或者在仅在要对齐的点集中只有不同程度的完整性的情况下。为了测试FPT及其对培训数据集的依赖性的对应关系的限制，这项工作探讨了FPT从良好策划的非医学数据集到医学成像数据集的普遍性。首先，我们在ModelNet40数据集上训练FPT，以证明其有效性和FPT的出色注册性能，而不是基于迭代和学习的点设置注册方法。其次，我们证明了缺少数据的刚性和非刚性注册和鲁棒性的卓越性能。最后，我们通过在没有额外的训练的情况下注册了重建的脊柱和通用脊柱模型的徒手超声扫描，强调了模型网训练的FPT的有趣概括性，从而在13位患者的情况下，对地面真相曲率的平均差异为1.3度。