最近,已广泛研究了基于深度学习的方法,以进行可变形的图像注册任务。但是,大多数努力将复合图像表示形式直接映射到通过卷积神经网络的空间转换,而忽略了其捕获空间对应关系的有限能力。另一方面,变压器可以更好地表征与注意机制的空间关系,其远程依赖性可能对注册任务有害,在这种情况下,距离太大的体素不太可能是相应的对。在这项研究中,我们提出了一个新型的变形器模块,以及用于可变形图像配准任务的多尺度框架。变形器模块旨在通过将位移矢量预测作为几个碱基的加权总和来促进从图像表示到空间转换的映射。借助多尺度框架以粗略的方式预测位移字段,与传统和基于学习的方法相比,可以实现卓越的性能。进行了两个公共数据集的全面实验,以证明所提出的变形器模块以及多规模框架的有效性。
translated by 谷歌翻译
由于其极端的长距离建模能力,基于视觉变压器的网络在可变形图像注册中变得越来越流行。但是,我们认为,5层卷积U-NET的接受场足以捕获准确的变形而无需长期依赖性。因此,这项研究的目的是研究与现代变压器的方法相比,将基于U-NET的方法用于医学图像注册时是否已过时。为此,我们通过将平行的卷积块嵌入香草U-NET以增强有效的接受场来提出一个大核U-NET(LKU-NET)。在公共3D IXI Brain Dataset上,用于基于ATLAS的注册,我们表明,香草U-NET的性能已经与基于最新的变压器网络(例如Transmorph)相提并论,并且提出的LKU-NET仅使用其参数的1.12%和其多添加操作的10.8%,优于Transmorph。我们进一步评估了MICCAI Learn2Reg 2021挑战数据集中的LKU-NET,以进行主题间注册,我们的LKU-NET在此数据集中也优于TransMorph,并且在此工作提交后,在公共排行榜上排名第一。只有对香草U-NET的适度修改,我们表明U-NET可以在基于主体间和基于ATLAS的3D医疗图像注册上胜过基于变压器的体系结构。代码可在https://github.com/xi-jia/lku-net上找到。
translated by 谷歌翻译
脑MRI图像的登记需要解决变形领域,这对于对准复杂的脑组织,例如皮质核等,这是极其困难的现有努力,该努力在具有微小运动的中间子场中分解目标变形领域,即逐步登记阶段或较低的分辨率,即全尺寸变形场的粗析估计。在本文中,我们认为这些努力不是相互排斥的,并为普通和粗良好的方式同时提出统一的脑MRI登记统一框架。具体地,在双编码器U-Net上构建,定制移动的MRI对被编码和解码成从粗略到精细的多尺度变形子字段。每个解码块包含两个提出的新颖模块:i)在变形场积分(DFI)中,计算单个集成子字段,翘曲,其等同于来自所有先前解码块的子字段逐渐翘曲,并且II)非刚性特征融合(NFF),固定移动对的特征由DFI集成子场对齐,然后融合以预测更精细的子场。利用DFI和NFF,目标变形字段被修改为多尺度子场,其中较粗糙的字段缓解了更精细的一个和更精细的字段的估计,以便构成以前粗糙的较粗糙的那些错位。私人和公共数据集的广泛和全面的实验结果展示了脑MRI图像的优越的登记性能,仅限于逐步登记和粗略估计,平均骰子的粗略估计数量在最多8%上升。
translated by 谷歌翻译
We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.
translated by 谷歌翻译
在过去的十年中,卷积神经网络(Convnets)主导了医学图像分析领域。然而,发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点,在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者,因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中,我们呈现透射帧,一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形,具有两个散晶变体,确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型:患者间脑MRI注册和幻影到CT注册。定性和定量结果表明,传输和其变体导致基线方法的实质性改进,展示了用于医学图像配准的变压器的有效性。
translated by 谷歌翻译
大多数基于深度学习(DL)的可变形图像登记方法使用卷积神经网络(CNN)来估计移动和固定图像对的位移字段。但是,这要求CNN中的卷积内核不仅从输入中提取强度特征,而且还了解图像坐标系。我们认为,后者的任务对传统CNN来说是具有挑战性的,从而限制了他们在注册任务中的性能。为了解决此问题,我们首先介绍坐标翻译器,坐标转换器是一个可区分的模块,该模块识别固定和移动图像之间的匹配功能,并在不需要训练的情况下输出其坐标对应关系。它卸载了了解CNN的图像坐标系的负担,从而使它们可以专注于特征提取。然后,我们提出了一个新型的可变形注册网络IM2Grid,该网络使用多个坐标转换器与从CNN编码中提取的层次结构特征,并以粗略的方式输出变形字段。我们将IM2Grid与无监督的3D磁共振图像注册的最新DL和非DL方法进行了比较。我们的实验表明,IM2Grid在定性和定量上都优于这些方法。
translated by 谷歌翻译
可变形的图像配准能够在一对图像之间实现快速准确的对准,因此在许多医学图像研究中起着重要作用。当前的深度学习(DL)基础的图像登记方法通过利用卷积神经网络直接从一个图像到另一个图像的空间变换,要求地面真相或相似度量。然而,这些方法仅使用全局相似性能量函数来评估一对图像的相似性,该图像忽略了图像内的感兴趣区域(ROI)的相似性。此外,基于DL的方法通常估计直接图像的全球空间转换,这永远不会注意图像内ROI的区域空间转换。在本文中,我们介绍了一种具有区域一致性约束的新型双流转换网络,其最大化了一对图像内的ROI的相似性,并同时估计全局和区域空间转换。四个公共3D MRI数据集的实验表明,与其他最先进的方法相比,该方法可实现准确性和泛化的最佳登记性能。
translated by 谷歌翻译
图像注册广泛用于医学图像分析中,以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络(CNN)的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多,但是从复杂的CNN方法中获得的准确性提高是适度的。在这里,我们介绍了一个新的基于深神经的图像注册框架,名为\ textbf {mirnf},该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的,使用神经ODE求解器集成了MiRNF的速度矢量输出,以得出两个图像之间的对应关系。此外,我们提出了一个混合坐标采样器以及级联的体系结构,以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验,这表明我们提出的框架提供了最新的注册性能,同时保持了可比的优化时间。
translated by 谷歌翻译
可变形的图像注册对于许多医学图像分析是基础。准确图像注册的关键障碍在于图像外观变化,例如纹理,强度和噪声的变化。这些变化在医学图像中很明显,尤其是在经常使用注册的大脑图像中。最近,使用深神经网络的基于深度学习的注册方法(DLR)显示了计算效率,比基于传统优化的注册方法(ORS)快几个数量级。 DLR依靠一个全球优化的网络,该网络经过一组培训样本训练以实现更快的注册。但是,DLR倾向于无视ORS固有的目标对特异性优化,因此已经降低了对测试样品变化的适应性。这种限制对于注册出现较大的医学图像的限制是严重的,尤其是因为很少有现有的DLR明确考虑了外观的变化。在这项研究中,我们提出了一个外观调整网络(AAN),以增强DLR对外观变化的适应性。当我们集成到DLR中时,我们的AAN提供了外观转换,以减少注册过程中的外观变化。此外,我们提出了一个由解剖结构约束的损失函数,通过该函数,我们的AAN产生了解剖结构的转化。我们的AAN被目的设计为容易插入广泛的DLR中,并且可以以无监督和端到端的方式进行合作培训。我们用三个最先进的DLR评估了3D脑磁共振成像(MRI)的三个公共数据集(MRI)。结果表明,我们的AAN始终提高了现有的DLR,并且在注册精度上优于最先进的OR,同时向现有DLR增加了分数计算负载。
translated by 谷歌翻译
Brain extraction and registration are important preprocessing steps in neuroimaging data analysis, where the goal is to extract the brain regions from MRI scans (i.e., extraction step) and align them with a target brain image (i.e., registration step). Conventional research mainly focuses on developing methods for the extraction and registration tasks separately under supervised settings. The performance of these methods highly depends on the amount of training samples and visual inspections performed by experts for error correction. However, in many medical studies, collecting voxel-level labels and conducting manual quality control in high-dimensional neuroimages (e.g., 3D MRI) are very expensive and time-consuming. Moreover, brain extraction and registration are highly related tasks in neuroimaging data and should be solved collectively. In this paper, we study the problem of unsupervised collective extraction and registration in neuroimaging data. We propose a unified end-to-end framework, called ERNet (Extraction-Registration Network), to jointly optimize the extraction and registration tasks, allowing feedback between them. Specifically, we use a pair of multi-stage extraction and registration modules to learn the extraction mask and transformation, where the extraction network improves the extraction accuracy incrementally and the registration network successively warps the extracted image until it is well-aligned with the target image. Experiment results on real-world datasets show that our proposed method can effectively improve the performance on extraction and registration tasks in neuroimaging data. Our code and data can be found at https://github.com/ERNetERNet/ERNet
translated by 谷歌翻译
Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN
translated by 谷歌翻译
可变形图像注册是医学图像分析中的关键步骤,用于在一对固定图像和移动图像之间找到非线性空间转换。基于卷积神经网络(CNN)的深度注册方法已被广泛使用,因为它们可以快速和端到端的方式执行图像注册。但是,这些方法通常对具有较大变形的图像对的性能有限。最近,迭代深度注册方法已被用来减轻这种限制,在这种限制中,转换以粗到精细的方式迭代学习。但是,迭代方法不可避免地会延长注册运行时,并倾向于学习每次迭代的单独图像特征,从而阻碍了功能的利用,以便在以后的迭代时促进注册。在这项研究中,我们提出了一个非详细的粗到十五个注册网络(NICE-NET),用于可变形图像注册。在Nice-Net中,我们提出:(i)单个深度累积学习(SDCL)解码器,可以在网络的单个通过(迭代)中累积地学习粗到5的转换,以及(ii)选择性地 - 传播功能学习(SFL)编码器,可以为整个粗到精细的注册过程学习通用图像功能,并根据需要选择性地传播功能。在3D脑磁共振成像(MRI)的六个公共数据集上进行了广泛的实验表明,我们提出的Nice-NET可以超越最新的迭代深度注册方法,而仅需要与非辅助方法类似的运行时间。
translated by 谷歌翻译
迄今为止,迄今为止,众所周知,对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展,以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法,但优化,建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学:脑,腹部和胸部,方式:超声波,CT,MRI,群体:患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍,这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集,包括稳健性,准确性,合理性和速度,使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性,偏见和重要性,主要是基于深度学习的方法的优越性,并将新的研究方向开放到利用GPU加速的常规优化的混合方法。
translated by 谷歌翻译
可变形的图像注册提供了有关图像的动态信息,并且在医学图像分析中至关重要。但是,由于单个时期脑MR图像和多阶梯超声心动图的不同特征,因此很难使用相同的算法或模型准确地注册它们。我们提出了一个无监督的多尺度相关性迭代注册网络(SearchMorph),该模型具有三个亮点。 (1)我们引入了成本量来加强特征相关性和构造的相关金字塔以补充多尺度相关信息。 (2)我们设计了搜索模块来搜索多尺度金字塔中功能的注册。 (3)我们使用GRU模块进行变形场的迭代细化。本文提出的网络显示了在常见的单个时间段登记任务中的领导,并解决了多时间运动估计任务。实验结果表明,我们提出的方法比最新方法获得了更高的注册精度和更低的折叠点比。
translated by 谷歌翻译
可变形图像注册在医学图像分析的各种任务中起着至关重要的作用。从常规能源优化或深层网络中得出的成功的注册算法需要从计算机专家那里进行巨大努力来井设计注册能源,或者仔细调整特定类型的医疗数据类型的网络架构。为了解决上述问题,本文提出了一种自动学习注册算法(Autoreg),该算法(Autoreg)合作优化了建筑及其相应的培训目标,使非计算机专家,例如医疗/临床用户,以方便地查找现有的注册各种情况的算法。具体而言,我们建立了一个三级框架,以自动搜索机制和合作优化来推导注册网络体系结构和目标。我们对多站点卷数据集和各种注册任务进行图像注册实验。广泛的结果表明,我们的自动化可能会自动学习给定量的最佳深度注册网络并实现最先进的性能,也比主流UNET体系结构显着提高了计算效率(从0.558到0.558至0.270秒,对于3D图像对相同的配置)。
translated by 谷歌翻译
可变形图像配准是医学成像和计算机视觉的基本任务之一。经典登记算法通常依赖于迭代优化方法来提供准确的变形,这需要高计算成本。虽然已经开发了许多基于深度学习的方法来进行快速图像登记,但估计具有较少拓扑折叠问题的变形场仍然挑战。此外,这些方法仅使登记到单个固定图像,并且不可能在移动和固定图像之间获得连续变化的登记结果。为了解决这个问题,我们介绍了一种新的扩散模型的概率图像配准方法,称为DemageUseMorph。具体而言,我们的模型了解移动和固定图像之间变形的得分函数。类似于现有的扩散模型,DiffUsemorph不仅通过反向扩散过程提供合成变形图像,而且还使运动图像的各种水平与潜在的空间一起。在2D面部表达图像和3D脑图像登记任务上的实验结果表明,我们的方法可以通过拓扑保存能力提供灵活和准确的变形。
translated by 谷歌翻译
医疗图像注册和细分是多种临床程序的关键任务。这些任务的手动实现是耗时的,质量高度取决于医师的专业水平。为了减轻这项费力的任务,已经开发了自动工具,其中大多数解决方案都是有监督的技术。但是,在医疗领域中,拥有代表性的基础真理的强有力假设远非现实。为了克服这一挑战,已经研究了无监督的技术。但是,它们的性能仍然有限,并且无法产生合理的结果。在这项工作中,我们提出了一个新型的统一的无监督框架,用于图像注册和分割,我们称为PC-Swinmorph。我们框架的核心是两种基于补丁的策略,我们证明补丁表示是性能增益的关键。我们首先引入了基于补丁的对比策略,该策略可执行当地条件和更丰富的特征表示。其次,我们利用一个3D窗口/移动的窗口多头自发项模块作为补丁缝制策略,以消除贴片分裂中的人工制品。我们通过一组数值和视觉结果证明,我们的技术优于当前最新的无监督技术。
translated by 谷歌翻译
Deformable image registration is a key task in medical image analysis. The Brain Tumor Sequence Registration challenge (BraTS-Reg) aims at establishing correspondences between pre-operative and follow-up scans of the same patient diagnosed with an adult brain diffuse high-grade glioma and intends to address the challenging task of registering longitudinal data with major tissue appearance changes. In this work, we proposed a two-stage cascaded network based on the Inception and TransMorph models. The dataset for each patient was comprised of a native pre-contrast (T1), a contrast-enhanced T1-weighted (T1-CE), a T2-weighted (T2), and a Fluid Attenuated Inversion Recovery (FLAIR). The Inception model was used to fuse the 4 image modalities together and extract the most relevant information. Then, a variant of the TransMorph architecture was adapted to generate the displacement fields. The Loss function was composed of a standard image similarity measure, a diffusion regularizer, and an edge-map similarity measure added to overcome intensity dependence and reinforce correct boundary deformation. We observed that the addition of the Inception module substantially increased the performance of the network. Additionally, performing an initial affine registration before training the model showed improved accuracy in the landmark error measurements between pre and post-operative MRIs. We observed that our best model composed of the Inception and TransMorph architectures while using an initially affine registered dataset had the best performance with a median absolute error of 2.91 (initial error = 7.8). We achieved 6th place at the time of model submission in the final testing phase of the BraTS-Reg challenge.
translated by 谷歌翻译
注册在医学图像分析中起着重要作用。已经研究了用于医学图像注册的深度学习方法,该方法利用卷积神经网络(CNN)有效地从一对图像中回归了密集的变形场。但是,CNN的限制是其提取语义上有意义的内部和图像间空间对应关系的能力,这对于准确的图像注册至关重要。这项研究提出了一个新型的端到端深度学习框架,用于无监督的仿射和差异可变形的注册,称为acsgregnet,该框架集成了一个交叉意识模块,用于建立图像间的特征对应关系和一个自我主张模块,以进行内部内部的模块图像解剖结构意识到。两个注意模块都建立在变压器编码器上。每个注意模块的输出分别被馈送到解码器以生成速度场。我们进一步引入了一个封闭式的融合模块,以融合两个速度场。然后将融合速度场集成到密集的变形场。广泛的实验是在腰椎CT图像上进行的。一旦训练了模型,就可以一枪注册一对看不见的腰椎。通过450对椎CT数据进行了评估,我们的方法的平均骰子为0.963,平均距离误差为0.321mm,比最先进的(SOTA)更好。
translated by 谷歌翻译
Unsupervised image registration commonly adopts U-Net style networks to predict dense displacement fields in the full-resolution spatial domain. For high-resolution volumetric image data, this process is however resource intensive and time-consuming. To tackle this problem, we propose the Fourier-Net, replacing the expansive path in a U-Net style network with a parameter-free model-driven decoder. Specifically, instead of our Fourier-Net learning to output a full-resolution displacement field in the spatial domain, we learn its low-dimensional representation in a band-limited Fourier domain. This representation is then decoded by our devised model-driven decoder (consisting of a zero padding layer and an inverse discrete Fourier transform layer) to the dense, full-resolution displacement field in the spatial domain. These changes allow our unsupervised Fourier-Net to contain fewer parameters and computational operations, resulting in faster inference speeds. Fourier-Net is then evaluated on two public 3D brain datasets against various state-of-the-art approaches. For example, when compared to a recent transformer-based method, i.e., TransMorph, our Fourier-Net, only using 0.22$\%$ of its parameters and 6.66$\%$ of the mult-adds, achieves a 0.6\% higher Dice score and an 11.48$\times$ faster inference speed. Code is available at \url{https://github.com/xi-jia/Fourier-Net}.
translated by 谷歌翻译