经典的可变形配准技术取得了令人印象深刻的结果,并提供了严格的理论处理,但计算量很大,因为它们解决了每个图像对的优化问题。最近,基于学习的方法通过学习空间变形功能促进了快速登记。然而,这些方法使用受限制的变形模型,需要监督标签,或者不保证差异形态(拓扑保持)登记。此外,基于学习的注册工具并非来自可提供不确定性估计的概率框架。在本文中,我们建立了经典和基于学习的方法之间的联系。我们提出了一种概率生成模型,并推导出一种无监督的基于学习的推理算法,该算法利用经典注册方法的见解,并利用卷积神经网络(CNNs)的最新发展。我们在图像和解剖表面的3D脑注册任务上演示了我们的方法,并提供了广泛的算法经验分析。我们的原则方法可以实现精确的运行状态和非常快的运行时间,同时提供不同的保证。我们的实现可以在http://voxelmorph.csail.mit.edu在线获得。
translated by 谷歌翻译
生物医学图像分割是许多医学应用中的重要任务。基于卷积神经网络的分割方法具有最先进的精度;但是,它们通常依赖于使用大型标记数据集的监督训练。医学图像的标记数据集需要大量的专业知识和时间,并且在大规模上是不可行的。研究人员使用诸如手工设计的预处理步骤,手工调整的架构和数据增强等技术来解决缺乏标记数据的问题。然而,这些技术涉及昂贵的工程工作,并且通常是数据集特定的。我们提出了一种医学图像的自动数据增强方法。我们针对分割磁共振成像(MRI)脑部扫描的任务展示了我们的方法,重点关注一次性分割场景 - 许多医学应用中的实际挑战。我们的方法只需要单独的分段扫描,并在半监督的方法中利用其他未标记的扫描。我们从图像中学习变换模型,并使用带有标记示例的模式来合成用于监督分割的附加标记的训练样本。每个变换由空间变形场和强度变化组成,能够合成复杂效应,例如解剖学和图像采集过程的变化。使用这些新实例对监督分段器的训练提供了相对于最先进方法的显着改进。用于一次性生物医学图像分割。我们的代码可以通过以下网址获得://github.com/xamyzhao/brainstorm。
translated by 谷歌翻译
可以通过在k空间(即,傅立叶域)中的下采样来加速磁共振成像(MRI)扫描的获取。在本文中,我们考虑了以数据驱动的方式优化子采样模式的问题。由于重建模型的性能取决于子采样模式,我们将这两个问题结合起来。对于给定的稀疏约束,我们的方法使用端到端学习策略优化子采样模式和重建模型。我们的算法从追溯欠采样的全分辨率数据中学习,产生亚采样模式和重建模型,这些模式是根据训练数据中表示的图像类型定制的。我们称之为LOUPE(欠采样PattErn的基于学习的优化)的方法是通过修改U-Net实现的,U-Net是一种广泛使用的卷积神经网络体系结构,我们附加了编码采样过程的正向模型。我们使用T1加权结构脑MRI扫描的实验表明,与标准随机均匀,可变密度或等间隔欠采样方案相比,优化的子采样模式可以产生明显更准确的重建。
translated by 谷歌翻译
临床扫描的可变形登记是许多应用的基本任务,例如人口研究或监测个体患者的长期疾病进展。这项任务具有挑战性,因为与高分辨率研究质量的扫描不相符,临床图像非常稀疏,相比之下,缺少多达85%的切片。此外,由于相对于扫描仪的患者取向的变化,所获取的切片中的解剖结构在扫描中不一致。在这项工作中,我们引入了稀疏VoxelMorph(SparseVM),它适应了最先进的基于学习的注册方法,以改善稀疏临床图像的注册.SparseVM是一种快速,无监督的方法,可以根据置信度对体素贡献进行加权。在体素中。这导致具有不同可靠性的体素的体积的改善的注册性能,例如插值的临床扫描。 SparseVM在GPU下注册3D扫描,这比最佳性能的临床注册方法快几个数量级,同时仍然达到了相当的准确性。由于它的短时运行时间和准确的行为,SparseVM可以实现以前不可能的临床分析。该代码可在voxelmorph.mit.edu上公开获得。
translated by 谷歌翻译
变分自动编码器(VAE)是一种功能强大且广泛使用的模型,用于以无人监督的方式学习复杂的数据分布。 VAE的一个重要限制是先前假设潜在样本表示是独立且相同分布的。然而,对于许多重要的数据集,例如时间序列的图像,这个假设太强了:考虑样本之间的协方差,例如时间上的协方差,可以产生更合适的模型规范并改善下游任务中的性能。在这项工作中,我们引入了一个新模型,高斯过程(GP)PriorVariational Autoencoder(GPPVAE),专门解决这个问题。 TheGPPVAE旨在将VAE的强大功能与GP先验所提供的相关性建模相结合。为了在这一类新模型中实现有效推理,我们利用协方差矩阵中的结构,并引入新的随机反向传播策略,允许以分布式和低内存方式计算随机梯度。我们展示了我们的方法在两个图像数据应用中执行条件VAE(CVAE)和标准VAE的改编。
translated by 谷歌翻译
我们提出了VoxelMorph,一种快速,无监督,基于学习的可变形成对医学图像配准算法。传统的注册方法针对每对图像独立地优化目标函数,这对于大型数据集而言是耗时的。我们将注册定义为参数函数,实现为卷积神经网络(CNN)。在给定一组感兴趣的图像的情况下,对其全局参数进行优化。给定一对新的扫描,VoxelMorph通过直接评估函数来快速计算变形场。我们的模型非常灵活,可以使用任何可微分的目标函数来优化这些参数。在这项工作中,我们提出并广泛评估标准图像匹配目标函数以及可以使用辅助数据的目标函数,例如仅在训练时可用的解剖学分割。我们证明无监督模型的准确性与现有技术相当,而操作数量级更快。我们还发现,使用辅助数据训练的VoxelMorph可显着提高测试时的注册准确性。我们的方法有望显着加速医学图像分析和处理管道,同时促进基于学习的注册及其应用的新方向。我们的代码可以在voxelmorph.csail.mit.edu上免费获得。
translated by 谷歌翻译
我们提出了一种新的迭代分割模型,可以从一个小数据集中准确地学习。一种常见的方法是训练模型以直接分割图像,需要大量手动注释图像以捕获群组中的解剖变异性。相比之下,我们开发了一个分段模型,该模型以几个步骤递归地演化分段,并实现为循环神经网络。除了最终分割之外,我们还通过优化进化的中间步骤来学习模型参数。为此,我们通过提出与推荐的nextstep配对的不完整和/或不准确的输入分段来训练我们的分割传播模型。我们的工作旨在缓解先天性心脏病(CHD)患者从心脏MRI中分割心脏结构的挑战,其中包括一系列形态变形和拓扑变化。我们在来自CHD患者的20幅图像的数据集上展示了这种方法的优势,学习了准确分割各个心室和大血管的模型。与直接分割相比,迭代方法可以为患有最严重CHD畸形的患者提供更准确的分割。
translated by 谷歌翻译
我们提出了一种用于创建高分辨率解剖学合理图像的算法,该算法与获得的具有大片间距的获得的临床脑MRI扫描一致。尽管临床图像的大数据集包含大量信息,但是在采集期间的时间限制导致稀疏扫描无法捕获大部分解剖结构。这些特征通常使得计算分析变得不切实际,因为当应用于这样的图像时,许多图像分析算法往往会失败。明确处理稀疏切片间距的高度专业化算法在问题域中并不能很好地概括。相比之下,我们的目标是实现原始开发的用于高分辨率研究扫描的现有算法应用于显着的采样扫描。我们引入了一个生成模型,该模型捕获了临床图像集合中受试者的精细尺度解剖结构,并推导出用于填充大切片间距扫描中的缺失数据的算法。我们的实验结果表明,所得到的方法优于最先进的上采样超分辨率技术,并且有助于进行后续分析,而这种分析以前无法通过此质量的扫描实现。我们的实施是免费提供的:http://github.com/adalca/papago。
translated by 谷歌翻译
传统的可变形配准技术取得了令人印象深刻的结果,并提供了严格的理论处理,但计算密集,因为它们解决了每个图像对的优化问题。最近,基于学习的方法通过学习空间变形功能促进了快速登记。然而,这些方法使用受限制的变形模型,需要监督标签,或者不保证差异形态(拓扑保持)注册。此外,基于学习的注册工具还没有从可以提供不确定性估计的概率框架中得出。在本文中,我们提出了一种概率生成模型,并推导出一种无监督的基于学习的推理算法,该算法利用了卷积神经网络(CNNs)的最新发展。我们在3D脑注册任务上展示我们的方法,并提供该算法的经验分析。我们的方法导致了精确的运行状态和非常快的运行时间,同时提供了不同的保证和不确定性估计。我们的实施可在线获取:http://voxelmorph.csail.mit.edu。
translated by 谷歌翻译
哈密​​顿蒙特卡罗是一种强大的算法,用于从难以归一化的后验分布中进行采样。然而,当后部的几何形状不利时,可能需要对目标分布及其梯度进行许多昂贵的评估以收敛和混合。我们提出神经传输(NeuTra)HMC,这是一种学习使用逆自回归流(IAF)来校正这种不利几何的技术,这是一种强大的神经变分推理技术。 IAF经过训练以最小化从各向同性高斯到翘曲后向的KL发散,然后在翘曲空间中执行HMC采样。我们在各种合成和实际问题上对NeuTra HMC进行了评估,发现它在达到静止分布和渐近有效样本大小率的过程中显着优于vanilla HMC。
translated by 谷歌翻译