经典的可变形配准技术取得了令人印象深刻的结果,并提供了严格的理论处理,但计算量很大,因为它们解决了每个图像对的优化问题。最近,基于学习的方法通过学习空间变形功能促进了快速登记。然而,这些方法使用受限制的变形模型,需要监督标签,或者不保证差异形态(拓扑保持)登记。此外,基于学习的注册工具并非来自可提供不确定性估计的概率框架。在本文中,我们建立了经典和基于学习的方法之间的联系。我们提出了一种概率生成模型,并推导出一种无监督的基于学习的推理算法,该算法利用经典注册方法的见解,并利用卷积神经网络(CNNs)的最新发展。我们在图像和解剖表面的3D脑注册任务上演示了我们的方法,并提供了广泛的算法经验分析。我们的原则方法可以实现精确的运行状态和非常快的运行时间,同时提供不同的保证。我们的实现可以在http://voxelmorph.csail.mit.edu在线获得。
translated by 谷歌翻译
生物医学图像分割是许多医学应用中的重要任务。基于卷积神经网络的分割方法具有最先进的精度;但是,它们通常依赖于使用大型标记数据集的监督训练。医学图像的标记数据集需要大量的专业知识和时间,并且在大规模上是不可行的。研究人员使用诸如手工设计的预处理步骤,手工调整的架构和数据增强等技术来解决缺乏标记数据的问题。然而,这些技术涉及昂贵的工程工作,并且通常是数据集特定的。我们提出了一种医学图像的自动数据增强方法。我们针对分割磁共振成像(MRI)脑部扫描的任务展示了我们的方法,重点关注一次性分割场景 - 许多医学应用中的实际挑战。我们的方法只需要单独的分段扫描,并在半监督的方法中利用其他未标记的扫描。我们从图像中学习变换模型,并使用带有标记示例的模式来合成用于监督分割的附加标记的训练样本。每个变换由空间变形场和强度变化组成,能够合成复杂效应,例如解剖学和图像采集过程的变化。使用这些新实例对监督分段器的训练提供了相对于最先进方法的显着改进。用于一次性生物医学图像分割。我们的代码可以通过以下网址获得://github.com/xamyzhao/brainstorm。
translated by 谷歌翻译
临床扫描的可变形登记是许多应用的基本任务,例如人口研究或监测个体患者的长期疾病进展。这项任务具有挑战性,因为与高分辨率研究质量的扫描不相符,临床图像非常稀疏,相比之下,缺少多达85%的切片。此外,由于相对于扫描仪的患者取向的变化,所获取的切片中的解剖结构在扫描中不一致。在这项工作中,我们引入了稀疏VoxelMorph(SparseVM),它适应了最先进的基于学习的注册方法,以改善稀疏临床图像的注册.SparseVM是一种快速,无监督的方法,可以根据置信度对体素贡献进行加权。在体素中。这导致具有不同可靠性的体素的体积的改善的注册性能,例如插值的临床扫描。 SparseVM在GPU下注册3D扫描,这比最佳性能的临床注册方法快几个数量级,同时仍然达到了相当的准确性。由于它的短时运行时间和准确的行为,SparseVM可以实现以前不可能的临床分析。该代码可在voxelmorph.mit.edu上公开获得。
translated by 谷歌翻译
我们提出了VoxelMorph,一种快速,无监督,基于学习的可变形成对医学图像配准算法。传统的注册方法针对每对图像独立地优化目标函数,这对于大型数据集而言是耗时的。我们将注册定义为参数函数,实现为卷积神经网络(CNN)。在给定一组感兴趣的图像的情况下,对其全局参数进行优化。给定一对新的扫描,VoxelMorph通过直接评估函数来快速计算变形场。我们的模型非常灵活,可以使用任何可微分的目标函数来优化这些参数。在这项工作中,我们提出并广泛评估标准图像匹配目标函数以及可以使用辅助数据的目标函数,例如仅在训练时可用的解剖学分割。我们证明无监督模型的准确性与现有技术相当,而操作数量级更快。我们还发现,使用辅助数据训练的VoxelMorph可显着提高测试时的注册准确性。我们的方法有望显着加速医学图像分析和处理管道,同时促进基于学习的注册及其应用的新方向。我们的代码可以在voxelmorph.csail.mit.edu上免费获得。
translated by 谷歌翻译
传统的可变形配准技术取得了令人印象深刻的结果,并提供了严格的理论处理,但计算密集,因为它们解决了每个图像对的优化问题。最近,基于学习的方法通过学习空间变形功能促进了快速登记。然而,这些方法使用受限制的变形模型,需要监督标签,或者不保证差异形态(拓扑保持)注册。此外,基于学习的注册工具还没有从可以提供不确定性估计的概率框架中得出。在本文中,我们提出了一种概率生成模型,并推导出一种无监督的基于学习的推理算法,该算法利用了卷积神经网络(CNNs)的最新发展。我们在3D脑注册任务上展示我们的方法,并提供该算法的经验分析。我们的方法导致了精确的运行状态和非常快的运行时间,同时提供了不同的保证和不确定性估计。我们的实施可在线获取:http://voxelmorph.csail.mit.edu。
translated by 谷歌翻译
我们研究了在语境强盗模型中自动决策系统中离线学习的问题。我们获得记录的历史数据,包括上下文,(随机)动作和(非负)奖励。一个共同的目标是评估如果在相同的内容中采取不同的行动会发生什么,以便相应地优化行动政策。这个问题的典型方法,逆概率加权估计(IPWE)[Bottou et al。,2013],需要记录动作概率,由于工程复杂性,这可能在实践中被忽略。即使可用,小动作概率也会在IPWE中引起很大的不确定性,使得相应的结果无关紧要。为了解决这两个问题,我们展示了如何使用策略改进(PIL)目标,通过策略模仿(IML)进行规范化。我们通过展示这两者是对香草IPWE的下限代理来激励和分析PIL作为Clipped-IPWE的扩展。我们还正式将IML与IPWE方差估计[Swaminathan和Joachims 2015]和自然政策梯度联系起来。在没有概率记录的情况下,我们的PIL-IML解释通过奖励加权来证明和改进现有的交叉熵(CE)损失,其预测在相同上下文中可用的所有动作候选者中的动作项。通过概率记录,我们的主要理论贡献将IML不足与存在的混淆变量或模型错误指定联系起来。我们通过基于辛普森悖论,标准UCImulticlass-to-bandit转换和Criteo反事实分析挑战数据集的模拟显示我们洞察的价值和准确性。
translated by 谷歌翻译
在本文中,我们提出了一种新的增强技术,该技术不仅可以提高深度神经网络在清洁测试数据上的性能,而且还显着提高了它们对随机变换(仿射和投影)的鲁棒性。受ManiFool的启发,增强是通过aline-search manifold-exploration方法执行的,该方法学习仿射几何变换,导致对图像的错误分类,同时确保它与训练数据保持在同一流形上。这种增强方法使用位于两类之间的流形边界的图像填充任何训练数据集,并最大化网络在训练期间所暴露的变化。我们的方法从有限数据和乳房肿瘤乳房肿瘤分类的细粒度皮肤病变分类的挑战性任务进行了彻底评估。与传统的增强方法相比,以及通过GenerativeAdversarial Networks合成的图像,我们的方法不仅可以实现最先进的性能,还可以显着提高网络的稳健性。
translated by 谷歌翻译
我们引入了贝叶斯QuickNAT,用于MRI T1扫描的全脑分割的自动化质量控制。在贝叶斯完全卷积神经网络的旁边,我们还提出了分段不确定性的固有度量,允许每个大脑结构的质量控制。为了估计模型不确定性,我们遵循贝叶斯方法,其中,通过在测试时保持丢失层活动来生成来自后验分布的蒙特卡罗(MC)样本。 MC样本上的熵提供了体素模型不确定性图,而对MC预测的期望提供了最终分割。除了体素不确定性之外,我们还在质量控制的分割中引入了四个量度结构的结构不确定性。对包含不同年龄范围,病理学和成像伪影的四个样本外数据集进行实验。所提出的结构不确定度量与通过manualannotation估计的Dice得分高度相关,因此呈现了分割质量的固有度量。特别地,所有MC样本上的交叉结合是Dice得分的合适代理。除了质量控制atscan级别,我们建议将结构方面的不确定性作为一种信心度量来对大型数据存储库进行可靠的组分析。我们设想引入的不确定性度量将有助于评估基于自动深度学习的分割方法的保真度。用于大规模人口研究,因为它们可以在处理大型数据存储库时实现自动化质量控制和组分析。
translated by 谷歌翻译
我们提出了一种新颖的,参数有效且实用的完全卷积神经网络架构,称为InfiNet,旨在在等强度阶段对婴儿脑MRI图像进行体素分类语义分割,可以轻松扩展其他涉及多模态的分割任务.InfiNet包括用于T1和T2输入扫描的双编码器臂,其馈送到终止于分​​类层的联合解码器臂。 InfiNet的不足之处在于解码器对来自多个编码器臂的低分辨率输入特征图进行上采样的方式。具体地,在每个编码器块的最大池化层中计算的合并索引与相应的解码器块相关,以执行非线性学习上采样。稀疏映射与中间编码器表示(跳过连接)连接,并与可训练滤波器卷积以产生密集特征映射。 InfiNet经过端到端的培训,可以优化广义骰子损失,非常适合高级别的不平衡.InfiNet可以在50秒内完成整体分割,并且可以针对多种最先进的深层体系进行竞争。他们的多模态变体。
translated by 谷歌翻译
帕金森病综合征的几种疾病在早期阶段表现出相似的症状,直到现在才批准客观广泛使用的诊断方法。具有$ ^ {18} $ F-FDG的正电子发射断层扫描(PET)显示能够评估突触核蛋白病和tau蛋白病的早期神经元功能障碍。基于张量因子分解(TF)的方法已被应用于鉴定用于鉴别诊断的特征代谢模式。然而,这些常规尺寸减小策略假设数据内部存在线性或多线性关系,因此不足以区分各种帕金森综合征之间的非线性代谢差异。在本文中,我们提出了深度投影神经网络(DPNN)来识别特征代谢模式,用于帕金森病综合征的早期鉴别诊断。我们从现有的TF方法中汲取灵感。网络包括:(i)压缩部分:使用深度网络,可以获得3D扫描的最佳2D投影;以及(ii)分类部分:将2D投影映射到标签。可以使用剩余的未标记数据集预先训练压缩部分。此外,由于分类部分对这些2D投影进行操作,因此与3D方法相比,可以使用有限的标记数据有效地对端到端进行训练。我们表明,与现有的最先进和合理的基线相比,DPNN更有效。
translated by 谷歌翻译