经典的可变形配准技术取得了令人印象深刻的结果,并提供了严格的理论处理,但计算量很大,因为它们解决了每个图像对的优化问题。最近,基于学习的方法通过学习空间变形功能促进了快速登记。然而,这些方法使用受限制的变形模型,需要监督标签,或者不保证差异形态(拓扑保持)登记。此外,基于学习的注册工具并非来自可提供不确定性估计的概率框架。在本文中,我们建立了经典和基于学习的方法之间的联系。我们提出了一种概率生成模型,并推导出一种无监督的基于学习的推理算法,该算法利用经典注册方法的见解,并利用卷积神经网络(CNNs)的最新发展。我们在图像和解剖表面的3D脑注册任务上演示了我们的方法,并提供了广泛的算法经验分析。我们的原则方法可以实现精确的运行状态和非常快的运行时间,同时提供不同的保证。我们的实现可以在http://voxelmorph.csail.mit.edu在线获得。
translated by 谷歌翻译
临床扫描的可变形登记是许多应用的基本任务,例如人口研究或监测个体患者的长期疾病进展。这项任务具有挑战性,因为与高分辨率研究质量的扫描不相符,临床图像非常稀疏,相比之下,缺少多达85%的切片。此外,由于相对于扫描仪的患者取向的变化,所获取的切片中的解剖结构在扫描中不一致。在这项工作中,我们引入了稀疏VoxelMorph(SparseVM),它适应了最先进的基于学习的注册方法,以改善稀疏临床图像的注册.SparseVM是一种快速,无监督的方法,可以根据置信度对体素贡献进行加权。在体素中。这导致具有不同可靠性的体素的体积的改善的注册性能,例如插值的临床扫描。 SparseVM在GPU下注册3D扫描,这比最佳性能的临床注册方法快几个数量级,同时仍然达到了相当的准确性。由于它的短时运行时间和准确的行为,SparseVM可以实现以前不可能的临床分析。该代码可在voxelmorph.mit.edu上公开获得。
translated by 谷歌翻译
我们提出了VoxelMorph,一种快速,无监督,基于学习的可变形成对医学图像配准算法。传统的注册方法针对每对图像独立地优化目标函数,这对于大型数据集而言是耗时的。我们将注册定义为参数函数,实现为卷积神经网络(CNN)。在给定一组感兴趣的图像的情况下,对其全局参数进行优化。给定一对新的扫描,VoxelMorph通过直接评估函数来快速计算变形场。我们的模型非常灵活,可以使用任何可微分的目标函数来优化这些参数。在这项工作中,我们提出并广泛评估标准图像匹配目标函数以及可以使用辅助数据的目标函数,例如仅在训练时可用的解剖学分割。我们证明无监督模型的准确性与现有技术相当,而操作数量级更快。我们还发现,使用辅助数据训练的VoxelMorph可显着提高测试时的注册准确性。我们的方法有望显着加速医学图像分析和处理管道,同时促进基于学习的注册及其应用的新方向。我们的代码可以在voxelmorph.csail.mit.edu上免费获得。
translated by 谷歌翻译
传统的可变形配准技术取得了令人印象深刻的结果,并提供了严格的理论处理,但计算密集,因为它们解决了每个图像对的优化问题。最近,基于学习的方法通过学习空间变形功能促进了快速登记。然而,这些方法使用受限制的变形模型,需要监督标签,或者不保证差异形态(拓扑保持)注册。此外,基于学习的注册工具还没有从可以提供不确定性估计的概率框架中得出。在本文中,我们提出了一种概率生成模型,并推导出一种无监督的基于学习的推理算法,该算法利用了卷积神经网络(CNNs)的最新发展。我们在3D脑注册任务上展示我们的方法,并提供该算法的经验分析。我们的方法导致了精确的运行状态和非常快的运行时间,同时提供了不同的保证和不确定性估计。我们的实施可在线获取:http://voxelmorph.csail.mit.edu。
translated by 谷歌翻译
自然语言生成(NLG)的神经方法一直有望用于面向目标的对话。然而,生产这些方法的挑战之一是能够控制响应质量,并确保生成的响应是可接受的。我们建议使用生成,过滤和排名框架,其中首先过滤候选响应以消除不可接受的响应,然后排序以选择最佳响应。虽然可接受性包括语法正确性和语义正确性,但我们仅关注语法分类。本文,并显示用于语法错误纠正的thatexisting数据集不能正确捕获数据驱动的生成器可能产生的错误的分布。我们为由三维数据驱动的NLG系统生成的响应组成的天气领域发布语法分类和语义正确性分类数据集。然后,我们探索两种监督学习方法(CNN和GBDT)来分类语法。我们的实验表明,语法分类对数据中的错误分布非常敏感,并且这些分布随着响应的来源和域而显着变化。我们表明,通过对数据集的合理回忆,可以实现高精度。
translated by 谷歌翻译
模型体系结构的规模急剧增加,以牺牲资源需求为代价提高了性能。在本文中,我们提出3DQ,一种三元量化方法,首次应用于3D全卷积神经网络(F-CNN),实现16x模型压缩,同时保持与全精度模型相当的性能。我们在两个数据集上广泛评估3DQ,以完成全脑分割的挑战性任务。此外,我们展示了我们的方法能够推广两种常见的3D架构,即3D U-Net和V-Net。该方法的性能优于各种基线,能够将大型3D模型压缩到几MB,从而减轻了空间关键应用中的存储需求。
translated by 谷歌翻译
我们介绍了学习音频(音乐)和视觉数据(图像)之间的情感对应的问题。对于此任务,如果音乐片段和图像具有相似的情感内容,则认为它们是相似的(具有真实的对应关系)。为了估计这种交叉模式,以情绪为中心的相似性,我们提出了一种深度神经网络架构,它学习将数据从两种模态投影到一个公共表示空间,并执行二元分类任务来预测情感对应(真或假)。为了促进当前的研究,我们构建了一个大型数据库,其中包含超过3,500美元的音乐片段和85,000美元的图像,包含三种情感类别(正面,中性,负面)。拟议方法在该数据库上实现了情感通信预测任务的61.67美元\%$准确度,优于两个相关和竞争基线。我们还证明了我们的网络可以学习情态特定的情感表征(并且明确地用情感标签进行训练),这对于个体模态中的情感识别是有用的。
translated by 谷歌翻译
我们研究了在语境强盗模型中自动决策系统中离线学习的问题。我们获得记录的历史数据,包括上下文,(随机)动作和(非负)奖励。一个共同的目标是评估如果在相同的内容中采取不同的行动会发生什么,以便相应地优化行动政策。这个问题的典型方法,逆概率加权估计(IPWE)[Bottou et al。,2013],需要记录动作概率,由于工程复杂性,这可能在实践中被忽略。即使可用,小动作概率也会在IPWE中引起很大的不确定性,使得相应的结果无关紧要。为了解决这两个问题,我们展示了如何使用策略改进(PIL)目标,通过策略模仿(IML)进行规范化。我们通过展示这两者是对香草IPWE的下限代理来激励和分析PIL作为Clipped-IPWE的扩展。我们还正式将IML与IPWE方差估计[Swaminathan和Joachims 2015]和自然政策梯度联系起来。在没有概率记录的情况下,我们的PIL-IML解释通过奖励加权来证明和改进现有的交叉熵(CE)损失,其预测在相同上下文中可用的所有动作候选者中的动作项。通过概率记录,我们的主要理论贡献将IML不足与存在的混淆变量或模型错误指定联系起来。我们通过基于辛普森悖论,标准UCImulticlass-to-bandit转换和Criteo反事实分析挑战数据集的模拟显示我们洞察的价值和准确性。
translated by 谷歌翻译
在本文中,我们提出了一种新的增强技术,该技术不仅可以提高深度神经网络在清洁测试数据上的性能,而且还显着提高了它们对随机变换(仿射和投影)的鲁棒性。受ManiFool的启发,增强是通过aline-search manifold-exploration方法执行的,该方法学习仿射几何变换,导致对图像的错误分类,同时确保它与训练数据保持在同一流形上。这种增强方法使用位于两类之间的流形边界的图像填充任何训练数据集,并最大化网络在训练期间所暴露的变化。我们的方法从有限数据和乳房肿瘤乳房肿瘤分类的细粒度皮肤病变分类的挑战性任务进行了彻底评估。与传统的增强方法相比,以及通过GenerativeAdversarial Networks合成的图像,我们的方法不仅可以实现最先进的性能,还可以显着提高网络的稳健性。
translated by 谷歌翻译
我们引入了贝叶斯QuickNAT,用于MRI T1扫描的全脑分割的自动化质量控制。在贝叶斯完全卷积神经网络的旁边,我们还提出了分段不确定性的固有度量,允许每个大脑结构的质量控制。为了估计模型不确定性,我们遵循贝叶斯方法,其中,通过在测试时保持丢失层活动来生成来自后验分布的蒙特卡罗(MC)样本。 MC样本上的熵提供了体素模型不确定性图,而对MC预测的期望提供了最终分割。除了体素不确定性之外,我们还在质量控制的分割中引入了四个量度结构的结构不确定性。对包含不同年龄范围,病理学和成像伪影的四个样本外数据集进行实验。所提出的结构不确定度量与通过manualannotation估计的Dice得分高度相关,因此呈现了分割质量的固有度量。特别地,所有MC样本上的交叉结合是Dice得分的合适代理。除了质量控制atscan级别,我们建议将结构方面的不确定性作为一种信心度量来对大型数据存储库进行可靠的组分析。我们设想引入的不确定性度量将有助于评估基于自动深度学习的分割方法的保真度。用于大规模人口研究,因为它们可以在处理大型数据存储库时实现自动化质量控制和组分析。
translated by 谷歌翻译