准确的不确定性估计是医学成像社区的关键需求。已经提出了多种方法,所有直接扩展分类不确定性估计技术。独立像素的不确定性估计通常基于神经网络的概率解释,不考虑解剖学的先验知识,因此为许多细分任务提供了次优的结果。因此,我们提出了不确定性预测方法的酥脆图像分割。 Crisp以其核心实现了一种对比的方法来学习一个共同的潜在空间,该方法编码有效分割及其相应图像的分布。我们使用此联合潜在空间将预测与数千个潜在矢量进行比较,并提供解剖学上一致的不确定性图。在涉及不同方式和器官的四个医学图像数据库上进行的综合研究强调了我们方法的优势与最先进的方法相比。
translated by 谷歌翻译
Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31--48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75--78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.
translated by 谷歌翻译
现代深层神经网络在医学图像分割任务中取得了显着进展。然而,最近观察到他们倾向于产生过于自信的估计,即使在高度不确定性的情况下,导致校准差和不可靠的模型。在这项工作中,我们介绍了错误的预测(MEEP)的最大熵,分割网络的培训策略,这些网络选择性地惩罚过度自信预测,仅关注错误分类的像素。特别是,我们设计了一个正规化术语,鼓励出于错误的预测,增加了复杂场景中的网络不确定性。我们的方法对于神经结构不可知,不会提高模型复杂性,并且可以与多分割损耗功能耦合。我们在两个具有挑战性的医学图像分割任务中将拟议的策略基准:脑磁共振图像(MRI)中的白质超强度病变,心脏MRI中的心房分段。实验结果表明,具有标准分割损耗的耦合MEEP不仅可以改善模型校准,而且还导致分割质量。
translated by 谷歌翻译
深度学习技术在检测医学图像中的对象方面取得了成功,但仍然遭受虚假阳性预测,可能会阻碍准确的诊断。神经网络输出的估计不确定性已用于标记不正确的预测。我们研究了来自神经网络不确定性估计的功能和基于形状的特征,这些特征是根据二进制预测计算出的,从二进制预测中,通过开发基于分类的后处理步骤来减少肝病病变检测中的假阳性,以用于不同的不确定性估计方法。我们证明了两个数据集上所有不确定性估计方法的神经网络的病变检测性能(相对于F1分数)的改善,分别包括腹部MR和CT图像。我们表明,根据神经网络不确定性估计计算的功能往往不会有助于降低假阳性。我们的结果表明,诸如阶级不平衡(真实假阳性比率)和从不确定性图提取的基于形状的特征之类的因素在区分假阳性和真实阳性预测方面起着重要作用
translated by 谷歌翻译
深层模型的概率校准是在安全至关重要的应用(例如医学成像)中非常可取的。它通过将预测概率与测试数据中的实际准确性对齐,使深网的输出概率可解释。在图像分割中,精心校准的概率使放射科医生可以识别模型预测的分割不可靠的区域。这些不可靠的预测通常是由成像伪影或看不见的成像协议引起的室外(OOD)图像。不幸的是,大多数用于图像分割的先前校准方法在OOD图像上表现出色。为了减少面对OOD图像的校准误差,我们提出了一个新型的事后校准模型。我们的模型利用当地级别的扰动的像素敏感性以及在全球层面的形状先验信息。该模型在心脏MRI分割数据集上进行了测试,这些数据集包含来自看不见的成像协议中看不见的成像伪像和图像。与最新的校准算法相比,我们证明了校准误差减少。
translated by 谷歌翻译
扩散模型对图像的生成建模表现出令人印象深刻的性能。在本文中,我们提出了一种基于扩散模型的新型语义分段方法。通过修改培训和采样方案,我们表明扩散模型可以执行医学图像的病变分割。为了生成图像特定的分割,我们在地面真实分割上培训模型,并在采样过程中使用图像作为先前的图像。通过给定的随机抽样过程,我们可以生成分割面罩的分布。此属性允许我们计算分割的像素方面的不确定性地图,并允许增加分段性能的分段内隐式集合。我们评估我们在Brats2020数据集上进行脑肿瘤细分的方法。与最先进的分割模型相比,我们的方法产生了良好的细分结果,另外,有意义地,有意义的不确定性地图。
translated by 谷歌翻译
儿科肌肉骨骼系统的形态学和诊断评价在临床实践中至关重要。但是,大多数分段模型在稀缺的儿科成像数据上都不好。我们提出了一种新的预训练的正则化卷积编码器 - 解码器,用于分割异质儿科磁共振(MR)图像的具有挑战性的任务。在这方面,我们采用转移学习方法以及正规化策略来改善分段模型的概括。为此,我们已经构思了用于分割网络的新颖优化方案,其包括丢失函数的额外正则化术语。为了获得全局一致的预测,我们纳入了基于形状的正则化,从自动编码器学习的非线性形状表示来源。另外,通过鉴别器计算的对抗正规化是集成的,以鼓励合理的描绘。评估来自脚踝和肩部关节的两个稀缺的小儿摄像数据集的多骨分割任务的方法,包括病理和健康检查。所提出的方法与先前提出的骰子,灵敏度,特异性,最大对称表面距离,平均对称表面距离和相对绝对体积差异度量的方法更好或以前的方法进行更好或以前的方法进行比例。我们说明所提出的方法可以很容易地集成到各种骨骼分割策略中,并且可以提高在大型非医学图像数据库上预先培训的模型的预测准确性。获得的结果为小儿肌肉骨骼障碍的管理带来了新的视角。
translated by 谷歌翻译
深度学习(DL)在数字病理应用中表现出很大的潜力。诊断DL的解决方案的鲁棒性对于安全的临床部署至关重要。在这项工作中,我们通过增加数字病理学中的DL预测的不确定性估计,可以通过提高一般预测性能或通过检测错误预测性来导致临床应用的价值增加。我们将模型 - 集成方法(MC辍学和深度集成)的有效性与模型 - 不可知方法(测试时间增强,TTA)进行比较。此外,比较了四个不确定性度量。我们的实验专注于两个域改变情景:转移到不同的医疗中心和癌症的不足亚型。我们的结果表明,不确定性估计可以增加一些可靠性并降低对分类阈值选择的敏感性。虽然高级指标和深度集合在我们的比较中表现最佳,但更简单的度量和TTA的附加值很小。重要的是,所有评估的不确定度估计方法的益处通过域移位减少。
translated by 谷歌翻译
小儿肌肉骨骼系统的临床诊断依赖于医学成像检查的分析。在医学图像处理管道中,使用深度学习算法的语义分割使人可以自动生成患者特定的三维解剖模型,这对于形态学评估至关重要。但是,小儿成像资源的稀缺性可能导致单个深层分割模型的准确性和泛化性能降低。在这项研究中,我们建议设计一个新型的多任务多任务多域学习框架,在该框架中,单个分割网络对由解剖学的不同部分产生的多个数据集进行了优化。与以前的方法不同,我们同时考虑多个强度域和分割任务来克服小儿数据的固有稀缺性,同时利用成像数据集之间的共享特征。为了进一步提高概括能力,我们从自然图像分类中采用了转移学习方案,以及旨在在共享表示中促进域特异性群集的多尺度对比正则化,以及多连接解剖学先验来执行解剖学上一致的预测。我们评估了使用脚踝,膝盖和肩关节的三个稀缺和小儿成像数据集进行骨分割的贡献。我们的结果表明,所提出的方法在骰子指标中的表现优于个人,转移和共享分割方案,并具有统计学上足够的利润。拟议的模型为智能使用成像资源和更好地管理小儿肌肉骨骼疾病提供了新的观点。
translated by 谷歌翻译
鉴于其精确,效率和客观性,深入学习(DL)在重塑医疗保健系统方面具有很大的承诺。然而,DL模型到嘈杂和分发输入的脆性是在诊所的部署中的疾病。大多数系统产生点估计,无需进一步了解模型不确定性或信心。本文介绍了一个新的贝叶斯深度学习框架,用于分割神经网络中的不确定量化,特别是编码器解码器架构。所提出的框架使用一阶泰勒级近似传播,并学习模型参数分布的前两个矩(均值和协方差,通过最大化培训数据来最大限度地提高界限。输出包括两个地图:分段图像和分段的不确定性地图。细分决定中的不确定性被预测分配的协方差矩阵捕获。我们评估了从磁共振成像和计算机断层扫描的医学图像分割数据上提出的框架。我们在多个基准数据集上的实验表明,与最先进的分割模型相比,所提出的框架对噪声和对抗性攻击更加稳健。此外,所提出的框架的不确定性地图将低置信度(或等效高不确定性)与噪声,伪像或对抗攻击损坏的测试输入图像中的贴片。因此,当通过在不确定性地图中呈现更高的值,该模型可以自评测出现错误预测或错过分割结构的一部分,例如肿瘤。
translated by 谷歌翻译
在这项工作中,我们使用变分推论来量化无线电星系分类的深度学习模型预测的不确定性程度。我们表明,当标记无线电星系时,个体测试样本的模型后差水平与人类不确定性相关。我们探讨了各种不同重量前沿的模型性能和不确定性校准,并表明稀疏事先产生更良好的校准不确定性估计。使用单个重量的后部分布,我们表明我们可以通过从最低信噪比(SNR)中除去权重来修剪30%的完全连接的层权重,而无需显着损失性能。我们证明,可以使用基于Fisher信息的排名来实现更大程度的修剪,但我们注意到两种修剪方法都会影响Failaroff-Riley I型和II型无线电星系的不确定性校准。最后,我们表明,与此领域的其他工作相比,我们经历了冷的后效,因此后部必须缩小后加权以实现良好的预测性能。我们检查是否调整成本函数以适应模型拼盘可以弥补此效果,但发现它不会产生显着差异。我们还研究了原则数据增强的效果,并发现这改善了基线,而且还没有弥补观察到的效果。我们将其解释为寒冷的后效,因为我们的培训样本过于有效的策划导致可能性拼盘,并将其提高到未来无线电银行分类的潜在问题。
translated by 谷歌翻译
在胸部计算机断层扫描(CT)扫描中,自动分割地面玻璃的不透明和固结可以在高资源利用时期减轻放射科医生的负担。但是,由于分布(OOD)数据默默失败,深度学习模型在临床常规中不受信任。我们提出了一种轻巧的OOD检测方法,该方法利用特征空间中的Mahalanobis距离,并无缝集成到最新的分割管道中。简单的方法甚至可以增加具有临床相关的不确定性定量的预训练模型。我们在四个胸部CT分布偏移和两个磁共振成像应用中验证我们的方法,即海马和前列腺的分割。我们的结果表明,所提出的方法在所有探索场景中有效地检测到遥远和近型样品。
translated by 谷歌翻译
机器学习算法支撑现代诊断辅助软件,这在临床实践中证明了有价值的,特别是放射学。然而,不准确的是,主要是由于临床样本的可用性有限,用于培训这些算法,妨碍他们在临床医生中更广泛的适用性,接受和识别。我们对最先进的自动质量控制(QC)方法进行了分析,可以在这些算法中实现,以估计其输出的确定性。我们验证了识别磁共振成像数据中的白质超收缩性(WMH)的大脑图像分割任务上最有前途的方法。 WMH是在上层前期成年中常见的小血管疾病的关联,并且由于其变化的尺寸和分布模式而尤其具有挑战性。我们的研究结果表明,不确定度和骰子预测的聚集在此任务的故障检测中最有效。两种方法在0.82至0.84的情况下独立改善平均骰子。我们的工作揭示了QC方法如何有助于检测失败的分割案例,从而使自动分割更可靠,适合临床实践。
translated by 谷歌翻译
机器学习模型通常会遇到与训练分布不同的样本。无法识别分布(OOD)样本,因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性,该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性,检测OOD样品是具有挑战性的。迄今为止,一些研究领域解决了检测陌生样本的问题,包括异常检测,新颖性检测,一级学习,开放式识别识别和分布外检测。尽管有相似和共同的概念,但分别分布,开放式检测和异常检测已被独立研究。因此,这些研究途径尚未交叉授粉,创造了研究障碍。尽管某些调查打算概述这些方法,但它们似乎仅关注特定领域,而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时,对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益,并协同发展未来的方法。此外,据我们所知,虽然进行异常检测或单级学习进行了调查,但没有关于分布外检测的全面或最新的调查,我们的调查可广泛涵盖。最后,有了统一的跨域视角,我们讨论并阐明了未来的研究线,打算将这些领域更加紧密地融为一体。
translated by 谷歌翻译
尽管脑肿瘤分割的准确性最近取得了进步,但结果仍然遭受低可靠性和鲁棒性的影响。不确定性估计是解决此问题的有效解决方案,因为它提供了对分割结果的信心。当前的不确定性估计方法基于分位数回归,贝叶斯神经网络,集合和蒙特卡洛辍学者受其高计算成本和不一致的限制。为了克服这些挑战,在最近的工作中开发了证据深度学习(EDL),但主要用于自然图像分类。在本文中,我们提出了一个基于区域的EDL分割框架,该框架可以生成可靠的不确定性图和可靠的分割结果。我们使用证据理论将神经网络的输出解释为从输入特征收集的证据价值。遵循主观逻辑,将证据作为差异分布进行了参数化,预测的概率被视为主观意见。为了评估我们在分割和不确定性估计的模型的性能,我们在Brats 2020数据集上进行了定量和定性实验。结果证明了所提出的方法在量化分割不确定性和稳健分割肿瘤方面的最高性能。此外,我们提出的新框架保持了低计算成本和易于实施的优势,并显示了临床应用的潜力。
translated by 谷歌翻译
最近出现了一系列用于估计具有单个正向通行证的深神经网络中的认知不确定性的新方法,最近已成为贝叶斯神经网络的有效替代方法。在信息性表示的前提下,这些确定性不确定性方法(DUM)在检测到分布(OOD)数据的同时在推理时添加可忽略的计算成本时实现了强大的性能。但是,目前尚不清楚dums是否经过校准,可以无缝地扩展到现实世界的应用 - 这都是其实际部署的先决条件。为此,我们首先提供了DUMS的分类法,并在连续分配转移下评估其校准。然后,我们将它们扩展到语义分割。我们发现,尽管DUMS尺度到现实的视觉任务并在OOD检测方面表现良好,但当前方法的实用性受到分配变化下的校准不良而破坏的。
translated by 谷歌翻译
监管基于深度学习的方法,产生医学图像分割的准确结果。但是,它们需要大量标记的数据集,并获得它们是一种艰苦的任务,需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示,并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中,对于学习良好的本地级别表示以及全局表示来说至关重要,以实现更好的准确性。然而,现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制,因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释,而不是基于当地地区的语义标签。在本文中,我们提出了局部对比损失,以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地,我们定义了建议的损失,以鼓励具有相同伪标签/标签的像素的类似表示,同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失,通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估,并获得高分割性能。
translated by 谷歌翻译
多模式学习通过在预测过程中同样组合多个输入数据模式来重点关注培训模型。但是,这种相等的组合可能不利于预测准确性,因为不同的方式通常伴随着不同水平的不确定性。通过几种方法研究了使用这种不确定性来组合模式,但是成功有限,因为这些方法旨在处理特定的分类或细分问题,并且不能轻易地转化为其他任务,或者遭受数值的不稳定性。在本文中,我们提出了一种新的不确定性多模式学习者,该学习者通过通过跨模式随机网络预测(CRNP)测量特征密度来估计不确定性。 CRNP旨在几乎不需要适应来在不同的预测任务之间转换,同时进行稳定的培训过程。从技术角度来看,CRNP是探索随机网络预测以估算不确定性并结合多模式数据的第一种方法。对两个3D多模式医学图像分割任务和三个2D多模式计算机视觉分类任务的实验显示了CRNP的有效性,适应性和鲁棒性。此外,我们提供了有关不同融合功能和可视化的广泛讨论,以验证提出的模型。
translated by 谷歌翻译
分割模型在医疗域中的可靠性取决于模型对输入空间中扰动的鲁棒性。鲁棒性是在医学成像中的特殊挑战,展示了各种图像噪声,腐败和域转移的来源。通常通过模拟异质环境来尝试获得鲁棒性,要么以数据增强的形式进行启发,要么通过学习以对抗性方式产生特定的扰动。我们提出并证明在低维嵌入空间中学习离散表示可以改善分割模型的鲁棒性。这是通过称为矢量定量的字典学习方法来实现的。我们使用一组设计的实验来分析域移位和输入空间中的噪声扰动下的潜在和输出空间的鲁棒性。我们适应流行的UNET架构,在瓶颈中插入一个定量块。我们证明了在三个分割任务上的分段准确性和更好的鲁棒性。代码可在\ url {https://github.com/ainkaransanthi/vector-quantisation-for-robust-mentegation}中获得。
translated by 谷歌翻译
人工智能(AI)辅助方法在风险领域(例如疾病诊断)受到了很多关注。与疾病类型的分类不同,将医学图像归类为良性或恶性肿瘤是一项精细的任务。但是,大多数研究仅着重于提高诊断准确性,而忽略了模型可靠性的评估,从而限制了其临床应用。对于临床实践,校准对过度参数化的模型和固有的噪声极为明显地提出了低数据表格的主要挑战。特别是,我们发现建模与数据相关的不确定性更有利于置信度校准。与测试时间增强(TTA)相比,我们通过混合数据增强策略提出了一个修改后的自举损失(BS损耗)功能,可以更好地校准预测性不确定性并捕获数据分布转换而无需额外推断时间。我们的实验表明,与标准数据增强,深度集合和MC辍学相比,混合(BSM)模型的BS损失(BSM)模型可以将预期校准误差(ECE)减半。在BSM模型下,不确定性与相似性之间的相关性高达-0.4428。此外,BSM模型能够感知室外数据的语义距离,这表明在现实世界中的临床实践中潜力很高。
translated by 谷歌翻译