深层模型的概率校准是在安全至关重要的应用（例如医学成像）中非常可取的。它通过将预测概率与测试数据中的实际准确性对齐，使深网的输出概率可解释。在图像分割中，精心校准的概率使放射科医生可以识别模型预测的分割不可靠的区域。这些不可靠的预测通常是由成像伪影或看不见的成像协议引起的室外（OOD）图像。不幸的是，大多数用于图像分割的先前校准方法在OOD图像上表现出色。为了减少面对OOD图像的校准误差，我们提出了一个新型的事后校准模型。我们的模型利用当地级别的扰动的像素敏感性以及在全球层面的形状先验信息。该模型在心脏MRI分割数据集上进行了测试，这些数据集包含来自看不见的成像协议中看不见的成像伪像和图像。与最新的校准算法相比，我们证明了校准误差减少。

现代深层神经网络在医学图像分割任务中取得了显着进展。然而，最近观察到他们倾向于产生过于自信的估计，即使在高度不确定性的情况下，导致校准差和不可靠的模型。在这项工作中，我们介绍了错误的预测（MEEP）的最大熵，分割网络的培训策略，这些网络选择性地惩罚过度自信预测，仅关注错误分类的像素。特别是，我们设计了一个正规化术语，鼓励出于错误的预测，增加了复杂场景中的网络不确定性。我们的方法对于神经结构不可知，不会提高模型复杂性，并且可以与多分割损耗功能耦合。我们在两个具有挑战性的医学图像分割任务中将拟议的策略基准：脑磁共振图像（MRI）中的白质超强度病变，心脏MRI中的心房分段。实验结果表明，具有标准分割损耗的耦合MEEP不仅可以改善模型校准，而且还导致分割质量。

深度学习模型通常遭受域移位问题，其中一个源域培训的模型不会概括到其他看不见的域。在这项工作中，我们调查了单源域泛化问题：培训一个深入的网络，在训练数据仅从一个源域中获得的训练数据中的条件，这是在医学成像应用程序中常见的情况下。我们在跨域医学图像分割的背景下解决这个问题。在这种情况下，域移主要由不同的采集过程引起。我们提出了一种简单的因果关系激发数据增强方法，使分段模型暴露于合成域移位的训练示例。具体而言，1）使得深度模型在图像强度和纹理中的差异差异，我们采用了一系列随机加权浅网络。他们使用不同的外观变换来增强训练图像。 2）此外，我们表明图像中物体之间的虚假相关性对域的鲁棒性有害。网络可能被网络作为特定于域的线索进行预测的相关性，并且它们可能会破坏看不见的域。我们通过因果干预删除这些杂散相关性。这是通过分层潜在相关对象的外表来实现的。所提出的方法在三个横域分割任务上验证：跨型号（CT-MRI）腹部图像分割，串序（BSSFP-LGE）心动MRI分割和跨中心前列腺MRI分段。当在看不见的域测试时，所提出的方法与竞争方法相比，与竞争方法相比产生一致的性能。

现在众所周知，神经网络对其预测的信心很高，导致校准不良。弥补这一点的最常见的事后方法是执行温度缩放，这可以通过将逻辑缩放为固定值来调整任何输入的预测的信心。尽管这种方法通常会改善整个测试数据集中的平均校准，但无论给定输入的分类是否正确还是不正确，这种改进通常会降低预测的个人信心。有了这种见解，我们将方法基于这样的观察结果，即不同的样品通过不同的量导致校准误差，有些人需要提高其信心，而另一些则需要减少它。因此，对于每个输入，我们建议预测不同的温度值，从而使我们能够调整较细性的置信度和准确性之间的不匹配。此外，我们观察到了OOD检测结果的改善，还可以提取数据点的硬度概念。我们的方法是在事后应用的，因此使用很少的计算时间和可忽略不计的记忆足迹，并应用于现成的预训练的分类器。我们使用CIFAR10/100和TINY-IMAGENET数据集对RESNET50和WIDERESNET28-10架构进行测试，这表明在整个测试集中产生每数据点温度也有益于预期的校准误差。代码可在以下网址获得：https：//github.com/thwjoy/adats。

Medical image segmentation (MIS) is essential for supporting disease diagnosis and treatment effect assessment. Despite considerable advances in artificial intelligence (AI) for MIS, clinicians remain skeptical of its utility, maintaining low confidence in such black box systems, with this problem being exacerbated by low generalization for out-of-distribution (OOD) data. To move towards effective clinical utilization, we propose a foundation model named EvidenceCap, which makes the box transparent in a quantifiable way by uncertainty estimation. EvidenceCap not only makes AI visible in regions of uncertainty and OOD data, but also enhances the reliability, robustness, and computational efficiency of MIS. Uncertainty is modeled explicitly through subjective logic theory to gather strong evidence from features. We show the effectiveness of EvidenceCap in three segmentation datasets and apply it to the clinic. Our work sheds light on clinical safe applications and explainable AI, and can contribute towards trustworthiness in the medical domain.

准确的不确定性估计是医学成像社区的关键需求。已经提出了多种方法，所有直接扩展分类不确定性估计技术。独立像素的不确定性估计通常基于神经网络的概率解释，不考虑解剖学的先验知识，因此为许多细分任务提供了次优的结果。因此，我们提出了不确定性预测方法的酥脆图像分割。 Crisp以其核心实现了一种对比的方法来学习一个共同的潜在空间，该方法编码有效分割及其相应图像的分布。我们使用此联合潜在空间将预测与数千个潜在矢量进行比较，并提供解剖学上一致的不确定性图。在涉及不同方式和器官的四个医学图像数据库上进行的综合研究强调了我们方法的优势与最先进的方法相比。

Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31--48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75--78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.

高质量的校准不确定性估计对于众多现实世界应用至关重要，尤其是对于基于深度学习的部署的ML系统。虽然贝叶斯深度学习技术允许估计不确定性，但使用大规模数据集培训它们是一个昂贵的过程，并不总是会产生与非贝斯尼亚对应物竞争的模型。此外，许多已经经过培训和部署的高性能深度学习模型本质上都是非拜拜西亚人，并且不提供不确定性估计。为了解决这些问题，我们提出了贝叶斯cap，该贝内斯cap学习了冷冻模型的贝叶斯身份映射，从而估算了不确定性。 Bayescap是一种记忆效率的方法，可以在原始数据集的一小部分中进行训练，从而通过为预测提供了校准的不确定性估计，而没有（i）妨碍模型的性能和（ii），从而增强了预审预学的非bayesian计算机视觉模型。需要从头开始昂贵的型号。所提出的方法对各种架构和任务不可知。我们显示了我们方法对各种各样的任务的功效，这些任务具有多种架构，包括图像超分辨率，脱蓝色，内化和关键应用，例如医学图像翻译。此外，我们将派生的不确定性估计值应用于在自主驾驶深度估计等关键情况下检测分布样本。代码可在https://github.com/explainableml/bayescap上找到。

Convolutional Neural Networks (CNNs) have shown to be powerful medical image segmentation models. In this study, we address some of the main unresolved issues regarding these models. Specifically, training of these models on small medical image datasets is still challenging, with many studies promoting techniques such as transfer learning. Moreover, these models are infamous for producing over-confident predictions and for failing silently when presented with out-of-distribution (OOD) data at test time. In this paper, we advocate for multi-task learning, i.e., training a single model on several different datasets, spanning several different organs of interest and different imaging modalities. We show that not only a single CNN learns to automatically recognize the context and accurately segment the organ of interest in each context, but also that such a joint model often has more accurate and better-calibrated predictions than dedicated models trained separately on each dataset. Our experiments show that multi-task learning can outperform transfer learning in medical image segmentation tasks. For detecting OOD data, we propose a method based on spectral analysis of CNN feature maps. We show that different datasets, representing different imaging modalities and/or different organs of interest, have distinct spectral signatures, which can be used to identify whether or not a test image is similar to the images used to train a model. We show that this approach is far more accurate than OOD detection based on prediction uncertainty. The methods proposed in this paper contribute significantly to improving the accuracy and reliability of CNN-based medical image segmentation models.

在胸部计算机断层扫描（CT）扫描中，自动分割地面玻璃的不透明和固结可以在高资源利用时期减轻放射科医生的负担。但是，由于分布（OOD）数据默默失败，深度学习模型在临床常规中不受信任。我们提出了一种轻巧的OOD检测方法，该方法利用特征空间中的Mahalanobis距离，并无缝集成到最新的分割管道中。简单的方法甚至可以增加具有临床相关的不确定性定量的预训练模型。我们在四个胸部CT分布偏移和两个磁共振成像应用中验证我们的方法，即海马和前列腺的分割。我们的结果表明，所提出的方法在所有探索场景中有效地检测到遥远和近型样品。

神经网络在医疗图像分割任务上的成功通常依赖于大型标记的数据集用于模型培训。但是，由于数据共享和隐私问题，获取和手动标记大型医疗图像集是资源密集的，昂贵的，有时是不切实际的。为了应对这一挑战，我们提出了一个通用的对抗数据增强框架Advchain，旨在提高培训数据对医疗图像分割任务的多样性和有效性。 AdvChain通过动态数据增强来增强数据，从而产生随机链接的光线像和几何转换，以类似于现实而又具有挑战性的成像变化以扩展训练数据。通过在培训期间共同优化数据增强模型和分割网络，可以生成具有挑战性的示例，以增强下游任务的网络可推广性。所提出的对抗数据增强不依赖生成网络，可以用作通用分割网络中的插件模块。它在计算上是有效的，适用于低声监督和半监督学习。我们在两个MR图像分割任务上分析和评估该方法：心脏分割和前列腺分割具有有限的标记数据。结果表明，所提出的方法可以减轻对标记数据的需求，同时提高模型泛化能力，表明其在医学成像应用中的实际价值。

机器学习模型通常部署在与训练设置不同的测试设置中，可能会导致由于域移动而导致模型性能下降。如果我们可以估计预先训练的模型将在特定部署设置（例如某个诊所）上实现的性能，我们可以判断该模型是否可以安全部署，或者其性能是否在特定数据上不可接受。现有方法基于对部署域中未标记的测试数据的预测信心进行估算。我们发现现有的方法与呈现阶级失衡的数据困难，因为用于校准置信度的方法不会考虑阶级不平衡引起的偏见，因此未能估算阶级的准确性。在这里，我们在不平衡数据集的性能估计框架内介绍了班级校准。具体而言，我们得出了基于最新置信度的模型评估方法（包括温度缩放（TS），信心差异（DOC）和平均阈值置信度（A​​TC））的最新置信度评估方法的特定于类的修改。我们还将方法扩展到图像分割中的骰子相似性系数（DSC）。我们对四个任务进行实验，并找到所提出的修改一致提高了数据集的估计精度。与先前方法相比，我们的方法在自然域移动下的分类中提高了准确性估计，在自然域移动下的分类中提高了18 \％的估计精度。

We study the problem of semantic segmentation calibration. For image classification, lots of existing solutions are proposed to alleviate model miscalibration of confidence. However, to date, confidence calibration research on semantic segmentation is still limited. We provide a systematic study on the calibration of semantic segmentation models and propose a simple yet effective approach. First, we find that model capacity, crop size, multi-scale testing, and prediction correctness have impact on calibration. Among them, prediction correctness, especially misprediction, is more important to miscalibration due to over-confidence. Next, we propose a simple, unifying, and effective approach, namely selective scaling, by separating correct/incorrect prediction for scaling and more focusing on misprediction logit smoothing. Then, we study popular existing calibration methods and compare them with selective scaling on semantic segmentation calibration. We conduct extensive experiments with a variety of benchmarks on both in-domain and domain-shift calibration, and show that selective scaling consistently outperforms other methods.

Modern machine learning methods including deep learning have achieved great success in predictive accuracy for supervised learning tasks, but may still fall short in giving useful estimates of their predictive uncertainty. Quantifying uncertainty is especially critical in real-world settings, which often involve input distributions that are shifted from the training distribution due to a variety of factors including sample bias and non-stationarity. In such settings, well calibrated uncertainty estimates convey information about when a model's output should (or should not) be trusted. Many probabilistic deep learning methods, including Bayesian-and non-Bayesian methods, have been proposed in the literature for quantifying predictive uncertainty, but to our knowledge there has not previously been a rigorous largescale empirical comparison of these methods under dataset shift. We present a largescale benchmark of existing state-of-the-art methods on classification problems and investigate the effect of dataset shift on accuracy and calibration. We find that traditional post-hoc calibration does indeed fall short, as do several other previous methods. However, some methods that marginalize over models give surprisingly strong results across a broad spectrum of tasks.

监管基于深度学习的方法，产生医学图像分割的准确结果。但是，它们需要大量标记的数据集，并获得它们是一种艰苦的任务，需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示，并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中，对于学习良好的本地级别表示以及全局表示来说至关重要，以实现更好的准确性。然而，现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制，因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释，而不是基于当地地区的语义标签。在本文中，我们提出了局部对比损失，以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失，通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估，并获得高分割性能。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

骰子相似度系数（DSC）是由于其鲁棒性对类不平衡的鲁造性而广泛使用的度量和损耗函数。然而，众所周知，DSC损失差异很差，导致在生物医学和临床实践中不能有效地解释的过度自信预测。性能通常是唯一用于评估深度神经网络产生的分段的指标，并且通常忽略校准。然而，校准对于译成生物医学和临床实践是重要的，为科学家和临床医生的解释提供了重要的语境信息。在这项研究中，我们将校准差，作为基于深度学习的生物医学图像分割的新出现挑战。我们提供了一个简单而有效的DSC丢失延伸，命名为DSC ++丢失，可选择地调制与过于自信，不正确的预测相关的罚款。作为独立损失功能，DSC ++损耗达到了在五个良好验证的开源生物医学成像数据集中对传统DSC损耗的显着提高了校准。同样，当将DSC ++丢失集成到基于四个DSC的损耗函数时，我们观察到显着改善。最后，我们使用SoftMax阈值化来说明校准的输出能够剪裁精度召回偏差，这是一种适应模型预测以适应生物医学或临床任务的重要的后处理技术。 DSC ++损失克服了DSC的主要限制，为训练生物医学和临床实践中使用的深度学习分段模型提供了合适的损耗功能。

Deep Learning models are easily disturbed by variations in the input images that were not seen during training, resulting in unpredictable behaviours. Such Out-of-Distribution (OOD) images represent a significant challenge in the context of medical image analysis, where the range of possible abnormalities is extremely wide, including artifacts, unseen pathologies, or different imaging protocols. In this work, we evaluate various uncertainty frameworks to detect OOD inputs in the context of Multiple Sclerosis lesions segmentation. By implementing a comprehensive evaluation scheme including 14 sources of OOD of various nature and strength, we show that methods relying on the predictive uncertainty of binary segmentation models often fails in detecting outlying inputs. On the contrary, learning to segment anatomical labels alongside lesions highly improves the ability to detect OOD inputs.

我们研究不同损失功能对医学图像病变细分的影响。尽管在处理自然图像时，跨凝结（CE）损失是最受欢迎的选择，但对于生物医学图像分割，由于其处理不平衡的情况，软骰子损失通常是首选的。另一方面，这两个功能的组合也已成功地应用于此类任务中。一个较少研究的问题是在存在分布（OOD）数据的情况下所有这些损失的概括能力。这是指在测试时间出现的样本，这些样本是从与训练图像不同的分布中得出的。在我们的情况下，我们将模型训练在始终包含病变的图像上，但是在测试时间我们也有无病变样品。我们通过全面的实验对内窥镜图像和糖尿病脚图像的溃疡分割进行了全面的实验，分析了不同损失函数对分布性能的最小化对分布性能的影响。我们的发现令人惊讶：在处理OOD数据时，CE-DICE损失组合在分割分配图像中表现出色，这使我们建议通过这种问题采用CE损失，因为它的稳健性和能够概括为OOD样品。可以在\ url {https://github.com/agaldran/lesion_losses_ood}找到与我们实验相关的代码。

胎儿超声（US）中胎盘的自动分割由于（i）（i）胎盘外观的高度多样性而具有挑战性我们禁止在妊娠晚期进行整个胎盘评估的观点。在这项工作中，我们通过多任务学习方法解决了这三个挑战，该方法结合了单个卷积神经网络中胎盘位置（例如，前，后部）和语义胎盘分段的分类。通过分类任务，模型可以从更大，更多样化的数据集中学习，同时在有限的训练集条件下提高分割任务的准确性。通过这种方法，我们研究了多个评估者的注释的变异性，并表明我们的自动分割（前胎盘的骰子为0.86，后胎盘的骰子为0.83），与观察者内和观察者间的变异性相比，我们的自动段性能达到了人级的性能。最后，我们的方法可以使用由三个阶段组成的多视图US采集管道提供整个胎盘分割：多探针图像采集，图像融合和图像分段。这会导致对较大结构（例如胎盘中的胎盘）的高质量分割，其图像伪像降低，这超出了单个探针的视野。