在深度学习方法的输出中测量不确定性在几种方面有用，例如协助解释产出，帮助对最终用户建立信心，并改善网络的培训和性能。已经提出了几种不同的方法来估计不确定性，包括分别使用测试时间辍学和增强的认知（与所使用的模型有关）和Aleatoric（与数据有关的模型有关）。这些不确定性源不仅不同，而且还受参数设置（例如，辍学率或类型和增强级别）的约束，它们建立了更加不同的不确定性类别。这项工作调查了不确定性与这些类别的不同之处以及空间模式的不同，以解决它们是否提供在使用不确定性时应捕获的有用信息的问题。我们采取了良好的特征性的挑战数据集，以证明不同类别的不确定性的大小和空间模式都存在实质性差异，并讨论了这些类别在各种用例中的含义。

Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31--48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75--78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.

非常希望知道模型的预测是多么不确定，特别是对于复杂的模型和难以理解的模型，如深度学习。虽然在扩散加权MRI中使用深度学习方法，但事先作品没有解决模型不确定性的问题。在这里，我们提出了一种深入的学习方法来估计扩散张量并计算估计不确定性。数据相关的不确定性由网络直接计算，并通过损耗衰减学习。使用Monte Carlo辍学来计算模型不确定性。我们还提出了一种评估预测不确定性的质量的新方法。我们将新方法与标准最小二乘张量估计和基于引导的不确定性计算技术进行比较。我们的实验表明，当测量数量小时，深度学习方法更准确，并且其不确定性预测比标准方法更好地校准。我们表明，新方法计算的估计不确定性可以突出显示模型的偏置，检测域移位，并反映测量中的噪声强度。我们的研究表明了基于深度学习的扩散MRI分析中建模预测不确定性的重要性和实际价值。

The clinical interest is often to measure the volume of a structure, which is typically derived from a segmentation. In order to evaluate and compare segmentation methods, the similarity between a segmentation and a predefined ground truth is measured using popular discrete metrics, such as the Dice score. Recent segmentation methods use a differentiable surrogate metric, such as soft Dice, as part of the loss function during the learning phase. In this work, we first briefly describe how to derive volume estimates from a segmentation that is, potentially, inherently uncertain or ambiguous. This is followed by a theoretical analysis and an experimental validation linking the inherent uncertainty to common loss functions for training CNNs, namely cross-entropy and soft Dice. We find that, even though soft Dice optimization leads to an improved performance with respect to the Dice score and other measures, it may introduce a volume bias for tasks with high inherent uncertainty. These findings indicate some of the method's clinical limitations and suggest doing a closer ad-hoc volume analysis with an optional re-calibration step.

深度学习（DL）模型为各种医学成像基准挑战提供了最先进的性能，包括脑肿瘤细分（BRATS）挑战。然而，局灶性病理多隔室分割（例如，肿瘤和病变子区）的任务特别具有挑战性，并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性，可以实现最不确定的地区的临床审查，从而建立信任并铺平临床翻译。最近，已经引入了许多不确定性估计方法，用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中，我们探索并评估在Brats 2019-2020任务期间开发的公制，以对不确定量化量化（Qu-Brats），并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制（1）奖励不确定性估计，对正确断言产生高置信度，以及在不正确的断言处分配低置信水平的估计数，（2）惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性，所有这些都参与了主要的Brats细分任务。总体而言，我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值，因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。

尽管脑肿瘤分割的准确性最近取得了进步，但结果仍然遭受低可靠性和鲁棒性的影响。不确定性估计是解决此问题的有效解决方案，因为它提供了对分割结果的信心。当前的不确定性估计方法基于分位数回归，贝叶斯神经网络，集合和蒙特卡洛辍学者受其高计算成本和不一致的限制。为了克服这些挑战，在最近的工作中开发了证据深度学习（EDL），但主要用于自然图像分类。在本文中，我们提出了一个基于区域的EDL分割框架，该框架可以生成可靠的不确定性图和可靠的分割结果。我们使用证据理论将神经网络的输出解释为从输入特征收集的证据价值。遵循主观逻辑，将证据作为差异分布进行了参数化，预测的概率被视为主观意见。为了评估我们在分割和不确定性估计的模型的性能，我们在Brats 2020数据集上进行了定量和定性实验。结果证明了所提出的方法在量化分割不确定性和稳健分割肿瘤方面的最高性能。此外，我们提出的新框架保持了低计算成本和易于实施的优势，并显示了临床应用的潜力。

尽管脑肿瘤分割的准确性最近有所提高，但结果仍然表现出较低的置信度和稳健性。不确定性估计是改变这种情况的一种有效方法，因为它提供了对分割结果的信心。在本文中，我们提出了一个可信赖的脑肿瘤分割网络，该网络可以产生可靠的分割结果和可靠的不确定性估计，而不会过多的计算负担和骨干网络的修改。在我们的方法中，不确定性是使用主观逻辑理论明确建模的，该理论将主干神经网络的预测视为主观观点，通过将分割的类概率参数视为差异分布。同时，可信赖的分割框架学习了从功能中收集可靠证据的功能，从而导致最终分割结果。总体而言，我们统一的可信赖分割框架使该模型具有可靠性和鲁棒性，对分布式样本。为了评估我们的模型在鲁棒性和可靠性方面的有效性，在Brats 2019数据集中进行了定性和定量实验。

Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.

机器学习算法支撑现代诊断辅助软件，这在临床实践中证明了有价值的，特别是放射学。然而，不准确的是，主要是由于临床样本的可用性有限，用于培训这些算法，妨碍他们在临床医生中更广泛的适用性，接受和识别。我们对最先进的自动质量控制（QC）方法进行了分析，可以在这些算法中实现，以估计其输出的确定性。我们验证了识别磁共振成像数据中的白质超收缩性（WMH）的大脑图像分割任务上最有前途的方法。 WMH是在上层前期成年中常见的小血管疾病的关联，并且由于其变化的尺寸和分布模式而尤其具有挑战性。我们的研究结果表明，不确定度和骰子预测的聚集在此任务的故障检测中最有效。两种方法在0.82至0.84的情况下独立改善平均骰子。我们的工作揭示了QC方法如何有助于检测失败的分割案例，从而使自动分割更可靠，适合临床实践。

深度学习技术在检测医学图像中的对象方面取得了成功，但仍然遭受虚假阳性预测，可能会阻碍准确的诊断。神经网络输出的估计不确定性已用于标记不正确的预测。我们研究了来自神经网络不确定性估计的功能和基于形状的特征，这些特征是根据二进制预测计算出的，从二进制预测中，通过开发基于分类的后处理步骤来减少肝病病变检测中的假阳性，以用于不同的不确定性估计方法。我们证明了两个数据集上所有不确定性估计方法的神经网络的病变检测性能（相对于F1分数）的改善，分别包括腹部MR和CT图像。我们表明，根据神经网络不确定性估计计算的功能往往不会有助于降低假阳性。我们的结果表明，诸如阶级不平衡（真实假阳性比率）和从不确定性图提取的基于形状的特征之类的因素在区分假阳性和真实阳性预测方面起着重要作用

组合多站点数据可以加强和揭示趋势，但是是由可以偏向数据的特定特定协变量的影响，因此任何下游分析都会受到任何可能的任务。 HOC后期多站点校正方法存在但具有强烈的假设，通常不会在现实世界中持有。算法应该以可以解释特定于站点的效果的方式设计，例如从序列参数选择中出现的那些，并且在泛型失败的情况下，应该能够通过明确的不确定性建模来识别这种失败。该工作正文展示了这种算法，这可以在分割任务的背景下对收购物理学变得强大，同时建模不确定性。我们展示我们的方法不仅概括为完全熔断数据集，保留了分割质量，但同时也会考虑特定于站点的序列选择，这也允许它作为统一工具执行。

Automatic segmentation is essential for the brain tumor diagnosis, disease prognosis, and follow-up therapy of patients with gliomas. Still, accurate detection of gliomas and their sub-regions in multimodal MRI is very challenging due to the variety of scanners and imaging protocols. Over the last years, the BraTS Challenge has provided a large number of multi-institutional MRI scans as a benchmark for glioma segmentation algorithms. This paper describes our contribution to the BraTS 2022 Continuous Evaluation challenge. We propose a new ensemble of multiple deep learning frameworks namely, DeepSeg, nnU-Net, and DeepSCAN for automatic glioma boundaries detection in pre-operative MRI. It is worth noting that our ensemble models took first place in the final evaluation on the BraTS testing dataset with Dice scores of 0.9294, 0.8788, and 0.8803, and Hausdorf distance of 5.23, 13.54, and 12.05, for the whole tumor, tumor core, and enhancing tumor, respectively. Furthermore, the proposed ensemble method ranked first in the final ranking on another unseen test dataset, namely Sub-Saharan Africa dataset, achieving mean Dice scores of 0.9737, 0.9593, and 0.9022, and HD95 of 2.66, 1.72, 3.32 for the whole tumor, tumor core, and enhancing tumor, respectively. The docker image for the winning submission is publicly available at (https://hub.docker.com/r/razeineldin/camed22).

在胸部计算机断层扫描（CT）扫描中，自动分割地面玻璃的不透明和固结可以在高资源利用时期减轻放射科医生的负担。但是，由于分布（OOD）数据默默失败，深度学习模型在临床常规中不受信任。我们提出了一种轻巧的OOD检测方法，该方法利用特征空间中的Mahalanobis距离，并无缝集成到最新的分割管道中。简单的方法甚至可以增加具有临床相关的不确定性定量的预训练模型。我们在四个胸部CT分布偏移和两个磁共振成像应用中验证我们的方法，即海马和前列腺的分割。我们的结果表明，所提出的方法在所有探索场景中有效地检测到遥远和近型样品。

State-of-the-art brain tumor segmentation is based on deep learning models applied to multi-modal MRIs. Currently, these models are trained on images after a preprocessing stage that involves registration, interpolation, brain extraction (BE, also known as skull-stripping) and manual correction by an expert. However, for clinical practice, this last step is tedious and time-consuming and, therefore, not always feasible, resulting in skull-stripping faults that can negatively impact the tumor segmentation quality. Still, the extent of this impact has never been measured for any of the many different BE methods available. In this work, we propose an automatic brain tumor segmentation pipeline and evaluate its performance with multiple BE methods. Our experiments show that the choice of a BE method can compromise up to 15.7% of the tumor segmentation performance. Moreover, we propose training and testing tumor segmentation models on non-skull-stripped images, effectively discarding the BE step from the pipeline. Our results show that this approach leads to a competitive performance at a fraction of the time. We conclude that, in contrast to the current paradigm, training tumor segmentation models on non-skull-stripped images can be the best option when high performance in clinical practice is desired.

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

深度神经网络已成为3D医学图像自动分割的金标准方法。然而，由于缺乏对所提供的结果评估可理解的不确定性评估，他们被临床医生的全部接受仍然受到阻碍。量化其不确定性的大多数方法，例如流行的蒙特卡洛辍学物，仅限于在体素水平上预测的某种不确定性度量。除了与真正的医学不确定性无关紧要之外，这在临床上并不令人满意，因为大多数感兴趣的对象（例如，脑部病变）是由素食组成的，其整体相关性可能不会简单地减少其个人不确定性的总和或平均值。在这项工作中，我们建议使用创新的图形神经网络方法超越体素评估，并从蒙特卡洛辍学模型的输出中训练。该网络允许融合体素不确定性的三个估计量：熵，方差和模型的置信度；并且可以应用于任何病变，无论其形状或大小如何。我们证明了我们方法对多发性硬化病变的任务的不确定性估计的优势。

部署在医学成像任务上的机器学习模型必须配备分布外检测功能，以避免错误的预测。不确定依赖于深神经网络的分布外检测模型是否适合检测医学成像中的域移位。高斯流程可以通过其数学结构可靠地与分布数据点可靠地分开分发数据点。因此，我们为分层卷积高斯工艺提出了一个参数有效的贝叶斯层，该过程融合了在Wasserstein-2空间中运行的高斯过程，以可靠地传播不确定性。这直接用远距离的仿射操作员在分布中直接取代了高斯流程。我们对脑组织分割的实验表明，所得的架构接近了确定性分割算法（U-NET）的性能，而先前的层次高斯过程尚未实现。此外，通过将相同的分割模型应用于分布外数据（即具有病理学（例如脑肿瘤）的图像），我们表明我们的不确定性估计导致分布外检测，以优于以前的贝叶斯网络和以前的贝叶斯网络的功能基于重建的方法学习规范分布。为了促进未来的工作，我们的代码公开可用。

机器学习驱动的医学图像分割已成为医学图像分析的标准。然而，深度学习模型易于过度自信预测。这导致了重新关注医学成像和更广泛的机器学习社区中的校准预测。校准预测是标签概率的估计，其对应于置信度的标签的真正预期值。这种校准的预测在一系列医学成像应用中具有效用，包括在不确定性和主动学习系统下的手术规划。同时，它通常是对许多医疗应用的实际重视的准确体积测量。这项工作调查了模型校准和体积估计之间的关系。我们在数学上和经验上展示，如果每个图像校准预测器，我们可以通过期望每像素/图像的体素的概率得分来获得正确的体积。此外，我们表明校准分类器的凸组合保持体积估计，但不保留校准。因此，我们得出结论，具有校准的预测因子是足够但不是必需的来获得体积的无偏估计。我们验证了我们对18种不同（校准的）培训策略的主题验证了我们关于Brats 2018的胶质瘤体积估计的任务的集合，以及Isles 2018数据集的缺血性卒中病变估计。

从磁共振成像（MRI）数据（称为颅骨条状）中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富，但通常是针对具有特定采集特性的图像量身定制的，即近乎各向异性的分辨率和T1加权（T1W）MRI对比度，这些分辨率在研究环境中很普遍。结果，现有的工具倾向于适应其他图像类型，例如在诊所常见的快速旋转回声（FSE）MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力，但这些方法面临着类似的负担，因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身，我们引入了Synthstrip，这是一种快速，基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学，强度分布和远远超过现实医学图像范围的完全合成训练数据集，Synthstrip学会了成功推广到各种真实获得的大脑图像，从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效，从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。

Automatic anatomical landmark localization has made great strides by leveraging deep learning methods in recent years. The ability to quantify the uncertainty of these predictions is a vital component needed for these methods to be adopted in clinical settings, where it is imperative that erroneous predictions are caught and corrected. We propose Quantile Binning, a data-driven method to categorize predictions by uncertainty with estimated error bounds. Our framework can be applied to any continuous uncertainty measure, allowing straightforward identification of the best subset of predictions with accompanying estimated error bounds. We facilitate easy comparison between uncertainty measures by constructing two evaluation metrics derived from Quantile Binning. We compare and contrast three epistemic uncertainty measures (two baselines, and a proposed method combining aspects of the two), derived from two heatmap-based landmark localization model paradigms (U-Net and patch-based). We show results across three datasets, including a publicly available Cephalometric dataset. We illustrate how filtering out gross mispredictions caught in our Quantile Bins significantly improves the proportion of predictions under an acceptable error threshold. Finally, we demonstrate that Quantile Binning remains effective on landmarks with high aleatoric uncertainty caused by inherent landmark ambiguity, and offer recommendations on which uncertainty measure to use and how to use it. The code and data are available at https://github.com/schobs/qbin.