Deep Learning models are easily disturbed by variations in the input images that were not seen during training, resulting in unpredictable behaviours. Such Out-of-Distribution (OOD) images represent a significant challenge in the context of medical image analysis, where the range of possible abnormalities is extremely wide, including artifacts, unseen pathologies, or different imaging protocols. In this work, we evaluate various uncertainty frameworks to detect OOD inputs in the context of Multiple Sclerosis lesions segmentation. By implementing a comprehensive evaluation scheme including 14 sources of OOD of various nature and strength, we show that methods relying on the predictive uncertainty of binary segmentation models often fails in detecting outlying inputs. On the contrary, learning to segment anatomical labels alongside lesions highly improves the ability to detect OOD inputs.

在胸部计算机断层扫描（CT）扫描中，自动分割地面玻璃的不透明和固结可以在高资源利用时期减轻放射科医生的负担。但是，由于分布（OOD）数据默默失败，深度学习模型在临床常规中不受信任。我们提出了一种轻巧的OOD检测方法，该方法利用特征空间中的Mahalanobis距离，并无缝集成到最新的分割管道中。简单的方法甚至可以增加具有临床相关的不确定性定量的预训练模型。我们在四个胸部CT分布偏移和两个磁共振成像应用中验证我们的方法，即海马和前列腺的分割。我们的结果表明，所提出的方法在所有探索场景中有效地检测到遥远和近型样品。

Deep Learning (DL) models tend to perform poorly when the data comes from a distribution different from the training one. In critical applications such as medical imaging, out-of-distribution (OOD) detection helps to identify such data samples, increasing the model's reliability. Recent works have developed DL-based OOD detection that achieves promising results on 2D medical images. However, scaling most of these approaches on 3D images is computationally intractable. Furthermore, the current 3D solutions struggle to achieve acceptable results in detecting even synthetic OOD samples. Such limited performance might indicate that DL often inefficiently embeds large volumetric images. We argue that using the intensity histogram of the original CT or MRI scan as embedding is descriptive enough to run OOD detection. Therefore, we propose a histogram-based method that requires no DL and achieves almost perfect results in this domain. Our proposal is supported two-fold. We evaluate the performance on the publicly available datasets, where our method scores 1.0 AUROC in most setups. And we score second in the Medical Out-of-Distribution challenge without fine-tuning and exploiting task-specific knowledge. Carefully discussing the limitations, we conclude that our method solves the sample-level OOD detection on 3D medical images in the current setting.

Convolutional Neural Networks (CNNs) have shown to be powerful medical image segmentation models. In this study, we address some of the main unresolved issues regarding these models. Specifically, training of these models on small medical image datasets is still challenging, with many studies promoting techniques such as transfer learning. Moreover, these models are infamous for producing over-confident predictions and for failing silently when presented with out-of-distribution (OOD) data at test time. In this paper, we advocate for multi-task learning, i.e., training a single model on several different datasets, spanning several different organs of interest and different imaging modalities. We show that not only a single CNN learns to automatically recognize the context and accurately segment the organ of interest in each context, but also that such a joint model often has more accurate and better-calibrated predictions than dedicated models trained separately on each dataset. Our experiments show that multi-task learning can outperform transfer learning in medical image segmentation tasks. For detecting OOD data, we propose a method based on spectral analysis of CNN feature maps. We show that different datasets, representing different imaging modalities and/or different organs of interest, have distinct spectral signatures, which can be used to identify whether or not a test image is similar to the images used to train a model. We show that this approach is far more accurate than OOD detection based on prediction uncertainty. The methods proposed in this paper contribute significantly to improving the accuracy and reliability of CNN-based medical image segmentation models.

深度神经网络已成为3D医学图像自动分割的金标准方法。然而，由于缺乏对所提供的结果评估可理解的不确定性评估，他们被临床医生的全部接受仍然受到阻碍。量化其不确定性的大多数方法，例如流行的蒙特卡洛辍学物，仅限于在体素水平上预测的某种不确定性度量。除了与真正的医学不确定性无关紧要之外，这在临床上并不令人满意，因为大多数感兴趣的对象（例如，脑部病变）是由素食组成的，其整体相关性可能不会简单地减少其个人不确定性的总和或平均值。在这项工作中，我们建议使用创新的图形神经网络方法超越体素评估，并从蒙特卡洛辍学模型的输出中训练。该网络允许融合体素不确定性的三个估计量：熵，方差和模型的置信度；并且可以应用于任何病变，无论其形状或大小如何。我们证明了我们方法对多发性硬化病变的任务的不确定性估计的优势。

为了实现良好的性能和概括性，医疗图像分割模型应在具有足够可变性的大量数据集上进行培训。由于道德和治理限制以及与标签数据相关的成本，经常对科学发展进行扼杀，并经过对有限数据的培训和测试。数据增强通常用于人为地增加数据分布的可变性并提高模型的通用性。最近的作品探索了图像合成的深层生成模型，因为这种方法将使有效的无限数据生成多种多样的数据，从而解决了通用性和数据访问问题。但是，许多提出的解决方案限制了用户对生成内容的控制。在这项工作中，我们提出了Brainspade，该模型将基于合成扩散的标签发生器与语义图像发生器结合在一起。我们的模型可以在有或没有感兴趣的病理的情况下产生完全合成的大脑标签，然后产生任意引导样式的相应MRI图像。实验表明，Brainspade合成数据可用于训练分割模型，其性能与在真实数据中训练的模型相当。

多发性硬化症（MS）是中枢神经系统的慢性炎症和退行性疾病，其特征在于，白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像（MRI）提供了详细的体内结构信息，允许定量和分类MS病变，其批判性地通知疾病管理。传统上，MS病变在2D MRI切片上手动注释，一个流程效率低，易于观察室内误差。最近，已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而，它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现，深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里，我们提供了全面审查最先进的自动统计和深度学习MS分段方法，并讨论当前和未来的临床应用。此外，我们审查了域适应等技术策略，以增强现实世界临床环境中的MS病变分段。

机器学习算法支撑现代诊断辅助软件，这在临床实践中证明了有价值的，特别是放射学。然而，不准确的是，主要是由于临床样本的可用性有限，用于培训这些算法，妨碍他们在临床医生中更广泛的适用性，接受和识别。我们对最先进的自动质量控制（QC）方法进行了分析，可以在这些算法中实现，以估计其输出的确定性。我们验证了识别磁共振成像数据中的白质超收缩性（WMH）的大脑图像分割任务上最有前途的方法。 WMH是在上层前期成年中常见的小血管疾病的关联，并且由于其变化的尺寸和分布模式而尤其具有挑战性。我们的研究结果表明，不确定度和骰子预测的聚集在此任务的故障检测中最有效。两种方法在0.82至0.84的情况下独立改善平均骰子。我们的工作揭示了QC方法如何有助于检测失败的分割案例，从而使自动分割更可靠，适合临床实践。

有限的作品显示无监督的分布（OOD）方法对复杂的医疗数据的功效。在这里，我们展示了我们无监督的OOD检测算法，SIMCLR-LOF的初步调查结果，以及在医学图像上应用的最近现实方法（SSD）的最新状态。SIMCLR-LOF使用SIMCLR学习语义有意义的功能，如果测试样本是ood的，则使用LOF进行评分。我们在多源国际皮肤成像协作（ISIC）2019数据集上进行了评估，并显示与SSD竞争的结果以及应用于同一数据的最近监督方法。

尽管最近的分布（OOD）检测，异常检测和不确定性估计任务的最新进展，但并不存在任务不合时宜的和事后方法。为了解决此限制，我们设计了一种基于聚类的新型结合方法，称为任务不可知和事后看不见的分布检测（TAPUDD），该方法利用了从对特定任务进行训练的模型中提取的功能。它明确地包括Tap-Mahalanobis，该曲线簇起训练数据集的特征，并确定了所有群集的测试样品的最小Mahalanobis距离。此外，我们提出了一个结合模块，该模块汇总了对不同数量簇的迭代TAP-MAHALANOBIS的计算，以提供可靠，有效的群集计算。通过对合成和现实世界数据集进行的广泛实验，我们观察到我们的方法可以在各种任务中有效地检测出看不见的样本，并与现有基线进行更好的或与现有基线相比。为此，我们消除了确定簇数量的最佳价值的必要性，并证明我们的方法对于大规模分类任务更可行。

Medical image segmentation (MIS) is essential for supporting disease diagnosis and treatment effect assessment. Despite considerable advances in artificial intelligence (AI) for MIS, clinicians remain skeptical of its utility, maintaining low confidence in such black box systems, with this problem being exacerbated by low generalization for out-of-distribution (OOD) data. To move towards effective clinical utilization, we propose a foundation model named EvidenceCap, which makes the box transparent in a quantifiable way by uncertainty estimation. EvidenceCap not only makes AI visible in regions of uncertainty and OOD data, but also enhances the reliability, robustness, and computational efficiency of MIS. Uncertainty is modeled explicitly through subjective logic theory to gather strong evidence from features. We show the effectiveness of EvidenceCap in three segmentation datasets and apply it to the clinic. Our work sheds light on clinical safe applications and explainable AI, and can contribute towards trustworthiness in the medical domain.

3D对象检测是自动驾驶的重要组成部分，深层神经网络（DNNS）已达到此任务的最新性能。但是，深层模型臭名昭著，因为将高置信度得分分配给分布（OOD）输入，即未从训练分布中得出的输入。检测OOD输入是具有挑战性的，对于模型的安全部署至关重要。已经针对分类任务进行了广泛研究OOD检测，但是它尚未对对象检测任务，特别是基于激光雷达的3D对象检测的注意力。在本文中，我们关注基于激光雷达的3D对象检测的OOD输入的检测。我们制定了OOD输入对于对象检测的含义，并提议适应几种OOD检测方法进行对象检测。我们通过提出的特征提取方法来实现这一目标。为了评估OOD检测方法，我们开发了一种简单但有效的技术，用于为给定的对象检测模型生成OOD对象​​。我们基于KITTI数据集的评估表明，不同的OOD检测方法具有检测特定OOD对象​​的偏差。它强调了联合OOD检测方法的重要性以及在这个方向上进行更多研究。

从磁共振成像（MRI）数据（称为颅骨条状）中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富，但通常是针对具有特定采集特性的图像量身定制的，即近乎各向异性的分辨率和T1加权（T1W）MRI对比度，这些分辨率在研究环境中很普遍。结果，现有的工具倾向于适应其他图像类型，例如在诊所常见的快速旋转回声（FSE）MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力，但这些方法面临着类似的负担，因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身，我们引入了Synthstrip，这是一种快速，基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学，强度分布和远远超过现实医学图像范围的完全合成训练数据集，Synthstrip学会了成功推广到各种真实获得的大脑图像，从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效，从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。

Trusting the predictions of deep learning models in safety critical settings such as the medical domain is still not a viable option. Distentangled uncertainty quantification in the field of medical imaging has received little attention. In this paper, we study disentangled uncertainties in image to image translation tasks in the medical domain. We compare multiple uncertainty quantification methods, namely Ensembles, Flipout, Dropout, and DropConnect, while using CycleGAN to convert T1-weighted brain MRI scans to T2-weighted brain MRI scans. We further evaluate uncertainty behavior in the presence of out of distribution data (Brain CT and RGB Face Images), showing that epistemic uncertainty can be used to detect out of distribution inputs, which should increase reliability of model outputs.

人脑解剖图像的专家解释是神经放射学的中心部分。已经提出了几种基于机器学习的技术来协助分析过程。但是，通常需要对ML模型进行培训以执行特定的任务，例如脑肿瘤分割或分类。相应的培训数据不仅需要费力的手动注释，而且人脑MRI中可以存在多种异常 - 甚至同时发生，这使得所有可能的异常情况都非常具有挑战性。因此，可能的解决方案是一种无监督的异常检测（UAD）系统，可以从健康受试者的未标记数据集中学习数据分布，然后应用以检测​​分布样本。然后，这种技术可用于检测异常 - 病变或异常，例如脑肿瘤，而无需明确训练该特定病理的模型。过去已经为此任务提出了几种基于变异的自动编码器（VAE）技术。即使它们在人为模拟的异常情况下表现良好，但其中许多在检测临床数据中的异常情况下表现较差。这项研究提出了“上下文编码” VAE（CEVAE）模型的紧凑版本，并结合了预处理和后处理步骤，创建了UAD管道（Strega）（Strega），该步骤对临床数据更强大，并显示其在检测到其检测方面的适用性脑MRI中的肿瘤等异常。 The proposed pipeline achieved a Dice score of 0.642$\pm$0.101 while detecting tumours in T2w images of the BraTS dataset and 0.859$\pm$0.112 while detecting artificially induced anomalies, while the best performing baseline achieved 0.522$\pm$0.135 and 0.783$\ PM分别为0.111美元。

Safety-critical applications like autonomous driving use Deep Neural Networks (DNNs) for object detection and segmentation. The DNNs fail to predict when they observe an Out-of-Distribution (OOD) input leading to catastrophic consequences. Existing OOD detection methods were extensively studied for image inputs but have not been explored much for LiDAR inputs. So in this study, we proposed two datasets for benchmarking OOD detection in 3D semantic segmentation. We used Maximum Softmax Probability and Entropy scores generated using Deep Ensembles and Flipout versions of RandLA-Net as OOD scores. We observed that Deep Ensembles out perform Flipout model in OOD detection with greater AUROC scores for both datasets.

如今，卷积神经网络（CNN）经常用于基于视觉的感知堆栈，用于安全关键的应用，例如自动驾驶或无人驾驶汽车（无人机）。由于这些用例的安全要求，重要的是要知道CNN的局限性，因此要检测到分布外（OOD）样本。在这项工作中，我们提出了一种方法，可以通过利用保证金熵（ME）损失来启用2D对象检测。提出的方法易于实现，可以应用于大多数现有的对象检测体系结构。此外，我们将分离性作为用于检测对象检测中的OOD样品的度量。我们表明，使用标准置信度得分，接受ME损失训练的CNN明显优于OOD检测。同时，基础对象检测框架的运行时间保持不变，使ME损失成为启用OOD检测的强大工具。

用于图形分类的分布外检测的问题远未解决。现有模型往往对OOD示例过高自信，或者完全忽略检测任务。在这项工作中，我们从不确定性估计的角度考虑了这个问题，并进行了几种最近提出的方法的比较。在我们的实验中，我们发现没有通用的OOD检测方法，并且重要的是考虑图表和预测分类分布。

基于加固学习（RL）的解决方案是在包括机器人，医疗保健和工业自动化的各种领域中采用。当这些解决方案运作良好时，大多数焦点都会给出，但在出于分发输入时，它们会失败。RL策略与大多数机器学习模型共享相同的故障。除了rl的分布检测通常没有很好地覆盖于文献中，并且这项任务缺乏基准。在这项工作中，我们提出了一种基准，通过修改非视标准环境的物理参数或损坏视觉环境的状态观察来评估强化学习设置中的ood检测方法。我们讨论了生成可以产生OOD数据的自定义RL环境的方法，并评估3个不确定性方法进行ood检测任务。我们的结果表明，集合方法具有较低的检测性能，在多种环境中具有较低的标准偏差。

尽管数据增强和转移学习有所进步，但卷积神经网络（CNNS）难以推广到看不见的域。在分割大脑扫描时，CNN对分辨率和对比度的变化非常敏感：即使在相同的MRI模式内，则性能可能会跨数据集减少。在这里，我们介绍了Synthseg，第一个分段CNN无关紧要对比和分辨率。 Synthseg培训，用从分段上的生成模型采样的合成数据培训。至关重要，我们采用域随机化策略，我们完全随机开启了合成培训数据的对比度和解决。因此，Synthseg可以在没有再培训或微调的情况下对任何目标结构域进行真实扫描，这是首次分析大量的异构临床数据。因为Synthseg仅需要进行培训（无图像），所以它可以从通过不同群体的对象（例如，老化和患病）的自动化方法获得的标签中学习，从而实现广泛的形态变异性的鲁棒性。我们展示了Synthseg在六种方式的5,300扫描和十项决议中，与监督CNN，最先进的域适应和贝叶斯分割相比，它表现出无与伦比的泛化。最后，我们通过将其施加到心脏MRI和CT分割来证明SyntheeG的恒定性。