Safety-critical applications like autonomous driving use Deep Neural Networks (DNNs) for object detection and segmentation. The DNNs fail to predict when they observe an Out-of-Distribution (OOD) input leading to catastrophic consequences. Existing OOD detection methods were extensively studied for image inputs but have not been explored much for LiDAR inputs. So in this study, we proposed two datasets for benchmarking OOD detection in 3D semantic segmentation. We used Maximum Softmax Probability and Entropy scores generated using Deep Ensembles and Flipout versions of RandLA-Net as OOD scores. We observed that Deep Ensembles out perform Flipout model in OOD detection with greater AUROC scores for both datasets.
translated by 谷歌翻译
3D对象检测是自动驾驶的重要组成部分,深层神经网络(DNNS)已达到此任务的最新性能。但是,深层模型臭名昭著,因为将高置信度得分分配给分布(OOD)输入,即未从训练分布中得出的输入。检测OOD输入是具有挑战性的,对于模型的安全部署至关重要。已经针对分类任务进行了广泛研究OOD检测,但是它尚未对对象检测任务,特别是基于激光雷达的3D对象检测的注意力。在本文中,我们关注基于激光雷达的3D对象检测的OOD输入的检测。我们制定了OOD输入对于对象检测的含义,并提议适应几种OOD检测方法进行对象检测。我们通过提出的特征提取方法来实现这一目标。为了评估OOD检测方法,我们开发了一种简单但有效的技术,用于为给定的对象检测模型生成OOD对象​​。我们基于KITTI数据集的评估表明,不同的OOD检测方法具有检测特定OOD对象​​的偏差。它强调了联合OOD检测方法的重要性以及在这个方向上进行更多研究。
translated by 谷歌翻译
如今,卷积神经网络(CNN)经常用于基于视觉的感知堆栈,用于安全关键的应用,例如自动驾驶或无人驾驶汽车(无人机)。由于这些用例的安全要求,重要的是要知道CNN的局限性,因此要检测到分布外(OOD)样本。在这项工作中,我们提出了一种方法,可以通过利用保证金熵(ME)损失来启用2D对象检测。提出的方法易于实现,可以应用于大多数现有的对象检测体系结构。此外,我们将分离性作为用于检测对象检测中的OOD样品的度量。我们表明,使用标准置信度得分,接受ME损失训练的CNN明显优于OOD检测。同时,基础对象检测框架的运行时间保持不变,使ME损失成为启用OOD检测的强大工具。
translated by 谷歌翻译
关于观察者网络的最新工作显示出关于语义分割的分布(OOD)检测的有希望的结果。这些方法在精确定位图像(即异常)中的兴趣点上很难。这种限制是由于像素水平上细粒度预测的难度。为了解决这个问题,我们向观察者提供实例知识。我们通过利用实例掩码预测来扩展obsnet的方法。我们使用其他类别的对象检测器来过滤和汇总观察者预测。最后,我们预测图像中每个实例的唯一异常得分。我们表明,我们提出的方法准确地将三个数据集中的分布对象准确地分发对象。
translated by 谷歌翻译
检测到分布(OOD)数据的能力在深度学习的安全至关重要的应用中很重要。目的是使用从深神经网络中提取的不确定性量度分离训练分布中的分布(ID)数据。深层合奏是一种公认​​的方法,可以提高深神经网络产生的不确定性估计的质量,并且与单个模型相比,已证明具有优异的OOD检测性能。文献中现有的直觉是,深层预测的多样性表明分布转移,因此应使用多样性(MI)等多样性的衡量标准进行OOD检测。我们通过实验表明,与某些OOD数据集中的单模熵相比,使用MI导致MI导致95%fpr@95较差30-40%。我们建议对Deep Sembles更好的OOD检测性能的替代解释 - OOD检测是二元分类,我们正在分类分类器。因此,我们表明,通过平均特定于任务的检测分数,例如整体上的能量,可以实现更深入的合奏。
translated by 谷歌翻译
在图像分类的背景下,检测出分布(OOD)样本最近已成为感兴趣和积极研究的领域,以及与不确定性估计的主题,与之密切相关。在本文中,我们探讨了OOD细分的任务,该任务已被研究少于其分类对应物,并提出了其他挑战。细分是一个密集的预测任务,每个像素的模型结果都取决于其周围环境。接收领域和对上下文的依赖在区分不同类别以及相应地发现OOD实体的角色上发挥了作用。我们介绍了Moose,这是一种有效的策略,旨在利用语义分割模型中表示的各种上下文级别,并表明,即使是多尺度表示的简单聚合,也对OOD检测和不确定性估计也始终产生积极影响。
translated by 谷歌翻译
检测到分布(OOD)数据是一项任务,它正在接受计算机视觉的深度学习领域越来越多的研究注意力。但是,通常在隔离任务上评估检测方法的性能,而不是考虑串联中的潜在下游任务。在这项工作中,我们检查了存在OOD数据(SCOD)的选择性分类。也就是说,检测OOD样本的动机是拒绝它们,以便降低它们对预测质量的影响。我们在此任务规范下表明,与仅在OOD检测时进行评估时,现有的事后方法的性能大不相同。这是因为如果ID数据被错误分类,将分布分配(ID)数据与OOD数据混合在一起的问题不再是一个问题。但是,正确和不正确的预测的ID数据中的汇合变得不受欢迎。我们还提出了一种新颖的SCOD,SoftMax信息保留(SIRC)的方法,该方法通过功能不足信息来增强基于软疗法的置信度得分,以便在不牺牲正确和错误的ID预测之间的分离的情况下,可以提高其识别OOD样品的能力。在各种成像网尺度数据集和卷积神经网络体系结构上进行的实验表明,SIRC能够始终如一地匹配或胜过SCOD的基线,而现有的OOD检测方法则无法做到。
translated by 谷歌翻译
不确定性的量化对于采用机器学习至关重要,尤其是拒绝分布(OOD)数据回到人类专家进行审查。然而,进步一直很慢,因为计算效率和不确定性估计质量之间必须达到平衡。因此,许多人使用神经网络或蒙特卡洛辍学的深层集合来进行相对最小的计算和记忆时合理的不确定性估计。出乎意料的是,当我们专注于$ \ leq 1 \%$ frese-falds正率(FPR)的现实世界中的约束时,先前的方法无法可靠地检测到OOD样本。值得注意的是,即使高斯随机噪声也无法触发这些流行的OOD技术。我们通过设计一种简单的对抗训练计划来帮助缓解这个问题,该计划结合了辍学合奏所预测的认知不确定性的攻击。我们证明了这种方法可以改善标准数据(即未经对抗制作)上的OOD检测性能,并将标准化的部分AUC从近乎随机的猜测性能提高到$ \ geq 0.75 $。
translated by 谷歌翻译
在过去的几年中,关于分类,检测和分割问题的3D学习领域取得了重大进展。现有的绝大多数研究都集中在规范的封闭式条件上,忽略了现实世界的内在开放性。这限制了需要管理新颖和未知信号的自主系统的能力。在这种情况下,利用3D数据可以是有价值的资产,因为它传达了有关感应物体和场景几何形状的丰富信息。本文提供了关于开放式3D学习的首次广泛研究。我们介绍了一种新颖的测试床,其设置在类别语义转移方面的难度增加,并且涵盖了内域(合成之间)和跨域(合成对真实)场景。此外,我们研究了相关的分布情况,并开放了2D文献,以了解其最新方法是否以及如何在3D数据上有效。我们广泛的基准测试在同一连贯的图片中定位了几种算法,从而揭示了它们的优势和局限性。我们的分析结果可能是未来量身定制的开放式3D模型的可靠立足点。
translated by 谷歌翻译
在图像分类中,在检测分布(OOD)数据时发生了许多发展。但是,大多数OOD检测方法是在一组标准数据集上评估的,该数据集与培训数据任意不同。没有明确的定义``好的''ood数据集。此外,最先进的OOD检测方法已经在这些标准基准上取得了几乎完美的结果。在本文中,我们定义了2类OOD数据使用与分布(ID)数据的感知/视觉和语义相似性的微妙概念。我们将附近的OOD样本定义为感知上相似但语义上与ID样本的不同,并将样本转移为视觉上不同但在语义上与ID相似的点数据。然后,我们提出了一个基于GAN的框架,用于从这两个类别中生成OOD样品,给定一个ID数据集。通过有关MNIST,CIFAR-10/100和Imagenet的广泛实验,我们表明A)在常规基准上表现出色的ART OOD检测方法对我们提出的基准测试的稳健性明显较小。 N基准测试,反之亦然,因此表明甚至可能不需要单独的OOD集来可靠地评估OOD检测中的性能。
translated by 谷歌翻译
由于其在现实世界应用程序中部署机器学习模型中的重要性,因此无法分布(OOD)检测最近受到了机器学习社区的关注。在本文中,我们通过对特征的分布进行建模,提出了一种不确定性量化方法。我们进一步结合了一种有效的合奏机制,即批处理 - 构造批处理的随机神经网络(BE-SNN)并克服特征崩溃问题。我们将提出的BE-SNN的性能与其他最先进的方法进行了比较,并表明BE-SNN在几个OOD基准上产生了卓越的性能,例如两个漫画数据集,FashionMnist,FashionMnist vs Mnist Dataset,FashionMnistvs notmnist数据集和CIFAR10 vs SVHN数据集。
translated by 谷歌翻译
神经网络中的不确定性量化有望增加AI系统的安全性,但目前尚不清楚培训集大小如何变化。在本文中,我们评估了七种在时尚Mnist和CiFar10上的不确定性方法,因为我们子样本并产生各种训练套装尺寸。我们发现校准误差和分配检测性能强烈依赖于训练集大小,大多数方法在具有小型训练集的测试集上被错误化。基于梯度的方法似乎估计了估计的认识性不确定性,并且是受训练集规模受影响最大的。我们希望我们的结果可以指导未来的不确定性量化研究,并帮助从业者根据其特定的可用数据选择方法。
translated by 谷歌翻译
用于图形分类的分布外检测的问题远未解决。现有模型往往对OOD示例过高自信,或者完全忽略检测任务。在这项工作中,我们从不确定性估计的角度考虑了这个问题,并进行了几种最近提出的方法的比较。在我们的实验中,我们发现没有通用的OOD检测方法,并且重要的是考虑图表和预测分类分布。
translated by 谷歌翻译
预测不确定性估计对于在现实世界自治系统中部署深层神经网络至关重要。但是,大多数成功的方法是计算密集型的。在这项工作中,我们试图在自主驾驶感知任务的背景下解决这些挑战。最近提出的确定性不确定性方法(DUM)只能部分满足其对复杂计算机视觉任务的可扩展性,这并不明显。在这项工作中,我们为高分辨率的语义分割推动了可扩展有效的DUM,它放松了Lipschitz约束通常会阻碍此类架构的实用性。我们通过利用在任意大小的可训练原型集上的区别最大化层来学习判别潜在空间。我们的方法在深层合奏,不确定性预测,图像分类,细分和单眼深度估计任务上取得了竞争成果。我们的代码可在https://github.com/ensta-u2is/ldu上找到
translated by 谷歌翻译
我们引入强大的想法,从超比计算到有挑战性领域的分布外(OOD)检测。与基于单个神经网络的单层执行的大多数现有的工作相比,我们使用相似性的半正交投影矩阵来将来自多个层的特征映射投影成公共矢量空间。通过反复应用捆绑操作$ \ oplus $,我们为所有分布类创建特定于特定于特定于特定的描述符向量。在测试时间时,描述符矢量之间的简单高效的余弦相似性计算一致地识别具有比当前最先进的性能更好的ood样本。我们表明,多维网络层的超级融合对于实现最佳的普遍表现至关重要。
translated by 谷歌翻译
最近在现实世界应用中部署对象检测的深度神经网络的努力,例如自主驾驶,假设在训练期间已经观察到所有相关的对象类。在训练集中不表示测试数据时,在设置中的性能大多专注于用于语义分割的模型的像素级不确定性估计技术。本文建议利用对语义分割模型的额外预测,并量化其信心,然后以已知的对象与未知的对象分类分类。我们使用由区域提议网络(RPN)生成的对象提案,并使用径向基函数网络(RBFN)来适应语义分割的距离意识不确定性估计,用于类别不可知对象掩码预测。然后使用增强的对象提案来训练已知对象类别的分类器。实验结果表明,该方法实现了对未知物体检测的现有技术的状态的平行性能,并且还可以有效地用于减少对象检测器的假阳性率。我们的方法非常适合于通过语义分割获得的非对象背景类别的预测是可靠的。
translated by 谷歌翻译
本文我们的目标是利用异质的温度缩放作为校准策略(OOD)检测。此处的异质性是指每个样品的最佳温度参数可能不同,而不是传统的方法对整个分布使用相同的值。为了实现这一目标,我们提出了一种称为锚定的新培训策略,可以估算每个样品的适当温度值,从而导致几个基准的最新OOD检测性能。使用NTK理论,我们表明该温度函数估计与分类器的认知不确定性紧密相关,这解释了其行为。与某些表现最佳的OOD检测方法相反,我们的方法不需要暴露于其他离群数据集,自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处,OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https://github.com/rushilanirudh/amp
translated by 谷歌翻译
有限的作品显示无监督的分布(OOD)方法对复杂的医疗数据的功效。在这里,我们展示了我们无监督的OOD检测算法,SIMCLR-LOF的初步调查结果,以及在医学图像上应用的最近现实方法(SSD)的最新状态。SIMCLR-LOF使用SIMCLR学习语义有意义的功能,如果测试样本是ood的,则使用LOF进行评分。我们在多源国际皮肤成像协作(ISIC)2019数据集上进行了评估,并显示与SSD竞争的结果以及应用于同一数据的最近监督方法。
translated by 谷歌翻译
Deep Learning models are easily disturbed by variations in the input images that were not seen during training, resulting in unpredictable behaviours. Such Out-of-Distribution (OOD) images represent a significant challenge in the context of medical image analysis, where the range of possible abnormalities is extremely wide, including artifacts, unseen pathologies, or different imaging protocols. In this work, we evaluate various uncertainty frameworks to detect OOD inputs in the context of Multiple Sclerosis lesions segmentation. By implementing a comprehensive evaluation scheme including 14 sources of OOD of various nature and strength, we show that methods relying on the predictive uncertainty of binary segmentation models often fails in detecting outlying inputs. On the contrary, learning to segment anatomical labels alongside lesions highly improves the ability to detect OOD inputs.
translated by 谷歌翻译
Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.
translated by 谷歌翻译