在图像分类的背景下，检测出分布（OOD）样本最近已成为感兴趣和积极研究的领域，以及与不确定性估计的主题，与之密切相关。在本文中，我们探讨了OOD细分的任务，该任务已被研究少于其分类对应物，并提出了其他挑战。细分是一个密集的预测任务，每个像素的模型结果都取决于其周围环境。接收领域和对上下文的依赖在区分不同类别以及相应地发现OOD实体的角色上发挥了作用。我们介绍了Moose，这是一种有效的策略，旨在利用语义分割模型中表示的各种上下文级别，并表明，即使是多尺度表示的简单聚合，也对OOD检测和不确定性估计也始终产生积极影响。
translated by 谷歌翻译
最先进的（SOTA）复杂城市驾驶场景的异常分割方法探索从异常曝光或外部重建模型中了解的像素明智的分类不确定性。然而，之前将高不确定性直接对异常关联的不确定性方法有时可能导致不正确的异常预测，外部重建模型对于实时自动驾驶嵌入式系统往往是过低的。在本文中，我们提出了一种新的异常分段方法，命名为像素 - 明智的能量偏置的弃权学习（PEBAL），探讨了与学习自适应像素级异常类的模型的像素 - 方向弃权学习（AL），以及基于能量的模型（EBM），了解了Inlier像素分布。更具体地说，PEBAL基于EBM和A1的非琐碎的关节训练，其中EBM培训以输出用于异常像素的高能（来自异常曝光），并且培训AL，使得这些高能量像素接受自适应低罚款被纳入异常课程。我们广泛评估PEBAL对抗SOTA，并表明它可以实现四个基准的最佳性能。代码可在https://github.com/tianyu0207/pebal上获得。
translated by 谷歌翻译
最先进的语义或实例分割深度神经网络（DNN）通常在封闭的语义类上培训。因此，它们的装备不适用于处理以前的未持续的对象。然而，检测和定位这些物体对于安全关键应用至关重要，例如对自动驾驶的感知，特别是如果它们出现在前方的道路上。虽然某些方法已经解决了异常或分发的对象分割的任务，但由于缺乏固体基准，在很大程度上存在进展仍然缓慢;现有数据集由合成数据组成，或遭受标签不一致。在本文中，我们通过介绍“SegmentMeifyOUCAN”基准来弥合这个差距。我们的基准解决了两个任务：异常对象分割，这将考虑任何以前的未持续的对象类别;和道路障碍分割，它侧重于道路上的任何物体，可能是已知的或未知的。我们将两个相应的数据集与执行深入方法分析的测试套件一起提供，考虑到已建立的像素 - 明智的性能度量和最近的组件 - 明智的，这对对象尺寸不敏感。我们凭经验评估了多种最先进的基线方法，包括使用我们的测试套件在我们的数据集和公共数据上专门为异常/障碍分割而设计的多种型号。异常和障碍分割结果表明，我们的数据集有助于数据景观的多样性和难度。
translated by 谷歌翻译
标准机器学习无法容纳不属于培训分配的输入。由此产生的模型通常会产生自信不正确的预测，这可能导致破坏性后果。在密集预测的上下文中，该问题特别要求，因为输入图像可以部分是异常的。以前的工作通过对混合内容图像的鉴别培训解决了致密的异常检测。我们将这种方法与合成阴性贴片扩展，同时实现高入的似然性和均匀的辨别预测。由于其出色的分布覆盖范围和能力以不同的分辨率产生样品，我们会产生具有正常化流动的合成底片。我们还建议根据主要的信息理论标准来检测异常，这可以通过培训和推理一致地应用。结果模型在标准基准测试和数据集中设置了新技术，尽管计算开销最小，但避免辅助负数据。
translated by 谷歌翻译
在过去的几年中，关于分类，检测和分割问题的3D学习领域取得了重大进展。现有的绝大多数研究都集中在规范的封闭式条件上，忽略了现实世界的内在开放性。这限制了需要管理新颖和未知信号的自主系统的能力。在这种情况下，利用3D数据可以是有价值的资产，因为它传达了有关感应物体和场景几何形状的丰富信息。本文提供了关于开放式3D学习的首次广泛研究。我们介绍了一种新颖的测试床，其设置在类别语义转移方面的难度增加，并且涵盖了内域（合成之间）和跨域（合成对真实）场景。此外，我们研究了相关的分布情况，并开放了2D文献，以了解其最新方法是否以及如何在3D数据上有效。我们广泛的基准测试在同一连贯的图片中定位了几种算法，从而揭示了它们的优势和局限性。我们的分析结果可能是未来量身定制的开放式3D模型的可靠立足点。
translated by 谷歌翻译
可以通过定期训练数据的生成建模或通过对负面训练数据进行区分来构想异常检测。这两种方法表现出不同的故障模式。因此，混合算法提出了一个有吸引力的研究目标。不幸的是，密集的异常检测需要翻译均衡和非常大的输入分辨率。这些要求取消了所有以前的混合方法，我们的最佳知识。因此，我们设计了一种基于重新解释的歧视liogits的新型混合算法，作为非标准化关节分布的对数$ \ hat {p}（\ mathbf {x}，\ mathbf {y}）$。我们的模型建立在共享卷积表示形式的基础上，我们从中恢复了三个密集的预测：i）封闭式类后$ p（\ mathbf {y} | \ mathbf {x}）$，ii）数据集posterior $ p（d_ {in} | \ mathbf {x}）$，iii）不正常的数据可能性$ \ hat {p}（\ mathbf {x}）$。后两个预测均受标准培训数据和通用负面数据集的培训。我们将这两个预测融合到混合异常评分中，该评分允许在大型自然图像上进行密集的开放式识别。我们仔细设计了针对数据可能性的自定义损失，以避免通过不可降低常规固定$ z（\ theta）$进行反向传播。实验评估了我们对标准密集异常检测基准的贡献，以及开放式MIOU的贡献，这是一种新颖的开放式开放式性能的新颖指标。尽管在标准语义分段基线上忽略了可忽视的计算间接费用，但我们的提交表现达到了最先进的性能。
translated by 谷歌翻译
异常意识是安全关键型应用的重要能力，如自主驾驶。虽然最近的机器人和计算机视觉的进展使得对图像分类的异常检测，但对语义细分的异常检测不太探讨。传统的异常感知系统假设其他现有类作为用于训练模型的分发（伪未知）类的类将导致两个缺点。 （1）未知类，需要应对哪些应用程序，在培训时间内实际上无法实际存在。 （2）模型性能强烈依赖课堂选择。观察这一点，我们提出了一种新的合成未知数据生成，打算解决异常感知语义分割任务。我们设计一个新的蒙版渐变更新（MGU）模块，以沿着分布边界生成辅助数据。此外，我们修改了传统的跨熵损失，强调边界数据点。我们在两个异常分段数据集上达到最先进的性能。消融研究还证明了所提出的模块的有效性。
translated by 谷歌翻译
我们介绍了几个新的数据集即想象的A / O和Imagenet-R以及合成环境和测试套件，我们称为CAOS。 Imagenet-A / O允许研究人员专注于想象成剩余的盲点。由于追踪稳健的表示，以特殊创建了ImageNet-R，因为表示不再简单地自然，而是包括艺术和其他演绎。 Caos Suite由Carla Simulator构建，允许包含异常物体，可以创建可重复的合成环境和用于测试稳健性的场景。所有数据集都是为测试鲁棒性和衡量鲁棒性的衡量进展而创建的。数据集已用于各种其他作品中，以衡量其具有鲁棒性的自身进步，并允许切向进展，这些进展不会完全关注自然准确性。鉴于这些数据集，我们创建了几种旨在推进鲁棒性研究的新方法。我们以最大Logit的形式和典型程度的形式构建简单的基线，并以深度的形式创建新的数据增强方法，从而提高上述基准。最大Logit考虑Logit值而不是SoftMax操作后的值，而微小的变化会产生明显的改进。典型程分将输出分布与类的后部分布进行比较。我们表明，除了分段任务之外，这将提高对基线的性能。猜测可能在像素级别，像素的语义信息比类级信息的语义信息不太有意义。最后，新的Deepaulment的新增强技术利用神经网络在彻底不同于先前使用的传统几何和相机的转换的图像上创建增强。
translated by 谷歌翻译
本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp
translated by 谷歌翻译
预测不确定性估计对于在现实世界自治系统中部署深层神经网络至关重要。但是，大多数成功的方法是计算密集型的。在这项工作中，我们试图在自主驾驶感知任务的背景下解决这些挑战。最近提出的确定性不确定性方法（DUM）只能部分满足其对复杂计算机视觉任务的可扩展性，这并不明显。在这项工作中，我们为高分辨率的语义分割推动了可扩展有效的DUM，它放松了Lipschitz约束通常会阻碍此类架构的实用性。我们通过利用在任意大小的可训练原型集上的区别最大化层来学习判别潜在空间。我们的方法在深层合奏，不确定性预测，图像分类，细分和单眼深度估计任务上取得了竞争成果。我们的代码可在https://github.com/ensta-u2is/ldu上找到
translated by 谷歌翻译
机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。
translated by 谷歌翻译
最近在现实世界应用中部署对象检测的深度神经网络的努力，例如自主驾驶，假设在训练期间已经观察到所有相关的对象类。在训练集中不表示测试数据时，在设置中的性能大多专注于用于语义分割的模型的像素级不确定性估计技术。本文建议利用对语义分割模型的额外预测，并量化其信心，然后以已知的对象与未知的对象分类分类。我们使用由区域提议网络（RPN）生成的对象提案，并使用径向基函数网络（RBFN）来适应语义分割的距离意识不确定性估计，用于类别不可知对象掩码预测。然后使用增强的对象提案来训练已知对象类别的分类器。实验结果表明，该方法实现了对未知物体检测的现有技术的状态的平行性能，并且还可以有效地用于减少对象检测器的假阳性率。我们的方法非常适合于通过语义分割获得的非对象背景类别的预测是可靠的。
translated by 谷歌翻译
由于全景分割为输入中的每个像素提供了一个预测，因此，非标准和看不见的对象系统地导致了错误的输出。但是，在关键的环境中，针对分发样本的鲁棒性和角案件对于避免危险行为至关重要，例如忽略动物或道路上的货物丢失。由于驾驶数据集不能包含足够的数据点来正确采样基础分布的长尾巴，因此方法必须处理未知和看不见的方案才能安全部署。以前的方法是通过重新识别已经看到未标记的对象来针对此问题的一部分。在这项工作中，我们扩大了提出整体分割的范围：一项任务，以识别和将看不见的对象分为实例，而无需从未知数中学习，同时执行已知类别的全面分割。我们用U3HS解决了这个新问题，U3HS首先将未知数视为高度不确定的区域，然后将相应的实例感知嵌入到各个对象中。通过这样做，这是第一次使用未知对象进行综合分割，我们的U3HS未接受未知数据的训练，因此使对象类型的设置不受限制，并允许对整体场景理解。在两个公共数据集上进行了广泛的实验和比较，即CityScapes和作为转移的丢失和发现，证明了U3HS在挑战性的整体分段任务中的有效性，并具有竞争性的封闭式全盘分段性能。
translated by 谷歌翻译
最近出现了一系列用于估计具有单个正向通行证的深神经网络中的认知不确定性的新方法，最近已成为贝叶斯神经网络的有效替代方法。在信息性表示的前提下，这些确定性不确定性方法（DUM）在检测到分布（OOD）数据的同时在推理时添加可忽略的计算成本时实现了强大的性能。但是，目前尚不清楚dums是否经过校准，可以无缝地扩展到现实世界的应用 - 这都是其实际部署的先决条件。为此，我们首先提供了DUMS的分类法，并在连续分配转移下评估其校准。然后，我们将它们扩展到语义分割。我们发现，尽管DUMS尺度到现实的视觉任务并在OOD检测方面表现良好，但当前方法的实用性受到分配变化下的校准不良而破坏的。
translated by 谷歌翻译
关于观察者网络的最新工作显示出关于语义分割的分布（OOD）检测的有希望的结果。这些方法在精确定位图像（即异常）中的兴趣点上很难。这种限制是由于像素水平上细粒度预测的难度。为了解决这个问题，我们向观察者提供实例知识。我们通过利用实例掩码预测来扩展obsnet的方法。我们使用其他类别的对象检测器来过滤和汇总观察者预测。最后，我们预测图像中每个实例的唯一异常得分。我们表明，我们提出的方法准确地将三个数据集中的分布对象准确地分发对象。
translated by 谷歌翻译
分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。
translated by 谷歌翻译
最先进的深神经网络在语义细分方面表现出了出色的表现。但是，它们的性能与培训数据所代表的领域相关。开放世界的场景会导致不准确的预测，这在安全相关应用中是危险的，例如自动驾驶。在这项工作中，我们使用单眼深度估计来增强语义分割预测，从而通过减少存在域移位时未检测到的对象的发生来改善分割。为此，我们通过修改后的分割网络推断出深度热图，该网络生成前后背面的掩模，该面具与给定的语义分割网络并行运行。两种细分面具均汇总，重点关注前景类（此处的道路使用者），以减少虚假负面因素。为了减少假阳性的发生，我们根据不确定性估计进行修剪。从某种意义上说，我们的方法是模块化的，它后处理了任何语义分割网络的输出。在我们的实验中，与基本的语义分割预测相比，我们观察到大多数重要类别的未检测到的对象，并增强对其他领域的概括。
translated by 谷歌翻译
2022-09-28
3D对象检测是自动驾驶的重要组成部分，深层神经网络（DNNS）已达到此任务的最新性能。但是，深层模型臭名昭著，因为将高置信度得分分配给分布（OOD）输入，即未从训练分布中得出的输入。检测OOD输入是具有挑战性的，对于模型的安全部署至关重要。已经针对分类任务进行了广泛研究OOD检测，但是它尚未对对象检测任务，特别是基于激光雷达的3D对象检测的注意力。在本文中，我们关注基于激光雷达的3D对象检测的OOD输入的检测。我们制定了OOD输入对于对象检测的含义，并提议适应几种OOD检测方法进行对象检测。我们通过提出的特征提取方法来实现这一目标。为了评估OOD检测方法，我们开发了一种简单但有效的技术，用于为给定的对象检测模型生成OOD对象。我们基于KITTI数据集的评估表明，不同的OOD检测方法具有检测特定OOD对象的偏差。它强调了联合OOD检测方法的重要性以及在这个方向上进行更多研究。
translated by 谷歌翻译
Safety-critical applications like autonomous driving use Deep Neural Networks (DNNs) for object detection and segmentation. The DNNs fail to predict when they observe an Out-of-Distribution (OOD) input leading to catastrophic consequences. Existing OOD detection methods were extensively studied for image inputs but have not been explored much for LiDAR inputs. So in this study, we proposed two datasets for benchmarking OOD detection in 3D semantic segmentation. We used Maximum Softmax Probability and Entropy scores generated using Deep Ensembles and Flipout versions of RandLA-Net as OOD scores. We observed that Deep Ensembles out perform Flipout model in OOD detection with greater AUROC scores for both datasets.
translated by 谷歌翻译
对于现代自治系统来说，可靠的场景理解是必不可少的。当前基于学习的方法通常试图根据仅考虑分割质量的细分指标来最大化其性能。但是，对于系统在现实世界中的安全操作，考虑预测的不确定性也至关重要。在这项工作中，我们介绍了不确定性感知的全景分段的新任务，该任务旨在预测每个像素语义和实例分割，以及每个像素不确定性估计。我们定义了两个新颖的指标，以促进其定量分析，不确定性感知的综合质量（UPQ）和全景预期校准误差（PECE）。我们进一步提出了新型的自上而下的证据分割网络（EVPSNET），以解决此任务。我们的架构采用了一个简单而有效的概率融合模块，该模块利用了预测的不确定性。此外，我们提出了一种新的LOV \'ASZ证据损失函数，以优化使用深度证据学习概率的分割的IOU。此外，我们提供了几个强大的基线，将最新的泛型分割网络与无抽样的不确定性估计技术相结合。广泛的评估表明，我们的EVPSNET可以实现标准综合质量（PQ）的新最新技术，以及我们的不确定性倾斜度指标。
translated by 谷歌翻译