关于观察者网络的最新工作显示出关于语义分割的分布（OOD）检测的有希望的结果。这些方法在精确定位图像（即异常）中的兴趣点上很难。这种限制是由于像素水平上细粒度预测的难度。为了解决这个问题，我们向观察者提供实例知识。我们通过利用实例掩码预测来扩展obsnet的方法。我们使用其他类别的对象检测器来过滤和汇总观察者预测。最后，我们预测图像中每个实例的唯一异常得分。我们表明，我们提出的方法准确地将三个数据集中的分布对象准确地分发对象。
translated by 谷歌翻译
最近在现实世界应用中部署对象检测的深度神经网络的努力，例如自主驾驶，假设在训练期间已经观察到所有相关的对象类。在训练集中不表示测试数据时，在设置中的性能大多专注于用于语义分割的模型的像素级不确定性估计技术。本文建议利用对语义分割模型的额外预测，并量化其信心，然后以已知的对象与未知的对象分类分类。我们使用由区域提议网络（RPN）生成的对象提案，并使用径向基函数网络（RBFN）来适应语义分割的距离意识不确定性估计，用于类别不可知对象掩码预测。然后使用增强的对象提案来训练已知对象类别的分类器。实验结果表明，该方法实现了对未知物体检测的现有技术的状态的平行性能，并且还可以有效地用于减少对象检测器的假阳性率。我们的方法非常适合于通过语义分割获得的非对象背景类别的预测是可靠的。
translated by 谷歌翻译
最先进的语义或实例分割深度神经网络（DNN）通常在封闭的语义类上培训。因此，它们的装备不适用于处理以前的未持续的对象。然而，检测和定位这些物体对于安全关键应用至关重要，例如对自动驾驶的感知，特别是如果它们出现在前方的道路上。虽然某些方法已经解决了异常或分发的对象分割的任务，但由于缺乏固体基准，在很大程度上存在进展仍然缓慢;现有数据集由合成数据组成，或遭受标签不一致。在本文中，我们通过介绍“SegmentMeifyOUCAN”基准来弥合这个差距。我们的基准解决了两个任务：异常对象分割，这将考虑任何以前的未持续的对象类别;和道路障碍分割，它侧重于道路上的任何物体，可能是已知的或未知的。我们将两个相应的数据集与执行深入方法分析的测试套件一起提供，考虑到已建立的像素 - 明智的性能度量和最近的组件 - 明智的，这对对象尺寸不敏感。我们凭经验评估了多种最先进的基线方法，包括使用我们的测试套件在我们的数据集和公共数据上专门为异常/障碍分割而设计的多种型号。异常和障碍分割结果表明，我们的数据集有助于数据景观的多样性和难度。
translated by 谷歌翻译
2022-09-28
3D对象检测是自动驾驶的重要组成部分，深层神经网络（DNNS）已达到此任务的最新性能。但是，深层模型臭名昭著，因为将高置信度得分分配给分布（OOD）输入，即未从训练分布中得出的输入。检测OOD输入是具有挑战性的，对于模型的安全部署至关重要。已经针对分类任务进行了广泛研究OOD检测，但是它尚未对对象检测任务，特别是基于激光雷达的3D对象检测的注意力。在本文中，我们关注基于激光雷达的3D对象检测的OOD输入的检测。我们制定了OOD输入对于对象检测的含义，并提议适应几种OOD检测方法进行对象检测。我们通过提出的特征提取方法来实现这一目标。为了评估OOD检测方法，我们开发了一种简单但有效的技术，用于为给定的对象检测模型生成OOD对象。我们基于KITTI数据集的评估表明，不同的OOD检测方法具有检测特定OOD对象的偏差。它强调了联合OOD检测方法的重要性以及在这个方向上进行更多研究。
translated by 谷歌翻译
Safety-critical applications like autonomous driving use Deep Neural Networks (DNNs) for object detection and segmentation. The DNNs fail to predict when they observe an Out-of-Distribution (OOD) input leading to catastrophic consequences. Existing OOD detection methods were extensively studied for image inputs but have not been explored much for LiDAR inputs. So in this study, we proposed two datasets for benchmarking OOD detection in 3D semantic segmentation. We used Maximum Softmax Probability and Entropy scores generated using Deep Ensembles and Flipout versions of RandLA-Net as OOD scores. We observed that Deep Ensembles out perform Flipout model in OOD detection with greater AUROC scores for both datasets.
translated by 谷歌翻译
异常意识是安全关键型应用的重要能力，如自主驾驶。虽然最近的机器人和计算机视觉的进展使得对图像分类的异常检测，但对语义细分的异常检测不太探讨。传统的异常感知系统假设其他现有类作为用于训练模型的分发（伪未知）类的类将导致两个缺点。 （1）未知类，需要应对哪些应用程序，在培训时间内实际上无法实际存在。 （2）模型性能强烈依赖课堂选择。观察这一点，我们提出了一种新的合成未知数据生成，打算解决异常感知语义分割任务。我们设计一个新的蒙版渐变更新（MGU）模块，以沿着分布边界生成辅助数据。此外，我们修改了传统的跨熵损失，强调边界数据点。我们在两个异常分段数据集上达到最先进的性能。消融研究还证明了所提出的模块的有效性。
translated by 谷歌翻译
标准机器学习无法容纳不属于培训分配的输入。由此产生的模型通常会产生自信不正确的预测，这可能导致破坏性后果。在密集预测的上下文中，该问题特别要求，因为输入图像可以部分是异常的。以前的工作通过对混合内容图像的鉴别培训解决了致密的异常检测。我们将这种方法与合成阴性贴片扩展，同时实现高入的似然性和均匀的辨别预测。由于其出色的分布覆盖范围和能力以不同的分辨率产生样品，我们会产生具有正常化流动的合成底片。我们还建议根据主要的信息理论标准来检测异常，这可以通过培训和推理一致地应用。结果模型在标准基准测试和数据集中设置了新技术，尽管计算开销最小，但避免辅助负数据。
translated by 谷歌翻译
在图像分类的背景下，检测出分布（OOD）样本最近已成为感兴趣和积极研究的领域，以及与不确定性估计的主题，与之密切相关。在本文中，我们探讨了OOD细分的任务，该任务已被研究少于其分类对应物，并提出了其他挑战。细分是一个密集的预测任务，每个像素的模型结果都取决于其周围环境。接收领域和对上下文的依赖在区分不同类别以及相应地发现OOD实体的角色上发挥了作用。我们介绍了Moose，这是一种有效的策略，旨在利用语义分割模型中表示的各种上下文级别，并表明，即使是多尺度表示的简单聚合，也对OOD检测和不确定性估计也始终产生积极影响。
translated by 谷歌翻译
最先进的（SOTA）复杂城市驾驶场景的异常分割方法探索从异常曝光或外部重建模型中了解的像素明智的分类不确定性。然而，之前将高不确定性直接对异常关联的不确定性方法有时可能导致不正确的异常预测，外部重建模型对于实时自动驾驶嵌入式系统往往是过低的。在本文中，我们提出了一种新的异常分段方法，命名为像素 - 明智的能量偏置的弃权学习（PEBAL），探讨了与学习自适应像素级异常类的模型的像素 - 方向弃权学习（AL），以及基于能量的模型（EBM），了解了Inlier像素分布。更具体地说，PEBAL基于EBM和A1的非琐碎的关节训练，其中EBM培训以输出用于异常像素的高能（来自异常曝光），并且培训AL，使得这些高能量像素接受自适应低罚款被纳入异常课程。我们广泛评估PEBAL对抗SOTA，并表明它可以实现四个基准的最佳性能。代码可在https://github.com/tianyu0207/pebal上获得。
translated by 谷歌翻译
如今，卷积神经网络（CNN）经常用于基于视觉的感知堆栈，用于安全关键的应用，例如自动驾驶或无人驾驶汽车（无人机）。由于这些用例的安全要求，重要的是要知道CNN的局限性，因此要检测到分布外（OOD）样本。在这项工作中，我们提出了一种方法，可以通过利用保证金熵（ME）损失来启用2D对象检测。提出的方法易于实现，可以应用于大多数现有的对象检测体系结构。此外，我们将分离性作为用于检测对象检测中的OOD样品的度量。我们表明，使用标准置信度得分，接受ME损失训练的CNN明显优于OOD检测。同时，基础对象检测框架的运行时间保持不变，使ME损失成为启用OOD检测的强大工具。
translated by 谷歌翻译
由于全景分割为输入中的每个像素提供了一个预测，因此，非标准和看不见的对象系统地导致了错误的输出。但是，在关键的环境中，针对分发样本的鲁棒性和角案件对于避免危险行为至关重要，例如忽略动物或道路上的货物丢失。由于驾驶数据集不能包含足够的数据点来正确采样基础分布的长尾巴，因此方法必须处理未知和看不见的方案才能安全部署。以前的方法是通过重新识别已经看到未标记的对象来针对此问题的一部分。在这项工作中，我们扩大了提出整体分割的范围：一项任务，以识别和将看不见的对象分为实例，而无需从未知数中学习，同时执行已知类别的全面分割。我们用U3HS解决了这个新问题，U3HS首先将未知数视为高度不确定的区域，然后将相应的实例感知嵌入到各个对象中。通过这样做，这是第一次使用未知对象进行综合分割，我们的U3HS未接受未知数据的训练，因此使对象类型的设置不受限制，并允许对整体场景理解。在两个公共数据集上进行了广泛的实验和比较，即CityScapes和作为转移的丢失和发现，证明了U3HS在挑战性的整体分段任务中的有效性，并具有竞争性的封闭式全盘分段性能。
translated by 谷歌翻译
对于图像的语义分割，如果该任务限于一组封闭的类，则最先进的深神经网络（DNN）实现高分性精度。然而，截至目前，DNN具有有限的开放世界能够在开放世界中运行，在那里他们任务是识别属于未知对象的像素，最终逐步学习新颖的类。人类有能力说：我不知道那是什么，但我已经看到了这样的东西。因此，希望以无监督的方式执行这种增量学习任务。我们介绍一种基于视觉相似性群集未知对象的方法。这些集群用于定义新课程，并作为无监督增量学习的培训数据。更确切地说，通过分割质量估计来评估预测语义分割的连接组件。具有低估计预测质量的连接组件是随后聚类的候选者。另外，组件明智的质量评估允许获得可能包含未知对象的图像区域的预测分段掩模。这种掩模的各个像素是伪标记的，然后用于重新训练DNN，即，在不使用由人类产生的地面真理。在我们的实验中，我们证明，在没有访问地面真理甚至几个数据中，DNN的类空间可以由新颖的类扩展，实现了相当大的分割精度。
translated by 谷歌翻译
本文旨在解决语义细分中异常发现的问题。我们的主要观察是，语义分类在现有方法中起着关键作用，而错误分类的像素被容易被视为异常。这种现象经常出现并且很少讨论，这显着降低了异常发现的性能。为此，我们提出了一种新颖的蒸馏比较网络（Dicnet）。它包括一个教师分支，该教师分支是一种解除语义分类头的语义分割网络，以及通过分配蒸馏从教师分支蒸馏的学生分支。我们表明蒸馏保证了两个分支的语义特征在已知类别中保持一致性，而在未知课程中反映不一致。因此，我们利用两个分支之间的语义特征差异来发现异常。 DICNET在推理过程中放弃了语义分类头，因此显着减轻了语义分类错误引起的问题。对Streethazards数据集和BDD-Anomaly数据集进行了广泛的实验结果，以验证DicNet的卓越性能。特别是，DICNET在AUPR获得6.3％的改善，并且对血红病患者数据集的FPR95改善了5.2％，在BDD - 异常数据集上达到了4.2％的AUPR和FPR95的6.8％。代码可在https://github.com/zhouhuan-hust/dicnet上获得。
translated by 谷歌翻译
预测不确定性估计对于在现实世界自治系统中部署深层神经网络至关重要。但是，大多数成功的方法是计算密集型的。在这项工作中，我们试图在自主驾驶感知任务的背景下解决这些挑战。最近提出的确定性不确定性方法（DUM）只能部分满足其对复杂计算机视觉任务的可扩展性，这并不明显。在这项工作中，我们为高分辨率的语义分割推动了可扩展有效的DUM，它放松了Lipschitz约束通常会阻碍此类架构的实用性。我们通过利用在任意大小的可训练原型集上的区别最大化层来学习判别潜在空间。我们的方法在深层合奏，不确定性预测，图像分类，细分和单眼深度估计任务上取得了竞争成果。我们的代码可在https://github.com/ensta-u2is/ldu上找到
translated by 谷歌翻译
对于现代自治系统来说，可靠的场景理解是必不可少的。当前基于学习的方法通常试图根据仅考虑分割质量的细分指标来最大化其性能。但是，对于系统在现实世界中的安全操作，考虑预测的不确定性也至关重要。在这项工作中，我们介绍了不确定性感知的全景分段的新任务，该任务旨在预测每个像素语义和实例分割，以及每个像素不确定性估计。我们定义了两个新颖的指标，以促进其定量分析，不确定性感知的综合质量（UPQ）和全景预期校准误差（PECE）。我们进一步提出了新型的自上而下的证据分割网络（EVPSNET），以解决此任务。我们的架构采用了一个简单而有效的概率融合模块，该模块利用了预测的不确定性。此外，我们提出了一种新的LOV \'ASZ证据损失函数，以优化使用深度证据学习概率的分割的IOU。此外，我们提供了几个强大的基线，将最新的泛型分割网络与无抽样的不确定性估计技术相结合。广泛的评估表明，我们的EVPSNET可以实现标准综合质量（PQ）的新最新技术，以及我们的不确定性倾斜度指标。
translated by 谷歌翻译
分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。
translated by 谷歌翻译
2022-05-03
在过去几年中，深度学习的巨大进展已导致了我们道路上有自动驾驶汽车的未来。然而，他们的感知系统的性能在很大程度上取决于使用的培训数据的质量。由于这些系统通常仅覆盖所有对象类别的一部分，因此自主驾驶系统将面临，因此这种系统在处理意外事件方面努力。为了安全地在公共道路上运行，对未知类别的对象的识别仍然是一项至关重要的任务。在本文中，我们提出了一条新的管道来检测未知物体。我们没有专注于单个传感器模式，而是通过以顺序结合最先进的检测模型来利用LiDAR和相机数据。我们在Waymo开放感知数据集上评估我们的方法，并指出当前的异常检测研究差距。
translated by 谷歌翻译
可以通过定期训练数据的生成建模或通过对负面训练数据进行区分来构想异常检测。这两种方法表现出不同的故障模式。因此，混合算法提出了一个有吸引力的研究目标。不幸的是，密集的异常检测需要翻译均衡和非常大的输入分辨率。这些要求取消了所有以前的混合方法，我们的最佳知识。因此，我们设计了一种基于重新解释的歧视liogits的新型混合算法，作为非标准化关节分布的对数$ \ hat {p}（\ mathbf {x}，\ mathbf {y}）$。我们的模型建立在共享卷积表示形式的基础上，我们从中恢复了三个密集的预测：i）封闭式类后$ p（\ mathbf {y} | \ mathbf {x}）$，ii）数据集posterior $ p（d_ {in} | \ mathbf {x}）$，iii）不正常的数据可能性$ \ hat {p}（\ mathbf {x}）$。后两个预测均受标准培训数据和通用负面数据集的培训。我们将这两个预测融合到混合异常评分中，该评分允许在大型自然图像上进行密集的开放式识别。我们仔细设计了针对数据可能性的自定义损失，以避免通过不可降低常规固定$ z（\ theta）$进行反向传播。实验评估了我们对标准密集异常检测基准的贡献，以及开放式MIOU的贡献，这是一种新颖的开放式开放式性能的新颖指标。尽管在标准语义分段基线上忽略了可忽视的计算间接费用，但我们的提交表现达到了最先进的性能。
translated by 谷歌翻译
由于新型神经网络体系结构的设计和大规模数据集的可用性，对象检测方法在过去几年中取得了令人印象深刻的改进。但是，当前的方法有一个重要的限制：他们只能检测到在训练时间内观察到的类，这只是检测器在现实世界中可能遇到的所有类的子集。此外，在训练时间通常不考虑未知类别的存在，从而导致方法甚至无法检测到图像中存在未知对象。在这项工作中，我们解决了检测未知对象的问题，称为开放集对象检测。我们提出了一种名为Unkad的新颖培训策略，能够预测未知的对象，而无需对其进行任何注释，利用训练图像背景中已经存在的非注释对象。特别是，unkad首先利用更快的R-CNN的四步训练策略，识别和伪标签未知对象，然后使用伪通量来训练其他未知类。尽管UNKAD可以直接检测未知的对象，但我们将其与以前未知的检测技术相结合，表明它不成本就可以提高其性能。
translated by 谷歌翻译
从神经网络获得的校准置信度估计是至关重要的，尤其是针对安全至关重要的应用，例如自主驾驶或医疗图像诊断。但是，尽管已经研究了有关分类问题的置信度校准任务，但仍缺少有关对象检测和分割问题的详尽研究。因此，我们专注于本章中对象检测和分割模型的置信度校准的研究。我们介绍了多元置信校准的概念，这是对象检测和分割任务的众所周知校准方法的扩展。这允许进行扩展的置信校准，还知道其他功能，例如边界框/像素位置，形状信息等。此外，我们扩展了预期的校准误差（ECE），以测量对象检测和分割模型的错误计算。我们检查了MS Coco以及CityScapes上的几个网络体系结构，并表明鉴于引入的校准定义，尤其是对象检测以及实例分割模型在本质上被误解。使用我们提出的校准方法，我们能够改善校准，从而对分割面罩的质量也产生积极影响。
translated by 谷歌翻译