Deep neural networks (DNN) have outstanding performance in various applications. Despite numerous efforts of the research community, out-of-distribution (OOD) samples remain significant limitation of DNN classifiers. The ability to identify previously unseen inputs as novel is crucial in safety-critical applications such as self-driving cars, unmanned aerial vehicles and robots. Existing approaches to detect OOD samples treat a DNN as a black box and assess the confidence score of the output predictions. Unfortunately, this method frequently fails, because DNN are not trained to reduce their confidence for OOD inputs. In this work, we introduce a novel method for OOD detection. Our method is motivated by theoretical analysis of neuron activation patterns (NAP) in ReLU based architectures. The proposed method does not introduce high computational workload due to the binary representation of the activation patterns extracted from convolutional layers. The extensive empirical evaluation proves its high performance on various DNN architectures and seven image datasets. ion.

我们引入强大的想法，从超比计算到有挑战性领域的分布外（OOD）检测。与基于单个神经网络的单层执行的大多数现有的工作相比，我们使用相似性的半正交投影矩阵来将来自多个层的特征映射投影成公共矢量空间。通过反复应用捆绑操作$ \ oplus $，我们为所有分布类创建特定于特定于特定于特定的描述符向量。在测试时间时，描述符矢量之间的简单高效的余弦相似性计算一致地识别具有比当前最先进的性能更好的ood样本。我们表明，多维网络层的超级融合对于实现最佳的普遍表现至关重要。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

无监督的分销（U-OOD）检测最近引起了很多关注，因为它在关键任务系统中的重要性以及对其监督对方的更广泛的适用性。尽管注意力增加，U-OOD方法遭受了重要的缺点。通过对不同的基准和图像方式进行大规模评估，我们在这项工作中展示了最受欢迎的最先进的方法无法始终如一地始终基于Mahalanobis距离（Mahaad）的简单且相对未知的异常探测器。这些方法不一致的一个关键原因是缺乏U-OOD的正式描述。通过一个简单的思想实验，我们提出了基于培训数据集的不变性的U-OOD的表征。我们展示了这种表征如何在众所周置的Mahaad方法中体现在不知不觉中，从而解释了其质量。此外，我们的方法可用于解释U-OOD探测器的预测，并为评估未来U-OOD方法的良好实践提供见解。

Commonly used AI networks are very self-confident in their predictions, even when the evidence for a certain decision is dubious. The investigation of a deep learning model output is pivotal for understanding its decision processes and assessing its capabilities and limitations. By analyzing the distributions of raw network output vectors, it can be observed that each class has its own decision boundary and, thus, the same raw output value has different support for different classes. Inspired by this fact, we have developed a new method for out-of-distribution detection. The method offers an explanatory step beyond simple thresholding of the softmax output towards understanding and interpretation of the model learning process and its output. Instead of assigning the class label of the highest logit to each new sample presented to the network, it takes the distributions over all classes into consideration. A probability score interpreter (PSI) is created based on the joint logit values in relation to their respective correct vs wrong class distributions. The PSI suggests whether the sample is likely to belong to a specific class, whether the network is unsure, or whether the sample is likely an outlier or unknown type for the network. The simple PSI has the benefit of being applicable on already trained networks. The distributions for correct vs wrong class for each output node are established by simply running the training examples through the trained network. We demonstrate our OOD detection method on a challenging transmission electron microscopy virus image dataset. We simulate a real-world application in which images of virus types unknown to a trained virus classifier, yet acquired with the same procedures and instruments, constitute the OOD samples.

通过增强模型，输入示例，培训集和优化目标，已经提出了各种方法进行分发（OOD）检测。偏离现有工作，我们有一个简单的假设，即标准的离心模型可能已经包含有关训练集分布的足够信息，这可以利用可靠的ood检测。我们对验证这一假设的实证研究，该假设测量了模型激活的模型和分布（ID）迷你批次，发现OOD Mini-Batches的激活手段一直偏离培训数据的培训数据。此外，培训数据的激活装置可以从批量归一化层作为“自由午餐”中有效地计算或从批量归一化层次上检索。基于该观察，我们提出了一种名为神经平均差异（NMD）的新型度量，其比较了输入示例和训练数据的神经手段。利用NMD的简单性，我们提出了一种有效的OOD探测器，通过标准转发通道来计算神经手段，然后是轻量级分类器。广泛的实验表明，在检测精度和计算成本方面，NMD跨越多个数据集和模型架构的最先进的操作。

神经网络在许多领域都很受欢迎，但它们具有对远离训练数据的示例提供高信心响应的问题。这使得神经网络在其预测中非常有信心的同时进行错误，从而限制了它们对自主驾驶，空间探索等的安全关键应用的可靠性，我们提出了具有标准点产品的神经元泛化基于神经元和RBF神经元作为形状参数的两个极端情况。使用Relu作为激活功能，我们获得具有紧凑载体的新型神经元，这意味着其输出在有界域之外为零。我们展示了如何通过首先训练标准神经网络训练这种神经元的神经网络训练神经网络的困难，然后逐渐将形状参数逐渐增加到所需值。我们还证明，使用所提出的神经元的神经网络具有通用近似性，这意味着它可以近似具有任意精度的任何连续和可积的功能。通过对标准基准数据集的实验，我们展示了所提出的方法的承诺，因为它可以在分布式样品上具有良好的预测准确性，同时能够始终如一地检测并对分布外样品具有低置信度。

背景。通常，深度神经网络（DNN）概括了从类似于训练集的分布的样本概括。然而，当测试样本从不同的分布中抽出时，DNNS的预测是脆性和不可靠的。这是在现实世界应用中部署的主要关注点，这种行为可能以相当大的成本，例如工业生产线，自治车辆或医疗保健应用。贡献。我们将DNN中的分布（OOD）检测出来作为统计假设检测问题。在我们所提出的框架内产生的测试将证据组合来自整个网络。与以前的检测启发式不同，此框架返回每个测试样本的$ p $ -value。有保证维护I型错误（T1E - 错误地识别OOD样本为ID）进行测试数据。此外，这允许在保持T1E的同时组合多个检测器。在此框架上建立，我们建议一种基于低阶统计数据的新型程序。我们的方法在不接受的EOD基准上的最新方法实现了比较或更好的结果，而无需再培训网络参数或假设测试分配的现有知识 - 并且以计算成本的一小部分。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

缺乏精心校准的置信度估计值使神经网络在安全至关重要的领域（例如自动驾驶或医疗保健）中不足。在这些设置中，有能力放弃对分布（OOD）数据进行预测的能力，就像正确分类分布数据一样重要。我们介绍了$ P $ -DKNN，这是一种新颖的推理程序，该过程采用了经过训练的深神经网络，并分析了其中间隐藏表示形式的相似性结构，以计算与端到端模型预测相关的$ p $值。直觉是，在潜在表示方面执行的统计测试不仅可以用作分类器，还可以提供统计上有充分根据的不确定性估计。 $ P $ -DKNN是可扩展的，并利用隐藏层学到的表示形式的组成，这使深度表示学习成功。我们的理论分析基于Neyman-Pearson的分类，并将其与选择性分类的最新进展（拒绝选项）联系起来。我们证明了在放弃预测OOD输入和保持分布输入的高精度之间的有利权衡。我们发现，$ p $ -DKNN强迫自适应攻击者制作对抗性示例（一种最差的OOD输入形式），以对输入引入语义上有意义的更改。

许多高性能作品在分布外（OOD）检测方面使用真实或合成生成的异常数据来正式化模型置信度；但是，它们通常需要重新培训基本网络或专门的模型体系结构。我们的作品表明，嘈杂的嵌入式在OOD对象​​检测的挑战领域中使异常值（Nimgo）成为了很大的异常值。我们假设合成异常值只需要最小化分布（ID）数据的扰动变体即可训练一个歧视器以识别OOD样本 - 而无需昂贵的基本网络重新培训。为了检验我们的假设，我们通过在图像或边界盒级别上应用添加剂噪声扰动来生成一个合成的离群值。然后，对辅助功能监视多层感知器（MLP）进行训练，以使用扰动的ID样品作为代理来检测OOD特征表示。在测试过程中，我们证明辅助MLP将ID样品与最新水平的OOD样品区分开在OpenImages数据集中。广泛的额外消融提供了支持我们假设的经验证据。

我们考虑使用深度神经网络时检测到（分发外）输入数据的问题，并提出了一种简单但有效的方法来提高几种流行的ood检测方法对标签换档的鲁棒性。我们的作品是通过观察到的，即大多数现有的OOD检测算法考虑整个训练/测试数据，无论每个输入激活哪个类进入（级别差异）。通过广泛的实验，我们发现这种做法导致探测器，其性能敏感，易于标记换档。为了解决这个问题，我们提出了一种类别的阈值方案，可以适用于大多数现有的OOD检测算法，并且即使在测试分布的标签偏移存在下也可以保持相似的OOD检测性能。

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.

尽管最近的分布（OOD）检测，异常检测和不确定性估计任务的最新进展，但并不存在任务不合时宜的和事后方法。为了解决此限制，我们设计了一种基于聚类的新型结合方法，称为任务不可知和事后看不见的分布检测（TAPUDD），该方法利用了从对特定任务进行训练的模型中提取的功能。它明确地包括Tap-Mahalanobis，该曲线簇起训练数据集的特征，并确定了所有群集的测试样品的最小Mahalanobis距离。此外，我们提出了一个结合模块，该模块汇总了对不同数量簇的迭代TAP-MAHALANOBIS的计算，以提供可靠，有效的群集计算。通过对合成和现实世界数据集进行的广泛实验，我们观察到我们的方法可以在各种任务中有效地检测出看不见的样本，并与现有基线进行更好的或与现有基线相比。为此，我们消除了确定簇数量的最佳价值的必要性，并证明我们的方法对于大规模分类任务更可行。

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

由于其实际重要性，在提高神经网络安全部署方面的实际重要性，最近经济分配（OOD）检测最近受到了很大的关注。其中一个主要挑战是模型往往会对OOD数据产生高度自信的预测，这在ood检测中破坏了驾驶原理，即该模型应该仅对分布式样品充满信心。在这项工作中，我们提出了反应 - 一种简单有效的技术，用于减少对数据数据的模型过度限制。我们的方法是通过关于神经网络内部激活的新型分析，其为OOD分布显示出高度独特的签名模式。我们的方法可以有效地拓展到不同的网络架构和不同的OOD检测分数。我们经验证明，反应在全面的基准数据集套件上实现了竞争检测性能，并为我们的方法进行了理论解释。与以前的最佳方法相比，在ImageNet基准测试中，反应将假阳性率（FPR95）降低25.05％。

机器学习算法和深度神经网络在几种感知和控制任务中的卓越性能正在推动该行业在安全关键应用中采用这种技术，作为自治机器人和自动驾驶车辆。然而，目前，需要解决几个问题，以使深入学习方法更可靠，可预测，安全，防止对抗性攻击。虽然已经提出了几种方法来提高深度神经网络的可信度，但大多数都是针对特定类的对抗示例量身定制的，因此未能检测到其他角落案件或不安全的输入，这些输入大量偏离训练样本。本文介绍了基于覆盖范式的轻量级监控架构，以增强针对不同不安全输入的模型鲁棒性。特别是，在用于评估多种检测逻辑的架构中提出并测试了四种覆盖分析方法。实验结果表明，该方法有效地检测强大的对抗性示例和分销外输入，引入有限的执行时间和内存要求。