我们建议利用梯度检测对抗和分布样品。我们介绍了混杂标签（与训练过程中的正常标签不同），以探测神经网络的有效表达性。梯度描述了模型正确表示给定输入所需的变化量，从而洞悉了网络体系结构属性建立的模型的代表力以及培训数据。通过引入不同设计的标签，我们消除了对推理期间梯度生成的地面真相标签的依赖。我们表明，我们的基于梯度的方法可以根据模型的有效表达性捕获异常，而没有超参数调整或其他处理，并且优于对抗和分布检测的最先进方法。

用于图像分类任务的神经网络假设推理期间的任何给定图像属于其中一个培训类别。在模型可能遇到未知类别的输入的现实应用程序中，这种封闭式假设受到挑战。开放式识别旨在通过正确对已知类别进行分类，通过拒绝未知类来解决此问题。在本文中，我们建议利用从已知分类器获得的基于梯度的表示，以训练仅使用已知类别实例的未知检测器。渐变对应于正确表示给定样本所需的模型更新量，我们利用该模型更新以了解模型具有其学术功能的输入的能力。我们的方法可以使用以有监督的方式对已知类别进行培训的任何分类器使用，而无需明确对未知样本的分布进行建模。我们表明，基于梯度的方法在开放式分类中优于最先进的方法高达11.6％。

Detecting test samples drawn sufficiently far away from the training distribution statistically or adversarially is a fundamental requirement for deploying a good classifier in many real-world machine learning applications. However, deep neural networks with the softmax classifier are known to produce highly overconfident posterior distributions even for such abnormal samples. In this paper, we propose a simple yet effective method for detecting any abnormal samples, which is applicable to any pre-trained softmax neural classifier. We obtain the class conditional Gaussian distributions with respect to (low-and upper-level) features of the deep models under Gaussian discriminant analysis, which result in a confidence score based on the Mahalanobis distance. While most prior methods have been evaluated for detecting either out-of-distribution or adversarial samples, but not both, the proposed method achieves the state-of-the-art performances for both cases in our experiments. Moreover, we found that our proposed method is more robust in harsh cases, e.g., when the training dataset has noisy labels or small number of samples. Finally, we show that the proposed method enjoys broader usage by applying it to class-incremental learning: whenever out-of-distribution samples are detected, our classification rule can incorporate new classes well without further training deep models.

检测分配（OOD）输入对于安全部署现实世界的深度学习模型至关重要。在评估良性分布和OOD样品时，检测OOD示例的现有方法很好。然而，在本文中，我们表明，当在分发的分布和OOD输入时，现有的检测机制可以极其脆弱，其具有最小的对抗扰动，这不会改变其语义。正式地，我们广泛地研究了对共同的检测方法的强大分布检测问题，并表明最先进的OOD探测器可以通过对分布和ood投入增加小扰动来容易地欺骗。为了抵消这些威胁，我们提出了一种称为芦荟的有效算法，它通过将模型暴露于对抗性inlier和异常值示例来执行鲁棒训练。我们的方法可以灵活地结合使用，并使现有方法稳健。在共同的基准数据集上，我们表明芦荟大大提高了最新的ood检测的稳健性，对CiFar-10和46.59％的CiFar-100改善了58.4％的Auroc改善。

新颖性检测旨在自动识别分销（OOD）数据，而无需任何先验知识。它是数据监视，行为分析和其他应用程序中的关键步骤，帮助在现场中保持不断学习。常规的OOD检测方法对数据或特征的集合进行多变化分析，通常诉诸于数据的监督，以提高准确性。实际上，这种监督是不切实际的，因为人们不能预料到异常数据。在本文中，我们提出了一种小说，自我监督的方法，不依赖于任何预定义的OOD数据：（1）新方法评估梯度之间的分布和OOD数据之间的Mahalanobis距离。 （2）通过自我监督的二进制分类器辅助，以指导标签选择以生成梯度，并最大化Mahalanobis距离。在具有多个数据集的评估中，例如CiFar-10，CiFar-100，SVHN和TINIMAGENET，所提出的方法始终如一地优于接收器操作特征（AUROC）和区域下的区域内的最先进的监督和无监督的方法在精密召回曲线（AUPR）度量下。我们进一步证明，该探测器能够在持续学习中准确地学习一个OOD类。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

诸如深神经网络（DNN）之类的机器学习方法，尽管他们在不同域中取得了成功，但是众所周知，通常在训练分布之外的输入上具有高信心产生不正确的预测。在安全关键域中的DNN部署需要检测分配超出（OOD）数据，以便DNN可以避免对那些人进行预测。最近已经开发了许多方法，以便检测，但仍有改进余地。我们提出了新的方法IdeCode，利用了用于共形OOD检测的分销标准。它依赖于在电感共形异常检测框架中使用的新基础非符合性测量和新的聚合方法，从而保证了有界误报率。我们通过在图像和音频数据集上的实验中展示了IDecode的功效，获得了最先进的结果。我们还表明Idecode可以检测对抗性示例。

The usage of deep neural networks in safety-critical systems is limited by our ability to guarantee their correct behavior. Runtime monitors are components aiming to identify unsafe predictions and discard them before they can lead to catastrophic consequences. Several recent works on runtime monitoring have focused on out-of-distribution (OOD) detection, i.e., identifying inputs that are different from the training data. In this work, we argue that OOD detection is not a well-suited framework to design efficient runtime monitors and that it is more relevant to evaluate monitors based on their ability to discard incorrect predictions. We call this setting out-ofmodel-scope detection and discuss the conceptual differences with OOD. We also conduct extensive experiments on popular datasets from the literature to show that studying monitors in the OOD setting can be misleading: 1. very good OOD results can give a false impression of safety, 2. comparison under the OOD setting does not allow identifying the best monitor to detect errors. Finally, we also show that removing erroneous training data samples helps to train better monitors.

在编程中，学习代码表示有各种应用程序，包括代码分类，代码搜索，注释生成，错误预测等。已经提出了在令牌，语法树，依赖图，代码导航路径或其变体组合方面的各种代码表示，但是，现有的vanilla学习技术具有鲁棒性的主要限制，即，型号很容易当输入以微妙的方式改变输入时，要进行错误的预测。为了增强稳健性，现有方法专注于识别对抗性样本，而不是在落在给定分布之外的有效样品上，我们将其称为分配（OOD）样本。识别出这样的ood样本是本文研究的新问题。为此，我们建议首先使用分发的样本进行in =分发数据集，使得当培训在一起时，它们将增强模型的鲁棒性。我们建议使用能量有界学习的目标函数来将更高的分数分配给分布式样本和较低的分数，以便将这种分布式样品纳入源的培训过程中代码模型。在检测和逆势样本检测方面，我们的评估结果表明，现有源代码模型的稳健性更加准确，在识别ood数据时，同时在同时对对抗性攻击更具抵抗力。此外，所提出的能量有限评分优于大幅的余量，包括Softmax置信度评分，Mahalanobis评分和Odin。

Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN 1 [21], proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.

神经网络的一种众所周知的故障模式对应于高置信度错误的预测，尤其是对于训练分布有所不同的数据。这种不安全的行为限制了其适用性。为此，我们表明可以通过在其内部表示中添加约束来定义提供准确置信度的模型。也就是说，我们将类标签编码为固定的唯一二进制向量或类代码，并使用这些标签来在整个模型中强制执行依赖类的激活模式。结果预测因子被称为总激活分类器（TAC），而TAC用作基础分类器的附加组件，以指示预测的可靠性。给定数据实例，TAC切片中间表示分为不相交集，并将此类切片减少到标量中，从而产生激活曲线。在培训期间，将激活轮廓推向分配给给定培训实例的代码。在测试时，可以预测与最匹配示例激活曲线的代码相对应的类。从经验上讲，我们观察到激活模式及其相应代码之间的相似之处导致一种廉价的无监督方法来诱导歧视性置信度得分。也就是说，我们表明TAC至少与从现有模型中提取的最新置信度得分一样好，同时严格改善了模型在拒绝设置上的价值。还观察到TAC在多种类型的架构和数据模式上都很好地工作。

在现实世界中的视觉应用中检测分布（OOD）样本（例如分类或对象检测）已成为当今深度学习系统部署的必要前提。已经提出了许多技术，其中已证明基于能量的OOD方法是有希望和令人印象深刻的性能。我们提出了基于语义驱动的能量方法，这是一种端到端的可训练系统，易于优化。我们将分布样品与能量评分和表示分数结合的外部分布样品区分开。我们通过最大程度地降低分布样品的能量来实现这一目标，并同时学习各自的类表征，这些类别更接近和最大化能量以供外分发样品，并将其从已知的类表征进一步推出。此外，我们提出了一种新颖的损失功能，我们称之为群集局灶性损失（CFL），事实证明这很简单，但在学习更好的班级群集中心表示方面非常有效。我们发现，我们的新方法可以增强异常检测，并在共同基准上获得基于能量的模型。与现有基于能量的方法相比，在CIFAR-10和CIFAR-100训练的WideSnet上，我们的模型分别将相对平均假正（以95％的真实正率为95％）降低67.2％和57.4％。此外，我们扩展了对象检测的框架并提高了性能。

检测到分布输入对于在现实世界中安全部署机器学习模型至关重要。然而，已知神经网络遭受过度自信的问题，在该问题中，它们对分布和分布的输入的信心异常高。在这项工作中，我们表明，可以通过在训练中实施恒定的向量规范来通过logit归一化（logitnorm）（logitnorm）来缓解此问题。我们的方法是通过分析的激励，即logit的规范在训练过程中不断增加，从而导致过度自信的产出。因此，LogitNorm背后的关键思想是将网络优化期间输出规范的影响解散。通过LogitNorm培训，神经网络在分布数据和分布数据之间产生高度可区分的置信度得分。广泛的实验证明了LogitNorm的优势，在公共基准上，平均FPR95最高为42.30％。

Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

本文我们的目标是利用异质的温度缩放作为校准策略（OOD）检测。此处的异质性是指每个样品的最佳温度参数可能不同，而不是传统的方法对整个分布使用相同的值。为了实现这一目标，我们提出了一种称为锚定的新培训策略，可以估算每个样品的适当温度值，从而导致几个基准的最新OOD检测性能。使用NTK理论，我们表明该温度函数估计与分类器的认知不确定性紧密相关，这解释了其行为。与某些表现最佳的OOD检测方法相反，我们的方法不需要暴露于其他离群数据集，自定义校准目标或模型结合。通过具有不同OOD检测设置的经验研究 - 远处，OOD附近和语义相干OOD - 我们建立了一种高效的OOD检测方法。可以在此处访问代码和模型-https：//github.com/rushilanirudh/amp

已知神经网络在输入图像上产生过度自信的预测，即使这些图像不存在（OOD）样本。这限制了神经网络模型在存在OOD样本的实际场景中的应用。许多现有方法通过利用各种提示来确定OOD实例，例如在特征空间，逻辑空间，梯度空间或图像的原始空间中查找不规则模式。相反，本文提出了一种简单的测试时间线性训练（ETLT）用于OOD检测方法。从经验上讲，我们发现输入图像的概率不存在，与神经网络提取的功能令人惊讶地线性相关。具体来说，许多最先进的OOD算法虽然旨在以不同的方式衡量可靠性，但实际上导致OOD得分主要与其图像特征线性相关。因此，通过简单地学习从配对图像特征训练并在测试时间推断的OOD分数的线性回归模型，我们可以为测试实例做出更精确的OOD预测。我们进一步提出了该方法的在线变体，该变体可以实现有希望的性能，并且在现实世界中更为实用。值得注意的是，我们将FPR95从$ 51.37 \％$提高到CIFAR-10数据集的$ 12.30 \％$，最大的SoftMax概率是基本的OOD检测器。在几个基准数据集上进行的广泛实验显示了ETLT对OOD检测任务的功效。

对卷积神经网络（CNN）的对抗性攻击的存在质疑这种模型对严重应用的适合度。攻击操纵输入图像，使得错误分类是在对人类观察者看上去正常的同时唤起的 - 因此它们不容易被检测到。在不同的上下文中，CNN隐藏层的反向传播激活（对给定输入的“特征响应”）有助于可视化人类“调试器” CNN“在计算其输出时对CNN”的看法。在这项工作中，我们提出了一种新颖的检测方法，以防止攻击。我们通过在特征响应中跟踪对抗扰动来做到这一点，从而可以使用平均局部空间熵自动检测。该方法不会改变原始的网络体系结构，并且完全可以解释。实验证实了我们对在Imagenet训练的大规模模型的最新攻击方法的有效性。

我们介绍了几个新的数据集即想象的A / O和Imagenet-R以及合成环境和测试套件，我们称为CAOS。 Imagenet-A / O允许研究人员专注于想象成剩余的盲点。由于追踪稳健的表示，以特殊创建了ImageNet-R，因为表示不再简单地自然，而是包括艺术和其他演绎。 Caos Suite由Carla Simulator构建，允许包含异常物体，可以创建可重复的合成环境和用于测试稳健性的场景。所有数据集都是为测试鲁棒性和衡量鲁棒性的衡量进展而创建的。数据集已用于各种其他作品中，以衡量其具有鲁棒性的自身进步，并允许切向进展，这些进展不会完全关注自然准确性。鉴于这些数据集，我们创建了几种旨在推进鲁棒性研究的新方法。我们以最大Logit的形式和典型程度的形式构建简单的基线，并以深度的形式创建新的数据增强方法，从而提高上述基准。最大Logit考虑Logit值而不是SoftMax操作后的值，而微小的变化会产生明显的改进。典型程分将输出分布与类的后部分布进行比较。我们表明，除了分段任务之外，这将提高对基线的性能。猜测可能在像素级别，像素的语义信息比类级信息的语义信息不太有意义。最后，新的Deepaulment的新增强技术利用神经网络在彻底不同于先前使用的传统几何和相机的转换的图像上创建增强。