已经提出了许多基于神经网络的分布（OOD）检测方法。但是，他们需要每个目标任务的许多培训数据。我们提出了一种简单而有效的元学习方法，可以在目标任务中使用小的分布数据检测OOD。使用提出的方法，通过潜在空间中的密度估计进行OOD检测。所有任务之间共享的神经网络用于灵活地将原始空间中的实例映射到潜在空间。对神经网络进行元学习，以便通过使用不同于目标任务的各种任务来提高预期的OOD检测性能。这种元学习过程使我们能够在潜在空间中获得适当的代表，以进行OOD检测。为了进行密度估计，我们使用每个类别的高斯混合模型（GMM）。我们可以通过最大化可能性，以封闭形式调整GMM参数在每个任务中的分布数据。由于封闭形式的解决方案是可区分的，因此我们可以通过将溶液纳入元学习目标函数来有效地使用随机梯度下降方法进行元学习。在使用六个数据集的实验中，我们证明了所提出的方法比现有的元学习和OOD检测方法更好的性能。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN 1 [21], proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.

变形自身偏移（VAES）是具有来自深神经网络架构和贝叶斯方法的丰富代表功能的有影响力的生成模型。然而，VAE模型具有比分布（ID）输入的分配方式分配更高的可能性较高的可能性。为了解决这个问题，认为可靠的不确定性估计是对对OOC投入的深入了解至关重要。在这项研究中，我们提出了一种改进的噪声对比之前（INCP），以便能够集成到VAE的编码器中，称为INCPVAE。INCP是可扩展，可培训和与VAE兼容的，它还采用了来自INCP的优点进行不确定性估计。各种数据集的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面是优越的，并且在异常检测任务中是强大的。INCPVAE模型获得了可靠的输入不确定性估算，并解决了VAE模型中的ood问题。

Neural networks are often utilised in critical domain applications (e.g. self-driving cars, financial markets, and aerospace engineering), even though they exhibit overconfident predictions for ambiguous inputs. This deficiency demonstrates a fundamental flaw indicating that neural networks often overfit on spurious correlations. To address this problem in this work we present two novel objectives that improve the ability of a network to detect out-of-distribution samples and therefore avoid overconfident predictions for ambiguous inputs. We empirically demonstrate that our methods outperform the baseline and perform better than the majority of existing approaches while still maintaining a competitive performance against the rest. Additionally, we empirically demonstrate the robustness of our approach against common corruptions and demonstrate the importance of regularisation and auxiliary information in out-of-distribution detection.

尽管最近的分布（OOD）检测，异常检测和不确定性估计任务的最新进展，但并不存在任务不合时宜的和事后方法。为了解决此限制，我们设计了一种基于聚类的新型结合方法，称为任务不可知和事后看不见的分布检测（TAPUDD），该方法利用了从对特定任务进行训练的模型中提取的功能。它明确地包括Tap-Mahalanobis，该曲线簇起训练数据集的特征，并确定了所有群集的测试样品的最小Mahalanobis距离。此外，我们提出了一个结合模块，该模块汇总了对不同数量簇的迭代TAP-MAHALANOBIS的计算，以提供可靠，有效的群集计算。通过对合成和现实世界数据集进行的广泛实验，我们观察到我们的方法可以在各种任务中有效地检测出看不见的样本，并与现有基线进行更好的或与现有基线相比。为此，我们消除了确定簇数量的最佳价值的必要性，并证明我们的方法对于大规模分类任务更可行。

当分布（ID）样品与分布外（OOD）样本之间存在差异时，对ID样品进行训练的深神经网络遭受了OOD样品的高信心预测。这主要是由无法使用的OOD样品引起的，以限制培训过程中的网络。为了提高深网的OOD敏感性，几种最先进的方法将其他现实世界数据集的样本作为OOD样本引入训练过程，并将手动确定的标签分配给这些OOD样本。但是，他们牺牲了分类准确性，因为OOD样品的不可靠标记会破坏ID分类。为了平衡ID的概括和OOD检测，要解决的主要挑战是使OOD样本与ID兼容，这在本文中由我们提议的\ textit {监督适应}方法解决，以定义OOD样本的适应性监督信息。首先，通过通过共同信息来测量ID样本及其标签之间的依赖关系，我们根据所有类别的负概率揭示了监督信息的形式。其次，在通过解决多个二进制回归问题来探索ID和OOD样本之间的数据相关性之后，我们估算了监督信息以使ID类更可分离。我们使用两个ID数据集和11个OOD数据集对四个高级网络体系结构进行实验，以证明我们的监督适应方法在实现ID分类能力和OOD检测能力方面的平衡效果。

A recent popular approach to out-of-distribution (OOD) detection is based on a self-supervised learning technique referred to as contrastive learning. There are two main variants of contrastive learning, namely instance and class discrimination, targeting features that can discriminate between different instances for the former, and different classes for the latter. In this paper, we aim to understand the effectiveness and limitation of existing contrastive learning methods for OOD detection. We approach this in 3 ways. First, we systematically study the performance difference between the instance discrimination and supervised contrastive learning variants in different OOD detection settings. Second, we study which in-distribution (ID) classes OOD data tend to be classified into. Finally, we study the spectral decay property of the different contrastive learning approaches and examine how it correlates with OOD detection performance. In scenarios where the ID and OOD datasets are sufficiently different from one another, we see that instance discrimination, in the absence of fine-tuning, is competitive with supervised approaches in OOD detection. We see that OOD samples tend to be classified into classes that have a distribution similar to the distribution of the entire dataset. Furthermore, we show that contrastive learning learns a feature space that contains singular vectors containing several directions with a high variance which can be detrimental or beneficial to OOD detection depending on the inference approach used.

基于密度的分布（OOD）检测最近显示了检测OOD图像的任务不可靠。基于各种密度比的方法实现了良好的经验性能，但是方法通常缺乏原则性的概率建模解释。在这项工作中，我们建议在建立基于能量的模型并采用不同基础分布的新框架下统一基于密度比的方法。在我们的框架下，密度比可以看作是隐式语义分布的非均衡密度。此外，我们建议通过类比率估计直接估计数据样本的密度比。与最近的工作相比，我们报告了有关OOD图像问题的竞争结果，这些工作需要对任务进行深层生成模型的培训。我们的方法使一个简单而有效的途径可以解决OOD检测问题。

常规监督学习或分类的主要假设是，测试样本是从与训练样本相同的分布中得出的，该样本称为封闭设置学习或分类。在许多实际情况下，事实并非如此，因为测试数据中有未知数或看不见的类样本，这称为“开放式”方案，需要检测到未知数。该问题称为开放式识别问题，在安全至关重要的应用中很重要。我们建议通过学习成对相似性来检测未知数（或看不见的类样本）。提出的方法分为两个步骤。它首先使用培训中出现的所见类学习了一个封闭的集体分类器，然后学习如何将看到的类与伪单人（自动生成的看不见的类样本）进行比较。伪无表情的一代是通过对可见或训练样品进行分配转换增加而进行的。我们称我们的方法OPG（基于伪看不见的数据生成开放式识别）。实验评估表明，基于相似性的功能可以成功区分基准数据集中的未见特征，以进行开放式识别。

无监督的分销（U-OOD）检测最近引起了很多关注，因为它在关键任务系统中的重要性以及对其监督对方的更广泛的适用性。尽管注意力增加，U-OOD方法遭受了重要的缺点。通过对不同的基准和图像方式进行大规模评估，我们在这项工作中展示了最受欢迎的最先进的方法无法始终如一地始终基于Mahalanobis距离（Mahaad）的简单且相对未知的异常探测器。这些方法不一致的一个关键原因是缺乏U-OOD的正式描述。通过一个简单的思想实验，我们提出了基于培训数据集的不变性的U-OOD的表征。我们展示了这种表征如何在众所周置的Mahaad方法中体现在不知不觉中，从而解释了其质量。此外，我们的方法可用于解释U-OOD探测器的预测，并为评估未来U-OOD方法的良好实践提供见解。

本文研究持续学习（CL）的逐步学习（CIL）。已经提出了许多方法来处理CIL中的灾难性遗忘（CF）。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF，一种流行的方法是记住以前任务中的少数样本，并在培训新任务时重播它们。但是，这种方法仍然患有严重的CF，因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法，该方法使用变压器网络为每个任务（称为多头模型）构建一个单独的分类器（头部），称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络，不如利用保存的样本来构建特定任务分类器（添加新的分类头），而无需更新用于先前任务/类的网络。新任务的模型经过培训，可以学习任务的类别，并且还可以检测到不是从相同数据分布（即，均分布（OOD））的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分，而其他任务的分类器可以产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，更多的表现优于最先进的基线，并且自然能够在持续学习环境中进行OOD检测。

本文重点介绍了用神经网络检测分配（OOD）样本的问题。在图像识别任务，训练过的分类往往给人高置信度的远离中分布（ID）数据输入图像，这大大限制了它在现实世界中的应用。为了减轻这个问题，我们提出了一个基于GaN的边界意识分类器（GBAC），用于生成仅包含大多数ID数据的关闭超空间。我们的方法基于传统的神经网分离特征空间作为几个不适合于ood检测的未闭合区域。与GBAC作为辅助模块，封闭的超空间分布以外的OOD数据将具有低得多的分数被分配，允许更有效的检测OOD同时维持分级性能。此外，我们提出了一种快速采样方法，用于产生躺在预先提及的闭合空间的边界上的硬度陈述。在几个数据集和神经网络架构上采取的实验承诺GBAC的有效性。

对于具有复杂结构的高尺度数据的贝叶斯优化（BO），用于高斯过程（GPS）的神经网络基石已被用于学习灵活的替代功能，深入学习的高代表力量。然而，现有方法通过最大化边际可能性来培训神经网络，这不会直接提高BO性能。在本文中，我们提出了具有基于神经网络的核的元学习方法，其最小化了真正的最佳值与Bo找到的最佳值之间的预期差距。我们模拟了一个策略，它将当前评估的数据点作为输入，并通过神经网络输出要评估的下一个数据点，其中神经网络，其中基于神经网络的内核，GPS和基于相互信息的获取功能作为其层。利用我们的模型，通过通过采集功能和GP培训差距来训练基于神经网络的内核。我们的型号由来自多个任务的强化学习框架培训。由于神经网络在不同的任务中共享，我们可以从多个培训任务中收集有关博的知识，并利用知识进行无申测试任务。在使用三个文本文档数据集的实验中，我们证明该方法比现有方法实现了更好的Bo性能。

In deep neural learning, a discriminator trained on in-distribution (ID) samples may make high-confidence predictions on out-of-distribution (OOD) samples. This triggers a significant matter for robust, trustworthy and safe deep learning. The issue is primarily caused by the limited ID samples observable in training the discriminator when OOD samples are unavailable. We propose a general approach for \textit{fine-tuning discriminators by implicit generators} (FIG). FIG is grounded on information theory and applicable to standard discriminators without retraining. It improves the ability of a standard discriminator in distinguishing ID and OOD samples by generating and penalizing its specific OOD samples. According to the Shannon entropy, an energy-based implicit generator is inferred from a discriminator without extra training costs. Then, a Langevin dynamic sampler draws specific OOD samples for the implicit generator. Lastly, we design a regularizer fitting the design principle of the implicit generator to induce high entropy on those generated OOD samples. The experiments on different networks and datasets demonstrate that FIG achieves the state-of-the-art OOD detection performance.

Determining whether inputs are out-of-distribution (OOD) is an essential building block for safely deploying machine learning models in the open world. However, previous methods relying on the softmax confidence score suffer from overconfident posterior distributions for OOD data. We propose a unified framework for OOD detection that uses an energy score. We show that energy scores better distinguish in-and out-of-distribution samples than the traditional approach using the softmax scores. Unlike softmax confidence scores, energy scores are theoretically aligned with the probability density of the inputs and are less susceptible to the overconfidence issue. Within this framework, energy can be flexibly used as a scoring function for any pre-trained neural classifier as well as a trainable cost function to shape the energy surface explicitly for OOD detection. On a CIFAR-10 pre-trained WideResNet, using the energy score reduces the average FPR (at TPR 95%) by 18.03% compared to the softmax confidence score. With energy-based training, our method outperforms the state-of-the-art on common benchmarks.

The problem of detecting the Out-of-Distribution (OoD) inputs is of paramount importance for Deep Neural Networks. It has been previously shown that even Deep Generative Models that allow estimating the density of the inputs may not be reliable and often tend to make over-confident predictions for OoDs, assigning to them a higher density than to the in-distribution data. This over-confidence in a single model can be potentially mitigated with Bayesian inference over the model parameters that take into account epistemic uncertainty. This paper investigates three approaches to Bayesian inference: stochastic gradient Markov chain Monte Carlo, Bayes by Backpropagation, and Stochastic Weight Averaging-Gaussian. The inference is implemented over the weights of the deep neural networks that parameterize the likelihood of the Variational Autoencoder. We empirically evaluate the approaches against several benchmarks that are often used for OoD detection: estimation of the marginal likelihood utilizing sampled model ensemble, typicality test, disagreement score, and Watanabe-Akaike Information Criterion. Finally, we introduce two simple scores that demonstrate the state-of-the-art performance.

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

检测到分布输入对于在现实世界中安全部署机器学习模型至关重要。然而，已知神经网络遭受过度自信的问题，在该问题中，它们对分布和分布的输入的信心异常高。在这项工作中，我们表明，可以通过在训练中实施恒定的向量规范来通过logit归一化（logitnorm）（logitnorm）来缓解此问题。我们的方法是通过分析的激励，即logit的规范在训练过程中不断增加，从而导致过度自信的产出。因此，LogitNorm背后的关键思想是将网络优化期间输出规范的影响解散。通过LogitNorm培训，神经网络在分布数据和分布数据之间产生高度可区分的置信度得分。广泛的实验证明了LogitNorm的优势，在公共基准上，平均FPR95最高为42.30％。

在值得信赖的机器学习中，这是一个重要的问题，可以识别与分配任务无关的输入的分布（OOD）输入。近年来，已经提出了许多分布式检测方法。本文的目的是识别共同的目标以及确定不同OOD检测方法的隐式评分函数。我们专注于在培训期间使用替代OOD数据的方法，以学习在测试时概括为新的未见外部分布的OOD检测分数。我们表明，内部和（不同）外部分布之间的二元歧视等同于OOD检测问题的几种不同的公式。当与标准分类器以共同的方式接受培训时，该二进制判别器达到了类似于离群暴露的OOD检测性能。此外，我们表明，异常暴露所使用的置信损失具有隐式评分函数，在训练和测试外部分配相同的情况下，以非平凡的方式与理论上最佳评分功能有所不同，这又是类似于训练基于能量的OOD检测器或添加背景类时使用的一种。在实践中，当以完全相同的方式培训时，所有这些方法的性能类似。