归一化流是突出的深层生成模型，提供了易诊的概率分布和有效密度估计。但是，众所周知，在检测到分配（OOD）输入时，它们是众所周知的，因为它们直接在其潜在空间中对输入表示的本地特征进行了编码。在本文中，我们通过演示流动，如果通过注意机制延伸，可以通过表明流动，可以可靠地检测到包括对抗攻击的异常值。我们的方法不需要对培训的异常数据，并通过在多样化的实验设置中报告最先进的性能来展示我们的ood检测方法的效率。代码在https://github.com/computationalradiationphysphysics/inflow上提供。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

现代的深层生成模型可以为从训练分布外部提取的输入分配很高的可能性，从而对开放世界部署中的模型构成威胁。尽管已经对定义新的OOD不确定性测试时间度量的研究进行了很多关注，但这些方法并没有从根本上改变生成模型在训练中的正则和优化。特别是，生成模型被证明过于依赖背景信息来估计可能性。为了解决这个问题，我们提出了一个新颖的OOD检测频率调查学习FRL框架，该框架将高频信息纳入培训中，并指导模型专注于语义相关的功能。 FRL有效地提高了广泛的生成架构的性能，包括变异自动编码器，Glow和PixelCNN ++。在一项新的大规模评估任务中，FRL实现了最先进的表现，表现优于强大的基线可能性遗憾，同时达到了147 $ \ times $ $ $ $ $ \ times $ a的推理速度。广泛的消融表明，FRL在保留图像生成质量的同时改善了OOD检测性能。代码可在https://github.com/mu-cai/frl上找到。

A neural network deployed in the wild may be asked to make predictions for inputs that were drawn from a different distribution than that of the training data. A plethora of work has demonstrated that it is easy to find or synthesize inputs for which a neural network is highly confident yet wrong. Generative models are widely viewed to be robust to such mistaken confidence as modeling the density of the input features can be used to detect novel, out-of-distribution inputs. In this paper we challenge this assumption. We find that the density learned by flow-based models, VAEs, and PixelCNNs cannot distinguish images of common objects such as dogs, trucks, and horses (i.e. CIFAR-10) from those of house numbers (i.e. SVHN), assigning a higher likelihood to the latter when the model is trained on the former. Moreover, we find evidence of this phenomenon when pairing several popular image data sets: FashionMNIST vs MNIST, CelebA vs SVHN, ImageNet vs CIFAR-10 / CIFAR-100 / SVHN. To investigate this curious behavior, we focus analysis on flow-based generative models in particular since they are trained and evaluated via the exact marginal likelihood. We find such behavior persists even when we restrict the flows to constant-volume transformations. These transformations admit some theoretical analysis, and we show that the difference in likelihoods can be explained by the location and variances of the data and the model curvature. Our results caution against using the density estimates from deep generative models to identify inputs similar to the training distribution until their behavior for out-of-distribution inputs is better understood.

深度神经网络拥有的一个重要股权是在以前看不见的数据上对分发检测（OOD）进行强大的能力。在为现实世界应用程序部署模型时，此属性对于安全目的至关重要。最近的研究表明，概率的生成模型可以在这项任务上表现不佳，这令他们寻求估计培训数据的可能性。为了减轻这个问题，我们提出了对变分性自动化器（VAE）的指数倾斜的高斯先前分配。通过此之前，我们能够使用VAE自然分配的负面日志可能性来实现最先进的结果，同时比某些竞争方法快的数量级。我们还表明，我们的模型生产高质量的图像样本，这些样本比标准高斯VAE更清晰。新的先前分配具有非常简单的实现，它使用kullback leibler发散，该kullback leibler发散，该横向leibler发散，该分解比较潜伏向量的长度与球体的半径之间的差异。

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

The task of out-of-distribution (OOD) detection is vital to realize safe and reliable operation for real-world applications. After the failure of likelihood-based detection in high dimensions had been shown, approaches based on the \emph{typical set} have been attracting attention; however, they still have not achieved satisfactory performance. Beginning by presenting the failure case of the typicality-based approach, we propose a new reconstruction error-based approach that employs normalizing flow (NF). We further introduce a typicality-based penalty, and by incorporating it into the reconstruction error in NF, we propose a new OOD detection method, penalized reconstruction error (PRE). Because the PRE detects test inputs that lie off the in-distribution manifold, it effectively detects adversarial examples as well as OOD examples. We show the effectiveness of our method through the evaluation using natural image datasets, CIFAR-10, TinyImageNet, and ILSVRC2012.

变形自身偏移（VAES）是具有来自深神经网络架构和贝叶斯方法的丰富代表功能的有影响力的生成模型。然而，VAE模型具有比分布（ID）输入的分配方式分配更高的可能性较高的可能性。为了解决这个问题，认为可靠的不确定性估计是对对OOC投入的深入了解至关重要。在这项研究中，我们提出了一种改进的噪声对比之前（INCP），以便能够集成到VAE的编码器中，称为INCPVAE。INCP是可扩展，可培训和与VAE兼容的，它还采用了来自INCP的优点进行不确定性估计。各种数据集的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面是优越的，并且在异常检测任务中是强大的。INCPVAE模型获得了可靠的输入不确定性估算，并解决了VAE模型中的ood问题。

检测分配（OOD）输入对于安全部署现实世界的深度学习模型至关重要。在评估良性分布和OOD样品时，检测OOD示例的现有方法很好。然而，在本文中，我们表明，当在分发的分布和OOD输入时，现有的检测机制可以极其脆弱，其具有最小的对抗扰动，这不会改变其语义。正式地，我们广泛地研究了对共同的检测方法的强大分布检测问题，并表明最先进的OOD探测器可以通过对分布和ood投入增加小扰动来容易地欺骗。为了抵消这些威胁，我们提出了一种称为芦荟的有效算法，它通过将模型暴露于对抗性inlier和异常值示例来执行鲁棒训练。我们的方法可以灵活地结合使用，并使现有方法稳健。在共同的基准数据集上，我们表明芦荟大大提高了最新的ood检测的稳健性，对CiFar-10和46.59％的CiFar-100改善了58.4％的Auroc改善。

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

可靠的评估方法对于构建强大的分布（OOD）检测器至关重要。OOD检测器的当前鲁棒性评估协议依赖于向数据注射扰动。但是，扰动不太可能自然发生或与数据内容无关，从而提供了有限的鲁棒性评估。在本文中，我们提出了对OOD检测器（EVG）的评估-VIA产生，这是一种新的协议，用于研究异常值变化模式下OOD检测器的鲁棒性。EVG利用生成模型合成合理的异常值，并采用MCMC采样来发现探测器最高置信度的分布式分类为分类。我们使用EVG对最先进的OOD检测器的性能进行了全面的基准比较，从而揭示了先前被忽视的弱点。

Determining whether inputs are out-of-distribution (OOD) is an essential building block for safely deploying machine learning models in the open world. However, previous methods relying on the softmax confidence score suffer from overconfident posterior distributions for OOD data. We propose a unified framework for OOD detection that uses an energy score. We show that energy scores better distinguish in-and out-of-distribution samples than the traditional approach using the softmax scores. Unlike softmax confidence scores, energy scores are theoretically aligned with the probability density of the inputs and are less susceptible to the overconfidence issue. Within this framework, energy can be flexibly used as a scoring function for any pre-trained neural classifier as well as a trainable cost function to shape the energy surface explicitly for OOD detection. On a CIFAR-10 pre-trained WideResNet, using the energy score reduces the average FPR (at TPR 95%) by 18.03% compared to the softmax confidence score. With energy-based training, our method outperforms the state-of-the-art on common benchmarks.

The problem of detecting the Out-of-Distribution (OoD) inputs is of paramount importance for Deep Neural Networks. It has been previously shown that even Deep Generative Models that allow estimating the density of the inputs may not be reliable and often tend to make over-confident predictions for OoDs, assigning to them a higher density than to the in-distribution data. This over-confidence in a single model can be potentially mitigated with Bayesian inference over the model parameters that take into account epistemic uncertainty. This paper investigates three approaches to Bayesian inference: stochastic gradient Markov chain Monte Carlo, Bayes by Backpropagation, and Stochastic Weight Averaging-Gaussian. The inference is implemented over the weights of the deep neural networks that parameterize the likelihood of the Variational Autoencoder. We empirically evaluate the approaches against several benchmarks that are often used for OoD detection: estimation of the marginal likelihood utilizing sampled model ensemble, typicality test, disagreement score, and Watanabe-Akaike Information Criterion. Finally, we introduce two simple scores that demonstrate the state-of-the-art performance.

异常检测任务在AI安全中起着至关重要的作用。处理这项任务存在巨大的挑战。观察结果表明，深度神经网络分类器通常倾向于以高信心将分布（OOD）输入分为分配类别。现有的工作试图通过在培训期间向分类器暴露于分类器时明确对分类器施加不确定性来解决问题。在本文中，我们提出了一种替代概率范式，该范式实际上对OOD检测任务既有用，又可行。特别是，我们在培训过程中施加了近距离和离群数据之间的统计独立性，以确保inlier数据在培训期间向深度估计器显示有关OOD数据的信息很少。具体而言，我们通过Hilbert-Schmidt独立标准（HSIC）估算了Inlier和离群数据之间的统计依赖性，并在培训期间对此类度量进行了惩罚。我们还将方法与推理期间的新型统计测试相关联，加上我们的原则动机。经验结果表明，我们的方法对各种基准测试的OOD检测是有效且可靠的。与SOTA模型相比，我们的方法在FPR95，AUROC和AUPR指标方面取得了重大改进。代码可用：\ url {https://github.com/jylins/hone}。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

在值得信赖的机器学习中，这是一个重要的问题，可以识别与分配任务无关的输入的分布（OOD）输入。近年来，已经提出了许多分布式检测方法。本文的目的是识别共同的目标以及确定不同OOD检测方法的隐式评分函数。我们专注于在培训期间使用替代OOD数据的方法，以学习在测试时概括为新的未见外部分布的OOD检测分数。我们表明，内部和（不同）外部分布之间的二元歧视等同于OOD检测问题的几种不同的公式。当与标准分类器以共同的方式接受培训时，该二进制判别器达到了类似于离群暴露的OOD检测性能。此外，我们表明，异常暴露所使用的置信损失具有隐式评分函数，在训练和测试外部分配相同的情况下，以非平凡的方式与理论上最佳评分功能有所不同，这又是类似于训练基于能量的OOD检测器或添加背景类时使用的一种。在实践中，当以完全相同的方式培训时，所有这些方法的性能类似。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

当用离群数据与培训分布相去甚远，深层网络通常会充满信心，但仍有不正确的预测。由深生成模型（DGM）计算出的可能性是使用未标记数据的异常检测的候选指标。然而，以前的研究表明，DGM的可能性是不可靠的，可以通过简单转换对输入数据很容易偏见。在这里，我们在最简单的DGM中检查了使用变异自动编码器（VAE）（VAE）的离群值检测。我们提出了新型的分析和算法方法，以减轻VAE可能性的关键偏见。我们的偏差校正是特定于样本的，计算便宜的，并且很容易针对各种解码器可见分布进行计算。接下来，我们表明，众所周知的图像预处理技术（对比拉伸）扩展了偏置校正的有效性，以进一步改善异常检测。我们的方法通过九个灰度和自然图像数据集实现了最先进的精度，并在最近的四种竞争方法中表现出了显着的优势 - 无论是速度和性能而言，都具有显着的优势。总而言之，轻巧的补救措施足以通过VAE实现强大的离群值检测。

Flow-based generative models (Dinh et al., 2014) are conceptually attractive due to tractability of the exact log-likelihood, tractability of exact latent-variable inference, and parallelizability of both training and synthesis. In this paper we propose Glow, a simple type of generative flow using an invertible 1 × 1 convolution. Using our method we demonstrate a significant improvement in log-likelihood on standard benchmarks. Perhaps most strikingly, we demonstrate that a generative model optimized towards the plain log-likelihood objective is capable of efficient realisticlooking synthesis and manipulation of large images. The code for our model is available at https://github.com/openai/glow.

基于密度的分布（OOD）检测最近显示了检测OOD图像的任务不可靠。基于各种密度比的方法实现了良好的经验性能，但是方法通常缺乏原则性的概率建模解释。在这项工作中，我们建议在建立基于能量的模型并采用不同基础分布的新框架下统一基于密度比的方法。在我们的框架下，密度比可以看作是隐式语义分布的非均衡密度。此外，我们建议通过类比率估计直接估计数据样本的密度比。与最近的工作相比，我们报告了有关OOD图像问题的竞争结果，这些工作需要对任务进行深层生成模型的培训。我们的方法使一个简单而有效的途径可以解决OOD检测问题。