现代的深层生成模型可以为从训练分布外部提取的输入分配很高的可能性，从而对开放世界部署中的模型构成威胁。尽管已经对定义新的OOD不确定性测试时间度量的研究进行了很多关注，但这些方法并没有从根本上改变生成模型在训练中的正则和优化。特别是，生成模型被证明过于依赖背景信息来估计可能性。为了解决这个问题，我们提出了一个新颖的OOD检测频率调查学习FRL框架，该框架将高频信息纳入培训中，并指导模型专注于语义相关的功能。 FRL有效地提高了广泛的生成架构的性能，包括变异自动编码器，Glow和PixelCNN ++。在一项新的大规模评估任务中，FRL实现了最先进的表现，表现优于强大的基线可能性遗憾，同时达到了147 $ \ times $ $ $ $ $ \ times $ a的推理速度。广泛的消融表明，FRL在保留图像生成质量的同时改善了OOD检测性能。代码可在https://github.com/mu-cai/frl上找到。

深度神经网络拥有的一个重要股权是在以前看不见的数据上对分发检测（OOD）进行强大的能力。在为现实世界应用程序部署模型时，此属性对于安全目的至关重要。最近的研究表明，概率的生成模型可以在这项任务上表现不佳，这令他们寻求估计培训数据的可能性。为了减轻这个问题，我们提出了对变分性自动化器（VAE）的指数倾斜的高斯先前分配。通过此之前，我们能够使用VAE自然分配的负面日志可能性来实现最先进的结果，同时比某些竞争方法快的数量级。我们还表明，我们的模型生产高质量的图像样本，这些样本比标准高斯VAE更清晰。新的先前分配具有非常简单的实现，它使用kullback leibler发散，该kullback leibler发散，该横向leibler发散，该分解比较潜伏向量的长度与球体的半径之间的差异。

分发（OOD）检测和无损压缩构成了两个问题，可以通过对第一个数据集的概率模型进行训练来解决，其中在第二数据集上的后续似然评估，其中数据分布不同。通过在可能性方面定义概率模型的概括，我们表明，在图像模型的情况下，泛展能力通过本地特征主导。这激励了我们对本地自回归模型的提议，该模型专门为局部图像特征而达到改善的性能。我们将拟议的模型应用于检测任务，并在未引入其他数据的情况下实现最先进的无监督的检测性能。此外，我们使用我们的模型来构建新的无损图像压缩机：Nelloc（神经本地无损压缩机）和报告最先进的压缩率和模型大小。

The problem of detecting the Out-of-Distribution (OoD) inputs is of paramount importance for Deep Neural Networks. It has been previously shown that even Deep Generative Models that allow estimating the density of the inputs may not be reliable and often tend to make over-confident predictions for OoDs, assigning to them a higher density than to the in-distribution data. This over-confidence in a single model can be potentially mitigated with Bayesian inference over the model parameters that take into account epistemic uncertainty. This paper investigates three approaches to Bayesian inference: stochastic gradient Markov chain Monte Carlo, Bayes by Backpropagation, and Stochastic Weight Averaging-Gaussian. The inference is implemented over the weights of the deep neural networks that parameterize the likelihood of the Variational Autoencoder. We empirically evaluate the approaches against several benchmarks that are often used for OoD detection: estimation of the marginal likelihood utilizing sampled model ensemble, typicality test, disagreement score, and Watanabe-Akaike Information Criterion. Finally, we introduce two simple scores that demonstrate the state-of-the-art performance.

变形自身偏移（VAES）是具有来自深神经网络架构和贝叶斯方法的丰富代表功能的有影响力的生成模型。然而，VAE模型具有比分布（ID）输入的分配方式分配更高的可能性较高的可能性。为了解决这个问题，认为可靠的不确定性估计是对对OOC投入的深入了解至关重要。在这项研究中，我们提出了一种改进的噪声对比之前（INCP），以便能够集成到VAE的编码器中，称为INCPVAE。INCP是可扩展，可培训和与VAE兼容的，它还采用了来自INCP的优点进行不确定性估计。各种数据集的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面是优越的，并且在异常检测任务中是强大的。INCPVAE模型获得了可靠的输入不确定性估算，并解决了VAE模型中的ood问题。

由于其实际重要性，在提高神经网络安全部署方面的实际重要性，最近经济分配（OOD）检测最近受到了很大的关注。其中一个主要挑战是模型往往会对OOD数据产生高度自信的预测，这在ood检测中破坏了驾驶原理，即该模型应该仅对分布式样品充满信心。在这项工作中，我们提出了反应 - 一种简单有效的技术，用于减少对数据数据的模型过度限制。我们的方法是通过关于神经网络内部激活的新型分析，其为OOD分布显示出高度独特的签名模式。我们的方法可以有效地拓展到不同的网络架构和不同的OOD检测分数。我们经验证明，反应在全面的基准数据集套件上实现了竞争检测性能，并为我们的方法进行了理论解释。与以前的最佳方法相比，在ImageNet基准测试中，反应将假阳性率（FPR95）降低25.05％。

归一化流是突出的深层生成模型，提供了易诊的概率分布和有效密度估计。但是，众所周知，在检测到分配（OOD）输入时，它们是众所周知的，因为它们直接在其潜在空间中对输入表示的本地特征进行了编码。在本文中，我们通过演示流动，如果通过注意机制延伸，可以通过表明流动，可以可靠地检测到包括对抗攻击的异常值。我们的方法不需要对培训的异常数据，并通过在多样化的实验设置中报告最先进的性能来展示我们的ood检测方法的效率。代码在https://github.com/computationalradiationphysphysics/inflow上提供。

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

当用离群数据与培训分布相去甚远，深层网络通常会充满信心，但仍有不正确的预测。由深生成模型（DGM）计算出的可能性是使用未标记数据的异常检测的候选指标。然而，以前的研究表明，DGM的可能性是不可靠的，可以通过简单转换对输入数据很容易偏见。在这里，我们在最简单的DGM中检查了使用变异自动编码器（VAE）（VAE）的离群值检测。我们提出了新型的分析和算法方法，以减轻VAE可能性的关键偏见。我们的偏差校正是特定于样本的，计算便宜的，并且很容易针对各种解码器可见分布进行计算。接下来，我们表明，众所周知的图像预处理技术（对比拉伸）扩展了偏置校正的有效性，以进一步改善异常检测。我们的方法通过九个灰度和自然图像数据集实现了最先进的精度，并在最近的四种竞争方法中表现出了显着的优势 - 无论是速度和性能而言，都具有显着的优势。总而言之，轻巧的补救措施足以通过VAE实现强大的离群值检测。

可靠的异常检测对于深度学习模型的现实应用至关重要。深层生成模型产生的可能性虽然进行了广泛的研究，但仍被认为是对异常检测的不切实际的。一方面，深层生成模型的可能性很容易被低级输入统计数据偏差。其次，许多用于纠正这些偏见的解决方案在计算上是昂贵的，或者对复杂的天然数据集的推广不佳。在这里，我们使用最先进的深度自回归模型探索离群值检测：PixelCNN ++。我们表明，PixelCNN ++的偏见主要来自基于局部依赖性的预测。我们提出了两个我们称为“震动”和“搅拌”的徒转化家族，它们可以改善低水平的偏见并隔离长期依赖性对PixelCNN ++可能性的贡献。这些转换在计算上是便宜的，并且在评估时很容易应用。我们使用五个灰度和六个自然图像数据集对我们的方法进行了广泛的评估，并表明它们达到或超过了最新的离群检测性能。总而言之，轻巧的补救措施足以在具有深层生成模型的图像上实现强大的离群检测。

用于现实世界应用程序的时间序列分类器的安全部署依赖于检测未从与培训数据相同的分布生成的数据的能力。此任务称为离分布（OOD）检测。我们考虑了时间序列域的OOD检测的新问题。我们讨论了时间序列数据带来的独特挑战，并解释了为什么来自图像域的先前方法会表现不佳。受这些挑战的激励，本文提出了一种新颖的{\ em季节性评分（SRS）}方法。 SRS由三个关键算法步骤组成。首先，将每个输入分解为类别的语义组件和余数。其次，使用这种分解来估计输入的阶级条件可能性和使用深层生成模型的条件。从这些估计值中计算出季节性比率得分。第三，从分布数据中确定阈值间隔以检测OOD示例。对不同现实世界基准的实验表明，与基线方法相比，SRS方法非常适合于时间序列OOD检测。 https://github.com/tahabelkhouja/srs提供了SRS方法的开源代码

基于密度的分布（OOD）检测最近显示了检测OOD图像的任务不可靠。基于各种密度比的方法实现了良好的经验性能，但是方法通常缺乏原则性的概率建模解释。在这项工作中，我们建议在建立基于能量的模型并采用不同基础分布的新框架下统一基于密度比的方法。在我们的框架下，密度比可以看作是隐式语义分布的非均衡密度。此外，我们建议通过类比率估计直接估计数据样本的密度比。与最近的工作相比，我们报告了有关OOD图像问题的竞争结果，这些工作需要对任务进行深层生成模型的培训。我们的方法使一个简单而有效的途径可以解决OOD检测问题。

Determining whether inputs are out-of-distribution (OOD) is an essential building block for safely deploying machine learning models in the open world. However, previous methods relying on the softmax confidence score suffer from overconfident posterior distributions for OOD data. We propose a unified framework for OOD detection that uses an energy score. We show that energy scores better distinguish in-and out-of-distribution samples than the traditional approach using the softmax scores. Unlike softmax confidence scores, energy scores are theoretically aligned with the probability density of the inputs and are less susceptible to the overconfidence issue. Within this framework, energy can be flexibly used as a scoring function for any pre-trained neural classifier as well as a trainable cost function to shape the energy surface explicitly for OOD detection. On a CIFAR-10 pre-trained WideResNet, using the energy score reduces the average FPR (at TPR 95%) by 18.03% compared to the softmax confidence score. With energy-based training, our method outperforms the state-of-the-art on common benchmarks.

主体组件分析（PCA）在给定固定组件维度的一类线性模型的情况下，将重建误差最小化。概率PCA通过学习PCA潜在空间权重的概率分布，从而创建生成模型，从而添加了概率结构。自动编码器（AE）最小化固定潜在空间维度的一类非线性模型中的重建误差，在固定维度处胜过PCA。在这里，我们介绍了概率自动编码器（PAE），该自动编码器（PAE）使用归一化流量（NF）了解了AE潜在空间权重的概率分布。 PAE快速且易于训练，并在下游任务中遇到小的重建错误，样本质量高以及良好的性能。我们将PAE与差异AE（VAE）进行比较，表明PAE训练更快，达到较低的重建误差，并产生良好的样品质量，而无需特殊的调整参数或培训程序。我们进一步证明，PAE是在贝叶斯推理的背景下，用于涂抹和降解应用程序的贝叶斯推断，可以执行概率图像重建的下游任务的强大模型。最后，我们将NF的潜在空间密度确定为有希望的离群检测度量。

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

检测到分布（OOD）样本对于在现实世界中的分类器的安全部署至关重要。但是，已知深层神经网络对异常数据过于自信。现有作品直接设计得分功能，通过挖掘分别分类器（ID）和OOD的不一致性。在本文中，我们基于以下假设，即对ID数据进行训练的自动编码器无法重建OOD和ID，我们进一步补充了这种不一致性。我们提出了一种新颖的方法，读取（重建误差聚合检测器），以统一分类器和自动编码器的不一致。具体而言，原始像素的重建误差转换为分类器的潜在空间。我们表明，转换后的重建误差桥接了语义差距，并从原始的传承了检测性能。此外，我们提出了一种调整策略，以根据OOD数据的细粒度表征来减轻自动编码器的过度自信问题。在两种情况下，我们分别提出了方法的两个变体，即仅基于预先训练的分类器和读取 - 读取器（欧几里得距离），即读取MD（Mahalanobis距离），该分类器重新训练分类器。我们的方法不需要访问测试时间数据以进行微调超参数。最后，我们通过与最先进的OOD检测算法进行了广泛的比较来证明所提出的方法的有效性。在CIFAR-10预先训练的WideresNet上，我们的方法将平均FPR@95TPR降低了9.8％，而不是先前的最新ART。

本文提出了一个新颖的分布（OOD）检测框架，名为MoodCat用于图像分类器。MoodCat掩盖了输入图像的随机部分，并使用生成模型将蒙版图像合成为在分类结果条件下的新图像中。然后，它计算原始图像与合成图像之间的语义差异。与现有的解决方案相比，MoodCat自然会使用拟议的面具和条件合成策略来学习分布数据的语义信息，这对于识别OOD至关重要。实验结果表明，MoodCat的表现优于最先进的OOD检测解决方案。

神经网络在分布中的数据中取得了令人印象深刻的性能，该数据与训练集相同，但可以为这些网络从未见过的数据产生过分自信的结果。因此，至关重要的是要检测输入是否来自分布（OOD），以确保现实世界中部署的神经网络的安全性。在本文中，我们提出了一种简单有效的事后技术Weshort，以减少神经网络对OOD数据的过度自信。我们的方法灵感来自对内部残留结构的观察，该结构显示了捷径层中OOD和分布（ID）数据的分离。我们的方法与不同的OOD检测分数兼容，并且可以很好地推广到网络的不同体系结构。我们在各种OOD数据集上演示了我们的方法，以展示其竞争性能，并提供合理的假设，以解释我们的方法为何起作用。在Imagenet基准测试上，Weshort在假阳性率（FPR95）和接收器操作特征（AUROC）下实现了最先进的性能（在事后方法）上。

基于能量的模型（EBMS）最近成功地代表了少量图像的复杂分布。然而，对它们的抽样需要昂贵的马尔可夫链蒙特卡罗（MCMC）迭代在高维像素空间中缓慢混合。与EBMS不同，变形AutoEncoders（VAES）快速生成样本，并配备潜在的空间，使得数据歧管的快速遍历。然而，VAE倾向于将高概率密度分配到实际数据分布之外的数据空间中的区域，并且经常在产生清晰图像时失败。在本文中，我们提出了VAE的一个共生组成和ebm的vaebm，提供了两个世界的eBM。 VAEBM使用最先进的VAE捕获数据分布的整体模式结构，它依赖于其EBM组件，以明确地从模型中排除非数据样区域并优化图像样本。此外，VAEBM中的VAE组件允许我们通过在VAE的潜空间中重新处理它们来加速MCMC更新。我们的实验结果表明，VAEBM在几个基准图像数据集上以大量边距开辟了最先进的VAES和EBMS。它可以产生高于256 $ \倍的高质量图像，使用短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖范围，并在分配外检测中表现良好。源代码可在https://github.com/nvlabs/vaebm上获得