尽管具有优势，但正常化的流量通常会遇到几个缺点，包括它们产生不现实数据（例如图像）的趋势及其未能检测到分布数据的数据。这些缺陷的原因之一在于培训策略传统上仅利用最大似然原则。本文提出了一个新的训练范式，该训练范式基于结合最大似然原理（MLE）和切成薄片的距离的混合目标函数。在合成玩具示例和真实图像数据集上获得的结果在生成样品的可能性和视觉方面都显示出更好的生成能力。相度地，提出的方法导致分布数据的可能性较低，表明所得流的数据保真度更高。

最佳运输（OT）提供了比较和映射概率度量的有效工具。我们建议利用神经网络的灵活性学习近似的最佳传输图。更确切地说，我们提出了一种新的原始方法，以解决将有限的样本集与第一个基础未知分布相关的有限样本，向另一个未知分布中绘制的有限样本集有关。我们表明，可逆神经网络的特定实例，即归一化流，可用于近似一对经验分布之间的该OT问题的解决方案。为此，我们建议通过通过最小化相应的瓦斯坦距离来替换推送前措施的相等性约束来放松OT的蒙加公式。然后将要检索的推向运算符被限制为正常化的流，该流程通过优化所得的成本函数来训练。这种方法允许将传输图离散作为函数的组成。这些功能中的每一个都与网络的一个子流有关，其输出提供了原始测量和目标度量之间传输的中间步骤。这种离散化也产生了两种感兴趣量度之间的一组中间重点。在玩具示例上进行的实验以及无监督翻译的具有挑战性的任务证明了该方法的兴趣。最后，一些实验表明，提出的方法导致了真实OT的良好近似值。

在没有监督信号的情况下学习简洁的数据表示是机器学习的基本挑战。实现此目标的一种突出方法是基于可能性的模型，例如变异自动编码器（VAE），以基于元元素来学习潜在表示，这是对下游任务有益的一般前提（例如，disentanglement）。但是，这种方法通常偏离原始的可能性体系结构，以应用引入的元优势，从而导致他们的培训不良变化。在本文中，我们提出了一种新颖的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），该方法与潜在和数据分布直接匹配。 GWAE模型不是基于可能性的目标，而是通过最小化Gromov-Wasserstein（GW）度量的训练优化。 GW度量测量了在无与伦比的空间上支持的分布之间的面向结构的差异，例如具有不同的维度。通过限制可训练的先验的家庭，我们可以介绍元主题来控制下游任务的潜在表示。与现有基于VAE的方法的经验比较表明，GWAE模型可以通过更改先前的家族而无需进一步修改GW目标来基于元家庭学习表示。

归一化流是突出的深层生成模型，提供了易诊的概率分布和有效密度估计。但是，众所周知，在检测到分配（OOD）输入时，它们是众所周知的，因为它们直接在其潜在空间中对输入表示的本地特征进行了编码。在本文中，我们通过演示流动，如果通过注意机制延伸，可以通过表明流动，可以可靠地检测到包括对抗攻击的异常值。我们的方法不需要对培训的异常数据，并通过在多样化的实验设置中报告最先进的性能来展示我们的ood检测方法的效率。代码在https://github.com/computationalradiationphysphysics/inflow上提供。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

在共享潜在空间中对齐两个或更多个分布的无监督任务具有许多应用，包括公平表示，批量效果缓解和无监督域适应。现有的基于流动的方法独立估计多个流动，这相当于学习多个完整的生成模型。其他方法需要对抗性学习，这可以是可以计算地昂贵和挑战的优化。因此，我们的目标是在避免对抗性学习的同时联合对齐多个分布。通过从最佳运输（OT）理论的高效对准算法的启发，我们开发了一种简单的迭代方法来构建深层和富有效力的流动。我们的方法将每次迭代分成两个子问题：1）形成分配分配的变化近似，并且2）通过基于已知的OT结果的闭合形式可逆对准映射最小化该变分近似。我们的经验结果证明了这种迭代算法以低计算成本实现了竞争分布对准，同时能够自然地处理两个以上的分布。

归一化流量是具有易于易变量的神经网络的可逆性网络，其允许通过最大可能性优化它们的参数来有效地执行。然而，通常假设感兴趣的数据生活在嵌入在高维环境空间中的一些（通常未知）的低维歧管中。结果是自建设中以来的建模不匹配 - 可逆性要求意味着学习分布的高维支持。注射流量，从低到高维空间的映射，旨在通过学习歧管的分布来解决这种差异，但是由此产生的体积变化术语变得更具挑战性。目前方法避免完全使用各种启发式计算该术语，或者假设歧管预先已知，因此不广泛适用。相反，我们提出了两种方法来对模型的参数来促进该术语的梯度，依赖于仔细使用来自数值线性代数的自动分化和技术。两种方法都对将其投射到这种歧管上的数据执行端到端非线性歧管学习和密度估计。我们研究了我们所提出的方法之间的权衡，经验验证我们优于更准确地学习歧管和对应的相应分布忽略音量变化术语的优先级，并显示出对分布外检测的有希望的结果。我们的代码可在https://github.com/layer6ai-labs/rectangular-flows中找到。

基于似然或显式的深层生成模型使用神经网络来构建灵活的高维密度。该公式直接与歧管假设相矛盾，该假设指出，观察到的数据位于嵌入高维环境空间中的低维歧管上。在本文中，我们研究了在这种维度不匹配的情况下，最大可能的训练的病理。我们正式证明，在学习歧管本身而不是分布的情况下，可以实现堕落的优点，而我们称之为多种歧视的现象过于拟合。我们提出了一类两步程序，该过程包括降低降低步骤，然后进行最大样子密度估计，并证明它们在非参数方面恢复了数据生成分布，从而避免了多种歧视。我们还表明，这些过程能够对隐式模型（例如生成对抗网络）学到的流形进行密度估计，从而解决了这些模型的主要缺点。最近提出的几种方法是我们两步程序的实例。因此，我们统一，扩展和理论上证明了一大批模型。

通常假设基于深神经网络的分类器的培训和测试数据是从相同的分布采样的。当从远离训练样品的分布中抽出部分测试样品时（AKA分配（OOD）样本），培训的神经网络具有对这些ood的高信任预测的趋势样品。当培训用于图像分类的神经网络，对象检测等的神经网络时，检测是至关重要的。它可以提高分类器对无关投入的鲁棒性，并在不同形式的攻击下提高系统恢复力和安全性。检测OOD样品有三个主要挑战：（i）建议的OOD检测方法应与各种分类器的各种架构（例如，DENSENET，RESET）兼容，而不会显着提高模型复杂性和对计算资源的要求; （ii）ood样本可能来自多个分布，其类标签通常不可用; （iii）需要定义得分函数以有效地分离来自分布（IND）样本的OOD样本。为了克服这些挑战，我们提出了一种基于Wasserstein的分布式检测（木材）方法。基本思想是定义基于Wassersein-距离的评分，评估测试样品与IND样品的分布之间的异化。然后基于所提出的得分函数制定和解决优化问题。研究了所提出的方法的统计学习，以保证经验优化器实现的损耗值近似于全局最优。比较研究结果表明，所提出的木材始终如一地优于其他现有的ood检测方法。

主体组件分析（PCA）在给定固定组件维度的一类线性模型的情况下，将重建误差最小化。概率PCA通过学习PCA潜在空间权重的概率分布，从而创建生成模型，从而添加了概率结构。自动编码器（AE）最小化固定潜在空间维度的一类非线性模型中的重建误差，在固定维度处胜过PCA。在这里，我们介绍了概率自动编码器（PAE），该自动编码器（PAE）使用归一化流量（NF）了解了AE潜在空间权重的概率分布。 PAE快速且易于训练，并在下游任务中遇到小的重建错误，样本质量高以及良好的性能。我们将PAE与差异AE（VAE）进行比较，表明PAE训练更快，达到较低的重建误差，并产生良好的样品质量，而无需特殊的调整参数或培训程序。我们进一步证明，PAE是在贝叶斯推理的背景下，用于涂抹和降解应用程序的贝叶斯推断，可以执行概率图像重建的下游任务的强大模型。最后，我们将NF的潜在空间密度确定为有希望的离群检测度量。

变形自身偏移（VAES）是具有来自深神经网络架构和贝叶斯方法的丰富代表功能的有影响力的生成模型。然而，VAE模型具有比分布（ID）输入的分配方式分配更高的可能性较高的可能性。为了解决这个问题，认为可靠的不确定性估计是对对OOC投入的深入了解至关重要。在这项研究中，我们提出了一种改进的噪声对比之前（INCP），以便能够集成到VAE的编码器中，称为INCPVAE。INCP是可扩展，可培训和与VAE兼容的，它还采用了来自INCP的优点进行不确定性估计。各种数据集的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面是优越的，并且在异常检测任务中是强大的。INCPVAE模型获得了可靠的输入不确定性估算，并解决了VAE模型中的ood问题。

基于能量的模型（EBMS）为密度估计提供了优雅的框架，但它们难以训练。最近的工作已经建立了与生成的对抗网络的联系，eBM通过具有变分值函数的最小游戏培训。我们提出了EBM Log-似然的双向界限，使得我们最大限度地提高了较低的界限，并在解决Minimax游戏时最小化上限。我们将一个绑定到梯度惩罚的一个稳定，稳定培训，从而提供最佳工程实践的基础。为了评估界限，我们开发了EBM发生器的Jacobi确定的新的高效估算器。我们证明这些发展显着稳定培训并产生高质量密度估计和样品生成。

基于神经网络的学习，从光伏（PV）和风中的来源以及负载需求的来源的不可转型可再生发电的分布的学习最近得到了注意力。由于通过直接对数似然最大化训练，归一化流量密度模型特别适用于此任务。然而，从图像生成领域的研究表明，标准归一化流量只能学习歧管分布的涂抹版本。以前的作品在规范化基于流的方案生成的情况下，不要解决这个问题，并且掩弹的分布导致噪声时间序列的采样。在本文中，我们利用了主成分分析（PCA）的等距，从而建立了较低尺寸空间中的标准化流量，同时保持直接和计算有效的似然最大化。我们在2013年至2015年培训PV和风力发电的数据以及德国的负载需求的所得到的主要成分流量（PCF）。本研究结果表明，PCF保留了原始分布的关键特征，如作为时间序列的概率密度和频率行为。然而，PCF的应用不限于可再生能力，而是扩展到任何数据集，时间序列或其他方式，可以使用PCA有效地减少。

基于能量的模型（EBMS）最近成功地代表了少量图像的复杂分布。然而，对它们的抽样需要昂贵的马尔可夫链蒙特卡罗（MCMC）迭代在高维像素空间中缓慢混合。与EBMS不同，变形AutoEncoders（VAES）快速生成样本，并配备潜在的空间，使得数据歧管的快速遍历。然而，VAE倾向于将高概率密度分配到实际数据分布之外的数据空间中的区域，并且经常在产生清晰图像时失败。在本文中，我们提出了VAE的一个共生组成和ebm的vaebm，提供了两个世界的eBM。 VAEBM使用最先进的VAE捕获数据分布的整体模式结构，它依赖于其EBM组件，以明确地从模型中排除非数据样区域并优化图像样本。此外，VAEBM中的VAE组件允许我们通过在VAE的潜空间中重新处理它们来加速MCMC更新。我们的实验结果表明，VAEBM在几个基准图像数据集上以大量边距开辟了最先进的VAES和EBMS。它可以产生高于256 $ \倍的高质量图像，使用短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖范围，并在分配外检测中表现良好。源代码可在https://github.com/nvlabs/vaebm上获得

The problem of detecting the Out-of-Distribution (OoD) inputs is of paramount importance for Deep Neural Networks. It has been previously shown that even Deep Generative Models that allow estimating the density of the inputs may not be reliable and often tend to make over-confident predictions for OoDs, assigning to them a higher density than to the in-distribution data. This over-confidence in a single model can be potentially mitigated with Bayesian inference over the model parameters that take into account epistemic uncertainty. This paper investigates three approaches to Bayesian inference: stochastic gradient Markov chain Monte Carlo, Bayes by Backpropagation, and Stochastic Weight Averaging-Gaussian. The inference is implemented over the weights of the deep neural networks that parameterize the likelihood of the Variational Autoencoder. We empirically evaluate the approaches against several benchmarks that are often used for OoD detection: estimation of the marginal likelihood utilizing sampled model ensemble, typicality test, disagreement score, and Watanabe-Akaike Information Criterion. Finally, we introduce two simple scores that demonstrate the state-of-the-art performance.

现代生成模型大致分为两个主要类别：（1）可以产生高质量随机样品但无法估算新数据点的确切密度的模型，以及（2）提供精确密度估计的模型，以样本为代价潜在空间的质量和紧凑性。在这项工作中，我们提出了LED，这是一种与gan密切相关的新生成模型，不仅允许有效采样，而且允许有效的密度估计。通过最大程度地提高对数可能的歧视器输出，我们得出了一个替代对抗优化目标，鼓励生成的数据多样性。这种表述提供了对几种流行生成模型之间关系的见解。此外，我们构建了一个基于流的生成器，该发电机可以计算生成样品的精确概率，同时允许低维度变量作为输入。我们在各种数据集上的实验结果表明，我们的密度估计器会产生准确的估计值，同时保留了生成的样品质量良好。

基于密度的分布（OOD）检测最近显示了检测OOD图像的任务不可靠。基于各种密度比的方法实现了良好的经验性能，但是方法通常缺乏原则性的概率建模解释。在这项工作中，我们建议在建立基于能量的模型并采用不同基础分布的新框架下统一基于密度比的方法。在我们的框架下，密度比可以看作是隐式语义分布的非均衡密度。此外，我们建议通过类比率估计直接估计数据样本的密度比。与最近的工作相比，我们报告了有关OOD图像问题的竞争结果，这些工作需要对任务进行深层生成模型的培训。我们的方法使一个简单而有效的途径可以解决OOD检测问题。

引入了Wasserstein距离的许多变体，以减轻其原始计算负担。尤其是切成薄片的距离（SW），该距离（SW）利用了一维投影，可以使用封闭式的瓦斯汀距离解决方案。然而，它仅限于生活在欧几里得空间中的数据，而Wasserstein距离已被研究和最近在歧管上使用。我们更具体地专门地关注球体，为此定义了新颖的SW差异，我们称之为球形切片 - 拖鞋，这是朝着定义SW差异的第一步。我们的构造明显基于圆圈上瓦斯汀距离的封闭式解决方案，以及新的球形ra径。除了有效的算法和相应的实现外，我们在几个机器学习用例中说明了它的属性，这些用例中，数据的球形表示受到威胁：在球体上的密度估计，变异推理或超球体自动编码器。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as Fashion-MNIST vs. MNIST, and CIFAR-10 vs. SVHN.