基于似然或显式的深层生成模型使用神经网络来构建灵活的高维密度。该公式直接与歧管假设相矛盾，该假设指出，观察到的数据位于嵌入高维环境空间中的低维歧管上。在本文中，我们研究了在这种维度不匹配的情况下，最大可能的训练的病理。我们正式证明，在学习歧管本身而不是分布的情况下，可以实现堕落的优点，而我们称之为多种歧视的现象过于拟合。我们提出了一类两步程序，该过程包括降低降低步骤，然后进行最大样子密度估计，并证明它们在非参数方面恢复了数据生成分布，从而避免了多种歧视。我们还表明，这些过程能够对隐式模型（例如生成对抗网络）学到的流形进行密度估计，从而解决了这些模型的主要缺点。最近提出的几种方法是我们两步程序的实例。因此，我们统一，扩展和理论上证明了一大批模型。

深度学习在学习高维数据的低维表示方面取得了巨大的成功。如果在感兴趣的数据中没有隐藏的低维结构，那么这一成功将是不可能的。这种存在是由歧管假设提出的，该假设指出数据在于固有维度低的未知流形。在本文中，我们认为该假设无法正确捕获数据中通常存在的低维结构。假设数据在于单个流形意味着整个数据空间的内在维度相同，并且不允许该空间的子区域具有不同数量的变异因素。为了解决这一缺陷，我们提出了多种假设的结合，该假设适应了非恒定固有维度的存在。我们从经验上验证了在常用图像数据集上的这一假设，发现确实应该允许内在维度变化。我们还表明，具有较高内在维度的类更难分类，以及如何使用这种见解来提高分类精度。然后，我们将注意力转移到该假设的影响下，在深层生成模型（DGM）的背景下。当前的大多数DGM都难以建模具有几个连接组件和/或不同固有维度的数据集建模。为了解决这些缺点，我们提出了群集的DGM，首先将数据聚集，然后在每个群集上训练DGM。我们表明，聚类的DGM可以模拟具有不同固有维度的多个连接组件，并在没有增加计算要求的情况下经验优于其非簇的非群体。

归一化流量是具有易于易变量的神经网络的可逆性网络，其允许通过最大可能性优化它们的参数来有效地执行。然而，通常假设感兴趣的数据生活在嵌入在高维环境空间中的一些（通常未知）的低维歧管中。结果是自建设中以来的建模不匹配 - 可逆性要求意味着学习分布的高维支持。注射流量，从低到高维空间的映射，旨在通过学习歧管的分布来解决这种差异，但是由此产生的体积变化术语变得更具挑战性。目前方法避免完全使用各种启发式计算该术语，或者假设歧管预先已知，因此不广泛适用。相反，我们提出了两种方法来对模型的参数来促进该术语的梯度，依赖于仔细使用来自数值线性代数的自动分化和技术。两种方法都对将其投射到这种歧管上的数据执行端到端非线性歧管学习和密度估计。我们研究了我们所提出的方法之间的权衡，经验验证我们优于更准确地学习歧管和对应的相应分布忽略音量变化术语的优先级，并显示出对分布外检测的有希望的结果。我们的代码可在https://github.com/layer6ai-labs/rectangular-flows中找到。

Likelihood-based deep generative models have recently been shown to exhibit pathological behaviour under the manifold hypothesis as a consequence of using high-dimensional densities to model data with low-dimensional structure. In this paper we propose two methodologies aimed at addressing this problem. Both are based on adding Gaussian noise to the data to remove the dimensionality mismatch during training, and both provide a denoising mechanism whose goal is to sample from the model as though no noise had been added to the data. Our first approach is based on Tweedie's formula, and the second on models which take the variance of added noise as a conditional input. We show that surprisingly, while well motivated, these approaches only sporadically improve performance over not adding noise, and that other methods of addressing the dimensionality mismatch are more empirically adequate.

在$ \ mathbb {r}^n $中观察到的自然数据通常被限制为$ m $ dimensional歧管$ \ mathcal {m} $，其中$ m <n $。当前的生成模型通过通过神经网络$ f_ \ theta映射$ m $二维潜在变量来表示此流形：\ mathbb {r}^m \ to \ mathbb {r}^n $。我们称之为Pushforward模型的此类过程产生了一个直接的限制：通常不能以单个参数化表示歧管，这意味着尝试这样做的方法将导致计算不稳定性或无法在歧管内学习概率密度。为了解决这个问题，我们建议将$ \ mathcal {m} $建模为神经隐式歧管：神经网络的零零。为了了解$ \ Mathcal {M} $中的数据分布，我们引入了受限的基于能量的模型，该模型使用Langevin Dynamics的约束变体来训练和示例在学习的歧管中。可以用歧管的算术来操纵所得模型，该模型使从业者可以采用工会和模型歧管的交叉点。在有关合成和自然数据的实验中，我们表明，受约束的EBM可以比推送模型更准确地学习具有复杂拓扑的歧管支配分布。

我们研究是否使用两个条件型号$ p（x | z）$和$ q（z | x）$，以使用循环的两个条件型号，我们如何建模联合分配$ p（x，z）$。这是通过观察到深入生成模型的动机，除了可能的型号$ p（x | z）$，通常也使用推理型号$ q（z | x）$来提取表示，但它们通常依赖不表征的先前分配$ P（z）$来定义联合分布，这可能会使后塌和歧管不匹配等问题。为了探讨仅使用$ p（x | z）$和$ q（z | x）$模拟联合分布的可能性，我们研究其兼容性和确定性，对应于其条件分布一致的联合分布的存在和唯一性跟他们。我们为可操作的等价标准开发了一般理论，以实现兼容性，以及足够的确定条件。基于该理论，我们提出了一种新颖的生成建模框架来源，仅使用两个循环条件模型。我们开发方法以实现兼容性和确定性，并使用条件模型适合和生成数据。通过预先删除的约束，Cygen更好地适合数据并捕获由合成和现实世界实验支持的更多代表性特征。

在这项工作中，我们为生成自动编码器的变异培训提供了确切的可能性替代方法。我们表明，可以使用可逆层来构建VAE风格的自动编码器，该层提供了可拖动的精确可能性，而无需任何正则化项。这是在选择编码器，解码器和先前体系结构的全部自由的同时实现的，这使我们的方法成为培训现有VAE和VAE风格模型的替换。我们将结果模型称为流中的自动编码器（AEF），因为编码器，解码器和先验被定义为整体可逆体系结构的单个层。我们表明，在对数可能，样本质量和降低性能的方面，该方法的性能比结构上等效的VAE高得多。从广义上讲，这项工作的主要野心是在共同的可逆性和确切的最大可能性的共同框架下缩小正常化流量和自动编码器文献之间的差距。

我们介绍了用于生成建模的广义能量模型（GEBM）。这些模型组合了两个训练有素的组件：基本分布（通常是隐式模型），可以在高维空间中学习具有低固有尺寸的数据的支持;和能量功能，优化学习支持的概率质量。能量函数和基座都共同构成了最终模型，与GANS不同，它仅保留基本分布（“发电机”）。通过在学习能量和基础之间交替进行培训GEBMS。我们表明，两种培训阶段都明确定义：通过最大化广义可能性来学习能量，并且由此产生的能源的损失提供了学习基础的信息梯度。可以通过MCMC获得来自训练模型的潜在空间的后部的样品，从而在该空间中找到产生更好的质量样本的区域。经验上，图像生成任务上的GEBM样本比来自学习发电机的图像更好，表明所有其他相同，GEBM将优于同样复杂性的GAN。当使用归一化流作为基础测量时，GEBMS成功地启动密度建模任务，返回相当的性能以直接相同网络的最大可能性。

标准化流是生成模型，其通过从简单的基本分布到复杂的目标分布的可逆性转换提供易于变换的工艺模型。然而，该技术不能直接模拟支持未知的低维歧管的数据，在诸如图像数据之类的现实世界域中的公共发生。最近的补救措施的尝试引入了击败归一化流量的中央好处的几何并发症：精确密度估计。我们通过保形嵌入流量来恢复这种福利，这是一种设计流动与贸易密度的流动的流动的框架。我们争辩说，使用培训保育嵌入的标准流量是模型支持数据的最自然的方式。为此，我们提出了一系列保形构建块，并在具有合成和实际数据的实验中应用它们，以证明流动可以在不牺牲贸易可能性的情况下模拟歧管支持的分布。

基于能量的模型（EBMS）最近成功地代表了少量图像的复杂分布。然而，对它们的抽样需要昂贵的马尔可夫链蒙特卡罗（MCMC）迭代在高维像素空间中缓慢混合。与EBMS不同，变形AutoEncoders（VAES）快速生成样本，并配备潜在的空间，使得数据歧管的快速遍历。然而，VAE倾向于将高概率密度分配到实际数据分布之外的数据空间中的区域，并且经常在产生清晰图像时失败。在本文中，我们提出了VAE的一个共生组成和ebm的vaebm，提供了两个世界的eBM。 VAEBM使用最先进的VAE捕获数据分布的整体模式结构，它依赖于其EBM组件，以明确地从模型中排除非数据样区域并优化图像样本。此外，VAEBM中的VAE组件允许我们通过在VAE的潜空间中重新处理它们来加速MCMC更新。我们的实验结果表明，VAEBM在几个基准图像数据集上以大量边距开辟了最先进的VAES和EBMS。它可以产生高于256 $ \倍的高质量图像，使用短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖范围，并在分配外检测中表现良好。源代码可在https://github.com/nvlabs/vaebm上获得

For distributions $\mathbb{P}$ and $\mathbb{Q}$ with different supports or undefined densities, the divergence $\textrm{D}(\mathbb{P}||\mathbb{Q})$ may not exist. We define a Spread Divergence $\tilde{\textrm{D}}(\mathbb{P}||\mathbb{Q})$ on modified $\mathbb{P}$ and $\mathbb{Q}$ and describe sufficient conditions for the existence of such a divergence. We demonstrate how to maximize the discriminatory power of a given divergence by parameterizing and learning the spread. We also give examples of using a Spread Divergence to train implicit generative models, including linear models (Independent Components Analysis) and non-linear models (Deep Generative Networks).

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

主体组件分析（PCA）在给定固定组件维度的一类线性模型的情况下，将重建误差最小化。概率PCA通过学习PCA潜在空间权重的概率分布，从而创建生成模型，从而添加了概率结构。自动编码器（AE）最小化固定潜在空间维度的一类非线性模型中的重建误差，在固定维度处胜过PCA。在这里，我们介绍了概率自动编码器（PAE），该自动编码器（PAE）使用归一化流量（NF）了解了AE潜在空间权重的概率分布。 PAE快速且易于训练，并在下游任务中遇到小的重建错误，样本质量高以及良好的性能。我们将PAE与差异AE（VAE）进行比较，表明PAE训练更快，达到较低的重建误差，并产生良好的样品质量，而无需特殊的调整参数或培训程序。我们进一步证明，PAE是在贝叶斯推理的背景下，用于涂抹和降解应用程序的贝叶斯推断，可以执行概率图像重建的下游任务的强大模型。最后，我们将NF的潜在空间密度确定为有希望的离群检测度量。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

速率 - 失真（R-D）函数，信息理论中的关键数量，其特征在于，通过任何压缩算法，通过任何压缩算法将数据源可以压缩到保真标准的基本限制。随着研究人员推动了不断提高的压缩性能，建立给定数据源的R-D功能不仅具有科学的兴趣，而且还在可能的空间上揭示了改善压缩算法的可能性。以前的解决此问题依赖于数据源上的分布假设（Gibson，2017）或仅应用于离散数据。相比之下，本文使得第一次尝试播放常规（不一定是离散的）源仅需要i.i.d的算法的算法。数据样本。我们估计高斯和高尺寸香蕉形源的R-D三明治界，以及GaN生成的图像。我们在自然图像上的R-D上限表示在各种比特率的PSNR中提高最先进的图像压缩方法的性能的空间。

本文通过采取完全几何学的角度引入了对变异自动编码器框架的新解释。我们认为，香草vae自然而然地揭示了其潜在空间中的riemannian结构，并且考虑到这些几何方面可以导致更好的插值和改进的生成程序。这种新提出的采样方法包括从统一分布中的采样组成，该分布本质地从学到的利曼式潜在空间中得出，我们表明，使用此方案可以使香草VAE竞争性且比几个基准数据集中更先进的版本更好。由于已知生成模型对训练样品的数量很敏感，因此我们还强调了该方法在低数据状态下的鲁棒性。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

基于能量的模型（EBMS）为密度估计提供了优雅的框架，但它们难以训练。最近的工作已经建立了与生成的对抗网络的联系，eBM通过具有变分值函数的最小游戏培训。我们提出了EBM Log-似然的双向界限，使得我们最大限度地提高了较低的界限，并在解决Minimax游戏时最小化上限。我们将一个绑定到梯度惩罚的一个稳定，稳定培训，从而提供最佳工程实践的基础。为了评估界限，我们开发了EBM发生器的Jacobi确定的新的高效估算器。我们证明这些发展显着稳定培训并产生高质量密度估计和样品生成。

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latentvariable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy or undercomplete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.