标准化流是生成模型，其通过从简单的基本分布到复杂的目标分布的可逆性转换提供易于变换的工艺模型。然而，该技术不能直接模拟支持未知的低维歧管的数据，在诸如图像数据之类的现实世界域中的公共发生。最近的补救措施的尝试引入了击败归一化流量的中央好处的几何并发症：精确密度估计。我们通过保形嵌入流量来恢复这种福利，这是一种设计流动与贸易密度的流动的流动的框架。我们争辩说，使用培训保育嵌入的标准流量是模型支持数据的最自然的方式。为此，我们提出了一系列保形构建块，并在具有合成和实际数据的实验中应用它们，以证明流动可以在不牺牲贸易可能性的情况下模拟歧管支持的分布。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

归一化的流提供了一种优雅的生成建模方法，可以有效地采样和确切的数据分布的密度评估。但是，当在低维歧管上支持数据分布或具有非平凡的拓扑结构时，当前技术的表现性有显着局限性。我们介绍了一个新的统计框架，用于学习局部正常流的混合物作为数据歧管上的“图表图”。我们的框架增强了最近方法的表现力，同时保留了标准化流的签名特性，他们承认了精确的密度评估。我们通过量化自动编码器（VQ-AE）学习了数据歧管图表的合适地图集，并使用条件流量学习了它们的分布。我们通过实验验证我们的概率框架可以使现有方法更好地模拟数据分布，而不是复杂的歧管。

我们提出了一个利用归一化流的拓扑非平凡流形的学习概率分布的框架。当前的方法集中在对欧几里得空间同质形态的流形上，在学习模型上执行强大的结构先验或不容易扩展到高维度的操作。相比之下，我们的方法通过将多个局部模型“粘合”一起学习数据歧管上的分布，从而定义了数据歧管的开放覆盖。我们证明了我们的方法在已知流形的合成数据以及未知拓扑的较高维歧管上的效率，在许多任务中，我们的方法在许多任务中表现出更好的样品效率和竞争性或优越的性能。

在$ \ mathbb {r}^n $中观察到的自然数据通常被限制为$ m $ dimensional歧管$ \ mathcal {m} $，其中$ m <n $。当前的生成模型通过通过神经网络$ f_ \ theta映射$ m $二维潜在变量来表示此流形：\ mathbb {r}^m \ to \ mathbb {r}^n $。我们称之为Pushforward模型的此类过程产生了一个直接的限制：通常不能以单个参数化表示歧管，这意味着尝试这样做的方法将导致计算不稳定性或无法在歧管内学习概率密度。为了解决这个问题，我们建议将$ \ mathcal {m} $建模为神经隐式歧管：神经网络的零零。为了了解$ \ Mathcal {M} $中的数据分布，我们引入了受限的基于能量的模型，该模型使用Langevin Dynamics的约束变体来训练和示例在学习的歧管中。可以用歧管的算术来操纵所得模型，该模型使从业者可以采用工会和模型歧管的交叉点。在有关合成和自然数据的实验中，我们表明，受约束的EBM可以比推送模型更准确地学习具有复杂拓扑的歧管支配分布。

归一化流量是具有易于易变量的神经网络的可逆性网络，其允许通过最大可能性优化它们的参数来有效地执行。然而，通常假设感兴趣的数据生活在嵌入在高维环境空间中的一些（通常未知）的低维歧管中。结果是自建设中以来的建模不匹配 - 可逆性要求意味着学习分布的高维支持。注射流量，从低到高维空间的映射，旨在通过学习歧管的分布来解决这种差异，但是由此产生的体积变化术语变得更具挑战性。目前方法避免完全使用各种启发式计算该术语，或者假设歧管预先已知，因此不广泛适用。相反，我们提出了两种方法来对模型的参数来促进该术语的梯度，依赖于仔细使用来自数值线性代数的自动分化和技术。两种方法都对将其投射到这种歧管上的数据执行端到端非线性歧管学习和密度估计。我们研究了我们所提出的方法之间的权衡，经验验证我们优于更准确地学习歧管和对应的相应分布忽略音量变化术语的优先级，并显示出对分布外检测的有希望的结果。我们的代码可在https://github.com/layer6ai-labs/rectangular-flows中找到。

基于似然或显式的深层生成模型使用神经网络来构建灵活的高维密度。该公式直接与歧管假设相矛盾，该假设指出，观察到的数据位于嵌入高维环境空间中的低维歧管上。在本文中，我们研究了在这种维度不匹配的情况下，最大可能的训练的病理。我们正式证明，在学习歧管本身而不是分布的情况下，可以实现堕落的优点，而我们称之为多种歧视的现象过于拟合。我们提出了一类两步程序，该过程包括降低降低步骤，然后进行最大样子密度估计，并证明它们在非参数方面恢复了数据生成分布，从而避免了多种歧视。我们还表明，这些过程能够对隐式模型（例如生成对抗网络）学到的流形进行密度估计，从而解决了这些模型的主要缺点。最近提出的几种方法是我们两步程序的实例。因此，我们统一，扩展和理论上证明了一大批模型。

我描述了使用规定规则作为替代物的训练流模型的技巧，以最大程度地发出可能性。此技巧的实用性限制在非条件模型中，但是该方法的扩展应用于数据和条件信息的最大可能性分布的最大可能性，可用于训练复杂的\ textit \ textit {条件{条件}流模型。与以前的方法不同，此方法非常简单：它不需要明确了解条件分布，辅助网络或其他特定体系结构，或者不需要超出最大可能性的其他损失项，并且可以保留潜在空间和数据空间之间的对应关系。所得模型具有非条件流模型的所有属性，对意外输入具有鲁棒性，并且可以预测在给定输入上的解决方案的分布。它们具有预测代表性的保证，并且是解决高度不确定问题的自然和强大方法。我在易于可视化的玩具问题上演示了这些属性，然后使用该方法成功生成类条件图像并通过超分辨率重建高度退化的图像。

在这项工作中，我们为生成自动编码器的变异培训提供了确切的可能性替代方法。我们表明，可以使用可逆层来构建VAE风格的自动编码器，该层提供了可拖动的精确可能性，而无需任何正则化项。这是在选择编码器，解码器和先前体系结构的全部自由的同时实现的，这使我们的方法成为培训现有VAE和VAE风格模型的替换。我们将结果模型称为流中的自动编码器（AEF），因为编码器，解码器和先验被定义为整体可逆体系结构的单个层。我们表明，在对数可能，样本质量和降低性能的方面，该方法的性能比结构上等效的VAE高得多。从广义上讲，这项工作的主要野心是在共同的可逆性和确切的最大可能性的共同框架下缩小正常化流量和自动编码器文献之间的差距。

归一化流量是漫射的，通常是维持尺寸保存，使用模型的可能性训练的模型。我们使用Surve Framework通过新的层构建尺寸减少调节流量，称为漏斗。我们展示了对各种数据集的功效，并表明它改善或匹配现有流量的性能，同时具有降低的潜在空间尺寸。漏斗层可以由各种变换构成，包括限制卷积和馈送前部。

A normalizing flow models a complex probability density as an invertible transformation of a simple base density. Flows based on either coupling or autoregressive transforms both offer exact density evaluation and sampling, but rely on the parameterization of an easily invertible elementwise transformation, whose choice determines the flexibility of these models. Building upon recent work, we propose a fully-differentiable module based on monotonic rational-quadratic splines, which enhances the flexibility of both coupling and autoregressive transforms while retaining analytic invertibility. We demonstrate that neural spline flows improve density estimation, variational inference, and generative modeling of images.

反事实可以以人类的可解释方式解释神经网络的分类决策。我们提出了一种简单但有效的方法来产生这种反事实。更具体地说，我们执行合适的差异坐标转换，然后在这些坐标中执行梯度上升，以查找反事实，这些反事实是由置信度良好的指定目标类别分类的。我们提出了两种方法来利用生成模型来构建完全或大约差异的合适坐标系。我们使用Riemannian差异几何形状分析了生成过程，并使用各种定性和定量测量方法验证了生成的反事实质量。

现代生成模型大致分为两个主要类别：（1）可以产生高质量随机样品但无法估算新数据点的确切密度的模型，以及（2）提供精确密度估计的模型，以样本为代价潜在空间的质量和紧凑性。在这项工作中，我们提出了LED，这是一种与gan密切相关的新生成模型，不仅允许有效采样，而且允许有效的密度估计。通过最大程度地提高对数可能的歧视器输出，我们得出了一个替代对抗优化目标，鼓励生成的数据多样性。这种表述提供了对几种流行生成模型之间关系的见解。此外，我们构建了一个基于流的生成器，该发电机可以计算生成样品的精确概率，同时允许低维度变量作为输入。我们在各种数据集上的实验结果表明，我们的密度估计器会产生准确的估计值，同时保留了生成的样品质量良好。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

Unsupervised learning of probabilistic models is a central yet challenging problem in machine learning. Specifically, designing models with tractable learning, sampling, inference and evaluation is crucial in solving this task. We extend the space of such models using real-valued non-volume preserving (real NVP) transformations, a set of powerful, stably invertible, and learnable transformations, resulting in an unsupervised learning algorithm with exact log-likelihood computation, exact and efficient sampling, exact and efficient inference of latent variables, and an interpretable latent space. We demonstrate its ability to model natural images on four datasets through sampling, log-likelihood evaluation, and latent variable manipulations.

潜在变量模型（LVM）的无监督学习被广泛用于表示机器学习中的数据。当这样的模型反映了地面真理因素和将它们映射到观察的机制时，有理由期望它们允许在下游任务中进行概括。但是，众所周知，如果不在模型类上施加限制，通常无法实现此类可识别性保证。非线性独立组件分析是如此，其中LVM通过确定性的非线性函数将统计上独立的变量映射到观察。几个伪造解决方案的家庭完全适合数据，但是可以在通用环境中构建与地面真相因素相对应的。但是，最近的工作表明，限制此类模型的功能类别可能会促进可识别性。具体而言，已经提出了在Jacobian矩阵中收集的部分衍生物的函数类，例如正交坐标转换（OCT），它们强加了Jacobian柱的正交性。在目前的工作中，我们证明了这些转换的子类，共形图，是可识别的，并提供了新颖的理论结果，这表明OCT具有防止虚假解决方案家族在通用环境中破坏可识别性的特性。

归一化流提供一种优雅的方法，用于通过使用可逆的变换获得来自分布的易于密度估计。主要挑战是提高模型的表现，同时保持可逆性约束完整。我们建议通过纳入本地化的自我关注来这样做。然而，传统的自我关注机制不满足获得可逆流的要求，并且不能胆无利地结合到标准化流中。为了解决这一点，我们介绍了一种称为细微的收缩流（ACF）的新方法，它利用了一种特殊类别的基于流的生成模型 - 收缩流。我们证明可以以即插即用的方式将ACF引入到最新的现有技术的状态。这被证明是不仅改善了这些模型的表示力（改善了每次昏暗度量的比特），而且还导致训练它们的速度明显更快。在包括测试图像之间的分隔的定性结果证明样本更加现实并捕获数据中的本地相关性。我们通过使用AWGN进行扰动分析来进一步评估结果，证明ACF模型（特别是点 - 产品变体）表现出更好，更加一致的恢复能力噪声。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

A neural network deployed in the wild may be asked to make predictions for inputs that were drawn from a different distribution than that of the training data. A plethora of work has demonstrated that it is easy to find or synthesize inputs for which a neural network is highly confident yet wrong. Generative models are widely viewed to be robust to such mistaken confidence as modeling the density of the input features can be used to detect novel, out-of-distribution inputs. In this paper we challenge this assumption. We find that the density learned by flow-based models, VAEs, and PixelCNNs cannot distinguish images of common objects such as dogs, trucks, and horses (i.e. CIFAR-10) from those of house numbers (i.e. SVHN), assigning a higher likelihood to the latter when the model is trained on the former. Moreover, we find evidence of this phenomenon when pairing several popular image data sets: FashionMNIST vs MNIST, CelebA vs SVHN, ImageNet vs CIFAR-10 / CIFAR-100 / SVHN. To investigate this curious behavior, we focus analysis on flow-based generative models in particular since they are trained and evaluated via the exact marginal likelihood. We find such behavior persists even when we restrict the flows to constant-volume transformations. These transformations admit some theoretical analysis, and we show that the difference in likelihoods can be explained by the location and variances of the data and the model curvature. Our results caution against using the density estimates from deep generative models to identify inputs similar to the training distribution until their behavior for out-of-distribution inputs is better understood.