Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

A normalizing flow models a complex probability density as an invertible transformation of a simple base density. Flows based on either coupling or autoregressive transforms both offer exact density evaluation and sampling, but rely on the parameterization of an easily invertible elementwise transformation, whose choice determines the flexibility of these models. Building upon recent work, we propose a fully-differentiable module based on monotonic rational-quadratic splines, which enhances the flexibility of both coupling and autoregressive transforms while retaining analytic invertibility. We demonstrate that neural spline flows improve density estimation, variational inference, and generative modeling of images.

正常化流动在过去几年中已经变得更加流行;然而，他们继续计算得昂贵，使得它们难以被接受到更广泛的机器学习界中。在本文中，我们介绍了一个简单的一维一层网络，其封闭形式的Lipschitz常数;使用此，我们介绍了一种新的精确嘴唇流（ELF），这些流量（ELF）结合了剩余流量的易于采样，并具有自回归流的强烈性能。此外，我们表明，与多个其他流相比，ELF被证明是通用密度近似器，更新和参数有效，并且在多个大规模数据集上实现最先进的性能。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

标准化流是生成模型，其通过从简单的基本分布到复杂的目标分布的可逆性转换提供易于变换的工艺模型。然而，该技术不能直接模拟支持未知的低维歧管的数据，在诸如图像数据之类的现实世界域中的公共发生。最近的补救措施的尝试引入了击败归一化流量的中央好处的几何并发症：精确密度估计。我们通过保形嵌入流量来恢复这种福利，这是一种设计流动与贸易密度的流动的流动的框架。我们争辩说，使用培训保育嵌入的标准流量是模型支持数据的最自然的方式。为此，我们提出了一系列保形构建块，并在具有合成和实际数据的实验中应用它们，以证明流动可以在不牺牲贸易可能性的情况下模拟歧管支持的分布。

生成建模旨在揭示产生观察到的数据的潜在因素，这些数据通常可以被建模为自然对称性，这些对称性是通过不变和对某些转型定律等效的表现出来的。但是，当前代表这些对称性的方法是在需要构建模棱两可矢量场的连续正式化流中所掩盖的 - 抑制了它们在常规的高维生成建模域（如自然图像）中的简单应用。在本文中，我们专注于使用离散层建立归一化流量。首先，我们从理论上证明了对紧凑空间的紧凑型组的模棱两可的图。我们进一步介绍了三个新的品牌流：$ g $ - 剩余的流量，$ g $ - 耦合流量和$ g $ - inverse自动回旋的回旋流量，可以提升经典的残留剩余，耦合和反向自动性流量，并带有等效的地图， $。从某种意义上说，我们证明$ g $ equivariant的差异性可以通过$ g $ - $ residual流量映射，我们的$ g $ - 剩余流量也很普遍。最后，我们首次在诸如CIFAR-10之类的图像数据集中对我们的理论见解进行了补充，并显示出$ G $ equivariant有限的有限流量，从而提高了数据效率，更快的收敛性和提高的可能性估计。

归一化的流提供了一种优雅的生成建模方法，可以有效地采样和确切的数据分布的密度评估。但是，当在低维歧管上支持数据分布或具有非平凡的拓扑结构时，当前技术的表现性有显着局限性。我们介绍了一个新的统计框架，用于学习局部正常流的混合物作为数据歧管上的“图表图”。我们的框架增强了最近方法的表现力，同时保留了标准化流的签名特性，他们承认了精确的密度评估。我们通过量化自动编码器（VQ-AE）学习了数据歧管图表的合适地图集，并使用条件流量学习了它们的分布。我们通过实验验证我们的概率框架可以使现有方法更好地模拟数据分布，而不是复杂的歧管。

The choice of approximate posterior distribution is one of the core problems in variational inference. Most applications of variational inference employ simple families of posterior approximations in order to allow for efficient inference, focusing on mean-field or other simple structured approximations. This restriction has a significant impact on the quality of inferences made using variational methods. We introduce a new approach for specifying flexible, arbitrarily complex and scalable approximate posterior distributions. Our approximations are distributions constructed through a normalizing flow, whereby a simple initial density is transformed into a more complex one by applying a sequence of invertible transformations until a desired level of complexity is attained. We use this view of normalizing flows to develop categories of finite and infinitesimal flows and provide a unified view of approaches for constructing rich posterior approximations. We demonstrate that the theoretical advantages of having posteriors that better match the true posterior, combined with the scalability of amortized variational approaches, provides a clear improvement in performance and applicability of variational inference.

The framework of normalizing flows provides a general strategy for flexible variational inference of posteriors over latent variables. We propose a new type of normalizing flow, inverse autoregressive flow (IAF), that, in contrast to earlier published flows, scales well to high-dimensional latent spaces. The proposed flow consists of a chain of invertible transformations, where each transformation is based on an autoregressive neural network. In experiments, we show that IAF significantly improves upon diagonal Gaussian approximate posteriors. In addition, we demonstrate that a novel type of variational autoencoder, coupled with IAF, is competitive with neural autoregressive models in terms of attained log-likelihood on natural images, while allowing significantly faster synthesis.

We show that standard ResNet architectures can be made invertible, allowing the same model to be used for classification, density estimation, and generation. Typically, enforcing invertibility requires partitioning dimensions or restricting network architectures. In contrast, our approach only requires adding a simple normalization step during training, already available in standard frameworks. Invertible ResNets define a generative model which can be trained by maximum likelihood on unlabeled data. To compute likelihoods, we introduce a tractable approximation to the Jacobian log-determinant of a residual block. Our empirical evaluation shows that invertible ResNets perform competitively with both stateof-the-art image classifiers and flow-based generative models, something that has not been previously achieved with a single architecture.

The modeling of probability distributions, specifically generative modeling and density estimation, has become an immensely popular subject in recent years by virtue of its outstanding performance on sophisticated data such as images and texts. Nevertheless, a theoretical understanding of its success is still incomplete. One mystery is the paradox between memorization and generalization: In theory, the model is trained to be exactly the same as the empirical distribution of the finite samples, whereas in practice, the trained model can generate new samples or estimate the likelihood of unseen samples. Likewise, the overwhelming diversity of distribution learning models calls for a unified perspective on this subject. This paper provides a mathematical framework such that all the well-known models can be derived based on simple principles. To demonstrate its efficacy, we present a survey of our results on the approximation error, training error and generalization error of these models, which can all be established based on this framework. In particular, the aforementioned paradox is resolved by proving that these models enjoy implicit regularization during training, so that the generalization error at early-stopping avoids the curse of dimensionality. Furthermore, we provide some new results on landscape analysis and the mode collapse phenomenon.

当我们希望将其用作生成模型时，任何显式的功能表示$ f $都会受到两个主要障碍的阻碍：设计$ f $，以便采样快速，并估计$ z = \ int f $ ^{ - 1} f $集成到1。随着$ f $本身变得复杂，这变得越来越复杂。在本文中，我们表明，当通过让网络代表目标密度的累积分布函数并应用积极的基本定理，可以通过神经网络对一维条件密度进行建模时，可以精确地计算出$ z $。 。我们还得出了一种快速算法，用于通过逆变换方法从产生的表示。通过将这些原理扩展到更高的维度，我们介绍了\ textbf {神经逆变换采样器（NITS）}，这是一个新颖的深度学习框架，用于建模和从一般，多维，紧凑的概率密度。 NIT是一个高度表达性的密度估计器，具有端到端的可不同性，快速采样以及精确且廉价的可能性评估。我们通过将其应用于现实，高维密度估计任务来证明NIT的适用性：基于CIFAR-10数据集对基于可能性的生成模型，以及基于基准数据集的UCI套件的密度估计，nits可以在其中产生令人信服的结果或超越或超越或超越或超越或超越或超越或超越或超越。艺术状态。

潜在变量模型（LVM）的无监督学习被广泛用于表示机器学习中的数据。当这样的模型反映了地面真理因素和将它们映射到观察的机制时，有理由期望它们允许在下游任务中进行概括。但是，众所周知，如果不在模型类上施加限制，通常无法实现此类可识别性保证。非线性独立组件分析是如此，其中LVM通过确定性的非线性函数将统计上独立的变量映射到观察。几个伪造解决方案的家庭完全适合数据，但是可以在通用环境中构建与地面真相因素相对应的。但是，最近的工作表明，限制此类模型的功能类别可能会促进可识别性。具体而言，已经提出了在Jacobian矩阵中收集的部分衍生物的函数类，例如正交坐标转换（OCT），它们强加了Jacobian柱的正交性。在目前的工作中，我们证明了这些转换的子类，共形图，是可识别的，并提供了新颖的理论结果，这表明OCT具有防止虚假解决方案家族在通用环境中破坏可识别性的特性。

We propose the tensorizing flow method for estimating high-dimensional probability density functions from the observed data. The method is based on tensor-train and flow-based generative modeling. Our method first efficiently constructs an approximate density in the tensor-train form via solving the tensor cores from a linear system based on the kernel density estimators of low-dimensional marginals. We then train a continuous-time flow model from this tensor-train density to the observed empirical distribution by performing a maximum likelihood estimation. The proposed method combines the optimization-less feature of the tensor-train with the flexibility of the flow-based generative models. Numerical results are included to demonstrate the performance of the proposed method.

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

我们提出了一个利用归一化流的拓扑非平凡流形的学习概率分布的框架。当前的方法集中在对欧几里得空间同质形态的流形上，在学习模型上执行强大的结构先验或不容易扩展到高维度的操作。相比之下，我们的方法通过将多个局部模型“粘合”一起学习数据歧管上的分布，从而定义了数据歧管的开放覆盖。我们证明了我们的方法在已知流形的合成数据以及未知拓扑的较高维歧管上的效率，在许多任务中，我们的方法在许多任务中表现出更好的样品效率和竞争性或优越的性能。

我们研究了由覆盖在R ^ M中的N维歧管支持的概率措施的近似 - 由可逆流和单层注射部件组成的神经网络。当M <= 3N时，我们显示R ^ n和r ^ m之间的注射流量在可扩展的嵌入物图像中支持的普遍近似措施，这是标准嵌入的适当子集。在这个制度拓扑障碍物中，拓扑障碍能够作为可允许的目标。当m> = 3n + 1时，我们使用称为*清洁技巧*的代数拓扑的论点来证明拓扑障碍物消失和注射般的流动普遍近似任何可分辨率的嵌入。沿途，我们表明，可以在Brehmer et Cranmer 2020中的猜想中建立“反向”可以建立铭刻流动网络的最优性。此外，设计的网络可以简单，它们可以配备其他属性，例如一个新的投影结果。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。