We propose the tensorizing flow method for estimating high-dimensional probability density functions from the observed data. The method is based on tensor-train and flow-based generative modeling. Our method first efficiently constructs an approximate density in the tensor-train form via solving the tensor cores from a linear system based on the kernel density estimators of low-dimensional marginals. We then train a continuous-time flow model from this tensor-train density to the observed empirical distribution by performing a maximum likelihood estimation. The proposed method combines the optimization-less feature of the tensor-train with the flexibility of the flow-based generative models. Numerical results are included to demonstrate the performance of the proposed method.

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

在本文中，我们介绍了一种草图算法，用于构建其样品概率密度的张量列车表示。我们的方法偏离了基于标准的递归SVD构建张量列车的程序。取而代之的是，我们为单个张量火车芯制定并求解一系列小型线性系统。这种方法可以避免维数的诅咒，从而威胁恢复问题的算法和样本复杂性。具体而言，对于马尔可夫模型，我们证明可以使用相对于尺寸恒定的样品复杂性回收张量芯。最后，我们通过几个数值实验说明了该方法的性能。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

度量的运输提供了一种用于建模复杂概率分布的多功能方法，并具有密度估计，贝叶斯推理，生成建模及其他方法的应用。单调三角传输地图$ \ unicode {x2014} $近似值$ \ unicode {x2013} $ rosenblatt（kr）重新安排$ \ unicode {x2014} $是这些任务的规范选择。然而，此类地图的表示和参数化对它们的一般性和表现力以及对从数据学习地图学习（例如，通过最大似然估计）出现的优化问题的属性产生了重大影响。我们提出了一个通用框架，用于通过平滑函数的可逆变换来表示单调三角图。我们建立了有关转化的条件，以使相关的无限维度最小化问题没有伪造的局部最小值，即所有局部最小值都是全球最小值。我们展示了满足某些尾巴条件的目标分布，唯一的全局最小化器与KR地图相对应。鉴于来自目标的样品，我们提出了一种自适应算法，该算法估计了基础KR映射的稀疏半参数近似。我们证明了如何将该框架应用于关节和条件密度估计，无可能的推断以及有向图形模型的结构学习，并在一系列样本量之间具有稳定的概括性能。

我们提出了一种非常重要的抽样方法，该方法适用于估计高维问题中的罕见事件概率。我们将一般重要性抽样问题中的最佳重要性分布近似为在订单保留转换组成下的参考分布的推动力，在这种转换的组成下，每种转换都是由平方的张量训练 - 培训分解形成的。平方张量训练的分解提供了可扩展的ANSATZ，用于通过密度近似值来构建具有订单的高维转换。沿着一系列桥接密度移动的地图组成的使用减轻了直接近似浓缩密度函数的难度。为了计算对非规范概率分布的期望，我们设计了一个比率估计器，该比率估计器使用单独的重要性分布估算归一化常数，这再次通过张量训练格式的转换组成构建。与自称的重要性抽样相比，这提供了更好的理论差异，因此为贝叶斯推理问题中罕见事件概率的有效计算打开了大门。关于受微分方程约束的问题的数值实验显示，计算复杂性几乎没有增加，事件概率将零，并允许对迄今为止对复杂，高维后密度的罕见事件概率的迄今无法获得的估计。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

计算科学和统计推断中的许多应用都需要计算有关具有未知归一化常数的复杂高维分布以及这些常数的估计。在这里，我们开发了一种基于从简单的基本分布生成样品，沿着速度场生成的流量运输的方法，并沿这些流程线执行平均值。这种非平衡重要性采样（NEIS）策略是直接实施的，可用于具有任意目标分布的计算。在理论方面，我们讨论了如何将速度场定制到目标，并建立所提出的估计器是一个完美的估计器，具有零变化。我们还通过将基本分布映射到目标上，通过传输图绘制了NEIS和方法之间的连接。在计算方面，我们展示了如何使用深度学习来代表神经网络，并将其训练为零方差最佳。这些结果在高维示例上进行了数值说明，我们表明训练速度场可以将NEIS估计量的方差降低至6个数量级，而不是Vanilla估计量。我们还表明，NEIS在这些示例上的表现要比NEAL的退火重要性采样（AIS）更好。

在本文中，我们提出了一个基于树张量网状状态的密度估计框架。所提出的方法包括使用Chow-Liu算法确定树拓扑，并获得线性系统通过草图技术定义张量 - 网络组件的线性系统。开发了草图功能的新颖选择，以考虑包含循环的图形模型。提供样品复杂性保证，并通过数值实验进一步证实。

We investigate the parameterization of deep neural networks that by design satisfy the continuity equation, a fundamental conservation law. This is enabled by the observation that any solution of the continuity equation can be represented as a divergence-free vector field. We hence propose building divergence-free neural networks through the concept of differential forms, and with the aid of automatic differentiation, realize two practical constructions. As a result, we can parameterize pairs of densities and vector fields that always exactly satisfy the continuity equation, foregoing the need for extra penalty methods or expensive numerical simulation. Furthermore, we prove these models are universal and so can be used to represent any divergence-free vector field. Finally, we experimentally validate our approaches by computing neural network-based solutions to fluid equations, solving for the Hodge decomposition, and learning dynamical optimal transport maps.

The modeling of probability distributions, specifically generative modeling and density estimation, has become an immensely popular subject in recent years by virtue of its outstanding performance on sophisticated data such as images and texts. Nevertheless, a theoretical understanding of its success is still incomplete. One mystery is the paradox between memorization and generalization: In theory, the model is trained to be exactly the same as the empirical distribution of the finite samples, whereas in practice, the trained model can generate new samples or estimate the likelihood of unseen samples. Likewise, the overwhelming diversity of distribution learning models calls for a unified perspective on this subject. This paper provides a mathematical framework such that all the well-known models can be derived based on simple principles. To demonstrate its efficacy, we present a survey of our results on the approximation error, training error and generalization error of these models, which can all be established based on this framework. In particular, the aforementioned paradox is resolved by proving that these models enjoy implicit regularization during training, so that the generalization error at early-stopping avoids the curse of dimensionality. Furthermore, we provide some new results on landscape analysis and the mode collapse phenomenon.

在这项工作中，我们提出了一种深度自适应采样（DAS）方法，用于求解部分微分方程（PDE），其中利用深神经网络近似PDE和深生成模型的解决方案，用于生成改进训练集的新的搭配点。 DAS的整体过程由两个组件组成：通过最小化训练集中的搭配点上的剩余损失来解决PDE，并生成新的训练集，以进一步提高电流近似解的准确性。特别地，我们将残差作为概率密度函数进行处理，并用一个被称为Krnet的深生成模型近似它。来自Krnet的新样品与残留物诱导的分布一致，即，更多样品位于大残留的区域中，并且较少的样品位于小残余区域中。类似于经典的自适应方法，例如自适应有限元，Krnet作为引导训练集的改进的错误指示器。与用均匀分布的搭配点获得的神经网络近似相比，发达的算法可以显着提高精度，特别是对于低规律性和高维问题。我们展示了一个理论分析，表明所提出的DAS方法可以减少误差并展示其与数值实验的有效性。

当我们希望将其用作生成模型时，任何显式的功能表示$ f $都会受到两个主要障碍的阻碍：设计$ f $，以便采样快速，并估计$ z = \ int f $ ^{ - 1} f $集成到1。随着$ f $本身变得复杂，这变得越来越复杂。在本文中，我们表明，当通过让网络代表目标密度的累积分布函数并应用积极的基本定理，可以通过神经网络对一维条件密度进行建模时，可以精确地计算出$ z $。 。我们还得出了一种快速算法，用于通过逆变换方法从产生的表示。通过将这些原理扩展到更高的维度，我们介绍了\ textbf {神经逆变换采样器（NITS）}，这是一个新颖的深度学习框架，用于建模和从一般，多维，紧凑的概率密度。 NIT是一个高度表达性的密度估计器，具有端到端的可不同性，快速采样以及精确且廉价的可能性评估。我们通过将其应用于现实，高维密度估计任务来证明NIT的适用性：基于CIFAR-10数据集对基于可能性的生成模型，以及基于基准数据集的UCI套件的密度估计，nits可以在其中产生令人信服的结果或超越或超越或超越或超越或超越或超越或超越或超越。艺术状态。

平均场游戏（MFGS）是针对具有大量交互代理的系统的建模框架。他们在经济学，金融和游戏理论中有应用。标准化流（NFS）是一个深层生成模型的家族，通过使用可逆映射来计算数据的可能性，该映射通常通过使用神经网络进行参数化。它们对于密度建模和数据生成很有用。尽管对这两种模型进行了积极的研究，但很少有人注意到两者之间的关系。在这项工作中，我们通过将NF的训练视为解决MFG来揭示MFGS和NFS之间的联系。这是通过根据试剂轨迹重新解决MFG问题的实现，并通过流量体系结构对所得MFG的离散化进行参数化。通过这种联系，我们探讨了两个研究方向。首先，我们采用表达的NF体系结构来准确地求解高维MFG，以避开传统数值方法中维度的诅咒。与其他深度学习方法相比，我们的基于轨迹的公式编码神经网络中的连续性方程，从而更好地近似人口动态。其次，我们对NFS进行运输成本的培训正规，并显示了控制模型Lipschitz绑定的有效性，从而获得了更好的概括性能。我们通过对各种合成和现实生活数据集的全面实验来展示数值结果。

A normalizing flow models a complex probability density as an invertible transformation of a simple base density. Flows based on either coupling or autoregressive transforms both offer exact density evaluation and sampling, but rely on the parameterization of an easily invertible elementwise transformation, whose choice determines the flexibility of these models. Building upon recent work, we propose a fully-differentiable module based on monotonic rational-quadratic splines, which enhances the flexibility of both coupling and autoregressive transforms while retaining analytic invertibility. We demonstrate that neural spline flows improve density estimation, variational inference, and generative modeling of images.

许多数值优化技术的收敛性对提供给求解器的初始猜测高度敏感。我们提出了一种基于张量方法的方法，以初始化靠近全局Optima的现有优化求解器。该方法仅使用成本函数的定义，不需要访问任何良好解决方案的数据库。我们首先将成本函数（这是任务参数和优化变量的函数）转换为概率密度函数。与将任务参数设置为常数的现有方法不同，我们将它们视为另一组随机变量，并使用替代概率模型近似任务参数的关节概率分布和优化变量。对于给定的任务，我们就给定的任务参数从条件分布中生成样本，并将其用作优化求解器的初始化。由于调节和来自任意密度函数的调节和采样具有挑战性，因此我们使用张量列车分解来获得替代概率模型，我们可以从中有效地获得条件模型和样品。该方法可以为给定任务产生来自不同模式的多个解决方案。我们首先通过将其应用于各种具有挑战性的基准函数来评估该方法以进行数值优化，这些功能很难使用基于梯度的优化求解器以幼稚的初始化来求解，这表明所提出的方法可以生成靠近全局优化的样品，并且来自多种模式。 。然后，我们通过将所提出的方法应用于7-DOF操纵器来证明框架的通用性及其与机器人技术的相关性。

Diffusion models have recently outperformed alternative approaches to model the distribution of natural images, such as GANs. Such diffusion models allow for deterministic sampling via the probability flow ODE, giving rise to a latent space and an encoder map. While having important practical applications, such as estimation of the likelihood, the theoretical properties of this map are not yet fully understood. In the present work, we partially address this question for the popular case of the VP SDE (DDPM) approach. We show that, perhaps surprisingly, the DDPM encoder map coincides with the optimal transport map for common distributions; we support this claim theoretically and by extensive numerical experiments.

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。

指数族在机器学习中广泛使用，包括连续和离散域中的许多分布（例如，通过SoftMax变换，Gaussian，Dirichlet，Poisson和分类分布）。这些家庭中的每个家庭的分布都有固定的支持。相比之下，对于有限域而言，最近在SoftMax稀疏替代方案（例如Sparsemax，$ \ alpha $ -entmax和Fusedmax）的稀疏替代方案中导致了带有不同支持的分布。本文基于几种技术贡献，开发了连续分布的稀疏替代方案：首先，我们定义了$ \ omega $ regultion的预测图和任意域的Fenchel-young损失（可能是无限或连续的）。对于线性参数化的家族，我们表明，Fenchel-Young损失的最小化等效于统计的矩匹配，从而概括了指数家族的基本特性。当$ \ omega $是带有参数$ \ alpha $的Tsallis negentropy时，我们将获得````trabormed rompential指数）''，其中包括$ \ alpha $ -entmax和sparsemax和sparsemax（$ \ alpha = 2 $）。对于二次能量函数，产生的密度为$ \ beta $ -Gaussians，椭圆形分布的实例，其中包含特殊情况，即高斯，双重量级，三人级和epanechnikov密度，我们为差异而得出了差异的封闭式表达式， Tsallis熵和Fenchel-Young损失。当$ \ Omega $是总变化或Sobolev正常化程序时，我们将获得Fusedmax的连续版本。最后，我们引入了连续的注意机制，从\ {1、4/3、3/3、3/2、2 \} $中得出有效的梯度反向传播算法。使用这些算法，我们证明了我们的稀疏连续分布，用于基于注意力的音频分类和视觉问题回答，表明它们允许参加时间间隔和紧凑区域。