密度估计是统计和机器学习应用中的基本任务。内核密度估计是低维度非参数密度估计的强大工具；但是，其性能在更高的维度上很差。此外，其预测复杂性量表与更多的培训数据点线性线性。本文提出了一种神经密度估计的方法，可以看作是一种核密度估计的一种，但没有高预测计算复杂性。该方法基于密度矩阵，一种用于量子力学的形式主义和自适应傅立叶特征。可以在没有优化的情况下对该方法进行培训，但也可以与深度学习体系结构集成并使用梯度下降进行训练。因此，它可以看作是神经密度估计方法的一种形式。该方法在不同的合成和实际数据集中进行了评估，其性能与最新的神经密度估计方法进行了比较，从而获得了竞争结果。

密度矩阵描述了量子系统的统计状态。它是一种强大的形式主义，代表量子系统的量子和经典不确定性，并表达不同的统计操作，例如测量，系统组合和期望作为线性代数操作。本文探讨了密度矩阵如何用作构建块，以构建机器学习模型，利用它们直接组合线性代数和概率的能力。本文的主要结果之一是表示与随机傅里叶功能耦合的密度矩阵可以近似任意概率分布超过$ \ mathbb {r} ^ n $。基于此发现，该纸张为密度估计，分类和回归构建了不同的模型。这些模型是可疑的，因此可以将它们与其他可分辨率的组件（例如深度学习架构）集成，并使用基于梯度的优化来学习其参数。此外，本文提出了基于估计和模型平均的优化培训策略。该模型在基准任务中进行评估，并报告并讨论结果。

核密度估计（KDE）是使用最广泛的非参数密度估计方法之一。它是一种基于内存的方法，即它将整个培训数据集用于预测，这使其不适合大多数当前的大数据应用程序。已经提出了几种策略，例如基于树或基于哈希的估计器，以提高内核密度估计方法的效率。新型密度内核密度估计方法（DMKDE）使用密度矩阵，量子机械形式主义和随机傅立叶特征（显式内核近似）来产生密度估计。该方法的根源在KDE中，可以被视为近似方法，而无需基于内存的限制。在本文中，我们系统地评估了新型DMKDE算法，并将其与其他最新的快速程序进行比较，以近似于不同合成数据集的内核密度估计方法。我们的实验结果表明，在高维数据上执行时，显示了DMKDE与其竞争对手的计算密度估计和优势相提并论。我们将所有代码作为开源软件存储库提供。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

本文介绍了一种基于Krnet（ADDA-KR）的自适应深度近似策略，用于求解稳态Fokker-Planck（F-P）方程。 F-P方程通常是高维度和在无限域上定义的，这限制了基于传统网格的数值方法的应用。通过Knothe-Rosenblatt重新排列，我们的新提出的基于流的生成模型称为KrNet，提供了一种概率密度函数的家族，以作为Fokker-Planck方程的有效解决方案候选者，这与传统的计算方法较弱的维度依赖性较弱并且可以有效地估计一般的高维密度函数。为了获得用于F-P方程的近似的有效随机搭配点，我们开发了一种自适应采样过程，其中使用每次迭代的近似密度函数来迭代地生成样本。我们介绍了ADDA-KR的一般框架，验证了其准确性并通过数值实验展示了其效率。

当我们希望将其用作生成模型时，任何显式的功能表示$ f $都会受到两个主要障碍的阻碍：设计$ f $，以便采样快速，并估计$ z = \ int f $ ^{ - 1} f $集成到1。随着$ f $本身变得复杂，这变得越来越复杂。在本文中，我们表明，当通过让网络代表目标密度的累积分布函数并应用积极的基本定理，可以通过神经网络对一维条件密度进行建模时，可以精确地计算出$ z $。 。我们还得出了一种快速算法，用于通过逆变换方法从产生的表示。通过将这些原理扩展到更高的维度，我们介绍了\ textbf {神经逆变换采样器（NITS）}，这是一个新颖的深度学习框架，用于建模和从一般，多维，紧凑的概率密度。 NIT是一个高度表达性的密度估计器，具有端到端的可不同性，快速采样以及精确且廉价的可能性评估。我们通过将其应用于现实，高维密度估计任务来证明NIT的适用性：基于CIFAR-10数据集对基于可能性的生成模型，以及基于基准数据集的UCI套件的密度估计，nits可以在其中产生令人信服的结果或超越或超越或超越或超越或超越或超越或超越或超越。艺术状态。

条件密度估计（CDE）是估算某些输入上的事件概率的任务。神经网络（NN）还可用于计算连续域的输出分布，这可以被视为回归任务的扩展。然而，在不知道其一般形式的信息的情况下，难以明确地近似分布。为了符合任意条件分布，将连续域分离成箱是一种有效的策略，只要我们拥有足够窄的箱和非常大的数据。然而，收集足够的数据通常很难到达，并且在许多情况下，特别是在多变量Cde的诅咒中的诅咒中的那种理想。在本文中，我们展示了使用基于Deconvolution的神经网络框架建模自由形式条件分布的好处，在离散化中应对数据缺陷问题。它具有灵活性的优点，但也利用了解压缩层提供的分层平滑度。我们将我们的方法与许多其他密度估计方法进行比较，并表明我们的解卷积密度网络（DDN）优于许多单变量和多变量任务的竞争方法。 DDN的代码可在https://github.com/nbiclab/ddn上获得。

The choice of approximate posterior distribution is one of the core problems in variational inference. Most applications of variational inference employ simple families of posterior approximations in order to allow for efficient inference, focusing on mean-field or other simple structured approximations. This restriction has a significant impact on the quality of inferences made using variational methods. We introduce a new approach for specifying flexible, arbitrarily complex and scalable approximate posterior distributions. Our approximations are distributions constructed through a normalizing flow, whereby a simple initial density is transformed into a more complex one by applying a sequence of invertible transformations until a desired level of complexity is attained. We use this view of normalizing flows to develop categories of finite and infinitesimal flows and provide a unified view of approaches for constructing rich posterior approximations. We demonstrate that the theoretical advantages of having posteriors that better match the true posterior, combined with the scalability of amortized variational approaches, provides a clear improvement in performance and applicability of variational inference.

We propose the tensorizing flow method for estimating high-dimensional probability density functions from the observed data. The method is based on tensor-train and flow-based generative modeling. Our method first efficiently constructs an approximate density in the tensor-train form via solving the tensor cores from a linear system based on the kernel density estimators of low-dimensional marginals. We then train a continuous-time flow model from this tensor-train density to the observed empirical distribution by performing a maximum likelihood estimation. The proposed method combines the optimization-less feature of the tensor-train with the flexibility of the flow-based generative models. Numerical results are included to demonstrate the performance of the proposed method.

贝叶斯方法是由于先验引起的正则化效应，这是对统计学的统计推断的流行选择，该效应可抵消过度拟合。在密度估计的背景下，标准的贝叶斯方法是针对后验预测。通常，后验预测的直接估计是棘手的，因此方法通常诉诸于后验分布作为中间步骤。然而，最近的递归预测copula更新的开发使得无需后近似即可执行可拖动的预测密度估计。尽管这些估计器在计算上具有吸引力，但它们倾向于在非平滑数据分布上挣扎。这在很大程度上是由于可能从中得出所提出的Copula更新的可能性模型的相对限制性形式。为了解决这一缺点，我们考虑了具有自回归似然分解和高斯过程的贝叶斯非参数模型，该模型在Copula更新中产生了数据依赖于数据的带宽参数。此外，我们使用自回归神经网络对带宽进行新的参数化，从而将数据映射到潜在空间中，从而能够捕获数据中更复杂的依赖性。我们的扩展增加了现有的递归贝叶斯密度估计器的建模能力，从而在表格数据集上实现了最新的结果。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

Copulas是一种强大的工具，用于建模多变量分布，因为它们允许分别估计单变量边缘分布和联合依赖结构。然而，已知的参数Copulas提供有限的灵活性，特别是高尺寸，而常用的非参数方法遭受维度的诅咒。受欢迎的补救措施是构建一个基于树的条件双变量Copulas的层次结构。在本文中，我们提出了一种基于隐含生成神经网络的灵活，概念性的简单替代品。关键挑战是确保估计的拷贝分布的边际均匀性。我们通过学习具有未指定的边缘的多变量潜在分布而是所需的依赖结构来实现这一目标。通过应用概率积分变换，我们可以从高维拷贝分布中获得样本而不依赖参数假设或需要找到合适的树结构。来自金融，物理和图​​像生成的合成和实数据的实验证明了这种方法的性能。

估计给定样品的吉布斯密度函数是计算统计和统计学习中的重要问题。尽管普遍使用了良好的最大似然法，但它需要计算分区函数（即密度的归一化）。可以轻松地针对简单的低维问题计算此功能，但是对于一般密度和高维问题，其计算很困难甚至是棘手的。在本文中，我们提出了一种基于最大a-posteriori（MAP）估计器的替代方法，我们命名了最大恢复地图（MR-MAP），以得出不需要计算分区功能的估计器，并将问题重新制定为优化问题。我们进一步提出了一种最小动作类型的潜力，使我们能够快速解决优化问题作为馈送屈曲神经网络。我们证明了我们的方法对某些标准数据集的有效性。

最近的生成机器学习模型的进展重新推出了密码猜测领域的研究兴趣。基于GAN的数据驱动密码猜测方法和深度潜变量模型的方法显示了令人印象深刻的泛化性能，并为密码猜测提供了引人注目的属性。在本文中，我们提出了Passflow，一种基于流的生成模型方法来猜测。基于流的模型允许精确的对数似然计算和优化，这实现了精确潜在的变量推断。此外，基于流的模型提供了有意义的潜在空间表示，这使得能够探索潜在空间和插值的特定子空间。我们展示了生成流量的适用性到密码猜测的背景下，脱离了主要限于图像生成的连续空间的流网络的先前应用。我们显示Passflow能够在使用培训集中的密码猜测任务中以前的最先进的GaN的方法，这是一个训练集，该训练集是小于前一体的训练集。此外，生成的样本的定性分析表明，通信流可以准确地模拟原始密码的分布，甚至是不匹配的样本非常类似于人类的密码。

现代时间域的光度测验收集了许多天文学对象的观察结果，大规模调查的即将到来的时代将提供更多信息。大多数对象从未接受过光谱随访，这对于瞬态尤其至关重要。超新星。在这种情况下，观察到的光曲线可以提供负担得起的替代方案。时间序列被积极用于光度分类和表征，例如峰值和光度下降估计。但是，收集的时间序列是多维的，不规则地采样，包含异常值，并且没有明确定义的系统不确定性。机器学习方法有助于以最有效的方式从可用数据中提取有用的信息。我们考虑了基于神经网络的几种光曲线近似方法：多层感知，贝叶斯神经网络以及使流量正常化，以近似单光曲线观察。使用模拟的Parperc和Real Zwicky瞬态设施数据样本的测试表明，即使很少有观察值足以拟合网络并获得比其他最新方法更好的近似质量。我们表明，这项工作中描述的方法具有比高斯流程更快的计算复杂性和更快的工作速度。我们分析了旨在填补光曲线观察中空白的近似技术的性能，并表明使用适当的技术会提高峰值发现和超新星分类的准确性。此外，研究结果是在GitHub上可用的Fulu Python库中组织的，该库可以很容易地由社区使用。

概率分布允许从业者发现数据中的隐藏结构，并构建模型，以使用有限的数据解决监督的学习问题。该报告的重点是变异自动编码器，这是一种学习大型复杂数据集概率分布的方法。该报告提供了对变异自动编码器的理论理解，并巩固了该领域的当前研究。该报告分为多个章节，第一章介绍了问题，描述了变异自动编码器并标识了该领域的关键研究方向。第2、3、4和5章深入研究了每个关键研究领域的细节。第6章总结了报告，并提出了未来工作的指示。具有机器学习基本思想但想了解机器学习研究中的一般主题的读者可以从报告中受益。该报告解释了有关学习概率分布的中心思想，人们为使这种危险做些什么，并介绍了有关当前如何应用深度学习的细节。该报告还为希望为这个子场做出贡献的人提供了温和的介绍。

A normalizing flow models a complex probability density as an invertible transformation of a simple base density. Flows based on either coupling or autoregressive transforms both offer exact density evaluation and sampling, but rely on the parameterization of an easily invertible elementwise transformation, whose choice determines the flexibility of these models. Building upon recent work, we propose a fully-differentiable module based on monotonic rational-quadratic splines, which enhances the flexibility of both coupling and autoregressive transforms while retaining analytic invertibility. We demonstrate that neural spline flows improve density estimation, variational inference, and generative modeling of images.

正常化流动在过去几年中已经变得更加流行;然而，他们继续计算得昂贵，使得它们难以被接受到更广泛的机器学习界中。在本文中，我们介绍了一个简单的一维一层网络，其封闭形式的Lipschitz常数;使用此，我们介绍了一种新的精确嘴唇流（ELF），这些流量（ELF）结合了剩余流量的易于采样，并具有自回归流的强烈性能。此外，我们表明，与多个其他流相比，ELF被证明是通用密度近似器，更新和参数有效，并且在多个大规模数据集上实现最先进的性能。

The framework of normalizing flows provides a general strategy for flexible variational inference of posteriors over latent variables. We propose a new type of normalizing flow, inverse autoregressive flow (IAF), that, in contrast to earlier published flows, scales well to high-dimensional latent spaces. The proposed flow consists of a chain of invertible transformations, where each transformation is based on an autoregressive neural network. In experiments, we show that IAF significantly improves upon diagonal Gaussian approximate posteriors. In addition, we demonstrate that a novel type of variational autoencoder, coupled with IAF, is competitive with neural autoregressive models in terms of attained log-likelihood on natural images, while allowing significantly faster synthesis.

Autoregressive models are among the best performing neural density estimators. We describe an approach for increasing the flexibility of an autoregressive model, based on modelling the random numbers that the model uses internally when generating data. By constructing a stack of autoregressive models, each modelling the random numbers of the next model in the stack, we obtain a type of normalizing flow suitable for density estimation, which we call Masked Autoregressive Flow. This type of flow is closely related to Inverse Autoregressive Flow and is a generalization of Real NVP. Masked Autoregressive Flow achieves state-of-the-art performance in a range of general-purpose density estimation tasks.