标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

为了克服拓扑限制并提高常规流量架构，吴，K \“ohler和No \'e的表达性引入了随机采样方法的随机标准化流程，该流程与随机取样方法相结合的确定性，可学习的流动变换。在本文中，我们考虑随机标准化流量一个马尔可夫链的观点。特别是，我们通过马尔可夫内核替换过渡密度，并通过氡-Nikodym衍生物建立证据，允许以声音方式结合没有密度的分布。此外，我们概括了从后部分布中抽样的结果逆问题所需。通过数值实施例证明了所提出的条件随机标准化流程的性能。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

Normalizing flows are a powerful tool for generative modelling, density estimation and posterior reconstruction in Bayesian inverse problems. In this paper, we introduce proximal residual flows, a new architecture of normalizing flows. Based on the fact, that proximal neural networks are by definition averaged operators, we ensure invertibility of certain residual blocks. Moreover, we extend the architecture to conditional proximal residual flows for posterior reconstruction within Bayesian inverse problems. We demonstrate the performance of proximal residual flows on numerical examples.

我们开发了一个探索漏洞利用马尔可夫链Monte Carlo算法（$ \ OperatorName {ex ^ 2mcmc} $），它结合了多个全局提议和本地移动。所提出的方法是巨大的平行化和极其计算的高效。我们证明$ \ operatorname {ex ^ 2mcmc} $下的$ v $ v $ -unique几何ergodicity在现实条件下，并计算混合速率的显式界限，显示多个全局移动带来的改进。我们展示$ \ operatorname {ex ^ 2mcmc} $允许通过提出依赖全局移动的新方法进行微调剥削（本地移动）和探索（全球移动）。最后，我们开发了一个自适应方案，$ \ OperatorName {Flex ^ 2mcmc} $，它学习使用归一化流的全局动作的分布。我们说明了许多经典采样基准测试的$ \ OperatorName {ex ^ 2mccmc} $及其自适应版本的效率。我们还表明，这些算法提高了对基于能量的模型的抽样GAN的质量。

我们研究是否使用两个条件型号$ p（x | z）$和$ q（z | x）$，以使用循环的两个条件型号，我们如何建模联合分配$ p（x，z）$。这是通过观察到深入生成模型的动机，除了可能的型号$ p（x | z）$，通常也使用推理型号$ q（z | x）$来提取表示，但它们通常依赖不表征的先前分配$ P（z）$来定义联合分布，这可能会使后塌和歧管不匹配等问题。为了探讨仅使用$ p（x | z）$和$ q（z | x）$模拟联合分布的可能性，我们研究其兼容性和确定性，对应于其条件分布一致的联合分布的存在和唯一性跟他们。我们为可操作的等价标准开发了一般理论，以实现兼容性，以及足够的确定条件。基于该理论，我们提出了一种新颖的生成建模框架来源，仅使用两个循环条件模型。我们开发方法以实现兼容性和确定性，并使用条件模型适合和生成数据。通过预先删除的约束，Cygen更好地适合数据并捕获由合成和现实世界实验支持的更多代表性特征。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

The modeling of probability distributions, specifically generative modeling and density estimation, has become an immensely popular subject in recent years by virtue of its outstanding performance on sophisticated data such as images and texts. Nevertheless, a theoretical understanding of its success is still incomplete. One mystery is the paradox between memorization and generalization: In theory, the model is trained to be exactly the same as the empirical distribution of the finite samples, whereas in practice, the trained model can generate new samples or estimate the likelihood of unseen samples. Likewise, the overwhelming diversity of distribution learning models calls for a unified perspective on this subject. This paper provides a mathematical framework such that all the well-known models can be derived based on simple principles. To demonstrate its efficacy, we present a survey of our results on the approximation error, training error and generalization error of these models, which can all be established based on this framework. In particular, the aforementioned paradox is resolved by proving that these models enjoy implicit regularization during training, so that the generalization error at early-stopping avoids the curse of dimensionality. Furthermore, we provide some new results on landscape analysis and the mode collapse phenomenon.

引入后二十年多，退火重要性采样（AIS）仍然是边际可能性估计的最有效方法之一。它依赖于一系列分布序列在可聊天的初始分布和利益的目标分布之间插值，我们从大约使用非均匀的马尔可夫链中模拟了分布。为了获得边际可能性的重要性采样估计，AIS引入了扩展的目标分布，以重新持续马尔可夫链提案。尽管已经大量努力通过更改AIS使用的提案分布，通过更改中间分布和相应的马尔可夫内核，但不被评估的问题是AIS使用方便但次优的扩展目标分布。这可能会阻碍其性能。我们在这里利用基于分数的生成建模（SGM）的最新进展来近似与Langevin和Hamiltonian Dynamics离散化相对应的AIS建议的最佳扩展目标分布。我们在许多合成基准分布和变异自动编码器上展示了这些新颖的，可区分的AIS程序。

退火重要性采样（AIS）是一种流行的算法，用于估计深层生成模型的棘手边际可能性。尽管AIS可以保证为任何一组超参数提供无偏估计，但共同的实现依赖于简单的启发式方法，例如初始和目标分布之间的几何平均桥接分布，这些分布在计算预算有限时会影响估计性性能。由于使用Markov过渡中的大都市磨碎（MH）校正步骤，因此对完全参数AI的优化仍然具有挑战性。我们提出一个具有灵活中间分布的参数AIS过程，并优化桥接分布以使用较少数量的采样步骤。一种重新聚集方法，它允许我们优化分布序列和Markov转换的参数，该参数适用于具有MH校正的大型Markov内核。我们评估了优化AIS的性能，以进行深层生成模型的边际可能性估计，并将其与其他估计器进行比较。

我们提出了连续重复的退火流传输蒙特卡洛（CRAFT），该方法结合了顺序的蒙特卡洛（SMC）采样器（本身是退火重要性采样的概括）与使用归一化流量的变异推断。直接训练了归一化的流量，可用于使用KL差异进行每个过渡，以在退火温度之间运输。使用归一化流/SMC近似值估算了此优化目标。我们从概念上展示并使用多个经验示例，这些示例可以改善退火流运输蒙特卡洛（Arbel等，2021），并在其上建造，也可以在基于马尔可夫链蒙特卡洛（MCMC）基于基于的随机归一化流（Wu等人。2020）。通过将工艺纳入粒子MCMC中，我们表明，这种学识渊博的采样器可以在具有挑战性的晶格场理论示例中获得令人印象深刻的准确结果。

我们介绍了用于生成建模的广义能量模型（GEBM）。这些模型组合了两个训练有素的组件：基本分布（通常是隐式模型），可以在高维空间中学习具有低固有尺寸的数据的支持;和能量功能，优化学习支持的概率质量。能量函数和基座都共同构成了最终模型，与GANS不同，它仅保留基本分布（“发电机”）。通过在学习能量和基础之间交替进行培训GEBMS。我们表明，两种培训阶段都明确定义：通过最大化广义可能性来学习能量，并且由此产生的能源的损失提供了学习基础的信息梯度。可以通过MCMC获得来自训练模型的潜在空间的后部的样品，从而在该空间中找到产生更好的质量样本的区域。经验上，图像生成任务上的GEBM样本比来自学习发电机的图像更好，表明所有其他相同，GEBM将优于同样复杂性的GAN。当使用归一化流作为基础测量时，GEBMS成功地启动密度建模任务，返回相当的性能以直接相同网络的最大可能性。

我们呈现路径积分采样器〜（PIS），一种新型算法，用于从非正规化概率密度函数中绘制样本。 PIS建立在SCHR \“odinger桥问题上，旨在恢复鉴于其初始分布和终端分布的扩散过程的最可能演变。PIS从初始分布中抽取样品，然后通过SCHR \”传播样本“少剂桥到达终端分布。应用Girsanov定理，通过简单的先前扩散，我们将PIS制定为随机最佳控制问题，其运行成本是根据目标分布选择控制能量和终端成本。通过将控件建模为神经网络，我们建立了一种可以训练结束到底的采样算法。在使用子最优控制时，我们在Wassersein距离方面提供了PIS的采样质量的理论典范。此外，路径积分理论用于计算样本的重要性权重，以补偿由控制器的次级最优性和时间离散化引起的偏差。我们通过关于各种任务的其他启动采样方法进行了实验证明了PIS的优势。

在这项工作中，我们已经提出了一种称为VAE-Krnet的生成模型，用于密度估计或近似，其将规范变形Autiachoder（VAE）与我们最近开发的基于流的生成模型相结合，称为Krnet。 VAE用作尺寸减少技术以捕获潜伏空间，并且Krnet用于模拟潜在变量的分布。在数据和潜在变量之间使用线性模型，我们表明VAE-Krnet可以比规范VAE更有效且鲁棒。 VAE-KRNET可以用作密度模型，以近似数据分布或任意概率密度函数（PDF）已知到常数。 VAE-KRNET在维度方面灵活。当尺寸的数量相对较小时，Krnet可以有效地近似于原始随机变量的分布。对于高维病例，我们可以使用VAE-Krnet合并尺寸减少。 VAE-Krnet的一个重要应用是用于后部分布的近似的变分贝叶。变分贝叶斯方法通常基于模型和后部之间的Kullback-Leibler（KL）发散的最小化。对于高尺寸分布，由于维度的诅咒构建精确的密度模型是非常具有挑战性的，其中通常引入额外的假设以效率。例如，经典平均场方法假设尺寸之间的相互独立性，这通常会导致由于过度简化而产生低估的方差。为了减轻这个问题，我们包括丢失潜在随机变量和原始随机变量之间的相互信息的最大化，这有助于从低密度的区域保持更多信息，使得方差估计得到改善。

Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.

在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性，并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异，使网格上的基础空间离散，并且不可扩展。在这项工作中，我们提出了一种可扩展的近端梯度型算法，用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式，这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。

我们正式地用密度$ p_x $中的未知分发问题映射了从$ \ mathbb {r} ^ d $上学习和采样$ p_ \ mathbf {y} $ in $ \ mathbb {r} ^ {使用固定因子内核将$ P_X $获得的MD} $获取：$ p_ \ mathbf {y} $被称为m密度和因子内核作为多索静音噪声模型（MNM）。 m-litess比$ p_x $更顺畅，更容易学习和示例，但对于大量的$ m $来说，由于估计$ x $来估计$ \ mathbf {y} = \ mathbf {y $使用贝叶斯估算器$ \ widehat {x}（\ mathbf {y}）= \ mathbb {e} [x \ vert \ mathbf {y} = \ mathbf {y}。为了制定问题，我们从无通知$ P_ \ MATHBF {Y} $以封闭式表达以封闭式表示的泊松和高斯MNMS获得$ \ widehat {x}（\ mathbf {y}）$。这导致了用于学习参数能量和得分功能的简单最小二乘目标。我们展示了各种兴趣的参数化方案，包括研究高斯M密度直接导致多营养的自动化器 - 这是在文献中的去噪自动化器和经验贝叶斯之间进行的第一个理论连接。来自$ P_X $的示例由步行跳转采样（Saremi＆Hyvarinen，2019）通过欠款Langevin MCMC（Walk）从$ P_ \ Mathbf {Y} $和Multimeasurement Bayes估算$ x $（跳转）。我们研究Mnist，CiFar-10和FFHQ-256数据集上的置换不变高斯M密度，并证明了该框架的有效性，以实现高尺寸的快速混合稳定的马尔可夫链。

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。