我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。

我们提出了两个连续分布之间的最佳传输方法（OT）问题的方法（x_1-x_0）] $在耦合$（x_0，x_1）$的集合中，其在$ x_0，x_1 $等于$ \ pi_0，\ pi_1 $上的边缘分布，其中$ c $是成本函数。我们的方法迭代地构建了一系列神经普通可区分的方程式（ODE），每个方程式（ODE）通过求解简单的无约束回归问题来学习，该问题可以单调地降低运输成本，同时自动保留边缘约束。这产生了一种单调的内部方法，该方法在有效耦合的集合中穿越以降低运输成本，从而将自身与大多数现有方法区分开来，从而强制执行耦合约束与外部。该方法的主要思想是从整流流程中获取的，最近的一种方法可以同时降低凸函数$ c $引起的整个运输成本（因此本质上是多目标），但并非量身定制以最大程度地减少特定的运输成本。我们的方法是整流流的单对象变体，可以保证为固定的，用户指定的凸成本函数$ c $解决OT问题。

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

过去的几年见证了扩散模型〜（DMS）在生成建模任务中生成高保真样本方面取得的巨大成功。 DM的主要局限性是其臭名昭著的缓慢采样程序，通常需要数百到数千至数千个的时间离散步骤，以达到所需的准确性。我们的目标是为DMS开发快速采样方法，该方法的步骤少得多，同时保留了高样本质量。为此，我们系统地分析了DMS中的采样程序，并确定影响样本质量的关键因素，其中离散化方法至关重要。通过仔细检查学习的扩散过程，我们提出了扩散指数积分取样器〜（DEIS）。它基于设计用于离散的普通微分方程（ODE）的指数积分器，并利用学习扩散过程的半线性结构来减少离散误差。所提出的方法可以应用于任何DMS，并可以在短短10个步骤中生成高保真样本。在我们的实验中，一个A6000 GPU大约需要3分钟才能从CIFAR10产生$ 50K $的图像。此外，通过直接使用预训练的DMS，当得分函数评估的数量〜（NFE）的数量有限时，我们实现了最先进的采样性能，例如，使用10 NFES，3.37 FID和9.74的4.17 FID，仅为9.74 CIFAR10上的15个NFE。代码可从https://github.com/qsh-zh/deis获得

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

常见的图像到图像翻译方法依赖于来自源和目标域的数据的联合培训。这可以防止培训过程保留域数据的隐私（例如，在联合环境中），并且通常意味着必须对新模型进行新的模型。我们提出了双扩散隐式桥（DDIB），这是一种基于扩散模型的图像翻译方法，它绕过域对训练。带有DDIBS的图像翻译依赖于对每个域独立训练的两个扩散模型，并且是一个两步的过程：DDIB首先获得具有源扩散模型的源图像的潜在编码，然后使用目标模型来解码此类编码，以构造目标模型。这两个步骤均通过ODE定义，因此该过程仅与ODE求解器的离散误差有关。从理论上讲，我们将DDIB解释为潜在源的串联，而潜在的靶向Schr \” Odinger Bridges是一种熵调节的最佳运输形式，以解释该方法的功效。我们在实验上都应用了ddibs，在合成和高级和高位上应用DDIB分辨率图像数据集，以在各种翻译任务中演示其实用性及其与现有最佳传输方法的连接。

基于扩散的生成模型最近取得了令人鼓舞的结果，但在概念理解，理论分析，算法改进和扩展到离散，结构化的，非欧盟域的扩展方面提出了一系列开放问题。这项工作试图重新研究整体框架，以获得更好的理论理解并为来自任意域的数据开发算法扩展。通过将扩散模型视为具有未观察到扩散轨迹的潜在变量模型，并应用最大的似然估计（MLE），并用辅助分布估算的潜在轨迹，我们表明，潜在轨迹的模型构建和插入的潜在轨迹构成了构建扩散桥的过程，从而实现了扩散桥梁的过程终点的确定性价值和约束，为此我们提供了系统的研究和一套工具。利用我们的框架，我们提出了1）对学习扩散生成模型的第一个理论错误分析，以及2）一种简单而统一的方法，用于从不同离散和受限域中学习数据。实验表明，我们的方法在生成图像，语义片段和3D点云方面表现出色。

基于分数的生成模型（SGMS）已经证明了显着的合成质量。 SGMS依赖于扩散过程，逐渐将数据逐渐渗透到贸易分布，而生成式模型则学会去噪。除了数据分布本身，这种去噪任务的复杂性是由扩散过程独特地确定的。我们认为当前的SGMS采用过于简单的扩散，导致不必要的复杂的去噪流程，限制了生成的建模性能。根据与统计力学的联系，我们提出了一种新型危及阻尼Langevin扩散（CLD），并表明基于CLD的SGMS实现了优异的性能。 CLD可以被解释为在扩展空间中运行关节扩散，其中辅助变量可以被视为耦合到数据变量的“速度”，如Hamiltonian动态。我们推导了一种用于CLD的小说得分匹配目标，并表明该模型仅需要了解给定数据的速度分布的条件分布的得分函数，而不是直接学习数据的分数。我们还导出了一种新的采样方案，用于从基于CLD的扩散模型有效合成。我们发现CLD在类似的网络架构和采样计算预算中优于综合质量的先前SGM。我们展示我们的CLD的新型采样器显着优于欧拉 - 玛雅山等求解器。我们的框架为基于刻痕的去噪扩散模型提供了新的见解，并且可以随时用于高分辨率图像合成。项目页面和代码：https：//nv-tlabs.github.io/cld-sgm。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

去噪扩散概率模型（DDPMS）在没有对抗性训练的情况下实现了高质量的图像生成，但它们需要模拟Markov链以产生样品的许多步骤。为了加速采样，我们呈现去噪扩散隐式模型（DDIM），更有效的迭代类隐式概率模型，具有与DDPM相同的培训过程。在DDPMS中，生成过程被定义为Markovian扩散过程的反向。我们构建一类导致相同的训练目标的非马尔可瓦夫扩散过程，但其反向过程可能会更快地采样。我们经验证明，与DDPM相比，DDIM可以生产高质量的样本10倍以上$ 50 \时间$ 50 \倍。允许我们缩小对样本质量的计算，并可以直接执行语义有意义的图像插值潜在的空间。

The modeling of probability distributions, specifically generative modeling and density estimation, has become an immensely popular subject in recent years by virtue of its outstanding performance on sophisticated data such as images and texts. Nevertheless, a theoretical understanding of its success is still incomplete. One mystery is the paradox between memorization and generalization: In theory, the model is trained to be exactly the same as the empirical distribution of the finite samples, whereas in practice, the trained model can generate new samples or estimate the likelihood of unseen samples. Likewise, the overwhelming diversity of distribution learning models calls for a unified perspective on this subject. This paper provides a mathematical framework such that all the well-known models can be derived based on simple principles. To demonstrate its efficacy, we present a survey of our results on the approximation error, training error and generalization error of these models, which can all be established based on this framework. In particular, the aforementioned paradox is resolved by proving that these models enjoy implicit regularization during training, so that the generalization error at early-stopping avoids the curse of dimensionality. Furthermore, we provide some new results on landscape analysis and the mode collapse phenomenon.

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

我们提出了一个首次击中扩散模型（FHDM）的家族，该模型是深层生成模型，该模型以扩散过程生成数据，该过程在随机的首次击中时间终止。这产生了在预先指定的确定性时间终止的标准固定时间扩散模型的扩展。尽管标准扩散模型是为连续不受约束的数据而设计的，但FHDM自然设计用于在连续以及一系列离散和结构域上学习分布。此外，FHDM启用依赖实例的终止时间，并加速扩散过程，以更少的扩散步骤采样更高质量的数据。从技术上讲，我们通过根据DOOB的$ h $转换得出的有条件的首次击中过程（即桥）来训练FHDM，以最大的似然估计从观察到的数据增强的扩散轨迹（即桥梁），从而偏离了常用的使用时间反转机制。我们应用FHDM在各个领域中生成数据，例如点云（一般连续分布），地球上的气候和地理事件（球体上的连续分布），未加权图（二进制矩阵的分布）以及2D图像的分割图（高度图像（高） - 二维分配）。我们观察到与质量和速度的最新方法相比，相比之下。

我们的目标是将denoisis扩散隐式模型（DDIM）扩展到一般扩散模型〜（DMS）。我们没有像原始DDIM论文那样构建非马尔科夫no噪声过程，而是从数值的角度研究了DDIM的机制。我们发现，在求解相应的随机微分方程时，可以通过使用分数的一些特定近似值来获得DDIM。我们提出了DDIM加速效应的解释，该解释还解释了确定性抽样方案的优势，而不是随机采样方案进行快速采样。在此洞察力的基础上，我们将DDIM扩展到一般的DMS，并在参数化分数网络时进行了小而微妙的修改。当应用于批判性抑制的Langevin扩散模型时，最近提出的一种新型的扩散模型通过以速度增强扩散过程，我们的算法在CIFAR10上达到了2.28的FID分数，仅具有50个数量的得分功能评估（NFES）（NFES〜（NFES） ）和仅有27个NFE的FID分数为2.87，比所有具有相同NFE的现有方法要好。代码可从https://github.com/qsh-zh/gddim获得

扩散（基于得分）生成模型已被广泛用于建模各种类型的复杂数据，包括图像，音频和点云。最近，已经揭示了前向后的随机微分方程（SDE）和基于扩散的模型之间的深厚连接，并提出了几种新的SDE变体（例如，Sub-VP，批判性抑制的Langevin）。尽管手工制作的固定前进SDE取得了经验成功，但仍未探索大量适当的正向SDE。在这项工作中，我们提出了一个通用框架，用于参数化扩散模型，尤其是正向SDE的空间部分。引入了一种抽象的形式主义，并具有理论保证，并且它与以前的扩散模型的联系得到了利用。我们从优化的角度展示了我们方法的理论优势。还提出了关于合成数据集，矿工和CIFAR10的数值实验，以验证我们框架的有效性。

扩散模型已成为深层生成建模的最有希望的框架之一。在这项工作中，我们探讨了不均匀扩散模型的潜力。我们表明，非均匀扩散会导致多尺度扩散模型，这些模型与多尺度归一化流的结构相似。我们从实验上发现，在相同或更少的训练时间中，多尺度扩散模型比标准均匀扩散模型获得更好的FID得分。更重要的是，它生成样品$ 4.4 $ 4.4美元的$ 4.4 $ $ 128 \ times 128 $分辨率。在使用更多量表的较高分辨率中，预计加速度将更高。此外，我们表明，不均匀的扩散导致有条件得分函数的新估计量，该估计函数以最新的条件降解估计量以PAR性能达到了PAR性能。我们的理论和实验性发现伴随着开源库MSDIFF，可以促进对非均匀扩散模型的进一步研究。

Diffusion models have recently outperformed alternative approaches to model the distribution of natural images, such as GANs. Such diffusion models allow for deterministic sampling via the probability flow ODE, giving rise to a latent space and an encoder map. While having important practical applications, such as estimation of the likelihood, the theoretical properties of this map are not yet fully understood. In the present work, we partially address this question for the popular case of the VP SDE (DDPM) approach. We show that, perhaps surprisingly, the DDPM encoder map coincides with the optimal transport map for common distributions; we support this claim theoretically and by extensive numerical experiments.

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan