扩散模型是强大的生成模型，可使用得分函数模拟扩散过程的反面，以合成噪声数据。扩散模型的采样过程可以解释为求解反向随机微分方程（SDE）或扩散过程的普通微分方程（ODE），通常需要多达数千个离散步骤来生成单个图像。这引发了人们对开发反向S/ODE的有效整合技术的极大兴趣。在这里，我们提出了一种基于得分的采样的正交方法：Denoising MCMC（DMCMC）。 DMCMC首先使用MCMC在数据和方差（或扩散时间）的产品空间中生产样品。然后，使用反向S/ODE积分器来定义MCMC样品。由于MCMC越过数据歧管接近数据，因此为DMCMC生产干净样品的计算成本远小于从噪声中产生干净样品的计算成本。为了验证拟议的概念，我们表明denoing langevin Gibbs（DLG）是DMCMC实例，成功地加速了有关CIFAR10和Celeba-HQ-HQ-256图像生成的这项工作中考虑的所有六个反向S/ODE集成器。值得注意的是，结合了Karras等人的集成商。 （2022）和Song等人的预训练分数模型。 （2021b），DLG达到SOTA结果。在CIFAR10上有限数量的分数功能评估（NFE）设置中，我们有$ 3.86 $ fid，$ \ \ \ \ \ $ \ $ \ $ 2.63 $ fid，$ \ \ \ \ \ \ 20 $ nfe。在Celeba-HQ-256上，我们有$ 6.99 $ fid，$ \ $ \ 160 $ nfe，击败了Kim等人的当前最佳记录。 （2022）在基于分数的型号中，$ 7.16 $ FID，$ 4000 $ NFE。代码：https：//github.com/1202KBS/DMCMC

基于分数的生成模型（SGMS）已经证明了显着的合成质量。 SGMS依赖于扩散过程，逐渐将数据逐渐渗透到贸易分布，而生成式模型则学会去噪。除了数据分布本身，这种去噪任务的复杂性是由扩散过程独特地确定的。我们认为当前的SGMS采用过于简单的扩散，导致不必要的复杂的去噪流程，限制了生成的建模性能。根据与统计力学的联系，我们提出了一种新型危及阻尼Langevin扩散（CLD），并表明基于CLD的SGMS实现了优异的性能。 CLD可以被解释为在扩展空间中运行关节扩散，其中辅助变量可以被视为耦合到数据变量的“速度”，如Hamiltonian动态。我们推导了一种用于CLD的小说得分匹配目标，并表明该模型仅需要了解给定数据的速度分布的条件分布的得分函数，而不是直接学习数据的分数。我们还导出了一种新的采样方案，用于从基于CLD的扩散模型有效合成。我们发现CLD在类似的网络架构和采样计算预算中优于综合质量的先前SGM。我们展示我们的CLD的新型采样器显着优于欧拉 - 玛雅山等求解器。我们的框架为基于刻痕的去噪扩散模型提供了新的见解，并且可以随时用于高分辨率图像合成。项目页面和代码：https：//nv-tlabs.github.io/cld-sgm。

我们的目标是将denoisis扩散隐式模型（DDIM）扩展到一般扩散模型〜（DMS）。我们没有像原始DDIM论文那样构建非马尔科夫no噪声过程，而是从数值的角度研究了DDIM的机制。我们发现，在求解相应的随机微分方程时，可以通过使用分数的一些特定近似值来获得DDIM。我们提出了DDIM加速效应的解释，该解释还解释了确定性抽样方案的优势，而不是随机采样方案进行快速采样。在此洞察力的基础上，我们将DDIM扩展到一般的DMS，并在参数化分数网络时进行了小而微妙的修改。当应用于批判性抑制的Langevin扩散模型时，最近提出的一种新型的扩散模型通过以速度增强扩散过程，我们的算法在CIFAR10上达到了2.28的FID分数，仅具有50个数量的得分功能评估（NFES）（NFES〜（NFES） ）和仅有27个NFE的FID分数为2.87，比所有具有相同NFE的现有方法要好。代码可从https://github.com/qsh-zh/gddim获得

We introduce a new generative model where samples are produced via Langevin dynamics using gradients of the data distribution estimated with score matching. Because gradients can be ill-defined and hard to estimate when the data resides on low-dimensional manifolds, we perturb the data with different levels of Gaussian noise, and jointly estimate the corresponding scores, i.e., the vector fields of gradients of the perturbed data distribution for all noise levels. For sampling, we propose an annealed Langevin dynamics where we use gradients corresponding to gradually decreasing noise levels as the sampling process gets closer to the data manifold. Our framework allows flexible model architectures, requires no sampling during training or the use of adversarial methods, and provides a learning objective that can be used for principled model comparisons. Our models produce samples comparable to GANs on MNIST, CelebA and CIFAR-10 datasets, achieving a new state-of-the-art inception score of 8.87 on CIFAR-10. Additionally, we demonstrate that our models learn effective representations via image inpainting experiments.

过去的几年见证了扩散模型〜（DMS）在生成建模任务中生成高保真样本方面取得的巨大成功。 DM的主要局限性是其臭名昭著的缓慢采样程序，通常需要数百到数千至数千个的时间离散步骤，以达到所需的准确性。我们的目标是为DMS开发快速采样方法，该方法的步骤少得多，同时保留了高样本质量。为此，我们系统地分析了DMS中的采样程序，并确定影响样本质量的关键因素，其中离散化方法至关重要。通过仔细检查学习的扩散过程，我们提出了扩散指数积分取样器〜（DEIS）。它基于设计用于离散的普通微分方程（ODE）的指数积分器，并利用学习扩散过程的半线性结构来减少离散误差。所提出的方法可以应用于任何DMS，并可以在短短10个步骤中生成高保真样本。在我们的实验中，一个A6000 GPU大约需要3分钟才能从CIFAR10产生$ 50K $的图像。此外，通过直接使用预训练的DMS，当得分函数评估的数量〜（NFE）的数量有限时，我们实现了最先进的采样性能，例如，使用10 NFES，3.37 FID和9.74的4.17 FID，仅为9.74 CIFAR10上的15个NFE。代码可从https://github.com/qsh-zh/deis获得

扩散模型的最新进展带来了图像生成任务的最新性能。然而，扩散模型的先前研究的经验结果意味着密度估计与样品产生性能之间存在逆相关性。本文研究了足够的经验证据，表明这种反相关发生，因为密度估计值显着造成了较小的扩散时间的贡献，而样品产生主要取决于大扩散时间。但是，在整个扩散时间内训练得分网络良好，因为损耗量表在每个扩散时间都显着不平衡。因此，为了成功训练，我们引入了软截断，这是一种普遍适用的扩散模型训练技术，将固定和静态截断的超参数软化为随机变量。在实验中，软截断可在CIFAR-10，Celeba，Celeba-HQ 256X256和STL-10数据集上实现最先进的性能。

扩散概率模型采用前向马尔可夫扩散链逐渐将数据映射到噪声分布，学习如何通过推断一个反向马尔可夫扩散链来生成数据以颠倒正向扩散过程。为了实现竞争性数据生成性能，他们需要一条长长的扩散链，这使它们在培训中不仅在培训中而且发电。为了显着提高计算效率，我们建议通过废除将数据扩散到随机噪声的要求来截断正向扩散链。因此，我们从隐式生成分布而不是随机噪声启动逆扩散链，并通过将其与截断的正向扩散链损坏的数据的分布相匹配来学习其参数。实验结果表明，就发电性能和所需的逆扩散步骤的数量而言，我们的截短扩散概率模型对未截断的概率模型提供了一致的改进。

基于分数的生成模型（SGMS）最近在样品质量和分配覆盖范围内表现出令人印象深刻的结果。但是，它们通常直接应用于数据空间，并且通常需要数千个网络评估来采样。在这里，我们提出了基于潜在的分数的生成模型（LSGM），这是一种在潜在空间中培训SGM的新方法，依赖于变分性AutoEncoder框架。从数据移动到潜伏空间允许我们培训更具表现力的生成模型，将SGMS应用于非连续数据，并在较小的空间中学习更顺畅的SGM，导致更少的网络评估和更快的采样。要以可扩展且稳定的方式启用培训LSGMS端到端，我们（i）我们（i）引入了适合于LSGM设置的新分数匹配目标，（ii）提出了一个新颖的分数函数参数化，允许SGM专注于关于简单正常的目标分布的不匹配，（III）分析了多种技术，用于减少训练目标的方差。 LSGM在CIFAR-10上获得最先进的FID分数为2.10，优先表现出此数据集的所有现有生成结果。在Celeba-HQ-256上，LSGM在样品质量上与先前的SGMS相同，同时以两个数量级的采样时间表现出来。在模拟二进制图像中，LSGM在二值化omniglot数据集上实现了最先进的可能性。我们的项目页面和代码可以在https://nvlabs.github.io/lsgm找到。

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。

去噪扩散概率模型（DDPMS）在没有对抗性训练的情况下实现了高质量的图像生成，但它们需要模拟Markov链以产生样品的许多步骤。为了加速采样，我们呈现去噪扩散隐式模型（DDIM），更有效的迭代类隐式概率模型，具有与DDPM相同的培训过程。在DDPMS中，生成过程被定义为Markovian扩散过程的反向。我们构建一类导致相同的训练目标的非马尔可瓦夫扩散过程，但其反向过程可能会更快地采样。我们经验证明，与DDPM相比，DDIM可以生产高质量的样本10倍以上$ 50 \时间$ 50 \倍。允许我们缩小对样本质量的计算，并可以直接执行语义有意义的图像插值潜在的空间。

We show that diffusion models can achieve image sample quality superior to the current state-of-the-art generative models. We achieve this on unconditional image synthesis by finding a better architecture through a series of ablations. For conditional image synthesis, we further improve sample quality with classifier guidance: a simple, compute-efficient method for trading off diversity for fidelity using gradients from a classifier. We achieve an FID of 2.97 on ImageNet 128×128, 4.59 on ImageNet 256×256, and 7.72 on ImageNet 512×512, and we match BigGAN-deep even with as few as 25 forward passes per sample, all while maintaining better coverage of the distribution. Finally, we find that classifier guidance combines well with upsampling diffusion models, further improving FID to 3.94 on ImageNet 256×256 and 3.85 on ImageNet 512×512. We release our code at https://github.com/openai/guided-diffusion.

我们定义了更广泛的腐败过程，该过程概括了先前已知的扩散模型。为了扭转这些一般的扩散，我们提出了一个称为“软得分匹配”的新目标，可以证明可以学习任何线性腐败过程的得分功能，并为Celeba提供最先进的结果。软得分匹配结合了网络中的降解过程，并训练模型以预测腐败与扩散观察相匹配的干净图像。我们表明，我们的目标在适当的规律性条件下为腐败过程的家庭学习了可能性的梯度。我们进一步开发了一种原则性的方法，以选择一般扩散过程的损坏水平和一种我们称为动量采样器的新型抽样方法。我们评估了我们的框架，腐败是高斯模糊和低幅度添加噪声。我们的方法在Celeba-64上获得了最先进的FID得分$ 1.85 $，表现优于所有以前的线性扩散模型。与香草deno的扩散相比，我们还显示出显着的计算益处。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

我们正式地用密度$ p_x $中的未知分发问题映射了从$ \ mathbb {r} ^ d $上学习和采样$ p_ \ mathbf {y} $ in $ \ mathbb {r} ^ {使用固定因子内核将$ P_X $获得的MD} $获取：$ p_ \ mathbf {y} $被称为m密度和因子内核作为多索静音噪声模型（MNM）。 m-litess比$ p_x $更顺畅，更容易学习和示例，但对于大量的$ m $来说，由于估计$ x $来估计$ \ mathbf {y} = \ mathbf {y $使用贝叶斯估算器$ \ widehat {x}（\ mathbf {y}）= \ mathbb {e} [x \ vert \ mathbf {y} = \ mathbf {y}。为了制定问题，我们从无通知$ P_ \ MATHBF {Y} $以封闭式表达以封闭式表示的泊松和高斯MNMS获得$ \ widehat {x}（\ mathbf {y}）$。这导致了用于学习参数能量和得分功能的简单最小二乘目标。我们展示了各种兴趣的参数化方案，包括研究高斯M密度直接导致多营养的自动化器 - 这是在文献中的去噪自动化器和经验贝叶斯之间进行的第一个理论连接。来自$ P_X $的示例由步行跳转采样（Saremi＆Hyvarinen，2019）通过欠款Langevin MCMC（Walk）从$ P_ \ Mathbf {Y} $和Multimeasurement Bayes估算$ x $（跳转）。我们研究Mnist，CiFar-10和FFHQ-256数据集上的置换不变高斯M密度，并证明了该框架的有效性，以实现高尺寸的快速混合稳定的马尔可夫链。

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan

去核扩散模型最近已成为强大的生成模型类别。它们提供最新的结果，不仅用于无条件模拟，而且还提供了解决在各种反问题中产生的条件模拟问题时。这些模型的一个局限性在于它们在生成时间上是计算密集型的，因为它们需要长期模拟扩散过程。进行无条件的模拟时，Schr \“生成建模的Odinger桥式公式会导致理论上接地的算法缩短生成时间，这与其他提出的加速技术互补。我们将Schr \'Edinger桥式桥式扩展到条件模拟。我们在各种应用程序上演示了这种新颖的方法，包括图像超分辨率，状态空间模型的最佳过滤以及预训练的网络的完善。我们的代码可以在https://github.com/vdeborto/cdsb上找到。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

基于分数的生成模型（SGM）最近已成为一类有希望的生成模型。但是，一个基本的限制是，由于需要许多顺序计算的迭代（例如，2000年），它们的推论非常慢。直观的加速方法是减少采样迭代，但是导致严重的性能降解。我们通过将扩散抽样过程视为大都市调整后的Langevin算法来研究这个问题，这有助于揭示根本的原因是条件不良的曲率。在这种见解下，我们提出了一种模型不足的预处理扩散采样（PDS）方法，该方法利用矩阵预处理以减轻上述问题。至关重要的是，在理论上证明了PDS可以收敛到SGM的原始目标分布，无需再进行重新训练。在三个图像数据集上进行了各种分辨率和多样性的广泛实验，可以验证PD始终加速现成的SGM，同时保持合成质量。特别是，PD在更具挑战性的高分辨率（1024x1024）图像生成上最多可加速29倍。