扩散模型最近显示出对生成建模的巨大希望，在密度估计下的感知质量和自回归模型上的表现优于gan。剩余的缺点是它们的缓慢采样时间：生成高质量的样品需要数百或数千次模型评估。在这里，我们做出了两项贡献，以帮助消除这一缺点：首先，我们提出了扩散模型的新参数化，这些参数在使用几个采样步骤时提供了增加的稳定性。其次，我们提出了一种使用许多步骤提炼训练有素的确定性扩散采样器的方法，将其采用一半的采样步骤。然后，我们继续逐步将此蒸馏过程应用于我们的模型，每次将所需的采样步骤的数量减半。在CIFAR-10，Imagenet和LSUN等标准图像生成基准上，我们从最先进的采样器开始采用多达8192步，并且能够将其蒸馏到型号中，而不会丢失4个步骤多种感知质量；例如，以4个步骤在CIFAR-10上实现3.0的FID。最后，我们表明，完整的渐进式蒸馏过程不需要花费更多的时间来训练原始模型，从而代表了在火车和测试时间使用扩散的生成建模的有效解决方案。

基于扩散的生成模型已经证明了感知上令人印象深刻的合成能力，但是它们也可以是基于可能性的模型吗？我们以肯定的方式回答了这一点，并介绍了一个基于扩散的生成模型家族，该模型可以在标准图像密度估计基准上获得最先进的可能性。与其他基于扩散的模型不同，我们的方法允许与其他模型的其余部分共同对噪声时间表进行有效优化。我们表明，根据扩散数据的信噪比，变异下限（VLB）简化为非常短的表达，从而改善了我们对该模型类别的理论理解。使用这种见解，我们证明了文献中提出的几个模型之间的等效性。此外，我们表明连续时间VLB在噪声方面不变，除了其端点处的信噪比。这使我们能够学习一个噪声时间表，以最大程度地减少所得VLB估计器的差异，从而更快地优化。将这些进步与建筑改进相结合，我们获得了图像密度估计基准的最先进的可能性，超过了多年来主导这些基准测试的自回旋模型，通常优化了很多年。此外，我们展示了如何将模型用作BITS背包压缩方案的一部分，并展示了接近理论最佳的无损压缩率。代码可在https://github.com/google-research/vdm上找到。

Classifier-free guided diffusion models have recently been shown to be highly effective at high-resolution image generation, and they have been widely used in large-scale diffusion frameworks including DALLE-2, Stable Diffusion and Imagen. However, a downside of classifier-free guided diffusion models is that they are computationally expensive at inference time since they require evaluating two diffusion models, a class-conditional model and an unconditional model, tens to hundreds of times. To deal with this limitation, we propose an approach to distilling classifier-free guided diffusion models into models that are fast to sample from: Given a pre-trained classifier-free guided model, we first learn a single model to match the output of the combined conditional and unconditional models, and then we progressively distill that model to a diffusion model that requires much fewer sampling steps. For standard diffusion models trained on the pixel-space, our approach is able to generate images visually comparable to that of the original model using as few as 4 sampling steps on ImageNet 64x64 and CIFAR-10, achieving FID/IS scores comparable to that of the original model while being up to 256 times faster to sample from. For diffusion models trained on the latent-space (e.g., Stable Diffusion), our approach is able to generate high-fidelity images using as few as 1 to 4 denoising steps, accelerating inference by at least 10-fold compared to existing methods on ImageNet 256x256 and LAION datasets. We further demonstrate the effectiveness of our approach on text-guided image editing and inpainting, where our distilled model is able to generate high-quality results using as few as 2-4 denoising steps.

降级扩散概率模型（DDPM）最近在许多生成任务中都取得了领先的性能。但是，继承的迭代采样过程成本阻碍了他们的应用程序到文本到语音部署。通过有关扩散模型参数化的初步研究，我们发现以前基于梯度的TTS模型需要数百或数千个迭代以保证高样本质量，这对加速采样带来了挑战。在这项工作中，我们提出了Prodiff的建议，以用于高质量文本到语音的渐进快速扩散模型。与以前的估计数据密度梯度的工作不同，Prodiff通过直接预测清洁数据来避免在加速采样时避免明显的质量降解来参数化denoising模型。为了通过减少扩散迭代来应对模型收敛挑战，Prodiff通过知识蒸馏减少目标位点的数据差异。具体而言，Denoising模型使用N-Step DDIM教师的生成的MEL光谱图作为训练目标，并将行为提炼成具有N/2步的新模型。因此，它允许TTS模型做出尖锐的预测，并通过数量级进一步减少采样时间。我们的评估表明，Prodiff仅需要两次迭代即可合成高保真性MEL光谱图，同时使用数百个步骤保持样本质量和多样性与最先进的模型竞争。 Prodiff在单个NVIDIA 2080TI GPU上的采样速度比实时快24倍，这使得扩散模型实际上是第一次适用于文本到语音综合部署。我们广泛的消融研究表明，Prodiff中的每种设计都是有效的，我们进一步表明，Prodiff可以轻松扩展到多扬声器设置。音频样本可在\ url {https://prodiff.github.io/。}上找到

最近，Rissanen等人（2022年）提出了一种基于热量耗散或模糊的生成建模的新型扩散过程，作为各向同性高斯扩散的替代方法。在这里，我们表明，可以通过与非各向异性噪声的高斯扩散过程来等效地定义模糊。在建立这一联系时，我们弥合了反热量耗散和降解扩散之间的缝隙，并阐明了由于这种建模选择而导致的感应偏置。最后，我们提出了一类普遍的扩散模型，该模型既可以提供标准的高斯denoisis扩散和逆热散热，我们称之为模糊的扩散模型。

We show that diffusion models can achieve image sample quality superior to the current state-of-the-art generative models. We achieve this on unconditional image synthesis by finding a better architecture through a series of ablations. For conditional image synthesis, we further improve sample quality with classifier guidance: a simple, compute-efficient method for trading off diversity for fidelity using gradients from a classifier. We achieve an FID of 2.97 on ImageNet 128×128, 4.59 on ImageNet 256×256, and 7.72 on ImageNet 512×512, and we match BigGAN-deep even with as few as 25 forward passes per sample, all while maintaining better coverage of the distribution. Finally, we find that classifier guidance combines well with upsampling diffusion models, further improving FID to 3.94 on ImageNet 256×256 and 3.85 on ImageNet 512×512. We release our code at https://github.com/openai/guided-diffusion.

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

分类器指南是一种最近引入的方法，可在有条件扩散模型的培训后进行交易模式覆盖范围和样本保真度，其精神与其他类型的生成模型中的低温采样或截断相同。分类器指南将扩散模型的得分估计与图像分类器的梯度相结合，因此需要训练与扩散模型分开的图像分类器。它还提出了一个问题，即在没有分类器的情况下是否可以执行指导。我们表明，确实可以通过没有这样的分类器的纯生成模型来执行指导：在我们所谓的无分类器指导中，我们共同训练有条件的和无条件的扩散模型，我们结合了所得的条件和无条件得分估算样本质量和多样性之间的权衡类似于使用分类器指南获得的样本质量和多样性。

生成时间连贯的高保真视频是生成建模研究中的重要里程碑。我们通过提出一个视频生成的扩散模型来取得这一里程碑的进步，该模型显示出非常有希望的初始结果。我们的模型是标准图像扩散体系结构的自然扩展，它可以从图像和视频数据中共同训练，我们发现这可以减少Minibatch梯度的方差并加快优化。为了生成长而更高的分辨率视频，我们引入了一种新的条件抽样技术，用于空间和时间视频扩展，该技术的性能比以前提出的方法更好。我们介绍了大型文本条件的视频生成任务，以及最新的结果，以实现视频预测和无条件视频生成的确定基准。可从https://video-diffusion.github.io/获得补充材料

Denoising diffusion probabilistic models (DDPM) are a class of generative models which have recently been shown to produce excellent samples. We show that with a few simple modifications, DDPMs can also achieve competitive loglikelihoods while maintaining high sample quality. Additionally, we find that learning variances of the reverse diffusion process allows sampling with an order of magnitude fewer forward passes with a negligible difference in sample quality, which is important for the practical deployment of these models. We additionally use precision and recall to compare how well DDPMs and GANs cover the target distribution. Finally, we show that the sample quality and likelihood of these models scale smoothly with model capacity and training compute, making them easily scalable. We release our code at https://github.com/ openai/improved-diffusion.

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound designed according to a novel connection between diffusion probabilistic models and denoising score matching with Langevin dynamics, and our models naturally admit a progressive lossy decompression scheme that can be interpreted as a generalization of autoregressive decoding. On the unconditional CIFAR10 dataset, we obtain an Inception score of 9.46 and a state-of-the-art FID score of 3.17. On 256x256 LSUN, we obtain sample quality similar to ProgressiveGAN. Our implementation is available at https://github.com/hojonathanho/diffusion.

尽管扩散模型在图像生成中表现出了巨大的成功，但它们的噪声生成过程并未明确考虑图像的结构，例如它们固有的多尺度性质。受扩散模型的启发和粗到精细建模的可取性，我们提出了一个新模型，该模型通过迭代反转热方程式生成图像，当在图像的2D平面上运行时，PDE局部删除了细尺度信息。在我们的新方法中，正向热方程的解被解释为有向图形模型中的变异近似。我们展示了有希望的图像质量，并指出了在扩散模型中未见的新兴定性特性，例如在神经网络可解释性的图像和各个方面的整体颜色和形状分解。对自然图像的光谱分析将我们的模型定位为扩散模型的一种双重偶，并揭示了其中的隐式感应偏见。

扩散概率模型（DPM）是新兴的强大生成模型。尽管具有高质量的生成性能，但DPM仍然遭受缓慢采样的苦难，因为它们通常需要数百或数千个大型神经网络的顺序函数评估（步骤）来绘制样本。可以将来自DPM的采样视为求解相应的扩散普通微分方程（ODE）。在这项工作中，我们提出了扩散ODE的溶液的精确表述。该公式通过分析计算解决方案的线性部分，而不是将所有术语留给先前工作中采用的黑盒ode求解器。通过应用可变化的更改，可以将解决方案等效地简化为神经网络的指数加权积分。根据我们的公式，我们提出了DPM-Solver，这是一种通过收敛顺序保证的快速专用高阶求解器。 DPM溶剂适用于离散时间和连续时间DPM，而无需进行任何进一步的培训。实验结果表明，DPM-Solver可以在各种数据集上的10至20个功能评估中生成高质量的样本。我们在10个功能评估中实现了4.70 FID，在CIFAR10数据集上进行20个功能评估中的2.87 FID，与以前的各种数据集中的先前最先进的无培训样本器相比，$ 4 \ sim 16 \ times $速度。

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan

我们表明，级联扩散模型能够在类条件的想象生成基准上生成高保真图像，而无需辅助图像分类器的任何帮助来提高样品质量。级联的扩散模型包括多个扩散模型的流水线，其产生越来越多的分辨率，以最低分辨率的标准扩散模型开始，然后是一个或多个超分辨率扩散模型，其连续上追随图像并添加更高的分辨率细节。我们发现级联管道的样本质量至关重要的是调节增强，我们提出的数据增强较低分辨率调节输入到超级分辨率模型的方法。我们的实验表明，调节增强防止在级联模型中采样过程中的复合误差，帮助我们在256×256分辨率下，在128x128和4.88，优于63.02的分类精度分数，培训级联管道。 ％（TOP-1）和84.06％（TOP-5）在256x256，优于VQ-VAE-2。

基于分数的生成模型（SGMS）最近在样品质量和分配覆盖范围内表现出令人印象深刻的结果。但是，它们通常直接应用于数据空间，并且通常需要数千个网络评估来采样。在这里，我们提出了基于潜在的分数的生成模型（LSGM），这是一种在潜在空间中培训SGM的新方法，依赖于变分性AutoEncoder框架。从数据移动到潜伏空间允许我们培训更具表现力的生成模型，将SGMS应用于非连续数据，并在较小的空间中学习更顺畅的SGM，导致更少的网络评估和更快的采样。要以可扩展且稳定的方式启用培训LSGMS端到端，我们（i）我们（i）引入了适合于LSGM设置的新分数匹配目标，（ii）提出了一个新颖的分数函数参数化，允许SGM专注于关于简单正常的目标分布的不匹配，（III）分析了多种技术，用于减少训练目标的方差。 LSGM在CIFAR-10上获得最先进的FID分数为2.10，优先表现出此数据集的所有现有生成结果。在Celeba-HQ-256上，LSGM在样品质量上与先前的SGMS相同，同时以两个数量级的采样时间表现出来。在模拟二进制图像中，LSGM在二值化omniglot数据集上实现了最先进的可能性。我们的项目页面和代码可以在https://nvlabs.github.io/lsgm找到。

基于得分的生成模型（SGM）是最近提出的深层生成任务范式，现在显示出最新的采样性能。众所周知，原始SGM设计解决了生成三元素的两个问题：i）取样质量，ii）采样多样性。但是，三元素的最后一个问题没有解决，即，众所周知，他们的训练/采样复杂性很高。为此，将SGM蒸馏成更简单的模型，例如生成对抗网络（GAN），目前正在引起很多关注。我们提出了一种增强的蒸馏方法，称为直透插值GAN（SPI-GAN），可以将其与最新的基于快捷方式的蒸馏方法进行比较，称为Denoising扩散GAN（DD-GAN）。但是，我们的方法对应于一种极端方法，该方法不使用反向SDE路径的任何中间快捷方式，在这种情况下，DD-GAN无法获得良好的结果。然而，我们的直径插值方法极大地稳定了整体训练过程。结果，就CIFAR-10，Celeba-HQ-256和Lsun-Church-256的采样质量/多样性/时间而言，SPI-GAN是最佳模型之一。

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。