矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。

作为生成部件作为自回归模型的向量量化变形式自动化器（VQ-VAE）的集成在图像生成上产生了高质量的结果。但是，自回归模型将严格遵循采样阶段的逐步扫描顺序。这导致现有的VQ系列模型几乎不会逃避缺乏全球信息的陷阱。连续域中的去噪扩散概率模型（DDPM）显示了捕获全局背景的能力，同时产生高质量图像。在离散状态空间中，一些作品已经证明了执行文本生成和低分辨率图像生成的可能性。我们认为，在VQ-VAE的富含内容的离散视觉码本的帮助下，离散扩散模型还可以利用全局上下文产生高保真图像，这补偿了沿像素空间的经典自回归模型的缺陷。同时，离散VAE与扩散模型的集成解决了传统的自回归模型的缺点是超大的，以及在生成图像时需要在采样过程中的过度时间的扩散模型。结果发现所生成的图像的质量严重依赖于离散的视觉码本。广泛的实验表明，所提出的矢量量化离散扩散模型（VQ-DDM）能够实现与低复杂性的顶层方法的相当性能。它还展示了在没有额外培训的图像修复任务方面与自回归模型量化的其他矢量突出的优势。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

基于分数的生成模型（SGMS）最近在样品质量和分配覆盖范围内表现出令人印象深刻的结果。但是，它们通常直接应用于数据空间，并且通常需要数千个网络评估来采样。在这里，我们提出了基于潜在的分数的生成模型（LSGM），这是一种在潜在空间中培训SGM的新方法，依赖于变分性AutoEncoder框架。从数据移动到潜伏空间允许我们培训更具表现力的生成模型，将SGMS应用于非连续数据，并在较小的空间中学习更顺畅的SGM，导致更少的网络评估和更快的采样。要以可扩展且稳定的方式启用培训LSGMS端到端，我们（i）我们（i）引入了适合于LSGM设置的新分数匹配目标，（ii）提出了一个新颖的分数函数参数化，允许SGM专注于关于简单正常的目标分布的不匹配，（III）分析了多种技术，用于减少训练目标的方差。 LSGM在CIFAR-10上获得最先进的FID分数为2.10，优先表现出此数据集的所有现有生成结果。在Celeba-HQ-256上，LSGM在样品质量上与先前的SGMS相同，同时以两个数量级的采样时间表现出来。在模拟二进制图像中，LSGM在二值化omniglot数据集上实现了最先进的可能性。我们的项目页面和代码可以在https://nvlabs.github.io/lsgm找到。

Learning useful representations without supervision remains a key challenge in machine learning. In this paper, we propose a simple yet powerful generative model that learns such discrete representations. Our model, the Vector Quantised-Variational AutoEncoder (VQ-VAE), differs from VAEs in two key ways: the encoder network outputs discrete, rather than continuous, codes; and the prior is learnt rather than static. In order to learn a discrete latent representation, we incorporate ideas from vector quantisation (VQ). Using the VQ method allows the model to circumvent issues of "posterior collapse" --where the latents are ignored when they are paired with a powerful autoregressive decoder --typically observed in the VAE framework. Pairing these representations with an autoregressive prior, the model can generate high quality images, videos, and speech as well as doing high quality speaker conversion and unsupervised learning of phonemes, providing further evidence of the utility of the learnt representations.

在这项工作中，我们为生成自动编码器的变异培训提供了确切的可能性替代方法。我们表明，可以使用可逆层来构建VAE风格的自动编码器，该层提供了可拖动的精确可能性，而无需任何正则化项。这是在选择编码器，解码器和先前体系结构的全部自由的同时实现的，这使我们的方法成为培训现有VAE和VAE风格模型的替换。我们将结果模型称为流中的自动编码器（AEF），因为编码器，解码器和先验被定义为整体可逆体系结构的单个层。我们表明，在对数可能，样本质量和降低性能的方面，该方法的性能比结构上等效的VAE高得多。从广义上讲，这项工作的主要野心是在共同的可逆性和确切的最大可能性的共同框架下缩小正常化流量和自动编码器文献之间的差距。

Score-based modeling through stochastic differential equations (SDEs) has provided a new perspective on diffusion models, and demonstrated superior performance on continuous data. However, the gradient of the log-likelihood function, i.e., the score function, is not properly defined for discrete spaces. This makes it non-trivial to adapt \textcolor{\cdiff}{the score-based modeling} to categorical data. In this paper, we extend diffusion models to discrete variables by introducing a stochastic jump process where the reverse process denoises via a continuous-time Markov chain. This formulation admits an analytical simulation during backward sampling. To learn the reverse process, we extend score matching to general categorical data and show that an unbiased estimator can be obtained via simple matching of the conditional marginal distributions. We demonstrate the effectiveness of the proposed method on a set of synthetic and real-world music and image benchmarks.

虽然扩散概率模型可以产生高质量的图像内容，但仍然存在高分辨率图像的关键限制及其相关的高计算要求。最近的矢量量化图像模型已经克服了图像分辨率的这种限制，而是通过从之前的元素 - 明智的自回归采样生成令牌时，这是对图像分辨率的速度和单向的。相比之下，在本文中，我们提出了一种新的离散扩散概率模型，其通过使用无约束的变压器架构作为骨干来支持矢量量化令牌的并行预测。在培训期间，令牌以订单不可知的方式随机掩盖，变压器学会预测原始令牌。这种矢量量化令牌预测的并行性反过来促进了在计算费用的一小部分下的全球一致的高分辨率和多样性图像的无条件生成。以这种方式，我们可以产生超过原始训练集样本的图像分辨率，而另外提供每个图像似然估计（从生成的对抗方法的差点）。我们的方法在密度方面实现了最先进的结果（Lsun卧室：1.51; Lsun Churches：1.12; FFHQ：1.20）和覆盖范围（Lsun卧室：0.83; Lsun Churches：0.73; FFHQ：0.80），并执行竞争对手（LSUN卧室：3.64; LSUN教堂：4.07; FFHQ：6.11）在计算和减少训练套件要求方面提供优势。

扩散模型显示出令人难以置信的能力作为生成模型。实际上，它们为文本条件形成的图像生成（例如Imagen和dall-e2）提供了当前最新模型的启动基于观点。我们首先推导了变异扩散模型（VDM）作为马尔可夫分层变异自动编码器的特殊情况，其中三个关键假设可实现ELBO的可拖动计算和可扩展的优化。然后，我们证明，优化VDM归结为学习神经网络以预测三个潜在目标之一：来自任何任意噪声的原始源输入，任何任意噪声输入的原始源噪声或噪声的得分函数输入任何任意噪声水平。然后，我们更深入地研究学习分数函数的含义，并将扩散模型的变异透视图与通过Tweedie的公式明确地与基于得分的生成建模的角度联系起来。最后，我们涵盖了如何通过指导使用扩散模型学习条件分布的方法。

去噪扩散概率模型（DDPMS）在没有对抗性训练的情况下实现了高质量的图像生成，但它们需要模拟Markov链以产生样品的许多步骤。为了加速采样，我们呈现去噪扩散隐式模型（DDIM），更有效的迭代类隐式概率模型，具有与DDPM相同的培训过程。在DDPMS中，生成过程被定义为Markovian扩散过程的反向。我们构建一类导致相同的训练目标的非马尔可瓦夫扩散过程，但其反向过程可能会更快地采样。我们经验证明，与DDPM相比，DDIM可以生产高质量的样本10倍以上$ 50 \时间$ 50 \倍。允许我们缩小对样本质量的计算，并可以直接执行语义有意义的图像插值潜在的空间。

生成建模研究的持续趋势是将样本分辨率推高更高，同时减少培训和采样的计算要求。我们的目标是通过技术的组合进一步推动这一趋势 - 每个组件代表当前效率在各自领域的顶峰。其中包括载体定量的GAN（VQ-GAN），该模型具有高水平的损耗 - 但感知上微不足道的压缩模型；沙漏变形金刚，一个高度可扩展的自我注意力模型；和逐步未胶片的denoising自动编码器（Sundae），一种非自动化（NAR）文本生成模型。出乎意料的是，当应用于多维数据时，我们的方法突出了沙漏变压器的原始公式中的弱点。鉴于此，我们建议对重采样机制进行修改，该机制适用于将分层变压器应用于多维数据的任何任务。此外，我们证明了圣代表到长序列长度的可伸缩性 - 比先前的工作长四倍。我们提出的框架秤达到高分辨率（$ 1024 \ times 1024 $），并迅速火车（2-4天）。至关重要的是，训练有素的模型在消费级GPU（GTX 1080TI）上大约2秒内生产多样化和现实的百像样品。通常，该框架是灵活的：支持任意数量的采样步骤，示例自动插入，自我纠正功能，有条件的生成和NAR公式，以允许任意介绍掩护。我们在FFHQ256上获得10.56的FID得分 - 仅在100个采样步骤中以不到一半的采样步骤接近原始VQ -GAN，而FFHQ1024的FFHQ1024和21.85。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

近似复杂的概率密度是现代统计中的核心问题。在本文中，我们介绍了变分推理（VI）的概念，这是一种机器学习中的流行方法，该方法使用优化技术来估计复杂的概率密度。此属性允许VI汇聚速度比经典方法更快，例如Markov Chain Monte Carlo采样。概念上，VI通过选择一个概率密度函数，然后找到最接近实际概率密度的家庭 - 通常使用Kullback-Leibler（KL）发散作为优化度量。我们介绍了缩窄的证据，以促进近似的概率密度，我们审查了平均场变分推理背后的想法。最后，我们讨论VI对变分式自动编码器（VAE）和VAE-生成的对抗网络（VAE-GAN）的应用。用本文，我们的目标是解释VI的概念，并通过这种方法协助协助。

基于扩散的生成模型已经证明了感知上令人印象深刻的合成能力，但是它们也可以是基于可能性的模型吗？我们以肯定的方式回答了这一点，并介绍了一个基于扩散的生成模型家族，该模型可以在标准图像密度估计基准上获得最先进的可能性。与其他基于扩散的模型不同，我们的方法允许与其他模型的其余部分共同对噪声时间表进行有效优化。我们表明，根据扩散数据的信噪比，变异下限（VLB）简化为非常短的表达，从而改善了我们对该模型类别的理论理解。使用这种见解，我们证明了文献中提出的几个模型之间的等效性。此外，我们表明连续时间VLB在噪声方面不变，除了其端点处的信噪比。这使我们能够学习一个噪声时间表，以最大程度地减少所得VLB估计器的差异，从而更快地优化。将这些进步与建筑改进相结合，我们获得了图像密度估计基准的最先进的可能性，超过了多年来主导这些基准测试的自回旋模型，通常优化了很多年。此外，我们展示了如何将模型用作BITS背包压缩方案的一部分，并展示了接近理论最佳的无损压缩率。代码可在https://github.com/google-research/vdm上找到。

扩散概率模型已被证明在几个竞争性图像综合基准上产生最先进的结果，但缺乏低维，可解释的潜在空间，并且在一代中慢慢。另一方面，变形AutoEncoders（VAES）通常可以访问低维潜空间，但表现出差的样品质量。尽管最近的进步，VAE通常需要潜在代码的高维层次结构来产生高质量样本。我们呈现DiffUsevae，一种新的生成框架，它在扩散模型框架内集成了VAE，并利用这一点以设计用于扩散模型的新型条件参数化。我们表明所得模型可以在采样效率方面提高无条件扩散模型，同时还配备了具有低维VAE的扩散模型推断潜码。此外，我们表明所提出的模型可以产生高分辨率样本，并展示与标准基准上的最先进模型相当的合成质量。最后，我们表明所提出的方法可用于可控制的图像合成，并且还展示了图像超分辨率和去噪等下游任务的开箱即用功能。为了重现性，我们的源代码将公开可用于\ url {https://github.com/kpandey008/diffusevae}。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

The framework of normalizing flows provides a general strategy for flexible variational inference of posteriors over latent variables. We propose a new type of normalizing flow, inverse autoregressive flow (IAF), that, in contrast to earlier published flows, scales well to high-dimensional latent spaces. The proposed flow consists of a chain of invertible transformations, where each transformation is based on an autoregressive neural network. In experiments, we show that IAF significantly improves upon diagonal Gaussian approximate posteriors. In addition, we demonstrate that a novel type of variational autoencoder, coupled with IAF, is competitive with neural autoregressive models in terms of attained log-likelihood on natural images, while allowing significantly faster synthesis.

We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound designed according to a novel connection between diffusion probabilistic models and denoising score matching with Langevin dynamics, and our models naturally admit a progressive lossy decompression scheme that can be interpreted as a generalization of autoregressive decoding. On the unconditional CIFAR10 dataset, we obtain an Inception score of 9.46 and a state-of-the-art FID score of 3.17. On 256x256 LSUN, we obtain sample quality similar to ProgressiveGAN. Our implementation is available at https://github.com/hojonathanho/diffusion.

基于分数的生成模型和扩散概率模型已经成功地在连续域中产生高质量样本，例如图像和音频。然而，由于他们的LangeVin启发了采样机制，它们对离散和顺序数据的应用受到限制。在这项工作中，我们通过参数化在预先训练的变化性AutiaceOder的连续潜空间中的离散域参数，介绍了一种用于训练延伸模型的技术。我们的方法是非自回归的，并学习通过反向过程生成潜在嵌入的序列，并通过恒定数量的迭代细化步骤提供并行生成。与在相同连续嵌入的自回归语言模型相比，我们将这种技术应用于建模符号音乐，并显示出强大的无条件生成和后HOC条件缺陷结果。