Energy based models (EBMs) are appealing due to their generality and simplicity in likelihood modeling, but have been traditionally difficult to train. We present techniques to scale MCMC based EBM training on continuous neural networks, and we show its success on the high-dimensional data domains of ImageNet32x32, ImageNet128x128, CIFAR-10, and robotic hand trajectories, achieving better samples than other likelihood models and nearing the performance of contemporary GAN approaches, while covering all modes of the data. We highlight some unique capabilities of implicit generation such as compositionality and corrupt image reconstruction and inpainting. Finally, we show that EBMs are useful models across a wide variety of tasks, achieving state-of-the-art out-of-distribution classification, adversarially robust classification, state-of-the-art continual online class learning, and coherent long term predicted trajectory rollouts.

基于能量的模型（EBMS）最近成功地代表了少量图像的复杂分布。然而，对它们的抽样需要昂贵的马尔可夫链蒙特卡罗（MCMC）迭代在高维像素空间中缓慢混合。与EBMS不同，变形AutoEncoders（VAES）快速生成样本，并配备潜在的空间，使得数据歧管的快速遍历。然而，VAE倾向于将高概率密度分配到实际数据分布之外的数据空间中的区域，并且经常在产生清晰图像时失败。在本文中，我们提出了VAE的一个共生组成和ebm的vaebm，提供了两个世界的eBM。 VAEBM使用最先进的VAE捕获数据分布的整体模式结构，它依赖于其EBM组件，以明确地从模型中排除非数据样区域并优化图像样本。此外，VAEBM中的VAE组件允许我们通过在VAE的潜空间中重新处理它们来加速MCMC更新。我们的实验结果表明，VAEBM在几个基准图像数据集上以大量边距开辟了最先进的VAES和EBMS。它可以产生高于256 $ \倍的高质量图像，使用短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖范围，并在分配外检测中表现良好。源代码可在https://github.com/nvlabs/vaebm上获得

We introduce a new generative model where samples are produced via Langevin dynamics using gradients of the data distribution estimated with score matching. Because gradients can be ill-defined and hard to estimate when the data resides on low-dimensional manifolds, we perturb the data with different levels of Gaussian noise, and jointly estimate the corresponding scores, i.e., the vector fields of gradients of the perturbed data distribution for all noise levels. For sampling, we propose an annealed Langevin dynamics where we use gradients corresponding to gradually decreasing noise levels as the sampling process gets closer to the data manifold. Our framework allows flexible model architectures, requires no sampling during training or the use of adversarial methods, and provides a learning objective that can be used for principled model comparisons. Our models produce samples comparable to GANs on MNIST, CelebA and CIFAR-10 datasets, achieving a new state-of-the-art inception score of 8.87 on CIFAR-10. Additionally, we demonstrate that our models learn effective representations via image inpainting experiments.

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

我们研究了一种基于对抗性训练（AT）的学习基于能量的模型（EBM）的新方法。我们表明（二进制）学习一种特殊的能量功能，可以模拟数据分布的支持，并且学习过程与基于MCMC的EBM的最大似然学习密切相关。我们进一步提出了改进的与AT生成建模的技术，并证明这种新方法能够产生多样化和现实的图像。除了具有竞争性的图像生成性能到明确的EBM外，研究的方法还可以稳定训练，非常适合图像翻译任务，并且表现出强大的分布外对抗性鲁棒性。我们的结果证明了AT生成建模方法的生存能力，表明AT是学习EBM的竞争性替代方法。

基于似然或显式的深层生成模型使用神经网络来构建灵活的高维密度。该公式直接与歧管假设相矛盾，该假设指出，观察到的数据位于嵌入高维环境空间中的低维歧管上。在本文中，我们研究了在这种维度不匹配的情况下，最大可能的训练的病理。我们正式证明，在学习歧管本身而不是分布的情况下，可以实现堕落的优点，而我们称之为多种歧视的现象过于拟合。我们提出了一类两步程序，该过程包括降低降低步骤，然后进行最大样子密度估计，并证明它们在非参数方面恢复了数据生成分布，从而避免了多种歧视。我们还表明，这些过程能够对隐式模型（例如生成对抗网络）学到的流形进行密度估计，从而解决了这些模型的主要缺点。最近提出的几种方法是我们两步程序的实例。因此，我们统一，扩展和理论上证明了一大批模型。

我们提出了基于能量的生成流网络（EB-GFN），这是一种用于高维离散数据的新型概率建模算法。基于生成流网络（GFLOWNETS）的理论，我们通过随机数据构建政策对生成过程进行建模，从而将昂贵的MCMC探索摊销为从Gflownet采样的固定动作中。我们展示了Gflownets如何在模式之间进行大致进行大型Gibbs采样以混合。我们提出了一个框架，以共同训练具有能量功能的Gflownet，以便Gflownet学会从能量分布中进行采样，而能量则以近似MLE目标学习，并从GFLOWNET中使用负样本。我们证明了EB-GFN对各种概率建模任务的有效性。代码可在https://github.com/zdhnarsil/eb_gfn上公开获取。

基于能量的模型（EBMS）为密度估计提供了优雅的框架，但它们难以训练。最近的工作已经建立了与生成的对抗网络的联系，eBM通过具有变分值函数的最小游戏培训。我们提出了EBM Log-似然的双向界限，使得我们最大限度地提高了较低的界限，并在解决Minimax游戏时最小化上限。我们将一个绑定到梯度惩罚的一个稳定，稳定培训，从而提供最佳工程实践的基础。为了评估界限，我们开发了EBM发生器的Jacobi确定的新的高效估算器。我们证明这些发展显着稳定培训并产生高质量密度估计和样品生成。

由于难以应变的分区功能，通过最大可能性培训基于能量的模型（EBMS）需要Markov链蒙特卡罗（MCMC）采样，以近似数据和模型分布之间的kullback-Leibler发散的梯度。然而，由于模式之间的混合难以混合，因此从EBM中的样本是不普遍的。在本文中，我们建议学习变形式自动编码器（VAE）以初始化有限步骤MCMC，例如源自能量函数的Langevin动态，用于EBM的有效摊销采样。利用这些倒置的MCMC样品，可以通过最大似然训练EBM，其遵循“通过合成分析”方案;虽然VAE通过变分贝叶斯从这些MCMC样品中学习。我们称之为该联合训练算法的变分MCMC教学，其中VAE将ebm追溯到数据分布。我们将学习算法解释为信息几何上下文中的动态交替投影。我们所提出的模型可以生成与GANS和EBM相当的样本。此外，我们证明我们的模型可以了解有效的概率分布对受监督的条件学习任务。

我们可以在单个网络中训练混合歧视生成模型吗？最近在肯定中回答了这个问题，引入了基于联合能量的模型（JEM）的领域，该模型（JEM）同时达到了高分类的精度和图像生成质量。尽管有最近的进步，但仍存在两个性能差距：标准软磁性分类器的准确性差距，以及最先进的生成模型的发电质量差距。在本文中，我们引入了各种培训技术，以弥合JEM的准确性差距和一代质量差距。 1）我们结合了最近提出的清晰度最小化（SAM）框架来训练JEM，从而促进了能量景观的平滑度和JEM的普遍性。 2）我们将数据扩展排除在JEM的最大似然估计管道中，并减轻数据增强对图像生成质量的负面影响。在多个数据集上进行的广泛实验表明，我们的Sada-Jem在图像分类，图像产生，校准，分布外检测和对抗性鲁棒性方面实现了最先进的表现，并优于JEM JEM。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

基于能量的模型（EBMS）提供灵活的分布参数化。然而，由于难以应变的分隔功能，它们通常通过对比发散培训，以获得最大似然估计。在本文中，我们提出了伪球形对比偏差（PS-CD）来概括eBM的最大似然学习。 PS-CD源自严格适当的同质评分规则系列的最大化，这避免了难以处理分区功能的计算，并提供了包括对比分歧的广义学习目标作为特殊情况。此外，PS-CD允许我们灵活地选择各种学习目标，以便在没有额外的计算成本或变分性最低限度优化的情况下培训EBM。关于合成数据和常用图像数据集的提出方法和广泛实验的理论分析证明了PS-CD的有效性和建模灵活性，以及​​其对数据污染的鲁棒性，从而显示出其最大可能性和$ F $的优势 - ebms。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

我们介绍了用于生成建模的广义能量模型（GEBM）。这些模型组合了两个训练有素的组件：基本分布（通常是隐式模型），可以在高维空间中学习具有低固有尺寸的数据的支持;和能量功能，优化学习支持的概率质量。能量函数和基座都共同构成了最终模型，与GANS不同，它仅保留基本分布（“发电机”）。通过在学习能量和基础之间交替进行培训GEBMS。我们表明，两种培训阶段都明确定义：通过最大化广义可能性来学习能量，并且由此产生的能源的损失提供了学习基础的信息梯度。可以通过MCMC获得来自训练模型的潜在空间的后部的样品，从而在该空间中找到产生更好的质量样本的区域。经验上，图像生成任务上的GEBM样本比来自学习发电机的图像更好，表明所有其他相同，GEBM将优于同样复杂性的GAN。当使用归一化流作为基础测量时，GEBMS成功地启动密度建模任务，返回相当的性能以直接相同网络的最大可能性。

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan

清洁和不同标记的数据的可用性是培训复杂任务（例如视觉问答（VQA））的培训模型的主要障碍。大型视觉和语言模型的广泛工作表明，自我监督的学习对预处理多模式相互作用有效。在此技术报告中，我们专注于视觉表示。我们审查和评估自我监督的方法，以利用未标记的图像并预处理模型，然后我们对其进行了自定义VQA任务，该任务允许进行控制的评估和诊断。我们将基于能量的模型（EBM）与对比度学习（CL）进行比较。尽管EBM越来越受欢迎，但他们缺乏对下游任务的评估。我们发现，EBM和CL都可以从未标记的图像中学习表示形式，这些图像能够在很少的注释数据上训练VQA模型。在类似于CLEVR的简单设置中，我们发现CL表示还可以改善系统的概括，甚至匹配来自较大，监督，预测模型的表示的性能。但是，我们发现EBM由于不稳定性和结果差异很高而难以训练。尽管EBMS被证明对OOD检测有用，但基于监督的基于能量的训练和不确定性校准的其他结果在很大程度上是负面的。总体而言，CL当前似乎比EBM的选项更为可取。

生成建模研究的持续趋势是将样本分辨率推高更高，同时减少培训和采样的计算要求。我们的目标是通过技术的组合进一步推动这一趋势 - 每个组件代表当前效率在各自领域的顶峰。其中包括载体定量的GAN（VQ-GAN），该模型具有高水平的损耗 - 但感知上微不足道的压缩模型；沙漏变形金刚，一个高度可扩展的自我注意力模型；和逐步未胶片的denoising自动编码器（Sundae），一种非自动化（NAR）文本生成模型。出乎意料的是，当应用于多维数据时，我们的方法突出了沙漏变压器的原始公式中的弱点。鉴于此，我们建议对重采样机制进行修改，该机制适用于将分层变压器应用于多维数据的任何任务。此外，我们证明了圣代表到长序列长度的可伸缩性 - 比先前的工作长四倍。我们提出的框架秤达到高分辨率（$ 1024 \ times 1024 $），并迅速火车（2-4天）。至关重要的是，训练有素的模型在消费级GPU（GTX 1080TI）上大约2秒内生产多样化和现实的百像样品。通常，该框架是灵活的：支持任意数量的采样步骤，示例自动插入，自我纠正功能，有条件的生成和NAR公式，以允许任意介绍掩护。我们在FFHQ256上获得10.56的FID得分 - 仅在100个采样步骤中以不到一半的采样步骤接近原始VQ -GAN，而FFHQ1024的FFHQ1024和21.85。

近年来，生成的对抗网络（GAN）在各种任务和应用中都显示出了令人信服的结果。但是，模式崩溃仍然是gan的关键问题。在本文中，我们提出了一条新型的培训管道，以解决甘恩斯的模式崩溃问题。与现有方法不同，我们建议将鉴别器概括为特征嵌入，并最大程度地提高鉴别器学到的嵌入空间中分布的熵。具体而言，两个正则化术语，即深度局部线性嵌入（DLLE）和深度等距特征映射（疾病），旨在鼓励歧视者学习嵌​​入数据中的结构信息，以便可以是歧视器所学的嵌入空间，可以是可以得到的。形成良好。基于鉴别器支持的良好学习嵌入空间，非参数熵估计量旨在有效地最大化嵌入向量的熵，以最大化生成分布的熵的近似值。通过改善鉴别器并最大化嵌入空间中最相似的样品的距离，我们的管道可有效地减少模式崩溃的情况，而无需牺牲生成的样品的质量。广泛的实验结果表明，我们的方法的有效性超过了GAN基线，MAF-GAN在Celeba上（9.13 vs. 12.43），超过了最新的基于动漫的能量模型（Anime-Face DataSet（ 2.80 vs. 2.26的成立得分）。

本文研究了发电机模型潜在空间中基于学习能量模型（EBM）的基本问题。学习这种先前的模型通常需要运行昂贵的马尔可夫链蒙特卡洛（MCMC）。取而代之的是，我们建议使用噪声对比度估计（NCE）通过潜在的先验密度和潜在后部密度之间的密度比估计来区分EBM。但是，如果两个密度之间的差距很大，则NCE通常无法准确估计这种密度比。为了有效解决此问题并学习更具表现力的先验模型，我们开发了自适应多阶段密度比估计，该估计将估计分为多个阶段，并依次和适应性地学习密度比的不同阶段。可以使用前阶段估计的比率逐渐学习潜在的先验模型，以便最终的潜在空间EBM先验可以通过不同阶段的比率产物自然形成。所提出的方法比现有基线可以提供信息，并且可以有效地培训。我们的实验表明在图像产生和重建以及异常检测中表现出色。