Normalizing flows, autoregressive models, variational autoencoders (VAEs), and deep energy-based models are among competing likelihood-based frameworks for deep generative learning. Among them, VAEs have the advantage of fast and tractable sampling and easy-to-access encoding networks. However, they are currently outperformed by other models such as normalizing flows and autoregressive models. While the majority of the research in VAEs is focused on the statistical challenges, we explore the orthogonal direction of carefully designing neural architectures for hierarchical VAEs. We propose Nouveau VAE (NVAE), a deep hierarchical VAE built for image generation using depth-wise separable convolutions and batch normalization. NVAE is equipped with a residual parameterization of Normal distributions and its training is stabilized by spectral regularization. We show that NVAE achieves state-of-the-art results among non-autoregressive likelihood-based models on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ datasets and it provides a strong baseline on FFHQ. For example, on CIFAR-10, NVAE pushes the state-of-the-art from 2.98 to 2.91 bits per dimension, and it produces high-quality images on CelebA HQ as shown in Fig. 1. To the best of our knowledge, NVAE is the first successful VAE applied to natural images as large as 256×256 pixels. The source code is available at https://github.com/NVlabs/NVAE.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

变形AutoEncoders（VAES）是具有许多域中应用的强大的基于似然的生成模型之一。然而，他们努力产生高质量的图像，尤其是当样品从之前没有任何回火时获得。 VAES生成质量的一个解释是先前孔问题：前提分配不能匹配近似后部的总体近似。由于这种不匹配，在不对应于任何编码图像的之前，存在具有高密度的潜在空间中的区域。来自这些区域的样本被解码为损坏的图像。为了解决这个问题，我们提出了基于能源的基础产品，由基础产品的乘积和重新免除因子，旨在使基座更接近骨料后部。我们通过噪声对比估计训练重重的因素，我们将其概括为具有许多潜在变量组的分层VAE。我们的实验证实，所提出的噪声对比前沿通过MNIST，CIFAR-10，CELEBA 64和Celeba HQ 256数据集的大边缘改善了最先进的VAE的生成性能。我们的方法很简单，可以应用于各种VAE，以提高其先前分配的表现。

基于分数的生成模型（SGMS）最近在样品质量和分配覆盖范围内表现出令人印象深刻的结果。但是，它们通常直接应用于数据空间，并且通常需要数千个网络评估来采样。在这里，我们提出了基于潜在的分数的生成模型（LSGM），这是一种在潜在空间中培训SGM的新方法，依赖于变分性AutoEncoder框架。从数据移动到潜伏空间允许我们培训更具表现力的生成模型，将SGMS应用于非连续数据，并在较小的空间中学习更顺畅的SGM，导致更少的网络评估和更快的采样。要以可扩展且稳定的方式启用培训LSGMS端到端，我们（i）我们（i）引入了适合于LSGM设置的新分数匹配目标，（ii）提出了一个新颖的分数函数参数化，允许SGM专注于关于简单正常的目标分布的不匹配，（III）分析了多种技术，用于减少训练目标的方差。 LSGM在CIFAR-10上获得最先进的FID分数为2.10，优先表现出此数据集的所有现有生成结果。在Celeba-HQ-256上，LSGM在样品质量上与先前的SGMS相同，同时以两个数量级的采样时间表现出来。在模拟二进制图像中，LSGM在二值化omniglot数据集上实现了最先进的可能性。我们的项目页面和代码可以在https://nvlabs.github.io/lsgm找到。

基于能量的模型（EBMS）最近成功地代表了少量图像的复杂分布。然而，对它们的抽样需要昂贵的马尔可夫链蒙特卡罗（MCMC）迭代在高维像素空间中缓慢混合。与EBMS不同，变形AutoEncoders（VAES）快速生成样本，并配备潜在的空间，使得数据歧管的快速遍历。然而，VAE倾向于将高概率密度分配到实际数据分布之外的数据空间中的区域，并且经常在产生清晰图像时失败。在本文中，我们提出了VAE的一个共生组成和ebm的vaebm，提供了两个世界的eBM。 VAEBM使用最先进的VAE捕获数据分布的整体模式结构，它依赖于其EBM组件，以明确地从模型中排除非数据样区域并优化图像样本。此外，VAEBM中的VAE组件允许我们通过在VAE的潜空间中重新处理它们来加速MCMC更新。我们的实验结果表明，VAEBM在几个基准图像数据集上以大量边距开辟了最先进的VAES和EBMS。它可以产生高于256 $ \倍的高质量图像，使用短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖范围，并在分配外检测中表现良好。源代码可在https://github.com/nvlabs/vaebm上获得

传感器融合可以显着提高许多计算机视觉任务的性能。但是，传统的融合方法要么不是数据驱动的，也不能利用先验知识，也不能在给定数据集中找到规律性，或者它们仅限于单个应用程序。我们通过呈现一种新型深层分层变异自动编码器来克服这一缺点，称为FusionVae，可以作为许多融合任务的基础。我们的方法能够生成以多个嘈杂，遮挡或仅部分可见的输入图像来调节的各种图像样本。我们得出并优化了融合的条件对数似然的变化下限。为了彻底评估模型的融合功能，我们根据流行的计算机视觉数据集创建了三个新颖的图像融合数据集。在我们的实验中，我们表明FusionVae学习了与融合任务相关的汇总信息的表示。结果表明，我们的方法表现明显优于传统方法。此外，我们介绍了不同设计选择的优势和缺点。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

在这项工作中，我们为生成自动编码器的变异培训提供了确切的可能性替代方法。我们表明，可以使用可逆层来构建VAE风格的自动编码器，该层提供了可拖动的精确可能性，而无需任何正则化项。这是在选择编码器，解码器和先前体系结构的全部自由的同时实现的，这使我们的方法成为培训现有VAE和VAE风格模型的替换。我们将结果模型称为流中的自动编码器（AEF），因为编码器，解码器和先验被定义为整体可逆体系结构的单个层。我们表明，在对数可能，样本质量和降低性能的方面，该方法的性能比结构上等效的VAE高得多。从广义上讲，这项工作的主要野心是在共同的可逆性和确切的最大可能性的共同框架下缩小正常化流量和自动编码器文献之间的差距。

The framework of normalizing flows provides a general strategy for flexible variational inference of posteriors over latent variables. We propose a new type of normalizing flow, inverse autoregressive flow (IAF), that, in contrast to earlier published flows, scales well to high-dimensional latent spaces. The proposed flow consists of a chain of invertible transformations, where each transformation is based on an autoregressive neural network. In experiments, we show that IAF significantly improves upon diagonal Gaussian approximate posteriors. In addition, we demonstrate that a novel type of variational autoencoder, coupled with IAF, is competitive with neural autoregressive models in terms of attained log-likelihood on natural images, while allowing significantly faster synthesis.

We explore the use of Vector Quantized Variational AutoEncoder (VQ-VAE) models for large scale image generation. To this end, we scale and enhance the autoregressive priors used in VQ-VAE to generate synthetic samples of much higher coherence and fidelity than possible before. We use simple feed-forward encoder and decoder networks, making our model an attractive candidate for applications where the encoding and/or decoding speed is critical. Additionally, VQ-VAE requires sampling an autoregressive model only in the compressed latent space, which is an order of magnitude faster than sampling in the pixel space, especially for large images. We demonstrate that a multi-scale hierarchical organization of VQ-VAE, augmented with powerful priors over the latent codes, is able to generate samples with quality that rivals that of state of the art Generative Adversarial Networks on multifaceted datasets such as ImageNet, while not suffering from GAN's known shortcomings such as mode collapse and lack of diversity.

深度神经网络拥有的一个重要股权是在以前看不见的数据上对分发检测（OOD）进行强大的能力。在为现实世界应用程序部署模型时，此属性对于安全目的至关重要。最近的研究表明，概率的生成模型可以在这项任务上表现不佳，这令他们寻求估计培训数据的可能性。为了减轻这个问题，我们提出了对变分性自动化器（VAE）的指数倾斜的高斯先前分配。通过此之前，我们能够使用VAE自然分配的负面日志可能性来实现最先进的结果，同时比某些竞争方法快的数量级。我们还表明，我们的模型生产高质量的图像样本，这些样本比标准高斯VAE更清晰。新的先前分配具有非常简单的实现，它使用kullback leibler发散，该kullback leibler发散，该横向leibler发散，该分解比较潜伏向量的长度与球体的半径之间的差异。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

Unsupervised learning of probabilistic models is a central yet challenging problem in machine learning. Specifically, designing models with tractable learning, sampling, inference and evaluation is crucial in solving this task. We extend the space of such models using real-valued non-volume preserving (real NVP) transformations, a set of powerful, stably invertible, and learnable transformations, resulting in an unsupervised learning algorithm with exact log-likelihood computation, exact and efficient sampling, exact and efficient inference of latent variables, and an interpretable latent space. We demonstrate its ability to model natural images on four datasets through sampling, log-likelihood evaluation, and latent variable manipulations.

在没有监督信号的情况下学习简洁的数据表示是机器学习的基本挑战。实现此目标的一种突出方法是基于可能性的模型，例如变异自动编码器（VAE），以基于元元素来学习潜在表示，这是对下游任务有益的一般前提（例如，disentanglement）。但是，这种方法通常偏离原始的可能性体系结构，以应用引入的元优势，从而导致他们的培训不良变化。在本文中，我们提出了一种新颖的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），该方法与潜在和数据分布直接匹配。 GWAE模型不是基于可能性的目标，而是通过最小化Gromov-Wasserstein（GW）度量的训练优化。 GW度量测量了在无与伦比的空间上支持的分布之间的面向结构的差异，例如具有不同的维度。通过限制可训练的先验的家庭，我们可以介绍元主题来控制下游任务的潜在表示。与现有基于VAE的方法的经验比较表明，GWAE模型可以通过更改先前的家族而无需进一步修改GW目标来基于元家庭学习表示。

Image super-resolution is a one-to-many problem, but most deep-learning based methods only provide one single solution to this problem. In this work, we tackle the problem of diverse super-resolution by reusing VD-VAE, a state-of-the art variational autoencoder (VAE). We find that the hierarchical latent representation learned by VD-VAE naturally separates the image low-frequency information, encoded in the latent groups at the top of the hierarchy, from the image high-frequency details, determined by the latent groups at the bottom of the latent hierarchy. Starting from this observation, we design a super-resolution model exploiting the specific structure of VD-VAE latent space. Specifically, we train an encoder to encode low-resolution images in the subset of VD-VAE latent space encoding the low-frequency information, and we combine this encoder with VD-VAE generative model to sample diverse super-resolved version of a low-resolution input. We demonstrate the ability of our method to generate diverse solutions to the super-resolution problem on face super-resolution with upsampling factors x4, x8, and x16.

Flow-based generative models (Dinh et al., 2014) are conceptually attractive due to tractability of the exact log-likelihood, tractability of exact latent-variable inference, and parallelizability of both training and synthesis. In this paper we propose Glow, a simple type of generative flow using an invertible 1 × 1 convolution. Using our method we demonstrate a significant improvement in log-likelihood on standard benchmarks. Perhaps most strikingly, we demonstrate that a generative model optimized towards the plain log-likelihood objective is capable of efficient realisticlooking synthesis and manipulation of large images. The code for our model is available at https://github.com/openai/glow.

一个著名的矢量定量变分自动编码器（VQ-VAE）的问题是，学识渊博的离散表示形式仅使用代码书的全部容量的一小部分，也称为代码书崩溃。我们假设VQ-VAE的培训计划涉及一些精心设计的启发式方法，这是这个问题的基础。在本文中，我们提出了一种新的训练方案，该方案通过新颖的随机去量化和量化扩展标准VAE，称为随机量化变异自动编码器（SQ-VAE）。在SQ-VAE中，我们观察到一种趋势，即在训练的初始阶段进行量化是随机的，但逐渐收敛于确定性量化，我们称之为自宣传。我们的实验表明，SQ-VAE在不使用常见启发式方法的情况下改善了代码书的利用率。此外，我们从经验上表明，在视觉和语音相关的任务中，SQ-VAE优于VAE和VQ-VAE。

在本文中，我们介绍了拆分变量自动编码器（SVAE）的概念，其输出$ \ hat {x} $作为加权sum $ \ sigma \ odot \ hat {x_1} +（1- \ sigma）两个生成图像的hat {x_2} $ $ \ hat {x_1}，\ hat {x_2} $和$ \ sigma $是{\ em lecarne}的构图图。组合图像$ \ hat {x_1}，\ hat {x_2} $以及$ \ sigma $ -map由模型自动合成。该网络经常进行训练，通常是变异自动编码器，训练和重建图像之间具有负loglikelihood的损失。 $ \ hat {x_1}，\ hat {x_2} $或$ \ sigma $，都不需要额外的损失。分解是非确定性的，但遵循两个主要方案，我们可以将大致分为\ say {stantactic}或\ say {smantic}。在第一种情况下，地图倾向于利用相邻像素之间的强相关性，将图像分为两个互补的高频子图像。在第二种情况下，地图通常集中在对象的轮廓上，以其内容的有趣变体分开图像，并具有更明显和独特的特征。在这种情况下，根据经验观察，$ \ hat {x_1} $和$ \ hat {x_2} $通常比$ \ hat {x {x更好）的fr \'echet Inception Inception Inception距离（fid）{x_1} $和$ \ hat {x_2} $通常更低} $，显然是前者的平均值。从某种意义上说，SVAE迫使变异自动编码器做出选择，与替代方案之间的固有趋势相反，其目的是最大程度地减少针对特定样本的重建损失。根据FID指标，我们的技术在MNIST，CIFAR10和CELEBA等典型数据集上进行了测试，使我们能够胜过所有以前所有以前的纯粹构造（不依赖归一化流）。

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan

仅观察一组有限的示例，应该能够从新分布中生成数据。在几次学习中，该模型经过了来自分布的许多集合的数据培训，这些分布共享了一些基本属性，例如来自不同字母的字符集或来自不同类别的对象。我们将当前的潜在变量模型扩展到具有基于注意力级聚合的基于注意力的点的完全层次结构方法，并将我们的方法scha-vae称为set-context层次层次结构 - 构造变异自动编码器。我们探索基于似然的模型比较，迭代数据采样和无适应性分布概括。我们的结果表明，分层公式可以更好地捕获小型数据制度中集合中的内在变异性。这项工作将深层可变方法推广到几乎没有学习的方法，迈出了一步，朝着大规模的几杆生成迈出了一步。

Variational autoencoders (VAEs) are powerful tools for learning latent representations of data used in a wide range of applications. In practice, VAEs usually require multiple training rounds to choose the amount of information the latent variable should retain. This trade-off between the reconstruction error (distortion) and the KL divergence (rate) is typically parameterized by a hyperparameter $\beta$. In this paper, we introduce Multi-Rate VAE (MR-VAE), a computationally efficient framework for learning optimal parameters corresponding to various $\beta$ in a single training run. The key idea is to explicitly formulate a response function that maps $\beta$ to the optimal parameters using hypernetworks. MR-VAEs construct a compact response hypernetwork where the pre-activations are conditionally gated based on $\beta$. We justify the proposed architecture by analyzing linear VAEs and showing that it can represent response functions exactly for linear VAEs. With the learned hypernetwork, MR-VAEs can construct the rate-distortion curve without additional training and can be deployed with significantly less hyperparameter tuning. Empirically, our approach is competitive and often exceeds the performance of multiple $\beta$-VAEs training with minimal computation and memory overheads.