Learning useful representations without supervision remains a key challenge in machine learning. In this paper, we propose a simple yet powerful generative model that learns such discrete representations. Our model, the Vector Quantised-Variational AutoEncoder (VQ-VAE), differs from VAEs in two key ways: the encoder network outputs discrete, rather than continuous, codes; and the prior is learnt rather than static. In order to learn a discrete latent representation, we incorporate ideas from vector quantisation (VQ). Using the VQ method allows the model to circumvent issues of "posterior collapse" --where the latents are ignored when they are paired with a powerful autoregressive decoder --typically observed in the VAE framework. Pairing these representations with an autoregressive prior, the model can generate high quality images, videos, and speech as well as doing high quality speaker conversion and unsupervised learning of phonemes, providing further evidence of the utility of the learnt representations.

矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。

在这项工作中，我们为生成自动编码器的变异培训提供了确切的可能性替代方法。我们表明，可以使用可逆层来构建VAE风格的自动编码器，该层提供了可拖动的精确可能性，而无需任何正则化项。这是在选择编码器，解码器和先前体系结构的全部自由的同时实现的，这使我们的方法成为培训现有VAE和VAE风格模型的替换。我们将结果模型称为流中的自动编码器（AEF），因为编码器，解码器和先验被定义为整体可逆体系结构的单个层。我们表明，在对数可能，样本质量和降低性能的方面，该方法的性能比结构上等效的VAE高得多。从广义上讲，这项工作的主要野心是在共同的可逆性和确切的最大可能性的共同框架下缩小正常化流量和自动编码器文献之间的差距。

We explore the use of Vector Quantized Variational AutoEncoder (VQ-VAE) models for large scale image generation. To this end, we scale and enhance the autoregressive priors used in VQ-VAE to generate synthetic samples of much higher coherence and fidelity than possible before. We use simple feed-forward encoder and decoder networks, making our model an attractive candidate for applications where the encoding and/or decoding speed is critical. Additionally, VQ-VAE requires sampling an autoregressive model only in the compressed latent space, which is an order of magnitude faster than sampling in the pixel space, especially for large images. We demonstrate that a multi-scale hierarchical organization of VQ-VAE, augmented with powerful priors over the latent codes, is able to generate samples with quality that rivals that of state of the art Generative Adversarial Networks on multifaceted datasets such as ImageNet, while not suffering from GAN's known shortcomings such as mode collapse and lack of diversity.

一个著名的矢量定量变分自动编码器（VQ-VAE）的问题是，学识渊博的离散表示形式仅使用代码书的全部容量的一小部分，也称为代码书崩溃。我们假设VQ-VAE的培训计划涉及一些精心设计的启发式方法，这是这个问题的基础。在本文中，我们提出了一种新的训练方案，该方案通过新颖的随机去量化和量化扩展标准VAE，称为随机量化变异自动编码器（SQ-VAE）。在SQ-VAE中，我们观察到一种趋势，即在训练的初始阶段进行量化是随机的，但逐渐收敛于确定性量化，我们称之为自宣传。我们的实验表明，SQ-VAE在不使用常见启发式方法的情况下改善了代码书的利用率。此外，我们从经验上表明，在视觉和语音相关的任务中，SQ-VAE优于VAE和VQ-VAE。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

作为生成部件作为自回归模型的向量量化变形式自动化器（VQ-VAE）的集成在图像生成上产生了高质量的结果。但是，自回归模型将严格遵循采样阶段的逐步扫描顺序。这导致现有的VQ系列模型几乎不会逃避缺乏全球信息的陷阱。连续域中的去噪扩散概率模型（DDPM）显示了捕获全局背景的能力，同时产生高质量图像。在离散状态空间中，一些作品已经证明了执行文本生成和低分辨率图像生成的可能性。我们认为，在VQ-VAE的富含内容的离散视觉码本的帮助下，离散扩散模型还可以利用全局上下文产生高保真图像，这补偿了沿像素空间的经典自回归模型的缺陷。同时，离散VAE与扩散模型的集成解决了传统的自回归模型的缺点是超大的，以及在生成图像时需要在采样过程中的过度时间的扩散模型。结果发现所生成的图像的质量严重依赖于离散的视觉码本。广泛的实验表明，所提出的矢量量化离散扩散模型（VQ-DDM）能够实现与低复杂性的顶层方法的相当性能。它还展示了在没有额外培训的图像修复任务方面与自回归模型量化的其他矢量突出的优势。

The standard recurrent neural network language model (rnnlm) generates sentences one word at a time and does not work from an explicit global sentence representation. In this work, we introduce and study an rnn-based variational autoencoder generative model that incorporates distributed latent representations of entire sentences. This factorization allows it to explicitly model holistic properties of sentences such as style, topic, and high-level syntactic features. Samples from the prior over these sentence representations remarkably produce diverse and well-formed sentences through simple deterministic decoding. By examining paths through this latent space, we are able to generate coherent novel sentences that interpolate between known sentences. We present techniques for solving the difficult learning problem presented by this model, demonstrate its effectiveness in imputing missing words, explore many interesting properties of the model's latent sentence space, and present negative results on the use of the model in language modeling.

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

在许多语音和音乐相关任务中，应用于音频的深度生成模型已经改善了最先进的最先进的语音和音乐相关的任务。然而，由于原始波形建模仍然是一个固有的困难任务，音频生成模型要么计算密集，依赖于低采样率，并复杂于控制或限制可能信号的性质。在这些模型中，变形自身偏析器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一个实时音频变形式自动化器（RAVE），允许快速和高质量的音频波形合成。我们介绍了一种新型的两级培训程序，即表示学习和对抗性微调。我们表明，使用对潜伏空间的训练后分析允许直接控制重建保真度和表示紧凑性。通过利用原始波形的多频段分解，我们表明我们的模型是第一个能够生成48kHz音频信号，同时在标准膝上型计算机CPU上的实时运行20倍。我们使用定量和定性主观实验评估合成质量，并与现有模型相比，我们的方法的优越性。最后，我们呈现了我们模型的MigBre传输和信号压缩的应用。我们所有的源代码和音频示例都是公开的。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

现实世界数据库很复杂，它们通常会呈现冗余，并在同一数据的异质和多个表示之间共享相关性。因此，在视图之间利用和解开共享信息至关重要。为此，最近的研究经常将所有观点融合到共享的非线性复杂潜在空间中，但它们失去了解释性。为了克服这一局限性，我们在这里提出了一种新的方法，将多个变异自动编码器（VAE）结构与因子分析潜在空间（FA-VAE）相结合。具体而言，我们使用VAE在连续的潜在空间中学习每个异质观点的私人表示。然后，我们通过使用线性投影矩阵将每个私有变量投影到低维的潜在空间来对共享潜在空间进行建模。因此，我们在私人信息和共享信息之间创建了可解释的层次依赖性。这样，新型模型可以同时：（i）从多种异质观点中学习，（ii）获得可解释的层次共享空间，以及（iii）在生成模型之间执行传输学习。

配备具有推断人类意图的能力的机器人是有效合作的重要前提。对于这种目标的大多数计算方法采用了概率的推理，以回收机器人感知状态的“意图”的分布。然而，这些方法通常假设人类意图的特定任务概念（例如标记目标）是先验的。为了克服这一限制，我们提出了解离序列聚类变分性Autiachoder（Discvae），该群集框架可以用于以无监督的方式学习意图的这种分布。 DiscVae利用最近在无监督的学习方面的进步导出了顺序数据的解除不诚格潜在表示，从时间不变的全局方面分离时变化的本地特征。虽然与前面的解剖学框架不同，但是所提出的变体也涉及分立变量，以形成潜在混合模型，并使全局序列概念进行聚类，例如，观察到人类行为的意图。为了评估Discvae，首先使用弹跳数字和2D动画的视频数据集来验证其从未标记序列发现类的容量。然后，我们从机器人轮椅上进行的现实世界机器人交互实验报告结果。我们的调查结果引入了推断离散变量如何与人类意图一致，从而用于改善协作设置的帮助，例如共享控制。

生成建模研究的持续趋势是将样本分辨率推高更高，同时减少培训和采样的计算要求。我们的目标是通过技术的组合进一步推动这一趋势 - 每个组件代表当前效率在各自领域的顶峰。其中包括载体定量的GAN（VQ-GAN），该模型具有高水平的损耗 - 但感知上微不足道的压缩模型；沙漏变形金刚，一个高度可扩展的自我注意力模型；和逐步未胶片的denoising自动编码器（Sundae），一种非自动化（NAR）文本生成模型。出乎意料的是，当应用于多维数据时，我们的方法突出了沙漏变压器的原始公式中的弱点。鉴于此，我们建议对重采样机制进行修改，该机制适用于将分层变压器应用于多维数据的任何任务。此外，我们证明了圣代表到长序列长度的可伸缩性 - 比先前的工作长四倍。我们提出的框架秤达到高分辨率（$ 1024 \ times 1024 $），并迅速火车（2-4天）。至关重要的是，训练有素的模型在消费级GPU（GTX 1080TI）上大约2秒内生产多样化和现实的百像样品。通常，该框架是灵活的：支持任意数量的采样步骤，示例自动插入，自我纠正功能，有条件的生成和NAR公式，以允许任意介绍掩护。我们在FFHQ256上获得10.56的FID得分 - 仅在100个采样步骤中以不到一半的采样步骤接近原始VQ -GAN，而FFHQ1024的FFHQ1024和21.85。

We present a principled approach to incorporating labels in VAEs that captures the rich characteristic information associated with those labels. While prior work has typically conflated these by learning latent variables that directly correspond to label values, we argue this is contrary to the intended effect of supervision in VAEs-capturing rich label characteristics with the latents. For example, we may want to capture the characteristics of a face that make it look young, rather than just the age of the person. To this end, we develop the CCVAE, a novel VAE model and concomitant variational objective which captures label characteristics explicitly in the latent space, eschewing direct correspondences between label values and latents. Through judicious structuring of mappings between such characteristic latents and labels, we show that the CCVAE can effectively learn meaningful representations of the characteristics of interest across a variety of supervision schemes. In particular, we show that the CCVAE allows for more effective and more general interventions to be performed, such as smooth traversals within the characteristics for a given label, diverse conditional generation, and transferring characteristics across datapoints.

Normalizing flows, autoregressive models, variational autoencoders (VAEs), and deep energy-based models are among competing likelihood-based frameworks for deep generative learning. Among them, VAEs have the advantage of fast and tractable sampling and easy-to-access encoding networks. However, they are currently outperformed by other models such as normalizing flows and autoregressive models. While the majority of the research in VAEs is focused on the statistical challenges, we explore the orthogonal direction of carefully designing neural architectures for hierarchical VAEs. We propose Nouveau VAE (NVAE), a deep hierarchical VAE built for image generation using depth-wise separable convolutions and batch normalization. NVAE is equipped with a residual parameterization of Normal distributions and its training is stabilized by spectral regularization. We show that NVAE achieves state-of-the-art results among non-autoregressive likelihood-based models on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ datasets and it provides a strong baseline on FFHQ. For example, on CIFAR-10, NVAE pushes the state-of-the-art from 2.98 to 2.91 bits per dimension, and it produces high-quality images on CelebA HQ as shown in Fig. 1. To the best of our knowledge, NVAE is the first successful VAE applied to natural images as large as 256×256 pixels. The source code is available at https://github.com/NVlabs/NVAE.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

原则上，将变异自动编码器（VAE）应用于顺序数据提供了一种用于控制序列生成，操纵和结构化表示学习的方法。但是，训练序列VAE具有挑战性：自回归解码器通常可以解释数据而无需使用潜在空间，即后置倒塌。为了减轻这种情况，最新的模型通过将均匀的随机辍学量应用于解码器输入来削弱强大的解码器。从理论上讲，我们表明，这可以消除解码器输入提供的点式互信息，该信息通过利用潜在空间来补偿。然后，我们提出了一种对抗性训练策略，以实现基于信息的随机辍学。与标准文本基准数据集上的均匀辍学相比，我们的目标方法同时提高了序列建模性能和潜在空间中捕获的信息。

带有变异自动编码器（VAE）的学习分解表示通常归因于损失的正则化部分。在这项工作中，我们强调了数据与损失的重建项之间的相互作用，这是VAE中解散的主要贡献者。我们注意到，标准化的基准数据集的构建方式有利于学习似乎是分解的表示形式。我们设计了一个直观的对抗数据集，该数据集利用这种机制破坏了现有的最新分解框架。最后，我们提供了一种解决方案，可以通过修改重建损失来实现分离，从而影响VAES如何感知数据点之间的距离。

概率分布允许从业者发现数据中的隐藏结构，并构建模型，以使用有限的数据解决监督的学习问题。该报告的重点是变异自动编码器，这是一种学习大型复杂数据集概率分布的方法。该报告提供了对变异自动编码器的理论理解，并巩固了该领域的当前研究。该报告分为多个章节，第一章介绍了问题，描述了变异自动编码器并标识了该领域的关键研究方向。第2、3、4和5章深入研究了每个关键研究领域的细节。第6章总结了报告，并提出了未来工作的指示。具有机器学习基本思想但想了解机器学习研究中的一般主题的读者可以从报告中受益。该报告解释了有关学习概率分布的中心思想，人们为使这种危险做些什么，并介绍了有关当前如何应用深度学习的细节。该报告还为希望为这个子场做出贡献的人提供了温和的介绍。