Variational autoencoders (VAEs) are one class of generative probabilistic latent-variable models designed for inference based on known data. We develop three variations on VAEs by introducing a second parameterized encoder/decoder pair and, for one variation, an additional fixed encoder. The parameters of the encoders/decoders are to be learned with a neural network. The fixed encoder is obtained by probabilistic-PCA. The variations are compared to the Evidence Lower Bound (ELBO) approximation to the original VAE. One variation leads to an Evidence Upper Bound (EUBO) that can be used in conjunction with the original ELBO to interrogate the convergence of the VAE.

How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning algorithm that scales to large datasets and, under some mild differentiability conditions, even works in the intractable case. Our contributions is two-fold. First, we show that a reparameterization of the variational lower bound yields a lower bound estimator that can be straightforwardly optimized using standard stochastic gradient methods. Second, we show that for i.i.d. datasets with continuous latent variables per datapoint, posterior inference can be made especially efficient by fitting an approximate inference model (also called a recognition model) to the intractable posterior using the proposed lower bound estimator. Theoretical advantages are reflected in experimental results.

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

The Bayesian approach to solving inverse problems relies on the choice of a prior. This critical ingredient allows the formulation of expert knowledge or physical constraints in a probabilistic fashion and plays an important role for the success of the inference. Recently, Bayesian inverse problems were solved using generative models as highly informative priors. Generative models are a popular tool in machine learning to generate data whose properties closely resemble those of a given database. Typically, the generated distribution of data is embedded in a low-dimensional manifold. For the inverse problem, a generative model is trained on a database that reflects the properties of the sought solution, such as typical structures of the tissue in the human brain in magnetic resonance (MR) imaging. The inference is carried out in the low-dimensional manifold determined by the generative model which strongly reduces the dimensionality of the inverse problem. However, this proceeding produces a posterior that admits no Lebesgue density in the actual variables and the accuracy reached can strongly depend on the quality of the generative model. For linear Gaussian models we explore an alternative Bayesian inference based on probabilistic generative models which is carried out in the original high-dimensional space. A Laplace approximation is employed to analytically derive the required prior probability density function induced by the generative model. Properties of the resulting inference are investigated. Specifically, we show that derived Bayes estimates are consistent, in contrast to the approach employing the low-dimensional manifold of the generative model. The MNIST data set is used to construct numerical experiments which confirm our theoretical findings.

高维数据的歧管假设假设数据是通过改变从低维潜在空间获得的一组参数而生成的。深层生成模型（DGM）被广泛用于以无监督的方式学习数据表示。 DGM使用瓶颈体系结构（例如变异自动编码器（VAE））参数化数据空间中的基础低维歧管。 VAE的瓶颈尺寸被视为取决于数据集的超参数，并在广泛调整后在设计时间固定。由于大多数实际数据集的内在维度尚不清楚，因此固有维度与选择为超参数的潜在维度之间存在不匹配。这种不匹配可能会对表示形式学习和样本生成任务的模型性能产生负面影响。本文提出了相关性编码网络（RENS）：一种新型的基于VAE的概率VAE框架，该框架在潜在空间中使用自动相关性确定（ARD）来学习数据特定的瓶颈维度。每个潜在维度的相关性是直接从数据以及使用随机梯度下降的其他模型参数以及适合非高斯先验的重新聚集技巧的其他模型参数中学到的。我们利用深处的概念来捕获数据和潜在空间中的置换统计属性，以确定相关性。所提出的框架是一般且灵活的，可用于最先进的VAE模型，该模型利用正规化器在潜在空间中施加特定特征（例如，脱离）。通过对合成和公共图像数据集进行了广泛的实验，我们表明，所提出的模型了解了相关的潜在瓶颈维度，而不会损害样品的表示和发电质量。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

Variational autoencoders employ an amortized inference model to approximate the posterior of latent variables. However, such amortized variational inference faces two challenges: (1) the limited posterior expressiveness of fully-factorized Gaussian assumption and (2) the amortization error of the inference model. We present a novel approach that addresses both challenges. First, we focus on ReLU networks with Gaussian output and illustrate their connection to probabilistic PCA. Building on this observation, we derive an iterative algorithm that finds the mode of the posterior and apply full-covariance Gaussian posterior approximation centered on the mode. Subsequently, we present a general framework named Variational Laplace Autoencoders (VLAEs) for training deep generative models. Based on the Laplace approximation of the latent variable posterior, VLAEs enhance the expressiveness of the posterior while reducing the amortization error. Empirical results on MNIST, Omniglot, Fashion-MNIST, SVHN and CIFAR10 show that the proposed approach significantly outperforms other recent amortized or iterative methods on the ReLU networks.

在这项工作中，我们为生成自动编码器的变异培训提供了确切的可能性替代方法。我们表明，可以使用可逆层来构建VAE风格的自动编码器，该层提供了可拖动的精确可能性，而无需任何正则化项。这是在选择编码器，解码器和先前体系结构的全部自由的同时实现的，这使我们的方法成为培训现有VAE和VAE风格模型的替换。我们将结果模型称为流中的自动编码器（AEF），因为编码器，解码器和先验被定义为整体可逆体系结构的单个层。我们表明，在对数可能，样本质量和降低性能的方面，该方法的性能比结构上等效的VAE高得多。从广义上讲，这项工作的主要野心是在共同的可逆性和确切的最大可能性的共同框架下缩小正常化流量和自动编码器文献之间的差距。

无线信道的模型顺序对于通信工程中的各种应用，例如，它代表了从发射机到接收器的不可忽略的电力的可解析入射波十端的数量。诸如到达方向估计的区域利用模型顺序来分析信道状态信息的多径组件。在这项工作中，我们建议使用变形AutoEncoder以无监督的方式对变化自身叠加潜空间中的模型顺序进行扩展的信道状态信息。我们使用模拟的3GPP信道数据验证我们的方法。我们的结果表明，为了学习适当的聚类，对于使用比标准应用程序中的情况更灵活的AutiaceCoder解码器更灵活的似然模型至关重要。

该报告解释，实施和扩展了“更紧密的变化界限不一定更好”所介绍的作品（T Rainforth等，2018）。我们提供了理论和经验证据，这些证据增加了重要性的重要性数量$ k $在重要性加权自动编码器（IWAE）中（Burda等，2016）降低了推理中梯度估计量的信噪比（SNR）网络，从而影响完整的学习过程。换句话说，即使增加$ k $减少了梯度的标准偏差，但它也会更快地降低真实梯度的幅度，从而增加梯度更新的相对差异。进行广泛的实验以了解$ k $的重要性。这些实验表明，更紧密的变化界限对生成网络有益，而宽松的边界对推理网络来说是可取的。通过这些见解，可以实施和研究三种方法：部分重要性加权自动编码器（PIWAE），倍增重要性加权自动编码器（MIWAE）和组合重要性加权自动编码器（CIWAE）。这三种方法中的每一种都需要IWAE作为一种特殊情况，但采用不同的重量权重，以确保较高的梯度估计器的SNR。在我们的研究和分析中，这些算法的疗效在多个数据集（如MNIST和Omniglot）上进行了测试。最后，我们证明了三种呈现的IWAE变化能够产生近似后验分布，这些分布与IWAE更接近真正的后验分布，同时匹配IWAE生成网络的性能，或者在PIWAE的情况下可能超过其表现。

近似复杂的概率密度是现代统计中的核心问题。在本文中，我们介绍了变分推理（VI）的概念，这是一种机器学习中的流行方法，该方法使用优化技术来估计复杂的概率密度。此属性允许VI汇聚速度比经典方法更快，例如Markov Chain Monte Carlo采样。概念上，VI通过选择一个概率密度函数，然后找到最接近实际概率密度的家庭 - 通常使用Kullback-Leibler（KL）发散作为优化度量。我们介绍了缩窄的证据，以促进近似的概率密度，我们审查了平均场变分推理背后的想法。最后，我们讨论VI对变分式自动编码器（VAE）和VAE-生成的对抗网络（VAE-GAN）的应用。用本文，我们的目标是解释VI的概念，并通过这种方法协助协助。

概率分布允许从业者发现数据中的隐藏结构，并构建模型，以使用有限的数据解决监督的学习问题。该报告的重点是变异自动编码器，这是一种学习大型复杂数据集概率分布的方法。该报告提供了对变异自动编码器的理论理解，并巩固了该领域的当前研究。该报告分为多个章节，第一章介绍了问题，描述了变异自动编码器并标识了该领域的关键研究方向。第2、3、4和5章深入研究了每个关键研究领域的细节。第6章总结了报告，并提出了未来工作的指示。具有机器学习基本思想但想了解机器学习研究中的一般主题的读者可以从报告中受益。该报告解释了有关学习概率分布的中心思想，人们为使这种危险做些什么，并介绍了有关当前如何应用深度学习的细节。该报告还为希望为这个子场做出贡献的人提供了温和的介绍。

在这项工作中，我们已经提出了一种称为VAE-Krnet的生成模型，用于密度估计或近似，其将规范变形Autiachoder（VAE）与我们最近开发的基于流的生成模型相结合，称为Krnet。 VAE用作尺寸减少技术以捕获潜伏空间，并且Krnet用于模拟潜在变量的分布。在数据和潜在变量之间使用线性模型，我们表明VAE-Krnet可以比规范VAE更有效且鲁棒。 VAE-KRNET可以用作密度模型，以近似数据分布或任意概率密度函数（PDF）已知到常数。 VAE-KRNET在维度方面灵活。当尺寸的数量相对较小时，Krnet可以有效地近似于原始随机变量的分布。对于高维病例，我们可以使用VAE-Krnet合并尺寸减少。 VAE-Krnet的一个重要应用是用于后部分布的近似的变分贝叶。变分贝叶斯方法通常基于模型和后部之间的Kullback-Leibler（KL）发散的最小化。对于高尺寸分布，由于维度的诅咒构建精确的密度模型是非常具有挑战性的，其中通常引入额外的假设以效率。例如，经典平均场方法假设尺寸之间的相互独立性，这通常会导致由于过度简化而产生低估的方差。为了减轻这个问题，我们包括丢失潜在随机变量和原始随机变量之间的相互信息的最大化，这有助于从低密度的区域保持更多信息，使得方差估计得到改善。

Disentangement是代表学习的有用财产，其提高了种子自动编码器（VAE），生成对抗模型等变形式自动编码器（VAE），生成的对抗模型及其许多变体的可解释性。通常在这种模型中，脱离性能的增加是具有发电质量的交易。在潜空间模型的背景下，这项工作提出了一种表示学习框架，通过鼓励正交的变化方向明确地促进解剖。所提出的目标是自动编码器错误项的总和以及特征空间中的主成分分析重建错误。这具有对具有在Stiefel歧管上的特征向量矩阵的限制内核机器的解释。我们的分析表明，这种结构通过将潜在空间中的主路线与数据空间的正交变化的方向匹配来促进解剖。在交替的最小化方案中，我们使用Cayley ADAM算法 - Stiefel歧管的随机优化方法以及ADAM优化器。我们的理论讨论和各种实验表明，拟议的模型在代质量和解除戒备的代表学习方面提高了许多VAE变体。

矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。

主体组件分析（PCA）在给定固定组件维度的一类线性模型的情况下，将重建误差最小化。概率PCA通过学习PCA潜在空间权重的概率分布，从而创建生成模型，从而添加了概率结构。自动编码器（AE）最小化固定潜在空间维度的一类非线性模型中的重建误差，在固定维度处胜过PCA。在这里，我们介绍了概率自动编码器（PAE），该自动编码器（PAE）使用归一化流量（NF）了解了AE潜在空间权重的概率分布。 PAE快速且易于训练，并在下游任务中遇到小的重建错误，样本质量高以及良好的性能。我们将PAE与差异AE（VAE）进行比较，表明PAE训练更快，达到较低的重建误差，并产生良好的样品质量，而无需特殊的调整参数或培训程序。我们进一步证明，PAE是在贝叶斯推理的背景下，用于涂抹和降解应用程序的贝叶斯推断，可以执行概率图像重建的下游任务的强大模型。最后，我们将NF的潜在空间密度确定为有希望的离群检测度量。

变异下限（又称Elbo或自由能）是许多学习算法的核心目标，包括用于深度无监督学习的算法。学习算法会更改模型参数，使变量下限增加，直到参数接近学习动力学的固定点。在这种纯粹的理论贡献中，我们表明（对于一类非常大的生成模型），变异下限在所有固定的学习点等于等于熵的总和。对于具有一组潜伏期和一组观察到的变量的模型，总和由三个熵组成：（a）变异分布的（平均）熵，（b）模型先前分布的负熵，以及（c） （预期）可观察到的分布的负熵。所获得的结果适用于现实条件，包括：数据点的有限数量，在任何固定点（包括鞍点）以及（行为良好的）变异分布的任何家族。我们显示的生成模型类别的熵和均包含许多（也是大多数）标准生成模型（包括深模型）。作为具体示例，我们讨论了概率PCA和Sigmoid信念网络。我们用来显示熵和表现出平等的先决条件相对温和。具体而言，给定生成模型的分布必须是指数族的（具有恒定的基础度量），并且模型必须满足参数化标准（通常是满足的）。在固定点（在规定的条件下）证明ELBO到熵和熵和的平等是这项工作的主要贡献。

自动编码变化贝叶斯（AEVB）是一种用于拟合潜在变量模型（无监督学习的有前途的方向）的强大而通用的算法，并且是训练变量自动编码器（VAE）的众所周知的。在本教程中，我们专注于从经典的期望最大化（EM）算法中激励AEVB，而不是确定性自动编码器。尽管自然而有些不言而喻，但在最近的深度学习文献中并未强调EM与AEVB之间的联系，我们认为强调这种联系可以改善社区对AEVB的理解。特别是，我们发现（1）优化有关推理参数的证据下限（ELBO）作为近似E-step，并且（2）优化ELBO相对于生成参数作为近似M-step；然后，与AEVB中的同时进行同时进行，然后同时拧紧并推动Elbo。我们讨论如何将近似E-Step解释为执行变异推断。详细讨论了诸如摊销和修复技巧之类的重要概念。最后，我们从划痕中得出了非深度和几个深层变量模型的AEVB训练程序，包括VAE，有条件的VAE，高斯混合物VAE和变异RNN。我们希望读者能够将AEVB认识为一种通用算法，可用于拟合广泛的潜在变量模型（不仅仅是VAE），并将AEVB应用于自己的研究领域中出现的此类模型。所有纳入型号的Pytorch代码均可公开使用。

Variational autoencoders (VAEs) are powerful tools for learning latent representations of data used in a wide range of applications. In practice, VAEs usually require multiple training rounds to choose the amount of information the latent variable should retain. This trade-off between the reconstruction error (distortion) and the KL divergence (rate) is typically parameterized by a hyperparameter $\beta$. In this paper, we introduce Multi-Rate VAE (MR-VAE), a computationally efficient framework for learning optimal parameters corresponding to various $\beta$ in a single training run. The key idea is to explicitly formulate a response function that maps $\beta$ to the optimal parameters using hypernetworks. MR-VAEs construct a compact response hypernetwork where the pre-activations are conditionally gated based on $\beta$. We justify the proposed architecture by analyzing linear VAEs and showing that it can represent response functions exactly for linear VAEs. With the learned hypernetwork, MR-VAEs can construct the rate-distortion curve without additional training and can be deployed with significantly less hyperparameter tuning. Empirically, our approach is competitive and often exceeds the performance of multiple $\beta$-VAEs training with minimal computation and memory overheads.

基于连续的潜在空间（例如变异自动编码器）的概率模型可以理解为无数混合模型，其中组件连续取决于潜在代码。它们具有用于生成和概率建模的表达性工具，但与可牵引的概率推断不符，即计算代表概率分布的边际和条件。同时，可以将概率模型（例如概率电路（PC））理解为层次离散混合模型，从而使它们可以执行精确的推断，但是与连续的潜在空间模型相比，它们通常显示出低于标准的性能。在本文中，我们研究了一种混合方法，即具有较小潜在尺寸的可拖动模型的连续混合物。尽管这些模型在分析上是棘手的，但基于一组有限的集成点，它们非常适合数值集成方案。有足够数量的集成点，近似值变得精确。此外，使用一组有限的集成点，可以将近似方法编译成PC中，以“在近似模型中的精确推断”执行。在实验中，我们表明这种简单的方案被证明非常有效，因为PC在许多标准密度估计基准上以这种方式为可拖动模型设定了新的最新模型。