变化自动编码器（VAE）最近已用于对复杂密度分布的无监督分离学习。存在许多变体，以鼓励潜在空间中的分解，同时改善重建。但是，在达到极低的重建误差和高度分离得分之间，没有人同时管理权衡。我们提出了一个普遍的框架，可以在有限的优化下应对这一挑战，并证明它在平衡重建时，它优于现有模型的最先进模型。我们介绍了三个可控的拉格朗日超级参数，以控制重建损失，KL差异损失和相关度量。我们证明，重建网络中的信息最大化等于在合理假设和约束放松下摊销过程中的信息最大化。

We define and address the problem of unsupervised learning of disentangled representations on data generated from independent factors of variation. We propose FactorVAE, a method that disentangles by encouraging the distribution of representations to be factorial and hence independent across the dimensions. We show that it improves upon β-VAE by providing a better trade-off between disentanglement and reconstruction quality. Moreover, we highlight the problems of a commonly used disentanglement metric and introduce a new metric that does not suffer from them.

在没有监督信号的情况下学习简洁的数据表示是机器学习的基本挑战。实现此目标的一种突出方法是基于可能性的模型，例如变异自动编码器（VAE），以基于元元素来学习潜在表示，这是对下游任务有益的一般前提（例如，disentanglement）。但是，这种方法通常偏离原始的可能性体系结构，以应用引入的元优势，从而导致他们的培训不良变化。在本文中，我们提出了一种新颖的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），该方法与潜在和数据分布直接匹配。 GWAE模型不是基于可能性的目标，而是通过最小化Gromov-Wasserstein（GW）度量的训练优化。 GW度量测量了在无与伦比的空间上支持的分布之间的面向结构的差异，例如具有不同的维度。通过限制可训练的先验的家庭，我们可以介绍元主题来控制下游任务的潜在表示。与现有基于VAE的方法的经验比较表明，GWAE模型可以通过更改先前的家族而无需进一步修改GW目标来基于元家庭学习表示。

Disentangement是代表学习的有用财产，其提高了种子自动编码器（VAE），生成对抗模型等变形式自动编码器（VAE），生成的对抗模型及其许多变体的可解释性。通常在这种模型中，脱离性能的增加是具有发电质量的交易。在潜空间模型的背景下，这项工作提出了一种表示学习框架，通过鼓励正交的变化方向明确地促进解剖。所提出的目标是自动编码器错误项的总和以及特征空间中的主成分分析重建错误。这具有对具有在Stiefel歧管上的特征向量矩阵的限制内核机器的解释。我们的分析表明，这种结构通过将潜在空间中的主路线与数据空间的正交变化的方向匹配来促进解剖。在交替的最小化方案中，我们使用Cayley ADAM算法 - Stiefel歧管的随机优化方法以及ADAM优化器。我们的理论讨论和各种实验表明，拟议的模型在代质量和解除戒备的代表学习方面提高了许多VAE变体。

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

以无监督的方式从高维领域提取生成参数的能力是计算物理学中的非常理想尚未实现的目标。这项工作探讨了用于非线性尺寸降低的变形Autiachoders（VAES），其特定目的是{\ EM解散}的特定目标，以识别生成数据的独立物理参数。解除戒开的分解是可解释的，并且可以转移到包括生成建模，设计优化和概率减少阶级型建模的各种任务。这项工作的重大重点是使用VAE来表征解剖学，同时最小地修改经典的VAE损失功能（即证据下限）以保持高重建精度。损耗景观的特点是过度正常的局部最小值，其环绕所需的解决方案。我们通过在模型多孔流量问题中并列在模拟潜在分布和真正的生成因子中，说明了分解和纠缠符号之间的比较。展示了等级前瞻，促进了解除不诚实的表现的学习。在用旋转不变的前沿训练时，正则化损失不受潜在的旋转影响，从而学习非旋转不变的前锋有助于捕获生成因子的性质，改善解剖学。最后，表明通过标记少量样本（$ O（1 \％）$）来实现半监督学习 - 导致可以一致地学习的准确脱屑潜在的潜在表示。

$ \ beta $ -vae是对变形的自身额外转换器的后续技术，提出了在VAE损失中的KL分歧项的特殊加权，以获得解除戒备的表示。即使在玩具数据集和有意义的情况下，甚至在玩具数据集上也是脆弱的学习，难以找到的难以找到的。在这里，我们调查原来的$ \β$ -VAE纸，并向先前获得的结果添加证据表明其缺乏可重复性。我们还进一步扩展了模型的实验，并在分析中包括进一步更复杂的数据集。我们还为$ \β$ -VAE模型实施了FID评分度量，并得出了对所获得的结果的定性分析。我们结束了关于可能进行的未来调查的简要讨论，以增加对索赔的更具稳健性。

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12 000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

近似复杂的概率密度是现代统计中的核心问题。在本文中，我们介绍了变分推理（VI）的概念，这是一种机器学习中的流行方法，该方法使用优化技术来估计复杂的概率密度。此属性允许VI汇聚速度比经典方法更快，例如Markov Chain Monte Carlo采样。概念上，VI通过选择一个概率密度函数，然后找到最接近实际概率密度的家庭 - 通常使用Kullback-Leibler（KL）发散作为优化度量。我们介绍了缩窄的证据，以促进近似的概率密度，我们审查了平均场变分推理背后的想法。最后，我们讨论VI对变分式自动编码器（VAE）和VAE-生成的对抗网络（VAE-GAN）的应用。用本文，我们的目标是解释VI的概念，并通过这种方法协助协助。

变异自动编码器（VAE）经常遭受后塌陷，这是一种现象，其中学习过的潜在空间变得无知。这通常与类似于数据差异的高参数有关。此外，如果数据方差不均匀或条件性，则确定这种适当的选择将变得不可行。因此，我们提出了具有数据方差的广义参数化的VAE扩展，并将最大似然估计纳入目标函数中，以适应解码器平滑度。由提议的VAE扩展产生的图像显示，MNIST和Celeba数据集上的Fr \'Echet Inception距离（FID）得到了改善。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

给定包含具有不同特征的不同对象的图像数据集，例如形状，大小，旋转和X-y位置；以及变异自动编码器（VAE）；在VAE的隐藏空间向量中创建这些功能的分解编码是本文感兴趣的任务。DSPRITE数据集为本研究中所需的实验提供了所需的功能。在训练VAE与生成对抗网络（GAN）结合后，隐藏矢量的每个维度都被破坏，以探索每个维度中的分离。请注意，GAN用于提高输出图像重建的质量。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

带有变异自动编码器（VAE）的学习分解表示通常归因于损失的正则化部分。在这项工作中，我们强调了数据与损失的重建项之间的相互作用，这是VAE中解散的主要贡献者。我们注意到，标准化的基准数据集的构建方式有利于学习似乎是分解的表示形式。我们设计了一个直观的对抗数据集，该数据集利用这种机制破坏了现有的最新分解框架。最后，我们提供了一种解决方案，可以通过修改重建损失来实现分离，从而影响VAES如何感知数据点之间的距离。

The surrogate loss of variational autoencoders (VAEs) poses various challenges to their training, inducing the imbalance between task fitting and representation inference. To avert this, the existing strategies for VAEs focus on adjusting the tradeoff by introducing hyperparameters, deriving a tighter bound under some mild assumptions, or decomposing the loss components per certain neural settings. VAEs still suffer from uncertain tradeoff learning.We propose a novel evolutionary variational autoencoder (eVAE) building on the variational information bottleneck (VIB) theory and integrative evolutionary neural learning. eVAE integrates a variational genetic algorithm into VAE with variational evolutionary operators including variational mutation, crossover, and evolution. Its inner-outer-joint training mechanism synergistically and dynamically generates and updates the uncertain tradeoff learning in the evidence lower bound (ELBO) without additional constraints. Apart from learning a lossy compression and representation of data under the VIB assumption, eVAE presents an evolutionary paradigm to tune critical factors of VAEs and deep neural networks and addresses the premature convergence and random search problem by integrating evolutionary optimization into deep learning. Experiments show that eVAE addresses the KL-vanishing problem for text generation with low reconstruction loss, generates all disentangled factors with sharp images, and improves the image generation quality,respectively. eVAE achieves better reconstruction loss, disentanglement, and generation-inference balance than its competitors.

Deep learning (DL) methods where interpretability is intrinsically considered as part of the model are required to better understand the relationship of clinical and imaging-based attributes with DL outcomes, thus facilitating their use in the reasoning behind medical decisions. Latent space representations built with variational autoencoders (VAE) do not ensure individual control of data attributes. Attribute-based methods enforcing attribute disentanglement have been proposed in the literature for classical computer vision tasks in benchmark data. In this paper, we propose a VAE approach, the Attri-VAE, that includes an attribute regularization term to associate clinical and medical imaging attributes with different regularized dimensions in the generated latent space, enabling a better-disentangled interpretation of the attributes. Furthermore, the generated attention maps explained the attribute encoding in the regularized latent space dimensions. Using the Attri-VAE approach we analyzed healthy and myocardial infarction patients with clinical, cardiac morphology, and radiomics attributes. The proposed model provided an excellent trade-off between reconstruction fidelity, disentanglement, and interpretability, outperforming state-of-the-art VAE approaches according to several quantitative metrics. The resulting latent space allowed the generation of realistic synthetic data in the trajectory between two distinct input samples or along a specific attribute dimension to better interpret changes between different cardiac conditions.

We decompose the evidence lower bound to show the existence of a term measuring the total correlation between latent variables. We use this to motivate the β-TCVAE (Total Correlation Variational Autoencoder) algorithm, a refinement and plug-in replacement of the β-VAE for learning disentangled representations, requiring no additional hyperparameters during training. We further propose a principled classifier-free measure of disentanglement called the mutual information gap (MIG). We perform extensive quantitative and qualitative experiments, in both restricted and non-restricted settings, and show a strong relation between total correlation and disentanglement, when the model is trained using our framework.

我们提出了一种自我监督的方法，以解除高维数据变化的因素，该因素不依赖于基本变化概况的先验知识（例如，没有关于要提取单个潜在变量的数量或分布的假设）。在我们称为nashae的方法中，通过促进从所有其他编码元素中恢复的每个编码元素和恢复的元素的信息之间的差异，在标准自动编码器（AE）的低维潜在空间中完成了高维的特征分离。通过将其作为AE和回归网络合奏之间的Minmax游戏来有效地促进了分解，从而估算了一个元素，该元素以对所有其他元素的观察为条件。我们将我们的方法与使用现有的分离指标进行定量比较。此外，我们表明Nashae具有提高的可靠性和增加的能力来捕获学习潜在表示中的显着数据特征。

变异自动编码器（VAE）遭受后塌陷的苦难，其中用于建模和推理的强大神经网络在没有有意义使用潜在表示的情况下优化了目标。我们引入了推理评论家，通过需要潜在变量和观测值之间的对应关系来检测和激励后塌陷。通过将批评家的目标与自我监督的对比表示学习中的文献联系起来，我们从理论和经验上展示了优化推论批评家在观察和潜伏期之间增加相互信息，从而减轻后验崩溃。这种方法可以直接实施，并且需要比以前的方法要少得多的培训时间，但在三个已建立的数据集中获得了竞争结果。总体而言，该方法奠定了基础，以弥合先前与各种自动编码器的对比度学习和概率建模的框架，从而强调了两个社区在其交叉点上可能会发现的好处。

我们提出了一个通过信息瓶颈约束来学习CAPSNET的学习框架的框架，该框架将信息提炼成紧凑的形式，并激励学习可解释的分解化胶囊。在我们的$ \ beta $ -capsnet框架中，使用超参数$ \ beta $用于权衡解开和其他任务，使用变异推理将信息瓶颈术语转换为kl divergence，以近似为约束胶囊。为了进行监督学习，使用类独立掩码矢量来理解合成的变化类型，无论图像类别类别，我们通过调整参数$ \ beta $来进行大量的定量和定性实验，以找出分离，重建和细节之间的关系表现。此外，提出了无监督的$ \ beta $ -capsnet和相应的动态路由算法，以学习范围的方式，以一种无监督的方式学习解散胶囊，广泛的经验评估表明我们的$ \ beta $ -CAPPAPSNET可实现的是先进的分离性截止性性能比较在监督和无监督场景中的几个复杂数据集上的CAPSNET和各种基线。