最近提出的弱分解表示，旨在放大先前的解开定义的某些限制，以换取更多的灵活性。但是，目前，只有随着数据变化的增加数量，才能通过增加监督量来实现弱分解。在本文中，我们介绍了弱解释的模块化表示，这是一种新颖的方法，允许与生成因子的数量保持监督信息的量。实验表明，使用模块化表示的模型可以提高其相对于以前的工作的性能，而无需额外监督。

表示解开是表示有利于各种下游任务的代表性学习的重要目标。为了实现这一目标，已经开发了许多无监督的学习表示方法。但是，事实证明，没有使用任何监督信号的培训过程就不足以进行分解表示。因此，我们提出了一种新型的弱监督训练方法，称为SW-VAE，该方法通过使用数据集的生成因子，将成对的输入观测值作为监督信号。此外，我们引入了策略，以逐渐增加训练过程中的学习难度，以使训练过程平滑。如多个数据集所示，我们的模型对表示解散任务的最新方法（SOTA）方法显示出显着改善。

给定包含具有不同特征的不同对象的图像数据集，例如形状，大小，旋转和X-y位置；以及变异自动编码器（VAE）；在VAE的隐藏空间向量中创建这些功能的分解编码是本文感兴趣的任务。DSPRITE数据集为本研究中所需的实验提供了所需的功能。在训练VAE与生成对抗网络（GAN）结合后，隐藏矢量的每个维度都被破坏，以探索每个维度中的分离。请注意，GAN用于提高输出图像重建的质量。

以无监督的方式从高维领域提取生成参数的能力是计算物理学中的非常理想尚未实现的目标。这项工作探讨了用于非线性尺寸降低的变形Autiachoders（VAES），其特定目的是{\ EM解散}的特定目标，以识别生成数据的独立物理参数。解除戒开的分解是可解释的，并且可以转移到包括生成建模，设计优化和概率减少阶级型建模的各种任务。这项工作的重大重点是使用VAE来表征解剖学，同时最小地修改经典的VAE损失功能（即证据下限）以保持高重建精度。损耗景观的特点是过度正常的局部最小值，其环绕所需的解决方案。我们通过在模型多孔流量问题中并列在模拟潜在分布和真正的生成因子中，说明了分解和纠缠符号之间的比较。展示了等级前瞻，促进了解除不诚实的表现的学习。在用旋转不变的前沿训练时，正则化损失不受潜在的旋转影响，从而学习非旋转不变的前锋有助于捕获生成因子的性质，改善解剖学。最后，表明通过标记少量样本（$ O（1 \％）$）来实现半监督学习 - 导致可以一致地学习的准确脱屑潜在的潜在表示。

We define and address the problem of unsupervised learning of disentangled representations on data generated from independent factors of variation. We propose FactorVAE, a method that disentangles by encouraging the distribution of representations to be factorial and hence independent across the dimensions. We show that it improves upon β-VAE by providing a better trade-off between disentanglement and reconstruction quality. Moreover, we highlight the problems of a commonly used disentanglement metric and introduce a new metric that does not suffer from them.

散布和不变的表示是代表学习的两个关键目标，并且已经提出了许多方法来实现其中的一个。但是，这两个目标实际上是相互补充的，因此我们提出了一个框架，以同时完成两个目标。我们引入了一个弱监督的信号，以学习解开表示的表示，该表示由三个拆分组成，分别包含预测性，已知滋扰和未知的滋扰信息。此外，我们结合了对比度的实施表示不变性的方法。实验表明，所提出的方法在四个标准基准上优于最先进的方法（SOTA）方法，并表明该方法可以具有更好的对抗性防御能力，而没有对抗训练的其他方法。

代表学习者认为，解开变异的因素已经证明是在解决各种现实世界的关切方面是重要的，如公平和可意识。最初由具有独立假设的无监督模型组成，最近，监督和相关特征较弱，但没有生成过程的因果关系。相比之下，我们在原因生成过程的制度下工作，因为生成因子是独立的，或者可能被一组观察或未观察到的混乱困惑。我们通过解散因果过程的概念对解开表示的分析。我们激励对新指标和数据集进行研究，以研究因果解剖和提出两个评估指标和数据集。我们展示了我们的指标捕获了解开了因果过程的探索。最后，我们利用我们的指标和数据集对艺术艺术状态的实证研究进行了脱扣代表学习者，以从因果角度来评估它们。

带有变异自动编码器（VAE）的学习分解表示通常归因于损失的正则化部分。在这项工作中，我们强调了数据与损失的重建项之间的相互作用，这是VAE中解散的主要贡献者。我们注意到，标准化的基准数据集的构建方式有利于学习似乎是分解的表示形式。我们设计了一个直观的对抗数据集，该数据集利用这种机制破坏了现有的最新分解框架。最后，我们提供了一种解决方案，可以通过修改重建损失来实现分离，从而影响VAES如何感知数据点之间的距离。

解决视觉推理测试的计算学习方法，例如Raven的渐进式矩阵（RPM），非常取决于识别测试中使用的视觉概念（即表示）以及基于这些概念（即，推理）。然而，学习表示和推理是一项具有挑战性且不足的任务，经常以舞台的方式（首先表示，然后推理）接近。在这项工作中，我们提出了一个端到端的联合代表性学习框架，该框架利用了弱的归纳偏见形式来共同改善这两项任务。具体而言，我们引入了RPMS，GM-RPM的一般生成图形模型，并将其应用于解决推理测试。我们使用基于GM-RPM原理的基于基于的抽象推理网络（DAREN）的新型学习框架来完成此操作。我们对Daren进行了多个基准数据集的经验评估。 Daren在推理和分离任务上都表现出对最先进的模型（SOTA）模型的一致改进。这证明了分离的潜在表示与解决抽象视觉推理任务的能力之间的密切相关性。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

在面孔和机构的3D生成模型中学习解除一致，可解释和结构化的潜在代表仍然是一个开放的问题。当需要对身份特征的控制时，问题特别严重。在本文中，我们提出了一种直观但有效的自我监督方法来训练3D形变形自动化器（VAE），鼓励身份特征的解开潜在表示。通过在不同形状上交换任意特征来造成迷你批处理允许定义利用潜在表示中已知差异和相似性的损耗功能。在3D网眼上进行的实验结果表明，最先进的潜在解剖学方法无法解散面部和身体的身份特征。我们所提出的方法适当地解耦了这些特征的产生，同时保持了良好的表示和重建能力。

A grand goal in deep learning research is to learn representations capable of generalizing across distribution shifts. Disentanglement is one promising direction aimed at aligning a models representations with the underlying factors generating the data (e.g. color or background). Existing disentanglement methods, however, rely on an often unrealistic assumption: that factors are statistically independent. In reality, factors (like object color and shape) are correlated. To address this limitation, we propose a relaxed disentanglement criterion - the Hausdorff Factorized Support (HFS) criterion - that encourages a factorized support, rather than a factorial distribution, by minimizing a Hausdorff distance. This allows for arbitrary distributions of the factors over their support, including correlations between them. We show that the use of HFS consistently facilitates disentanglement and recovery of ground-truth factors across a variety of correlation settings and benchmarks, even under severe training correlations and correlation shifts, with in parts over +60% in relative improvement over existing disentanglement methods. In addition, we find that leveraging HFS for representation learning can even facilitate transfer to downstream tasks such as classification under distribution shifts. We hope our original approach and positive empirical results inspire further progress on the open problem of robust generalization.

甚至在没有受限，监督的情况下，也提出了甚至在没有受限或有限的情况下学习普遍陈述的方法。使用适度数量的数据可以微调新的目标任务，或者直接在相应任务中实现显着性能的无奈域中使用的良好普遍表示。这种缓解数据和注释要求为计算机愿景和医疗保健的应用提供了诱人的前景。在本辅导纸上，我们激励了对解散的陈述，目前关键理论和详细的实际构建块和学习此类表示的标准的需求。我们讨论医学成像和计算机视觉中的应用，强调了在示例钥匙作品中进行的选择。我们通过呈现剩下的挑战和机会来结束。

我们提出了一种自我监督的方法，以解除高维数据变化的因素，该因素不依赖于基本变化概况的先验知识（例如，没有关于要提取单个潜在变量的数量或分布的假设）。在我们称为nashae的方法中，通过促进从所有其他编码元素中恢复的每个编码元素和恢复的元素的信息之间的差异，在标准自动编码器（AE）的低维潜在空间中完成了高维的特征分离。通过将其作为AE和回归网络合奏之间的Minmax游戏来有效地促进了分解，从而估算了一个元素，该元素以对所有其他元素的观察为条件。我们将我们的方法与使用现有的分离指标进行定量比较。此外，我们表明Nashae具有提高的可靠性和增加的能力来捕获学习潜在表示中的显着数据特征。

从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。

Disentangement是代表学习的有用财产，其提高了种子自动编码器（VAE），生成对抗模型等变形式自动编码器（VAE），生成的对抗模型及其许多变体的可解释性。通常在这种模型中，脱离性能的增加是具有发电质量的交易。在潜空间模型的背景下，这项工作提出了一种表示学习框架，通过鼓励正交的变化方向明确地促进解剖。所提出的目标是自动编码器错误项的总和以及特征空间中的主成分分析重建错误。这具有对具有在Stiefel歧管上的特征向量矩阵的限制内核机器的解释。我们的分析表明，这种结构通过将潜在空间中的主路线与数据空间的正交变化的方向匹配来促进解剖。在交替的最小化方案中，我们使用Cayley ADAM算法 - Stiefel歧管的随机优化方法以及ADAM优化器。我们的理论讨论和各种实验表明，拟议的模型在代质量和解除戒备的代表学习方面提高了许多VAE变体。

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12 000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

保留数据中相似性的自动编码器模型是表示学习中的流行工具。在本文中，我们介绍了几种自动编码器模型，这些模型在从数据空间到潜在空间的映射时可以保留本地距离。我们使用局部距离保留损失，该损失基于连续的K-Nearthiend邻居图，该图已知可以同时捕获所有尺度的拓扑特征。为了提高培训绩效，我们将学习作为约束优化问题，并保存本地距离，作为主要目标和重建精度作为约束。我们将这种方法推广到分层变分自动编码器，从而学习具有几何一致的潜在和数据空间的生成模型。我们的方法在几个标准数据集和评估指标上提供了最先进的性能。

没有强烈监督的原始图像学习视觉概念是一个具有挑战性的任务。在这项工作中，我们展示了理解和修改神经概念学习者的潜在空间的原型表示的优势。为此目的，我们介绍交互式概念交换网络（ICSNS），这是一种通过弱监督和隐式原型表示学习概念接地表示的新框架。ICSNS学习通过交换配对图像的潜在表示来将概念信息与特定的原型插槽绑定。这种语义接地和离散的潜在空间有助于人类的理解和人机相互作用。我们通过对我们的小说数据集“基本概念推理”（ECR）进行实验来支持这一主张，重点关注几何对象共享的视觉概念。

We consider the problem of learning deep generative models from data. We formulate a method that generates an independent sample via a single feedforward pass through a multilayer preceptron, as in the recently proposed generative adversarial networks (Goodfellow et al., 2014). Training a generative adversarial network, however, requires careful optimization of a difficult minimax program. Instead, we utilize a technique from statistical hypothesis testing known as maximum mean discrepancy (MMD), which leads to a simple objective that can be interpreted as matching all orders of statistics between a dataset and samples from the model, and can be trained by backpropagation. We further boost the performance of this approach by combining our generative network with an auto-encoder network, using MMD to learn to generate codes that can then be decoded to produce samples. We show that the combination of these techniques yields excellent generative models compared to baseline approaches as measured on MNIST and the Toronto Face Database.