The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12 000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

A grand goal in deep learning research is to learn representations capable of generalizing across distribution shifts. Disentanglement is one promising direction aimed at aligning a models representations with the underlying factors generating the data (e.g. color or background). Existing disentanglement methods, however, rely on an often unrealistic assumption: that factors are statistically independent. In reality, factors (like object color and shape) are correlated. To address this limitation, we propose a relaxed disentanglement criterion - the Hausdorff Factorized Support (HFS) criterion - that encourages a factorized support, rather than a factorial distribution, by minimizing a Hausdorff distance. This allows for arbitrary distributions of the factors over their support, including correlations between them. We show that the use of HFS consistently facilitates disentanglement and recovery of ground-truth factors across a variety of correlation settings and benchmarks, even under severe training correlations and correlation shifts, with in parts over +60% in relative improvement over existing disentanglement methods. In addition, we find that leveraging HFS for representation learning can even facilitate transfer to downstream tasks such as classification under distribution shifts. We hope our original approach and positive empirical results inspire further progress on the open problem of robust generalization.

We define and address the problem of unsupervised learning of disentangled representations on data generated from independent factors of variation. We propose FactorVAE, a method that disentangles by encouraging the distribution of representations to be factorial and hence independent across the dimensions. We show that it improves upon β-VAE by providing a better trade-off between disentanglement and reconstruction quality. Moreover, we highlight the problems of a commonly used disentanglement metric and introduce a new metric that does not suffer from them.

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。

We decompose the evidence lower bound to show the existence of a term measuring the total correlation between latent variables. We use this to motivate the β-TCVAE (Total Correlation Variational Autoencoder) algorithm, a refinement and plug-in replacement of the β-VAE for learning disentangled representations, requiring no additional hyperparameters during training. We further propose a principled classifier-free measure of disentanglement called the mutual information gap (MIG). We perform extensive quantitative and qualitative experiments, in both restricted and non-restricted settings, and show a strong relation between total correlation and disentanglement, when the model is trained using our framework.

$ \ beta $ -vae是对变形的自身额外转换器的后续技术，提出了在VAE损失中的KL分歧项的特殊加权，以获得解除戒备的表示。即使在玩具数据集和有意义的情况下，甚至在玩具数据集上也是脆弱的学习，难以找到的难以找到的。在这里，我们调查原来的$ \β$ -VAE纸，并向先前获得的结果添加证据表明其缺乏可重复性。我们还进一步扩展了模型的实验，并在分析中包括进一步更复杂的数据集。我们还为$ \β$ -VAE模型实施了FID评分度量，并得出了对所获得的结果的定性分析。我们结束了关于可能进行的未来调查的简要讨论，以增加对索赔的更具稳健性。

带有变异自动编码器（VAE）的学习分解表示通常归因于损失的正则化部分。在这项工作中，我们强调了数据与损失的重建项之间的相互作用，这是VAE中解散的主要贡献者。我们注意到，标准化的基准数据集的构建方式有利于学习似乎是分解的表示形式。我们设计了一个直观的对抗数据集，该数据集利用这种机制破坏了现有的最新分解框架。最后，我们提供了一种解决方案，可以通过修改重建损失来实现分离，从而影响VAES如何感知数据点之间的距离。

无负的对比度学习吸引了很多关注，以简单性和令人印象深刻的表现，以进行大规模预处理。但是它的解散财产仍未得到探索。在本文中，我们采用不同的无负对比度学习方法来研究这种自我监督方法的分离特性。我们发现现有的分离指标无法对高维表示模型进行有意义的测量，因此我们根据表示因素和数据因素之间的相互信息提出了一个新的分解指标。通过拟议的指标，我们首次在流行的合成数据集和现实世界数据集Celeba上首次基于无效的对比度学习的删除属性。我们的研究表明，研究的方法可以学习一个明确的表示子集。我们首次将对分离的表示学习的研究扩展到高维表示空间和无效的对比度学习。建议的度量标准的实现可在\ url {https://github.com/noahcao/disentangeslement_lib_med}中获得。

以无监督的方式从高维领域提取生成参数的能力是计算物理学中的非常理想尚未实现的目标。这项工作探讨了用于非线性尺寸降低的变形Autiachoders（VAES），其特定目的是{\ EM解散}的特定目标，以识别生成数据的独立物理参数。解除戒开的分解是可解释的，并且可以转移到包括生成建模，设计优化和概率减少阶级型建模的各种任务。这项工作的重大重点是使用VAE来表征解剖学，同时最小地修改经典的VAE损失功能（即证据下限）以保持高重建精度。损耗景观的特点是过度正常的局部最小值，其环绕所需的解决方案。我们通过在模型多孔流量问题中并列在模拟潜在分布和真正的生成因子中，说明了分解和纠缠符号之间的比较。展示了等级前瞻，促进了解除不诚实的表现的学习。在用旋转不变的前沿训练时，正则化损失不受潜在的旋转影响，从而学习非旋转不变的前锋有助于捕获生成因子的性质，改善解剖学。最后，表明通过标记少量样本（$ O（1 \％）$）来实现半监督学习 - 导致可以一致地学习的准确脱屑潜在的潜在表示。

变化自动编码器（VAE）最近已用于对复杂密度分布的无监督分离学习。存在许多变体，以鼓励潜在空间中的分解，同时改善重建。但是，在达到极低的重建误差和高度分离得分之间，没有人同时管理权衡。我们提出了一个普遍的框架，可以在有限的优化下应对这一挑战，并证明它在平衡重建时，它优于现有模型的最先进模型。我们介绍了三个可控的拉格朗日超级参数，以控制重建损失，KL差异损失和相关度量。我们证明，重建网络中的信息最大化等于在合理假设和约束放松下摊销过程中的信息最大化。

变异因素之间的相关性在现实数据中普遍存在。机器学习算法可能会受益于利用这种相关性，因为它们可以提高噪声数据的预测性能。然而，通常这种相关性不稳定（例如，它们可能在域，数据集或应用程序之间发生变化），我们希望避免利用它们。解剖学方法旨在学习捕获潜伏子空间变化不同因素的表示。常用方法涉及最小化潜伏子空间之间的相互信息，使得每个潜在的底层属性。但是，当属性相关时，这会失败。我们通过强制执行可用属性上的子空间之间的独立性来解决此问题，这允许我们仅删除不导致的依赖性，这些依赖性是由于训练数据中存在的相关结构。我们通过普发的方法实现这一目标，以最小化关于分类变量的子空间之间的条件互信息（CMI）。我们首先在理论上展示了CMI最小化是对高斯数据线性问题的稳健性解剖的良好目标。然后，我们基于MNIST和Celeba在现实世界数据集上应用我们的方法，并表明它会在相关偏移下产生脱屑和强大的模型，包括弱监督设置。

解决视觉推理测试的计算学习方法，例如Raven的渐进式矩阵（RPM），非常取决于识别测试中使用的视觉概念（即表示）以及基于这些概念（即，推理）。然而，学习表示和推理是一项具有挑战性且不足的任务，经常以舞台的方式（首先表示，然后推理）接近。在这项工作中，我们提出了一个端到端的联合代表性学习框架，该框架利用了弱的归纳偏见形式来共同改善这两项任务。具体而言，我们引入了RPMS，GM-RPM的一般生成图形模型，并将其应用于解决推理测试。我们使用基于GM-RPM原理的基于基于的抽象推理网络（DAREN）的新型学习框架来完成此操作。我们对Daren进行了多个基准数据集的经验评估。 Daren在推理和分离任务上都表现出对最先进的模型（SOTA）模型的一致改进。这证明了分离的潜在表示与解决抽象视觉推理任务的能力之间的密切相关性。

代表学习者认为，解开变异的因素已经证明是在解决各种现实世界的关切方面是重要的，如公平和可意识。最初由具有独立假设的无监督模型组成，最近，监督和相关特征较弱，但没有生成过程的因果关系。相比之下，我们在原因生成过程的制度下工作，因为生成因子是独立的，或者可能被一组观察或未观察到的混乱困惑。我们通过解散因果过程的概念对解开表示的分析。我们激励对新指标和数据集进行研究，以研究因果解剖和提出两个评估指标和数据集。我们展示了我们的指标捕获了解开了因果过程的探索。最后，我们利用我们的指标和数据集对艺术艺术状态的实证研究进行了脱扣代表学习者，以从因果角度来评估它们。

Latent variable models such as the Variational Auto-Encoder (VAE) have become a go-to tool for analyzing biological data, especially in the field of single-cell genomics. One remaining challenge is the interpretability of latent variables as biological processes that define a cell's identity. Outside of biological applications, this problem is commonly referred to as learning disentangled representations. Although several disentanglement-promoting variants of the VAE were introduced, and applied to single-cell genomics data, this task has been shown to be infeasible from independent and identically distributed measurements, without additional structure. Instead, recent methods propose to leverage non-stationary data, as well as the sparse mechanism shift assumption in order to learn disentangled representations with a causal semantic. Here, we extend the application of these methodological advances to the analysis of single-cell genomics data with genetic or chemical perturbations. More precisely, we propose a deep generative model of single-cell gene expression data for which each perturbation is treated as a stochastic intervention targeting an unknown, but sparse, subset of latent variables. We benchmark these methods on simulated single-cell data to evaluate their performance at latent units recovery, causal target identification and out-of-domain generalization. Finally, we apply those approaches to two real-world large-scale gene perturbation data sets and find that models that exploit the sparse mechanism shift hypothesis surpass contemporary methods on a transfer learning task. We implement our new model and benchmarks using the scvi-tools library, and release it as open-source software at \url{https://github.com/Genentech/sVAE}.

变异自动编码器（VAE）学习脱离表示表示的能力使它们在实际应用中很受欢迎。但是，他们的行为尚未完全理解。例如，何时提供分离的表示形式或后倒塌的问题仍然是积极研究的领域。尽管如此，尚无对VAE学到的表示形式进行层次比较，这将进一步了解这些模型。在本文中，我们使用代表性相似性技术研究VAE的内部行为。具体而言，使用CKA和Procrustes相似性，我们发现编码器的表示早在解码器之前就学会了，并且此行为独立于超参数，学习目标和数据集。此外，在超参数和学习目标之间，编码器的表示形式与均值和方差相似。

我们提出了一种自我监督的方法，以解除高维数据变化的因素，该因素不依赖于基本变化概况的先验知识（例如，没有关于要提取单个潜在变量的数量或分布的假设）。在我们称为nashae的方法中，通过促进从所有其他编码元素中恢复的每个编码元素和恢复的元素的信息之间的差异，在标准自动编码器（AE）的低维潜在空间中完成了高维的特征分离。通过将其作为AE和回归网络合奏之间的Minmax游戏来有效地促进了分解，从而估算了一个元素，该元素以对所有其他元素的观察为条件。我们将我们的方法与使用现有的分离指标进行定量比较。此外，我们表明Nashae具有提高的可靠性和增加的能力来捕获学习潜在表示中的显着数据特征。

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latentvariable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy or undercomplete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

最近，在深度生成模型中，不可能是非线性ICA的可识别性的文艺复兴。对于i.I.D.数据，先前的作品已经假定访问足够丰富的辅助观察集，表示$ \ mathbf {u} $。我们在这里展示了在没有这种侧面信息的情况下可以获得可识别性。以前的方法必须制定强烈的假设，以获得可识别的模型。在这里，我们在一组宽松的约束集中获得了经验识别的模型。特别是，我们专注于在其潜在空间中执行聚类的生成模型 - 一种匹配以前可识别模型的模型结构，而是使用学习群集提供辅助信息的合成形式。我们评估我们的提案，包括通过统计测试，并发现学习群集有效功能：具有潜在群集的深度生成模型是经验识别的，与依赖侧面信息的模型相同。

以对象表示的学习背后的想法是，自然场景可以更好地建模为对象的组成及其关系，而不是分布式表示形式。可以将这种归纳偏置注入神经网络中，以可能改善具有多个对象的场景中下游任务的系统概括和性能。在本文中，我们在五个常见的多对象数据集上训练最先进的无监督模型，并评估细分指标和下游对象属性预测。此外，我们通过调查单个对象不超出分布的设置（例如，具有看不见的颜色，质地或形状或场景的全局属性）来研究概括和鲁棒性，例如，通过闭塞来改变，裁剪或增加对象的数量。从我们的实验研究中，我们发现以对象为中心的表示对下游任务很有用，并且通常对影响对象的大多数分布转移有用。但是，当分布转移以较低结构化的方式影响输入时，在模型和分布转移的情况下，分割和下游任务性能的鲁棒性可能会有很大差异。

从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。