代表学习者认为，解开变异的因素已经证明是在解决各种现实世界的关切方面是重要的，如公平和可意识。最初由具有独立假设的无监督模型组成，最近，监督和相关特征较弱，但没有生成过程的因果关系。相比之下，我们在原因生成过程的制度下工作，因为生成因子是独立的，或者可能被一组观察或未观察到的混乱困惑。我们通过解散因果过程的概念对解开表示的分析。我们激励对新指标和数据集进行研究，以研究因果解剖和提出两个评估指标和数据集。我们展示了我们的指标捕获了解开了因果过程的探索。最后，我们利用我们的指标和数据集对艺术艺术状态的实证研究进行了脱扣代表学习者，以从因果角度来评估它们。

A machine learning model, under the influence of observed or unobserved confounders in the training data, can learn spurious correlations and fail to generalize when deployed. For image classifiers, augmenting a training dataset using counterfactual examples has been empirically shown to break spurious correlations. However, the counterfactual generation task itself becomes more difficult as the level of confounding increases. Existing methods for counterfactual generation under confounding consider a fixed set of interventions (e.g., texture, rotation) and are not flexible enough to capture diverse data-generating processes. Given a causal generative process, we formally characterize the adverse effects of confounding on any downstream tasks and show that the correlation between generative factors (attributes) can be used to quantitatively measure confounding between generative factors. To minimize such correlation, we propose a counterfactual generation method that learns to modify the value of any attribute in an image and generate new images given a set of observed attributes, even when the dataset is highly confounded. These counterfactual images are then used to regularize the downstream classifier such that the learned representations are the same across various generative factors conditioned on the class label. Our method is computationally efficient, simple to implement, and works well for any number of generative factors and confounding variables. Our experimental results on both synthetic (MNIST variants) and real-world (CelebA) datasets show the usefulness of our approach.

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12 000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。

从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。

基于线性对称性的分解（LSBD）的定义正式化了线性分解表示的概念，但目前尚无量化LSBD的指标。这样的度量对于评估LSBD方法至关重要，并与以前的分解理解相比。我们建议$ \ mathcal {d} _ \ mathrm {lsbd} $，一种数学上的声音指标，用于量化LSBD，并为$ \ mathrm {so}（so}（2）$ groups提供了实践实现。此外，从这个指标中，我们得出了LSBD-VAE，这是一种学习LSBD表示的半监督方法。我们通过证明（1）基于VAE的常见分解方法不学习LSBD表示，（2）LSBD-VAE以及其他最近的方法可以学习LSBD表示，仅需要有限的转换监督，我们可以在转换中学习LSBD表示，从而证明了我们指标的实用性。（3）LSBD表示也实现了现有的分离指标表达的各种理想属性。

$ \ beta $ -vae是对变形的自身额外转换器的后续技术，提出了在VAE损失中的KL分歧项的特殊加权，以获得解除戒备的表示。即使在玩具数据集和有意义的情况下，甚至在玩具数据集上也是脆弱的学习，难以找到的难以找到的。在这里，我们调查原来的$ \β$ -VAE纸，并向先前获得的结果添加证据表明其缺乏可重复性。我们还进一步扩展了模型的实验，并在分析中包括进一步更复杂的数据集。我们还为$ \β$ -VAE模型实施了FID评分度量，并得出了对所获得的结果的定性分析。我们结束了关于可能进行的未来调查的简要讨论，以增加对索赔的更具稳健性。

学习分离旨在寻找低维表示，该表示由观察数据的多个解释性和生成因素组成。变异自动编码器（VAE）的框架通常用于将独立因素从观察中解散。但是，在实际情况下，具有语义的因素不一定是独立的。取而代之的是，可能存在基本的因果结构，从而使这些因素取决于这些因素。因此，我们提出了一个名为Causalvae的新的基于VAE的框架，该框架包括一个因果层，将独立的外源性因子转化为因果内源性因素，这些因子与数据中的因果关系相关概念相对应。我们进一步分析了模型，表明从观测值中学到的拟议模型可以在一定程度上恢复真实的模型。实验是在各种数据集上进行的，包括合成和真实的基准Celeba。结果表明，因果关系学到的因果表示是可以解释的，并且其因果关系作为定向无环形图（DAG）的因果关系良好地鉴定出来。此外，我们证明了所提出的Causalvae模型能够通过因果因素的“操作”来生成反事实数据。

改变特定特征但不是其他特性的输入扰动的反事实示例 - 已经显示用于评估机器学习模型的偏差，例如，对特定的人口组。然而，由于图像的各种特征上的底层的因果结构，生成用于图像的反事实示例是非琐碎的。为了有意义，生成的扰动需要满足因果模型所暗示的约束。我们通过在前瞻性学习推断（ALI）的改进变型中结合结构因果模型（SCM）来提出一种方法，该方法是根据图像的属性之间的因果关系生成反事实。基于所生成的反事实，我们展示了如何解释预先训练的机器学习分类器，评估其偏置，并使用反事实程序缓解偏差。在Morpho-Mnist DataSet上，我们的方法会在质量上产生与基于SCM的Factficuls（DeepScm）的质量相当的反功能，而在更复杂的Celeba DataSet上，我们的方法优于DeepScm在产生高质量的有效反应性时。此外，生成的反事件难以从人类评估实验中的重建图像中无法区分，并且随后使用它们来评估在Celeba数据上培训的标准分类器的公平性。我们表明分类器是偏见的w.r.t.皮肤和头发颜色，以及反事实规则化如何消除这些偏差。

带有变异自动编码器（VAE）的学习分解表示通常归因于损失的正则化部分。在这项工作中，我们强调了数据与损失的重建项之间的相互作用，这是VAE中解散的主要贡献者。我们注意到，标准化的基准数据集的构建方式有利于学习似乎是分解的表示形式。我们设计了一个直观的对抗数据集，该数据集利用这种机制破坏了现有的最新分解框架。最后，我们提供了一种解决方案，可以通过修改重建损失来实现分离，从而影响VAES如何感知数据点之间的距离。

甚至在没有受限，监督的情况下，也提出了甚至在没有受限或有限的情况下学习普遍陈述的方法。使用适度数量的数据可以微调新的目标任务，或者直接在相应任务中实现显着性能的无奈域中使用的良好普遍表示。这种缓解数据和注释要求为计算机愿景和医疗保健的应用提供了诱人的前景。在本辅导纸上，我们激励了对解散的陈述，目前关键理论和详细的实际构建块和学习此类表示的标准的需求。我们讨论医学成像和计算机视觉中的应用，强调了在示例钥匙作品中进行的选择。我们通过呈现剩下的挑战和机会来结束。

因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。

我们呈现深度区域竞争（DRC），这是一种旨在以完全无监督的方式从图像中提取前景对象的算法。前景提取可以被视为一种特殊的泛型图像分段的情况，专注于从背景中识别和解开对象。在这项工作中，我们通过以专家（MOE）的混合形式的生成图像建模和生成图像建模来重新思考前景提取，我们进一步介绍了学习的像素重新分配作为捕获规律的基本诱导偏差背景区域。通过这种建模，可以通过期望最大化（EM）自然地发现前景背景分区。我们表明，该方法有效利用了在分区过程中混合成分之间的相互作用，该分区过程紧密地连接到区域竞争，是通用图像分割的一个精细方法。实验表明，与现有方法相比，DRC在复杂的真实数据上表现出更具竞争力的性能和具有挑战性的多对象场景。此外，我们认为，即使在训练期间看不见的类别，DRC也可能概括为新的前景物体。

We decompose the evidence lower bound to show the existence of a term measuring the total correlation between latent variables. We use this to motivate the β-TCVAE (Total Correlation Variational Autoencoder) algorithm, a refinement and plug-in replacement of the β-VAE for learning disentangled representations, requiring no additional hyperparameters during training. We further propose a principled classifier-free measure of disentanglement called the mutual information gap (MIG). We perform extensive quantitative and qualitative experiments, in both restricted and non-restricted settings, and show a strong relation between total correlation and disentanglement, when the model is trained using our framework.

Latent variable models such as the Variational Auto-Encoder (VAE) have become a go-to tool for analyzing biological data, especially in the field of single-cell genomics. One remaining challenge is the interpretability of latent variables as biological processes that define a cell's identity. Outside of biological applications, this problem is commonly referred to as learning disentangled representations. Although several disentanglement-promoting variants of the VAE were introduced, and applied to single-cell genomics data, this task has been shown to be infeasible from independent and identically distributed measurements, without additional structure. Instead, recent methods propose to leverage non-stationary data, as well as the sparse mechanism shift assumption in order to learn disentangled representations with a causal semantic. Here, we extend the application of these methodological advances to the analysis of single-cell genomics data with genetic or chemical perturbations. More precisely, we propose a deep generative model of single-cell gene expression data for which each perturbation is treated as a stochastic intervention targeting an unknown, but sparse, subset of latent variables. We benchmark these methods on simulated single-cell data to evaluate their performance at latent units recovery, causal target identification and out-of-domain generalization. Finally, we apply those approaches to two real-world large-scale gene perturbation data sets and find that models that exploit the sparse mechanism shift hypothesis surpass contemporary methods on a transfer learning task. We implement our new model and benchmarks using the scvi-tools library, and release it as open-source software at \url{https://github.com/Genentech/sVAE}.

以对象表示的学习背后的想法是，自然场景可以更好地建模为对象的组成及其关系，而不是分布式表示形式。可以将这种归纳偏置注入神经网络中，以可能改善具有多个对象的场景中下游任务的系统概括和性能。在本文中，我们在五个常见的多对象数据集上训练最先进的无监督模型，并评估细分指标和下游对象属性预测。此外，我们通过调查单个对象不超出分布的设置（例如，具有看不见的颜色，质地或形状或场景的全局属性）来研究概括和鲁棒性，例如，通过闭塞来改变，裁剪或增加对象的数量。从我们的实验研究中，我们发现以对象为中心的表示对下游任务很有用，并且通常对影响对象的大多数分布转移有用。但是，当分布转移以较低结构化的方式影响输入时，在模型和分布转移的情况下，分割和下游任务性能的鲁棒性可能会有很大差异。

We present a principled approach to incorporating labels in VAEs that captures the rich characteristic information associated with those labels. While prior work has typically conflated these by learning latent variables that directly correspond to label values, we argue this is contrary to the intended effect of supervision in VAEs-capturing rich label characteristics with the latents. For example, we may want to capture the characteristics of a face that make it look young, rather than just the age of the person. To this end, we develop the CCVAE, a novel VAE model and concomitant variational objective which captures label characteristics explicitly in the latent space, eschewing direct correspondences between label values and latents. Through judicious structuring of mappings between such characteristic latents and labels, we show that the CCVAE can effectively learn meaningful representations of the characteristics of interest across a variety of supervision schemes. In particular, we show that the CCVAE allows for more effective and more general interventions to be performed, such as smooth traversals within the characteristics for a given label, diverse conditional generation, and transferring characteristics across datapoints.

鉴于部署更可靠的机器学习系统的重要性，研究界内的机器学习模型的解释性得到了相当大的关注。在计算机视觉应用中，生成反事实方法表示如何扰乱模型的输入来改变其预测，提供有关模型决策的详细信息。目前的方法倾向于产生关于模型决策的琐碎的反事实，因为它们通常建议夸大或消除所分类的属性的存在。对于机器学习从业者，这些类型的反事件提供了很少的价值，因为它们没有提供有关不期望的模型或数据偏差的新信息。在这项工作中，我们确定了琐碎的反事实生成问题，我们建议潜水以缓解它。潜水在使用多样性强制损失限制的解除印章潜在空间中学习扰动，以发现关于模型预测的多个有价值的解释。此外，我们介绍一种机制，以防止模型产生微不足道的解释。 Celeba和Synbols的实验表明，与先前的最先进的方法相比，我们的模型提高了生产高质量有价值解释的成功率。代码可在https://github.com/elementai/beyond- trial-explanations获得。

变异自动编码器（VAE）和其他生成方法不仅对它们的生成特性，而且还具有驱散低维的潜在可变空间的能力。但是，现有的生成模型很少考虑因果关系。我们提出了一个新的基于解码器的框架，称为因果反事实生成模型（CCGM），其中包括一个可训练的因果关系层，其中可以学习因果模型的一部分，而不会显着影响重建忠诚度。通过学习图像语义标签或表格变量之间的因果关系，我们可以分析偏见，干预生成模型并模拟新场景。此外，通过修改因果结构，我们可以在原始训练数据的域之外生成样品，并使用此类反事实模型来驱动数据集。因此，仍然可以使用已知偏差的数据集来训练因果生成模型并学习因果关系，但是我们可以在生成方面产生偏见的数据集。我们提出的方法将因果潜在空间模型与特定的修改相结合，以强调因果关系，从而使对因果层的控制权更加精心控制和学习鲁棒干预框架的能力。我们探索如何更好地分解因果学习和编码/解码会产生更高的因果干预质量。我们还将我们的模型与类似的研究进行了比较，以证明除干预措施以外的明确生成偏差的必要性。我们的初始实验表明，我们的模型可以生成图像和表格数据，并具有高保真度到因果框架上，并适应明确的偏见，以忽略与基线相比，在因果数据中忽略了不希望的关系。

表示解开是表示有利于各种下游任务的代表性学习的重要目标。为了实现这一目标，已经开发了许多无监督的学习表示方法。但是，事实证明，没有使用任何监督信号的培训过程就不足以进行分解表示。因此，我们提出了一种新型的弱监督训练方法，称为SW-VAE，该方法通过使用数据集的生成因子，将成对的输入观测值作为监督信号。此外，我们引入了策略，以逐渐增加训练过程中的学习难度，以使训练过程平滑。如多个数据集所示，我们的模型对表示解散任务的最新方法（SOTA）方法显示出显着改善。