学习分离旨在寻找低维表示，该表示由观察数据的多个解释性和生成因素组成。变异自动编码器（VAE）的框架通常用于将独立因素从观察中解散。但是，在实际情况下，具有语义的因素不一定是独立的。取而代之的是，可能存在基本的因果结构，从而使这些因素取决于这些因素。因此，我们提出了一个名为Causalvae的新的基于VAE的框架，该框架包括一个因果层，将独立的外源性因子转化为因果内源性因素，这些因子与数据中的因果关系相关概念相对应。我们进一步分析了模型，表明从观测值中学到的拟议模型可以在一定程度上恢复真实的模型。实验是在各种数据集上进行的，包括合成和真实的基准Celeba。结果表明，因果关系学到的因果表示是可以解释的，并且其因果关系作为定向无环形图（DAG）的因果关系良好地鉴定出来。此外，我们证明了所提出的Causalvae模型能够通过因果因素的“操作”来生成反事实数据。

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。

因果代表学习揭示了低级观察背后的潜在高级因果变量，这对于一组感兴趣的下游任务具有巨大的潜力。尽管如此，从观察到的数据中确定真正的潜在因果表示是一个巨大的挑战。在这项工作中，我们专注于确定潜在的因果变量。为此，我们分析了潜在空间中的三个固有特性，包括传递性，置换和缩放。我们表明，传递性严重阻碍了潜在因果变量的可识别性，而排列和缩放指导指导了识别潜在因果变量的方向。为了打破传递性，我们假设潜在的潜在因果关系是线性高斯模型，其中高斯噪声的权重，平均值和方差受到额外观察到的变量的调节。在这些假设下，我们从理论上表明，潜在因果变量可以识别为微不足道的置换和缩放。基于这个理论结果，我们提出了一种新型方法，称为结构性因果变异自动编码器，该方法直接学习潜在因果变量，以及从潜在因果变量到观察到的映射。关于合成和实际数据的实验结果证明了可识别的结果以及所提出的学习潜在因果变量的能力。

这项工作介绍了一种新颖的原则，我们通过机制稀疏正规调用解剖学，基于高级概念的动态往往稀疏的想法。我们提出了一种表示学习方法，可以通过同时学习与它们相关的潜在因子和稀疏因果图形模型来引起解剖学。我们开发了一个严谨的可识别性理论，建立在最近的非线性独立分量分析（ICA）结果中，结果是模拟这一原理，并展示了如何恢复潜在变量，如果一个规则大致潜在机制为稀疏，如果某些图形连接标准通过数据生成过程满足。作为我们框架的特殊情况，我们展示了如何利用未知目标的干预措施来解除潜在因子，从而借鉴ICA和因果关系之间的进一步联系。我们还提出了一种基于VAE的方法，其中通过二进制掩码来学习和正规化潜在机制，并通过表明它学会在模拟中的解散表示来验证我们的理论。

因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。

Causal representation learning has been proposed to encode relationships between factors presented in the high dimensional data. However, existing methods suffer from merely using a large amount of labeled data and ignore the fact that samples generated by the same causal mechanism follow the same causal relationships. In this paper, we seek to explore such information by leveraging do-operation to reduce supervision strength. We propose a framework that implements do-operation by swapping latent cause and effect factors encoded from a pair of inputs. Moreover, we also identify the inadequacy of existing causal representation metrics empirically and theoretically and introduce new metrics for better evaluation. Experiments conducted on both synthetic and real datasets demonstrate the superiorities of our method compared with state-of-the-art methods.

从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latentvariable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy or undercomplete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

变异自动编码器（VAE）和其他生成方法不仅对它们的生成特性，而且还具有驱散低维的潜在可变空间的能力。但是，现有的生成模型很少考虑因果关系。我们提出了一个新的基于解码器的框架，称为因果反事实生成模型（CCGM），其中包括一个可训练的因果关系层，其中可以学习因果模型的一部分，而不会显着影响重建忠诚度。通过学习图像语义标签或表格变量之间的因果关系，我们可以分析偏见，干预生成模型并模拟新场景。此外，通过修改因果结构，我们可以在原始训练数据的域之外生成样品，并使用此类反事实模型来驱动数据集。因此，仍然可以使用已知偏差的数据集来训练因果生成模型并学习因果关系，但是我们可以在生成方面产生偏见的数据集。我们提出的方法将因果潜在空间模型与特定的修改相结合，以强调因果关系，从而使对因果层的控制权更加精心控制和学习鲁棒干预框架的能力。我们探索如何更好地分解因果学习和编码/解码会产生更高的因果干预质量。我们还将我们的模型与类似的研究进行了比较，以证明除干预措施以外的明确生成偏差的必要性。我们的初始实验表明，我们的模型可以生成图像和表格数据，并具有高保真度到因果框架上，并适应明确的偏见，以忽略与基线相比，在因果数据中忽略了不希望的关系。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

最近引入了通过机制稀疏性进行的解剖，作为一种原则方法，可以在没有监督的情况下提取潜在因素，而当及时关联它们的因果图很少，并且/或当观察到动作并稀少地影响它们时。但是，该理论仅适用于满足特定标准的基础图。在这项工作中，我们介绍了该理论的概括，该理论适用于任何地面图形，并通过与我们称之为一致性的模型的新等价关系进行定性地指定了如何删除学习的表示形式。这种等效性捕获了哪些因素预计将保持纠缠，哪些因素不基于地面图形的特定形式。我们称这种较弱的可识别性部分分解形式。允许在早期作品中提出的完全分解的图形标准可以作为我们理论的特殊情况得出。最后，我们以约束优化的方式执行图形稀疏性，并在模拟中说明了我们的理论和算法。

Causal learning has attracted much attention in recent years because causality reveals the essential relationship between things and indicates how the world progresses. However, there are many problems and bottlenecks in traditional causal learning methods, such as high-dimensional unstructured variables, combinatorial optimization problems, unknown intervention, unobserved confounders, selection bias and estimation bias. Deep causal learning, that is, causal learning based on deep neural networks, brings new insights for addressing these problems. While many deep learning-based causal discovery and causal inference methods have been proposed, there is a lack of reviews exploring the internal mechanism of deep learning to improve causal learning. In this article, we comprehensively review how deep learning can contribute to causal learning by addressing conventional challenges from three aspects: representation, discovery, and inference. We point out that deep causal learning is important for the theoretical extension and application expansion of causal science and is also an indispensable part of general artificial intelligence. We conclude the article with a summary of open issues and potential directions for future work.

作为因果推断中的重要问题，我们讨论了治疗效果（TES）的估计。代表混淆器作为潜在的变量，我们提出了完整的VAE，这是一个变形AutoEncoder（VAE）的新变种，其具有足以识别TES的预后分数的动机。我们的VAE也自然地提供了使用其之前用于治疗组的陈述。（半）合成数据集的实验显示在各种环境下的最先进的性能，包括不观察到的混淆。基于我们模型的可识别性，我们在不协调下证明TES的识别，并讨论（可能）扩展到更难的设置。

本文介绍了一种具有层次结构的基于流的模型的新方法。所提出的框架被命名为变分流图形（VFG）模型。 VFG通过通过变异推理集成基于流的功能，通过消息通话方案来学习高维数据的表示。通过利用神经网络的表达能力，VFGS使用较低的维度产生数据的表示，从而克服了许多基于流动的模型的缺点，通常需要具有许多涉及许多琐事变量的高维度空间。在VFG模型中介绍了聚合节点，以通过消息传递方案集成前回溯分层信息。最大化数据可能性的证据下限（ELBO）在每个聚合节点中的向前和向后消息都能使一个一致性节点状态对齐。已经开发了算法来通过有关ELBO目标的梯度更新来学习模型参数。聚集节点的一致性使VFGS适用于图形结构的可牵引性推断。除了表示学习和数值推断外，VFG还提供了一种在具有图形潜在结构的数据集上分发建模的新方法。此外，理论研究表明，通过利用隐式可逆基于流动的结构，VFG是通用近似值。凭借灵活的图形结构和出色的过度功率，VFG可以可能用于改善概率推断。在实验中，VFGS在多个数据集上实现了改进的证据下限（ELBO）和似然值。

代表学习者认为，解开变异的因素已经证明是在解决各种现实世界的关切方面是重要的，如公平和可意识。最初由具有独立假设的无监督模型组成，最近，监督和相关特征较弱，但没有生成过程的因果关系。相比之下，我们在原因生成过程的制度下工作，因为生成因子是独立的，或者可能被一组观察或未观察到的混乱困惑。我们通过解散因果过程的概念对解开表示的分析。我们激励对新指标和数据集进行研究，以研究因果解剖和提出两个评估指标和数据集。我们展示了我们的指标捕获了解开了因果过程的探索。最后，我们利用我们的指标和数据集对艺术艺术状态的实证研究进行了脱扣代表学习者，以从因果角度来评估它们。

Latent variable models such as the Variational Auto-Encoder (VAE) have become a go-to tool for analyzing biological data, especially in the field of single-cell genomics. One remaining challenge is the interpretability of latent variables as biological processes that define a cell's identity. Outside of biological applications, this problem is commonly referred to as learning disentangled representations. Although several disentanglement-promoting variants of the VAE were introduced, and applied to single-cell genomics data, this task has been shown to be infeasible from independent and identically distributed measurements, without additional structure. Instead, recent methods propose to leverage non-stationary data, as well as the sparse mechanism shift assumption in order to learn disentangled representations with a causal semantic. Here, we extend the application of these methodological advances to the analysis of single-cell genomics data with genetic or chemical perturbations. More precisely, we propose a deep generative model of single-cell gene expression data for which each perturbation is treated as a stochastic intervention targeting an unknown, but sparse, subset of latent variables. We benchmark these methods on simulated single-cell data to evaluate their performance at latent units recovery, causal target identification and out-of-domain generalization. Finally, we apply those approaches to two real-world large-scale gene perturbation data sets and find that models that exploit the sparse mechanism shift hypothesis surpass contemporary methods on a transfer learning task. We implement our new model and benchmarks using the scvi-tools library, and release it as open-source software at \url{https://github.com/Genentech/sVAE}.

我们的目标是恢复时间延迟的潜在因果变量，并确定其与测量的时间数据的关系。由于在最常规情况下潜在的变量并不唯一可恢复，估计来自观察的因果关系差别尤其具有挑战性。在这项工作中，我们考虑潜在过程的非参数，非间断设置和参数设置，并提出了两个可提供的条件，在该可提供条件下，可以从其非线性混合物中识别时间上发生因果潜在过程。我们提出了一系列的理论上接地的架构，通过在原因过程中通过适当的约束来实现我们的条件来扩展变形AutoEncoders（VAES）。各种数据集的实验结果表明，在不同依赖结构下，从观察到的变量可靠地识别了时间的因果关系潜在过程，并且我们的方法显着优于不利用历史记录或非间常信息的基线。这是第一种工作之一，即在不使用稀疏性或最小的假设的情况下成功地从非线性混合物中恢复时间延迟潜在的过程之一。

传统的监督学习方法，尤其是深的学习方法，发现对分发超出（OOD）示例敏感，主要是因为所学习的表示与由于其域特异性相关性的变异因子混合了语义因素，而只有语义因子导致输出。为了解决这个问题，我们提出了一种基于因果推理的因果语义生成模型（CSG），以便分别建模两个因素，以及从单个训练域中的oo ood预测的制定方法，这是常见和挑战的。该方法基于因果不变原理，在变形贝斯中具有新颖的设计，用于高效学习和易于预测。从理论上讲，我们证明，在某些条件下，CSG可以通过拟合训练数据来识别语义因素，并且这种语义识别保证了泛化概率的界限和适应的成功。实证研究表明，改善了卓越的基线表现。

Bayesian causal structure learning aims to learn a posterior distribution over directed acyclic graphs (DAGs), and the mechanisms that define the relationship between parent and child variables. By taking a Bayesian approach, it is possible to reason about the uncertainty of the causal model. The notion of modelling the uncertainty over models is particularly crucial for causal structure learning since the model could be unidentifiable when given only a finite amount of observational data. In this paper, we introduce a novel method to jointly learn the structure and mechanisms of the causal model using Variational Bayes, which we call Variational Bayes-DAG-GFlowNet (VBG). We extend the method of Bayesian causal structure learning using GFlowNets to learn not only the posterior distribution over the structure, but also the parameters of a linear-Gaussian model. Our results on simulated data suggest that VBG is competitive against several baselines in modelling the posterior over DAGs and mechanisms, while offering several advantages over existing methods, including the guarantee to sample acyclic graphs, and the flexibility to generalize to non-linear causal mechanisms.

我们提出了一个通过信息瓶颈约束来学习CAPSNET的学习框架的框架，该框架将信息提炼成紧凑的形式，并激励学习可解释的分解化胶囊。在我们的$ \ beta $ -capsnet框架中，使用超参数$ \ beta $用于权衡解开和其他任务，使用变异推理将信息瓶颈术语转换为kl divergence，以近似为约束胶囊。为了进行监督学习，使用类独立掩码矢量来理解合成的变化类型，无论图像类别类别，我们通过调整参数$ \ beta $来进行大量的定量和定性实验，以找出分离，重建和细节之间的关系表现。此外，提出了无监督的$ \ beta $ -capsnet和相应的动态路由算法，以学习范围的方式，以一种无监督的方式学习解散胶囊，广泛的经验评估表明我们的$ \ beta $ -CAPPAPSNET可实现的是先进的分离性截止性性能比较在监督和无监督场景中的几个复杂数据集上的CAPSNET和各种基线。