模拟在机器学习中无处不在。特别是在图形学习中，正在部署定向无环图（DAG）的模拟以评估新算法。在文献中，最近有人认为，诸如宣传之类的结构发现的连续优化方法可能正在利用该变量在可用数据中的可分解性，因为它们使用了最小的正方形损失。具体而言，由于结构发现是科学及其他方面的关键问题，因此我们希望对用于测量数据的量表不变（例如，仪表和厘米不应影响算法推断出的因果方向）。在这项工作中，我们通过证明在多变量案例中的关键结果并通过进一步的经验证据来进一步加强了这一初始的，负面的经验建议。特别是，我们表明我们可以通过目标方差攻击来控制所得图，即使在我们只能部分操纵数据方差的情况下。

模拟DAG模型可能表现出属性，也许无意中，使其结构识别和意外地影响结构学习算法。在这里，我们表明边缘方差往往沿着仿制性添加添加剂噪声模型的因果顺序增加。我们将Varsortable介绍为衡量衡量边际差异和因果顺序的秩序之间的协议。对于通常采样的图形和模型参数，我们表明，一些连续结构学习算法的显着性能可以通过高的Varsortable解释，并通过简单的基线方法匹配。然而，这种性能可能不会转移到真实世界的数据，其中VARS使性可能是中等或取决于测量尺度的选择。在标准化数据上，相同的算法无法识别地面真理DAG或其Markov等价类。虽然标准化在边缘方差中删除了模式，但我们表明，数据产生过程，其产生高VILS使性也留下了即使在标准化之后也可以利用不同的协方差模式。我们的调查结果挑战了独立绘制参数的通用基准的重要性。代码可在https://github.com/scriddie/varsortable获得。

We consider the problem of recovering the causal structure underlying observations from different experimental conditions when the targets of the interventions in each experiment are unknown. We assume a linear structural causal model with additive Gaussian noise and consider interventions that perturb their targets while maintaining the causal relationships in the system. Different models may entail the same distributions, offering competing causal explanations for the given observations. We fully characterize this equivalence class and offer identifiability results, which we use to derive a greedy algorithm called GnIES to recover the equivalence class of the data-generating model without knowledge of the intervention targets. In addition, we develop a novel procedure to generate semi-synthetic data sets with known causal ground truth but distributions closely resembling those of a real data set of choice. We leverage this procedure and evaluate the performance of GnIES on synthetic, real, and semi-synthetic data sets. Despite the strong Gaussian distributional assumption, GnIES is robust to an array of model violations and competitive in recovering the causal structure in small- to large-sample settings. We provide, in the Python packages "gnies" and "sempler", implementations of GnIES and our semi-synthetic data generation procedure.

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。

本文提出了一种新的因果发现方法，即结构不可知的建模（SAM）。SAM利用条件独立性和分布不对称性，旨在从观察数据中找到潜在的因果结构。该方法基于不同玩家之间的游戏，该游戏将每个变量分布有条件地作为神经网估算，而对手则旨在区分生成的数据与原始数据。结合分布估计，稀疏性和无环限制的学习标准用于通过随机梯度下降来实施图形结构和参数的优化。SAM在合成和真实数据上进行了实验验证。

Linear structural causal models (SCMs)-- in which each observed variable is generated by a subset of the other observed variables as well as a subset of the exogenous sources-- are pervasive in causal inference and casual discovery. However, for the task of causal discovery, existing work almost exclusively focus on the submodel where each observed variable is associated with a distinct source with non-zero variance. This results in the restriction that no observed variable can deterministically depend on other observed variables or latent confounders. In this paper, we extend the results on structure learning by focusing on a subclass of linear SCMs which do not have this property, i.e., models in which observed variables can be causally affected by any subset of the sources, and are allowed to be a deterministic function of other observed variables or latent confounders. This allows for a more realistic modeling of influence or information propagation in systems. We focus on the task of causal discovery form observational data generated from a member of this subclass. We derive a set of necessary and sufficient conditions for unique identifiability of the causal structure. To the best of our knowledge, this is the first work that gives identifiability results for causal discovery under both latent confounding and deterministic relationships. Further, we propose an algorithm for recovering the underlying causal structure when the aforementioned conditions are satisfied. We validate our theoretical results both on synthetic and real datasets.

Learning causal structure from observational data often assumes that we observe independent and identically distributed (i.\,i.\,d) data. The traditional approach aims to find a graphical representation that encodes the same set of conditional independence relationships as those present in the observed distribution. It is known that under i.\,i.\,d assumption, even with infinite data, there is a limit to how fine-grained a causal structure we can identify. To overcome this limitation, recent work has explored using data originating from different, related environments to learn richer causal structure. These approaches implicitly rely on the independent causal mechanisms (ICM) principle, which postulates that the mechanism giving rise to an effect given its causes and the mechanism which generates the causes do not inform or influence each other. Thus, components of the causal model can independently change from environment to environment. Despite its wide application in machine learning and causal inference, there is a lack of statistical formalization of the ICM principle and how it enables identification of richer causal structures from grouped data. Here we present new causal de Finetti theorems which offer a first statistical formalization of ICM principle and show how causal structure identification is possible from exchangeable data. Our work provides theoretical justification for a broad range of techniques leveraging multi-environment data to learn causal structure.

在许多科学领域，观察数据中的因果发现是一项重要但具有挑战性的任务。最近，一种称为宣传的非组合定向无环约束的方法将因果结构学习问题作为使用最小二乘损失的连续优化问题。尽管在标准高斯噪声假设下，最小二乘损耗函数是合理的，但如果假设不存在，则受到限制。在这项工作中，我们从理论上表明，违反高斯噪声假设将阻碍因果方向的识别，从而使因果强度以及线性案例中的噪声和噪声方差完全确定。在非线性情况下的噪音。因此，我们提出了一个更一般的基于熵的损失，理论上与任何噪声分布下的可能性得分一致。我们对合成数据和现实世界数据进行了广泛的经验评估，以验证所提出的方法的有效性，并表明我们的方法在结构锤距离，错误发现率和真实的正速率矩阵方面达到了最佳状态。

在非参数环境中，因果结构通常仅在马尔可夫等效性上可识别，并且出于因果推断的目的，学习马尔可夫等效类（MEC）的图形表示很有用。在本文中，我们重新审视了贪婪的等效搜索（GES）算法，该算法被广泛引用为一种基于分数的算法，用于学习基本因果结构的MEC。我们观察到，为了使GES算法在非参数设置中保持一致，不必设计评估图的评分度量。取而代之的是，足以插入有条件依赖度量的一致估计器来指导搜索。因此，我们提出了GES算法的重塑，该算法比基于标准分数的版本更灵活，并且很容易将自己带到非参数设置，并具有条件依赖性的一般度量。此外，我们提出了一种神经条件依赖性（NCD）度量，该措施利用深神经网络的表达能力以非参数方式表征条件独立性。我们根据标准假设建立了重新构架GES算法的最佳性，并使用我们的NCD估计器来决定条件独立性的一致性。这些结果共同证明了拟议的方法。实验结果证明了我们方法在因果发现中的有效性，以及使用我们的NCD度量而不是基于内核的措施的优势。

在许多学科中，在大量解释变量中推断反应变量的直接因果父母的问题具有很高的实际意义。但是，建立的方法通常至少会随着解释变量的数量而呈指数级扩展，难以扩展到非线性关系，并且很难扩展到周期性数据。受{\ em Debiased}机器学习方法的启发，我们研究了一种单Vs.-the-Rest特征选择方法，以发现响应的直接因果父母。我们提出了一种用于纯观测数据的算法，同时还提供理论保证，包括可能在周期存在下的部分非线性关系的情况。由于它仅需要对每个变量进行一个估计，因此我们的方法甚至适用于大图。与既定方法相比，我们证明了显着改善。

我们对无监督的结构学习感兴趣，特别关注有向的无环图形（DAG）模型。推断这些结构所需的计算通常在变量量中是超指定性的，因为推理需要扫描组合较大的潜在结构空间。也就是说，直到最近允许使用可区分的度量标准搜索此空间，大幅度缩短了搜索时间。尽管该技术（名为Notears）被广泛认为是在DAG-DISCOVERY中的开创性工作，但它承认了一个重要的属性，有利于可怜性：可运输性。在我们的论文中，我们介绍了D型结构，该结构通过新颖的结构和损失功能在发现的结构中恢复可运输性，同时保持完全可区分。由于D型结构仍然可区分，因此可以像以前使用Notears一样轻松地采用我们的方法。在我们的实验中，我们根据边缘准确性和结构锤距离验证了D结构。

从观察数据中学习因果结构是机器学习的基本挑战。但是，大多数常用的可区分因果发现方法是不可识别的，这将此问题变成了容易发生数据偏差的连续优化任务。在许多现实生活中，数据是从不同环境中收集的，在不同的环境中，功能关系在整个环境中保持一致，而添加噪声的分布可能会有所不同。本文提出了可区分的因果发现（DICD），利用基于可区分框架的多环境信息，以避免学习虚假边缘和错误的因果方向。具体而言，DICD旨在在消除环境依赖性相关性的同时发现环境不变的因果关系。我们进一步制定了强制执行目标结构方程模型的约束，以在整个环境中保持最佳状态。在温和条件下提供了足够的环境，提供了针对拟议DICD的可识别性的理论保证。关于合成和现实世界数据集的广泛实验验证了DICD优于最先进的因果发现方法，而SHD中最高36％。我们的代码将是开源的。

会员推理（MI）攻击突出了当前神经网络随机培训方法中的隐私弱点。然而，它为什么出现。它们仅是不完美概括的自然结果吗？在培训期间，我们应该解决哪些根本原因以减轻这些攻击？为了回答此类问题，我们提出了第一种解释MI攻击及其基于原则性因果推理的概括的方法。我们提供因果图，以定量地解释以$ 6 $攻击变体获得的观察到的MI攻击性能。我们驳斥了几种先前的非量化假设，这些假设过于简化或过度估计潜在原因的影响，从而未能捕获几个因素之间的复杂相互作用。我们的因果模型还通过共同的因果因素显示了概括和MI攻击之间的新联系。我们的因果模型具有很高的预测能力（$ 0.90 $），即它们的分析预测与经常看不见的实验中的观察结果相匹配，这使得通过它们的分析成为务实的替代方案。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

因果发现已成为希望从观察数据中发现因果关系的科学家和从业者的重要工具。尽管大多数先前的因果发现方法都隐含地假设没有专家领域知识可用，但从业者通常可以从先前的经验中提供此类域知识。最近的工作已将域知识纳入基于约束的因果发现中。但是，大多数基于约束的方法都假定因果忠诚，这在实践中经常被违反。因此，人们对基于精确搜索得分的因果发现方法的重新关注，这些方法不假定因果关系，例如基于*基于*的方法。但是，在领域知识的背景下，没有考虑这些方法。在这项工作中，我们专注于有效地将几种类型的领域知识整合到基于*的因果发现中。在此过程中，我们讨论并解释了域知识如何减少图形搜索空间，然后对潜在的计算收益进行分析。我们通过有关合成和真实数据的实验来支持这些发现，表明即使少量领域知识也可以显着加快基于*基于*的因果关系并提高其绩效和实用性。

我们提出了一个新的因果贡献的概念，它描述了在DAG中目标节点上的节点的“内在”部分。我们显示，在某些情况下，现有的因果量化方法无法完全捕获此概念。通过以上游噪声术语递归地将每个节点写入每个节点，我们将每个节点添加的内部信息分开从其祖先所获得的每个节点添加的内部信息。要将内在信息解释为因果贡献，我们考虑“结构保留干预”，该介绍每个节点随机化，以一种模仿通常依赖父母的方式，也不会扰乱观察到的联合分布。为了获得跨越节点的任意排序的措施，我们提出了基于福利的对称化。我们描述了对方差和熵的贡献分析，但可以类似地定义对其他目标度量的贡献。

跨学科的一个重要问题是发现产生预期结果的干预措施。当可能的干预空间很大时，需要进行详尽的搜索，需要实验设计策略。在这种情况下，编码变量之间的因果关系以及因此对系统的影响，对于有效地确定理想的干预措施至关重要。我们开发了一种迭代因果方法来识别最佳干预措施，这是通过分布后平均值和所需目标平均值之间的差异来衡量的。我们制定了一种主动学习策略，该策略使用从不同干预措施中获得的样本来更新有关基本因果模型的信念，并确定对最佳干预措施最有用的样本，因此应在下一批中获得。该方法采用了因果模型的贝叶斯更新，并使用精心设计的，有因果关系的收购功能优先考虑干预措施。此采集函数以封闭形式进行评估，从而有效优化。理论上以信息理论界限和可证明的一致性结果在理论上基于理论上的算法。我们说明了综合数据和现实世界生物学数据的方法，即来自worturb-cite-seq实验的基因表达数据，以识别诱导特定细胞态过渡的最佳扰动；与几个基线相比，观察到所提出的因果方法可实现更好的样品效率。在这两种情况下，我们都认为因果知情的采集函数尤其优于现有标准，从而允许使用实验明显更少的最佳干预设计。