我们将定量探测作为模型 - 非局部框架，用于在存在定量域知识的情况下验证因果模型。该方法被构造为基于相关的机器学习中火车/测试拆分的类似物，并增强了与科学发现逻辑一致的当前因果验证策略。在进行彻底基于模拟的研究之前，使用Pearl的洒水示例说明了该方法的有效性。通过研究示例性失败方案来识别该技术的限制，这些方案还用于提出一系列主题，以供未来的研究和改进定量探测的版本。在两个单独的开源python软件包中提供了将定量探测的代码以及基于模拟的定量探测有效性的基于仿真的研究的代码。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

我们的许多实验旨在发现数据生成机制（即现象）背后的原因和效果。最重要的是，阐明一个模型，该模型可以使我们能够进一步探索手头上的现象和/或允许我们准确预测它。从根本上讲，这种模型可能是通过因果方法来得出的（与观察或经验平均值相反）。在这种方法中，需要因果发现来创建因果模型，然后可以应用该因果模型来推断干预措施的影响，并回答我们可能拥有的任何假设问题（即以什么IFS的形式）。本文为因果发现和因果推断提供了一个案例，并与传统的机器学习方法进行了对比。都是从公民和结构工程的角度来看。更具体地说，本文概述了因果关系的关键原理以及因果发现和因果推断的最常用算法和包。最后，本文还提出了一系列示例和案例研究，介绍了如何为我们的领域采用因果概念。

We explore how observational and interventional causal discovery methods can be combined. A state-of-the-art observational causal discovery algorithm for time series capable of handling latent confounders and contemporaneous effects, called LPCMCI, is extended to profit from casual constraints found through randomized control trials. Numerical results show that, given perfect interventional constraints, the reconstructed structural causal models (SCMs) of the extended LPCMCI allow 84.6% of the time for the optimal prediction of the target variable. The implementation of interventional and observational causal discovery is modular, allowing causal constraints from other sources. The second part of this thesis investigates the question of regret minimizing control by simultaneously learning a causal model and planning actions through the causal model. The idea is that an agent to optimize a measured variable first learns the system's mechanics through observational causal discovery. The agent then intervenes on the most promising variable with randomized values allowing for the exploitation and generation of new interventional data. The agent then uses the interventional data to enhance the causal model further, allowing improved actions the next time. The extended LPCMCI can be favorable compared to the original LPCMCI algorithm. The numerical results show that detecting and using interventional constraints leads to reconstructed SCMs that allow 60.9% of the time for the optimal prediction of the target variable in contrast to the baseline of 53.6% when using the original LPCMCI algorithm. Furthermore, the induced average regret decreases from 1.2 when using the original LPCMCI algorithm to 1.0 when using the extended LPCMCI algorithm with interventional discovery.

发现新药是寻求并证明因果关系。作为一种新兴方法利用人类的知识和创造力，数据和机器智能，因果推论具有减少认知偏见并改善药物发现决策的希望。尽管它已经在整个价值链中应用了，但因子推理的概念和实践对许多从业者来说仍然晦涩难懂。本文提供了有关因果推理的非技术介绍，审查了其最新应用，并讨论了在药物发现和开发中采用因果语言的机会和挑战。

数据科学任务可以被视为了解数据的感觉或测试关于它的假设。从数据推断的结论可以极大地指导我们做出信息做出决定。大数据使我们能够与机器学习结合执行无数的预测任务，例如鉴定患有某种疾病的高风险患者并采取可预防措施。然而，医疗保健从业者不仅仅是仅仅预测的内容 - 它们也对输入特征和临床结果之间的原因关系感兴趣。了解这些关系将有助于医生治疗患者并有效降低风险。通常通过随机对照试验鉴定因果关系。当科学家和研究人员转向观察研究并试图吸引推论时，这种试验通常是不可行的。然而，观察性研究也可能受到选择和/或混淆偏差的影响，这可能导致错误的因果结论。在本章中，我们将尝试突出传统机器学习和统计方法中可能出现的一些缺点，以分析观察数据，特别是在医疗保健数据分析域中。我们将讨论因果化推理和方法，以发现医疗领域的观测研究原因。此外，我们将展示因果推断在解决某些普通机器学习问题等中的应用，例如缺少数据和模型可运输性。最后，我们将讨论将加强学习与因果关系相结合的可能性，作为反击偏见的一种方式。

会员推理（MI）攻击突出了当前神经网络随机培训方法中的隐私弱点。然而，它为什么出现。它们仅是不完美概括的自然结果吗？在培训期间，我们应该解决哪些根本原因以减轻这些攻击？为了回答此类问题，我们提出了第一种解释MI攻击及其基于原则性因果推理的概括的方法。我们提供因果图，以定量地解释以$ 6 $攻击变体获得的观察到的MI攻击性能。我们驳斥了几种先前的非量化假设，这些假设过于简化或过度估计潜在原因的影响，从而未能捕获几个因素之间的复杂相互作用。我们的因果模型还通过共同的因果因素显示了概括和MI攻击之间的新联系。我们的因果模型具有很高的预测能力（$ 0.90 $），即它们的分析预测与经常看不见的实验中的观察结果相匹配，这使得通过它们的分析成为务实的替代方案。

This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.

因果图发现和因果效应估计是因果推断的两个基本任务。尽管已经为每个任务开发了许多方法，但共同应用这些方法时会出现统计挑战：在同一数据上运行因果发现算法后，估算因果关系效应，导致“双重浸入”，使经典置信区间的覆盖范围无效。为此，我们开发了有效的可获得后发现推断的工具。一个关键的贡献是贪婪等效搜索（GES）算法的随机版本，该算法允许对经典置信区间进行有效的有限样本校正。在经验研究中，我们表明，因果发现和随后的推断算法的幼稚组合通常会导致高度膨胀的误导率。同时，我们的嘈杂的GES方法提供了可靠的覆盖范围控制，同时获得比数据拆分更准确的因果图恢复。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

基于机器学习（ML）的系统的制作需要在其生命周期中进行统计控制。仔细量化业务需求和识别影响业务需求的关键因素降低了项目故障的风险。业务需求的量化导致随机变量的定义，表示通过统计实验需要分析的系统关键性能指标。此外，可提供的培训和实验结果产生影响系统的设计。开发系统后，测试并不断监控，以确保其符合其业务需求。这是通过持续应用统计实验来分析和控制关键绩效指标来完成的。本书教授制作和开发基于ML的系统的艺术。它倡导“首先”方法，强调从项目生命周期开始定义统计实验的需要。它还详细讨论了如何在整个生命周期中对基于ML的系统进行统计控制。

在科学研究和现实世界应用的许多领域中，非实验数据的因果效应的无偏估计对于理解数据的基础机制以及对有效响应或干预措施的决策至关重要。从不同角度对这个具有挑战性的问题进行了大量研究。对于数据中的因果效应估计，始终做出诸如马尔可夫财产，忠诚和因果关系之类的假设。在假设下，仍然需要一组协变量或基本因果图之类的全部知识。一个实用的挑战是，在许多应用程序中，没有这样的全部知识或只有某些部分知识。近年来，研究已经出现了基于图形因果模型的搜索策略，以从数据中发现有用的知识，以进行因果效应估计，并具有一些温和的假设，并在应对实际挑战方面表现出了诺言。在这项调查中，我们回顾了方法，并关注数据驱动方法所面临的挑战。我们讨论数据驱动方法的假设，优势和局限性。我们希望这篇综述将激励更多的研究人员根据图形因果建模设计更好的数据驱动方法，以解决因果效应估计的具有挑战性的问题。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

This work shows how to leverage causal inference to understand the behavior of complex learning systems interacting with their environment and predict the consequences of changes to the system. Such predictions allow both humans and algorithms to select the changes that would have improved the system performance. This work is illustrated by experiments on the ad placement system associated with the Bing search engine.

随着人工智能的兴起，算法已经变得更好地从培训数据中学习基本模式，包括基于性别，种族等基于性别的社会偏见。部署此类算法对招聘，医疗保健，执法等领域的部署已经提高了严重的领域。对机器学习算法中的公平，问责制，信任和解释性的关注。为了减轻这个问题，我们提出了D-Bias，这是一种视觉交互式工具，它体现了人类在循环AI方法，以审核和减轻表格数据集的社交偏见。它使用图形因果模型来表示数据集中不同特征之间的因果关系，并作为注入域知识的媒介。用户可以通过识别因果网络中的不公平因果关系并使用一系列公平指标来检测对群体（例如女性或亚组）的偏见。此后，用户可以通过在不公平的因果边缘作用来减轻偏见。对于每种相互作用，例如弱化/删除有偏见的因果边缘，系统使用一种新方法来模拟基于当前因果模型的新（cla依）数据集。用户可以在视觉上评估其相互作用对不同公平指标，公用事业指标，数据失真和基础数据分布的影响。一旦满足，他们就可以下载依据的数据集并将其用于任何下游应用程序以进行更公正的预测。我们通过对3个数据集进行实验以及一项正式的用户研究来评估D偏差。我们发现，与不同公平指标的基线偏差方法相比，D偏差有助于显着降低偏差，同时几乎没有数据失真和效用较小的损失。此外，我们基于人类的方法极大地超过了关于信任，解释性和问责制的自动方法。

模拟DAG模型可能表现出属性，也许无意中，使其结构识别和意外地影响结构学习算法。在这里，我们表明边缘方差往往沿着仿制性添加添加剂噪声模型的因果顺序增加。我们将Varsortable介绍为衡量衡量边际差异和因果顺序的秩序之间的协议。对于通常采样的图形和模型参数，我们表明，一些连续结构学习算法的显着性能可以通过高的Varsortable解释，并通过简单的基线方法匹配。然而，这种性能可能不会转移到真实世界的数据，其中VARS使性可能是中等或取决于测量尺度的选择。在标准化数据上，相同的算法无法识别地面真理DAG或其Markov等价类。虽然标准化在边缘方差中删除了模式，但我们表明，数据产生过程，其产生高VILS使性也留下了即使在标准化之后也可以利用不同的协方差模式。我们的调查结果挑战了独立绘制参数的通用基准的重要性。代码可在https://github.com/scriddie/varsortable获得。

A common assumption in causal inference from observational data is that there is no hidden confounding. Yet it is, in general, impossible to verify the presence of hidden confounding factors from a single dataset. Under the assumption of independent causal mechanisms underlying the data generating process, we demonstrate a way to detect unobserved confounders when having multiple observational datasets coming from different environments. We present a theory for testable conditional independencies that are only absent during hidden confounding and examine cases where we violate its assumptions: degenerate & dependent mechanisms, and faithfulness violations. Additionally, we propose a procedure to test these independencies and study its empirical finite-sample behavior using simulation studies and semi-synthetic data based on a real-world dataset. In most cases, our theory correctly predicts the presence of hidden confounding, particularly when the confounding bias is~large.

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

我们对无监督的结构学习感兴趣，特别关注有向的无环图形（DAG）模型。推断这些结构所需的计算通常在变量量中是超指定性的，因为推理需要扫描组合较大的潜在结构空间。也就是说，直到最近允许使用可区分的度量标准搜索此空间，大幅度缩短了搜索时间。尽管该技术（名为Notears）被广泛认为是在DAG-DISCOVERY中的开创性工作，但它承认了一个重要的属性，有利于可怜性：可运输性。在我们的论文中，我们介绍了D型结构，该结构通过新颖的结构和损失功能在发现的结构中恢复可运输性，同时保持完全可区分。由于D型结构仍然可区分，因此可以像以前使用Notears一样轻松地采用我们的方法。在我们的实验中，我们根据边缘准确性和结构锤距离验证了D结构。