有条件的独立性（CI）测试是因果推理中许多方法来模型测试和结构学习的方法。大多数现有的CI测试用于分类和序数数据，将样品通过条件变量分类，在每个层中进行简单的独立性测试，然后结合结果。不幸的是，随着条件变量的增加，该方法的统计能力迅速降低。在这里，我们提出了一个简单的统一CI测试，以实现序数和分类数据，该测试在高维度中保持合理的校准和功率。我们表明，我们的测试在密集的有向图形模型的模型测试和结构学习中优于现有基线，同时与稀疏模型相当。我们的方法对于因果模型测试可能具有吸引力，因为它易于实现，可以与非参数或参数概率模型一起使用，具有对称属性，并且具有合理的计算要求。

本文提出了一种新的混合贝叶斯网络学习算法，称为前部滴下山坡爬山（FEDHC），设计为与连续或分类变量一起使用。具体地，对于连续数据的情况，提出了一种对FEDHC的强大的异常值，可以由其他BN学习算法采用。此外，纸张表明，统计软件\ Texit {R}中唯一的MMHC的实现是非常昂贵的，并且提供了新的实现。通过Monte Carlo模拟测试FEDHC，表明它是计算效率的明显，并产生与MMHC和PCHC相似的贝叶斯网络或更高的准确性。最后，使用统计软件\ Textit {R}，对来自经济学领域的FEDHC，PCHC和MMHC算法的应用到实际数据中的应用。

考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平，特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系，可以更好地实现和衡量可靠的公平/歧视，从而更好地实现了敏感属性（例如性别，种族，宗教等）之间的因果关系，仅仅是仅仅是关联，例如性别，种族，宗教等（例如，雇用工作，贷款授予等） ）。然而，对因果关系解决公平性的最大障碍是因果模型的不可用（通常表示为因果图）。文献中现有的因果关系方法并不能解决此问题，并假设可获得因果模型。在本文中，我们没有做出这样的假设，并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法如何导致不同的因果模型，最重要的是，即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。

在非参数环境中，因果结构通常仅在马尔可夫等效性上可识别，并且出于因果推断的目的，学习马尔可夫等效类（MEC）的图形表示很有用。在本文中，我们重新审视了贪婪的等效搜索（GES）算法，该算法被广泛引用为一种基于分数的算法，用于学习基本因果结构的MEC。我们观察到，为了使GES算法在非参数设置中保持一致，不必设计评估图的评分度量。取而代之的是，足以插入有条件依赖度量的一致估计器来指导搜索。因此，我们提出了GES算法的重塑，该算法比基于标准分数的版本更灵活，并且很容易将自己带到非参数设置，并具有条件依赖性的一般度量。此外，我们提出了一种神经条件依赖性（NCD）度量，该措施利用深神经网络的表达能力以非参数方式表征条件独立性。我们根据标准假设建立了重新构架GES算法的最佳性，并使用我们的NCD估计器来决定条件独立性的一致性。这些结果共同证明了拟议的方法。实验结果证明了我们方法在因果发现中的有效性，以及使用我们的NCD度量而不是基于内核的措施的优势。

在学习从观察数据中学习贝叶斯网络的图形结构是描述和帮助了解复杂应用程序中的数据生成过程的关键，而任务由于其计算复杂性而构成了相当大的挑战。代表贝叶斯网络模型的定向非循环图（DAG）通常不会从观察数据识别，并且存在各种方法来估计其等价类。在某些假设下，流行的PC算法可以通过测试条件独立（CI）一致地始终恢复正确的等价类，从边际独立关系开始，逐步扩展调节集。这里，我们提出了一种通过利用协方差与精密矩阵之间的反向关系来执行PC算法内的CI测试的新颖方案。值得注意的是，精密矩阵的元素与高斯数据的部分相关性。然后，我们的算法利用对协方差和精密矩阵的块矩阵逆转，同时对互补（或双）调节集的部分相关性进行测试。因此，双PC算法的多个CI测试首先考虑边缘和全阶CI关系并逐步地移动到中心顺序。仿真研究表明，双PC算法在运行时和恢复底层网络结构方面都优于经典PC算法。

We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.

因果贝叶斯网络提供了重要的工具，用于在不确定性下进行推理，并可能应用于许多复杂的因果系统。结构学习算法可以告诉我们一些有关这些系统的因果结构的信息，越来越重要。在文献中，这些算法的有效性通常经过对不同样本量，超参数以及偶尔客观函数的敏感性进行测试。在本文中，我们表明，从数据中读取变量的顺序可能比这些因素对算法的准确性产生更大的影响。由于变量排序是任意的，因此它对学习图的准确性的任何重大影响都与之有关，这引发了有关算法对敏感但未对不同可变订单敏感但尚未评估的算法产生的结果的有效性的问题。

转移学习中最关键的问题之一是域适应的任务，其中目标是将在一个或多个源域中培训的算法应用于不同（但相关）的目标域。本文在域内存在协变量转变时，涉及域适应。解决此问题的现有因果推断方法的主要限制之一是可扩展性。为了克服这种困难，我们提出了一种避免穷举搜索的算法，并识别基于Markov毯子发现的源和目标域的不变因果特征。 SCTL不需要先前了解因果结构，干预措施的类型或干预目标。有一个与SCTL相关的内在位置，使其实现实际上可扩展且稳健，因为本地因果发现增加了计算独立性测试的力量，并使域适配的任务进行了计算地进行了易行的。我们通过低维和高维设置中的合成和实际数据集显示SCTL的可扩展性和稳健性。

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

A common assumption in causal inference from observational data is that there is no hidden confounding. Yet it is, in general, impossible to verify the presence of hidden confounding factors from a single dataset. Under the assumption of independent causal mechanisms underlying the data generating process, we demonstrate a way to detect unobserved confounders when having multiple observational datasets coming from different environments. We present a theory for testable conditional independencies that are only absent during hidden confounding and examine cases where we violate its assumptions: degenerate & dependent mechanisms, and faithfulness violations. Additionally, we propose a procedure to test these independencies and study its empirical finite-sample behavior using simulation studies and semi-synthetic data based on a real-world dataset. In most cases, our theory correctly predicts the presence of hidden confounding, particularly when the confounding bias is~large.

检测条件独立性在几个统计和机器学习任务中起着关键作用，尤其是在因果发现算法中。在这项研究中，我们介绍了LCIT（基于潜在的条件独立性检验） - 一种基于表示学习的有条件独立性测试的新型非参数方法。我们的主要贡献涉及提出一个生成框架，在该框架中测试X和Y之间的独立性，我们首先学会推断目标变量X和Y的潜在表示，该代表不包含有关条件变量Z的信息。潜在变量是然后研究了任何剩余的显着依赖性，可以使用常规的部分相关测试进行。经验评估表明，在不同的评估指标下，LCIT始终超过几个最先进的基线，并且能够很好地适应非线性和高维度的各种合成和真实数据集的集合。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

Classical asymptotic theory for statistical inference usually involves calibrating a statistic by fixing the dimension $d$ while letting the sample size $n$ increase to infinity. Recently, much effort has been dedicated towards understanding how these methods behave in high-dimensional settings, where $d$ and $n$ both increase to infinity together. This often leads to different inference procedures, depending on the assumptions about the dimensionality, leaving the practitioner in a bind: given a dataset with 100 samples in 20 dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$? This paper considers the goal of dimension-agnostic inference; developing methods whose validity does not depend on any assumption on $d$ versus $n$. We introduce an approach that uses variational representations of existing test statistics along with sample splitting and self-normalization to produce a new test statistic with a Gaussian limiting distribution, regardless of how $d$ scales with $n$. The resulting statistic can be viewed as a careful modification of degenerate U-statistics, dropping diagonal blocks and retaining off-diagonal blocks. We exemplify our technique for some classical problems including one-sample mean and covariance testing, and show that our tests have minimax rate-optimal power against appropriate local alternatives. In most settings, our cross U-statistic matches the high-dimensional power of the corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.

因果发现是学习给定观察数据的变量之间的因果关系，对于许多应用程序很重要。现有的因果发现方法假设数据足够，在许多现实世界数据集中可能并非如此。结果，在有限的数据下，许多现有的因果发现方法可能会失败。在这项工作中，我们提出了贝叶斯的频繁独立性测试，以在数据不足下提高基于约束的因果发现方法的性能：1）我们首先引入了一种贝叶斯方法来估计互信息（MI），我们提出了一个可靠的方法基于MI的独立测试； 2）其次，我们考虑了假设可能性的贝叶斯估计，并将其纳入定义明确的统计检验中，从而进行了基于统计测试的强大独立性检验。我们将提出的独立测试应用于基于约束的因果发现方法，并评估样品不足的基准数据集上的性能。实验在SOTA方法的准确性和效率方面表现出显着的性能提高。

科学家经常优先考虑从数据学习，而不是培训最佳模型；但是，机器学习的研究通常优先考虑后者。边际特征重要的方法（例如边际贡献特征重要性（MCI））试图通过提供一个有用的框架来打破这种趋势，以量化以可解释方式量化数据的关系。在这项工作中，我们概括了MCI的框架，同时旨在通过引入超级边界特征的重要性（UMFI）来提高性能和运行时。为此，我们证明可以通过应用AI公平文献中的预处理方法直接计算UMFI来删除功能集中的依赖项。我们在真实和模拟数据上显示了UMFI至少和MCI的性能，在存在相关相互作用和无关特征的情况下，性能明显更好，同时大大降低了MCI的指数运行时间为超线性。

在制定政策指南时，随机对照试验（RCT）代表了黄金标准。但是，RCT通常是狭窄的，并且缺乏更广泛的感兴趣人群的数据。这些人群中的因果效应通常是使用观察数据集估算的，这可能会遭受未观察到的混杂和选择偏见。考虑到一组观察估计（例如，来自多项研究），我们提出了一个试图拒绝偏见的观察性估计值的元偏值。我们使用验证效应，可以从RCT和观察数据中推断出的因果效应。在拒绝未通过此测试的估计器之后，我们对RCT中未观察到的亚组的外推性效应产生了保守的置信区间。假设至少一个观察估计量在验证和外推效果方面是渐近正常且一致的，我们为我们算法输出的间隔的覆盖率概率提供了保证。为了促进在跨数据集的因果效应运输的设置中，我们给出的条件下，即使使用灵活的机器学习方法用于估计滋扰参数，群体平均治疗效应的双重稳定估计值也是渐近的正常。我们说明了方法在半合成和现实世界数据集上的特性，并表明它与标准的荟萃分析技术相比。

独立测试在观察数据中的统计和因果推断中起着核心作用。标准独立测试假定数据样本是独立的，并且分布相同（i.i.d。），但是在以关系系统为中心的许多现实世界数据集和应用中违反了该假设。这项工作通过为影响个人实例的一组观测值定义足够的观察表，研究了从关系系统中估算独立性的问题。具体而言，我们通过将内核平均嵌入为关系变量的灵活聚合函数来定义关系数据的边际和条件独立性测试。我们提出了一个一致的，非参数，可扩展的内核测试，以对非I.I.D的关系独立性测试进行操作。一组结构假设下的观察数据。我们在经验上对各种合成和半合成网络进行了经验评估我们提出的方法，并证明了与基于最新内核的独立性测试相比其有效性。

我们提出了一项新的条件依赖度量和有条件独立性的统计检验。该度量基于在有限位置评估的两个合理分布的分析内嵌入之间的差异。我们在条件独立性的无效假设下获得其渐近分布，并从中设计一致的统计检验。我们进行了一系列实验，表明我们的新测试在I型和类型II误差方面都超过了最先进的方法，即使在高维设置中也是如此。

有条件的随机测试（CRTS）评估了一个变量$ x $是否可以预测另一个变量$ y $，因为观察到了协变量$ z $。 CRT需要拟合大量的预测模型，这通常在计算上是棘手的。降低CRT成本的现有解决方案通常将数据集分为火车和测试部分，或者依靠启发式方法进行互动，这两者都会导致权力损失。我们提出了脱钩的独立性测试（饮食），该算法通过利用边际独立性统计数据来测试条件独立关系来避免这两个问题。饮食测试两个随机变量的边际独立性：$ f（x \ hid z）$和$ f（y \ mid z）$，其中$ f（\ cdot \ mid z）$是有条件的累积分配功能（CDF）。这些变量称为“信息残差”。我们为饮食提供足够的条件，以实现有限的样本类型误差控制和大于1型错误率的功率。然后，我们证明，在使用信息残差之间的相互信息作为测试统计数据时，饮食会产生最强大的有条件测试。最后，我们显示出比几个合成和真实基准测试的其他可处理的CRT的饮食能力更高。

In recent years, several methods have been proposed for the discovery of causal structure from non-experimental data. Such methods make various assumptions on the data generating process to facilitate its identification from purely observational data. Continuing this line of research, we show how to discover the complete causal structure of continuous-valued data, under the assumptions that (a) the data generating process is linear, (b) there are no unobserved confounders, and (c) disturbance variables have non-Gaussian distributions of non-zero variances. The solution relies on the use of the statistical method known as independent component analysis, and does not require any pre-specified time-ordering of the variables. We provide a complete Matlab package for performing this LiNGAM analysis (short for Linear Non-Gaussian Acyclic Model), and demonstrate the effectiveness of the method using artificially generated data and real-world data.