当部署在与受过训练的域不同的域中时，机器学习方法可能是不可靠的。为了解决这个问题，我们可能希望学习以域不变性的数据表示，即我们保留跨域稳定但抛出虚假变化的部分的数据结构。这种类型有许多表示学习方法，包括基于数据增强，分配不变性和风险不变性的方法。不幸的是，当面对任何特定的现实世界转移时，目前尚不清楚这些方法中有哪些（如果有的话）可以正常工作。本文的目的是展示不同方法如何相互关系，并阐明各自预期成功的现实情况。关键工具是一个新的域转移概念，它依靠因果关系是不变的想法，但是非因果关系（例如，由于混杂而引起的）可能会有所不同。

现实世界的分类问题必须与域移位竞争，该域移动是部署模型的域之间的（潜在）不匹配以及收集训练数据的域。处理此类问题的方法必须指定域之间哪种结构与什么变化。一个自然的假设是，因果关系（结构）关系在所有领域都是不变的。然后，很容易学习仅取决于其因果父母的标签$ y $的预测指标。但是，许多现实世界中的问题是“反农产品”，因为$ y $是协变量$ x $的原因 - 在这种情况下，$ y $没有因果父母，而天真的因果不变性是没有用的。在本文中，我们研究了在特定的域转移概念下的表示形式学习，该概念既尊重因果不变性又自然处理“反毒物”结构。我们展示了如何利用域的共享因果结构来学习一个表示不变预测因子的表示，并且还允许在新域中快速适应。关键是将因果假设转化为学习原理，这些学习原理“不变”和“不稳定”特征。关于合成数据和现实世界数据的实验证明了所提出的学习算法的有效性。代码可在https://github.com/ybjiaang/actir上找到。

非正式地，“虚假关联”是模型对分析师认为无关紧要的输入数据的某些方面的依赖性。在机器学习中，这些都有一个知道它 - 当你看到它的字符;例如，改变句子主题的性别改变了情绪预测因素的输出。要检查虚假相关性，我们可以通过对输入数据的无关部分进行扰动并查看模型预测变化来“压力测试”模型。在本文中，我们使用因果推断的工具研究压力测试。我们将反事实不变性介绍，作为一个正式化的要求，即改变输入不相关的部分不应改变模型预测。我们将反事实不变性与域外模型性能进行连接，并提供用于学习（大约）反事实不变预测器的实用方案（无需访问反事实示例）。事实证明，反事实不变性的手段和含义都基本上取决于数据的真实潜在的因果结构 - 特别是标签是否导致特征或功能导致标签。不同的因果结构需要不同的正则化方案，以诱导反事实不变性。同样，反事实不变性暗示不同的域移位保证，具体取决于底层的因果结构。该理论是通过文本分类的经验结果支持。

从多个域收集的现实世界数据可以在多个属性上具有多个不同的分布变化。但是，域概括（DG）算法的最新进展仅关注对单个属性的特定变化。我们介绍了具有多属性分布变化的数据集，并发现现有的DG算法无法概括。为了解释这一点，我们使用因果图来根据虚假属性与分类标签之间的关系来表征不同类型的变化。每个多属性因果图都需要对观察到的变量进行不同的约束，因此，基于单个固定独立性约束的任何算法都不能在所有变化中正常工作。我们提出了因果自适应约束最小化（CACM），这是一种用于识别正则化的正确独立性约束的新算法。完全合成，MNIST和小型NORB数据集的结果，涵盖了二进制和多价值属性和标签，确认我们的理论主张：正确的独立性约束导致未见域的最高准确性，而不正确的约束则无法做到这一点。我们的结果表明，建模数据生成过程中固有的因果关系的重要性：在许多情况下，如果没有此信息，就不可能知道正确的正规化约束。

分配转移和公平性的稳健性已独立地成为现代机器学习模型所需的两个重要的逃亡者。尽管这两个Desiderata似乎相关，但它们之间的联系通常不清楚。在这里，我们通过因果镜头讨论这些连接，重点是反作用预测任务，其中假定分类器的输入（例如，图像）是作为目标标签和受保护属性的函数生成的。通过采用这一观点，我们在共同的公平标准（分离）和鲁棒性 - 风险不变性的概念之间达到明确的联系。这些连接为在反疗法环境中应用分离标准提供了新的动机，并为关于公平性绩效折衷的旧讨论提供了信息。此外，我们的发现表明，鲁棒性动机的方法可用于强制执行分离，并且它们在实践中通常比旨在直接强制执行分离的方法更好。使用医学数据集，我们从经验上验证了关于检测X射线肺炎的任务的发现，在这种情况下，性别群体的患病率差异激发了公平性缓解。我们的发现突出了选择和执行公平标准时考虑因果结构的重要性。

Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anticausal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By tradingoff robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.

最近对DataSet Shift的兴趣，已经产生了许多方法，用于查找新的未经，无奈环境中预测的不变分布。然而，这些方法考虑不同类型的班次，并且已经在不同的框架下开发，从理论上难以分析解决方案如何与稳定性和准确性不同。采取因果图形视图，我们使用灵活的图形表示来表达各种类型的数据集班次。我们表明所有不变的分布对应于图形运算符的因果层次结构，该图形运算符禁用负责班次的图表中的边缘。层次结构提供了一个常见的理论基础，以便理解可以实现转移的何时以及如何实现稳定性，并且在稳定的分布可能不同的情况下。我们使用它来建立跨环境最佳性能的条件，并导出找到最佳稳定分布的新算法。使用这种新的视角，我们经验证明了最低限度和平均性能之间的权衡。

科学研究的基本目标是了解因果关系。然而，尽管因果关系在生活和社会科学中的重要作用，但在自然语言处理（NLP）中并不具有相同的重要性，而自然语言处理（NLP）传统上更加重视预测任务。这种区别开始逐渐消失，随着因果推理和语言处理的融合，跨学科研究的新兴领域。尽管如此，关于NLP因果关系的研究仍然散布在没有统一的定义，基准数据集的情况下，并清楚地表达了将因果推论应用于文本领域的挑战和机遇，并具有其独特的属性。在这项调查中，我们巩固了整个学术领域的研究，并将其置于更广泛的NLP景观中。我们介绍了用文本估算因果效应的统计挑战，其中包含文本用作结果，治疗或解决混杂问题的设置。此外，我们探讨了因果推理的潜在用途，以提高NLP模型的鲁棒性，公平性和解释性。因此，我们提供了NLP社区因果推断的统一概述。

Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- \textit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.

域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。

尽管在各种应用中取得了显着成功，但众所周知，在呈现出分发数据时，深度学习可能会失败。为了解决这一挑战，我们考虑域泛化问题，其中使用从相关训练域系列绘制的数据进行训练，然后在不同和看不见的测试域中评估预测器。我们表明，在数据生成的自然模型和伴随的不变性条件下，域泛化问​​题等同于无限维约束的统计学习问题;此问题构成了我们的方法的基础，我们呼叫基于模型的域泛化。由于解决深度学习中受约束优化问题的固有挑战，我们利用非凸显二元性理论，在二元间隙上紧张的界限发展这种统计问题的不受约束放松。基于这种理论动机，我们提出了一种具有收敛保证的新型域泛化算法。在我们的实验中，我们在几个基准中报告了最多30个百分点的阶段概括基座，包括彩色，Camelyon17-Wilds，FMOW-Wilds和PAC。

We propose a Target Conditioned Representation Independence (TCRI) objective for domain generalization. TCRI addresses the limitations of existing domain generalization methods due to incomplete constraints. Specifically, TCRI implements regularizers motivated by conditional independence constraints that are sufficient to strictly learn complete sets of invariant mechanisms, which we show are necessary and sufficient for domain generalization. Empirically, we show that TCRI is effective on both synthetic and real-world data. TCRI is competitive with baselines in average accuracy while outperforming them in worst-domain accuracy, indicating desired cross-domain stability.

域名（ood）概括是机器学习模型的重大挑战。已经提出了许多技术来克服这一挑战，通常专注于具有某些不变性属性的学习模型。在这项工作中，我们绘制了ood性能和模型校准之间的链接，争论跨多个域的校准可以被视为一个特殊的表达，导致更好的EOD泛化。具体而言，我们表明，在某些条件下，实现\ EMPH {多域校准}的模型可被证明无杂散相关性。这导致我们提出多域校准作为分类器的性能的可测量和可训练的代理。因此，我们介绍了易于申请的方法，并允许从业者通过训练或修改现有模型来改善多域校准，从而更好地在看不见的域上的性能。使用最近提出的野外的四个数据集以及彩色的MNIST数据集，我们证明了训练或调整模型，以便在多个域中校准它们导致在看不见的测试域中显着提高性能。我们认为，校准和革建化之间的这种有趣联系是从一个实际和理论的观点出发的。

关于人们的预测，例如他们预期的教育成就或信用风险，可以表现出色，并塑造他们旨在预测的结果。了解这些预测对最终结果的因果影响对于预测未来预测模型的含义并选择要部署哪些模型至关重要。但是，该因果估计任务带来了独特的挑战：模型预测通常是输入特征的确定性功能，并且与结果高度相关，这可能使预测的因果效应不可能从协变量的直接效应中解散。我们通过因果可识别性的角度研究了这个问题，尽管该问题完全普遍，但我们突出了三种自然情况，在这些情况下，可以从观察数据中确定预测对结果的因果影响：基于预测或基于预测的决策中的随机化。 ，在数据收集过程中部署的预测模型和离散预测输出的过度参数化。我们从经验上表明，在适当的可识别性条件下，从预测中预测的监督学习的标准变体可以找到特征，预测和结果之间的可转移功能关系，从而得出有关新部署的预测模型的结论。我们的积极结果从根本上依赖于在数据收集期间记录的模型预测，从而提出了重新思考标准数据收集实践的重要性，以使进步能够更好地理解社会成果和表现性反馈循环。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

最近的学习不变（因果）特征（OOD）概括最近引起了广泛的关注，在建议中不变风险最小化（IRM）（Arjovsky等，2019）是一个显着的解决方案。尽管其对线性回归的理论希望，但在线性分类问题中使用IRM的挑战仍然存在（Rosenfeld等，2020； Nagarajan等，2021）。沿着这一行，最近的一项研究（Arjovsky等人，2019年）迈出了第一步，并提出了基于信息瓶颈的不变风险最小化的学习原理（IB-imm）。在本文中，我们首先表明（Arjovsky等人，2019年）使用不变特征的支持重叠的关键假设对于保证OOD泛化是相当强大的，并且在没有这种假设的情况下仍然可以实现最佳解决方案。为了进一步回答IB-IRM是否足以在线性分类问题中学习不变特征的问题，我们表明IB-IRM在两种情况下仍将失败，无论是否不变功能捕获有关标签的所有信息。为了解决此类失败，我们提出了一个\ textit {基于反事实的信息瓶颈（CSIB）}学习算法，该算法可恢复不变的功能。即使从单个环境访问数据时，提出的算法也可以工作，并且在理论上对二进制和多类问题都具有一致的结果。我们对三个合成数据集进行了经验实验，以验证我们提出的方法的功效。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

最近，提出了不变的风险最小化（IRM）作为解决分布外（OOD）概括的有前途的解决方案。但是，目前尚不清楚何时应优先于广泛的经验风险最小化（ERM）框架。在这项工作中，我们从样本复杂性的角度分析了这两个框架，从而迈出了一个坚定的一步，以回答这个重要问题。我们发现，根据数据生成机制的类型，这两种方法可能具有有限样本和渐近行为。例如，在协变量偏移设置中，我们看到两种方法不仅达到了相同的渐近解决方案，而且具有相似的有限样本行为，没有明显的赢家。但是，对于其他分布变化，例如涉及混杂因素或反毒物变量的变化，两种方法到达不同的渐近解决方案，在这些方法中，保证IRM可以接近有限样品状态中所需的OOD溶液，而ERM甚至偶然地偏向于渐近。我们进一步研究了不同因素（环境的数量，模型的复杂性和IRM惩罚权重）如何影响IRM的样本复杂性与其距离OOD溶液的距离有关

分发班次的稳健性对于部署现实世界中的机器学习模型至关重要。尽管如此必要的，但在定义导致这些变化的潜在机制以及评估跨多个不同的分发班次的稳健性的潜在机制很少。为此，我们介绍了一种框架，可实现各种分布换档的细粒度分析。我们通过评估在合成和现实世界数据集中分为五个类别的19个不同的方法来提供对当前最先进的方法的整体分析。总的来说，我们训练超过85架模型。我们的实验框架可以很容易地扩展到包括新方法，班次和数据集。我们发现，与以前的工作〜\ citep {gulrajani20}不同，该进度已经通过标准的ERM基线进行;特别是，在许多情况下，预先训练和增强（学习或启发式）提供了大的收益。但是，最好的方法在不同的数据集和班次上不一致。

上下文的强盗和强化学习算法已成功用于各种交互式学习系统，例如在线广告，推荐系统和动态定价。但是，在高风险应用领域（例如医疗保健）中，它们尚未被广泛采用。原因之一可能是现有方法假定基本机制是静态的，因为它们不会在不同的环境上改变。但是，在许多现实世界中，这些机制可能会跨环境变化，这可能使静态环境假设无效。在本文中，考虑到离线上下文匪徒的框架，我们迈出了解决环境转变问题的一步。我们认为环境转移问题通过因果关系的角度，并提出了多种环境的背景匪徒，从而可以改变基本机制。我们采用因果关系文献的不变性概念，并介绍了政策不变性的概念。我们认为，仅当存在未观察到的变量时，政策不变性才有意义，并表明在这种情况下，保证在适当假设下跨环境概括最佳不变政策。我们的结果建立了因果关系，不变性和上下文土匪之间的具体联系。