分配转移和公平性的稳健性已独立地成为现代机器学习模型所需的两个重要的逃亡者。尽管这两个Desiderata似乎相关，但它们之间的联系通常不清楚。在这里，我们通过因果镜头讨论这些连接，重点是反作用预测任务，其中假定分类器的输入（例如，图像）是作为目标标签和受保护属性的函数生成的。通过采用这一观点，我们在共同的公平标准（分离）和鲁棒性 - 风险不变性的概念之间达到明确的联系。这些连接为在反疗法环境中应用分离标准提供了新的动机，并为关于公平性绩效折衷的旧讨论提供了信息。此外，我们的发现表明，鲁棒性动机的方法可用于强制执行分离，并且它们在实践中通常比旨在直接强制执行分离的方法更好。使用医学数据集，我们从经验上验证了关于检测X射线肺炎的任务的发现，在这种情况下，性别群体的患病率差异激发了公平性缓解。我们的发现突出了选择和执行公平标准时考虑因果结构的重要性。

非正式地，“虚假关联”是模型对分析师认为无关紧要的输入数据的某些方面的依赖性。在机器学习中，这些都有一个知道它 - 当你看到它的字符;例如，改变句子主题的性别改变了情绪预测因素的输出。要检查虚假相关性，我们可以通过对输入数据的无关部分进行扰动并查看模型预测变化来“压力测试”模型。在本文中，我们使用因果推断的工具研究压力测试。我们将反事实不变性介绍，作为一个正式化的要求，即改变输入不相关的部分不应改变模型预测。我们将反事实不变性与域外模型性能进行连接，并提供用于学习（大约）反事实不变预测器的实用方案（无需访问反事实示例）。事实证明，反事实不变性的手段和含义都基本上取决于数据的真实潜在的因果结构 - 特别是标签是否导致特征或功能导致标签。不同的因果结构需要不同的正则化方案，以诱导反事实不变性。同样，反事实不变性暗示不同的域移位保证，具体取决于底层的因果结构。该理论是通过文本分类的经验结果支持。

当部署在与受过训练的域不同的域中时，机器学习方法可能是不可靠的。为了解决这个问题，我们可能希望学习以域不变性的数据表示，即我们保留跨域稳定但抛出虚假变化的部分的数据结构。这种类型有许多表示学习方法，包括基于数据增强，分配不变性和风险不变性的方法。不幸的是，当面对任何特定的现实世界转移时，目前尚不清楚这些方法中有哪些（如果有的话）可以正常工作。本文的目的是展示不同方法如何相互关系，并阐明各自预期成功的现实情况。关键工具是一个新的域转移概念，它依靠因果关系是不变的想法，但是非因果关系（例如，由于混杂而引起的）可能会有所不同。

杂散的相关性允许灵活的模型在培训期间预测很好，但在相关的测试人群中仍然很差。最近的工作表明，满足涉及相关诱导\ exuritiT {Nuisance}变量的特定独立性的模型在其测试性能上保证了。执行此类独立性需要在培训期间观察到滋扰。然而，滋扰，例如人口统计或图像背景标签通常丢失。在观察到的数据上实施独立并不意味着整个人口的独立性。在这里，我们派生{MMD}估计用于缺失滋扰下的不变性目标。在仿真和临床数据上，通过这些估计优化实现测试性能类似于使用完整数据的估算器。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school. * Equal contribution. This work was done while JL was a Research Fellow at the Alan Turing Institute. 2 https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-dataand-civil-rights 31st Conference on Neural Information Processing Systems (NIPS 2017),

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

最近对DataSet Shift的兴趣，已经产生了许多方法，用于查找新的未经，无奈环境中预测的不变分布。然而，这些方法考虑不同类型的班次，并且已经在不同的框架下开发，从理论上难以分析解决方案如何与稳定性和准确性不同。采取因果图形视图，我们使用灵活的图形表示来表达各种类型的数据集班次。我们表明所有不变的分布对应于图形运算符的因果层次结构，该图形运算符禁用负责班次的图表中的边缘。层次结构提供了一个常见的理论基础，以便理解可以实现转移的何时以及如何实现稳定性，并且在稳定的分布可能不同的情况下。我们使用它来建立跨环境最佳性能的条件，并导出找到最佳稳定分布的新算法。使用这种新的视角，我们经验证明了最低限度和平均性能之间的权衡。

从多个域收集的现实世界数据可以在多个属性上具有多个不同的分布变化。但是，域概括（DG）算法的最新进展仅关注对单个属性的特定变化。我们介绍了具有多属性分布变化的数据集，并发现现有的DG算法无法概括。为了解释这一点，我们使用因果图来根据虚假属性与分类标签之间的关系来表征不同类型的变化。每个多属性因果图都需要对观察到的变量进行不同的约束，因此，基于单个固定独立性约束的任何算法都不能在所有变化中正常工作。我们提出了因果自适应约束最小化（CACM），这是一种用于识别正则化的正确独立性约束的新算法。完全合成，MNIST和小型NORB数据集的结果，涵盖了二进制和多价值属性和标签，确认我们的理论主张：正确的独立性约束导致未见域的最高准确性，而不正确的约束则无法做到这一点。我们的结果表明，建模数据生成过程中固有的因果关系的重要性：在许多情况下，如果没有此信息，就不可能知道正确的正规化约束。

机器学习模型被批评反映了培训数据中的不公平偏见。我们通过直接引入公平的学习算法来解决这一目标，而不是通过介绍公平的学习算法来解决公平的合成数据，使任何下游学习者都是公平的。从不公平数据生成公平的合成数据 - 同时对潜在的数据生成过程（DGP）留下真实 - 是非微不足道的。在本文中，我们引入了Decaf：用于表格数据的GaN的公平合成数据发生器。通过Decaf，我们将DGP显式作为发电机的输入层中的结构因果模型嵌入，允许在其因果父母上重建每个变量。此过程启用推理时间扩大，其中可以策略性地删除偏置边缘以满足用户定义的公平要求。 Decaf框架是多功能的，与几个公平的定义兼容。在我们的实验中，我们表明Decaf成功地消除了不希望的偏见和 - 与现有方法相比 - 能够产生高质量的合成数据。此外，我们为发电机的收敛和下游模型的公平提供理论担保。

算法决策的兴起催生了许多关于公平机器学习（ML）的研究。金融机构使用ML来建立支持一系列与信贷有关的决定的风险记分卡。然而，关于信用评分的公平ML的文献很少。该论文做出了三项贡献。首先，我们重新审视统计公平标准，并检查其对信用评分的适当性。其次，我们对将公平目标纳入ML模型开发管道中的算法选项进行了分类。最后，我们从经验上比较了使用现实世界数据以利润为导向的信用评分上下文中的不同公平处理器。经验结果证实了对公平措施的评估，确定了实施公平信用评分的合适选择，并阐明了贷款决策中的利润权衡。我们发现，可以立即达到多个公平标准，并建议分离作为衡量记分卡的公平性的适当标准。我们还发现公平的过程中，可以在利润和公平之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与该论文相对应的代码可在GitHub上获得。

我们提出了一种学习在某些协变量反事实变化下不变的预测因子的方法。当预测目标受到不应影响预测因子输出的协变量影响时，此方法很有用。例如，对象识别模型可能会受到对象本身的位置，方向或比例的影响。我们解决了训练预测因素的问题，这些预测因素明确反对反对这种协变量的变化。我们提出了一个基于条件内核均值嵌入的模型不合稳定项，以在训练过程中实现反事实的不变性。我们证明了我们的方法的健全性，可以处理混合的分类和连续多变量属性。关于合成和现实世界数据的经验结果证明了我们方法在各种环境中的功效。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

科学研究的基本目标是了解因果关系。然而，尽管因果关系在生活和社会科学中的重要作用，但在自然语言处理（NLP）中并不具有相同的重要性，而自然语言处理（NLP）传统上更加重视预测任务。这种区别开始逐渐消失，随着因果推理和语言处理的融合，跨学科研究的新兴领域。尽管如此，关于NLP因果关系的研究仍然散布在没有统一的定义，基准数据集的情况下，并清楚地表达了将因果推论应用于文本领域的挑战和机遇，并具有其独特的属性。在这项调查中，我们巩固了整个学术领域的研究，并将其置于更广泛的NLP景观中。我们介绍了用文本估算因果效应的统计挑战，其中包含文本用作结果，治疗或解决混杂问题的设置。此外，我们探讨了因果推理的潜在用途，以提高NLP模型的鲁棒性，公平性和解释性。因此，我们提供了NLP社区因果推断的统一概述。

关于人们的预测，例如他们预期的教育成就或信用风险，可以表现出色，并塑造他们旨在预测的结果。了解这些预测对最终结果的因果影响对于预测未来预测模型的含义并选择要部署哪些模型至关重要。但是，该因果估计任务带来了独特的挑战：模型预测通常是输入特征的确定性功能，并且与结果高度相关，这可能使预测的因果效应不可能从协变量的直接效应中解散。我们通过因果可识别性的角度研究了这个问题，尽管该问题完全普遍，但我们突出了三种自然情况，在这些情况下，可以从观察数据中确定预测对结果的因果影响：基于预测或基于预测的决策中的随机化。 ，在数据收集过程中部署的预测模型和离散预测输出的过度参数化。我们从经验上表明，在适当的可识别性条件下，从预测中预测的监督学习的标准变体可以找到特征，预测和结果之间的可转移功能关系，从而得出有关新部署的预测模型的结论。我们的积极结果从根本上依赖于在数据收集期间记录的模型预测，从而提出了重新思考标准数据收集实践的重要性，以使进步能够更好地理解社会成果和表现性反馈循环。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

做出公正的决定对于在社交环境中实施机器学习算法至关重要。在这项工作中，我们考虑了反事实公平的著名定义[Kusner等，Neurips，2017]。首先，我们表明一种满足反事实公平的算法也满足人口统计学的偏见，这是一个更简单的公平限制。同样，我们表明所有满足人口统计学奇偶校验的算法都可以进行微不足道的修改以满足反事实公平。总之，我们的结果表明，反事实公平基本上等同于人口统计学，这对不断增长的反事实公平工作具有重要意义。然后，我们从经验上验证了我们的理论发现，分析了三种现有的算法，以针对三个简单的基准分析反事实公平。我们发现，在几个数据集上，两种简单的基准算法在公平，准确性和效率方面都优于所有三种现有算法。我们的分析使我们实现了一个具体的公平目标：保留受保护群体中个人的顺序。我们认为，围绕个人在受保护群体中的秩序的透明度使公平的算法更加值得信赖。根据设计，两个简单的基准算法满足了这个目标，而现有的反事实公平算法则不能。

现实世界的分类问题必须与域移位竞争，该域移动是部署模型的域之间的（潜在）不匹配以及收集训练数据的域。处理此类问题的方法必须指定域之间哪种结构与什么变化。一个自然的假设是，因果关系（结构）关系在所有领域都是不变的。然后，很容易学习仅取决于其因果父母的标签$ y $的预测指标。但是，许多现实世界中的问题是“反农产品”，因为$ y $是协变量$ x $的原因 - 在这种情况下，$ y $没有因果父母，而天真的因果不变性是没有用的。在本文中，我们研究了在特定的域转移概念下的表示形式学习，该概念既尊重因果不变性又自然处理“反毒物”结构。我们展示了如何利用域的共享因果结构来学习一个表示不变预测因子的表示，并且还允许在新域中快速适应。关键是将因果假设转化为学习原理，这些学习原理“不变”和“不稳定”特征。关于合成数据和现实世界数据的实验证明了所提出的学习算法的有效性。代码可在https://github.com/ybjiaang/actir上找到。