Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school. * Equal contribution. This work was done while JL was a Research Fellow at the Alan Turing Institute. 2 https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-dataand-civil-rights 31st Conference on Neural Information Processing Systems (NIPS 2017),

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

解决公平问题对于安全使用机器学习算法来支持对人们的生活产生关键影响的决策，例如雇用工作，儿童虐待，疾病诊断，贷款授予等。过去十年，例如统计奇偶校验和均衡的赔率。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的想法，即使用因果关系对于适当解决公平问题是必要的。本文研究了基于因果关系的公平概念的详尽清单，并研究了其在现实情况下的适用性。由于大多数基于因果关系的公平概念都是根据不可观察的数量（例如干预措施和反事实）来定义的，因此它们在实践中的部署需要使用观察数据来计算或估计这些数量。本文提供了有关从观察数据（包括可识别性（Pearl的SCM框架））和估计（潜在结果框架）中推断出因果量的不同方法的全面报告。该调查论文的主要贡献是（1）指南，旨在在特定的现实情况下帮助选择合适的公平概念，以及（2）根据Pearl的因果关系阶梯的公平概念的排名，表明它很难部署。实践中的每个概念。

做出公正的决定对于在社交环境中实施机器学习算法至关重要。在这项工作中，我们考虑了反事实公平的著名定义[Kusner等，Neurips，2017]。首先，我们表明一种满足反事实公平的算法也满足人口统计学的偏见，这是一个更简单的公平限制。同样，我们表明所有满足人口统计学奇偶校验的算法都可以进行微不足道的修改以满足反事实公平。总之，我们的结果表明，反事实公平基本上等同于人口统计学，这对不断增长的反事实公平工作具有重要意义。然后，我们从经验上验证了我们的理论发现，分析了三种现有的算法，以针对三个简单的基准分析反事实公平。我们发现，在几个数据集上，两种简单的基准算法在公平，准确性和效率方面都优于所有三种现有算法。我们的分析使我们实现了一个具体的公平目标：保留受保护群体中个人的顺序。我们认为，围绕个人在受保护群体中的秩序的透明度使公平的算法更加值得信赖。根据设计，两个简单的基准算法满足了这个目标，而现有的反事实公平算法则不能。

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

对性别或种族偏见等偏见的研究是社会和行为科学中的重要话题。但是，文献中并不总是清楚地定义偏见的概念。偏见的定义通常是模棱两可的，或者根本不提供定义。要精确研究偏见，重要的是要有明确的偏见概念。我们建议将偏见定义为不合理的直接因果效应。我们建议将差异密切相关的概念定义为包括偏见的直接或间接因果效应。我们提出的定义可用于以更严格和系统的方式研究偏见和差异。我们将对偏见和差异的定义与人工智能文献中引入的各种公平定义进行了比较。我们还在两个案例研究中说明了我们的定义，重点是警察枪击案中的科学和种族偏见。我们提出的定义旨在更好地欣赏偏见和差异研究的因果关系。希望这也会导致人们对此类研究的政策含义有了深刻的了解。

因果推理在人类如何理解世界并在日常生活中做出决策中具有必不可少的作用。虽然20美元的$ Century Science是因为使因果的主张过于强大且无法实现，但第21美元的$ Century是由因果关系的数学化和引入非确定性原因概念的因果关系的重返标志的。 \ cite {illari2011look}。除了其流行病学，政治和社会科学方面的常见用例外，因果关系对于在法律和日常意义上评估自动决定的公平性至关重要。我们提供了为什么因果关系对于公平评估特别重要的论点和例子。特别是，我们指出了非因果预测的社会影响以及依赖因果主张的法律反歧视过程。最后，我们讨论了在实际情况以及可能的解决方案中应用因果关系的挑战和局限性。

A significant body of research in the data sciences considers unfair discrimination against social categories such as race or gender that could occur or be amplified as a result of algorithmic decisions. Simultaneously, real-world disparities continue to exist, even before algorithmic decisions are made. In this work, we draw on insights from the social sciences brought into the realm of causal modeling and constrained optimization, and develop a novel algorithmic framework for tackling pre-existing real-world disparities. The purpose of our framework, which we call the "impact remediation framework," is to measure real-world disparities and discover the optimal intervention policies that could help improve equity or access to opportunity for those who are underserved with respect to an outcome of interest. We develop a disaggregated approach to tackling pre-existing disparities that relaxes the typical set of assumptions required for the use of social categories in structural causal models. Our approach flexibly incorporates counterfactuals and is compatible with various ontological assumptions about the nature of social categories. We demonstrate impact remediation with a hypothetical case study and compare our disaggregated approach to an existing state-of-the-art approach, comparing its structure and resulting policy recommendations. In contrast to most work on optimal policy learning, we explore disparity reduction itself as an objective, explicitly focusing the power of algorithms on reducing inequality.

This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.

许多研究都致力于学习公平代表的问题。但是，它们并未明确表示潜在表示之间的关系。在许多实际应用中，潜在表示之间可能存在因果关系。此外，大多数公平的表示学习方法都集中在群体级别的公平性上，并基于相关性，忽略了数据基础的因果关系。在这项工作中，我们从理论上证明，使用结构化表示可以使下游预测模型实现反事实公平，然后我们提出了反事实公平性变异自动编码器（CF-VAE）以获得有关领域知识的结构化表示。实验结果表明，所提出的方法比基准公平方法获得了更好的公平性和准确性性能。

机器学习算法通常会对少数族裔和代表性不足的子人群产生偏见的结果/预测。因此，公平是基于机器学习技术的大规模应用的重要要求。最常用的公平概念（例如统计平等，均衡的几率，预测奇偶等）是观察性的，并且依赖于变量之间的仅相关性。在统计异常（例如辛普森或伯克森的悖论）的情况下，这些概念无法识别偏差。基于因果关系的公平概念（例如反事实公平，无歧视歧视等）对此类异常免疫，因此更可靠地评估公平性。但是，基于因果关系的公平概念的问题是，它们是根据数量（例如因果，反事实和特定于路径特定效应）定义的，这些概念并非总是可衡量的。这被称为可识别性问题，是因果推理文献中大量工作的主题。本文是对机器学习公平性特别相关的主要可识别性结果的汇编。使用大量示例和因果图说明了结果。公平研究人员，从业人员和政策制定者正在考虑使用基于因果关系的公平概念，并说明主要可识别性结果，这本文特别感兴趣。

公平的机器学习旨在避免基于\ textit {敏感属性}（例如性别和种族）对个人或子人群的治疗。公平机器学习中的那些方法是基于因果推理确定的歧视和偏见的。尽管基于因果关系的公平学习吸引了越来越多的关注，但当前的方法假设真正的因果图是完全已知的。本文提出了一种一般方法，以实现反事实公平的概念时，当真实的因果图未知。为了能够选择导致反事实公平性的功能，我们得出了条件和算法，以识别\ textit上变量之间的祖先关系{部分定向的无循环图（pdag）}，具体来说，可以从一类可学到的dag中学到。观察数据与域知识相结合。有趣的是，我们发现可以实现反事实公平，就好像真正的因果图是完全知道的一样，当提供了特定的背景知识时：敏感属性在因果图中没有祖先。模拟和实际数据集的结果证明了我们方法的有效性。

We propose a criterion for discrimination against a specified sensitive attribute in supervised learning, where the goal is to predict some target based on available features. Assuming data about the predictor, target, and membership in the protected group are available, we show how to optimally adjust any learned predictor so as to remove discrimination according to our definition. Our framework also improves incentives by shifting the cost of poor classification from disadvantaged groups to the decision maker, who can respond by improving the classification accuracy.In line with other studies, our notion is oblivious: it depends only on the joint statistics of the predictor, the target and the protected attribute, but not on interpretation of individual features. We study the inherent limits of defining and identifying biases based on such oblivious measures, outlining what can and cannot be inferred from different oblivious tests.We illustrate our notion using a case study of FICO credit scores.

我们提出了一种学习在某些协变量反事实变化下不变的预测因子的方法。当预测目标受到不应影响预测因子输出的协变量影响时，此方法很有用。例如，对象识别模型可能会受到对象本身的位置，方向或比例的影响。我们解决了训练预测因素的问题，这些预测因素明确反对反对这种协变量的变化。我们提出了一个基于条件内核均值嵌入的模型不合稳定项，以在训练过程中实现反事实的不变性。我们证明了我们的方法的健全性，可以处理混合的分类和连续多变量属性。关于合成和现实世界数据的经验结果证明了我们方法在各种环境中的功效。

最近的工作突出了因果关系在设计公平决策算法中的作用。但是，尚不清楚现有的公平因果概念如何相互关系，或者将这些定义作为设计原则的后果是什么。在这里，我们首先将算法公平性的流行因果定义组装成两个广泛的家庭：（1）那些限制决策对反事实差异的影响的家庭； （2）那些限制了法律保护特征（如种族和性别）对决策的影响。然后，我们在分析和经验上表明，两个定义的家庭\ emph {几乎总是总是} - 从一种理论意义上讲 - 导致帕累托占主导地位的决策政策，这意味着每个利益相关者都有一个偏爱的替代性，不受限制的政策从大型自然级别中绘制。例如，在大学录取决定的情况下，每位利益相关者都不支持任何对学术准备和多样性的中立或积极偏好的利益相关者，将不利于因果公平定义的政策。的确，在因果公平的明显定义下，我们证明了由此产生的政策要求承认所有具有相同概率的学生，无论学术资格或小组成员身份如何。我们的结果突出了正式的局限性和因果公平的常见数学观念的潜在不利后果。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

机器学习模型被批评反映了培训数据中的不公平偏见。我们通过直接引入公平的学习算法来解决这一目标，而不是通过介绍公平的学习算法来解决公平的合成数据，使任何下游学习者都是公平的。从不公平数据生成公平的合成数据 - 同时对潜在的数据生成过程（DGP）留下真实 - 是非微不足道的。在本文中，我们引入了Decaf：用于表格数据的GaN的公平合成数据发生器。通过Decaf，我们将DGP显式作为发电机的输入层中的结构因果模型嵌入，允许在其因果父母上重建每个变量。此过程启用推理时间扩大，其中可以策略性地删除偏置边缘以满足用户定义的公平要求。 Decaf框架是多功能的，与几个公平的定义兼容。在我们的实验中，我们表明Decaf成功地消除了不希望的偏见和 - 与现有方法相比 - 能够产生高质量的合成数据。此外，我们为发电机的收敛和下游模型的公平提供理论担保。