在这项工作中，我们使用政治哲学中的平等开放性（EO）学说，以明确说明嵌入不同算法公平概念的规范判断。我们对比了正式的EO方法，这些EO在离散的决策点上狭窄地关注公平竞赛，而实质性的EO学说在一生中更整体上都更加整体地观察了人们的公平生活。我们使用这种分类法来对不可能结果的道德解释为公平竞赛的不同观念之间的不兼容 - 当人们没有公平的寿命机会时。我们使用此结果来激发算法公平性的实质性概念，并根据EO的运气 - 统一学说概述了两个合理的程序，以及Rawls的公平机会原则。

“算法公平性”的新兴领域提供了一种用于推理算法预测和决策的公平的一组新颖的方法。甚至作为算法公平已经成为提高域名在此类公共政策中平等的努力的突出成分，它也面临着显着的限制和批评。最基本的问题是称为“公平性不可能”的数学结果（公平的数学定义之间的不相容性）。此外，满足公平标准的许多算法实际上加剧了压迫。这两个问题呼吁质疑算法公平是否可以在追求平等中发挥富有成效的作用。在本文中，我将这些问题诊断为算法公平方法的乘积，并提出了该领域的替代路径。 “正式算法公平”的主导方法遭受了基本限制：它依赖于狭窄的分析框架，这些分析框架仅限于特定决策过程，孤立于这些决定的背景。鉴于这种缺点，我借鉴了法律和哲学的实质性平等的理论，提出了一种替代方法：“实质性算法公平。”实质性算法公平性采用更广泛的范围来分析公平性，超出特定决策点，以考虑社会等级，以及算法促进的决策的影响。因此，实质性算法公平表明，改革，使压迫压迫和逃避公平的不可能性。此外，实质性算法公平呈现出算法公平领域的新方向：远离“公平性”的正式数学模型，并朝着算法促进平等的实质性评估。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

通常，公平的机器学习研究集中在一个决策者上，并假设潜在的人口是静止的。但是，许多激励这项工作的关键领域的特征是与许多决策者的竞争市场。实际上，我们可能只期望其中的一部分采用任何非强制性公平意识的政策，这一情况是政治哲学家称之为部分合规性的情况。这种可能性提出了重要的问题：部分合规设置中决策主体的战略行为如何影响分配结果？如果K％的雇主要自愿采取公平性的干预措施，我们是否应该期望K％的进步（总计）对普遍采用的利益，或者部分合规性的动态是否会消除希望的好处？采用全球（与本地）观点会如何影响审计师的结论？在本文中，我们提出了一个简单的就业市场模型，利用模拟作为探索互动效应和激励效果对结果和审计指标的影响的工具。我们的主要发现是，在平衡下：（1）部分合规性（k％的雇主）可能导致远远远远远小于比例（k％）在全部合规性结果方面的进展； （2）当公平的雇主与全球（与本地）统计数据相匹配时，差距更为严重； （3）本地与全球统计数据的选择可以绘制符合规定与不符合雇主的公平性的表现的不同图片； （4）部分遵守当地均等措施可以引起极端的隔离。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

Advocates of algorithmic techniques like data mining argue that these techniques eliminate human biases from the decision-making process. But an algorithm is only as good as the data it works with. Data is frequently imperfect in ways that allow these algorithms to inherit the prejudices of prior decision makers. In other cases, data may simply reflect the widespread biases that persist in society at large. In still others, data mining can discover surprisingly useful regularities that are really just preexisting patterns of exclusion and inequality. Unthinking reliance on data mining can deny historically disadvantaged and vulnerable groups full participation in society. Worse still, because the resulting discrimination is almost always an unintentional emergent property of the algorithm's use rather than a conscious choice by its programmers, it can be unusually hard to identify the source of the problem or to explain it to a court. This Essay examines these concerns through the lens of American antidiscrimination law-more particularly, through Title

在基于预测的决策系统中，不同的观点可能是矛盾的：决策者的短期业务目标通常与决策主体的愿望相抵触。平衡这两个观点是一个价值问题。我们提供一个框架，使这些具有价值的选择清晰可见。为此，我们假设我们获得了一个训练有素的模型，并希望找到平衡决策者和决策主体观点的决策规则。我们提供了一种形式化这两种观点的方法，即评估决策者的效用和对决策主体的公平性。在这两种情况下，这个想法都是从决策者和决策主题中引起的价值观，然后将其变成可衡量的东西。为了进行公平评估，我们以基于福利的公平性的文献为基础，并询问公用事业（或福利）的公平分布是什么样的。在此步骤中，我们以分配正义的著名理论为基础。这使我们能够得出一个公平分数，然后将其与许多不同决策规则的决策者实用程序进行比较。这样，我们提供了一种平衡决策者的实用性的方法，以及对基于预测的决策系统的决策主体的公平性。

现有的制定公平计算定义的努力主要集中在平等的分布概念上，在这种情况下，平等是由系统中给出的资源或决策定义的。然而，现有的歧视和不公正通常是社会关系不平等的结果，而不是资源分配不平等。在这里，我们展示了对公平和平等的现有计算和经济定义的优化，无法防止不平等的社会关系。为此，我们提供了一个在简单的招聘市场中具有自我融合平衡的示例，该市场在关系上不平等，但满足了现有的公平分布概念。在此过程中，我们引入了公然的关系不公平的概念，对完整信息游戏进行了讨论，并讨论了该定义如何有助于启动一种将关系平等纳入计算系统的新方法。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

本文总结并评估了追求人工智能（AI）系统公平性的各种方法，方法和技术。它检查了这些措施的优点和缺点，并提出了定义，测量和防止AI偏见的实际准则。特别是，它警告了一些简单而常见的方法来评估AI系统中的偏见，并提供更复杂和有效的替代方法。该论文还通过在高影响力AI系统的不同利益相关者之间提供通用语言来解决该领域的广泛争议和困惑。它描述了涉及AI公平的各种权衡，并提供了平衡它们的实用建议。它提供了评估公平目标成本和收益的技术，并定义了人类判断在设定这些目标中的作用。本文为AI从业者，组织领导者和政策制定者提供了讨论和指南，以及针对更多技术受众的其他材料的各种链接。提供了许多现实世界的例子，以从实际角度阐明概念，挑战和建议。

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

团体公平指标是评估基于预测决策系统公平性的既定方法。但是，这些指标仍然与哲学理论相关，其道德含义通常不清楚。我们提出了一个一般框架，用于分析基于分配正义理论的决策系统的公平性，包括与不同规范立场相对应的不同既定的“正义模式”。我们表明，最受欢迎的集体公平度量指标可以解释为我们方法的特殊情况。因此，我们为群体公平指标提供了一个统一和解释的框架，该框架揭示了与它们相关的规范性选择，并允许理解其道德实质。同时，我们提供了可能公平指标的延伸空间，而不是公平ML文献中当前讨论的指标。我们的框架还允许克服几个群体公平指标的局限性，这些指标在文献中受到批评，最著名的是（1）它们是基于平等的，即他们要求群体之间的某种形式的平等性，这有时可能有害于边缘化。组，（2）他们仅比较跨群体的决策，但对这些群体的后果没有比较，并且（3）分配正义文献的全部广度不足。

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

We study critical systems that allocate scarce resources to satisfy basic needs, such as homeless services that provide housing. These systems often support communities disproportionately affected by systemic racial, gender, or other injustices, so it is crucial to design these systems with fairness considerations in mind. To address this problem, we propose a framework for evaluating fairness in contextual resource allocation systems that is inspired by fairness metrics in machine learning. This framework can be applied to evaluate the fairness properties of a historical policy, as well as to impose constraints in the design of new (counterfactual) allocation policies. Our work culminates with a set of incompatibility results that investigate the interplay between the different fairness metrics we propose. Notably, we demonstrate that: 1) fairness in allocation and fairness in outcomes are usually incompatible; 2) policies that prioritize based on a vulnerability score will usually result in unequal outcomes across groups, even if the score is perfectly calibrated; 3) policies using contextual information beyond what is needed to characterize baseline risk and treatment effects can be fairer in their outcomes than those using just baseline risk and treatment effects; and 4) policies using group status in addition to baseline risk and treatment effects are as fair as possible given all available information. Our framework can help guide the discussion among stakeholders in deciding which fairness metrics to impose when allocating scarce resources.

在本文中，我们对机器学习文献中统计公平性辩论的两个标准进行道德分析：1）组之间的校准和2）组之间的假阳性和假负率的平等。在我们的论文中，我们专注于支持任何一种措施的道德论点。群体校准与假阳性和假负率平等之间的冲突是有关从业者团体公平定义的辩论中的核心问题之一。对于任何彻底的道德分析，必须明确并正确定义公平性的含义。对于我们的论文，我们将公平等同于（非）歧视，这是关于群体公平的讨论中的合理理解。更具体地说，我们将其等同于表面上的错误歧视，从某种意义上说，这用于Lippert-Rasmussen教授对此定义的处理。在本文中，我们认为违反群体校准的行为在某些情况下可能是不公平的，但在其他情况下并不公平。这与文献中已经提出的主张一致，即应以对上下文敏感的方式定义算法公平性。最重要的实际含义是基于基于示例的论点，即公平性需要组间校准或假阳性/假阴性率的平等性，并没有概括。因为在一种情况下，组校准可能是公平的要求，而不是另一种情况。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

Algorithms are now regularly used to decide whether defendants awaiting trial are too dangerous to be released back into the community. In some cases, black defendants are substantially more likely than white defendants to be incorrectly classi ed as high risk. To mitigate such disparities, several techniques have recently been proposed to achieve algorithmic fairness. Here we reformulate algorithmic fairness as constrained optimization: the objective is to maximize public safety while satisfying formal fairness constraints designed to reduce racial disparities. We show that for several past de nitions of fairness, the optimal algorithms that result require detaining defendants above race-speci c risk thresholds. We further show that the optimal unconstrained algorithm requires applying a single, uniform threshold to all defendants. e unconstrained algorithm thus maximizes public safety while also satisfying one important understanding of equality: that all individuals are held to the same standard, irrespective of race. Because the optimal constrained and unconstrained algorithms generally di er, there is tension between improving public safety and satisfying prevailing notions of algorithmic fairness. By examining data from Broward County, Florida, we show that this trade-o can be large in practice. We focus on algorithms for pretrial release decisions, but the principles we discuss apply to other domains, and also to human decision makers carrying out structured decision rules.

Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school. * Equal contribution. This work was done while JL was a Research Fellow at the Alan Turing Institute. 2 https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-dataand-civil-rights 31st Conference on Neural Information Processing Systems (NIPS 2017),

对性别或种族偏见等偏见的研究是社会和行为科学中的重要话题。但是，文献中并不总是清楚地定义偏见的概念。偏见的定义通常是模棱两可的，或者根本不提供定义。要精确研究偏见，重要的是要有明确的偏见概念。我们建议将偏见定义为不合理的直接因果效应。我们建议将差异密切相关的概念定义为包括偏见的直接或间接因果效应。我们提出的定义可用于以更严格和系统的方式研究偏见和差异。我们将对偏见和差异的定义与人工智能文献中引入的各种公平定义进行了比较。我们还在两个案例研究中说明了我们的定义，重点是警察枪击案中的科学和种族偏见。我们提出的定义旨在更好地欣赏偏见和差异研究的因果关系。希望这也会导致人们对此类研究的政策含义有了深刻的了解。