通常，公平的机器学习研究集中在一个决策者上，并假设潜在的人口是静止的。但是，许多激励这项工作的关键领域的特征是与许多决策者的竞争市场。实际上，我们可能只期望其中的一部分采用任何非强制性公平意识的政策，这一情况是政治哲学家称之为部分合规性的情况。这种可能性提出了重要的问题：部分合规设置中决策主体的战略行为如何影响分配结果？如果K％的雇主要自愿采取公平性的干预措施，我们是否应该期望K％的进步（总计）对普遍采用的利益，或者部分合规性的动态是否会消除希望的好处？采用全球（与本地）观点会如何影响审计师的结论？在本文中，我们提出了一个简单的就业市场模型，利用模拟作为探索互动效应和激励效果对结果和审计指标的影响的工具。我们的主要发现是，在平衡下：（1）部分合规性（k％的雇主）可能导致远远远远远小于比例（k％）在全部合规性结果方面的进展； （2）当公平的雇主与全球（与本地）统计数据相匹配时，差距更为严重； （3）本地与全球统计数据的选择可以绘制符合规定与不符合雇主的公平性的表现的不同图片； （4）部分遵守当地均等措施可以引起极端的隔离。

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

现有的制定公平计算定义的努力主要集中在平等的分布概念上，在这种情况下，平等是由系统中给出的资源或决策定义的。然而，现有的歧视和不公正通常是社会关系不平等的结果，而不是资源分配不平等。在这里，我们展示了对公平和平等的现有计算和经济定义的优化，无法防止不平等的社会关系。为此，我们提供了一个在简单的招聘市场中具有自我融合平衡的示例，该市场在关系上不平等，但满足了现有的公平分布概念。在此过程中，我们引入了公然的关系不公平的概念，对完整信息游戏进行了讨论，并讨论了该定义如何有助于启动一种将关系平等纳入计算系统的新方法。

“算法公平性”的新兴领域提供了一种用于推理算法预测和决策的公平的一组新颖的方法。甚至作为算法公平已经成为提高域名在此类公共政策中平等的努力的突出成分，它也面临着显着的限制和批评。最基本的问题是称为“公平性不可能”的数学结果（公平的数学定义之间的不相容性）。此外，满足公平标准的许多算法实际上加剧了压迫。这两个问题呼吁质疑算法公平是否可以在追求平等中发挥富有成效的作用。在本文中，我将这些问题诊断为算法公平方法的乘积，并提出了该领域的替代路径。 “正式算法公平”的主导方法遭受了基本限制：它依赖于狭窄的分析框架，这些分析框架仅限于特定决策过程，孤立于这些决定的背景。鉴于这种缺点，我借鉴了法律和哲学的实质性平等的理论，提出了一种替代方法：“实质性算法公平。”实质性算法公平性采用更广泛的范围来分析公平性，超出特定决策点，以考虑社会等级，以及算法促进的决策的影响。因此，实质性算法公平表明，改革，使压迫压迫和逃避公平的不可能性。此外，实质性算法公平呈现出算法公平领域的新方向：远离“公平性”的正式数学模型，并朝着算法促进平等的实质性评估。

在这项工作中，我们使用政治哲学中的平等开放性（EO）学说，以明确说明嵌入不同算法公平概念的规范判断。我们对比了正式的EO方法，这些EO在离散的决策点上狭窄地关注公平竞赛，而实质性的EO学说在一生中更整体上都更加整体地观察了人们的公平生活。我们使用这种分类法来对不可能结果的道德解释为公平竞赛的不同观念之间的不兼容 - 当人们没有公平的寿命机会时。我们使用此结果来激发算法公平性的实质性概念，并根据EO的运气 - 统一学说概述了两个合理的程序，以及Rawls的公平机会原则。

公共机构对数据驱动的决策支持的使用变得越来越普遍，并且已经影响了公共资源的分配。这引起了道德问题，因为它对少数群体和历史上有歧视的群体产生了不利影响。在本文中，我们使用一种将统计和机器学习与动态建模相结合的方法来评估劳动力市场干预的长期公平影响。具体而言，我们开发和使用模型来研究由公共就业机构造成的决策影响，该授权有选择地通过有针对性的帮助来支持寻求工作的人。选择谁获得帮助的人的选择基于数据驱动的干预模型，该模型估算个人及时寻找工作的机会，并基于描述人口的数据，该人口与劳动力市场相关的技能之间分布不均两组（例如，男性和女性）。干预模型无法完全访问个人的实际技能，可以通过了解个人的群体隶属关系来增强此功能，从而使用受保护的属性来提高预测精度。我们评估了这种干预模型的动态，尤其是与公平相关的问题和不同公平目标之间的权衡 - 随着时间的流逝，并将其与不使用群体隶属关系作为预测功能的干预模型进行比较。我们得出的结论是，为了正确量化权衡并评估这种系统在现实世界中的长期公平效果，对周围劳动力市场的仔细建模是必不可少的。

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

We study critical systems that allocate scarce resources to satisfy basic needs, such as homeless services that provide housing. These systems often support communities disproportionately affected by systemic racial, gender, or other injustices, so it is crucial to design these systems with fairness considerations in mind. To address this problem, we propose a framework for evaluating fairness in contextual resource allocation systems that is inspired by fairness metrics in machine learning. This framework can be applied to evaluate the fairness properties of a historical policy, as well as to impose constraints in the design of new (counterfactual) allocation policies. Our work culminates with a set of incompatibility results that investigate the interplay between the different fairness metrics we propose. Notably, we demonstrate that: 1) fairness in allocation and fairness in outcomes are usually incompatible; 2) policies that prioritize based on a vulnerability score will usually result in unequal outcomes across groups, even if the score is perfectly calibrated; 3) policies using contextual information beyond what is needed to characterize baseline risk and treatment effects can be fairer in their outcomes than those using just baseline risk and treatment effects; and 4) policies using group status in addition to baseline risk and treatment effects are as fair as possible given all available information. Our framework can help guide the discussion among stakeholders in deciding which fairness metrics to impose when allocating scarce resources.

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.

Advocates of algorithmic techniques like data mining argue that these techniques eliminate human biases from the decision-making process. But an algorithm is only as good as the data it works with. Data is frequently imperfect in ways that allow these algorithms to inherit the prejudices of prior decision makers. In other cases, data may simply reflect the widespread biases that persist in society at large. In still others, data mining can discover surprisingly useful regularities that are really just preexisting patterns of exclusion and inequality. Unthinking reliance on data mining can deny historically disadvantaged and vulnerable groups full participation in society. Worse still, because the resulting discrimination is almost always an unintentional emergent property of the algorithm's use rather than a conscious choice by its programmers, it can be unusually hard to identify the source of the problem or to explain it to a court. This Essay examines these concerns through the lens of American antidiscrimination law-more particularly, through Title

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

本文总结并评估了追求人工智能（AI）系统公平性的各种方法，方法和技术。它检查了这些措施的优点和缺点，并提出了定义，测量和防止AI偏见的实际准则。特别是，它警告了一些简单而常见的方法来评估AI系统中的偏见，并提供更复杂和有效的替代方法。该论文还通过在高影响力AI系统的不同利益相关者之间提供通用语言来解决该领域的广泛争议和困惑。它描述了涉及AI公平的各种权衡，并提供了平衡它们的实用建议。它提供了评估公平目标成本和收益的技术，并定义了人类判断在设定这些目标中的作用。本文为AI从业者，组织领导者和政策制定者提供了讨论和指南，以及针对更多技术受众的其他材料的各种链接。提供了许多现实世界的例子，以从实际角度阐明概念，挑战和建议。

Motivated by mitigating potentially harmful impacts of technologies, the AI community has formulated and accepted mathematical definitions for certain pillars of accountability: e.g. privacy, fairness, and model transparency. Yet, we argue this is fundamentally misguided because these definitions are imperfect, siloed constructions of the human values they hope to proxy, while giving the guise that those values are sufficiently embedded in our technologies. Under popularized methods, tensions arise when practitioners attempt to achieve each pillar of fairness, privacy, and transparency in isolation or simultaneously. In this position paper, we push for redirection. We argue that the AI community needs to consider all the consequences of choosing certain formulations of these pillars -- not just the technical incompatibilities, but also the effects within the context of deployment. We point towards sociotechnical research for frameworks for the latter, but push for broader efforts into implementing these in practice.

\ EMPH {人工智能}（AI）系统越来越多地参与影响我们生活的决策，确保自动决策是公平的，道德已经成为最优先事项。直观地，我们觉得类似人的决定，人工代理人的判断应该必然地以一些道德原则为基础。然而，如果有关决定所基础的所有有关因素的全部信息，可以真正伦理（人类或人为）和公平（根据任何道德理论）和公平（根据公平的任何概念）的规定在决策时。这提出了两个问题：（1）在设置中，我们依赖使用通过监督学习获得的分类器的AI系统，存在一些感应/泛化，即使在学习期间也可能不存在一些相关属性。 （2）根据游戏揭示任何 - 无论是道德的纯策略都不可避免地易于剥削，建模这些决定。此外，在许多游戏中，只能通过使用混合策略来获得纳什均衡，即实现数学上最佳结果，决定必须随机化。在本文中，我们认为，在监督学习设置中，存在至少以及确定性分类器的随机分类器，因此在许多情况下可能是最佳选择。我们支持我们的理论效果，具有一个实证研究，表明对随机人工决策者的积极社会态度，并讨论了与使用与当前的AI政策和标准化举措相关的随机分类器相关的一些政策和实施问题。

在基于预测的决策系统中，不同的观点可能是矛盾的：决策者的短期业务目标通常与决策主体的愿望相抵触。平衡这两个观点是一个价值问题。我们提供一个框架，使这些具有价值的选择清晰可见。为此，我们假设我们获得了一个训练有素的模型，并希望找到平衡决策者和决策主体观点的决策规则。我们提供了一种形式化这两种观点的方法，即评估决策者的效用和对决策主体的公平性。在这两种情况下，这个想法都是从决策者和决策主题中引起的价值观，然后将其变成可衡量的东西。为了进行公平评估，我们以基于福利的公平性的文献为基础，并询问公用事业（或福利）的公平分布是什么样的。在此步骤中，我们以分配正义的著名理论为基础。这使我们能够得出一个公平分数，然后将其与许多不同决策规则的决策者实用程序进行比较。这样，我们提供了一种平衡决策者的实用性的方法，以及对基于预测的决策系统的决策主体的公平性。

我们建议社会福利优化作为在AI系统中正式化公平性的一般范式。我们认为，优化模型允许将广泛的公平标准作为社会福利功能，同时使AI充分利用高级的解决方案技术。与其试图减少选定群体之间的偏见，不如将公平性纳入社会福利职能来实现所有群体。这也允许对所涉个人的福利进行更全面的会计。我们展示了如何使用内部处理或后处理方法将社会福利优化与基于规则的AI和机器学习集成在一起。我们提出了案例研究的经验结果，作为对这些整合策略的有效性和潜力的初步研究。

公平感知机器学习的文献知道很多不同的公平概念。然而，众所周知，不可能满足所有人，因为某些概念相互矛盾。在本文中，我们仔细研究了学业绩效预测（APP）系统，并尝试提出最适合这项任务的公平性。为此，我们扫描了最近的文献提出了有关使用哪种公平概念并将这些准则应用于应用程序的准则。我们的发现表明，基于App的Wysiwyg Worldview以及对人群的潜在长期改善，均等的赔率是最适合APP的概念。