“算法公平性”的新兴领域提供了一种用于推理算法预测和决策的公平的一组新颖的方法。甚至作为算法公平已经成为提高域名在此类公共政策中平等的努力的突出成分，它也面临着显着的限制和批评。最基本的问题是称为“公平性不可能”的数学结果（公平的数学定义之间的不相容性）。此外，满足公平标准的许多算法实际上加剧了压迫。这两个问题呼吁质疑算法公平是否可以在追求平等中发挥富有成效的作用。在本文中，我将这些问题诊断为算法公平方法的乘积，并提出了该领域的替代路径。 “正式算法公平”的主导方法遭受了基本限制：它依赖于狭窄的分析框架，这些分析框架仅限于特定决策过程，孤立于这些决定的背景。鉴于这种缺点，我借鉴了法律和哲学的实质性平等的理论，提出了一种替代方法：“实质性算法公平。”实质性算法公平性采用更广泛的范围来分析公平性，超出特定决策点，以考虑社会等级，以及算法促进的决策的影响。因此，实质性算法公平表明，改革，使压迫压迫和逃避公平的不可能性。此外，实质性算法公平呈现出算法公平领域的新方向：远离“公平性”的正式数学模型，并朝着算法促进平等的实质性评估。

Advocates of algorithmic techniques like data mining argue that these techniques eliminate human biases from the decision-making process. But an algorithm is only as good as the data it works with. Data is frequently imperfect in ways that allow these algorithms to inherit the prejudices of prior decision makers. In other cases, data may simply reflect the widespread biases that persist in society at large. In still others, data mining can discover surprisingly useful regularities that are really just preexisting patterns of exclusion and inequality. Unthinking reliance on data mining can deny historically disadvantaged and vulnerable groups full participation in society. Worse still, because the resulting discrimination is almost always an unintentional emergent property of the algorithm's use rather than a conscious choice by its programmers, it can be unusually hard to identify the source of the problem or to explain it to a court. This Essay examines these concerns through the lens of American antidiscrimination law-more particularly, through Title

教育技术，以及他们部署的学校教育系统，制定了特定的意识形态，了解有关知识的重要事项以及学习者应该如何学习。作为人工智能技术 - 在教育和超越 - 可能导致边缘社区的不公平结果，已经制定了各种方法来评估和减轻AI的有害影响。然而，我们争辩于本文认为，在AI模型中的性能差异的基础上评估公平的主导范式是面对教育AI系统（RE）生产的系统性不公平。我们在批判理论和黑色女权主义奖学金中汲取了结构性不公正的镜头，以批判性地审查了几个普遍研究的和广泛采用的教育AI类别，并探讨了他们如何融入和重现结构不公正和不公平的历史遗产和不公平的历史遗产。他们模型绩效的奇偶阶段。我们关闭了替代愿景，为教育ai提供更公平的未来。

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

现有的制定公平计算定义的努力主要集中在平等的分布概念上，在这种情况下，平等是由系统中给出的资源或决策定义的。然而，现有的歧视和不公正通常是社会关系不平等的结果，而不是资源分配不平等。在这里，我们展示了对公平和平等的现有计算和经济定义的优化，无法防止不平等的社会关系。为此，我们提供了一个在简单的招聘市场中具有自我融合平衡的示例，该市场在关系上不平等，但满足了现有的公平分布概念。在此过程中，我们引入了公然的关系不公平的概念，对完整信息游戏进行了讨论，并讨论了该定义如何有助于启动一种将关系平等纳入计算系统的新方法。

值得信赖的人工智能（AI）已成为一个重要的话题，因为在AI系统及其创造者中的信任已经丢失。研究人员，公司和政府具有远离技术开发，部署和监督的边缘化群体的长期和痛苦的历史。结果，这些技术对小群体的有用甚至有害。我们争辩说，渴望信任的任何AI开发，部署和监测框架必须纳入女权主义，非剥削参与性设计原则和强大，外部和持续监测和测试。我们还向考虑到透明度，公平性和问责制的可靠性方面的重要性，特别是考虑对任何值得信赖的AI系统的核心价值观的正义和转移权力。创建值得信赖的AI通过资金，支持和赋予Grassroots组织，如AI Queer等基层组织开始，因此AI领域具有多样性和纳入可信和有效地发展的可信赖AI。我们利用AI的专家知识Queer通过其多年的工作和宣传来讨论以及如何以及如何在数据集和AI系统中使用如何以及如何在数据集和AI系统中使用以及沿着这些线路的危害。基于此，我们分享了对AI的性别方法，进一步提出了Queer认识论并分析它可以带来AI的好处。我们还讨论了如何在愿景中讨论如何使用此Queer认识论，提出与AI和性别多样性和隐私和酷儿数据保护相关的框架。

在这项工作中，我们使用政治哲学中的平等开放性（EO）学说，以明确说明嵌入不同算法公平概念的规范判断。我们对比了正式的EO方法，这些EO在离散的决策点上狭窄地关注公平竞赛，而实质性的EO学说在一生中更整体上都更加整体地观察了人们的公平生活。我们使用这种分类法来对不可能结果的道德解释为公平竞赛的不同观念之间的不兼容 - 当人们没有公平的寿命机会时。我们使用此结果来激发算法公平性的实质性概念，并根据EO的运气 - 统一学说概述了两个合理的程序，以及Rawls的公平机会原则。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

通常，公平的机器学习研究集中在一个决策者上，并假设潜在的人口是静止的。但是，许多激励这项工作的关键领域的特征是与许多决策者的竞争市场。实际上，我们可能只期望其中的一部分采用任何非强制性公平意识的政策，这一情况是政治哲学家称之为部分合规性的情况。这种可能性提出了重要的问题：部分合规设置中决策主体的战略行为如何影响分配结果？如果K％的雇主要自愿采取公平性的干预措施，我们是否应该期望K％的进步（总计）对普遍采用的利益，或者部分合规性的动态是否会消除希望的好处？采用全球（与本地）观点会如何影响审计师的结论？在本文中，我们提出了一个简单的就业市场模型，利用模拟作为探索互动效应和激励效果对结果和审计指标的影响的工具。我们的主要发现是，在平衡下：（1）部分合规性（k％的雇主）可能导致远远远远远小于比例（k％）在全部合规性结果方面的进展； （2）当公平的雇主与全球（与本地）统计数据相匹配时，差距更为严重； （3）本地与全球统计数据的选择可以绘制符合规定与不符合雇主的公平性的表现的不同图片； （4）部分遵守当地均等措施可以引起极端的隔离。

Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

这项工作旨在将有效性考虑到有关是否以及如何在高风险域中构建数据驱动算法的审议。为此，我们将关键概念从有效性理论转化为预测算法。我们描述了问题制定和数据问题中的共同挑战，这些问题危害了预测算法的有效性。我们将这些问题提炼成一系列高级问题，旨在促进和记录有关预测任务和数据适用性的合法性的思考。这项贡献为共同设计有效性协议的基础与现实世界中的利益相关者合作，包括决策者，建模者和潜在影响社区的成员，以严格评估数据驱动的算法的特定设计的合理性和使用系统。

本文总结并评估了追求人工智能（AI）系统公平性的各种方法，方法和技术。它检查了这些措施的优点和缺点，并提出了定义，测量和防止AI偏见的实际准则。特别是，它警告了一些简单而常见的方法来评估AI系统中的偏见，并提供更复杂和有效的替代方法。该论文还通过在高影响力AI系统的不同利益相关者之间提供通用语言来解决该领域的广泛争议和困惑。它描述了涉及AI公平的各种权衡，并提供了平衡它们的实用建议。它提供了评估公平目标成本和收益的技术，并定义了人类判断在设定这些目标中的作用。本文为AI从业者，组织领导者和政策制定者提供了讨论和指南，以及针对更多技术受众的其他材料的各种链接。提供了许多现实世界的例子，以从实际角度阐明概念，挑战和建议。

在基于预测的决策系统中，不同的观点可能是矛盾的：决策者的短期业务目标通常与决策主体的愿望相抵触。平衡这两个观点是一个价值问题。我们提供一个框架，使这些具有价值的选择清晰可见。为此，我们假设我们获得了一个训练有素的模型，并希望找到平衡决策者和决策主体观点的决策规则。我们提供了一种形式化这两种观点的方法，即评估决策者的效用和对决策主体的公平性。在这两种情况下，这个想法都是从决策者和决策主题中引起的价值观，然后将其变成可衡量的东西。为了进行公平评估，我们以基于福利的公平性的文献为基础，并询问公用事业（或福利）的公平分布是什么样的。在此步骤中，我们以分配正义的著名理论为基础。这使我们能够得出一个公平分数，然后将其与许多不同决策规则的决策者实用程序进行比较。这样，我们提供了一种平衡决策者的实用性的方法，以及对基于预测的决策系统的决策主体的公平性。

Motivated by mitigating potentially harmful impacts of technologies, the AI community has formulated and accepted mathematical definitions for certain pillars of accountability: e.g. privacy, fairness, and model transparency. Yet, we argue this is fundamentally misguided because these definitions are imperfect, siloed constructions of the human values they hope to proxy, while giving the guise that those values are sufficiently embedded in our technologies. Under popularized methods, tensions arise when practitioners attempt to achieve each pillar of fairness, privacy, and transparency in isolation or simultaneously. In this position paper, we push for redirection. We argue that the AI community needs to consider all the consequences of choosing certain formulations of these pillars -- not just the technical incompatibilities, but also the effects within the context of deployment. We point towards sociotechnical research for frameworks for the latter, but push for broader efforts into implementing these in practice.

如果未来的AI系统在新的情况下是可靠的安全性，那么他们将需要纳入指导它们的一般原则，以便强烈地认识到哪些结果和行为将是有害的。这样的原则可能需要得到约束力的监管制度的支持，该法规需要广泛接受的基本原则。它们还应该足够具体用于技术实施。本文从法律中汲取灵感，解释了负面的人权如何履行此类原则的作用，并为国际监管制度以及为未来的AI系统建立技术安全限制的基础。

残疾人在医疗保健，就业和政府政策等各个领域的各种复杂的决策过程中受到各种复杂的决策。这些环境通常已经不透明他们影响的人并缺乏充分的残疾观点代表，它迅速采用人工智能（AI）技术来用于数据分析以告知决策，从而增加因不当或不公平的算法而造成的伤害风险增加。本文介绍了一个通过残疾镜头进行严格检查AI数据分析技术的框架，并研究了AI技术设计师选择的残疾定义如何影响其对残疾分析对象的影响。我们考虑了三种残疾的概念模型：医学模型，社会模型和关系模型；并展示在每个模型下设计的AI技术如何差异很大，以至于与彼此不相容和矛盾。通过讨论有关医疗保健和政府残疾福利中AI分析的常见用例，我们说明了技术设计过程中的特定考虑因素和决策点，这些因素和决策点影响了这些环境中的电力动态和包容性，并有助于确定其对边缘化或支持的方向。我们提出的框架可以作为对AI技术的深入批判性检查的基础，并开发用于残疾相关的AI分析的设计实践。

机器学习（ML）技术在教育方面越来越普遍，从预测学生辍学，到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长，迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中，我们阐明了这一复杂的景观绘制，以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育（ML4ED）论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说，技术问题的提出，目标，方法和解释结果与手头的教育问题保持一致。我们发现，在ML生命周期的两个部分中存在跨学科的差距，并且尤其突出：从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期，这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究，以及对ML社会影响的批判性分析。具体而言，它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。