2019年，英国的移民和庇护室的上部法庭驳回了基于其他差异的生物识别系统产出的决定。在生物识别数据库中发现了庇护所寻求者的指纹，这与上诉人的账户相矛盾。法庭发现这一证据明确透明，否认庇护索赔。如今，生物识别系统的扩散正在围绕其政治，社会和道德意义塑造公众辩论。然而，虽然对移动控制的种族式使用这种技术的担忧一直在上升，但对生物识别行业的投资和创新正在增加大幅增加。此外，生物识别技术最近也已经采用了公平，以减轻生物识别学的偏见和歧视。然而，算法公平不能在破损或预期目的的情况下分配正义，这是为了区分，例如在边境部署的生物识别。在本文中，我们提供了最近关于生物识别公平性辩论的批判性阅读，并展示了其在机器学习和关键边界研究的公平研究中的局限性。在以前的公平演示中，我们证明了生物识别公平标准是数学上的互斥。然后，纸张继续验证说明公平的生物识别系统，通过从先前的作品中再现实验。最后，我们通过在边境的辩论中讨论生物识别性的公平性的政治。我们声称偏见和错误率对公民和寻求庇护者产生了不同的影响。公平已经在生物识别学室内黯然失色，专注于算法的人口偏见和伦理话语，而不是检查这些系统如何重现历史和政治不公正。

在过去的几年中，涉及AI驱动警察工作的歧视性做法一直引起了很多争议，Compas，Predpol和Shotspotter等算法被指控不公平地影响少数群体。同时，机器学习中的公平性，尤其是计算机视觉的问题，已经成为越来越多的学术工作的主题。在本文中，我们研究了这些区域如何相交。我们提供有关这些实践如何存在的信息以及减轻它们的困难。然后，我们检查目前正在开发的三个应用程序，以了解它们对公平性构成的风险以及如何减轻这些风险。

由于隐私，透明度，问责制和缺少程序保障的担忧，印度的面部加工系统的增加越来越多。与此同时，我们也很少了解这些技术如何在印度13.4亿种群的不同特征，特征和肤色上表现出来。在本文中，我们在印度脸部的数据集中测试四个商用面部加工工具的面部检测和面部分析功能。该工具在面部检测和性别和年龄分类功能中显示不同的错误率。与男性相比，印度女性面的性别分类错误率始终如一，最高的女性错误率为14.68％。在某些情况下，这种错误率远高于其他国籍的女性之前的研究表明。年龄分类错误也很高。尽管从一个人的实际年龄从一个人的实际年龄到10年来考虑到可接受的误差率，但年龄预测失败的速度为14.3％至42.2％。这些发现指向面部加工工具的准确性有限，特别是某些人口组，在采用此类系统之前需要更关键的思维。

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

Recent studies demonstrate that machine learning algorithms can discriminate based on classes like race and gender. In this work, we present an approach to evaluate bias present in automated facial analysis algorithms and datasets with respect to phenotypic subgroups. Using the dermatologist approved Fitzpatrick Skin Type classification system, we characterize the gender and skin type distribution of two facial analysis benchmarks, IJB-A and Adience. We find that these datasets are overwhelmingly composed of lighter-skinned subjects (79.6% for IJB-A and 86.2% for Adience) and introduce a new facial analysis dataset which is balanced by gender and skin type. We evaluate 3 commercial gender classification systems using our dataset and show that darker-skinned females are the most misclassified group (with error rates of up to 34.7%). The maximum error rate for lighter-skinned males is 0.8%. The substantial disparities in the accuracy of classifying darker females, lighter females, darker males, and lighter males in gender classification systems require urgent attention if commercial companies are to build genuinely fair, transparent and accountable facial analysis algorithms.

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

教育技术，以及他们部署的学校教育系统，制定了特定的意识形态，了解有关知识的重要事项以及学习者应该如何学习。作为人工智能技术 - 在教育和超越 - 可能导致边缘社区的不公平结果，已经制定了各种方法来评估和减轻AI的有害影响。然而，我们争辩于本文认为，在AI模型中的性能差异的基础上评估公平的主导范式是面对教育AI系统（RE）生产的系统性不公平。我们在批判理论和黑色女权主义奖学金中汲取了结构性不公正的镜头，以批判性地审查了几个普遍研究的和广泛采用的教育AI类别，并探讨了他们如何融入和重现结构不公正和不公平的历史遗产和不公平的历史遗产。他们模型绩效的奇偶阶段。我们关闭了替代愿景，为教育ai提供更公平的未来。

值得信赖的人工智能（AI）已成为一个重要的话题，因为在AI系统及其创造者中的信任已经丢失。研究人员，公司和政府具有远离技术开发，部署和监督的边缘化群体的长期和痛苦的历史。结果，这些技术对小群体的有用甚至有害。我们争辩说，渴望信任的任何AI开发，部署和监测框架必须纳入女权主义，非剥削参与性设计原则和强大，外部和持续监测和测试。我们还向考虑到透明度，公平性和问责制的可靠性方面的重要性，特别是考虑对任何值得信赖的AI系统的核心价值观的正义和转移权力。创建值得信赖的AI通过资金，支持和赋予Grassroots组织，如AI Queer等基层组织开始，因此AI领域具有多样性和纳入可信和有效地发展的可信赖AI。我们利用AI的专家知识Queer通过其多年的工作和宣传来讨论以及如何以及如何在数据集和AI系统中使用如何以及如何在数据集和AI系统中使用以及沿着这些线路的危害。基于此，我们分享了对AI的性别方法，进一步提出了Queer认识论并分析它可以带来AI的好处。我们还讨论了如何在愿景中讨论如何使用此Queer认识论，提出与AI和性别多样性和隐私和酷儿数据保护相关的框架。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

随着数据驱动的系统越来越大规模部署，对历史上边缘化的群体的不公平和歧视结果引起了道德问题，这些群体在培训数据中的代表性不足。作为回应，围绕AI的公平和包容性的工作呼吁代表各个人口组的数据集。在本文中，我们对可访问性数据集中的年龄，性别和种族和种族的代表性进行了分析 - 数据集 - 来自拥有的数据集，这些数据集来自拥有的人。残疾和老年人 - 这可能在减轻包含AI注入的应用程序的偏见方面发挥重要作用。我们通过审查190个数据集的公开信息来检查由残疾人来源的数据集中的当前表示状态，我们称这些可访问性数据集为止。我们发现可访问性数据集代表不同的年龄，但具有性别和种族表示差距。此外，我们研究了人口统计学变量的敏感和复杂性质如何使分类变得困难和不一致（例如，性别，种族和种族），标记的来源通常未知。通过反思当前代表残疾数据贡献者的挑战和机会，我们希望我们的努力扩大了更多可能将边缘化社区纳入AI注入系统的可能性。

计算机视觉（CV）取得了显着的结果，在几个任务中表现优于人类。尽管如此，如果不正确处理，可能会导致重大歧视，因为CV系统高度依赖于他们所用的数据，并且可以在此类数据中学习和扩大偏见。因此，理解和发现偏见的问题至关重要。但是，没有关于视觉数据集中偏见的全面调查。因此，这项工作的目的是：i）描述可能在视觉数据集中表现出来的偏差； ii）回顾有关视觉数据集中偏置发现和量化方法的文献； iii）讨论现有的尝试收集偏见视觉数据集的尝试。我们研究的一个关键结论是，视觉数据集中发现和量化的问题仍然是开放的，并且在方法和可以解决的偏见范围方面都有改进的余地。此外，没有无偏见的数据集之类的东西，因此科学家和从业者必须意识到其数据集中的偏见并使它们明确。为此，我们提出了一个清单，以在Visual DataSet收集过程中发现不同类型的偏差。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

疾病鉴定是观察健康研究中的核心，常规活动。队列影响下游分析，例如如何表征病情，定义患者的风险以及研究哪些治疗方法。因此，至关重要的是要确保选定的队列代表所有患者，而与他们的人口统计学或社会决定因素无关。虽然在构建可能影响其公平性的表型定义时有多种潜在的偏见来源，但在表型领域中考虑不同定义在患者亚组中的影响并不是标准。在本文中，我们提出了一组最佳实践来评估表型定义的公平性。我们利用预测模型中常用的既定公平指标，并将其与常用的流行病学队列描述指标联系起来。我们描述了一项针对克罗恩病和2型糖尿病的实证研究，每个研究都有从两组患者亚组（性别和种族）中从文献中获取的多种表型定义。我们表明，根据不同的公平指标和亚组，不同的表型定义表现出较大和不同的性能。我们希望拟议的最佳实践可以帮助构建公平和包容的表型定义。

本文介绍了一个新颖的数据集，以帮助研究人员评估他们的计算机视觉和音频模型，以便在各种年龄，性别，表观肤色和环境照明条件下进行准确性。我们的数据集由3,011名受试者组成，并包含超过45,000个视频，平均每人15个视频。这些视频被录制在多个美国国家，各种成年人在各种年龄，性别和明显的肤色群体中。一个关键特征是每个主题同意参与他们使用的相似之处。此外，我们的年龄和性别诠释由受试者自己提供。一组训练有素的注释器使用FitzPatrick皮肤型刻度标记了受试者的表观肤色。此外，还提供了在低环境照明中记录的视频的注释。作为衡量某些属性的预测稳健性的申请，我们对DeepFake检测挑战（DFDC）的前五名获胜者提供了全面的研究。实验评估表明，获胜模型对某些特定人群的表现较小，例如肤色较深的肤色，因此可能对所有人都不概括。此外，我们还评估了最先进的明显年龄和性别分类方法。我们的实验在各种背景的人们的公平待遇方面对这些模型进行了彻底的分析。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

Trained machine learning models are increasingly used to perform high-impact tasks in areas such as law enforcement, medicine, education, and employment. In order to clarify the intended use cases of machine learning models and minimize their usage in contexts for which they are not well suited, we recommend that released models be accompanied by documentation detailing their performance characteristics. In this paper, we propose a framework that we call model cards, to encourage such transparent model reporting. Model cards are short documents accompanying trained machine learning models that provide benchmarked evaluation in a variety of conditions, such as across different cultural, demographic, or phenotypic groups (e.g., race, geographic location, sex, Fitzpatrick skin type [15]) and intersectional groups (e.g., age and race, or sex and Fitzpatrick skin type) that are relevant to the intended application domains. Model cards also disclose the context in which models are intended to be used, details of the performance evaluation procedures, and other relevant information. While we focus primarily on human-centered machine learning models in the application fields of computer vision and natural language processing, this framework can be used to document any trained machine learning model. To solidify the concept, we provide cards for two supervised models: One trained to detect smiling faces in images, and one trained to detect toxic comments in text. We propose model cards as a step towards the responsible democratization of machine learning and related artificial intelligence technology, increasing transparency into how well artificial intelligence technology works. We hope this work encourages those releasing trained machine learning models to accompany model releases with similar detailed evaluation numbers and other relevant documentation.

本文总结并评估了追求人工智能（AI）系统公平性的各种方法，方法和技术。它检查了这些措施的优点和缺点，并提出了定义，测量和防止AI偏见的实际准则。特别是，它警告了一些简单而常见的方法来评估AI系统中的偏见，并提供更复杂和有效的替代方法。该论文还通过在高影响力AI系统的不同利益相关者之间提供通用语言来解决该领域的广泛争议和困惑。它描述了涉及AI公平的各种权衡，并提供了平衡它们的实用建议。它提供了评估公平目标成本和收益的技术，并定义了人类判断在设定这些目标中的作用。本文为AI从业者，组织领导者和政策制定者提供了讨论和指南，以及针对更多技术受众的其他材料的各种链接。提供了许多现实世界的例子，以从实际角度阐明概念，挑战和建议。

已显示现有的面部分析系统对某些人口统计亚组产生偏见的结果。由于其对社会的影响，因此必须确保这些系统不会根据个人的性别，身份或肤色歧视。这导致了在AI系统中识别和减轻偏差的研究。在本文中，我们封装了面部分析的偏置检测/估计和缓解算法。我们的主要贡献包括对拟议理解偏见的算法的系统审查，以及分类和广泛概述现有的偏置缓解算法。我们还讨论了偏见面部分析领域的开放挑战。

刻板印象，偏见和歧视已在机器学习（ML）方法（例如计算机视觉（CV）[18，80]，自然语言处理（NLP）[6]或两者兼有大图像和大图像和两者兼而有之）标题模型，例如OpenAI剪辑[14]。在本文中，我们评估了ML偏差如何在世界内部和自主作用的机器人中表现出来。我们审核了最近发表的几种剪贴式机器人操纵方法之一，向其呈现在表面上有人脸的图片，这些物体在种族和性别之间各不相同，以及包含与常见刻板印象相关的术语的任务说明。我们的实验明确表明机器人对性别，种族和科学持有的较大的构成观念的作用，并大规模地划分了。此外，经过审核的方法不太可能认识有色人种和有色人种。我们的跨学科社会技术分析跨越了科学技术与社会（STS），批判性研究，历史，安全，机器人技术和AI等领域和应用。我们发现，由大型数据集和溶解模型提供动力的机器人（有时称为“基础模型”，例如剪辑），其中包含人类风险在物理上放大恶性刻板印象；而且，仅纠正差异将不足以使问题的复杂性和规模不足。取而代之的是，我们建议机器人学习方法在适当的时候暂停，重新设计甚至损坏，直到结果被证明是安全，有效和公正的，才能暂停，重新工作甚至损坏其他有害结果。最后，我们讨论了有关身份安全评估框架和设计正义等主题的新的跨学科研究的全面政策变化，以及更好地理解和解决这些危害的主题。