尽管机器学习和基于排名的系统在广泛用于敏感决策过程（例如，确定职位候选者，分配信用评分）时，他们对成果的意外偏见充满了疑虑，这使算法公平（例如，人口统计学公平）平等，机会平等）的目标。 “算法追索”提供了可行的恢复动作，通过修改属性来改变不良结果。我们介绍了排名级别的追索权公平的概念，并开发了一个“追索意识的排名”解决方案，该解决方案满足了排名的追索公平约束，同时最大程度地减少了建议的修改成本。我们的解决方案建议干预措施可以重新排序数据库记录的排名列表并减轻组级别的不公平性；具体而言，子组的不成比例表示和追索权成本不平衡。此重新排列可确定对数据点的最小修改，这些属性修改根据其易于解决方案进行了加权。然后，我们提出了一个有效的基于块的扩展，该扩展可以在任何粒度上重新排序（例如，银行贷款利率的多个括号，搜索引擎结果的多页）。对真实数据集的评估表明，尽管现有方法甚至可能加剧诉求不公平，但我们的解决方案 - raguel-可以显着改善追索性的公平性。 Raguel通过反事实生成和重新排列的结合过程优于改善追索性公平的替代方案，同时对大型数据集保持了有效的效率。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

将许多排名者的偏好结合到一个单一共识排名中对于从招聘和入学到贷款的结果应用至关重要。尽管已经对群体公平进行分类进行了广泛的研究，但排名，尤其是等级聚集的群体公平仍处于起步阶段。最近的工作介绍了合并排名的公平等级聚合的概念，但仅限于候选人具有单个二进制保护属性的情况，即仅分为两组。然而，如何建立共识排名仍然是一个开放的问题，该排名代表了所有排名者的偏好，同时确保对具有多个受保护属性的候选人（例如性别，种族和国籍）进行公平待遇。在这项工作中，我们是第一个定义和解决此开放的多属性公平共识排名（MFCR）问题的人。作为基础，我们为名为Mani-Rank的排名设计了新颖的团体公平标准，以确保对由个体受保护属性及其交集定义的群体进行公平处理。利用摩尼级标准，我们开发了一系列算法，这些算法首次解决了MFCR问题。我们对各种共识情景的实验研究表明，我们的MFCR方法是实现交叉和受保护属性公平性的唯一方法，同时也代表了通过许多基本排名表达的偏好。我们对绩效奖学金的现实案例研究说明了我们的MFCR方法对减轻多个受保护属性及其交叉点的偏见的有效性。这是出现在ICDE 2022中的“ Mani-Rank：Mani-Rank：多个属性和交叉组公平性”的扩展版本。

为了减轻模型中不希望的偏差的影响，几种方法建议预先处理输入数据集，以通过防止敏感属性的推断来减少歧视风险。不幸的是，这些预处理方法中的大多数导致一代新分布与原始分布有很大不同，因此通常导致不切实际的数据。作为副作用，这种新的数据分布意味着需要重新训练现有模型才能做出准确的预测。为了解决这个问题，我们提出了一种新颖的预处理方法，我们将根据保护组的分布转换为所选目标一个，并具有附加的隐私约束，其目的是防止敏感敏感的推断属性。更确切地说，我们利用Wasserstein Gan和Attgan框架的最新作品来实现数据点的最佳运输以及强制保护属性推断的歧视器。我们提出的方法可以保留数据的可解释性，并且可以在不定义敏感组的情况下使用。此外，我们的方法可以专门建模现有的最新方法，从而提出对这些方法的统一观点。最后，关于真实和合成数据集的一些实验表明，我们的方法能够隐藏敏感属性，同时限制数据的变形并改善了后续数据分析任务的公平性。

自几十年前以来，已经证明了机器学习评估贷款申请人信誉的实用性。但是，自动决策可能会导致对群体或个人的不同治疗方法，可能导致歧视。本文基准了12种最大的偏见缓解方法，讨论其绩效，该绩效基于5个不同的公平指标，获得的准确性以及为金融机构提供的潜在利润。我们的发现表明，在确保准确性和利润的同时，实现公平性方面的困难。此外，它突出了一些表现最好和最差的人，并有助于弥合实验机学习及其工业应用之间的差距。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

算法决策的兴起催生了许多关于公平机器学习（ML）的研究。金融机构使用ML来建立支持一系列与信贷有关的决定的风险记分卡。然而，关于信用评分的公平ML的文献很少。该论文做出了三项贡献。首先，我们重新审视统计公平标准，并检查其对信用评分的适当性。其次，我们对将公平目标纳入ML模型开发管道中的算法选项进行了分类。最后，我们从经验上比较了使用现实世界数据以利润为导向的信用评分上下文中的不同公平处理器。经验结果证实了对公平措施的评估，确定了实施公平信用评分的合适选择，并阐明了贷款决策中的利润权衡。我们发现，可以立即达到多个公平标准，并建议分离作为衡量记分卡的公平性的适当标准。我们还发现公平的过程中，可以在利润和公平之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与该论文相对应的代码可在GitHub上获得。

What does it mean for an algorithm to be biased? In U.S. law, unintentional bias is encoded via disparate impact, which occurs when a selection process has widely different outcomes for different groups, even as it appears to be neutral. This legal determination hinges on a definition of a protected class (ethnicity, gender) and an explicit description of the process.When computers are involved, determining disparate impact (and hence bias) is harder. It might not be possible to disclose the process. In addition, even if the process is open, it might be hard to elucidate in a legal setting how the algorithm makes its decisions. Instead of requiring access to the process, we propose making inferences based on the data it uses.We present four contributions. First, we link disparate impact to a measure of classification accuracy that while known, has received relatively little attention. Second, we propose a test for disparate impact based on how well the protected class can be predicted from the other attributes. Third, we describe methods by which data might be made unbiased. Finally, we present empirical evidence supporting the effectiveness of our test for disparate impact and our approach for both masking bias and preserving relevant information in the data. Interestingly, our approach resembles some actual selection practices that have recently received legal scrutiny.

鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

反事实解释是作为一种有吸引力的选择，以便向算法决策提供不利影响的个人的诉讼选择。由于它们在关键应用中部署（例如，执法，财务贷款），确保我们清楚地了解这些方法的漏洞并找到解决这些方法的漏洞是重要的。但是，对反事实解释的脆弱性和缺点几乎没有了解。在这项工作中，我们介绍了第一个框架，它描述了反事解释的漏洞，并显示了如何操纵它们。更具体地，我们显示反事实解释可能会聚到众所周知的不同反应性，指示它们不稳健。利用这种洞察力，我们介绍了一部小说目标来培训看似公平的模特，反事实解释在轻微的扰动下发现了更低的成本追索。我们描述了这些模型如何在对审计师出现公平的情况下为数据中的特定子组提供低成本追索。我们对贷款和暴力犯罪预测数据集进行实验，其中某些子组在扰动下达到高达20倍的成本追索性。这些结果提高了关于当前反事实解释技术的可靠性的担忧，我们希望在强大的反事实解释中激发调查。

建立公平的推荐系统是一个具有挑战性且至关重要的研究领域，因为它对社会产生了巨大影响。我们将两个普遍公认的公平概念的定义扩展到了推荐系统，即机会平等和均衡的赔率。这些公平措施确保同样对待“合格”（或“不合格”）候选人，无论其受保护的属性状况如何（例如性别或种族）。我们提出了可扩展的方法，以实现机会平等和在存在位置偏见的情况下排名均等的几率，这通常会困扰推荐系统产生的数据。我们的算法是模型不可知论，因为它们仅依赖于模型提供的最终分数，因此很容易适用于几乎所有Web尺度推荐系统。我们进行广泛的模拟以及现实世界实验，以显示我们方法的功效。

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

Algorithm fairness has started to attract the attention of researchers in AI, Software Engineering and Law communities, with more than twenty different notions of fairness proposed in the last few years. Yet, there is no clear agreement on which definition to apply in each situation. Moreover, the detailed differences between multiple definitions are difficult to grasp. To address this issue, this paper collects the most prominent definitions of fairness for the algorithmic classification problem, explains the rationale behind these definitions, and demonstrates each of them on a single unifying case-study. Our analysis intuitively explains why the same case can be considered fair according to some definitions and unfair according to others.

A significant body of research in the data sciences considers unfair discrimination against social categories such as race or gender that could occur or be amplified as a result of algorithmic decisions. Simultaneously, real-world disparities continue to exist, even before algorithmic decisions are made. In this work, we draw on insights from the social sciences brought into the realm of causal modeling and constrained optimization, and develop a novel algorithmic framework for tackling pre-existing real-world disparities. The purpose of our framework, which we call the "impact remediation framework," is to measure real-world disparities and discover the optimal intervention policies that could help improve equity or access to opportunity for those who are underserved with respect to an outcome of interest. We develop a disaggregated approach to tackling pre-existing disparities that relaxes the typical set of assumptions required for the use of social categories in structural causal models. Our approach flexibly incorporates counterfactuals and is compatible with various ontological assumptions about the nature of social categories. We demonstrate impact remediation with a hypothetical case study and compare our disaggregated approach to an existing state-of-the-art approach, comparing its structure and resulting policy recommendations. In contrast to most work on optimal policy learning, we explore disparity reduction itself as an objective, explicitly focusing the power of algorithms on reducing inequality.

作为一种预测模型的评分系统具有可解释性和透明度的显着优势，并有助于快速决策。因此，评分系统已广泛用于各种行业，如医疗保健和刑事司法。然而，这些模型中的公平问题长期以来一直受到批评，并且使用大数据和机器学习算法在评分系统的构建中提高了这个问题。在本文中，我们提出了一般框架来创建公平知识，数据驱动评分系统。首先，我们开发一个社会福利功能，融入了效率和群体公平。然后，我们将社会福利最大化问题转换为机器学习中的风险最小化任务，并在混合整数编程的帮助下导出了公平感知评分系统。最后，导出了几种理论界限用于提供参数选择建议。我们拟议的框架提供了适当的解决方案，以解决进程中的分组公平问题。它使政策制定者能够设置和定制其所需的公平要求以及其他特定于应用程序的约束。我们用几个经验数据集测试所提出的算法。实验证据支持拟议的评分制度在实现利益攸关方的最佳福利以及平衡可解释性，公平性和效率的需求方面的有效性。

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。