鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

在许多机器学习应用中已经显示了歧视，该应用程序要求在与道德相关的领域（例如面部识别，医学诊断和刑事判决）中部署之前进行足够的公平测试。现有的公平测试方法主要设计用于识别个人歧视，即对个人的歧视。然而，作为另一种广泛的歧视类型，对群体歧视（大多数隐藏）的测试却少得多。为了解决差距，在这项工作中，我们提出了测试，一种可解释的测试方法，它系统地识别和措施隐藏了一个神经网络的隐藏（我们称为“微妙”群体歧视}，该神经网络的特征是敏感特征的条件。一个神经网络，TestsgDFirst自动生成可解释的规则集，该规则集将输入空间分为两组，以暴露模型的组歧视。鉴于，Testsgdalso提供了基于对输入空间进行采样的估计组公平得分，以衡量确定的SIXTEL组歧视程度，这可以确保准确地达到错误的限制。我们评估了在包括结构化数据和文本数据在内的流行数据集中训练的测试多个神经网络模型。实验结果表明，测试有效地有效地识别和测量了如此微妙的群体歧视，以至于该测试效率以前从未透露过。矿石，我们表明，测试的测试结果指南生成新样品的测试结果，以通过可忽略不计的准确性下降来减轻这种歧视。

神经网络在广泛的应用中具有明显的成就。广泛的采用也引起了人们对它们的可靠性和可靠性的关注。与传统的决策计划类似，神经网络可以具有需要修复的缺陷。这些缺陷可能会导致不安全的行为，提高安全问题或不公正的社会影响。在这项工作中，我们解决了修复神经网络的问题，以了解公平和缺乏后门等理想特性。目的是构建一个神经网络，该神经网络通过（微小）调整给定神经网络的参数（即权重）来满足该属性。具体来说，我们建议护理（\ textbf {ca}基于用途的\ textbf {re}对），一种基于因果关系的神经网络维修技术，1）执行基于因果关系的故障本地化，以识别“有罪”神经元和2）优化确定的神经元的参数减少了不当行为。我们已经对各种任务进行了经验评估，例如后门去除，神经网络维修的公平性和安全性能。我们的实验结果表明，护理能够有效地修复所有神经网络。对于公平维修任务，Care成功地将公平性提高了61.91美元\％$。对于后门删除任务，CARE将攻击成功率从$ 98 \％$降低到小于$ 1 \％$。对于安全物业维修任务，CARE将财产违规率降低到$ 1 \％$。结果还表明，由于基于因果关系的故障定位，CARE的维修重点关注不当行为并保留神经网络的准确性。

自几十年前以来，已经证明了机器学习评估贷款申请人信誉的实用性。但是，自动决策可能会导致对群体或个人的不同治疗方法，可能导致歧视。本文基准了12种最大的偏见缓解方法，讨论其绩效，该绩效基于5个不同的公平指标，获得的准确性以及为金融机构提供的潜在利润。我们的发现表明，在确保准确性和利润的同时，实现公平性方面的困难。此外，它突出了一些表现最好和最差的人，并有助于弥合实验机学习及其工业应用之间的差距。

住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求，这可能会改善患者的安全性。但是，这些预测可能容易受到社会决定因素（例如种族，年龄和性别）造成的健康差异的影响。这些偏见必须在数据收集过程的早期，在进入系统之前就可以消除，并通过模型预测加强，从而导致模型决策的偏见。在本文中，我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据，确定是否存在偏见，将其删除，然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明，当我们在模型早期减轻偏见时，我们会得到更公平的预测。我们还发现，随着我们获得更好的公平性，我们牺牲了一定程度的准确性，这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。

软件偏见是软件工程师越来越重要的操作问题。我们提出了17种代表性缓解方法的大规模，全面的经验评估，该方法通过1​​2个机器学习（ML）绩效指标，4项公平度量指标和24种类型的公平性 - 性能权衡评估，应用于8种广泛采用的公平性折衷评估基准软件决策/预测任务。与以前在此重要的操作软件特征上的工作相比，经验覆盖范围是全面的，涵盖了最多的偏见缓解方法，评估指标和公平性的绩效权衡措施。我们发现（1）偏置缓解方法大大降低了所有ML性能指标（包括先前工作中未考虑的指标）所报告的值，在很大一部分的情况下（根据不同的ML性能指标为42％〜75％） ; （2）在所有情况和指标中，偏置缓解方法仅在约50％的情况下获得公平性改善（根据用于评估偏见/公平性的指标，介于29％〜59％之间）； （3）缓解偏见的方法的表现不佳，甚至导致37％的情况下的公平性和ML性能下降； （4）缓解偏差方法的有效性取决于任务，模型，公平性和ML性能指标，并且没有证明对所有研究的情况有效的“银弹”缓解方法。在仅29％的方案中，我们发现优于其他方法的最佳缓解方法。我们已公开提供本研究中使用的脚本和数据，以便将来复制和扩展我们的工作。

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

机器学习模型在高赌注应用中变得普遍存在。尽管在绩效方面有明显的效益，但该模型可以表现出对少数民族群体的偏见，并导致决策过程中的公平问题，导致对个人和社会的严重负面影响。近年来，已经开发了各种技术来减轻机器学习模型的偏差。其中，加工方法已经增加了社区的关注，在模型设计期间直接考虑公平，以诱导本质上公平的模型，从根本上减轻了产出和陈述中的公平问题。在本调查中，我们审查了加工偏置减缓技术的当前进展。基于在模型中实现公平的地方，我们将它们分类为明确和隐性的方法，前者直接在培训目标中纳入公平度量，后者重点介绍精炼潜在代表学习。最后，我们在讨论该社区中的研究挑战来讨论调查，以激励未来的探索。

It is of critical importance to be aware of the historical discrimination embedded in the data and to consider a fairness measure to reduce bias throughout the predictive modeling pipeline. Given various notions of fairness defined in the literature, investigating the correlation and interaction among metrics is vital for addressing unfairness. Practitioners and data scientists should be able to comprehend each metric and examine their impact on one another given the context, use case, and regulations. Exploring the combinatorial space of different metrics for such examination is burdensome. To alleviate the burden of selecting fairness notions for consideration, we propose a framework that estimates the correlation among fairness notions. Our framework consequently identifies a set of diverse and semantically distinct metrics as representative for a given context. We propose a Monte-Carlo sampling technique for computing the correlations between fairness metrics by indirect and efficient perturbation in the model space. Using the estimated correlations, we then find a subset of representative metrics. The paper proposes a generic method that can be generalized to any arbitrary set of fairness metrics. We showcase the validity of the proposal using comprehensive experiments on real-world benchmark datasets.

作为深度图像分类应用，例如，人脸识别，在我们日常生活中越来越普遍，他们的公平问题提高了越来越多的关注。因此，在部署之前全面地测试这些应用的公平性是至关重要的。现有的公平测试方法遭受以下限制：1）适用性，即它们仅适用于结构化数据或文本，而无需处理图像分类应用的语义水平中的高维和抽象域采样; 2）功能，即，它们在不提供测试标准的情况下产生不公平的样本，以表征模型的公平性充足。为了填补差距，我们提出了Deepfait，是专门为深图图像分类应用而设计的系统公平测试框架。 Deepfait由几种重要组成部分组成，实现了对深度图像分类应用的有效公平测试的重要组成部分：1）神经元选择策略，用于识别与公平相关神经元的神经元; 2）一组多粒度充足度指标，以评估模型的公平性; 3）测试选择算法有效地修复公平问题。我们对广泛采用的大型面部识别应用，即VGGFace和Fairface进行了实验。实验结果证实，我们的方法可以有效地识别公平相关的神经元，表征模型的公平性，并选择最有价值的测试用例来减轻模型的公平问题。

了解机器学习（ML）管道不同阶段的多重公平性增强干预措施的累积效应是公平文献的关键且毫无疑问的方面。这些知识对于数据科学家/ML从业人员设计公平的ML管道可能很有价值。本文通过进行了一项广泛的经验研究迈出了探索该领域的第一步，其中包括60种干预措施，9个公平指标，2个公用事业指标（准确性和F1得分），跨4个基准数据集。我们定量分析实验数据，以衡量多种干预措施对公平，公用事业和人口群体的影响。我们发现，采用多种干预措施会导致更好的公平性和更低的效用，而不是个人干预措施。但是，添加更多的干预措施并不总是会导致更好的公平或更差的公用事业。达到高性能（F1得分）以及高公平的可能性随大的干预措施增加。不利的一面是，我们发现提高公平的干预措施会对不同的人群群体，尤其是特权群体产生负面影响。这项研究强调了对新的公平指标的必要性，这些指标是对不同人口群体的影响，除了群体之间的差异。最后，我们提供了一系列干预措施的列表，这些措施为不同的公平和公用事业指标做得最好，以帮助设计公平的ML管道。

公平测试旨在减轻数据驱动的AI系统决策过程中的意外歧视。当AI模型为仅根据受保护属性（例如年龄和种族）区分的两个不同的个体做出不同的决定时，可能会发生个人歧视。这样的实例揭示了偏见的AI行为，被称为个人歧视实例（IDI）。在本文中，我们提出了一种选择初始种子以生成IDI进行公平测试的方法。先前的研究主要使用随机的初始种子来实现这一目标。但是，这个阶段至关重要，因为这些种子是后续IDIS生成的基础。我们称我们提出的种子选择方法I＆D。它产生了大量的初始IDI，表现出极大的多样性，旨在提高公平测试的整体性能。我们的实证研究表明，I＆D能够就四种最先进的种子生成方法产生更多的IDI，平均产生1.68倍的IDI。此外，我们比较I＆D在训练机器学习模型中的使用，并发现与最先进的ART相比，使用I＆D将剩余IDI的数量减少了29％，因此表明I＆D有效地改善了模型公平性

决策的公平在我们社会中是一个长期存在的问题。尽管在机器学习模式中对不公平缓解的研究活动越来越多，但几乎没有研究侧重于减轻人类决策的不公平。人类决策的公平性是重要的，如果没有机器学习模型的公平，因为人类使人类做出最终决定和机器学习模型可以继承自培训的人类决策的过程。因此，这项工作旨在检测人类决策的不公平，这是解决不公平的人为决策问题的第一步。本文建议利用现有的机器学习公平检测机制来检测人类决策的不公平。这背后的理由是，虽然难以直接测试人类是否会使人类不公平决策，但目前对机器学习公平的研究，现在易于测试，以低成本的大规模，是否是机器学习模型不公平。通过在四个一般机器学习公平数据集和一个图像处理数据集中综合不公平标签，本文表明，该方法能够检测（1）培训数据中是否存在不公平标签和（2）的程度和方向不公平。我们认为，这项工作展示了利用机器学习公平来检测人类决策公平性的潜力。在这项工作之后，可以在（1）上进行研究（1）预防未来的不公平决定，（2）修复先前不公平的决定，以及（3）培训更公平的机器学习模型。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

本文旨在改善多敏感属性的机器学习公平。自机学习软件越来越多地用于高赌注和高风险决策，机器学习公平吸引了越来越多的关注。大多数现有的机器学习公平解决方案一次只针对一个敏感的属性（例如性别），或者具有魔法参数来调整，或者具有昂贵的计算开销。为了克服这些挑战，我们在培训机器学习模型之前，我们建议平衡每种敏感属性的培训数据分布。我们的研究结果表明，在低计算开销的情况下，在低计算开销的情况下，Fairbalancy可以在每一个已知的敏感属性上显着减少公平度量（AOD，EOD和SPD），如果对预测性能有任何损坏，则可以在没有多大的情况下进行任何已知的敏感属性。此外，FairbalanceClass是非游价的变种，可以平衡培训数据中的班级分布。通过FairbalanceClass，预测将不再支持多数阶级，从而在少数阶级获得更高的F $ _1 $得分。 Fairbalance和FairbalanceClass还以预测性能和公平度量而言，在其他最先进的偏置缓解算法中也优于其他最先进的偏置缓解算法。本研究将通过提供一种简单但有效的方法来利用社会来改善具有多个敏感属性数据的机器学习软件的公平性。我们的结果还验证了在具有无偏见的地面真理标签上的数据集上的假设，学习模型中的道德偏置在很大程度上属于每个组内具有（2）类分布中的组大小和（2）差异的训练数据。

解决公平问题对于安全使用机器学习算法来支持对人们的生活产生关键影响的决策，例如雇用工作，儿童虐待，疾病诊断，贷款授予等。过去十年，例如统计奇偶校验和均衡的赔率。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的想法，即使用因果关系对于适当解决公平问题是必要的。本文研究了基于因果关系的公平概念的详尽清单，并研究了其在现实情况下的适用性。由于大多数基于因果关系的公平概念都是根据不可观察的数量（例如干预措施和反事实）来定义的，因此它们在实践中的部署需要使用观察数据来计算或估计这些数量。本文提供了有关从观察数据（包括可识别性（Pearl的SCM框架））和估计（潜在结果框架）中推断出因果量的不同方法的全面报告。该调查论文的主要贡献是（1）指南，旨在在特定的现实情况下帮助选择合适的公平概念，以及（2）根据Pearl的因果关系阶梯的公平概念的排名，表明它很难部署。实践中的每个概念。

Algorithm fairness has started to attract the attention of researchers in AI, Software Engineering and Law communities, with more than twenty different notions of fairness proposed in the last few years. Yet, there is no clear agreement on which definition to apply in each situation. Moreover, the detailed differences between multiple definitions are difficult to grasp. To address this issue, this paper collects the most prominent definitions of fairness for the algorithmic classification problem, explains the rationale behind these definitions, and demonstrates each of them on a single unifying case-study. Our analysis intuitively explains why the same case can be considered fair according to some definitions and unfair according to others.

算法决策的兴起催生了许多关于公平机器学习（ML）的研究。金融机构使用ML来建立支持一系列与信贷有关的决定的风险记分卡。然而，关于信用评分的公平ML的文献很少。该论文做出了三项贡献。首先，我们重新审视统计公平标准，并检查其对信用评分的适当性。其次，我们对将公平目标纳入ML模型开发管道中的算法选项进行了分类。最后，我们从经验上比较了使用现实世界数据以利润为导向的信用评分上下文中的不同公平处理器。经验结果证实了对公平措施的评估，确定了实施公平信用评分的合适选择，并阐明了贷款决策中的利润权衡。我们发现，可以立即达到多个公平标准，并建议分离作为衡量记分卡的公平性的适当标准。我们还发现公平的过程中，可以在利润和公平之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与该论文相对应的代码可在GitHub上获得。