软件偏见是软件工程师越来越重要的操作问题。我们提出了17种代表性缓解方法的大规模，全面的经验评估，该方法通过1​​2个机器学习（ML）绩效指标，4项公平度量指标和24种类型的公平性 - 性能权衡评估，应用于8种广泛采用的公平性折衷评估基准软件决策/预测任务。与以前在此重要的操作软件特征上的工作相比，经验覆盖范围是全面的，涵盖了最多的偏见缓解方法，评估指标和公平性的绩效权衡措施。我们发现（1）偏置缓解方法大大降低了所有ML性能指标（包括先前工作中未考虑的指标）所报告的值，在很大一部分的情况下（根据不同的ML性能指标为42％〜75％） ; （2）在所有情况和指标中，偏置缓解方法仅在约50％的情况下获得公平性改善（根据用于评估偏见/公平性的指标，介于29％〜59％之间）； （3）缓解偏见的方法的表现不佳，甚至导致37％的情况下的公平性和ML性能下降； （4）缓解偏差方法的有效性取决于任务，模型，公平性和ML性能指标，并且没有证明对所有研究的情况有效的“银弹”缓解方法。在仅29％的方案中，我们发现优于其他方法的最佳缓解方法。我们已公开提供本研究中使用的脚本和数据，以便将来复制和扩展我们的工作。

鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

了解机器学习（ML）管道不同阶段的多重公平性增强干预措施的累积效应是公平文献的关键且毫无疑问的方面。这些知识对于数据科学家/ML从业人员设计公平的ML管道可能很有价值。本文通过进行了一项广泛的经验研究迈出了探索该领域的第一步，其中包括60种干预措施，9个公平指标，2个公用事业指标（准确性和F1得分），跨4个基准数据集。我们定量分析实验数据，以衡量多种干预措施对公平，公用事业和人口群体的影响。我们发现，采用多种干预措施会导致更好的公平性和更低的效用，而不是个人干预措施。但是，添加更多的干预措施并不总是会导致更好的公平或更差的公用事业。达到高性能（F1得分）以及高公平的可能性随大的干预措施增加。不利的一面是，我们发现提高公平的干预措施会对不同的人群群体，尤其是特权群体产生负面影响。这项研究强调了对新的公平指标的必要性，这些指标是对不同人口群体的影响，除了群体之间的差异。最后，我们提供了一系列干预措施的列表，这些措施为不同的公平和公用事业指标做得最好，以帮助设计公平的ML管道。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。

自几十年前以来，已经证明了机器学习评估贷款申请人信誉的实用性。但是，自动决策可能会导致对群体或个人的不同治疗方法，可能导致歧视。本文基准了12种最大的偏见缓解方法，讨论其绩效，该绩效基于5个不同的公平指标，获得的准确性以及为金融机构提供的潜在利润。我们的发现表明，在确保准确性和利润的同时，实现公平性方面的困难。此外，它突出了一些表现最好和最差的人，并有助于弥合实验机学习及其工业应用之间的差距。

本文旨在改善多敏感属性的机器学习公平。自机学习软件越来越多地用于高赌注和高风险决策，机器学习公平吸引了越来越多的关注。大多数现有的机器学习公平解决方案一次只针对一个敏感的属性（例如性别），或者具有魔法参数来调整，或者具有昂贵的计算开销。为了克服这些挑战，我们在培训机器学习模型之前，我们建议平衡每种敏感属性的培训数据分布。我们的研究结果表明，在低计算开销的情况下，在低计算开销的情况下，Fairbalancy可以在每一个已知的敏感属性上显着减少公平度量（AOD，EOD和SPD），如果对预测性能有任何损坏，则可以在没有多大的情况下进行任何已知的敏感属性。此外，FairbalanceClass是非游价的变种，可以平衡培训数据中的班级分布。通过FairbalanceClass，预测将不再支持多数阶级，从而在少数阶级获得更高的F $ _1 $得分。 Fairbalance和FairbalanceClass还以预测性能和公平度量而言，在其他最先进的偏置缓解算法中也优于其他最先进的偏置缓解算法。本研究将通过提供一种简单但有效的方法来利用社会来改善具有多个敏感属性数据的机器学习软件的公平性。我们的结果还验证了在具有无偏见的地面真理标签上的数据集上的假设，学习模型中的道德偏置在很大程度上属于每个组内具有（2）类分布中的组大小和（2）差异的训练数据。

住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求，这可能会改善患者的安全性。但是，这些预测可能容易受到社会决定因素（例如种族，年龄和性别）造成的健康差异的影响。这些偏见必须在数据收集过程的早期，在进入系统之前就可以消除，并通过模型预测加强，从而导致模型决策的偏见。在本文中，我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据，确定是否存在偏见，将其删除，然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明，当我们在模型早期减轻偏见时，我们会得到更公平的预测。我们还发现，随着我们获得更好的公平性，我们牺牲了一定程度的准确性，这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。

As machine learning (ML) systems get adopted in more critical areas, it has become increasingly crucial to address the bias that could occur in these systems. Several fairness pre-processing algorithms are available to alleviate implicit biases during model training. These algorithms employ different concepts of fairness, often leading to conflicting strategies with consequential trade-offs between fairness and accuracy. In this work, we evaluate three popular fairness pre-processing algorithms and investigate the potential for combining all algorithms into a more robust pre-processing ensemble. We report on lessons learned that can help practitioners better select fairness algorithms for their models.

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

在机器学习模型道德偏见已经成为软件工程界关注的一个问题。大多数现有软件工程的作品集中在模型寻找道德偏见，而不是修复它。发现偏差后，下一步就是缓解。在此之前研究人员主要是试图利用监督的方法来实现公平。与值得信赖的地面实况然而，在现实世界中，获得的数据是具有挑战性的，也基本事实可以包含人为偏差。半监督学习是一种机器学习技术，其中，递增地，标记的数据被用于生成伪标签中的数据的剩余部分（然后全部数据被用于模型训练）。在这项工作中，我们采用四种常用的半监督技术作为伪贴标创造公平分类模型。我们的框架，公平SSL，需要标记的数据的一个非常小的量（10％）作为输入，并为未标记的数据生成伪标签。然后，我们综合生成新的数据点，以平衡基础类，并提议Chakraborty等人的保护属性的训练数据。在2021年FSE最后，分类模型被训练在平衡伪标记的数据和测试数据进行了验证。实验十项数据集和三个学生后，我们发现，公平SSL实现了性能先进设备，最先进的三个偏置抑制算法类似。这就是说，公平SSL的明显优势在于，它仅需要10％的标记的训练数据。据我们所知，这是在半监督技术被用来针对SE型号ML道德偏见争第一SE工作。

Machine Learning (ML) software has been widely adopted in modern society, with reported fairness implications for minority groups based on race, sex, age, etc. Many recent works have proposed methods to measure and mitigate algorithmic bias in ML models. The existing approaches focus on single classifier-based ML models. However, real-world ML models are often composed of multiple independent or dependent learners in an ensemble (e.g., Random Forest), where the fairness composes in a non-trivial way. How does fairness compose in ensembles? What are the fairness impacts of the learners on the ultimate fairness of the ensemble? Can fair learners result in an unfair ensemble? Furthermore, studies have shown that hyperparameters influence the fairness of ML models. Ensemble hyperparameters are more complex since they affect how learners are combined in different categories of ensembles. Understanding the impact of ensemble hyperparameters on fairness will help programmers design fair ensembles. Today, we do not understand these fully for different ensemble algorithms. In this paper, we comprehensively study popular real-world ensembles: bagging, boosting, stacking and voting. We have developed a benchmark of 168 ensemble models collected from Kaggle on four popular fairness datasets. We use existing fairness metrics to understand the composition of fairness. Our results show that ensembles can be designed to be fairer without using mitigation techniques. We also identify the interplay between fairness composition and data characteristics to guide fair ensemble design. Finally, our benchmark can be leveraged for further research on fair ensembles. To the best of our knowledge, this is one of the first and largest studies on fairness composition in ensembles yet presented in the literature.

算法决策的兴起催生了许多关于公平机器学习（ML）的研究。金融机构使用ML来建立支持一系列与信贷有关的决定的风险记分卡。然而，关于信用评分的公平ML的文献很少。该论文做出了三项贡献。首先，我们重新审视统计公平标准，并检查其对信用评分的适当性。其次，我们对将公平目标纳入ML模型开发管道中的算法选项进行了分类。最后，我们从经验上比较了使用现实世界数据以利润为导向的信用评分上下文中的不同公平处理器。经验结果证实了对公平措施的评估，确定了实施公平信用评分的合适选择，并阐明了贷款决策中的利润权衡。我们发现，可以立即达到多个公平标准，并建议分离作为衡量记分卡的公平性的适当标准。我们还发现公平的过程中，可以在利润和公平之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与该论文相对应的代码可在GitHub上获得。

机器学习（ML）型号越来越多地用于高股份应用，可以极大地影响人们的生活。尽管他们使用了，但这些模型有可能在种族，性别或种族的基础上向某些社会群体偏见。许多先前的作品已经尝试通过更新训练数据（预处理），改变模型学习过程（处理）或操纵模型输出（后处理）来减轻这种“模型歧视”。但是，这些作品尚未扩展到多敏感参数和敏感选项（MSPSO）的领域，其中敏感参数是可以歧视（例如竞争）和敏感选项的属性（例如，敏感参数（例如黑色或黑色）白色），从而给他们有限的真实可用性。在公平的前后工作也遭受了精度公平的权衡，这可以防止高度的准确性和公平性。此外，以前的文献未能提供与MSPSO的整体公平度量。在本文中，我们通过（a）通过（a）创建一个名为dualfair的新型偏差减轻技术，并开发可以处理MSPSO的新公平度量（即AWI）的新型偏压减轻技术。最后，我们使用全面的U.S抵押贷款数据集测试我们的新型缓解方法，并显示我们的分类器或公平贷款预测仪，比当前最先进的模型获得更好的公平性和准确性指标。

A significant level of stigma and inequality exists in mental healthcare, especially in under-served populations, which spreads through collected data. When not properly accounted for, machine learning (ML) models learned from data can reinforce the structural biases already present in society. Here, we present a systematic study of bias in ML models designed to predict depression in four different case studies covering different countries and populations. We find that standard ML approaches show regularly biased behaviors. However, we show that standard mitigation techniques, and our own post-hoc method, can be effective in reducing the level of unfair bias. We provide practical recommendations to develop ML models for depression risk prediction with increased fairness and trust in the real world. No single best ML model for depression prediction provides equality of outcomes. This emphasizes the importance of analyzing fairness during model selection and transparent reporting about the impact of debiasing interventions.

It is of critical importance to be aware of the historical discrimination embedded in the data and to consider a fairness measure to reduce bias throughout the predictive modeling pipeline. Given various notions of fairness defined in the literature, investigating the correlation and interaction among metrics is vital for addressing unfairness. Practitioners and data scientists should be able to comprehend each metric and examine their impact on one another given the context, use case, and regulations. Exploring the combinatorial space of different metrics for such examination is burdensome. To alleviate the burden of selecting fairness notions for consideration, we propose a framework that estimates the correlation among fairness notions. Our framework consequently identifies a set of diverse and semantically distinct metrics as representative for a given context. We propose a Monte-Carlo sampling technique for computing the correlations between fairness metrics by indirect and efficient perturbation in the model space. Using the estimated correlations, we then find a subset of representative metrics. The paper proposes a generic method that can be generalized to any arbitrary set of fairness metrics. We showcase the validity of the proposal using comprehensive experiments on real-world benchmark datasets.

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

公平测试旨在减轻数据驱动的AI系统决策过程中的意外歧视。当AI模型为仅根据受保护属性（例如年龄和种族）区分的两个不同的个体做出不同的决定时，可能会发生个人歧视。这样的实例揭示了偏见的AI行为，被称为个人歧视实例（IDI）。在本文中，我们提出了一种选择初始种子以生成IDI进行公平测试的方法。先前的研究主要使用随机的初始种子来实现这一目标。但是，这个阶段至关重要，因为这些种子是后续IDIS生成的基础。我们称我们提出的种子选择方法I＆D。它产生了大量的初始IDI，表现出极大的多样性，旨在提高公平测试的整体性能。我们的实证研究表明，I＆D能够就四种最先进的种子生成方法产生更多的IDI，平均产生1.68倍的IDI。此外，我们比较I＆D在训练机器学习模型中的使用，并发现与最先进的ART相比，使用I＆D将剩余IDI的数量减少了29％，因此表明I＆D有效地改善了模型公平性

近年来数据的快速增长导致了经常用于在现实世界中做出决定的复杂学习算法的发展。虽然算法的积极影响是巨大的，但需要减轻由训练样本或关于数据样本的隐含假设产生的任何偏差。当算法用于自动决策系统时，这种需求变得至关重要。已经提出了许多方法来通过检测和减轻优化阶段的偏差来进行学习算法。然而，由于缺乏通用的公平定义，这些算法优化了对公平性的特定解释，这使得它们有限地用于现实世界。此外，对所有算法共同的潜在假设是实现公平性和去除偏差的表观等价。换句话说，没有用户定义的标准，可以结合到用于产生公平算法的优化过程中。通过现有方法的这些缺点，我们提出了通过将用户约束纳入优化过程来产生公平算法的菲尔格氏术。此外，我们通过估计来自数据的最预测性功能来解释该过程。我们展示了我们使用不同公平标准对几个真实世界数据集的方法的功效。