住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求，这可能会改善患者的安全性。但是，这些预测可能容易受到社会决定因素（例如种族，年龄和性别）造成的健康差异的影响。这些偏见必须在数据收集过程的早期，在进入系统之前就可以消除，并通过模型预测加强，从而导致模型决策的偏见。在本文中，我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据，确定是否存在偏见，将其删除，然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明，当我们在模型早期减轻偏见时，我们会得到更公平的预测。我们还发现，随着我们获得更好的公平性，我们牺牲了一定程度的准确性，这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。

A significant level of stigma and inequality exists in mental healthcare, especially in under-served populations, which spreads through collected data. When not properly accounted for, machine learning (ML) models learned from data can reinforce the structural biases already present in society. Here, we present a systematic study of bias in ML models designed to predict depression in four different case studies covering different countries and populations. We find that standard ML approaches show regularly biased behaviors. However, we show that standard mitigation techniques, and our own post-hoc method, can be effective in reducing the level of unfair bias. We provide practical recommendations to develop ML models for depression risk prediction with increased fairness and trust in the real world. No single best ML model for depression prediction provides equality of outcomes. This emphasizes the importance of analyzing fairness during model selection and transparent reporting about the impact of debiasing interventions.

机器学习（ML）型号越来越多地用于高股份应用，可以极大地影响人们的生活。尽管他们使用了，但这些模型有可能在种族，性别或种族的基础上向某些社会群体偏见。许多先前的作品已经尝试通过更新训练数据（预处理），改变模型学习过程（处理）或操纵模型输出（后处理）来减轻这种“模型歧视”。但是，这些作品尚未扩展到多敏感参数和敏感选项（MSPSO）的领域，其中敏感参数是可以歧视（例如竞争）和敏感选项的属性（例如，敏感参数（例如黑色或黑色）白色），从而给他们有限的真实可用性。在公平的前后工作也遭受了精度公平的权衡，这可以防止高度的准确性和公平性。此外，以前的文献未能提供与MSPSO的整体公平度量。在本文中，我们通过（a）通过（a）创建一个名为dualfair的新型偏差减轻技术，并开发可以处理MSPSO的新公平度量（即AWI）的新型偏压减轻技术。最后，我们使用全面的U.S抵押贷款数据集测试我们的新型缓解方法，并显示我们的分类器或公平贷款预测仪，比当前最先进的模型获得更好的公平性和准确性指标。

鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

本文旨在改善多敏感属性的机器学习公平。自机学习软件越来越多地用于高赌注和高风险决策，机器学习公平吸引了越来越多的关注。大多数现有的机器学习公平解决方案一次只针对一个敏感的属性（例如性别），或者具有魔法参数来调整，或者具有昂贵的计算开销。为了克服这些挑战，我们在培训机器学习模型之前，我们建议平衡每种敏感属性的培训数据分布。我们的研究结果表明，在低计算开销的情况下，在低计算开销的情况下，Fairbalancy可以在每一个已知的敏感属性上显着减少公平度量（AOD，EOD和SPD），如果对预测性能有任何损坏，则可以在没有多大的情况下进行任何已知的敏感属性。此外，FairbalanceClass是非游价的变种，可以平衡培训数据中的班级分布。通过FairbalanceClass，预测将不再支持多数阶级，从而在少数阶级获得更高的F $ _1 $得分。 Fairbalance和FairbalanceClass还以预测性能和公平度量而言，在其他最先进的偏置缓解算法中也优于其他最先进的偏置缓解算法。本研究将通过提供一种简单但有效的方法来利用社会来改善具有多个敏感属性数据的机器学习软件的公平性。我们的结果还验证了在具有无偏见的地面真理标签上的数据集上的假设，学习模型中的道德偏置在很大程度上属于每个组内具有（2）类分布中的组大小和（2）差异的训练数据。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

Colleges and universities use predictive analytics in a variety of ways to increase student success rates. Despite the potential for predictive analytics, two major barriers exist to their adoption in higher education: (a) the lack of democratization in deployment, and (b) the potential to exacerbate inequalities. Education researchers and policymakers encounter numerous challenges in deploying predictive modeling in practice. These challenges present in different steps of modeling including data preparation, model development, and evaluation. Nevertheless, each of these steps can introduce additional bias to the system if not appropriately performed. Most large-scale and nationally representative education data sets suffer from a significant number of incomplete responses from the research participants. While many education-related studies addressed the challenges of missing data, little is known about the impact of handling missing values on the fairness of predictive outcomes in practice. In this paper, we set out to first assess the disparities in predictive modeling outcomes for college-student success, then investigate the impact of imputation techniques on the model performance and fairness using a commonly used set of metrics. We conduct a prospective evaluation to provide a less biased estimation of future performance and fairness than an evaluation of historical data. Our comprehensive analysis of a real large-scale education dataset reveals key insights on modeling disparities and how imputation techniques impact the fairness of the student-success predictive outcome under different testing scenarios. Our results indicate that imputation introduces bias if the testing set follows the historical distribution. However, if the injustice in society is addressed and consequently the upcoming batch of observations is equalized, the model would be less biased.

自几十年前以来，已经证明了机器学习评估贷款申请人信誉的实用性。但是，自动决策可能会导致对群体或个人的不同治疗方法，可能导致歧视。本文基准了12种最大的偏见缓解方法，讨论其绩效，该绩效基于5个不同的公平指标，获得的准确性以及为金融机构提供的潜在利润。我们的发现表明，在确保准确性和利润的同时，实现公平性方面的困难。此外，它突出了一些表现最好和最差的人，并有助于弥合实验机学习及其工业应用之间的差距。

受益于医疗保健数据的数字化和计算能力的发展，机器学习方法越来越多地用于医疗领域。在医疗保健机器学习中已经确定了公平性问题，导致对有限医疗资源的不公平分配或某些群体的健康风险过多。因此，解决公平问题最近引起了医疗保健社区的越来越多的关注。然而，机器学习的机器学习与机器学习中的公平性的交集仍在研究中。在这篇综述中，我们通过暴露公平问题，总结可能的偏见，整理缓解方法并指出挑战以及未来的机会来建立桥梁。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。

Problem statement: Standardisation of AI fairness rules and benchmarks is challenging because AI fairness and other ethical requirements depend on multiple factors such as context, use case, type of the AI system, and so on. In this paper, we elaborate that the AI system is prone to biases at every stage of its lifecycle, from inception to its usage, and that all stages require due attention for mitigating AI bias. We need a standardised approach to handle AI fairness at every stage. Gap analysis: While AI fairness is a hot research topic, a holistic strategy for AI fairness is generally missing. Most researchers focus only on a few facets of AI model-building. Peer review shows excessive focus on biases in the datasets, fairness metrics, and algorithmic bias. In the process, other aspects affecting AI fairness get ignored. The solution proposed: We propose a comprehensive approach in the form of a novel seven-layer model, inspired by the Open System Interconnection (OSI) model, to standardise AI fairness handling. Despite the differences in the various aspects, most AI systems have similar model-building stages. The proposed model splits the AI system lifecycle into seven abstraction layers, each corresponding to a well-defined AI model-building or usage stage. We also provide checklists for each layer and deliberate on potential sources of bias in each layer and their mitigation methodologies. This work will facilitate layer-wise standardisation of AI fairness rules and benchmarking parameters.

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

软件偏见是软件工程师越来越重要的操作问题。我们提出了17种代表性缓解方法的大规模，全面的经验评估，该方法通过1​​2个机器学习（ML）绩效指标，4项公平度量指标和24种类型的公平性 - 性能权衡评估，应用于8种广泛采用的公平性折衷评估基准软件决策/预测任务。与以前在此重要的操作软件特征上的工作相比，经验覆盖范围是全面的，涵盖了最多的偏见缓解方法，评估指标和公平性的绩效权衡措施。我们发现（1）偏置缓解方法大大降低了所有ML性能指标（包括先前工作中未考虑的指标）所报告的值，在很大一部分的情况下（根据不同的ML性能指标为42％〜75％） ; （2）在所有情况和指标中，偏置缓解方法仅在约50％的情况下获得公平性改善（根据用于评估偏见/公平性的指标，介于29％〜59％之间）； （3）缓解偏见的方法的表现不佳，甚至导致37％的情况下的公平性和ML性能下降； （4）缓解偏差方法的有效性取决于任务，模型，公平性和ML性能指标，并且没有证明对所有研究的情况有效的“银弹”缓解方法。在仅29％的方案中，我们发现优于其他方法的最佳缓解方法。我们已公开提供本研究中使用的脚本和数据，以便将来复制和扩展我们的工作。

What does it mean for an algorithm to be biased? In U.S. law, unintentional bias is encoded via disparate impact, which occurs when a selection process has widely different outcomes for different groups, even as it appears to be neutral. This legal determination hinges on a definition of a protected class (ethnicity, gender) and an explicit description of the process.When computers are involved, determining disparate impact (and hence bias) is harder. It might not be possible to disclose the process. In addition, even if the process is open, it might be hard to elucidate in a legal setting how the algorithm makes its decisions. Instead of requiring access to the process, we propose making inferences based on the data it uses.We present four contributions. First, we link disparate impact to a measure of classification accuracy that while known, has received relatively little attention. Second, we propose a test for disparate impact based on how well the protected class can be predicted from the other attributes. Third, we describe methods by which data might be made unbiased. Finally, we present empirical evidence supporting the effectiveness of our test for disparate impact and our approach for both masking bias and preserving relevant information in the data. Interestingly, our approach resembles some actual selection practices that have recently received legal scrutiny.

了解机器学习（ML）管道不同阶段的多重公平性增强干预措施的累积效应是公平文献的关键且毫无疑问的方面。这些知识对于数据科学家/ML从业人员设计公平的ML管道可能很有价值。本文通过进行了一项广泛的经验研究迈出了探索该领域的第一步，其中包括60种干预措施，9个公平指标，2个公用事业指标（准确性和F1得分），跨4个基准数据集。我们定量分析实验数据，以衡量多种干预措施对公平，公用事业和人口群体的影响。我们发现，采用多种干预措施会导致更好的公平性和更低的效用，而不是个人干预措施。但是，添加更多的干预措施并不总是会导致更好的公平或更差的公用事业。达到高性能（F1得分）以及高公平的可能性随大的干预措施增加。不利的一面是，我们发现提高公平的干预措施会对不同的人群群体，尤其是特权群体产生负面影响。这项研究强调了对新的公平指标的必要性，这些指标是对不同人口群体的影响，除了群体之间的差异。最后，我们提供了一系列干预措施的列表，这些措施为不同的公平和公用事业指标做得最好，以帮助设计公平的ML管道。

Algorithms and technologies are essential tools that pervade all aspects of our daily lives. In the last decades, health care research benefited from new computer-based recruiting methods, the use of federated architectures for data storage, the introduction of innovative analyses of datasets, and so on. Nevertheless, health care datasets can still be affected by data bias. Due to data bias, they provide a distorted view of reality, leading to wrong analysis results and, consequently, decisions. For example, in a clinical trial that studied the risk of cardiovascular diseases, predictions were wrong due to the lack of data on ethnic minorities. It is, therefore, of paramount importance for researchers to acknowledge data bias that may be present in the datasets they use, eventually adopt techniques to mitigate them and control if and how analyses results are impacted. This paper proposes a method to address bias in datasets that: (i) defines the types of data bias that may be present in the dataset, (ii) characterizes and quantifies data bias with adequate metrics, (iii) provides guidelines to identify, measure, and mitigate data bias for different data sources. The method we propose is applicable both for prospective and retrospective clinical trials. We evaluate our proposal both through theoretical considerations and through interviews with researchers in the health care environment.

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

决策的公平在我们社会中是一个长期存在的问题。尽管在机器学习模式中对不公平缓解的研究活动越来越多，但几乎没有研究侧重于减轻人类决策的不公平。人类决策的公平性是重要的，如果没有机器学习模型的公平，因为人类使人类做出最终决定和机器学习模型可以继承自培训的人类决策的过程。因此，这项工作旨在检测人类决策的不公平，这是解决不公平的人为决策问题的第一步。本文建议利用现有的机器学习公平检测机制来检测人类决策的不公平。这背后的理由是，虽然难以直接测试人类是否会使人类不公平决策，但目前对机器学习公平的研究，现在易于测试，以低成本的大规模，是否是机器学习模型不公平。通过在四个一般机器学习公平数据集和一个图像处理数据集中综合不公平标签，本文表明，该方法能够检测（1）培训数据中是否存在不公平标签和（2）的程度和方向不公平。我们认为，这项工作展示了利用机器学习公平来检测人类决策公平性的潜力。在这项工作之后，可以在（1）上进行研究（1）预防未来的不公平决定，（2）修复先前不公平的决定，以及（3）培训更公平的机器学习模型。

机器学习模型在高赌注应用中变得普遍存在。尽管在绩效方面有明显的效益，但该模型可以表现出对少数民族群体的偏见，并导致决策过程中的公平问题，导致对个人和社会的严重负面影响。近年来，已经开发了各种技术来减轻机器学习模型的偏差。其中，加工方法已经增加了社区的关注，在模型设计期间直接考虑公平，以诱导本质上公平的模型，从根本上减轻了产出和陈述中的公平问题。在本调查中，我们审查了加工偏置减缓技术的当前进展。基于在模型中实现公平的地方，我们将它们分类为明确和隐性的方法，前者直接在培训目标中纳入公平度量，后者重点介绍精炼潜在代表学习。最后，我们在讨论该社区中的研究挑战来讨论调查，以激励未来的探索。