算法决策的兴起催生了许多关于公平机器学习（ML）的研究。金融机构使用ML来建立支持一系列与信贷有关的决定的风险记分卡。然而，关于信用评分的公平ML的文献很少。该论文做出了三项贡献。首先，我们重新审视统计公平标准，并检查其对信用评分的适当性。其次，我们对将公平目标纳入ML模型开发管道中的算法选项进行了分类。最后，我们从经验上比较了使用现实世界数据以利润为导向的信用评分上下文中的不同公平处理器。经验结果证实了对公平措施的评估，确定了实施公平信用评分的合适选择，并阐明了贷款决策中的利润权衡。我们发现，可以立即达到多个公平标准，并建议分离作为衡量记分卡的公平性的适当标准。我们还发现公平的过程中，可以在利润和公平之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与该论文相对应的代码可在GitHub上获得。

自几十年前以来，已经证明了机器学习评估贷款申请人信誉的实用性。但是，自动决策可能会导致对群体或个人的不同治疗方法，可能导致歧视。本文基准了12种最大的偏见缓解方法，讨论其绩效，该绩效基于5个不同的公平指标，获得的准确性以及为金融机构提供的潜在利润。我们的发现表明，在确保准确性和利润的同时，实现公平性方面的困难。此外，它突出了一些表现最好和最差的人，并有助于弥合实验机学习及其工业应用之间的差距。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

作为一种预测模型的评分系统具有可解释性和透明度的显着优势，并有助于快速决策。因此，评分系统已广泛用于各种行业，如医疗保健和刑事司法。然而，这些模型中的公平问题长期以来一直受到批评，并且使用大数据和机器学习算法在评分系统的构建中提高了这个问题。在本文中，我们提出了一般框架来创建公平知识，数据驱动评分系统。首先，我们开发一个社会福利功能，融入了效率和群体公平。然后，我们将社会福利最大化问题转换为机器学习中的风险最小化任务，并在混合整数编程的帮助下导出了公平感知评分系统。最后，导出了几种理论界限用于提供参数选择建议。我们拟议的框架提供了适当的解决方案，以解决进程中的分组公平问题。它使政策制定者能够设置和定制其所需的公平要求以及其他特定于应用程序的约束。我们用几个经验数据集测试所提出的算法。实验证据支持拟议的评分制度在实现利益攸关方的最佳福利以及平衡可解释性，公平性和效率的需求方面的有效性。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

我们在分类的背景下研究公平，其中在接收器的曲线下的区域（AUC）下的区域测量的性能。当I型（误报）和II型（假阴性）错误都很重要时，通常使用AUC。然而，相同的分类器可以针对不同的保护组具有显着变化的AUC，并且在现实世界中，通常希望减少这种交叉组差异。我们解决如何选择其他功能，以便最大地改善弱势群体的AUC。我们的结果表明，功能的无条件方差不会通知我们关于AUC公平，而是类条件方差。使用此连接，我们基于功能增强（添加功能）来开发一种新颖的方法Fairauc，以减轻可识别组之间的偏差。我们评估综合性和现实世界（Compas）数据集的Fairauc，并发现它对于相对于基准，最大限度地提高了总体AUC并最大限度地减少了组之间的偏见的基准，它显着改善了弱势群体的AUC。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。

我们建议社会福利优化作为在AI系统中正式化公平性的一般范式。我们认为，优化模型允许将广泛的公平标准作为社会福利功能，同时使AI充分利用高级的解决方案技术。与其试图减少选定群体之间的偏见，不如将公平性纳入社会福利职能来实现所有群体。这也允许对所涉个人的福利进行更全面的会计。我们展示了如何使用内部处理或后处理方法将社会福利优化与基于规则的AI和机器学习集成在一起。我们提出了案例研究的经验结果，作为对这些整合策略的有效性和潜力的初步研究。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

了解机器学习（ML）管道不同阶段的多重公平性增强干预措施的累积效应是公平文献的关键且毫无疑问的方面。这些知识对于数据科学家/ML从业人员设计公平的ML管道可能很有价值。本文通过进行了一项广泛的经验研究迈出了探索该领域的第一步，其中包括60种干预措施，9个公平指标，2个公用事业指标（准确性和F1得分），跨4个基准数据集。我们定量分析实验数据，以衡量多种干预措施对公平，公用事业和人口群体的影响。我们发现，采用多种干预措施会导致更好的公平性和更低的效用，而不是个人干预措施。但是，添加更多的干预措施并不总是会导致更好的公平或更差的公用事业。达到高性能（F1得分）以及高公平的可能性随大的干预措施增加。不利的一面是，我们发现提高公平的干预措施会对不同的人群群体，尤其是特权群体产生负面影响。这项研究强调了对新的公平指标的必要性，这些指标是对不同人口群体的影响，除了群体之间的差异。最后，我们提供了一系列干预措施的列表，这些措施为不同的公平和公用事业指标做得最好，以帮助设计公平的ML管道。

基于梯度提升决策树（GBDT）的机器学习（ML）算法在从医疗保健到金融的各种任务关键应用程序中的许多表格数据任务上仍然受到青睐。但是，GBDT算法并不能免于偏见和歧视性决策的风险。尽管GBDT的受欢迎程度和公平ML研究的迅速发展，但现有的经过处理的公平ML方法要么不适用GBDT，因此在大量的火车时间内开销，或者由于高级失衡的问题而不足。我们提出FairgBM，这是一个在公平限制下培训GBDT的学习框架，与无约束的LightGBM相比，对预测性能几乎没有影响。由于常见的公平指标是不可差异的，因此我们使用平滑的凸错误率代理采用``代理 - 拉格朗日''公式来实现基于梯度的优化。此外，与相关工作相比，我们的开源实施在训练时间中显示了一个数量级的加速顺序，这是一个关键方面，旨在促进现实世界实践者对FairgBM的广泛采用。

We propose a criterion for discrimination against a specified sensitive attribute in supervised learning, where the goal is to predict some target based on available features. Assuming data about the predictor, target, and membership in the protected group are available, we show how to optimally adjust any learned predictor so as to remove discrimination according to our definition. Our framework also improves incentives by shifting the cost of poor classification from disadvantaged groups to the decision maker, who can respond by improving the classification accuracy.In line with other studies, our notion is oblivious: it depends only on the joint statistics of the predictor, the target and the protected attribute, but not on interpretation of individual features. We study the inherent limits of defining and identifying biases based on such oblivious measures, outlining what can and cannot be inferred from different oblivious tests.We illustrate our notion using a case study of FICO credit scores.

软件偏见是软件工程师越来越重要的操作问题。我们提出了17种代表性缓解方法的大规模，全面的经验评估，该方法通过1​​2个机器学习（ML）绩效指标，4项公平度量指标和24种类型的公平性 - 性能权衡评估，应用于8种广泛采用的公平性折衷评估基准软件决策/预测任务。与以前在此重要的操作软件特征上的工作相比，经验覆盖范围是全面的，涵盖了最多的偏见缓解方法，评估指标和公平性的绩效权衡措施。我们发现（1）偏置缓解方法大大降低了所有ML性能指标（包括先前工作中未考虑的指标）所报告的值，在很大一部分的情况下（根据不同的ML性能指标为42％〜75％） ; （2）在所有情况和指标中，偏置缓解方法仅在约50％的情况下获得公平性改善（根据用于评估偏见/公平性的指标，介于29％〜59％之间）； （3）缓解偏见的方法的表现不佳，甚至导致37％的情况下的公平性和ML性能下降； （4）缓解偏差方法的有效性取决于任务，模型，公平性和ML性能指标，并且没有证明对所有研究的情况有效的“银弹”缓解方法。在仅29％的方案中，我们发现优于其他方法的最佳缓解方法。我们已公开提供本研究中使用的脚本和数据，以便将来复制和扩展我们的工作。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

本文总结并评估了追求人工智能（AI）系统公平性的各种方法，方法和技术。它检查了这些措施的优点和缺点，并提出了定义，测量和防止AI偏见的实际准则。特别是，它警告了一些简单而常见的方法来评估AI系统中的偏见，并提供更复杂和有效的替代方法。该论文还通过在高影响力AI系统的不同利益相关者之间提供通用语言来解决该领域的广泛争议和困惑。它描述了涉及AI公平的各种权衡，并提供了平衡它们的实用建议。它提供了评估公平目标成本和收益的技术，并定义了人类判断在设定这些目标中的作用。本文为AI从业者，组织领导者和政策制定者提供了讨论和指南，以及针对更多技术受众的其他材料的各种链接。提供了许多现实世界的例子，以从实际角度阐明概念，挑战和建议。

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。

为了减轻模型中不希望的偏差的影响，几种方法建议预先处理输入数据集，以通过防止敏感属性的推断来减少歧视风险。不幸的是，这些预处理方法中的大多数导致一代新分布与原始分布有很大不同，因此通常导致不切实际的数据。作为副作用，这种新的数据分布意味着需要重新训练现有模型才能做出准确的预测。为了解决这个问题，我们提出了一种新颖的预处理方法，我们将根据保护组的分布转换为所选目标一个，并具有附加的隐私约束，其目的是防止敏感敏感的推断属性。更确切地说，我们利用Wasserstein Gan和Attgan框架的最新作品来实现数据点的最佳运输以及强制保护属性推断的歧视器。我们提出的方法可以保留数据的可解释性，并且可以在不定义敏感组的情况下使用。此外，我们的方法可以专门建模现有的最新方法，从而提出对这些方法的统一观点。最后，关于真实和合成数据集的一些实验表明，我们的方法能够隐藏敏感属性，同时限制数据的变形并改善了后续数据分析任务的公平性。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。