决策的公平在我们社会中是一个长期存在的问题。尽管在机器学习模式中对不公平缓解的研究活动越来越多,但几乎没有研究侧重于减轻人类决策的不公平。人类决策的公平性是重要的,如果没有机器学习模型的公平,因为人类使人类做出最终决定和机器学习模型可以继承自培训的人类决策的过程。因此,这项工作旨在检测人类决策的不公平,这是解决不公平的人为决策问题的第一步。本文建议利用现有的机器学习公平检测机制来检测人类决策的不公平。这背后的理由是,虽然难以直接测试人类是否会使人类不公平决策,但目前对机器学习公平的研究,现在易于测试,以低成本的大规模,是否是机器学习模型不公平。通过在四个一般机器学习公平数据集和一个图像处理数据集中综合不公平标签,本文表明,该方法能够检测(1)培训数据中是否存在不公平标签和(2)的程度和方向不公平。我们认为,这项工作展示了利用机器学习公平来检测人类决策公平性的潜力。在这项工作之后,可以在(1)上进行研究(1)预防未来的不公平决定,(2)修复先前不公平的决定,以及(3)培训更公平的机器学习模型。
translated by 谷歌翻译
本文旨在改善多敏感属性的机器学习公平。自机学习软件越来越多地用于高赌注和高风险决策,机器学习公平吸引了越来越多的关注。大多数现有的机器学习公平解决方案一次只针对一个敏感的属性(例如性别),或者具有魔法参数来调整,或者具有昂贵的计算开销。为了克服这些挑战,我们在培训机器学习模型之前,我们建议平衡每种敏感属性的培训数据分布。我们的研究结果表明,在低计算开销的情况下,在低计算开销的情况下,Fairbalancy可以在每一个已知的敏感属性上显着减少公平度量(AOD,EOD和SPD),如果对预测性能有任何损坏,则可以在没有多大的情况下进行任何已知的敏感属性。此外,FairbalanceClass是非游价的变种,可以平衡培训数据中的班级分布。通过FairbalanceClass,预测将不再支持多数阶级,从而在少数阶级获得更高的F $ _1 $得分。 Fairbalance和FairbalanceClass还以预测性能和公平度量而言,在其他最先进的偏置缓解算法中也优于其他最先进的偏置缓解算法。本研究将通过提供一种简单但有效的方法来利用社会来改善具有多个敏感属性数据的机器学习软件的公平性。我们的结果还验证了在具有无偏见的地面真理标签上的数据集上的假设,学习模型中的道德偏置在很大程度上属于每个组内具有(2)类分布中的组大小和(2)差异的训练数据。
translated by 谷歌翻译
鉴于神经网络有区别,公平性改善的问题是系统地减少歧视,而不会显着削弱其性能(即准确性)。已经提出了针对神经网络的多种公平改进方法,包括预处理,处理和后处理。然而,我们的实证研究表明,这些方法并不总是有效的(例如,它们可以通过支付巨大准确性下降的价格来提高公平性),甚至没有帮助(例如,它们甚至可能使公平性和准确性都恶化)。在这项工作中,我们提出了一种基于因果分析的公平性改进方法的方法。也就是说,我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明,我们的方法是有效的(即,始终确定最佳的公平改善方法)和有效的效率(即,平均时间开销为5分钟)。
translated by 谷歌翻译
住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求,这可能会改善患者的安全性。但是,这些预测可能容易受到社会决定因素(例如种族,年龄和性别)造成的健康差异的影响。这些偏见必须在数据收集过程的早期,在进入系统之前就可以消除,并通过模型预测加强,从而导致模型决策的偏见。在本文中,我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据,确定是否存在偏见,将其删除,然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明,当我们在模型早期减轻偏见时,我们会得到更公平的预测。我们还发现,随着我们获得更好的公平性,我们牺牲了一定程度的准确性,这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。
translated by 谷歌翻译
Algorithm fairness has started to attract the attention of researchers in AI, Software Engineering and Law communities, with more than twenty different notions of fairness proposed in the last few years. Yet, there is no clear agreement on which definition to apply in each situation. Moreover, the detailed differences between multiple definitions are difficult to grasp. To address this issue, this paper collects the most prominent definitions of fairness for the algorithmic classification problem, explains the rationale behind these definitions, and demonstrates each of them on a single unifying case-study. Our analysis intuitively explains why the same case can be considered fair according to some definitions and unfair according to others.
translated by 谷歌翻译
自几十年前以来,已经证明了机器学习评估贷款申请人信誉的实用性。但是,自动决策可能会导致对群体或个人的不同治疗方法,可能导致歧视。本文基准了12种最大的偏见缓解方法,讨论其绩效,该绩效基于5个不同的公平指标,获得的准确性以及为金融机构提供的潜在利润。我们的发现表明,在确保准确性和利润的同时,实现公平性方面的困难。此外,它突出了一些表现最好和最差的人,并有助于弥合实验机学习及其工业应用之间的差距。
translated by 谷歌翻译
我们提出了一个公平的衡量标准,以放松流行的平等赔率公平制度中的平等条件。我们设计了一种迭代,模型,基于网格的启发式启发式,该启发式校准了每个敏感属性值的结果以符合度量。该启发式旨在处理高Arity属性值,并执行跨不同受保护属性值的结果的每个属性消毒。我们还将启发式方法扩展到多个属性。强调了我们激励的应用,欺诈检测,我们表明所提出的启发式能够在单个受保护的属性,多个受保护的属性的多个值中实现公平性。与当前关注两组的公平技术相比,我们在几个公共数据集中实现了可比的性能。
translated by 谷歌翻译
机器学习(ML)型号越来越多地用于高股份应用,可以极大地影响人们的生活。尽管他们使用了,但这些模型有可能在种族,性别或种族的基础上向某些社会群体偏见。许多先前的作品已经尝试通过更新训练数据(预处理),改变模型学习过程(处理)或操纵模型输出(后处理)来减轻这种“模型歧视”。但是,这些作品尚未扩展到多敏感参数和敏感选项(MSPSO)的领域,其中敏感参数是可以歧视(例如竞争)和敏感选项的属性(例如,敏感参数(例如黑色或黑色)白色),从而给他们有限的真实可用性。在公平的前后工作也遭受了精度公平的权衡,这可以防止高度的准确性和公平性。此外,以前的文献未能提供与MSPSO的整体公平度量。在本文中,我们通过(a)通过(a)创建一个名为dualfair的新型偏差减轻技术,并开发可以处理MSPSO的新公平度量(即AWI)的新型偏压减轻技术。最后,我们使用全面的U.S抵押贷款数据集测试我们的新型缓解方法,并显示我们的分类器或公平贷款预测仪,比当前最先进的模型获得更好的公平性和准确性指标。
translated by 谷歌翻译
机器学习(ML)在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定,银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求,这表明自动化的决策对于受保护特征(例如,性别,种族或年龄)通常是公平的,这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如,一个班级(那些获得信用的班级)对于另一个班级(未获得信用的人)可能会过分代表,而特定组(女性)(女性)的代表性可能与另一组(男性)有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡,这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充,讨论弥合失衡学习和群体公平的重要性;并提出了一种新颖的过采样算法,即公平的过采样,该算法既解决偏斜的类别分布和受保护的特征。我们的方法:(i)可以用作标准ML算法的有效预处理算法,以共同解决不平衡和群体权益; (ii)可以与公平感知的学习算法结合使用,以提高其对不同水平不平衡水平的稳健性。此外,我们迈出了一步,将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合,从而将平衡的准确性与公平性结合在一起。
translated by 谷歌翻译
在机器学习模型道德偏见已经成为软件工程界关注的一个问题。大多数现有软件工程的作品集中在模型寻找道德偏见,而不是修复它。发现偏差后,下一步就是缓解。在此之前研究人员主要是试图利用监督的方法来实现公平。与值得信赖的地面实况然而,在现实世界中,获得的数据是具有挑战性的,也基本事实可以包含人为偏差。半监督学习是一种机器学习技术,其中,递增地,标记的数据被用于生成伪标签中的数据的剩余部分(然后全部数据被用于模型训练)。在这项工作中,我们采用四种常用的半监督技术作为伪贴标创造公平分类模型。我们的框架,公平SSL,需要标记的数据的一个非常小的量(10%)作为输入,并为未标记的数据生成伪标签。然后,我们综合生成新的数据点,以平衡基础类,并提议Chakraborty等人的保护属性的训练数据。在2021年FSE最后,分类模型被训练在平衡伪标记的数据和测试数据进行了验证。实验十项数据集和三个学生后,我们发现,公平SSL实现了性能先进设备,最先进的三个偏置抑制算法类似。这就是说,公平SSL的明显优势在于,它仅需要10%的标记的训练数据。据我们所知,这是在半监督技术被用来针对SE型号ML道德偏见争第一SE工作。
translated by 谷歌翻译
基于机器学习的决策支持系统的利用率增加强调了导致所有利益相关者准确和公平的预测的必要性。在这项工作中,我们提出了一种新的方法,可以在训练期间提高神经网络模型的公平性。我们介绍了一系列公平性,增强了我们与传统的二进制交叉熵基准损耗一起使用的正规化组件。这些损失函数基于偏置奇偶校验分数(BPS),一个分数有助于使用单个数字量化模型中的偏差。在目前的工作中,我们调查这些正则化组件对偏见的行为和效果。我们在累犯预测任务以及基于人口普查的成人收入数据集的上下文中部署它们。结果表明,对于公平损失功能的良好选择,我们可以减少训练有素的模型的偏置,而不会降低精度,即使在不平衡数据集中也是如此。
translated by 谷歌翻译
在处理自动化数据驱动的决策中的敏感数据时,一个重要的问题是学习具有高性能的预测因素对类标签进行高性能,同时最小化对从偏置数据引起的性别或种族的任何敏感属性的歧视。存在一些混合树优化标准,即结合分类性能和公平性。虽然无阈值ROC-AUC是测量传统分类模型性能的标准,但目前的公平树分类方法主要针对分类任务以及公平度量的固定阈值优化。在本文中,我们提出了一种复合分裂标准,其将无阈值(即,强)人口统计平价与Roc-Auc称为公允剧的Scaff - 分裂标准AUC - 并且容易延伸到袋装和提升的树框架。我们的方法同时利用多个敏感属性,其中值可以是多语言的或交叉的,并且可以针对不可避免的性能公平折衷来调谐。在我们的实验中,我们展示了Scaff如何在二进制,多语言和多敏感属性方面产生具有性能和公平的模型。
translated by 谷歌翻译
公平性是确保机器学习(ML)预测系统不会歧视特定个人或整个子人群(尤其是少数族裔)的重要要求。鉴于观察公平概念的固有主观性,文献中已经引入了几种公平概念。本文是一项调查,说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外,与文献中的其他调查不同,它解决了以下问题:哪种公平概念最适合给定的现实世界情景,为什么?我们试图回答这个问题的尝试包括(1)确定手头现实世界情景的一组与公平相关的特征,(2)分析每个公平概念的行为,然后(3)适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用,以导航相对较大的ML目录。
translated by 谷歌翻译
A significant level of stigma and inequality exists in mental healthcare, especially in under-served populations, which spreads through collected data. When not properly accounted for, machine learning (ML) models learned from data can reinforce the structural biases already present in society. Here, we present a systematic study of bias in ML models designed to predict depression in four different case studies covering different countries and populations. We find that standard ML approaches show regularly biased behaviors. However, we show that standard mitigation techniques, and our own post-hoc method, can be effective in reducing the level of unfair bias. We provide practical recommendations to develop ML models for depression risk prediction with increased fairness and trust in the real world. No single best ML model for depression prediction provides equality of outcomes. This emphasizes the importance of analyzing fairness during model selection and transparent reporting about the impact of debiasing interventions.
translated by 谷歌翻译
机器学习模型在高赌注应用中变得普遍存在。尽管在绩效方面有明显的效益,但该模型可以表现出对少数民族群体的偏见,并导致决策过程中的公平问题,导致对个人和社会的严重负面影响。近年来,已经开发了各种技术来减轻机器学习模型的偏差。其中,加工方法已经增加了社区的关注,在模型设计期间直接考虑公平,以诱导本质上公平的模型,从根本上减轻了产出和陈述中的公平问题。在本调查中,我们审查了加工偏置减缓技术的当前进展。基于在模型中实现公平的地方,我们将它们分类为明确和隐性的方法,前者直接在培训目标中纳入公平度量,后者重点介绍精炼潜在代表学习。最后,我们在讨论该社区中的研究挑战来讨论调查,以激励未来的探索。
translated by 谷歌翻译
尽管机器学习模式的发展迅速和巨大成功,但广泛的研究暴露了继承潜在歧视和培训数据的社会偏见的缺点。这种现象阻碍了他们在高利益应用上采用。因此,已经采取了许多努力开发公平机器学习模型。其中大多数要求在培训期间提供敏感属性以学习公平的模型。然而,在许多现实世界应用中,由于隐私或法律问题,获得敏感的属性通常是不可行的,这挑战了现有的公平策略。虽然每个数据样本的敏感属性未知,但我们观察到训练数据中通常存在一些与敏感属性高度相关的非敏感功能,这可以用于缓解偏差。因此,在本文中,我们研究了一种探索与学习公平和准确分类器的敏感属性高度相关的特征的新问题。理论上我们通过最小化这些相关特征与模型预测之间的相关性,我们可以学习一个公平的分类器。基于这种动机,我们提出了一种新颖的框架,该框架同时使用这些相关的特征来准确预测和执行公平性。此外,该模型可以动态调整每个相关功能的正则化权重,以平衡其对模型分类和公平性的贡献。现实世界数据集的实验结果证明了拟议模型用于学习公平模型的效力,具有高分类准确性。
translated by 谷歌翻译
近年来,机器学习算法在多种高风险决策应用程序中变得无处不在。机器学习算法从数据中学习模式的无与伦比的能力也使它们能够融合嵌入的偏差。然后,一个有偏见的模型可以做出不成比例地损害社会中某些群体的决策 - 例如,他们获得金融服务的机会。对这个问题的认识引起了公平ML领域,该领域的重点是研究,衡量和缓解算法预测的不公平性,相对于一组受保护的群体(例如种族或性别)。但是,算法不公平的根本原因仍然难以捉摸,研究人员在指责ML算法或训练的数据之间进行了划分。在这项工作中,我们坚持认为,算法不公平源于数据中模型与偏见之间的相互作用,而不是源于其中任何一个的孤立贡献。为此,我们提出了一种分类法来表征数据偏差,并研究了一系列关于公平盲目的ML算法在不同数据偏见设置下表现出的公平性准确性权衡的假设。在我们的现实帐户开放欺诈用例中,我们发现每个设置都需要特定的权衡,从而影响了预期价值和差异的公平性 - 后者通常没有注意到。此外,我们展示了算法在准确性和公平性方面如何根据影响数据的偏差进行比较。最后,我们注意到,在特定的数据偏见条件下,简单的预处理干预措施可以成功平衡小组错误率,而在更复杂的设置中相同的技术失败。
translated by 谷歌翻译
静态机器学习模型的理想化,经过训练并永远部署,这是不切实际的。随着输入分布的变化,该模型不仅会失去准确性,因此减少对受保护类别的偏见的任何约束都可能无法按预期工作。因此,研究人员已经开始探索随着时间的推移保持算法公平性的方法。一项工作重点是动态学习:每批次后重新训练,而另一个工作则介绍了强大的学习,该学习试图使算法与未来所有可能的变化进行鲁棒性。动态学习试图在发生后不久减少偏见,而健壮的学习通常会产生(过于)保守的模型。我们提出了一种预期的动态学习方法,用于纠正算法在发生偏见之前减轻算法。具体而言,我们利用有关下一个周期中人口亚组(例如,男性和女性申请人的相对比率)的相对分布的预期,以确定正确的参数,以实现重要性权衡方法。对多个现实世界数据集的实验的结果表明,这种方法有望预期偏差校正。
translated by 谷歌翻译
预测学生的学习成绩是教育数据挖掘(EDM)的关键任务之一。传统上,这种模型的高预测质量被认为至关重要。最近,公平和歧视W.R.T.受保护的属性(例如性别或种族)引起了人们的关注。尽管EDM中有几种公平感知的学习方法,但对这些措施的比较评估仍然缺失。在本文中,我们评估了各种教育数据集和公平感知学习模型上学生绩效预测问题的不同群体公平措施。我们的研究表明,公平度量的选择很重要,对于选择等级阈值的选择同样。
translated by 谷歌翻译
在许多机器学习应用中已经显示了歧视,该应用程序要求在与道德相关的领域(例如面部识别,医学诊断和刑事判决)中部署之前进行足够的公平测试。现有的公平测试方法主要设计用于识别个人歧视,即对个人的歧视。然而,作为另一种广泛的歧视类型,对群体歧视(大多数隐藏)的测试却少得多。为了解决差距,在这项工作中,我们提出了测试,一种可解释的测试方法,它系统地识别和措施隐藏了一个神经网络的隐藏(我们称为“微妙”群体歧视},该神经网络的特征是敏感特征的条件。一个神经网络,TestsgDFirst自动生成可解释的规则集,该规则集将输入空间分为两组,以暴露模型的组歧视。鉴于,Testsgdalso提供了基于对输入空间进行采样的估计组公平得分,以衡量确定的SIXTEL组歧视程度,这可以确保准确地达到错误的限制。我们评估了在包括结构化数据和文本数据在内的流行数据集中训练的测试多个神经网络模型。实验结果表明,测试有效地有效地识别和测量了如此微妙的群体歧视,以至于该测试效率以前从未透露过。矿石,我们表明,测试的测试结果指南生成新样品的测试结果,以通过可忽略不计的准确性下降来减轻这种歧视。
translated by 谷歌翻译