尽管机器学习模式的发展迅速和巨大成功,但广泛的研究暴露了继承潜在歧视和培训数据的社会偏见的缺点。这种现象阻碍了他们在高利益应用上采用。因此,已经采取了许多努力开发公平机器学习模型。其中大多数要求在培训期间提供敏感属性以学习公平的模型。然而,在许多现实世界应用中,由于隐私或法律问题,获得敏感的属性通常是不可行的,这挑战了现有的公平策略。虽然每个数据样本的敏感属性未知,但我们观察到训练数据中通常存在一些与敏感属性高度相关的非敏感功能,这可以用于缓解偏差。因此,在本文中,我们研究了一种探索与学习公平和准确分类器的敏感属性高度相关的特征的新问题。理论上我们通过最小化这些相关特征与模型预测之间的相关性,我们可以学习一个公平的分类器。基于这种动机,我们提出了一种新颖的框架,该框架同时使用这些相关的特征来准确预测和执行公平性。此外,该模型可以动态调整每个相关功能的正则化权重,以平衡其对模型分类和公平性的贡献。现实世界数据集的实验结果证明了拟议模型用于学习公平模型的效力,具有高分类准确性。
translated by 谷歌翻译
现代机器学习(ML)模型越来越流行,并广泛用于决策系统。但是,研究表明,ML歧视和不公平性的关键问题阻碍了他们对高级应用程序的采用。对公平分类器的最新研究引起了人们的重大关注,以开发有效的算法以实现公平性和良好的分类性能。尽管这些公平感知到的机器学习模型取得了巨大的成功,但大多数现有模型都需要敏感属性来预处理数据,将模型学习正规化或后处理预测以具有公平的预测。但是,由于隐私,法律或法规限制,敏感属性通常是不完整甚至不可用的。尽管我们缺乏训练目标域中公平模型的敏感属性,但可能存在具有敏感属性的类似域。因此,重要的是从类似域中利用辅助信息,以帮助改善目标域中的公平分类。因此,在本文中,我们研究了探索域适应以进行公平分类的新问题。我们提出了一个新框架,可以同时估算目标域中的公平分类器时,可以同时估算敏感属性。现实世界数据集的广泛实验说明了提出的公平分类模型的有效性,即使目标域中没有敏感属性。
translated by 谷歌翻译
机器学习模型在许多领域都表现出了有希望的表现。但是,担心他们可能会偏向特定的群体,阻碍了他们在高级申请中的采用。因此,必须确保机器学习模型中的公平性。以前的大多数努力都需要访问敏感属性以减轻偏见。尽管如此,由于人们对隐私和法律依从性的认识日益增加,获得具有敏感属性的大规模数据通常是不可行的。因此,一个重要的研究问题是如何在隐私下做出公平的预测?在本文中,我们研究了半私人环境中公平分类的新问题,其中大多数敏感属性都是私有的,只有少量的干净敏感属性可用。为此,我们提出了一个新颖的框架Fairsp,可以首先学会通过利用有限的清洁敏感属性来纠正隐私保证下的嘈杂敏感属性。然后,它以对抗性方式共同建模校正和清洁数据以进行歧义和预测。理论分析表明,当大多数敏感属性都是私有的时,提出的模型可以确保公平。现实世界数据集的实验结果证明了所提出的模型在隐私下做出公平预测并保持高精度的有效性。
translated by 谷歌翻译
随着机器学习在高风险决策问题中的不断应用,对某些社会群体的人们的潜在算法偏见对个人和我们的整个社会造成了负面影响。在现实世界中,许多此类问题涉及积极和未标记的数据,例如医学诊断,刑事风险评估和推荐系统。例如,在医学诊断中,仅记录诊断性疾病(阳性),而其他疾病则不会(未标记)。尽管在(半)监督和无监督的环境中进行了大量的现有工作,但公平问题在上述正面和未标记的学习(PUL)上下文中基本上却大大不足。在本文中,为了减轻这种张力,我们提出了一种名为Fairpul的公平意识的PUL方法。特别是,对于来自两个人群的个人的二元分类,我们旨在在两个人群中达到相似的真实正利率和假期的误报。基于对PUL的最佳公平分类器的分析,我们设计了模型不合时宜的后处理框架,利用了积极的示例和未标记的示例。从分类错误和公平度量标准方面,我们的框架在统计上是一致的。关于合成和现实世界数据集的实验表明,我们的框架在PUL和公平分类方面的表现都优于最先进。
translated by 谷歌翻译
机器学习模型在高赌注应用中变得普遍存在。尽管在绩效方面有明显的效益,但该模型可以表现出对少数民族群体的偏见,并导致决策过程中的公平问题,导致对个人和社会的严重负面影响。近年来,已经开发了各种技术来减轻机器学习模型的偏差。其中,加工方法已经增加了社区的关注,在模型设计期间直接考虑公平,以诱导本质上公平的模型,从根本上减轻了产出和陈述中的公平问题。在本调查中,我们审查了加工偏置减缓技术的当前进展。基于在模型中实现公平的地方,我们将它们分类为明确和隐性的方法,前者直接在培训目标中纳入公平度量,后者重点介绍精炼潜在代表学习。最后,我们在讨论该社区中的研究挑战来讨论调查,以激励未来的探索。
translated by 谷歌翻译
消除偏见的同时保留所有与任务相关的信息对于公平表示学习方法具有挑战性,因为它们会产生随机或退化表示w.r.t.当敏感属性与标签相关时,标记。现有的作品提议将标签信息注入学习程序以克服此类问题。但是,并不总是满足观察到的标签是清洁的假设。实际上,标签偏见被认为是引起歧视的主要来源。换句话说,公平的预处理方法忽略了在学习过程或评估阶段中标签中编码的歧视。这一矛盾给了学识渊博的表示的公平性。为了避免此问题,我们探讨了以下问题:\ emph {我们可以学习可预测的公平表示,可预测到仅访问不可靠标签的潜在理想公平标签吗?}在这项工作中,我们建议\ textbf {d} e- \ textbf { \ textbf {r} \ textbf {f} ernenses(dbrf)框架的b} iased \ textbf {r} ePresentation学习,该框架将敏感信息从非敏感属性中解散,同时使学习的表示形式可预测到理想的公平标签,而不是观察到的偏见。我们通过信息理论概念(例如相互信息和信息瓶颈)制定了偏见的学习框架。核心概念是,当敏感信息受益于不可靠标签的预测时,DBRF提倡不使用不可靠的标签进行监督。综合数据和现实世界数据的实验结果表明,DBRF有效地学习了对理想标签的偏见表示。
translated by 谷歌翻译
It is of critical importance to be aware of the historical discrimination embedded in the data and to consider a fairness measure to reduce bias throughout the predictive modeling pipeline. Given various notions of fairness defined in the literature, investigating the correlation and interaction among metrics is vital for addressing unfairness. Practitioners and data scientists should be able to comprehend each metric and examine their impact on one another given the context, use case, and regulations. Exploring the combinatorial space of different metrics for such examination is burdensome. To alleviate the burden of selecting fairness notions for consideration, we propose a framework that estimates the correlation among fairness notions. Our framework consequently identifies a set of diverse and semantically distinct metrics as representative for a given context. We propose a Monte-Carlo sampling technique for computing the correlations between fairness metrics by indirect and efficient perturbation in the model space. Using the estimated correlations, we then find a subset of representative metrics. The paper proposes a generic method that can be generalized to any arbitrary set of fairness metrics. We showcase the validity of the proposal using comprehensive experiments on real-world benchmark datasets.
translated by 谷歌翻译
我们解决了分类中群体公平的问题,目的是学习不会不公正地歧视人口亚组的模型。大多数现有方法仅限于简单的二进制任务或涉及难以实施培训机制。这降低了他们的实际适用性。在本文中,我们提出了Fairgrad,这是一种基于重新加权方案来实施公平性的方法,该计划根据是否有优势地迭代地学习特定权重。Fairgrad易于实施,可以适应各种标准公平定义。此外,我们表明它与各种数据集的标准基线相媲美,包括自然语言处理和计算机视觉中使用的数据集。
translated by 谷歌翻译
A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.
translated by 谷歌翻译
近年来数据的快速增长导致了经常用于在现实世界中做出决定的复杂学习算法的发展。虽然算法的积极影响是巨大的,但需要减轻由训练样本或关于数据样本的隐含假设产生的任何偏差。当算法用于自动决策系统时,这种需求变得至关重要。已经提出了许多方法来通过检测和减轻优化阶段的偏差来进行学习算法。然而,由于缺乏通用的公平定义,这些算法优化了对公平性的特定解释,这使得它们有限地用于现实世界。此外,对所有算法共同的潜在假设是实现公平性和去除偏差的表观等价。换句话说,没有用户定义的标准,可以结合到用于产生公平算法的优化过程中。通过现有方法的这些缺点,我们提出了通过将用户约束纳入优化过程来产生公平算法的菲尔格氏术。此外,我们通过估计来自数据的最预测性功能来解释该过程。我们展示了我们使用不同公平标准对几个真实世界数据集的方法的功效。
translated by 谷歌翻译
自几十年前以来,已经证明了机器学习评估贷款申请人信誉的实用性。但是,自动决策可能会导致对群体或个人的不同治疗方法,可能导致歧视。本文基准了12种最大的偏见缓解方法,讨论其绩效,该绩效基于5个不同的公平指标,获得的准确性以及为金融机构提供的潜在利润。我们的发现表明,在确保准确性和利润的同时,实现公平性方面的困难。此外,它突出了一些表现最好和最差的人,并有助于弥合实验机学习及其工业应用之间的差距。
translated by 谷歌翻译
Algorithmic fairness is becoming increasingly important in data mining and machine learning. Among others, a foundational notation is group fairness. The vast majority of the existing works on group fairness, with a few exceptions, primarily focus on debiasing with respect to a single sensitive attribute, despite the fact that the co-existence of multiple sensitive attributes (e.g., gender, race, marital status, etc.) in the real-world is commonplace. As such, methods that can ensure a fair learning outcome with respect to all sensitive attributes of concern simultaneously need to be developed. In this paper, we study the problem of information-theoretic intersectional fairness (InfoFair), where statistical parity, a representative group fairness measure, is guaranteed among demographic groups formed by multiple sensitive attributes of interest. We formulate it as a mutual information minimization problem and propose a generic end-to-end algorithmic framework to solve it. The key idea is to leverage a variational representation of mutual information, which considers the variational distribution between learning outcomes and sensitive attributes, as well as the density ratio between the variational and the original distributions. Our proposed framework is generalizable to many different settings, including other statistical notions of fairness, and could handle any type of learning task equipped with a gradient-based optimizer. Empirical evaluations in the fair classification task on three real-world datasets demonstrate that our proposed framework can effectively debias the classification results with minimal impact to the classification accuracy.
translated by 谷歌翻译
尽管大规模的经验风险最小化(ERM)在各种机器学习任务中取得了高精度,但公平的ERM受到公平限制与随机优化的不兼容的阻碍。我们考虑具有离散敏感属性以及可能需要随机求解器的可能性大型模型和数据集的公平分类问题。现有的内部处理公平算法在大规模设置中要么是不切实际的,因为它们需要在每次迭代时进行大量数据,要么不保证它们会收敛。在本文中,我们开发了第一个具有保证收敛性的随机内处理公平算法。对于人口统计学,均衡的赔率和公平的机会均等的概念,我们提供了算法的略有变化,称为Fermi,并证明这些变化中的每一个都以任何批次大小收敛于随机优化。从经验上讲,我们表明Fermi适合具有多个(非二进制)敏感属性和非二进制目标的随机求解器,即使Minibatch大小也很小,也可以很好地表现。广泛的实验表明,与最先进的基准相比,FERMI实现了所有经过测试的设置之间的公平违规和测试准确性之间最有利的权衡,该基准是人口统计学奇偶校验,均衡的赔率,均等机会,均等机会。这些好处在小批量的大小和非二元分类具有大量敏感属性的情况下尤其重要,这使得费米成为大规模问题的实用公平算法。
translated by 谷歌翻译
分类,一种重大研究的数据驱动机器学习任务,驱动越来越多的预测系统,涉及批准的人类决策,如贷款批准和犯罪风险评估。然而,分类器经常展示歧视性行为,特别是当呈现有偏置数据时。因此,分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣,包括公平分类的主题。公平分类的跨学科努力,具有最大存在的机器学习研究,导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中,我们对13个公平分类方法和额外变种的广泛分析,超越,公平,公平,效率,可扩展性,对数据误差的鲁棒性,对潜在的ML模型,数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则,并确定以数据管理为中心的解决方案可能产生最大影响的区域。
translated by 谷歌翻译
随着算法治理的快速发展,公平性已成为机器学习模型的强制性属性,以抑制无意的歧视。在本文中,我们着重于实现公平性的预处理方面,并提出了一种数据重新拨打的方法,该方法仅在培训阶段调整样本的重量。与通常为每个(子)组分配均匀权重的大多数以前的重新校正方法不同,我们对每个训练样本在与公平相关的数量和预测效用方面的影响进行颗粒片,并根据在从影响下的影响下对单个权重进行计算。公平和效用。实验结果表明,以前的方法以不可忽略的实用性成本达到公平性,而为了取得重大优势,我们的方法可以从经验上释放权衡并获得无需成本的公平就可以平等机会。与多个现实世界表格数据集中的基线方法相比,我们通过香草分类器和标准培训过程证明了通过香草分类器和标准培训过程的公平性。可在https://github.com/brandeis-machine-learning/influence-fairness上获得代码。
translated by 谷歌翻译
鉴于神经网络有区别,公平性改善的问题是系统地减少歧视,而不会显着削弱其性能(即准确性)。已经提出了针对神经网络的多种公平改进方法,包括预处理,处理和后处理。然而,我们的实证研究表明,这些方法并不总是有效的(例如,它们可以通过支付巨大准确性下降的价格来提高公平性),甚至没有帮助(例如,它们甚至可能使公平性和准确性都恶化)。在这项工作中,我们提出了一种基于因果分析的公平性改进方法的方法。也就是说,我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明,我们的方法是有效的(即,始终确定最佳的公平改善方法)和有效的效率(即,平均时间开销为5分钟)。
translated by 谷歌翻译
受益于医疗保健数据的数字化和计算能力的发展,机器学习方法越来越多地用于医疗领域。在医疗保健机器学习中已经确定了公平性问题,导致对有限医疗资源的不公平分配或某些群体的健康风险过多。因此,解决公平问题最近引起了医疗保健社区的越来越多的关注。然而,机器学习的机器学习与机器学习中的公平性的交集仍在研究中。在这篇综述中,我们通过暴露公平问题,总结可能的偏见,整理缓解方法并指出挑战以及未来的机会来建立桥梁。
translated by 谷歌翻译
随着在高风险决策中引入机器学习,确保算法公平已成为越来越重要的问题。为此,已经提出了许多关于公平性的数学定义,并且已经开发了多种优化技术,所有这些都旨在最大化明确的公平概念。但是,公平解决方案取决于训练数据的质量,并且对噪声高度敏感。最近的研究表明,鲁棒性(模型在看不见的数据上表现良好的能力)在解决新问题时应使用的策略类型起着重要作用,因此,测量这些策略的鲁棒性已成为一种基本问题。因此,在这项工作中,我们提出了一个新标准,以衡量各种公平优化策略的鲁棒性 - \ textit {稳健性比率}。我们使用三种最受欢迎​​的公平策略在五个最受欢迎的公平定义方面,在五个基准标记公平数据集上进行了多次广泛的实验。我们的实验从经验上表明,依赖阈值优化的公平方法对所有评估的数据集中的噪声非常敏感,尽管大多数表现优于其他方法。这与其他两种方法相反,这对于低噪声方案而言不太公平,但对于高噪声方案而言更公平。据我们所知,我们是第一个定量评估公平优化策略的鲁棒性的人。这可以作为选择各种数据集的最合适的公平策略的指南。
translated by 谷歌翻译
我们考虑为多类分类任务生产公平概率分类器的问题。我们以“投射”预先培训(且可能不公平的)分类器在满足目标群体对要求的一组模型上的“投影”来提出这个问题。新的投影模型是通过通过乘法因子后处理预训练的分类器的输出来给出的。我们提供了一种可行的迭代算法,用于计算投影分类器并得出样本复杂性和收敛保证。与最先进的基准测试的全面数值比较表明,我们的方法在准确性权衡曲线方面保持了竞争性能,同时在大型数据集中达到了有利的运行时。我们还在具有多个类别,多个相互保护组和超过1M样本的开放数据集上评估了我们的方法。
translated by 谷歌翻译
At the core of insurance business lies classification between risky and non-risky insureds, actuarial fairness meaning that risky insureds should contribute more and pay a higher premium than non-risky or less-risky ones. Actuaries, therefore, use econometric or machine learning techniques to classify, but the distinction between a fair actuarial classification and "discrimination" is subtle. For this reason, there is a growing interest about fairness and discrimination in the actuarial community Lindholm, Richman, Tsanakas, and Wuthrich (2022). Presumably, non-sensitive characteristics can serve as substitutes or proxies for protected attributes. For example, the color and model of a car, combined with the driver's occupation, may lead to an undesirable gender bias in the prediction of car insurance prices. Surprisingly, we will show that debiasing the predictor alone may be insufficient to maintain adequate accuracy (1). Indeed, the traditional pricing model is currently built in a two-stage structure that considers many potentially biased components such as car or geographic risks. We will show that this traditional structure has significant limitations in achieving fairness. For this reason, we have developed a novel pricing model approach. Recently some approaches have Blier-Wong, Cossette, Lamontagne, and Marceau (2021); Wuthrich and Merz (2021) shown the value of autoencoders in pricing. In this paper, we will show that (2) this can be generalized to multiple pricing factors (geographic, car type), (3) it perfectly adapted for a fairness context (since it allows to debias the set of pricing components): We extend this main idea to a general framework in which a single whole pricing model is trained by generating the geographic and car pricing components needed to predict the pure premium while mitigating the unwanted bias according to the desired metric.
translated by 谷歌翻译