In consequential decision-making applications, mitigating unwanted biases in machine learning models that yield systematic disadvantage to members of groups delineated by sensitive attributes such as race and gender is one key intervention to strive for equity. Focusing on demographic parity and equality of opportunity, in this paper we propose an algorithm that improves the fairness of a pre-trained classifier by simply dropping carefully selected training data points. We select instances based on their influence on the fairness metric of interest, computed using an infinitesimal jackknife-based approach. The dropping of training points is done in principle, but in practice does not require the model to be refit. Crucially, we find that such an intervention does not substantially reduce the predictive performance of the model but drastically improves the fairness metric. Through careful experiments, we evaluate the effectiveness of the proposed approach on diverse tasks and find that it consistently improves upon existing alternatives.

文献中已经提出了各种公平限制，以减轻小组级统计偏见。它们的影响已在很大程度上评估了与一组敏感属性（例如种族或性别）相对应的不同人群。尽管如此，社区尚未观察到足够的探索，以实例限制公平的限制。基于影响功能的概念，该措施表征了训练示例对目标模型及其预测性能的影响，这项工作研究了施加公平性约束时训练示例的影响。我们发现，在某些假设下，关于公平限制的影响功能可以分解为训练示例的内核组合。提出的公平影响功能的一种有希望的应用是确定可疑的训练示例，这些训练示例可能通过对其影响得分进行排名来导致模型歧视。我们通过广泛的实验证明，对一部分重量数据示例进行培训会导致违反公平性的侵犯，而准确性的权衡。

随着算法治理的快速发展，公平性已成为机器学习模型的强制性属性，以抑制无意的歧视。在本文中，我们着重于实现公平性的预处理方面，并提出了一种数据重新拨打的方法，该方法仅在培训阶段调整样本的重量。与通常为每个（子）组分配均匀权重的大多数以前的重新校正方法不同，我们对每个训练样本在与公平相关的数量和预测效用方面的影响进行颗粒片，并根据在从影响下的影响下对单个权重进行计算。公平和效用。实验结果表明，以前的方法以不可忽略的实用性成本达到公平性，而为了取得重大优势，我们的方法可以从经验上释放权衡并获得无需成本的公平就可以平等机会。与多个现实世界表格数据集中的基线方法相比，我们通过香草分类器和标准培训过程证明了通过香草分类器和标准培训过程的公平性。可在https://github.com/brandeis-machine-learning/influence-fairness上获得代码。

尽管促进机器学习（ML）公平的最新进展激增，但现有的主流方法主要需要培训或填充神经网络的整个权重以满足公平标准。但是，由于较大的计算和存储成本，低数据效率和模型隐私问题，对于那些大规模训练的模型来说，这通常是不可行的。在本文中，我们提出了一种称为FairreProgragr的新的通用公平学习范式，该范式结合了模型重编程技术。具体而言，Fairreprogrogram考虑了固定的神经模型，而是将输入一组扰动（称为公平触发器）附加到，该触发触发器在Min-Max公式下朝着公平标准调整为公平触发器。我们进一步介绍了一个信息理论框架，该框架解释了为什么以及在什么条件下，使用公平触发器可以实现公平目标。我们从理论和经验上都表明，公平触发器可以通过提供错误的人口统计信息来有效地掩盖固定ML模型的输出预测中的人口偏见，从而阻碍模型利用正确的人口统计信息来进行预测。对NLP和CV数据集进行的广泛实验表明，与在两个广泛使用的公平标准下，基于培训成本和数据依赖性的基于重新培训的方法相比，我们的方法可以实现更好的公平性改进。

尽管大规模的经验风险最小化（ERM）在各种机器学习任务中取得了高精度，但公平的ERM受到公平限制与随机优化的不兼容的阻碍。我们考虑具有离散敏感属性以及可能需要随机求解器的可能性大型模型和数据集的公平分类问题。现有的内部处理公平算法在大规模设置中要么是不切实际的，因为它们需要在每次迭代时进行大量数据，要么不保证它们会收敛。在本文中，我们开发了第一个具有保证收敛性的随机内处理公平算法。对于人口统计学，均衡的赔率和公平的机会均等的概念，我们提供了算法的略有变化，称为Fermi，并证明这些变化中的每一个都以任何批次大小收敛于随机优化。从经验上讲，我们表明Fermi适合具有多个（非二进制）敏感属性和非二进制目标的随机求解器，即使Minibatch大小也很小，也可以很好地表现。广泛的实验表明，与最先进的基准相比，FERMI实现了所有经过测试的设置之间的公平违规和测试准确性之间最有利的权衡，该基准是人口统计学奇偶校验，均衡的赔率，均等机会，均等机会。这些好处在小批量的大小和非二元分类具有大量敏感属性的情况下尤其重要，这使得费米成为大规模问题的实用公平算法。

我们解决了分类中群体公平的问题，目的是学习不会不公正地歧视人口亚组的模型。大多数现有方法仅限于简单的二进制任务或涉及难以实施培训机制。这降低了他们的实际适用性。在本文中，我们提出了Fairgrad，这是一种基于重新加权方案来实施公平性的方法，该计划根据是否有优势地迭代地学习特定权重。Fairgrad易于实施，可以适应各种标准公平定义。此外，我们表明它与各种数据集的标准基线相媲美，包括自然语言处理和计算机视觉中使用的数据集。

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

In past work on fairness in machine learning, the focus has been on forcing the prediction of classifiers to have similar statistical properties for people of different demographics. To reduce the violation of these properties, fairness methods usually simply rescale the classifier scores, ignoring similarities and dissimilarities between members of different groups. Yet, we hypothesize that such information is relevant in quantifying the unfairness of a given classifier. To validate this hypothesis, we introduce Optimal Transport to Fairness (OTF), a method that quantifies the violation of fairness constraints as the smallest Optimal Transport cost between a probabilistic classifier and any score function that satisfies these constraints. For a flexible class of linear fairness constraints, we construct a practical way to compute OTF as a differentiable fairness regularizer that can be added to any standard classification setting. Experiments show that OTF can be used to achieve an improved trade-off between predictive power and fairness.

近年来数据的快速增长导致了经常用于在现实世界中做出决定的复杂学习算法的发展。虽然算法的积极影响是巨大的，但需要减轻由训练样本或关于数据样本的隐含假设产生的任何偏差。当算法用于自动决策系统时，这种需求变得至关重要。已经提出了许多方法来通过检测和减轻优化阶段的偏差来进行学习算法。然而，由于缺乏通用的公平定义，这些算法优化了对公平性的特定解释，这使得它们有限地用于现实世界。此外，对所有算法共同的潜在假设是实现公平性和去除偏差的表观等价。换句话说，没有用户定义的标准，可以结合到用于产生公平算法的优化过程中。通过现有方法的这些缺点，我们提出了通过将用户约束纳入优化过程来产生公平算法的菲尔格氏术。此外，我们通过估计来自数据的最预测性功能来解释该过程。我们展示了我们使用不同公平标准对几个真实世界数据集的方法的功效。

It is important to guarantee that machine learning algorithms deployed in the real world do not result in unfairness or unintended social consequences. Fair ML has largely focused on the protection of single attributes in the simpler setting where both attributes and target outcomes are binary. However, the practical application in many a real-world problem entails the simultaneous protection of multiple sensitive attributes, which are often not simply binary, but continuous or categorical. To address this more challenging task, we introduce FairCOCCO, a fairness measure built on cross-covariance operators on reproducing kernel Hilbert Spaces. This leads to two practical tools: first, the FairCOCCO Score, a normalised metric that can quantify fairness in settings with single or multiple sensitive attributes of arbitrary type; and second, a subsequent regularisation term that can be incorporated into arbitrary learning objectives to obtain fair predictors. These contributions address crucial gaps in the algorithmic fairness literature, and we empirically demonstrate consistent improvements against state-of-the-art techniques in balancing predictive power and fairness on real-world datasets.

我们考虑为多类分类任务生产公平概率分类器的问题。我们以“投射”预先培训（且可能不公平的）分类器在满足目标群体对要求的一组模型上的“投影”来提出这个问题。新的投影模型是通过通过乘法因子后处理预训练的分类器的输出来给出的。我们提供了一种可行的迭代算法，用于计算投影分类器并得出样本复杂性和收敛保证。与最先进的基准测试的全面数值比较表明，我们的方法在准确性权衡曲线方面保持了竞争性能，同时在大型数据集中达到了有利的运行时。我们还在具有多个类别，多个相互保护组和超过1M样本的开放数据集上评估了我们的方法。

尽管机器学习模式的发展迅速和巨大成功，但广泛的研究暴露了继承潜在歧视和培训数据的社会偏见的缺点。这种现象阻碍了他们在高利益应用上采用。因此，已经采取了许多努力开发公平机器学习模型。其中大多数要求在培训期间提供敏感属性以学习公平的模型。然而，在许多现实世界应用中，由于隐私或法律问题，获得敏感的属性通常是不可行的，这挑战了现有的公平策略。虽然每个数据样本的敏感属性未知，但我们观察到训练数据中通常存在一些与敏感属性高度相关的非敏感功能，这可以用于缓解偏差。因此，在本文中，我们研究了一种探索与学习公平和准确分类器的敏感属性高度相关的特征的新问题。理论上我们通过最小化这些相关特征与模型预测之间的相关性，我们可以学习一个公平的分类器。基于这种动机，我们提出了一种新颖的框架，该框架同时使用这些相关的特征来准确预测和执行公平性。此外，该模型可以动态调整每个相关功能的正则化权重，以平衡其对模型分类和公平性的贡献。现实世界数据集的实验结果证明了拟议模型用于学习公平模型的效力，具有高分类准确性。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

算法公平旨在识别和校正机器学习算法中的偏差源。混淆，确保公平往往以准确性为止。我们在这项工作中提供正式工具，以便在算法公平中调和这一基本紧张。具体而言，我们将帕累托最优性的概念从多目标优化中寻求神经网络分类器的公平准确性帕累托。我们证明许多现有的算法公平方法正在执行所谓的线性标定方案，其具有恢复帕累托最佳解决方案的严重限制。相反，与线性方案相比，我们将Chebyshev标准化方案从理论上提供优越，并且在恢复Pareto最佳解决方案时没有更加计算繁重。

At the core of insurance business lies classification between risky and non-risky insureds, actuarial fairness meaning that risky insureds should contribute more and pay a higher premium than non-risky or less-risky ones. Actuaries, therefore, use econometric or machine learning techniques to classify, but the distinction between a fair actuarial classification and "discrimination" is subtle. For this reason, there is a growing interest about fairness and discrimination in the actuarial community Lindholm, Richman, Tsanakas, and Wuthrich (2022). Presumably, non-sensitive characteristics can serve as substitutes or proxies for protected attributes. For example, the color and model of a car, combined with the driver's occupation, may lead to an undesirable gender bias in the prediction of car insurance prices. Surprisingly, we will show that debiasing the predictor alone may be insufficient to maintain adequate accuracy (1). Indeed, the traditional pricing model is currently built in a two-stage structure that considers many potentially biased components such as car or geographic risks. We will show that this traditional structure has significant limitations in achieving fairness. For this reason, we have developed a novel pricing model approach. Recently some approaches have Blier-Wong, Cossette, Lamontagne, and Marceau (2021); Wuthrich and Merz (2021) shown the value of autoencoders in pricing. In this paper, we will show that (2) this can be generalized to multiple pricing factors (geographic, car type), (3) it perfectly adapted for a fairness context (since it allows to debias the set of pricing components): We extend this main idea to a general framework in which a single whole pricing model is trained by generating the geographic and car pricing components needed to predict the pure premium while mitigating the unwanted bias according to the desired metric.

由于其在不同领域的应用继续扩大和多样化，因此机器学习的公平正在越来越越来越受到关注。为了减轻不同人口组之间的区分模型行为，我们介绍了一种新的后处理方法来通过组感知阈值适应优化多个公平性约束。我们建议通过优化从分类模型输出的概率分布估计的混淆矩阵来学习每个人口统计组的自适应分类阈值。由于我们仅需要模型输出的估计概率分布而不是分类模型结构，我们的后处理模型可以应用于各种分类模型，并以模型 - 不可知方式提高公平性并确保隐私。这甚至允许我们在后处理现有的公平方法，以进一步提高准确性和公平性之间的权衡。此外，我们的模型具有低计算成本。我们为我们的优化算法的收敛性提供严格的理论分析和我们方法的准确性和公平性之间的权衡。我们的方法理论上使得能够在与现有方法相同的情况下的近最优性的更好的上限。实验结果表明，我们的方法优于最先进的方法，并获得最接近理论精度公平折衷边界的结果。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

随着机器学习在整个社会中变得越来越普遍，必须仔细考虑包括数据隐私和公平性在内的各个方面，对于高度监管的行业的部署至关重要。不幸的是，增强隐私技术的应用可能会使模型中的不公平趋势恶化。尤其是用于私人模型训练，私人随机梯度下降（DPSGD）的最广泛使用的技术之一，通常会加剧对数据中的组的不同影响。在这项工作中，我们研究了DPSGD中不公平性的细粒度原因，并确定由于不公平的梯度剪辑而导致的梯度未对准是最重要的来源。该观察结果使我们采取了一种新的方法，可以通过防止DPSGD中的梯度未对准来减少不公平。

近年来，关于如何在公平限制下学习机器学习模型的越来越多的工作，通常在某些敏感属性方面表达。在这项工作中，我们考虑了对手对目标模型具有黑箱访问的设置，并表明对手可以利用有关该模型公平性的信息，以增强他对训练数据敏感属性的重建。更确切地说，我们提出了一种通用的重建校正方法，该方法将其作为对手进行的初始猜测，并纠正它以符合某些用户定义的约束（例如公平信息），同时最大程度地减少了对手猜测的变化。提出的方法对目标模型的类型，公平感知的学习方法以及对手的辅助知识不可知。为了评估我们的方法的适用性，我们对两种最先进的公平学习方法进行了彻底的实验评估，使用四个具有广泛公差的不同公平指标以及三个不同大小和敏感属性的数据集。实验结果证明了提出的方法改善训练集敏感属性的重建的有效性。