在高风险领域（人们的生计受到影响）中，机器学习的日益增长的使用迫切需要解释和公平的算法。在这些设置中，此类算法的准确性也至关重要。考虑到这些需求，我们提出了一个混合整数优化（MIO）框架，用于学习具有固定深度的最佳分类树，可以通过任意域特定的公平约束来方便地增强。我们基于在流行数据集上建造公平树木的最先进方法基准测试；鉴于固定的歧视阈值，我们的方法平均将样本外（OOS）的精度提高了2.3个百分点，并在88.9％的实验上获得了更高的OOS精度。我们还将各种算法公平概念纳入我们的方法中，展示其多功能建模能力，使决策者可以微调准确性和公平性之间的权衡。

We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

We study critical systems that allocate scarce resources to satisfy basic needs, such as homeless services that provide housing. These systems often support communities disproportionately affected by systemic racial, gender, or other injustices, so it is crucial to design these systems with fairness considerations in mind. To address this problem, we propose a framework for evaluating fairness in contextual resource allocation systems that is inspired by fairness metrics in machine learning. This framework can be applied to evaluate the fairness properties of a historical policy, as well as to impose constraints in the design of new (counterfactual) allocation policies. Our work culminates with a set of incompatibility results that investigate the interplay between the different fairness metrics we propose. Notably, we demonstrate that: 1) fairness in allocation and fairness in outcomes are usually incompatible; 2) policies that prioritize based on a vulnerability score will usually result in unequal outcomes across groups, even if the score is perfectly calibrated; 3) policies using contextual information beyond what is needed to characterize baseline risk and treatment effects can be fairer in their outcomes than those using just baseline risk and treatment effects; and 4) policies using group status in addition to baseline risk and treatment effects are as fair as possible given all available information. Our framework can help guide the discussion among stakeholders in deciding which fairness metrics to impose when allocating scarce resources.

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

自几十年前以来，已经证明了机器学习评估贷款申请人信誉的实用性。但是，自动决策可能会导致对群体或个人的不同治疗方法，可能导致歧视。本文基准了12种最大的偏见缓解方法，讨论其绩效，该绩效基于5个不同的公平指标，获得的准确性以及为金融机构提供的潜在利润。我们的发现表明，在确保准确性和利润的同时，实现公平性方面的困难。此外，它突出了一些表现最好和最差的人，并有助于弥合实验机学习及其工业应用之间的差距。

机器学习的普及增加了不公平模型的风险，该模型被部署在高级应用程序中，例如司法系统，药物/疫苗接种设计和医学诊断。尽管有有效的方法可以从头开始训练公平模型，但如何自动揭示和解释受过训练的模型的不公平仍然是一项艰巨的任务。以可解释的方式揭示机器学习模型的不公平是朝着公平和值得信赖的AI迈出的关键一步。在本文中，我们系统地解决了通过挖掘可解释的证据（Rumie）来揭示不公平模型的新任务。关键思想是以一组模型区分的数据实例的形式找到可靠的证据。为了使证据可以解释，我们还找到了一组人为理解的关键属性和决策规则，这些属性和决策规则表征了歧视的数据实例，并将其与其他非歧视数据区分开来。正如在许多现实世界数据集上进行的广泛实验所证明的那样，我们的方法找到了高度可解释和可靠的证据，可以有效揭示受过训练的模型的不公平性。此外，它比所有基线方法更可扩展。

作为一种预测模型的评分系统具有可解释性和透明度的显着优势，并有助于快速决策。因此，评分系统已广泛用于各种行业，如医疗保健和刑事司法。然而，这些模型中的公平问题长期以来一直受到批评，并且使用大数据和机器学习算法在评分系统的构建中提高了这个问题。在本文中，我们提出了一般框架来创建公平知识，数据驱动评分系统。首先，我们开发一个社会福利功能，融入了效率和群体公平。然后，我们将社会福利最大化问题转换为机器学习中的风险最小化任务，并在混合整数编程的帮助下导出了公平感知评分系统。最后，导出了几种理论界限用于提供参数选择建议。我们拟议的框架提供了适当的解决方案，以解决进程中的分组公平问题。它使政策制定者能够设置和定制其所需的公平要求以及其他特定于应用程序的约束。我们用几个经验数据集测试所提出的算法。实验证据支持拟议的评分制度在实现利益攸关方的最佳福利以及平衡可解释性，公平性和效率的需求方面的有效性。

近年来，关于如何在公平限制下学习机器学习模型的越来越多的工作，通常在某些敏感属性方面表达。在这项工作中，我们考虑了对手对目标模型具有黑箱访问的设置，并表明对手可以利用有关该模型公平性的信息，以增强他对训练数据敏感属性的重建。更确切地说，我们提出了一种通用的重建校正方法，该方法将其作为对手进行的初始猜测，并纠正它以符合某些用户定义的约束（例如公平信息），同时最大程度地减少了对手猜测的变化。提出的方法对目标模型的类型，公平感知的学习方法以及对手的辅助知识不可知。为了评估我们的方法的适用性，我们对两种最先进的公平学习方法进行了彻底的实验评估，使用四个具有广泛公差的不同公平指标以及三个不同大小和敏感属性的数据集。实验结果证明了提出的方法改善训练集敏感属性的重建的有效性。

Algorithm fairness has started to attract the attention of researchers in AI, Software Engineering and Law communities, with more than twenty different notions of fairness proposed in the last few years. Yet, there is no clear agreement on which definition to apply in each situation. Moreover, the detailed differences between multiple definitions are difficult to grasp. To address this issue, this paper collects the most prominent definitions of fairness for the algorithmic classification problem, explains the rationale behind these definitions, and demonstrates each of them on a single unifying case-study. Our analysis intuitively explains why the same case can be considered fair according to some definitions and unfair according to others.

We propose a criterion for discrimination against a specified sensitive attribute in supervised learning, where the goal is to predict some target based on available features. Assuming data about the predictor, target, and membership in the protected group are available, we show how to optimally adjust any learned predictor so as to remove discrimination according to our definition. Our framework also improves incentives by shifting the cost of poor classification from disadvantaged groups to the decision maker, who can respond by improving the classification accuracy.In line with other studies, our notion is oblivious: it depends only on the joint statistics of the predictor, the target and the protected attribute, but not on interpretation of individual features. We study the inherent limits of defining and identifying biases based on such oblivious measures, outlining what can and cannot be inferred from different oblivious tests.We illustrate our notion using a case study of FICO credit scores.

如今机器学习（ML）技术在许多社交敏感的系统中广泛采用，因此需要仔细研究这些系统所采取的决策的公平性。已经提出了许多方法来解决，并确保没有针对个人或特定群体的偏见，这可能来自偏置训练数据集或算法设计。在这方面，我们提出了一种称为eifffel的公平强化方法：通过翻转叶片来强制森林中的公平，该叶片剥夺了基于树木的或基于叶片的后处理策略来重新制作给定森林的选定决策树的叶子。实验结果表明，我们的方法实现了用户定义的群体公平程度，而不会失去大量的准确性。

预测学生的学习成绩是教育数据挖掘（EDM）的关键任务之一。传统上，这种模型的高预测质量被认为至关重要。最近，公平和歧视W.R.T.受保护的属性（例如性别或种族）引起了人们的关注。尽管EDM中有几种公平感知的学习方法，但对这些措施的比较评估仍然缺失。在本文中，我们评估了各种教育数据集和公平感知学习模型上学生绩效预测问题的不同群体公平措施。我们的研究表明，公平度量的选择很重要，对于选择等级阈值的选择同样。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。

近年来数据的快速增长导致了经常用于在现实世界中做出决定的复杂学习算法的发展。虽然算法的积极影响是巨大的，但需要减轻由训练样本或关于数据样本的隐含假设产生的任何偏差。当算法用于自动决策系统时，这种需求变得至关重要。已经提出了许多方法来通过检测和减轻优化阶段的偏差来进行学习算法。然而，由于缺乏通用的公平定义，这些算法优化了对公平性的特定解释，这使得它们有限地用于现实世界。此外，对所有算法共同的潜在假设是实现公平性和去除偏差的表观等价。换句话说，没有用户定义的标准，可以结合到用于产生公平算法的优化过程中。通过现有方法的这些缺点，我们提出了通过将用户约束纳入优化过程来产生公平算法的菲尔格氏术。此外，我们通过估计来自数据的最预测性功能来解释该过程。我们展示了我们使用不同公平标准对几个真实世界数据集的方法的功效。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

数据驱动的AI系统可以根据性别或种族等保护属性导致歧视。这种行为的一个原因是训练数据中的编码的社会偏见（例如，女性是不平衡的，这在不平衡的阶级分布情况下加剧（例如，“授予”是少数阶级）。最先进的公平知识机器学习方法专注于保持\ emph {总体}分类准确性，同时提高公平性。在类别的不平衡存在下，这种方法可以进一步加剧歧视问题，通过否认已经不足的群体（例如，\ Texit {女性}）的基本社会特权（例如，平等信用机会）的基本权利。为此，我们提出了Adafair，一个公平知识的提升集合，可以在每轮的数据分布中改变数据分布，同时考虑到阶级错误，还考虑到基于部分集合累积累积的模型的公平相关性能。除了培训集团的培训促进，除了每轮歧视，Adafair通过优化用于平衡错误性能（BER）的集成学习者的数量，直接在训练后阶段解决不平衡。 Adafair可以促进基于不同的基于奇偶阶级的公平概念并有效减轻歧视性结果。我们的实验表明，我们的方法可以在统计阶段，平等机会方面实现平价，同时保持所有课程的良好预测性能。

鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

由于其在不同领域的应用继续扩大和多样化，因此机器学习的公平正在越来越越来越受到关注。为了减轻不同人口组之间的区分模型行为，我们介绍了一种新的后处理方法来通过组感知阈值适应优化多个公平性约束。我们建议通过优化从分类模型输出的概率分布估计的混淆矩阵来学习每个人口统计组的自适应分类阈值。由于我们仅需要模型输出的估计概率分布而不是分类模型结构，我们的后处理模型可以应用于各种分类模型，并以模型 - 不可知方式提高公平性并确保隐私。这甚至允许我们在后处理现有的公平方法，以进一步提高准确性和公平性之间的权衡。此外，我们的模型具有低计算成本。我们为我们的优化算法的收敛性提供严格的理论分析和我们方法的准确性和公平性之间的权衡。我们的方法理论上使得能够在与现有方法相同的情况下的近最优性的更好的上限。实验结果表明，我们的方法优于最先进的方法，并获得最接近理论精度公平折衷边界的结果。