通常，根据某些固有的价值衡量标准，绩效是定义的。相反，我们考虑一个个人的价值为\ emph {相对}的设置：当决策者（DM）选择一组从人口中的个人来最大化预期效用时，自然考虑\ emph {预期的边际贡献}（每个人的emc）。我们表明，这个概念满足了这种环境公平性的公理定义。我们还表明，对于某些政策结构，这种公平概念与最大化的预期效用保持一致，而对于线性实用程序功能，它与Shapley值相同。但是，对于某些自然政策，例如选择具有一组特定属性的个人的政策（例如，大学入学的足够高考试成绩），精英级和公用事业最大化之间存在权衡。我们根据挪威大学的大学录取和成果，分析了限制对政策对效用和公平性的影响。

公平性是在算法决策中的重要考虑因素。当具有较高优异的代理人获得比具有较低优点的试剂更差的代理人时，发生不公平。我们的中心点是，不公平的主要原因是不确定性。制定决策的主体或算法永远无法访问代理的真实优点，而是使用仅限于不完全预测优点的代理功能（例如，GPA，星形评级，推荐信）。这些都没有完全捕捉代理人的优点;然而，现有的方法主要基于观察到的特征和结果直接定义公平概念。我们的主要观点是明确地承认和模拟不确定性更为原则。观察到的特征的作用是产生代理商的优点的后部分布。我们使用这个观点来定义排名中近似公平的概念。我们称之为algorithm $ \ phi $ -fair（对于$ \ phi \ in [0,1] $）如果它具有以下所有代理商$ x $和所有$ k $：如果代理商$ x $最高$ k $代理以概率至少为$ \ rho $（根据后部优点分配），那么该算法将代理商在其排名中以概率排名，至少$ \ phi \ rho $。我们展示了如何计算最佳地互惠对校长进行近似公平性的排名。除了理论表征外，我们还提出了对模拟研究中的方法的潜在影响的实证分析。对于真实世界的验证，我们在纸质建议系统的背景下应用了这种方法，我们在KDD 2020会议上建立和界定。

招聘或大学入学等选择问题的歧视通常是由决策者对弱势人口群体的隐性偏见来解释的。在本文中，我们考虑了决策者收到每个候选品质的噪声估计的模型，其方差取决于候选人的组 - 我们认为这种差异方差是许多选择问题的关键特征。我们分析了两个值得注意的设置：首先，噪声差异对于决策者而言是未知的，他只能独立于他们的群体选择最高的估计质量;在第二个中，差异是已知的，决策者挑选了给出嘈杂估计的最高预期质量的候选者。我们表明，两者的基线决策者都会产生歧视，尽管在相反的方向：第一个导致低方差集团的代表性不足，而第二个导致高方差群体的代表性不足。我们研究了对施加公平机制的选择效用的影响，我们将获得$ \ Gamma $ -rule术语（它是古典四分之五规则的延伸，它还包括人口统计奇偶校验）。在第一个设置（具有未知的差异）中，我们证明，在温和的条件下，施加$ \ Gamma $ -rule增加了选择效用 - 在这里，公平与公用事业之间没有权衡。在第二个设置（具有已知的差异）中，施加$ \ Gamma $ -rule降低了该实用程序，但我们由于公平机制而证明了该公用事业损失的束缚。

针对社会福利计划中个人的干预措施的主要问题之一是歧视：个性化治疗可能导致跨年龄，性别或种族等敏感属性的差异。本文解决了公平有效的治疗分配规则的设计问题。我们采用了第一次的非遗憾视角，没有危害：我们选择了帕累托边境中最公平的分配。我们将优化投入到混合构成线性程序公式中，可以使用现成的算法来解决。我们对估计的政策功能的不公平性和在帕累托前沿的不公平保证在一般公平概念下的不公平性范围内得出了遗憾。最后，我们使用教育经济学的应用来说明我们的方法。

最近的工作突出了因果关系在设计公平决策算法中的作用。但是，尚不清楚现有的公平因果概念如何相互关系，或者将这些定义作为设计原则的后果是什么。在这里，我们首先将算法公平性的流行因果定义组装成两个广泛的家庭：（1）那些限制决策对反事实差异的影响的家庭； （2）那些限制了法律保护特征（如种族和性别）对决策的影响。然后，我们在分析和经验上表明，两个定义的家庭\ emph {几乎总是总是} - 从一种理论意义上讲 - 导致帕累托占主导地位的决策政策，这意味着每个利益相关者都有一个偏爱的替代性，不受限制的政策从大型自然级别中绘制。例如，在大学录取决定的情况下，每位利益相关者都不支持任何对学术准备和多样性的中立或积极偏好的利益相关者，将不利于因果公平定义的政策。的确，在因果公平的明显定义下，我们证明了由此产生的政策要求承认所有具有相同概率的学生，无论学术资格或小组成员身份如何。我们的结果突出了正式的局限性和因果公平的常见数学观念的潜在不利后果。

当代理偏好未知的先验时，我们研究了在共享资源的稀缺时决策的问题问题，并且必须从数据中学到。将双面匹配市场作为一个跑步的例子，我们专注于分散的环境，代理商不会与中央权威分享他们的学习偏好。我们的方法基于再生内核希尔伯特空间中的偏好的表示，以及偏好的学习算法，其由于市场代理商之间的竞争而占不确定性的偏好。在规律性条件下，我们表明我们的偏好估算器以极少的最佳速率收敛。考虑到这一结果，我们推出了最佳策略，最大化代理商的预期收益，我们通过考虑机会成本来校准不确定的状态。我们还获得了激励兼容性属性，并表明学习策略的结果具有稳定性。最后，我们证明了一个公平性质，称赞根据学到的策略存在没有合理的嫉妒。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

这项研究研究了在美国国税局（IRS）为税收审计选择的系统中，算法公平性问题。尽管算法公平的领域主要围绕着像个人一样对待的概念发展，但我们却探索了垂直平等的概念 - 适当地考虑到个人之间的相关差异 - 这在许多公共政策环境中都是公平性的核心组成部分。应用于美国个人所得税体系的设计，垂直权益与不同收入水平的纳税人之间的税收和执法负担的公平分配有关。通过与财政部和国税局的独特合作，我们使用匿名个人纳税人微型数据，风险选择的审计以及2010 - 14年度的随机审计来研究税务管理的垂直平等。特别是，我们评估了现代机器学习方法选择审核的使用如何影响垂直权益。首先，我们展示了更灵活的机器学习（分类）方法（而不是简单的模型）如何将审计负担从高收入纳税人转移到中等收入纳税人。其次，我们表明，尽管现有的算法公平技术可以减轻跨收入的某些差异，但它们可能会造成巨大的绩效成本。第三，我们表明，是否将低报告的风险视为分类或回归问题的选择是高度的。从分类转变为回归模型，以预测不足的审计转变会大大向高收入个人转移，同时增加收入。最后，我们探讨了差异审计成本在塑造审计分配中的作用。我们表明，对回报的狭窄关注会破坏垂直权益。我们的结果对整个公共部门的算法工具的设计具有影响。

实际上，决策算法通常经过表现出各种偏见的数据培训。决策者通常旨在根据假定或期望公正的基础真相目标做出决策，即同样分布在社会显着的群体中。在许多实际设置中，无法直接观察到地面真相，相反，我们必须依靠数据中的地面真相（即偏置标签）的有偏见的代理度量。此外，通常会选择性地标记数据，即，即使是有偏见的标签，也仅对获得积极决策的数据的一小部分观察到。为了克服标签和选择偏见，最近的工作提议学习随机性，通过i）在每个时间步长的在线培训新政策，ii）执行公平性作为绩效的限制。但是，现有方法仅使用标记的数据，忽略了大量未标记的数据，因此在不同时间学到的决策策略的不稳定性和差异很大。在本文中，我们提出了一种基于实用公平决策的各种自动编码器的新方法。我们的方法学习了一个无偏的数据表示，利用标记和未标记的数据，并使用表示形式在在线过程中学习策略。使用合成数据，我们从经验上验证我们的方法根据差异较低的地面真相会收敛到最佳（公平）策略。在现实世界实验中，我们进一步表明，我们的培训方法不仅提供了更稳定的学习过程，而且还产生了比以前的方法更高的公平性和效用的政策。

Algorithms are now regularly used to decide whether defendants awaiting trial are too dangerous to be released back into the community. In some cases, black defendants are substantially more likely than white defendants to be incorrectly classi ed as high risk. To mitigate such disparities, several techniques have recently been proposed to achieve algorithmic fairness. Here we reformulate algorithmic fairness as constrained optimization: the objective is to maximize public safety while satisfying formal fairness constraints designed to reduce racial disparities. We show that for several past de nitions of fairness, the optimal algorithms that result require detaining defendants above race-speci c risk thresholds. We further show that the optimal unconstrained algorithm requires applying a single, uniform threshold to all defendants. e unconstrained algorithm thus maximizes public safety while also satisfying one important understanding of equality: that all individuals are held to the same standard, irrespective of race. Because the optimal constrained and unconstrained algorithms generally di er, there is tension between improving public safety and satisfying prevailing notions of algorithmic fairness. By examining data from Broward County, Florida, we show that this trade-o can be large in practice. We focus on algorithms for pretrial release decisions, but the principles we discuss apply to other domains, and also to human decision makers carrying out structured decision rules.

通常，公平的机器学习研究集中在一个决策者上，并假设潜在的人口是静止的。但是，许多激励这项工作的关键领域的特征是与许多决策者的竞争市场。实际上，我们可能只期望其中的一部分采用任何非强制性公平意识的政策，这一情况是政治哲学家称之为部分合规性的情况。这种可能性提出了重要的问题：部分合规设置中决策主体的战略行为如何影响分配结果？如果K％的雇主要自愿采取公平性的干预措施，我们是否应该期望K％的进步（总计）对普遍采用的利益，或者部分合规性的动态是否会消除希望的好处？采用全球（与本地）观点会如何影响审计师的结论？在本文中，我们提出了一个简单的就业市场模型，利用模拟作为探索互动效应和激励效果对结果和审计指标的影响的工具。我们的主要发现是，在平衡下：（1）部分合规性（k％的雇主）可能导致远远远远远小于比例（k％）在全部合规性结果方面的进展； （2）当公平的雇主与全球（与本地）统计数据相匹配时，差距更为严重； （3）本地与全球统计数据的选择可以绘制符合规定与不符合雇主的公平性的表现的不同图片； （4）部分遵守当地均等措施可以引起极端的隔离。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

We study critical systems that allocate scarce resources to satisfy basic needs, such as homeless services that provide housing. These systems often support communities disproportionately affected by systemic racial, gender, or other injustices, so it is crucial to design these systems with fairness considerations in mind. To address this problem, we propose a framework for evaluating fairness in contextual resource allocation systems that is inspired by fairness metrics in machine learning. This framework can be applied to evaluate the fairness properties of a historical policy, as well as to impose constraints in the design of new (counterfactual) allocation policies. Our work culminates with a set of incompatibility results that investigate the interplay between the different fairness metrics we propose. Notably, we demonstrate that: 1) fairness in allocation and fairness in outcomes are usually incompatible; 2) policies that prioritize based on a vulnerability score will usually result in unequal outcomes across groups, even if the score is perfectly calibrated; 3) policies using contextual information beyond what is needed to characterize baseline risk and treatment effects can be fairer in their outcomes than those using just baseline risk and treatment effects; and 4) policies using group status in addition to baseline risk and treatment effects are as fair as possible given all available information. Our framework can help guide the discussion among stakeholders in deciding which fairness metrics to impose when allocating scarce resources.

We study fairness in classification, where individuals are classified, e.g., admitted to a university, and the goal is to prevent discrimination against individuals based on their membership in some group, while maintaining utility for the classifier (the university). The main conceptual contribution of this paper is a framework for fair classification comprising (1) a (hypothetical) task-specific metric for determining the degree to which individuals are similar with respect to the classification task at hand; (2) an algorithm for maximizing utility subject to the fairness constraint, that similar individuals are treated similarly. We also present an adaptation of our approach to achieve the complementary goal of "fair affirmative action," which guarantees statistical parity (i.e., the demographics of the set of individuals receiving any classification are the same as the demographics of the underlying population), while treating similar individuals as similarly as possible. Finally, we discuss the relationship of fairness to privacy: when fairness implies privacy, and how tools developed in the context of differential privacy may be applied to fairness.

我们研究了一个决策者的问题，即当面对参与决策（随机）取决于他们获得的激励措施的代理商时，发现最佳的货币激励计划。我们的重点是限制的政策，以实现两种公平性能，这些公平性能排除了不同的代理人平均经历不同治疗的结果。我们将问题提出为高维的随机优化问题，并通过使用紧密相关的确定性变体进行研究。我们表明，该确定性变体的最佳静态解决方案对于在公平性约束下的动态问题均非最佳。尽管解决最佳静态解决方案会引起非凸优化问题，但我们发现了一个结构性属性，该属性使我们能够设计一种可拖延，快速的启发式策略。利益相关者保留的传统计划忽略公平限制；确实，这些目的是利用差异化激励与系统的反复互动。我们的工作（i）表明，即使没有明确的歧视，动态政策也可能通过改变系统的类型组成而无意间歧视不同类型的药物，并且（ii）提出了渐近的最佳政策，以避免这种歧视性局势。

公民的大会需要根据普通人口的比例代表贫民区。这些大型委员会通常通过联系人员以在线方式构建，要求志愿者的人口特征，并决定包括它们。这在联系的人数（以及产生的成本）和委员会的代表性之间提出了权衡。我们在理论上和实验上研究了三种方法：一种贪婪的算法，包括志愿者，只要违反比例;假设志愿者池中的关节特征分布是众所周知的，一种非自适应方法，包括根据其特征的特征而具有概率。当这种分布不知道先验时，基于加强学习的方法，但在线学习。

作为一种预测模型的评分系统具有可解释性和透明度的显着优势，并有助于快速决策。因此，评分系统已广泛用于各种行业，如医疗保健和刑事司法。然而，这些模型中的公平问题长期以来一直受到批评，并且使用大数据和机器学习算法在评分系统的构建中提高了这个问题。在本文中，我们提出了一般框架来创建公平知识，数据驱动评分系统。首先，我们开发一个社会福利功能，融入了效率和群体公平。然后，我们将社会福利最大化问题转换为机器学习中的风险最小化任务，并在混合整数编程的帮助下导出了公平感知评分系统。最后，导出了几种理论界限用于提供参数选择建议。我们拟议的框架提供了适当的解决方案，以解决进程中的分组公平问题。它使政策制定者能够设置和定制其所需的公平要求以及其他特定于应用程序的约束。我们用几个经验数据集测试所提出的算法。实验证据支持拟议的评分制度在实现利益攸关方的最佳福利以及平衡可解释性，公平性和效率的需求方面的有效性。

事实证明，在非洲等发展中的小额信贷可以显着改善当地经济。但是，发展领域的许多申请人无法提供金融机构要求做出贷款决定所需的足够信息。结果，小额信贷机构要根据常规政策正确分配信贷是一个挑战。在本文中，我们将小额信贷的决策制定为涉及学习和控制的严格优化框架。我们提出了一种算法来探索和学习批准或拒绝申请人的最佳政策。我们提供了保证算法融合到最佳算法的条件。拟议的算法自然可以处理丢失的信息和系统折衷的多个目标，例如利润最大化，金融包容性，社会利益和经济发展。通过对真实和合成小额信贷数据集进行广泛的模拟，我们表明我们提出的算法优于现有基准。据我们所知，本文是第一个在小额信贷和控制和使用控制理论工具之间建立连接的文章，以通过可证明的保证优化策略。

Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school. * Equal contribution. This work was done while JL was a Research Fellow at the Alan Turing Institute. 2 https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-dataand-civil-rights 31st Conference on Neural Information Processing Systems (NIPS 2017),