实际和公平地建模机器学习中型群体差距的动态仍然是一个公开问题。特别是，我们渴望不假设人工群体之间固有的差异的模型 - 而是通过上诉对绝大群体的不平等初始条件的吸引力来实现差异。在本文中，每个代理商都有一个真实值的特征$ x $（例如，信用评分），通过“真实”二进制标签$ Y $代表资格（例如，贷款）。每个代理商交替（1）从贝贝斯 - 最佳机器学习分类器中接收二进制分类标签$ \ hat {y} $（例如，贷款批准）观察$ x $和（2）可以通过模仿成功更新他们的资格资格$ y $在孤立的群体中，策略（例如，寻求提升）他们所属的代理商。我们考虑在不同群体之间的资格率$ \ pr（y = 1）$之间的差异以及这种差异变化如何受到一系列贝叶斯 - 最佳分类器，在全球人口上反复培训。我们使用复制器方程来模拟每个亚父舒膏（组）的演变资格率，它来自一类模仿过程。我们表明，由于均匀的分类器部署，亚步骤之间的资格率之间的差异可能持续到一组非琐碎的均衡状态，即使在除初始资格密度除外的各个方面，群体在所有方面相同。我们接下来模拟常见的公平干预措施对该动态系统的效果以及能够永久消除群级资格差距的新反馈控制机制。我们通过讨论模型和调查结果的局限性以及概述潜在的未来工作来结束。

Given an algorithmic predictor that is "fair" on some source distribution, will it still be fair on an unknown target distribution that differs from the source within some bound? In this paper, we study the transferability of statistical group fairness for machine learning predictors (i.e., classifiers or regressors) subject to bounded distribution shifts. Such shifts may be introduced by initial training data uncertainties, user adaptation to a deployed predictor, dynamic environments, or the use of pre-trained models in new settings. Herein, we develop a bound that characterizes such transferability, flagging potentially inappropriate deployments of machine learning for socially consequential tasks. We first develop a framework for bounding violations of statistical fairness subject to distribution shift, formulating a generic upper bound for transferred fairness violations as our primary result. We then develop bounds for specific worked examples, focusing on two commonly used fairness definitions (i.e., demographic parity and equalized odds) and two classes of distribution shift (i.e., covariate shift and label shift). Finally, we compare our theoretical bounds to deterministic models of distribution shift and against real-world data, finding that we are able to estimate fairness violation bounds in practice, even when simplifying assumptions are only approximately satisfied.

最近的工作突出了因果关系在设计公平决策算法中的作用。但是，尚不清楚现有的公平因果概念如何相互关系，或者将这些定义作为设计原则的后果是什么。在这里，我们首先将算法公平性的流行因果定义组装成两个广泛的家庭：（1）那些限制决策对反事实差异的影响的家庭； （2）那些限制了法律保护特征（如种族和性别）对决策的影响。然后，我们在分析和经验上表明，两个定义的家庭\ emph {几乎总是总是} - 从一种理论意义上讲 - 导致帕累托占主导地位的决策政策，这意味着每个利益相关者都有一个偏爱的替代性，不受限制的政策从大型自然级别中绘制。例如，在大学录取决定的情况下，每位利益相关者都不支持任何对学术准备和多样性的中立或积极偏好的利益相关者，将不利于因果公平定义的政策。的确，在因果公平的明显定义下，我们证明了由此产生的政策要求承认所有具有相同概率的学生，无论学术资格或小组成员身份如何。我们的结果突出了正式的局限性和因果公平的常见数学观念的潜在不利后果。

Decision makers often aim to learn a treatment assignment policy under a capacity constraint on the number of agents that they can treat. When agents can respond strategically to such policies, competition arises, complicating the estimation of the effect of the policy. In this paper, we study capacity-constrained treatment assignment in the presence of such interference. We consider a dynamic model where the decision maker allocates treatments at each time step and heterogeneous agents myopically best respond to the previous treatment assignment policy. When the number of agents is large but finite, we show that the threshold for receiving treatment under a given policy converges to the policy's mean-field equilibrium threshold. Based on this result, we develop a consistent estimator for the policy effect. In simulations and a semi-synthetic experiment with data from the National Education Longitudinal Study of 1988, we demonstrate that this estimator can be used for learning capacity-constrained policies in the presence of strategic behavior.

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

The most prevalent notions of fairness in machine learning are statistical definitions: they fix a small collection of high-level, pre-defined groups (such as race or gender), and then ask for approximate parity of some statistic of the classifier (like positive classification rate or false positive rate) across these groups. Constraints of this form are susceptible to (intentional or inadvertent) fairness gerrymandering, in which a classifier appears to be fair on each individual group, but badly violates the fairness constraint on one or more structured subgroups defined over the protected attributes (such as certain combinations of protected attribute values). We propose instead to demand statistical notions of fairness across exponentially (or infinitely) many subgroups, defined by a structured class of functions over the protected attributes. This interpolates between statistical definitions of fairness, and recently proposed individual notions of fairness, but it raises several computational challenges. It is no longer clear how to even check or audit a fixed classifier to see if it satisfies such a strong definition of fairness. We prove that the computational problem of auditing subgroup fairness for both equality of false positive rates and statistical parity is equivalent to the problem of weak agnostic learning -which means it is computationally hard in the worst case, even for simple structured subclasses. However, it also suggests that common heuristics for learning can be applied to successfully solve the auditing problem in practice.We then derive two algorithms that provably converge to the best fair distribution over classifiers in a given class, given access to oracles which can optimally solve the agnostic learning problem. The algorithms are based on a formulation of subgroup fairness as a two-player zero-sum game between a Learner (the primal player) and an Auditor (the dual player). Both algorithms compute an equilibrium of this game. We obtain our first algorithm by simulating play of the game by having Learner play an instance of the no-regret Follow the Perturbed Leader algorithm, and having Auditor play best response. This algorithm provably converges to an approximate Nash equilibrium (and thus to an approximately optimal subgroup-fair distribution over classifiers) in a polynomial number of steps. We obtain our second algorithm by simulating play of the game by having both players play Fictitious Play, which enjoys only provably asymptotic convergence, but has the merit of simplicity and faster per-step computation. We implement the Fictitious Play version using linear regression as a heuristic oracle, and show that we can effectively both audit and learn fair classifiers on real datasets.

最近的研究表明，看似公平的机器学习模型在为对人们的生活或福祉产生影响的决策提供信息（例如，涉及教育，就业和贷款的申请）可能会在长期内无意中增加社会不平等。这是因为先前的公平意识算法仅考虑静态公平限制，例如机会均等或人口统计奇偶。但是，强制执行这种类型的限制可能会导致模型对处境不利的个人和社区产生负面影响。我们介绍ELF（执行长期公平性），这是第一个分类算法，可提供高信任公平保证，以长期或延迟影响。我们证明，ELF返回不公平解决方案的概率小于用户指定的公差，并且（在轻度假设下），如果有足够的培训数据，ELF能够找到并返回公平的解决方案，如果存在一个公平的解决方案。我们通过实验表明，我们的算法可以成功缓解长期不公平。

我们研究了一个决策者的问题，即当面对参与决策（随机）取决于他们获得的激励措施的代理商时，发现最佳的货币激励计划。我们的重点是限制的政策，以实现两种公平性能，这些公平性能排除了不同的代理人平均经历不同治疗的结果。我们将问题提出为高维的随机优化问题，并通过使用紧密相关的确定性变体进行研究。我们表明，该确定性变体的最佳静态解决方案对于在公平性约束下的动态问题均非最佳。尽管解决最佳静态解决方案会引起非凸优化问题，但我们发现了一个结构性属性，该属性使我们能够设计一种可拖延，快速的启发式策略。利益相关者保留的传统计划忽略公平限制；确实，这些目的是利用差异化激励与系统的反复互动。我们的工作（i）表明，即使没有明确的歧视，动态政策也可能通过改变系统的类型组成而无意间歧视不同类型的药物，并且（ii）提出了渐近的最佳政策，以避免这种歧视性局势。

经验和实验证据表明，人工智能算法学会收取超竞争价格。在本文中，我们开发了一种理论模型来通过自适应学习算法研究勾结。使用流体近似技术，我们表征了一般游戏的连续时间学习成果，并确定勾结的主要驱动力：协调偏见。在一个简单的主导策略游戏中，我们展示了算法估计之间的相关性如何导致持续的偏见，从长远来看持续犯罪行动。我们证明，使用反事实收益来告知其更新的算法避免了这种偏见并融合了主导策略。我们设计了一种带有反馈的机制：设计师揭示了事前信息以帮助反事实计算。我们表明，这种机制实现了社会最佳。最后，我们将我们的框架应用于文献中研究和拍卖的两个模拟，并分析结果合理化。

We propose a criterion for discrimination against a specified sensitive attribute in supervised learning, where the goal is to predict some target based on available features. Assuming data about the predictor, target, and membership in the protected group are available, we show how to optimally adjust any learned predictor so as to remove discrimination according to our definition. Our framework also improves incentives by shifting the cost of poor classification from disadvantaged groups to the decision maker, who can respond by improving the classification accuracy.In line with other studies, our notion is oblivious: it depends only on the joint statistics of the predictor, the target and the protected attribute, but not on interpretation of individual features. We study the inherent limits of defining and identifying biases based on such oblivious measures, outlining what can and cannot be inferred from different oblivious tests.We illustrate our notion using a case study of FICO credit scores.

在招聘，晋升和大学录取等选择过程中，众所周知，候选人的种族，性别或性取向等社会质量属性的隐性偏见会造成持久的不平等，并减少决策者的总效用。已经提出了诸如鲁尼规则及其概括之类的干预措施，这些干预措施要求决策者至少选择每个受影响组的指定数量的个体，以减轻隐性偏见在选择中的不利影响。最近的工作已经确定，在每个人最多属于一个受影响的群体的情况下，这种较低的约束对于改善总效用可能非常有效。但是，在某些情况下，个人可能属于多个受影响的群体，因此，由于这种交叉性，面临更大的隐含偏见。我们考虑独立绘制的实用程序，并表明在相交的情况下，上述非交流约束只能在没有隐性偏见的情况下恢复可实现的总效用的一部分。另一方面，我们表明，如果一个人在交叉点上包含适当的下限约束，那么在没有隐式偏见的情况下，几乎所有实用程序都可以恢复。因此，相交的约束可以比减少尺寸的非相互作用方法可提供显着优势，以减少不平等。

我们研究公平的机器学习（ML）设置，其中“上游”模型开发人员的任务是生产公平的ML模型，该模型将被几个类似但独特的“下游”用户使用。这种设置引入了新的挑战，这些挑战因许多现有的公平干预措施而尚未解决，这与现有的批评相呼应，即当前方法并非在现实世界公平的ML用例的多元化需求中广泛适用。为此，我们通过采用基于分配的公平分类视图来解决向上/下流设置。具体而言，我们引入了一种新的公平定义，分布奇偶校验，该定义衡量了跨受保护组的结果分布的差异，并提出了一种后处理方法，以使用最佳运输技术来最大程度地减少此措施。我们证明我们的方法能够为所有下游用户，跨各种公平定义创造更公平的成果，并在推理时间内在未标记的数据上工作。我们通过与几种类似方法和四个基准任务进行比较，通过比较实验验证了这一主张。最终，我们认为可以通过开发特定的干预措施来产生更公平的分类结果。

在影响金融，社会和政治福祉的域名中使用算法决策制定的系统已经为这些决策制定制度的需求产生了“公平”，在一些公平的公平概念下。这种需求反过来又激发了一个大型工作，专注于开发公平学习算法，然后用于代替其传统的对应物。对这些公平算法的大多数分析从假设受到算法决策影响的人数被表示为不可变特征向量。然而，战略代理人可能具有操纵该观察到的特征向量的能力和激励，以获得更有利的结果。我们探讨了战略代理行为可能在公平分类器和派生条件下的影响，因为这种行为导致公平分类者比其相同的公平衡量标准的传统同行变得不那么公平。这些条件与公平分类器对原始非管理数据不公平的方式有关：公平分类机构通过比传统对应物变得更加选择的选择性来解决不公平的分类机，这是当代理人是战略性时变得不如同行的那些。我们进一步证明了公平分类器的选择性增加，并因此丧失了公平性，在进行优势集团在决策边界（以及）决策边界附近的区域传统分类器。最后，我们在实验中观察，使用多个数据集和学习方法，这种公平逆转是常见的，并且我们对公平逆转条件的理论表征确实存在于大多数情况下。

通常，公平的机器学习研究集中在一个决策者上，并假设潜在的人口是静止的。但是，许多激励这项工作的关键领域的特征是与许多决策者的竞争市场。实际上，我们可能只期望其中的一部分采用任何非强制性公平意识的政策，这一情况是政治哲学家称之为部分合规性的情况。这种可能性提出了重要的问题：部分合规设置中决策主体的战略行为如何影响分配结果？如果K％的雇主要自愿采取公平性的干预措施，我们是否应该期望K％的进步（总计）对普遍采用的利益，或者部分合规性的动态是否会消除希望的好处？采用全球（与本地）观点会如何影响审计师的结论？在本文中，我们提出了一个简单的就业市场模型，利用模拟作为探索互动效应和激励效果对结果和审计指标的影响的工具。我们的主要发现是，在平衡下：（1）部分合规性（k％的雇主）可能导致远远远远远小于比例（k％）在全部合规性结果方面的进展； （2）当公平的雇主与全球（与本地）统计数据相匹配时，差距更为严重； （3）本地与全球统计数据的选择可以绘制符合规定与不符合雇主的公平性的表现的不同图片； （4）部分遵守当地均等措施可以引起极端的隔离。

We introduce a class of first-order methods for smooth constrained optimization that are based on an analogy to non-smooth dynamical systems. Two distinctive features of our approach are that (i) projections or optimizations over the entire feasible set are avoided, in stark contrast to projected gradient methods or the Frank-Wolfe method, and (ii) iterates are allowed to become infeasible, which differs from active set or feasible direction methods, where the descent motion stops as soon as a new constraint is encountered. The resulting algorithmic procedure is simple to implement even when constraints are nonlinear, and is suitable for large-scale constrained optimization problems in which the feasible set fails to have a simple structure. The key underlying idea is that constraints are expressed in terms of velocities instead of positions, which has the algorithmic consequence that optimizations over feasible sets at each iteration are replaced with optimizations over local, sparse convex approximations. In particular, this means that at each iteration only constraints that are violated are taken into account. The result is a simplified suite of algorithms and an expanded range of possible applications in machine learning.

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

在高赌注域中的机器学习工具的实际应用通常被调节为公平，因此预测目标应该满足相对于受保护属性的奇偶校验的一些定量概念。然而，公平性和准确性之间的确切权衡并不完全清楚，即使是对分类问题的基本范式也是如此。在本文中，我们通过在任何公平分类器的群体误差之和中提供较低的界限，在分类设置中表征统计奇偶校验和准确性之间的固有权衡。我们不可能的定理可以被解释为公平的某种不确定性原则：如果基本率不同，那么符合统计奇偶校验的任何公平分类器都必须在至少一个组中产生很大的错误。我们进一步扩展了这一结果，以便在学习公平陈述的角度下给出任何（大约）公平分类者的联合误差的下限。为了表明我们的下限是紧张的，假设Oracle访问贝叶斯（潜在不公平）分类器，我们还构造了一种返回一个随机分类器的算法，这是最佳和公平的。有趣的是，当受保护的属性可以采用超过两个值时，这个下限的扩展不承认分析解决方案。然而，在这种情况下，我们表明，通过解决线性程序，我们可以通过解决我们作为电视 - 重心问题的术语，电视距离的重心问题来有效地计算下限。在上面，我们证明，如果集团明智的贝叶斯最佳分类器是关闭的，那么学习公平的表示导致公平的替代概念，称为准确性奇偶校验，这使得错误率在组之间关闭。最后，我们还在现实世界数据集上进行实验，以确认我们的理论发现。

我们展示了如何采用回归函数$ \ hat {f} $，该{f} $适当地``多校准''并有效地将其后处理成近似错误的分类器，使分类器满足各种公平限制。后处理不需要标记的数据，只有一定数量的未标记数据和计算。计算$ \ hat f $的计算和样本复杂性要求与解决单个公平学习任务的要求相媲美，但实际上可以用来有效地解决许多不同的下游公平约束的学习问题。我们的后处理方法可以轻松处理相交组，从而将先前的工作推广到后处理回归功能上，以满足仅应用于分离组的公平约束。我们的工作扩展了最近的工作，表明多校准的回归函数是``omnipredictors''（即可以在后处理以最佳解决无约束的ERM问题）以进行约束优化。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。