网络修剪是一种广泛使用的压缩技术，能够以最小的准确性损失显着缩小过度参数化模型。本文表明，修剪可能会产生或加剧不同的影响。该论文阐明了导致这种差异的因素，表明梯度规范的差异以及跨组的决策边界的距离造成了这一关键问题。它详细分析了这些因素，提供了理论和经验支持，并提出了一种简单而有效的解决方案，可以减轻修剪造成的不同影响。

差异隐私（DP）是私人机器学习系统的重要隐私技术。它允许衡量与个人参与计算相关的风险。但是，最近观察到，DP学习系统可能会加剧不同群体的偏见和不公平性。本文以这些重要的观察为基础，并阐明了在差异私人经验风险最小化问题中产生的不同影响的原因。它着重于两种经过深入研究的DP学习方法中个人组之间产生的准确性差异：输出扰动和差异私有随机梯度下降。本文分析了哪些数据和模型属性负责不成比例的影响，为什么这些方面影响不同的群体不成比例，并提出了减轻这些影响的指南。提出的方法在几个数据集和设置上进行评估。

本文调查了差异隐私（DP）与公平性交集中的最新工作。它审查了隐私和公平性可能使目标对准或对比目标的条件，分析了DP如何以及为什么在决策问题和学习任务中加剧偏见和不公平性，并描述了DP系统中出现的公平问题的可用缓解措施。该调查提供了对在公平镜头下部署隐私制度学习或决策任务时，对主要挑战和潜在风险的统一理解。

随着机器学习在整个社会中变得越来越普遍，必须仔细考虑包括数据隐私和公平性在内的各个方面，对于高度监管的行业的部署至关重要。不幸的是，增强隐私技术的应用可能会使模型中的不公平趋势恶化。尤其是用于私人模型训练，私人随机梯度下降（DPSGD）的最广泛使用的技术之一，通常会加剧对数据中的组的不同影响。在这项工作中，我们研究了DPSGD中不公平性的细粒度原因，并确定由于不公平的梯度剪辑而导致的梯度未对准是最重要的来源。该观察结果使我们采取了一种新的方法，可以通过防止DPSGD中的梯度未对准来减少不公平。

深度神经网络近似高度复杂功能的能力是其成功的关键。但是，这种好处是以巨大的模型大小为代价的，这挑战了其在资源受限环境中的部署。修剪是一种用于限制此问题的有效技术，但通常以降低准确性和对抗性鲁棒性为代价。本文解决了这些缺点，并引入了Deadwooding，这是一种新型的全球修剪技术，它利用了Lagrangian双重方法来鼓励模型稀疏性，同时保持准确性并确保鲁棒性。所得模型显示出在鲁棒性和准确性度量方面的最先进研究大大优于最先进的模型。

现有的修剪技术保留了深层神经网络的整体能力，可以做出正确的预测，但在压缩过程中也可能会扩大隐藏的偏见。我们提出了一种新颖的修剪方法，即公平意识的梯度修剪法（Fairgrape），可最大程度地减少修剪对不同子组的不成比例的影响。我们的方法计算了每个模型权重的范围重要性，并选择了一部分权重，以维持相对组间的修剪中的总重要性。然后，提出的方法将具有较小重要性值的修剪网络边缘，并通过更新重要性值来重复该过程。我们在四个不同的数据集（Fairface，utkface，celeba和Imagenet）上演示了方法的有效性，用于面部属性分类的任务，其中我们的方法将性能降解的差异降低了90％，高达90％ - 阿尔特修剪算法。我们的方法在较高的修剪率（99％）的环境中更有效。实验中使用的代码和数据集可在https://github.com/bernardo1998/fairgrape上获得

尽管算法公平最近取得了进步，但通过广义线性模型（GLM）实现公平性的方法论，尽管GLM在实践中广泛使用，但尚待探索。在本文中，我们基于预期的结果或对数类似物的均衡介绍了两个公平标准。我们证明，对于GLMS，这两个标准都可以通过基于GLM的线性组件的凸惩罚项来实现，从而允许有效优化。我们还得出了由此产生的公平GLM估计器的理论特性。为了从经验上证明所提出的公平GLM的功效，我们将其与其他众所周知的公平预测方法进行了比较，以用于二进制分类和回归的广泛基准数据集。此外，我们证明了公平的GLM可以为二进制和连续结果以外的一系列响应变量产生公平的预测。

文献中已经提出了各种公平限制，以减轻小组级统计偏见。它们的影响已在很大程度上评估了与一组敏感属性（例如种族或性别）相对应的不同人群。尽管如此，社区尚未观察到足够的探索，以实例限制公平的限制。基于影响功能的概念，该措施表征了训练示例对目标模型及其预测性能的影响，这项工作研究了施加公平性约束时训练示例的影响。我们发现，在某些假设下，关于公平限制的影响功能可以分解为训练示例的内核组合。提出的公平影响功能的一种有希望的应用是确定可疑的训练示例，这些训练示例可能通过对其影响得分进行排名来导致模型歧视。我们通过广泛的实验证明，对一部分重量数据示例进行培训会导致违反公平性的侵犯，而准确性的权衡。

深度神经网络已经证明非常成功，实现了各种任务的人类表现。然而，它们也是昂贵的昂贵，这激发了模型压缩技术的发展，这减少了与深度学习模型相关的资源消耗。然而，最近的研究表明，模型压缩可以对算法公平具有不利影响，在机器学习模型中放大现有偏差。通过该项目，我们的目标是将这些研究扩展到面部表情识别的背景下。为此，我们设置了一个神经网络分类器，以执行面部表情识别，并在其顶部实现多种模型压缩技术。然后，我们在两个面部表情数据集上运行实验，即扩展的Cohn-Kanade数据集（CK + DB）和真实世界的情感面（RAF-DB），以检查压缩技术对模型的个体和组合效果大小，准确性和公平性。我们的实验结果表明：（i）压缩和量化在模型尺寸下降显着降低，对CK + DB和RAF-DB的整体精度的影响最小; （ii）在模型精度方面，与CK + DB相比，RAF-DB培训和测试的分类器似乎更加稳健; （iii）对于RAF-DB，不同的压缩策略似乎并不似乎增加了性别，种族和年龄敏感属性的预测性能的差距，这与CK + DB的结果相比，压缩似乎放大性别的现有偏见。我们分析结果并讨论了我们的研究结果的潜在原因。

商业和政府部门中自动面部识别的扩散引起了个人的严重隐私问题。解决这些隐私问题的一种方法是采用逃避攻击针对启动面部识别系统的度量嵌入网络的攻击：面部混淆系统会产生不透彻的扰动图像，从而导致面部识别系统误解用户。受扰动的面孔是在公制嵌入网络上产生的，在面部识别的背景下，这是不公平的。人口公平的问题自然而然：面部混淆系统表现是否存在人口统计学差异？我们通过对最近的面部混淆系统的分析和经验探索来回答这个问题。指标嵌入网络在人口统计学上很有意识：面部嵌入由人口统计组群聚集。我们展示了这种聚类行为如何导致少数群体面孔的面部混淆实用性减少。直观的分析模型可以深入了解这些现象。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

学习 - 排名问题旨在排名，以最大限度地曝光与用户查询相关的那些。这种排名系统的理想特性是保证指定项目组之间的一些公平概念。虽然最近在学习排名系统的背景下审议了公平性，但目前的方法无法提供拟议的排名政策的公平性的担保。本文解决了这一差距，并介绍了智能预测，并优化了公平排名（SPOFR），综合优化和学习框架，以便进行公平受限学习。端到端的SPOFR框架包括受约束的优化子模型，并产生保证的排名策略，以满足公平限制，同时允许对公平实用权概况进行精细控制。SPOFR显示出在既定的性能指标方面显着提高当前最先进的公平学习系统。

机器学习模型在高赌注应用中变得普遍存在。尽管在绩效方面有明显的效益，但该模型可以表现出对少数民族群体的偏见，并导致决策过程中的公平问题，导致对个人和社会的严重负面影响。近年来，已经开发了各种技术来减轻机器学习模型的偏差。其中，加工方法已经增加了社区的关注，在模型设计期间直接考虑公平，以诱导本质上公平的模型，从根本上减轻了产出和陈述中的公平问题。在本调查中，我们审查了加工偏置减缓技术的当前进展。基于在模型中实现公平的地方，我们将它们分类为明确和隐性的方法，前者直接在培训目标中纳入公平度量，后者重点介绍精炼潜在代表学习。最后，我们在讨论该社区中的研究挑战来讨论调查，以激励未来的探索。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。

Machine learning models (e.g., speech recognizers) are usually trained to minimize average loss, which results in representation disparityminority groups (e.g., non-native speakers) contribute less to the training objective and thus tend to suffer higher loss. Worse, as model accuracy affects user retention, a minority group can shrink over time. In this paper, we first show that the status quo of empirical risk minimization (ERM) amplifies representation disparity over time, which can even make initially fair models unfair. To mitigate this, we develop an approach based on distributionally robust optimization (DRO), which minimizes the worst case risk over all distributions close to the empirical distribution. We prove that this approach controls the risk of the minority group at each time step, in the spirit of Rawlsian distributive justice, while remaining oblivious to the identity of the groups. We demonstrate that DRO prevents disparity amplification on examples where ERM fails, and show improvements in minority group user satisfaction in a real-world text autocomplete task.

We introduce a tunable loss function called $\alpha$-loss, parameterized by $\alpha \in (0,\infty]$, which interpolates between the exponential loss ($\alpha = 1/2$), the log-loss ($\alpha = 1$), and the 0-1 loss ($\alpha = \infty$), for the machine learning setting of classification. Theoretically, we illustrate a fundamental connection between $\alpha$-loss and Arimoto conditional entropy, verify the classification-calibration of $\alpha$-loss in order to demonstrate asymptotic optimality via Rademacher complexity generalization techniques, and build-upon a notion called strictly local quasi-convexity in order to quantitatively characterize the optimization landscape of $\alpha$-loss. Practically, we perform class imbalance, robustness, and classification experiments on benchmark image datasets using convolutional-neural-networks. Our main practical conclusion is that certain tasks may benefit from tuning $\alpha$-loss away from log-loss ($\alpha = 1$), and to this end we provide simple heuristics for the practitioner. In particular, navigating the $\alpha$ hyperparameter can readily provide superior model robustness to label flips ($\alpha > 1$) and sensitivity to imbalanced classes ($\alpha < 1$).

In consequential decision-making applications, mitigating unwanted biases in machine learning models that yield systematic disadvantage to members of groups delineated by sensitive attributes such as race and gender is one key intervention to strive for equity. Focusing on demographic parity and equality of opportunity, in this paper we propose an algorithm that improves the fairness of a pre-trained classifier by simply dropping carefully selected training data points. We select instances based on their influence on the fairness metric of interest, computed using an infinitesimal jackknife-based approach. The dropping of training points is done in principle, but in practice does not require the model to be refit. Crucially, we find that such an intervention does not substantially reduce the predictive performance of the model but drastically improves the fairness metric. Through careful experiments, we evaluate the effectiveness of the proposed approach on diverse tasks and find that it consistently improves upon existing alternatives.

应用标准机器学习方法可以在不同的人口组中产生不等的结果。当在现实世界中使用时，这些不公平可能会产生负面影响。这激发了近年来通过机器学习模型公平分类的各种方法的发展。在本文中，我们考虑修改黑箱机器学习分类器的预测的问题，以便在多种多组设置中实现公平性。为实现这一目标，我们在Hardt等人中扩展了“后处理”方法。 2016年，侧重于二进制分类的公平，以实现公平的多种式分类。我们探讨我们的方法通过系统合成实验产生公平和准确的预测，并在几个公开的现实世界应用数据集中评估歧视 - 公平权衡。我们发现整体而言，当数据集中的个体的数量相对于类和受保护组的数量很高时，我们的方法可以精确地产生轻微的滴度并强制执行公平性。

While it has long been empirically observed that adversarial robustness may be at odds with standard accuracy and may have further disparate impacts on different classes, it remains an open question to what extent such observations hold and how the class imbalance plays a role within. In this paper, we attempt to understand this question of accuracy disparity by taking a closer look at linear classifiers under a Gaussian mixture model. We decompose the impact of adversarial robustness into two parts: an inherent effect that will degrade the standard accuracy on all classes, and the other caused by the class imbalance ratio, which will increase the accuracy disparity compared to standard training. Furthermore, we also extend our model to the general family of stable distributions. We demonstrate that while the constraint of adversarial robustness consistently degrades the standard accuracy in the balanced class setting, the class imbalance ratio plays a fundamentally different role in accuracy disparity compared to the Gaussian case, due to the heavy tail of the stable distribution. We additionally perform experiments on both synthetic and real-world datasets. The empirical results not only corroborate our theoretical findings, but also suggest that the implications may extend to nonlinear models over real-world datasets.

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。