在本文中，我们提出了一个新颖的解释性框架，旨在更好地理解面部识别模型作为基本数据特征的表现（受保护的属性：性别，种族，年龄；非保护属性：面部毛发，化妆品，配件，脸部，面部，面部，面部，面部，面部，它们被测试的变化的方向和阻塞，图像失真，情绪）。通过我们的框架，我们评估了十种最先进的面部识别模型，并在两个数据集上的安全性和可用性方面进行了比较，涉及基于性别和种族的六个小组。然后，我们分析图像特征对模型性能的影响。我们的结果表明，当考虑多归因组时，单属分析中出现的趋势消失或逆转，并且性能差异也与非保护属性有关。源代码：https：//cutt.ly/2xwrlia。

已显示现有的面部分析系统对某些人口统计亚组产生偏见的结果。由于其对社会的影响，因此必须确保这些系统不会根据个人的性别，身份或肤色歧视。这导致了在AI系统中识别和减轻偏差的研究。在本文中，我们封装了面部分析的偏置检测/估计和缓解算法。我们的主要贡献包括对拟议理解偏见的算法的系统审查，以及分类和广泛概述现有的偏置缓解算法。我们还讨论了偏见面部分析领域的开放挑战。

当前用于面部识别的模型（FR）中存在人口偏见。我们在野外（BFW）数据集中平衡的面孔是衡量种族和性别亚组偏见的代理，使一个人可以表征每个亚组的FR表现。当单个分数阈值确定样本对是真实还是冒名顶替者时，我们显示的结果是非最佳选择的。在亚组中，性能通常与全球平均水平有很大差异。因此，仅适用于与验证数据相匹配的人群的特定错误率。我们使用新的域适应性学习方案来减轻性能不平衡，以使用最先进的神经网络提取的面部特征。该技术平衡了性能，但也可以提高整体性能。该建议的好处是在面部特征中保留身份信息，同时减少其所包含的人口统计信息。人口统计学知识的去除阻止了潜在的未来偏见被注入决策。由于对个人的可用信息或推断，因此此删除可改善隐私。我们定性地探索这一点；我们还定量地表明，亚组分类器不再从提出的域适应方案的特征中学习。有关源代码和数据描述，请参见https://github.com/visionjo/facerec-bias-bfw。

媒体报道指责人们对“偏见”'，“”性别歧视“和”种族主义“的人士指责。研究文献中有共识，面部识别准确性为女性较低，妇女通常具有更高的假匹配率和更高的假非匹配率。然而，几乎没有出版的研究，旨在识别女性准确性较低的原因。例如，2019年的面部识别供应商测试将在广泛的算法和数据集中记录较低的女性准确性，并且数据集也列出了“分析原因和效果”在“我们没有做的东西”下''。我们介绍了第一个实验分析，以确定在去以前研究的数据集上对女性的较低人脸识别准确性的主要原因。在测试图像中控制相等的可见面部可见面积减轻了女性的表观更高的假非匹配率。其他分析表明，化妆平衡数据集进一步改善了女性以实现较低的虚假非匹配率。最后，聚类实验表明，两种不同女性的图像本质上比两种不同的男性更相似，潜在地占错误匹配速率的差异。

面部表现攻击检测（PAD）对于保护面部识别（FR）应用程序至关重要。 FR性能已被证明对某些人口统计学和非人口统计学组是不公平的。但是，面部垫的公平性是一个研究的问题，这主要是由于缺乏适当的注释数据。为了解决此问题，这项工作首先通过组合几个知名的PAD数据集，在其中提供了七个人类宣传的属性标签，从而提出了一个组合的注释数据集（CAAD-PAD）。然后，这项工作通过研究我们的CAAD-Pad上的四个面部垫方法，全面分析了一组面垫的公平及其与培训数据的性质和操作决策阈值分配（ODTA）的关系。同时代表垫子的公平性和绝对垫性能，我们引入了一种新颖的指标，即准确性平衡公平（ABF）。关于CAAD-PAD的广泛实验表明，训练数据和ODTA会引起性别，遮挡和其他属性组的不公平性。基于这些分析，我们提出了一种数据增强方法Fairswap，该方法旨在破坏身份/语义信息和指南模型以挖掘攻击线索而不是与属性相关的信息。详细的实验结果表明，Fairswap通常可以提高垫子性能和面部垫的公平性。

Recent studies demonstrate that machine learning algorithms can discriminate based on classes like race and gender. In this work, we present an approach to evaluate bias present in automated facial analysis algorithms and datasets with respect to phenotypic subgroups. Using the dermatologist approved Fitzpatrick Skin Type classification system, we characterize the gender and skin type distribution of two facial analysis benchmarks, IJB-A and Adience. We find that these datasets are overwhelmingly composed of lighter-skinned subjects (79.6% for IJB-A and 86.2% for Adience) and introduce a new facial analysis dataset which is balanced by gender and skin type. We evaluate 3 commercial gender classification systems using our dataset and show that darker-skinned females are the most misclassified group (with error rates of up to 34.7%). The maximum error rate for lighter-skinned males is 0.8%. The substantial disparities in the accuracy of classifying darker females, lighter females, darker males, and lighter males in gender classification systems require urgent attention if commercial companies are to build genuinely fair, transparent and accountable facial analysis algorithms.

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

数据和算法中固有的偏见使得基于广泛的机器学习（ML）的决策系统的公平性不如最佳。为了提高此类ML决策系统的信任性，至关重要的是要意识到这些解决方案中的固有偏见并使它们对公众和开发商更加透明。在这项工作中，我们旨在提供一组解释性工具，以分析处理不同人口组时面部识别模型行为的差异。我们通过利用基于激活图的高阶统计信息来构建解释性工具来做到这一点，以将FR模型的行为差异与某些面部区域联系起来。与参考组相比，在两个数据集和两个面部识别模型上的实验结果指出了FR模型对某些人口组的反应不同。这些分析的结果有趣地与分析人体测量学差异和人类判断差异的研究结果非常相吻合。因此，这是第一项专门解释不同人口组上FR模型的偏见行为并将其直接链接到空间面部特征的研究。该代码在这里公开可用。

是的 - 这项研究研究了普通位置的损失图像压缩对受试者的种族特征的面部识别算法的影响。我们采用了最近提出的基于种族表型的偏见分析方法，以衡量种族表型类别中不同损失压缩水平的影响。此外，我们确定了色度补充采样和与种族相关的表型之间的关系，以识别表现。先前的工作调查了损失的JPEG压缩算法对当代面部识别性能的影响。但是，这种影响与不同种族相关的截面组以及这种影响的原因存在差距。通过广泛的实验设置，我们证明了常见的损失图像压缩方法对特定种族表型类别（例如较深的肤色（最高34.55 \％））的面部识别性能具有更明显的负面影响。此外，在压缩过程中除去色度补充采样可提高所有受压缩影响的表型类别的错误匹配率（高达15.95 \％），包括较深的肤色，宽阔的鼻子，大嘴唇，大嘴唇和单层眼类别。此外，我们概述了可能归因于这种现象的基本原因的特征，例如JPEG等有损压缩算法。

广泛认为，面部识别准确性存在“性别差距”，女性具有较高的错误匹配和错误的非匹配率。但是，关于这种性别差距的原因，相对较少了解。甚至最近有关人口影响的NIST报告也列出了“我们没有做的事情”下的“分析因果”。我们首先证明女性和男性发型具有影响面部识别准确性的重要差异。特别是，与女性相比，男性面部毛发有助于在不同男性面孔之间产生更大的外观平均差异。然后，我们证明，当用来估计识别精度的数据在性别之间保持平衡，以使发型如何阻塞面部时，最初观察到的性别差距在准确性上大大消失。我们为两个不同的匹配者展示了这一结果，并分析了白种人和非裔美国人的图像。这些结果表明，对准确性的人口统计学差异的未来研究应包括检查测试数据的平衡质量，作为问题制定的一部分。为了促进可重复的研究，将公开使用此研究中使用的匹配项，属性分类器和数据集。

计算机视觉（CV）取得了显着的结果，在几个任务中表现优于人类。尽管如此，如果不正确处理，可能会导致重大歧视，因为CV系统高度依赖于他们所用的数据，并且可以在此类数据中学习和扩大偏见。因此，理解和发现偏见的问题至关重要。但是，没有关于视觉数据集中偏见的全面调查。因此，这项工作的目的是：i）描述可能在视觉数据集中表现出来的偏差； ii）回顾有关视觉数据集中偏置发现和量化方法的文献； iii）讨论现有的尝试收集偏见视觉数据集的尝试。我们研究的一个关键结论是，视觉数据集中发现和量化的问题仍然是开放的，并且在方法和可以解决的偏见范围方面都有改进的余地。此外，没有无偏见的数据集之类的东西，因此科学家和从业者必须意识到其数据集中的偏见并使它们明确。为此，我们提出了一个清单，以在Visual DataSet收集过程中发现不同类型的偏差。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

The presence of bias in deep models leads to unfair outcomes for certain demographic subgroups. Research in bias focuses primarily on facial recognition and attribute prediction with scarce emphasis on face detection. Existing studies consider face detection as binary classification into 'face' and 'non-face' classes. In this work, we investigate possible bias in the domain of face detection through facial region localization which is currently unexplored. Since facial region localization is an essential task for all face recognition pipelines, it is imperative to analyze the presence of such bias in popular deep models. Most existing face detection datasets lack suitable annotation for such analysis. Therefore, we web-curate the Fair Face Localization with Attributes (F2LA) dataset and manually annotate more than 10 attributes per face, including facial localization information. Utilizing the extensive annotations from F2LA, an experimental setup is designed to study the performance of four pre-trained face detectors. We observe (i) a high disparity in detection accuracies across gender and skin-tone, and (ii) interplay of confounding factors beyond demography. The F2LA data and associated annotations can be accessed at http://iab-rubric.org/index.php/F2LA.

由于人口统计因素（例如年龄，性别，种族等）的影响，已经在自动化的面部识别系统中进行了广泛的研究。但是，\ textIt {数字修改}的人口统计学和面部属性对面部识别的影响相对较小。在这项工作中，我们研究了通过生成对抗网络（GAN）引起的属性操作的影响对面部识别性能。我们通过使用Attgan和Stgan有意修改13个属性，并评估它们对两种基于深度学习的面部验证方法，Arcface和VGGFACE的影响，在Celeba数据集上进行实验。我们的发现表明，涉及眼镜和性线索的数字变化的一些属性操纵可能会大大损害面部识别多达73％，需要进一步分析。

鉴于神经网络有区别，公平性改善的问题是系统地减少歧视，而不会显着削弱其性能（即准确性）。已经提出了针对神经网络的多种公平改进方法，包括预处理，处理和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过支付巨大准确性下降的价格来提高公平性），甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种基于因果分析的公平性改进方法的方法。也就是说，我们根据如何在输入属性和隐藏的神经元之间分布的神经元和属性如何选择方法。我们的实验评估表明，我们的方法是有效的（即，始终确定最佳的公平改善方法）和有效的效率（即，平均时间开销为5分钟）。

商业和政府部门中自动面部识别的扩散引起了个人的严重隐私问题。解决这些隐私问题的一种方法是采用逃避攻击针对启动面部识别系统的度量嵌入网络的攻击：面部混淆系统会产生不透彻的扰动图像，从而导致面部识别系统误解用户。受扰动的面孔是在公制嵌入网络上产生的，在面部识别的背景下，这是不公平的。人口公平的问题自然而然：面部混淆系统表现是否存在人口统计学差异？我们通过对最近的面部混淆系统的分析和经验探索来回答这个问题。指标嵌入网络在人口统计学上很有意识：面部嵌入由人口统计组群聚集。我们展示了这种聚类行为如何导致少数群体面孔的面部混淆实用性减少。直观的分析模型可以深入了解这些现象。

A significant level of stigma and inequality exists in mental healthcare, especially in under-served populations, which spreads through collected data. When not properly accounted for, machine learning (ML) models learned from data can reinforce the structural biases already present in society. Here, we present a systematic study of bias in ML models designed to predict depression in four different case studies covering different countries and populations. We find that standard ML approaches show regularly biased behaviors. However, we show that standard mitigation techniques, and our own post-hoc method, can be effective in reducing the level of unfair bias. We provide practical recommendations to develop ML models for depression risk prediction with increased fairness and trust in the real world. No single best ML model for depression prediction provides equality of outcomes. This emphasizes the importance of analyzing fairness during model selection and transparent reporting about the impact of debiasing interventions.

Face image quality assessment (FIQA) attempts to improve face recognition (FR) performance by providing additional information about sample quality. Because FIQA methods attempt to estimate the utility of a sample for face recognition, it is reasonable to assume that these methods are heavily influenced by the underlying face recognition system. Although modern face recognition systems are known to perform well, several studies have found that such systems often exhibit problems with demographic bias. It is therefore likely that such problems are also present with FIQA techniques. To investigate the demographic biases associated with FIQA approaches, this paper presents a comprehensive study involving a variety of quality assessment methods (general-purpose image quality assessment, supervised face quality assessment, and unsupervised face quality assessment methods) and three diverse state-of-theart FR models. Our analysis on the Balanced Faces in the Wild (BFW) dataset shows that all techniques considered are affected more by variations in race than sex. While the general-purpose image quality assessment methods appear to be less biased with respect to the two demographic factors considered, the supervised and unsupervised face image quality assessment methods both show strong bias with a tendency to favor white individuals (of either sex). In addition, we found that methods that are less racially biased perform worse overall. This suggests that the observed bias in FIQA methods is to a significant extent related to the underlying face recognition system.

住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求，这可能会改善患者的安全性。但是，这些预测可能容易受到社会决定因素（例如种族，年龄和性别）造成的健康差异的影响。这些偏见必须在数据收集过程的早期，在进入系统之前就可以消除，并通过模型预测加强，从而导致模型决策的偏见。在本文中，我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据，确定是否存在偏见，将其删除，然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明，当我们在模型早期减轻偏见时，我们会得到更公平的预测。我们还发现，随着我们获得更好的公平性，我们牺牲了一定程度的准确性，这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。