Facial analysis systems have been deployed by large companies and critiqued by scholars and activists for the past decade. Many existing algorithmic audits examine the performance of these systems on later stage elements of facial analysis systems like facial recognition and age, emotion, or perceived gender prediction; however, a core component to these systems has been vastly understudied from a fairness perspective: face detection, sometimes called face localization. Since face detection is a pre-requisite step in facial analysis systems, the bias we observe in face detection will flow downstream to the other components like facial recognition and emotion prediction. Additionally, no prior work has focused on the robustness of these systems under various perturbations and corruptions, which leaves open the question of how various people are impacted by these phenomena. We present the first of its kind detailed benchmark of face detection systems, specifically examining the robustness to noise of commercial and academic models. We use both standard and recently released academic facial datasets to quantitatively analyze trends in face detection robustness. Across all the datasets and systems, we generally find that photos of individuals who are $\textit{masculine presenting}$, $\textit{older}$, of $\textit{darker skin type}$, or have $\textit{dim lighting}$ are more susceptible to errors than their counterparts in other identities.

As facial recognition systems are deployed more widely, scholars and activists have studied their biases and harms. Audits are commonly used to accomplish this and compare the algorithmic facial recognition systems' performance against datasets with various metadata labels about the subjects of the images. Seminal works have found discrepancies in performance by gender expression, age, perceived race, skin type, etc. These studies and audits often examine algorithms which fall into two categories: academic models or commercial models. We present a detailed comparison between academic and commercial face detection systems, specifically examining robustness to noise. We find that state-of-the-art academic face detection models exhibit demographic disparities in their noise robustness, specifically by having statistically significant decreased performance on older individuals and those who present their gender in a masculine manner. When we compare the size of these disparities to that of commercial models, we conclude that commercial models - in contrast to their relatively larger development budget and industry-level fairness commitments - are always as biased or more biased than an academic model.

本文介绍了一个新颖的数据集，以帮助研究人员评估他们的计算机视觉和音频模型，以便在各种年龄，性别，表观肤色和环境照明条件下进行准确性。我们的数据集由3,011名受试者组成，并包含超过45,000个视频，平均每人15个视频。这些视频被录制在多个美国国家，各种成年人在各种年龄，性别和明显的肤色群体中。一个关键特征是每个主题同意参与他们使用的相似之处。此外，我们的年龄和性别诠释由受试者自己提供。一组训练有素的注释器使用FitzPatrick皮肤型刻度标记了受试者的表观肤色。此外，还提供了在低环境照明中记录的视频的注释。作为衡量某些属性的预测稳健性的申请，我们对DeepFake检测挑战（DFDC）的前五名获胜者提供了全面的研究。实验评估表明，获胜模型对某些特定人群的表现较小，例如肤色较深的肤色，因此可能对所有人都不概括。此外，我们还评估了最先进的明显年龄和性别分类方法。我们的实验在各种背景的人们的公平待遇方面对这些模型进行了彻底的分析。

自动面检测等计算机视觉应用用于各种目的，从解锁智能设备到跟踪监视的潜在感兴趣的人。这些申请的审计透露，他们倾向于对少数民族群体偏见，导致不公平和关于社会和政治结果。尽管随着时间的推移，但这些偏差尚未完全减轻，但实际上已经增加了年龄预测等任务。虽然这些系统审核了基准数据集，但有必要评估其对抗性投入的鲁棒性。在这项工作中，我们在多个系统和数据集上进行广泛的对手审核，并进行了许多关于观察 - 从以前的审计以来的一些任务对一些任务进行了准确性。虽然仍然对多个数据集的少数群体的个体仍然存在偏差，但更令人担忧的观察是这些偏差倾向于对少数群体的对抗意义进行过度发音。我们讨论了鉴于这些观察结果更广泛的社会影响以及关于如何共同应对这个问题的建议。

Recent studies demonstrate that machine learning algorithms can discriminate based on classes like race and gender. In this work, we present an approach to evaluate bias present in automated facial analysis algorithms and datasets with respect to phenotypic subgroups. Using the dermatologist approved Fitzpatrick Skin Type classification system, we characterize the gender and skin type distribution of two facial analysis benchmarks, IJB-A and Adience. We find that these datasets are overwhelmingly composed of lighter-skinned subjects (79.6% for IJB-A and 86.2% for Adience) and introduce a new facial analysis dataset which is balanced by gender and skin type. We evaluate 3 commercial gender classification systems using our dataset and show that darker-skinned females are the most misclassified group (with error rates of up to 34.7%). The maximum error rate for lighter-skinned males is 0.8%. The substantial disparities in the accuracy of classifying darker females, lighter females, darker males, and lighter males in gender classification systems require urgent attention if commercial companies are to build genuinely fair, transparent and accountable facial analysis algorithms.

面部检测是计算机愿景领域的长期挑战，最终目标是准确地将人类面临着不受约束的环境。由于与姿势，图像分辨率，照明，闭塞和观点相关的混淆因素，使这些系统具有重要的技术障碍。据说，随着最近的机器学习的发展，面部检测系统实现了非凡的准确性，主要是基于数据驱动的深度学习模型[70]。虽然鼓励，限制了部署系统的面部检测性能和社会责任的关键方面是人类外观的固有多样性。每个人类的外表都反映了一个人的东西，包括他们的遗产，身份，经验和自我表达的可见表现。但是，有关面部检测系统如何在面对不同的面部尺寸和形状，肤色，身体修改和身体装饰方面进行良好的表现问题。为了实现这一目标，我们收集了独特的人类外观数据集，这是一种图像集，表示具有低频率的外观，并且往往是面部数据集的缺点。然后，我们评估了当前最先进的脸部检测模型，其能够检测这些图像中的面部。评估结果表明，面部检测算法对这些不同的外观没有概括。评估和表征当前的面部检测模型的状态将加速研究和开发，以创造更公平和更准确的面部检测系统。

计算机视觉（CV）取得了显着的结果，在几个任务中表现优于人类。尽管如此，如果不正确处理，可能会导致重大歧视，因为CV系统高度依赖于他们所用的数据，并且可以在此类数据中学习和扩大偏见。因此，理解和发现偏见的问题至关重要。但是，没有关于视觉数据集中偏见的全面调查。因此，这项工作的目的是：i）描述可能在视觉数据集中表现出来的偏差； ii）回顾有关视觉数据集中偏置发现和量化方法的文献； iii）讨论现有的尝试收集偏见视觉数据集的尝试。我们研究的一个关键结论是，视觉数据集中发现和量化的问题仍然是开放的，并且在方法和可以解决的偏见范围方面都有改进的余地。此外，没有无偏见的数据集之类的东西，因此科学家和从业者必须意识到其数据集中的偏见并使它们明确。为此，我们提出了一个清单，以在Visual DataSet收集过程中发现不同类型的偏差。

由于隐私，透明度，问责制和缺少程序保障的担忧，印度的面部加工系统的增加越来越多。与此同时，我们也很少了解这些技术如何在印度13.4亿种群的不同特征，特征和肤色上表现出来。在本文中，我们在印度脸部的数据集中测试四个商用面部加工工具的面部检测和面部分析功能。该工具在面部检测和性别和年龄分类功能中显示不同的错误率。与男性相比，印度女性面的性别分类错误率始终如一，最高的女性错误率为14.68％。在某些情况下，这种错误率远高于其他国籍的女性之前的研究表明。年龄分类错误也很高。尽管从一个人的实际年龄从一个人的实际年龄到10年来考虑到可接受的误差率，但年龄预测失败的速度为14.3％至42.2％。这些发现指向面部加工工具的准确性有限，特别是某些人口组，在采用此类系统之前需要更关键的思维。

Trained machine learning models are increasingly used to perform high-impact tasks in areas such as law enforcement, medicine, education, and employment. In order to clarify the intended use cases of machine learning models and minimize their usage in contexts for which they are not well suited, we recommend that released models be accompanied by documentation detailing their performance characteristics. In this paper, we propose a framework that we call model cards, to encourage such transparent model reporting. Model cards are short documents accompanying trained machine learning models that provide benchmarked evaluation in a variety of conditions, such as across different cultural, demographic, or phenotypic groups (e.g., race, geographic location, sex, Fitzpatrick skin type [15]) and intersectional groups (e.g., age and race, or sex and Fitzpatrick skin type) that are relevant to the intended application domains. Model cards also disclose the context in which models are intended to be used, details of the performance evaluation procedures, and other relevant information. While we focus primarily on human-centered machine learning models in the application fields of computer vision and natural language processing, this framework can be used to document any trained machine learning model. To solidify the concept, we provide cards for two supervised models: One trained to detect smiling faces in images, and one trained to detect toxic comments in text. We propose model cards as a step towards the responsible democratization of machine learning and related artificial intelligence technology, increasing transparency into how well artificial intelligence technology works. We hope this work encourages those releasing trained machine learning models to accompany model releases with similar detailed evaluation numbers and other relevant documentation.

媒体报道指责人们对“偏见”'，“”性别歧视“和”种族主义“的人士指责。研究文献中有共识，面部识别准确性为女性较低，妇女通常具有更高的假匹配率和更高的假非匹配率。然而，几乎没有出版的研究，旨在识别女性准确性较低的原因。例如，2019年的面部识别供应商测试将在广泛的算法和数据集中记录较低的女性准确性，并且数据集也列出了“分析原因和效果”在“我们没有做的东西”下''。我们介绍了第一个实验分析，以确定在去以前研究的数据集上对女性的较低人脸识别准确性的主要原因。在测试图像中控制相等的可见面部可见面积减轻了女性的表观更高的假非匹配率。其他分析表明，化妆平衡数据集进一步改善了女性以实现较低的虚假非匹配率。最后，聚类实验表明，两种不同女性的图像本质上比两种不同的男性更相似，潜在地占错误匹配速率的差异。

The presence of bias in deep models leads to unfair outcomes for certain demographic subgroups. Research in bias focuses primarily on facial recognition and attribute prediction with scarce emphasis on face detection. Existing studies consider face detection as binary classification into 'face' and 'non-face' classes. In this work, we investigate possible bias in the domain of face detection through facial region localization which is currently unexplored. Since facial region localization is an essential task for all face recognition pipelines, it is imperative to analyze the presence of such bias in popular deep models. Most existing face detection datasets lack suitable annotation for such analysis. Therefore, we web-curate the Fair Face Localization with Attributes (F2LA) dataset and manually annotate more than 10 attributes per face, including facial localization information. Utilizing the extensive annotations from F2LA, an experimental setup is designed to study the performance of four pre-trained face detectors. We observe (i) a high disparity in detection accuracies across gender and skin-tone, and (ii) interplay of confounding factors beyond demography. The F2LA data and associated annotations can be accessed at http://iab-rubric.org/index.php/F2LA.

在过去的几十年里，机器和深度学习界在挑战性的任务中庆祝了巨大成就，如图像分类。人工神经网络的深度建筑与可用数据的宽度一起使得可以描述高度复杂的关系。然而，仍然不可能完全捕捉深度学习模型已经了解到的深度学习模型并验证它公平，而不会产生偏见，特别是在临界任务中，例如在医学领域产生的问题。这样的任务的一个示例是检测面部图像中的不同面部表情，称为动作单位。考虑到这项特定任务，我们的研究旨在为偏见提供透明度，具体与性别和肤色有关。我们训练一个神经网络进行动作单位分类，并根据其准确性和基于热量的定性分析其性能。对我们的结果的结构化审查表明我们能够检测到偏见。尽管我们不能从我们的结果得出结论，但较低的分类表现完全来自性别和肤色偏差，这些偏差必须得到解决，这就是为什么我们通过提出关于如何避免检测到的偏差的建议。

随着数据驱动的系统越来越大规模部署，对历史上边缘化的群体的不公平和歧视结果引起了道德问题，这些群体在培训数据中的代表性不足。作为回应，围绕AI的公平和包容性的工作呼吁代表各个人口组的数据集。在本文中，我们对可访问性数据集中的年龄，性别和种族和种族的代表性进行了分析 - 数据集 - 来自拥有的数据集，这些数据集来自拥有的人。残疾和老年人 - 这可能在减轻包含AI注入的应用程序的偏见方面发挥重要作用。我们通过审查190个数据集的公开信息来检查由残疾人来源的数据集中的当前表示状态，我们称这些可访问性数据集为止。我们发现可访问性数据集代表不同的年龄，但具有性别和种族表示差距。此外，我们研究了人口统计学变量的敏感和复杂性质如何使分类变得困难和不一致（例如，性别，种族和种族），标记的来源通常未知。通过反思当前代表残疾数据贡献者的挑战和机会，我们希望我们的努力扩大了更多可能将边缘化社区纳入AI注入系统的可能性。

刻板印象，偏见和歧视已在机器学习（ML）方法（例如计算机视觉（CV）[18，80]，自然语言处理（NLP）[6]或两者兼有大图像和大图像和两者兼而有之）标题模型，例如OpenAI剪辑[14]。在本文中，我们评估了ML偏差如何在世界内部和自主作用的机器人中表现出来。我们审核了最近发表的几种剪贴式机器人操纵方法之一，向其呈现在表面上有人脸的图片，这些物体在种族和性别之间各不相同，以及包含与常见刻板印象相关的术语的任务说明。我们的实验明确表明机器人对性别，种族和科学持有的较大的构成观念的作用，并大规模地划分了。此外，经过审核的方法不太可能认识有色人种和有色人种。我们的跨学科社会技术分析跨越了科学技术与社会（STS），批判性研究，历史，安全，机器人技术和AI等领域和应用。我们发现，由大型数据集和溶解模型提供动力的机器人（有时称为“基础模型”，例如剪辑），其中包含人类风险在物理上放大恶性刻板印象；而且，仅纠正差异将不足以使问题的复杂性和规模不足。取而代之的是，我们建议机器人学习方法在适当的时候暂停，重新设计甚至损坏，直到结果被证明是安全，有效和公正的，才能暂停，重新工作甚至损坏其他有害结果。最后，我们讨论了有关身份安全评估框架和设计正义等主题的新的跨学科研究的全面政策变化，以及更好地理解和解决这些危害的主题。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

虚拟面部化身将在身临其境的沟通，游戏和元视频中发挥越来越重要的作用，因此至关重要的是包容性。这需要准确地恢复出现，无论年龄，性别或种族如何，都以反照率表示。尽管在估计3D面部几何形状方面取得了重大进展，但反照率估计受到较少的关注。该任务在根本上是模棱两可的，因为观察到的颜色是反照率和照明的函数，这两者都是未知的。我们发现，由于（1）偏爱较轻的色素沉着和（2）算法溶液，因此当前的方法偏向浅色肤色，而无视光/反照率的歧义。为了解决这个问题，我们提出了一个新的评估数据集（公平）和算法（Trust），以改善反照率估计以及公平性。具体而言，我们创建了第一个面部反照率评估基准，其中受试者在肤色方面保持平衡，并使用单个类型学角度（ITA）度量测量精度。然后，我们通过建立关键观察结果来解决光/反照率的歧义：与面部的裁剪图像相反，整个场景的图像包含有关照明的重要信息，可用于歧义。信任通过在面部区域和从场景图像中获得的全球照明信号进行调节来回归面部反照率。我们的实验结果表明，就准确性和公平性而言，与最先进的反照率估计方法相比，相比之下。评估基准和代码将用于研究目的，网址为https://trust.is.tue.mpg.de。

很少有研究重点是研究人们如何识别变形攻击，即使有一些出版物已经检查了自动化FRS的敏感性并提供了变形攻击检测（MAD）方法。 MAD接近他们的决策要么基于单个图像，因此没有参考以比较（S-MAD）或使用参考图像（D-MAD）。一个普遍的误解是，审查员或观察者的面部变体检测能力取决于他们的主题专业知识，经验和对这个问题的熟悉程度，并且没有任何作品报告了定期验证身份（ID）文档的观察者的具体结果。当人类观察者参与检查具有面部图像的ID文件时，其能力的失误可能会面临重大的社会挑战。为了评估观察者的熟练程度，这项工作首先构建了来自48位不同受试者的现实变形攻击的新基准数据库，从而产生了400个变形图像。我们还捕获了从自动边界控制（ABC）门的图像，以模仿D-MAD设置中现实的边界横断场景，并使用400个探针图像研究人类观察者检测变形图像的能力。还生产了一个新的180个变形图像的数据集，以研究S-MAD环境中的人类能力。除了创建一个新的评估平台来进行S-MAD和D-MAD分析外，该研究还雇用了469位D-MAD的观察员，S-MAD的410位观察员和410位观察员，他们主要是来自40多个国家 /地区的政府雇员，以及103个科目谁不是考官。该分析提供了有趣的见解，并突出了缺乏专业知识和未能认识到专家大量变形攻击的缺乏。这项研究的结果旨在帮助制定培训计划，以防止安全失败，同时确定图像是真正的还是改变了图像。

机器学习数据集引起了对隐私，偏见和不道德应用的担忧，导致突出数据集的缩写，例如Dukemtmc，MS-Celeb-1M和微小图像。作为响应，机器学习界已在数据集创建中呼吁更高的道德标准。为了帮助通知这些努力，我们研究了三个有影响力的但道德问题的面部和人识别数据集 - 在野外（LFW），MS-Celeb-1M和DukemTM中标记的面孔 - 通过分析近1000篇引用它们的纸张。我们发现，创建衍生数据集和模型，更广泛的技术和社会变革，许可证缺乏清晰度，数据集管理实践可以引入广泛的道德问题。我们通过表明分布式方法来伤害消除数据集的整个生命周期的危害。

2019年，英国的移民和庇护室的上部法庭驳回了基于其他差异的生物识别系统产出的决定。在生物识别数据库中发现了庇护所寻求者的指纹，这与上诉人的账户相矛盾。法庭发现这一证据明确透明，否认庇护索赔。如今，生物识别系统的扩散正在围绕其政治，社会和道德意义塑造公众辩论。然而，虽然对移动控制的种族式使用这种技术的担忧一直在上升，但对生物识别行业的投资和创新正在增加大幅增加。此外，生物识别技术最近也已经采用了公平，以减轻生物识别学的偏见和歧视。然而，算法公平不能在破损或预期目的的情况下分配正义，这是为了区分，例如在边境部署的生物识别。在本文中，我们提供了最近关于生物识别公平性辩论的批判性阅读，并展示了其在机器学习和关键边界研究的公平研究中的局限性。在以前的公平演示中，我们证明了生物识别公平标准是数学上的互斥。然后，纸张继续验证说明公平的生物识别系统，通过从先前的作品中再现实验。最后，我们通过在边境的辩论中讨论生物识别性的公平性的政治。我们声称偏见和错误率对公民和寻求庇护者产生了不同的影响。公平已经在生物识别学室内黯然失色，专注于算法的人口偏见和伦理话语，而不是检查这些系统如何重现历史和政治不公正。

We study how robust current ImageNet models are to distribution shifts arising from natural variations in datasets. Most research on robustness focuses on synthetic image perturbations (noise, simulated weather artifacts, adversarial examples, etc.), which leaves open how robustness on synthetic distribution shift relates to distribution shift arising in real data. Informed by an evaluation of 204 ImageNet models in 213 different test conditions, we find that there is often little to no transfer of robustness from current synthetic to natural distribution shift. Moreover, most current techniques provide no robustness to the natural distribution shifts in our testbed. The main exception is training on larger and more diverse datasets, which in multiple cases increases robustness, but is still far from closing the performance gaps. Our results indicate that distribution shifts arising in real data are currently an open research problem. We provide our testbed and data as a resource for future work at https://modestyachts.github.io/imagenet-testbed/.