近年来，用深击的图像和视频操纵已成为安全和社会的严重关注。因此，已经提出了许多检测模型和数据库来可靠地检测DeepFake数据。但是，人们越来越担心这些模型和培训数据库可能会有偏见，从而导致深泡检测器失败。在这项工作中，我们通过（a）为五个流行的DeepFake数据集提供41个不同属性的大规模人口统计学和非人口统计学注释，以及（b）全面分析多个最先进的ART的AI偏见这些数据库上的DeepFake检测模型。调查分析了各种独特属性（从6500万标签）对检测性能的影响，包括人口统计学（年龄，性别，种族）和非人口统计学（头发，皮肤，配件等）信息。结果表明，研究的数据库缺乏多样性，更重要的是表明，使用的深层检测模型对许多研究的属性有很大偏见。此外，结果表明，模型的决策可能基于几个可疑（偏见）的假设，例如，如果一个人在微笑或戴上帽子。根据这种深泡检测方法的应用，这些偏见可能导致普遍性，公平性和安全性问题。我们希望这项研究的发现和注释数据库将有助于评估和减轻未来深层检测技术的偏见。我们的注释数据集可公开使用。

深层伪造的面部伪造引起了严重的社会问题。愿景社区已经提出了几种解决方案，以通过自动化的深层检测系统有效地对待互联网上的错误信息。最近的研究表明，基于面部分析的深度学习模型可以根据受保护的属性区分。对于对DeepFake检测技术的商业采用和大规模推出，对跨性别和种族等人口变化的深层探测器的评估和了解（不存在任何偏见或偏爱）至关重要。由于人口亚组之间的深泡探测器的性能差异会影响贫困子组的数百万人。本文旨在评估跨男性和女性的深泡探测器的公平性。但是，现有的DeepFake数据集未用人口标签注释以促进公平分析。为此，我们用性别标签手动注释了现有的流行DeepFake数据集，并评估了整个性别的当前DeepFake探测器的性能差异。我们对数据集的性别标记版本的分析表明，（a）当前的DeepFake数据集在性别上偏斜了分布，并且（b）通常采用的深层捕获探测器在性别中获得不平等的表现，而男性大多数均优于女性。最后，我们贡献了一个性别平衡和注释的DeepFake数据集GBDF，以减轻性能差异，并促进研究和发展，以朝着公平意识到的深层假探测器。 GBDF数据集可公开可用：https：//github.com/aakash4305/gbdf

本文介绍了一个新颖的数据集，以帮助研究人员评估他们的计算机视觉和音频模型，以便在各种年龄，性别，表观肤色和环境照明条件下进行准确性。我们的数据集由3,011名受试者组成，并包含超过45,000个视频，平均每人15个视频。这些视频被录制在多个美国国家，各种成年人在各种年龄，性别和明显的肤色群体中。一个关键特征是每个主题同意参与他们使用的相似之处。此外，我们的年龄和性别诠释由受试者自己提供。一组训练有素的注释器使用FitzPatrick皮肤型刻度标记了受试者的表观肤色。此外，还提供了在低环境照明中记录的视频的注释。作为衡量某些属性的预测稳健性的申请，我们对DeepFake检测挑战（DFDC）的前五名获胜者提供了全面的研究。实验评估表明，获胜模型对某些特定人群的表现较小，例如肤色较深的肤色，因此可能对所有人都不概括。此外，我们还评估了最先进的明显年龄和性别分类方法。我们的实验在各种背景的人们的公平待遇方面对这些模型进行了彻底的分析。

面部表现攻击检测（PAD）对于保护面部识别（FR）应用程序至关重要。 FR性能已被证明对某些人口统计学和非人口统计学组是不公平的。但是，面部垫的公平性是一个研究的问题，这主要是由于缺乏适当的注释数据。为了解决此问题，这项工作首先通过组合几个知名的PAD数据集，在其中提供了七个人类宣传的属性标签，从而提出了一个组合的注释数据集（CAAD-PAD）。然后，这项工作通过研究我们的CAAD-Pad上的四个面部垫方法，全面分析了一组面垫的公平及其与培训数据的性质和操作决策阈值分配（ODTA）的关系。同时代表垫子的公平性和绝对垫性能，我们引入了一种新颖的指标，即准确性平衡公平（ABF）。关于CAAD-PAD的广泛实验表明，训练数据和ODTA会引起性别，遮挡和其他属性组的不公平性。基于这些分析，我们提出了一种数据增强方法Fairswap，该方法旨在破坏身份/语义信息和指南模型以挖掘攻击线索而不是与属性相关的信息。详细的实验结果表明，Fairswap通常可以提高垫子性能和面部垫的公平性。

已显示现有的面部分析系统对某些人口统计亚组产生偏见的结果。由于其对社会的影响，因此必须确保这些系统不会根据个人的性别，身份或肤色歧视。这导致了在AI系统中识别和减轻偏差的研究。在本文中，我们封装了面部分析的偏置检测/估计和缓解算法。我们的主要贡献包括对拟议理解偏见的算法的系统审查，以及分类和广泛概述现有的偏置缓解算法。我们还讨论了偏见面部分析领域的开放挑战。

AI的最新进展，尤其是深度学习，导致创建新的现实合成媒体（视频，图像和音频）以及对现有媒体的操纵的创建显着增加，这导致了新术语的创建。 'deepfake'。基于英语和中文中的研究文献和资源，本文对Deepfake进行了全面的概述，涵盖了这一新兴概念的多个重要方面，包括1）不同的定义，2）常用的性能指标和标准以及3）与DeepFake相关的数据集，挑战，比赛和基准。此外，该论文还报告了2020年和2021年发表的12条与DeepFake相关的调查论文的元评估，不仅关注上述方面，而且集中在对关键挑战和建议的分析上。我们认为，就涵盖的各个方面而言，本文是对深层的最全面评论，也是第一个涵盖英语和中国文学和资源的文章。

AI-synthesized face-swapping videos, commonly known as DeepFakes, is an emerging problem threatening the trustworthiness of online information. The need to develop and evaluate DeepFake detection algorithms calls for large-scale datasets. However, current DeepFake datasets suffer from low visual quality and do not resemble Deep-Fake videos circulated on the Internet. We present a new large-scale challenging DeepFake video dataset, Celeb-DF, which contains 5, 639 high-quality DeepFake videos of celebrities generated using improved synthesis process. We conduct a comprehensive evaluation of DeepFake detection methods and datasets to demonstrate the escalated level of challenges posed by Celeb-DF.

Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants' confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.

Recent studies demonstrate that machine learning algorithms can discriminate based on classes like race and gender. In this work, we present an approach to evaluate bias present in automated facial analysis algorithms and datasets with respect to phenotypic subgroups. Using the dermatologist approved Fitzpatrick Skin Type classification system, we characterize the gender and skin type distribution of two facial analysis benchmarks, IJB-A and Adience. We find that these datasets are overwhelmingly composed of lighter-skinned subjects (79.6% for IJB-A and 86.2% for Adience) and introduce a new facial analysis dataset which is balanced by gender and skin type. We evaluate 3 commercial gender classification systems using our dataset and show that darker-skinned females are the most misclassified group (with error rates of up to 34.7%). The maximum error rate for lighter-skinned males is 0.8%. The substantial disparities in the accuracy of classifying darker females, lighter females, darker males, and lighter males in gender classification systems require urgent attention if commercial companies are to build genuinely fair, transparent and accountable facial analysis algorithms.

计算机视觉（CV）取得了显着的结果，在几个任务中表现优于人类。尽管如此，如果不正确处理，可能会导致重大歧视，因为CV系统高度依赖于他们所用的数据，并且可以在此类数据中学习和扩大偏见。因此，理解和发现偏见的问题至关重要。但是，没有关于视觉数据集中偏见的全面调查。因此，这项工作的目的是：i）描述可能在视觉数据集中表现出来的偏差； ii）回顾有关视觉数据集中偏置发现和量化方法的文献； iii）讨论现有的尝试收集偏见视觉数据集的尝试。我们研究的一个关键结论是，视觉数据集中发现和量化的问题仍然是开放的，并且在方法和可以解决的偏见范围方面都有改进的余地。此外，没有无偏见的数据集之类的东西，因此科学家和从业者必须意识到其数据集中的偏见并使它们明确。为此，我们提出了一个清单，以在Visual DataSet收集过程中发现不同类型的偏差。

DeepFake是指量身定制和合成生成的视频，这些视频现在普遍存在并大规模传播，威胁到在线可用信息的可信度。尽管现有的数据集包含不同类型的深击，但它们的生成技术各不相同，但它们并不考虑以“系统发育”方式进展。现有的深层面孔可能与另一个脸交换。可以多次执行面部交换过程，并且可以演变出最终的深层效果，以使DeepFake检测算法混淆。此外，许多数据库不提供应用的生成模型作为目标标签。模型归因通过提供有关所使用的生成模型的信息，有助于增强检测结果的解释性。为了使研究界能够解决这些问题，本文提出了Deephy，这是一种新型的DeepFake系统发育数据集，由使用三种不同的一代技术生成的5040个DeepFake视频组成。有840个曾经交换深击的视频，2520个换两次交换深击的视频和1680个换装深击的视频。使用超过30 GB的大小，使用1,352 GB累积内存的18 GPU在1100多个小时内准备了数据库。我们还使用六种DeepFake检测算法在Deephy数据集上展示了基准。结果突出了需要发展深击模型归因的研究，并将过程推广到各种深层生成技术上。该数据库可在以下网址获得：http：//iab-rubric.org/deephy-database

The presence of bias in deep models leads to unfair outcomes for certain demographic subgroups. Research in bias focuses primarily on facial recognition and attribute prediction with scarce emphasis on face detection. Existing studies consider face detection as binary classification into 'face' and 'non-face' classes. In this work, we investigate possible bias in the domain of face detection through facial region localization which is currently unexplored. Since facial region localization is an essential task for all face recognition pipelines, it is imperative to analyze the presence of such bias in popular deep models. Most existing face detection datasets lack suitable annotation for such analysis. Therefore, we web-curate the Fair Face Localization with Attributes (F2LA) dataset and manually annotate more than 10 attributes per face, including facial localization information. Utilizing the extensive annotations from F2LA, an experimental setup is designed to study the performance of four pre-trained face detectors. We observe (i) a high disparity in detection accuracies across gender and skin-tone, and (ii) interplay of confounding factors beyond demography. The F2LA data and associated annotations can be accessed at http://iab-rubric.org/index.php/F2LA.

近年来，视觉伪造达到了人类无法识别欺诈的复杂程度，这对信息安全构成了重大威胁。出现了广泛的恶意申请，例如名人的假新闻，诽谤或勒索，政治战中的政治家冒充，以及谣言的传播吸引观点。结果，已经提出了一种富有的视觉验证技术，以试图阻止这种危险的趋势。在本文中，我们使用全面的和经验方法，提供了一种基准，可以对视觉伪造和视觉取证进行深入的洞察。更具体地，我们开发一个独立的框架，整合最先进的假冒生成器和探测器，并使用各种标准来测量这些技术的性能。我们还对基准测试结果进行了详尽的分析，确定了在措施与对策之间永无止境的战争中的比较参考的方法的特征。

很少有研究重点是研究人们如何识别变形攻击，即使有一些出版物已经检查了自动化FRS的敏感性并提供了变形攻击检测（MAD）方法。 MAD接近他们的决策要么基于单个图像，因此没有参考以比较（S-MAD）或使用参考图像（D-MAD）。一个普遍的误解是，审查员或观察者的面部变体检测能力取决于他们的主题专业知识，经验和对这个问题的熟悉程度，并且没有任何作品报告了定期验证身份（ID）文档的观察者的具体结果。当人类观察者参与检查具有面部图像的ID文件时，其能力的失误可能会面临重大的社会挑战。为了评估观察者的熟练程度，这项工作首先构建了来自48位不同受试者的现实变形攻击的新基准数据库，从而产生了400个变形图像。我们还捕获了从自动边界控制（ABC）门的图像，以模仿D-MAD设置中现实的边界横断场景，并使用400个探针图像研究人类观察者检测变形图像的能力。还生产了一个新的180个变形图像的数据集，以研究S-MAD环境中的人类能力。除了创建一个新的评估平台来进行S-MAD和D-MAD分析外，该研究还雇用了469位D-MAD的观察员，S-MAD的410位观察员和410位观察员，他们主要是来自40多个国家 /地区的政府雇员，以及103个科目谁不是考官。该分析提供了有趣的见解，并突出了缺乏专业知识和未能认识到专家大量变形攻击的缺乏。这项研究的结果旨在帮助制定培训计划，以防止安全失败，同时确定图像是真正的还是改变了图像。

面部检测是计算机愿景领域的长期挑战，最终目标是准确地将人类面临着不受约束的环境。由于与姿势，图像分辨率，照明，闭塞和观点相关的混淆因素，使这些系统具有重要的技术障碍。据说，随着最近的机器学习的发展，面部检测系统实现了非凡的准确性，主要是基于数据驱动的深度学习模型[70]。虽然鼓励，限制了部署系统的面部检测性能和社会责任的关键方面是人类外观的固有多样性。每个人类的外表都反映了一个人的东西，包括他们的遗产，身份，经验和自我表达的可见表现。但是，有关面部检测系统如何在面对不同的面部尺寸和形状，肤色，身体修改和身体装饰方面进行良好的表现问题。为了实现这一目标，我们收集了独特的人类外观数据集，这是一种图像集，表示具有低频率的外观，并且往往是面部数据集的缺点。然后，我们评估了当前最先进的脸部检测模型，其能够检测这些图像中的面部。评估结果表明，面部检测算法对这些不同的外观没有概括。评估和表征当前的面部检测模型的状态将加速研究和开发，以创造更公平和更准确的面部检测系统。

强大的深度学习技术的发展为社会和个人带来了一些负面影响。一个这样的问题是假媒体的出现。为了解决这个问题，我们组织了可信赖的媒体挑战（TMC）来探讨人工智能（AI）如何利用如何打击假媒体。我们与挑战一起发布了一个挑战数据集，由4,380张假和2,563个真实视频组成。所有这些视频都伴随着Audios，采用不同的视频和/或音频操作方法来生产不同类型的假媒体。数据集中的视频具有各种持续时间，背景，照明，最小分辨率为360p，并且可能包含模拟传输误差和不良压缩的扰动。我们还开展了用户学习，以展示所作数据集的质量。结果表明，我们的数据集具有有希望的质量，可以在许多情况下欺骗人类参与者。

近年来，随着面部编辑和发电的迅速发展，越来越多的虚假视频正在社交媒体上流传，这引起了极端公众的关注。基于频域的现有面部伪造方法发现，与真实图像相比，GAN锻造图像在频谱中具有明显的网格视觉伪像。但是对于综合视频，这些方法仅局限于单个帧，几乎不关注不同框架之间最歧视的部分和时间频率线索。为了充分利用视频序列中丰富的信息，本文对空间和时间频域进行了视频伪造检测，并提出了一个离散的基于余弦转换的伪造线索增强网络（FCAN-DCT），以实现更全面的时空功能表示。 FCAN-DCT由一个骨干网络和两个分支组成：紧凑特征提取（CFE）模块和频率时间注意（FTA）模块。我们对两个可见光（VIS）数据集Wilddeepfake和Celeb-DF（V2）进行了彻底的实验评估，以及我们的自我构建的视频伪造数据集DeepFakenir，这是第一个近境模式的视频伪造数据集。实验结果证明了我们方法在VIS和NIR场景中检测伪造视频的有效性。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。