随着深层技术的传播，这项技术变得非常易于访问和足够好，以至于对其恶意使用感到担忧。面对这个问题，检测锻造面孔对于确保安全和避免在全球和私人规模上避免社会政治问题至关重要。本文提出了一种使用卷积神经网络检测深击的解决方案，并为此目的开发了一个数据集-celeb -df。结果表明，在这些图像的分类中，总体准确性为95％，提出的模型接近于最新的现状，并且可以调整未来出现的操纵技术的可能性。。

在过去的几年中，虚假内容的增长速度令人难以置信。社交媒体和在线平台的传播使他们的恶意演员越来越多地传播大规模的传播。同时，由于虚假图像生成方法的扩散越来越大，已经提出了许多基于深度学习的检测技术。这些方法中的大多数依赖于从RGB图像中提取显着特征，以通过二进制分类器检测图像是假的或真实的。在本文中，我们提出了DepthFake，这是一项有关如何使用深度图改善基于经典RGB的方法的研究。深度信息是从具有最新单眼深度估计技术的RGB图像中提取的。在这里，我们证明了深度映射对深料检测任务的有效贡献对稳健的预训练架构。实际上，针对faceforensic ++数据集的标准RGB体系结构，对于一些DeepFake攻击，对一些DeepFake攻击的平均提高了3.20％和11.7％。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

深层生成技术正在快速发展，使创建现实的操纵图像和视频并危及现代社会的宁静成为可能。新技术的持续出现带来了一个要面对的另一个问题，即DeepFake检测模型及时更新自己的能力，以便能够使用最新方法识别进行的操作。这是一个非常复杂的问题，因为训练一个模型需要大量数据，如果深层生成方法过于最近，这很难获得。此外，不断地重新训练网络是不可行的。在本文中，我们问自己，在各种深度学习技术中，是否有一个能够概括深层的概念，以至于它不会与培训中使用的一种或多种或多种特定的深层捕获方法息息相关。放。我们将视觉变压器与基于伪造网络数据集的跨性别环境中的有效NETV2进行了比较。从我们的实验中，有效的NETV2具有更大的专业趋势，通常会在训练方法上获得更好的结果，而视觉变压器具有卓越的概括能力，即使在使用新方法生成的图像上也使它们更有能力。

本文介绍了我们关于使用时间图像进行深泡探测的结果和发现。我们通过使用这些面部地标上的像素值构造图像（称为时间图像），模拟了在给定视频跨帧的468个面部标志物横跨给定视频框架中的临时关系。CNN能够识别给定图像的像素之间存在的空间关系。研究了10种不同的成像网模型。

DeepFake媒体如今正变得广泛，因为具有易于使用的工具和移动应用程序可以生成现实的DeepFake视频/图像，而无需任何技术知识。随着在不久的将来的这一技术领域的进一步进步，预计深冰媒体的数量和质量也将蓬勃发展，同时使DeepFake Media成为传播错误/虚假信息的可能新的实用工具。由于这些担忧，深层媒体检测工具已成为必要。在这项研究中，我们提出了一个新型混合变压器网络，利用早期功能融合策略进行深击视频检测。我们的模型采用两个不同的CNN网络，即（1）XceptionNet和（2）效率网络B4作为特征提取器。我们在FaceForensics ++，DFDC基准测试中以端到端的方式训练两个功能提取器。我们的模型在具有相对简单的体系结构的同时，在对FaceForensics ++和DFDC基准进行评估时，取得了与其他更先进的最先进方法相当的结果。除此之外，我们还提出了新颖的面部切割增加以及随机切割的增加。我们表明，提出的增强改善了模型的检测性能并减少过度拟合。除此之外，我们还表明我们的模型能够从少量数据中学习。

现在，合成视觉媒体发电和操纵的加速增长已经达到了引起重大关注并对社会造成巨大恐吓的地步。当务之急需要自动检测网络涉及虚假数字内容，并避免危险人造信息的传播以应对这种威胁。在本文中，我们利用和比较了两种手工制作的功能（Sift和Hog）以及两种深层特征（Xpection和CNN+RNN），以进行深层捕获检测任务。当训练集和测试集之间存在不匹配时，我们还会检查这些功能的性能。评估是对著名的FaceForensics ++数据集进行的，该数据集包含四个子数据集，深盘，face2face，faceswap和neuralTextures。最好的结果来自Xception，当训练和测试集都来自同一子数据库时，精度可能会超过99 \％。相比之下，当训练集不匹配测试集时，结果急剧下降。这种现象揭示了创建通用深击检测系统的挑战。

AI的最新进展，尤其是深度学习，导致创建新的现实合成媒体（视频，图像和音频）以及对现有媒体的操纵的创建显着增加，这导致了新术语的创建。 'deepfake'。基于英语和中文中的研究文献和资源，本文对Deepfake进行了全面的概述，涵盖了这一新兴概念的多个重要方面，包括1）不同的定义，2）常用的性能指标和标准以及3）与DeepFake相关的数据集，挑战，比赛和基准。此外，该论文还报告了2020年和2021年发表的12条与DeepFake相关的调查论文的元评估，不仅关注上述方面，而且集中在对关键挑战和建议的分析上。我们认为，就涵盖的各个方面而言，本文是对深层的最全面评论，也是第一个涵盖英语和中国文学和资源的文章。

近年来，社交媒体已成长为许多在线用户的主要信息来源。这引起了错误信息通过深击的传播。 Deepfakes是视频或图像，代替一个人面对另一个计算机生成的面孔，通常是社会上更知名的人。随着技术的最新进展，技术经验很少的人可以产生这些视频。这使他们能够模仿社会中的权力人物，例如总统或名人，从而产生了传播错误信息和其他对深击的邪恶用途的潜在危险。为了应对这种在线威胁，研究人员开发了旨在检测​​深击的模型。这项研究着眼于各种深层检测模型，这些模型使用深度学习算法来应对这种迫在眉睫的威胁。这项调查着重于提供深层检测模型的当前状态的全面概述，以及许多研究人员采取的独特方法来解决此问题。在本文中，将对未来工作的好处，局限性和建议进行彻底讨论。

深层伪造的面部伪造引起了严重的社会问题。愿景社区已经提出了几种解决方案，以通过自动化的深层检测系统有效地对待互联网上的错误信息。最近的研究表明，基于面部分析的深度学习模型可以根据受保护的属性区分。对于对DeepFake检测技术的商业采用和大规模推出，对跨性别和种族等人口变化的深层探测器的评估和了解（不存在任何偏见或偏爱）至关重要。由于人口亚组之间的深泡探测器的性能差异会影响贫困子组的数百万人。本文旨在评估跨男性和女性的深泡探测器的公平性。但是，现有的DeepFake数据集未用人口标签注释以促进公平分析。为此，我们用性别标签手动注释了现有的流行DeepFake数据集，并评估了整个性别的当前DeepFake探测器的性能差异。我们对数据集的性别标记版本的分析表明，（a）当前的DeepFake数据集在性别上偏斜了分布，并且（b）通常采用的深层捕获探测器在性别中获得不平等的表现，而男性大多数均优于女性。最后，我们贡献了一个性别平衡和注释的DeepFake数据集GBDF，以减轻性能差异，并促进研究和发展，以朝着公平意识到的深层假探测器。 GBDF数据集可公开可用：https：//github.com/aakash4305/gbdf

AI-synthesized face-swapping videos, commonly known as DeepFakes, is an emerging problem threatening the trustworthiness of online information. The need to develop and evaluate DeepFake detection algorithms calls for large-scale datasets. However, current DeepFake datasets suffer from low visual quality and do not resemble Deep-Fake videos circulated on the Internet. We present a new large-scale challenging DeepFake video dataset, Celeb-DF, which contains 5, 639 high-quality DeepFake videos of celebrities generated using improved synthesis process. We conduct a comprehensive evaluation of DeepFake detection methods and datasets to demonstrate the escalated level of challenges posed by Celeb-DF.

Deep learning has enabled realistic face manipulation (i.e., deepfake), which poses significant concerns over the integrity of the media in circulation. Most existing deep learning techniques for deepfake detection can achieve promising performance in the intra-dataset evaluation setting (i.e., training and testing on the same dataset), but are unable to perform satisfactorily in the inter-dataset evaluation setting (i.e., training on one dataset and testing on another). Most of the previous methods use the backbone network to extract global features for making predictions and only employ binary supervision (i.e., indicating whether the training instances are fake or authentic) to train the network. Classification merely based on the learning of global features leads often leads to weak generalizability to unseen manipulation methods. In addition, the reconstruction task can improve the learned representations. In this paper, we introduce a novel approach for deepfake detection, which considers the reconstruction and classification tasks simultaneously to address these problems. This method shares the information learned by one task with the other, which focuses on a different aspect other existing works rarely consider and hence boosts the overall performance. In particular, we design a two-branch Convolutional AutoEncoder (CAE), in which the Convolutional Encoder used to compress the feature map into the latent representation is shared by both branches. Then the latent representation of the input data is fed to a simple classifier and the unsupervised reconstruction component simultaneously. Our network is trained end-to-end. Experiments demonstrate that our method achieves state-of-the-art performance on three commonly-used datasets, particularly in the cross-dataset evaluation setting.

DeepFake是指量身定制和合成生成的视频，这些视频现在普遍存在并大规模传播，威胁到在线可用信息的可信度。尽管现有的数据集包含不同类型的深击，但它们的生成技术各不相同，但它们并不考虑以“系统发育”方式进展。现有的深层面孔可能与另一个脸交换。可以多次执行面部交换过程，并且可以演变出最终的深层效果，以使DeepFake检测算法混淆。此外，许多数据库不提供应用的生成模型作为目标标签。模型归因通过提供有关所使用的生成模型的信息，有助于增强检测结果的解释性。为了使研究界能够解决这些问题，本文提出了Deephy，这是一种新型的DeepFake系统发育数据集，由使用三种不同的一代技术生成的5040个DeepFake视频组成。有840个曾经交换深击的视频，2520个换两次交换深击的视频和1680个换装深击的视频。使用超过30 GB的大小，使用1,352 GB累积内存的18 GPU在1100多个小时内准备了数据库。我们还使用六种DeepFake检测算法在Deephy数据集上展示了基准。结果突出了需要发展深击模型归因的研究，并将过程推广到各种深层生成技术上。该数据库可在以下网址获得：http：//iab-rubric.org/deephy-database

Deepfakes在良好的信仰应用中越来越受欢迎，例如在娱乐和恶意预期的操作，例如在图像和视频伪造中。主要是由后者的动机，最近已经提出了大量的浅频道探测器以识别此类内容。虽然这种探测器的性能仍然需要进一步的改进，但它们通常以简单的话进行评估，如果不是琐碎的情景。特别地，诸如转码，去噪，调整和增强的良性处理操作的影响是不充分研究。本文提出了一种更严格和系统的框架，以评估DeepFake探测器在更现实情况中的性能。它定量测量每个良性处理方法如何以及在艺术最先进的深蓝检测方法的情况下衡量如何和何种程度。通过在流行的DeepFake探测器中说明它，我们的基准测试提出了一种框架来评估探测器的稳健性，并提供有价值的洞察设计更高效的DeeFake探测器。

鉴于我们不断增加的在线形象和信息摄入，现实的虚假视频是传播有害错误信息的潜在工具。本文提出了一种基于多模式学习的方法，用于检测真实和虚假视频。该方法结合了来自三种模式的信息 - 音频，视频和生理学。我们通过将视频与生理学的信息增加或通过新颖地学习这两种方式与所提出的图形卷积网络体系结构的融合来研究两种结合视频和生理方式的策略。两种结合两种方式的策略都取决于一种新方法来生成生理信号的视觉表示。然后，对真实视频和虚假视频的检测是基于音频和修改视频方式之间的差异。在两个基准数据集上评估了所提出的方法，与以前的方法相比，结果显示检测性能显着增加。

最近，由于社交媒体数字取证中的安全性和隐私问题，DeepFake引起了广泛的公众关注。随着互联网上广泛传播的深层视频变得越来越现实，传统的检测技术未能区分真实和假货。大多数现有的深度学习方法主要集中于使用卷积神经网络作为骨干的局部特征和面部图像中的关系。但是，本地特征和关系不足以用于模型培训，无法学习足够的一般信息以进行深层检测。因此，现有的DeepFake检测方法已达到瓶颈，以进一步改善检测性能。为了解决这个问题，我们提出了一个深度卷积变压器，以在本地和全球范围内纳入决定性图像。具体而言，我们应用卷积池和重新注意事项来丰富提取的特征并增强功效。此外，我们在模型训练中采用了几乎没有讨论的图像关键框架来改进性能，并可视化由视频压缩引起的密钥和正常图像帧之间的特征数量差距。我们最终通过在几个DeepFake基准数据集上进行了广泛的实验来说明可传递性。所提出的解决方案在内部和跨数据库实验上始终优于几个最先进的基线。

尽管最近对Deepfake技术的滥用引起了严重的关注，但由于每个帧的光真逼真的合成，如何检测DeepFake视频仍然是一个挑战。现有的图像级方法通常集中在单个框架上，而忽略了深击视频中隐藏的时空提示，从而导致概括和稳健性差。视频级检测器的关键是完全利用DeepFake视频中不同框架的当地面部区域分布在当地面部区域中的时空不一致。受此启发，本文提出了一种简单而有效的补丁级方法，以通过时空辍学变压器促进深击视频检测。该方法将每个输入视频重组成贴片袋，然后将其馈入视觉变压器以实现强大的表示。具体而言，提出了时空辍学操作，以充分探索斑块级时空提示，并作为有效的数据增强，以进一步增强模型的鲁棒性和泛化能力。该操作是灵活的，可以轻松地插入现有的视觉变压器中。广泛的实验证明了我们对25种具有令人印象深刻的鲁棒性，可推广性和表示能力的最先进的方法的有效性。

近年来，视觉伪造达到了人类无法识别欺诈的复杂程度，这对信息安全构成了重大威胁。出现了广泛的恶意申请，例如名人的假新闻，诽谤或勒索，政治战中的政治家冒充，以及谣言的传播吸引观点。结果，已经提出了一种富有的视觉验证技术，以试图阻止这种危险的趋势。在本文中，我们使用全面的和经验方法，提供了一种基准，可以对视觉伪造和视觉取证进行深入的洞察。更具体地，我们开发一个独立的框架，整合最先进的假冒生成器和探测器，并使用各种标准来测量这些技术的性能。我们还对基准测试结果进行了详尽的分析，确定了在措施与对策之间永无止境的战争中的比较参考的方法的特征。

Deepfake面临的不仅侵犯了个人身份的隐私，而且会使公众感到困惑并造成巨大的社会伤害。当前的DeepFake检测仅保持在区分真和错误的水平上，并且无法追踪与假面相对应的原始真实面孔，也就是说，它没有能力追踪证据来源。司法取证的深层对策技术紧急要求具有深层可追溯性。本文提出了一个有趣的问题，即“知道它以及如何发生”的脸部深击，积极的取证。鉴于深冰面的面孔并不能完全丢弃原始面孔的特征，尤其是面部表情和姿势，我们认为可以大约从其深料对应物中推测原始面孔。相应地，我们设计了一个解开的倒车网络，该网络在假脸部的脸部样品的监督下解除了深泡面孔的潜在空间特征，以反向推断原始面孔。

Figure 1: FaceForensics++ is a dataset of facial forgeries that enables researchers to train deep-learning-based approaches in a supervised fashion. The dataset contains manipulations created with four state-of-the-art methods, namely, Face2Face, FaceSwap, DeepFakes, and NeuralTextures.