虽然生成模型的最新进步为社会带来了不同的优势，但它也可以滥用恶意目的，例如欺诈，诽谤和假新闻。为了防止这种情况，进行了剧烈的研究以区分生成的图像从真实图像中的图像，但仍然存在挑战以区分训练设置之外的未经证实的图像。由于模型过度的问题引起了由特定GAN生成的培训数据而产生的数据依赖性，发生了这种限制。为了克服这个问题，我们采用自我监督计划提出一个新颖的框架。我们所提出的方法由人工指纹发生器重构GaN图像的高质量人工指纹进行详细分析，并且通过学习重建的人造指纹来区分GaN图像。为了提高人工指纹发生器的泛化，我们构建具有不同数量的上耦层的多个自动泊。利用许多消融研究，即使不利用训练数据集的GaN图像，也通过表现出先前最先进的算法的概括来验证我们的方法的鲁棒广泛化。

In this work, we investigate improving the generalizability of GAN-generated image detectors by performing data augmentation in the fingerprint domain. Specifically, we first separate the fingerprints and contents of the GAN-generated images using an autoencoder based GAN fingerprint extractor, followed by random perturbations of the fingerprints. Then the original fingerprints are substituted with the perturbed fingerprints and added to the original contents, to produce images that are visually invariant but with distinct fingerprints. The perturbed images can successfully imitate images generated by different GANs to improve the generalization of the detectors, which is demonstrated by the spectra visualization. To our knowledge, we are the first to conduct data augmentation in the fingerprint domain. Our work explores a novel prospect that is distinct from previous works on spatial and frequency domain augmentation. Extensive cross-GAN experiments demonstrate the effectiveness of our method compared to the state-of-the-art methods in detecting fake images generated by unknown GANs.

Visually realistic GAN-generated facial images raise obvious concerns on potential misuse. Many effective forensic algorithms have been developed to detect such synthetic images in recent years. It is significant to assess the vulnerability of such forensic detectors against adversarial attacks. In this paper, we propose a new black-box attack method against GAN-generated image detectors. A novel contrastive learning strategy is adopted to train the encoder-decoder network based anti-forensic model under a contrastive loss function. GAN images and their simulated real counterparts are constructed as positive and negative samples, respectively. Leveraging on the trained attack model, imperceptible contrastive perturbation could be applied to input synthetic images for removing GAN fingerprint to some extent. As such, existing GAN-generated image detectors are expected to be deceived. Extensive experimental results verify that the proposed attack effectively reduces the accuracy of three state-of-the-art detectors on six popular GANs. High visual quality of the attacked images is also achieved. The source code will be available at https://github.com/ZXMMD/BAttGAND.

目前的高保真发电和高精度检测DeepFake图像位于臂赛中。我们认为，生产高度逼真和“检测逃避”的深度可以服务于改善未来一代深度检测能力的最终目标。在本文中，我们提出了一种简单但强大的管道，以通过执行隐式空间域陷波滤波来减少假图像的伪影图案而不会损伤图像质量。我们首先表明频域陷波滤波，尽管由于陷波滤波器所需的手动设计，我们的任务对于我们的任务是有效的，但是频域陷波过滤虽然是有效的。因此，我们诉诸基于学习的方法来重现陷波滤波效果，而是仅在空间域中。我们采用添加压倒性的空间噪声来打破周期性噪声模式和深映像滤波来重建无噪声假图像，我们将我们的方法命名为Deadnotch。深度图像过滤为嘈杂图像中的每个像素提供专用过滤器，与其DeepFake对应物相比，产生具有高保真度的滤波图像。此外，我们还使用图像的语义信息来生成对抗性引导映射，以智能地添加噪声。我们对3种代表性的最先进的深蓝进行的大规模评估（在16种DeepFakes上测试）已经证明，我们的技术显着降低了这3种假图像检测方法的准确性，平均和高度为36.79％ 97.02％在最好的情况下。

With the rapid development of deep generative models (such as Generative Adversarial Networks and Auto-encoders), AI-synthesized images of the human face are now of such high quality that humans can hardly distinguish them from pristine ones. Although existing detection methods have shown high performance in specific evaluation settings, e.g., on images from seen models or on images without real-world post-processings, they tend to suffer serious performance degradation in real-world scenarios where testing images can be generated by more powerful generation models or combined with various post-processing operations. To address this issue, we propose a Global and Local Feature Fusion (GLFF) to learn rich and discriminative representations by combining multi-scale global features from the whole image with refined local features from informative patches for face forgery detection. GLFF fuses information from two branches: the global branch to extract multi-scale semantic features and the local branch to select informative patches for detailed local artifacts extraction. Due to the lack of a face forgery dataset simulating real-world applications for evaluation, we further create a challenging face forgery dataset, named DeepFakeFaceForensics (DF^3), which contains 6 state-of-the-art generation models and a variety of post-processing techniques to approach the real-world scenarios. Experimental results demonstrate the superiority of our method to the state-of-the-art methods on the proposed DF^3 dataset and three other open-source datasets.

凭借生成的对抗网络（GANS）和其变体的全面合成和部分面部操纵已经提高了广泛的公众关注。在多媒体取证区，检测和最终定位图像伪造已成为一个必要的任务。在这项工作中，我们调查了现有的GaN的面部操纵方法的架构，并观察到其上采样方法的不完美可以作为GaN合成假图像检测和伪造定位的重要资产。基于这一基本观察，我们提出了一种新的方法，称为FAKELOCATOR，以在操纵的面部图像上全分辨率获得高分辨率准确性。据我们所知，这是第一次尝试解决GaN的虚假本地化问题，灰度尺寸贴身贴图，保留了更多伪造地区的信息。为了改善Fakelocator跨越多种面部属性的普遍性，我们介绍了注意机制来指导模型的培训。为了改善不同的DeepFake方法的FakElecator的普遍性，我们在训练图像上提出部分数据增强和单一样本聚类。对流行的面部刻度++，DFFD数据集和七种不同最先进的GAN的面部生成方法的实验结果表明了我们方法的有效性。与基线相比，我们的方法在各种指标上表现更好。此外，该方法对针对各种现实世界的面部图像劣化进行鲁棒，例如JPEG压缩，低分辨率，噪声和模糊。

生成对抗网络（GAN）的快速进步为图像归因提出了新的挑战；检测图像是否是合成的，如果是的，则确定哪些GAN体系结构创建了它。独特的是，我们为该任务提供了一个解决方案，能够1）将图像与其语义内容匹配； 2）随着图像在线重新共享时，通常会遇到良性转换（质量，分辨率，形状等）的良好转化。为了使我们的研究形式化，收集了一个具有挑战性的基准归因88，以实现强大而实用的图像归因。然后，我们提出了基于表示混合和新颖损失的GAN指纹技术Repmix。我们验证了其追踪gan生成图像的出处的能力，不变到图像的语义内容以及对扰动的鲁棒性。我们表明，我们的方法从现有的GAN指纹识别方面有显着提高，既有语义泛化和稳健性。数据和代码可从https://github.com/tubui/image_attribution获得。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

生成的对抗性网络（GANS）的快速进展提出了滥用恶意目的的担忧，特别是在创造虚假的脸部图像方面。尽管许多所提出的方法成功地检测基于GaN的合成图像，但它们仍然受到大量训练假图像数据集和探测器对未知面部图像的普遍性的挑战的限制。在本文中，我们提出了一种新方法，探讨了颜色通道的异步频谱，这对于培训无监督和监督的学习模型来区分GaN的合成图像是简单而有效的。我们进一步调查了培训模型的可转换性，该培训模型从一个源域中的建议功能中学习，并在另一个目标域上验证了具有功能分布的先验知识。我们的实验结果表明，频域中光谱的差异是实用的伪影，以有效地检测各种类型的基于GaN的生成图像。

Online media data, in the forms of images and videos, are becoming mainstream communication channels. However, recent advances in deep learning, particularly deep generative models, open the doors for producing perceptually convincing images and videos at a low cost, which not only poses a serious threat to the trustworthiness of digital information but also has severe societal implications. This motivates a growing interest of research in media tampering detection, i.e., using deep learning techniques to examine whether media data have been maliciously manipulated. Depending on the content of the targeted images, media forgery could be divided into image tampering and Deepfake techniques. The former typically moves or erases the visual elements in ordinary images, while the latter manipulates the expressions and even the identity of human faces. Accordingly, the means of defense include image tampering detection and Deepfake detection, which share a wide variety of properties. In this paper, we provide a comprehensive review of the current media tampering detection approaches, and discuss the challenges and trends in this field for future research.

近年来，视觉伪造达到了人类无法识别欺诈的复杂程度，这对信息安全构成了重大威胁。出现了广泛的恶意申请，例如名人的假新闻，诽谤或勒索，政治战中的政治家冒充，以及谣言的传播吸引观点。结果，已经提出了一种富有的视觉验证技术，以试图阻止这种危险的趋势。在本文中，我们使用全面的和经验方法，提供了一种基准，可以对视觉伪造和视觉取证进行深入的洞察。更具体地，我们开发一个独立的框架，整合最先进的假冒生成器和探测器，并使用各种标准来测量这些技术的性能。我们还对基准测试结果进行了详尽的分析，确定了在措施与对策之间永无止境的战争中的比较参考的方法的特征。

生成的对抗网络（GANS）能够生成从真实图像视觉无法区分的图像。然而，最近的研究表明，生成和实际图像在频域中共享显着差异。在本文中，我们探讨了高频分量在GAN训练中的影响。根据我们的观察，在大多数GAN的培训期间，严重的高频差异使鉴别器聚焦在过度高频成分上，阻碍了发电机拟合了对学习图像内容很重要的低频分量。然后，我们提出了两个简单但有效的频率操作，以消除由GAN训练的高频差异引起的副作用：高频混淆（HFC）和高频滤波器（HFF）。拟议的操作是一般的，可以应用于大多数现有的GAN，一小部分成本。在多丢失函数，网络架构和数据集中验证了所提出的操作的高级性能。具体而言，拟议的HFF在Celeba（128 * 128）基于SSNGAN的Celeba无条件生成的Celeba（128 * 128）无条件一代，在Celeba无条件一代基于SSGAN的13.2 \％$ 30.2 \％$ 69.3 \％$ 69.3 \％$ FID在Celeba无条件一代基于Infomaxgan。

Deep learning has enabled realistic face manipulation (i.e., deepfake), which poses significant concerns over the integrity of the media in circulation. Most existing deep learning techniques for deepfake detection can achieve promising performance in the intra-dataset evaluation setting (i.e., training and testing on the same dataset), but are unable to perform satisfactorily in the inter-dataset evaluation setting (i.e., training on one dataset and testing on another). Most of the previous methods use the backbone network to extract global features for making predictions and only employ binary supervision (i.e., indicating whether the training instances are fake or authentic) to train the network. Classification merely based on the learning of global features leads often leads to weak generalizability to unseen manipulation methods. In addition, the reconstruction task can improve the learned representations. In this paper, we introduce a novel approach for deepfake detection, which considers the reconstruction and classification tasks simultaneously to address these problems. This method shares the information learned by one task with the other, which focuses on a different aspect other existing works rarely consider and hence boosts the overall performance. In particular, we design a two-branch Convolutional AutoEncoder (CAE), in which the Convolutional Encoder used to compress the feature map into the latent representation is shared by both branches. Then the latent representation of the input data is fed to a simple classifier and the unsupervised reconstruction component simultaneously. Our network is trained end-to-end. Experiments demonstrate that our method achieves state-of-the-art performance on three commonly-used datasets, particularly in the cross-dataset evaluation setting.

随着神经网络能够生成现实的人造图像，它们有可能改善电影，音乐，视频游戏并使互联网变得更具创造力和鼓舞人心的地方。然而，最新的技术有可能使新的数字方式撒谎。作为响应，出现了多种可靠的方法工具箱，以识别人造图像和其他内容。先前的工作主要依赖于像素空间CNN或傅立叶变换。据我们所知，到目前为止，基于多尺度小波表示的综合伪造图像分析和检测方法始于迄今为止在空间和频率中始终存在。小波转换在一定程度上可以保守空间信息，这使我们能够提出新的分析。比较真实图像和假图像的小波系数可以解释。确定了显着差异。此外，本文提议学习一个模型，以根据自然和gan生成图像的小波包装表示合成图像。正如我们在FFHQ，Celeba和LSUN源识别问题上所证明的那样，我们的轻巧法医分类器在相对较小的网络大小上表现出竞争性或改进的性能。此外，我们研究了二进制脸庞++假检测问题。

在该工作中提出了一种用于检测CNN生成的图像的新方法，称为注意力PIXELHOP（或A-PIXELHOP）。它有三个优点：1）计算复杂性低，模型尺寸小，2）对多种生成型号的高检测性能，以及3）数学透明度。 A-Pixelhop是在假设中难以在本地区域中合成高质量的高频分量的假设。它包含四个构建模块：1）选择边缘/纹理块，其包含显着的高频分量，2）将多个过滤器组应用于它们以获得丰富的空间光谱响应，如功能，3）将功能送至多个二进制分类器。获得一套软化决策，4）开发有效的集合计划，以使软决策融入最终决定。实验结果表明，A-Pixelhop在检测激活的图像中优于最先进的方法。此外，它可以概括到未经看明的生成模型和数据集。

视觉上现实的gan生成图像最近已成为重要的错误信息威胁。研究表明，这些合成图像包含取证痕迹，可以通过法医检测器易于识别。不幸的是，这些探测器建立在神经网络上，这些神经网络容易受到最近开发的对抗性攻击的影响。在本文中，我们提出了一种新的抗飞行攻击，能够欺骗gan生成的图像探测器。我们的攻击使用经过对抗训练的发电机来合成这些检测器与真实图像相关联的迹线。此外，我们提出了一种训练攻击的技术，以便它可以达到可转让性，即可能会欺骗未知的CNN，即没有明确训练它。我们通过一系列广泛的实验评估了我们的攻击，我们表明我们的攻击可以用使用七个不同的gans创建的合成图像欺骗八个最先进的检测CNN，并且超过其他替代攻击。

Figure 1. Multi-domain image-to-image translation results on the CelebA dataset via transferring knowledge learned from the RaFD dataset. The first and sixth columns show input images while the remaining columns are images generated by StarGAN. Note that the images are generated by a single generator network, and facial expression labels such as angry, happy, and fearful are from RaFD, not CelebA.

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

虚假图像的更高质量和广泛传播已经为可靠的法医制作产生了追求。最近已经提出了许多GaN图像探测器。然而，在现实世界的情景中，他们中的大多数都表现出有限的鲁棒性和泛化能力。此外，它们通常依赖于测试时间不可用的侧面信息，即它们不是普遍的。我们研究了这些问题，并基于有限的子采样架构和合适的对比学习范例提出了一种新的GaN图像检测器。在具有挑战性的条件下进行的实验证明了提出的方法是迈向通用GaN图像检测的第一步，确保对常见的图像障碍以及看不见的架构的良好概括。

如果通过参考人类感知能力，他们的培训可以实现深度学习模型可以实现更大的概括吗？我们如何以实际的方式实现这一目标？本文提出了一种首次培训策略来传达大脑监督，以提高泛化（机器人）。这种新的训练方法将人类注释的显着性图纳入了一种机器人损失函数，指导了在求解给定视觉任务时从图像区域的学习特征的模型。类激活映射（CAM）机制用于探测模型在每个训练批处理中的电流显着性，与人为显着性，并惩罚模型以实现大差异。结果综合面检测任务表明，Cyborg损失导致看不见的样本的性能显着改善，这些样本由多种分类网络架构中的六个生成对抗网络（GANS）产生的面部图像组成。我们还表明，与标准损失的培训数据缩放到甚至七次甚至不能击败机器人损失的准确性。作为副作用，我们观察到，在合成面检测的任务方面增加了显式区域注释增加了人类分类性能。这项工作开启了关于如何将人类视力置于损失功能的新研究领域。本文提供了本工作中使用的所有数据，代码和预训练型号。