在该工作中提出了一种用于检测CNN生成的图像的新方法,称为注意力PIXELHOP(或A-PIXELHOP)。它有三个优点:1)计算复杂性低,模型尺寸小,2)对多种生成型号的高检测性能,以及3)数学透明度。 A-Pixelhop是在假设中难以在本地区域中合成高质量的高频分量的假设。它包含四个构建模块:1)选择边缘/纹理块,其包含显着的高频分量,2)将多个过滤器组应用于它们以获得丰富的空间光谱响应,如功能,3)将功能送至多个二进制分类器。获得一套软化决策,4)开发有效的集合计划,以使软决策融入最终决定。实验结果表明,A-Pixelhop在检测激活的图像中优于最先进的方法。此外,它可以概括到未经看明的生成模型和数据集。
translated by 谷歌翻译
With the rapid development of deep generative models (such as Generative Adversarial Networks and Auto-encoders), AI-synthesized images of the human face are now of such high quality that humans can hardly distinguish them from pristine ones. Although existing detection methods have shown high performance in specific evaluation settings, e.g., on images from seen models or on images without real-world post-processings, they tend to suffer serious performance degradation in real-world scenarios where testing images can be generated by more powerful generation models or combined with various post-processing operations. To address this issue, we propose a Global and Local Feature Fusion (GLFF) to learn rich and discriminative representations by combining multi-scale global features from the whole image with refined local features from informative patches for face forgery detection. GLFF fuses information from two branches: the global branch to extract multi-scale semantic features and the local branch to select informative patches for detailed local artifacts extraction. Due to the lack of a face forgery dataset simulating real-world applications for evaluation, we further create a challenging face forgery dataset, named DeepFakeFaceForensics (DF^3), which contains 6 state-of-the-art generation models and a variety of post-processing techniques to approach the real-world scenarios. Experimental results demonstrate the superiority of our method to the state-of-the-art methods on the proposed DF^3 dataset and three other open-source datasets.
translated by 谷歌翻译
如果通过参考人类感知能力,他们的培训可以实现深度学习模型可以实现更大的概括吗?我们如何以实际的方式实现这一目标?本文提出了一种首次培训策略来传达大脑监督,以提高泛化(机器人)。这种新的训练方法将人类注释的显着性图纳入了一种机器人损失函数,指导了在求解给定视觉任务时从图像区域的学习特征的模型。类激活映射(CAM)机制用于探测模型在每个训练批处理中的电流显着性,与人为显着性,并惩罚模型以实现大差异。结果综合面检测任务表明,Cyborg损失导致看不见的样本的性能显着改善,这些样本由多种分类网络架构中的六个生成对抗网络(GANS)产生的面部图像组成。我们还表明,与标准损失的培训数据缩放到甚至七次甚至不能击败机器人损失的准确性。作为副作用,我们观察到,在合成面检测的任务方面增加了显式区域注释增加了人类分类性能。这项工作开启了关于如何将人类视力置于损失功能的新研究领域。本文提供了本工作中使用的所有数据,代码和预训练型号。
translated by 谷歌翻译
近年来,随着面部编辑和发电的迅速发展,越来越多的虚假视频正在社交媒体上流传,这引起了极端公众的关注。基于频域的现有面部伪造方法发现,与真实图像相比,GAN锻造图像在频谱中具有明显的网格视觉伪像。但是对于综合视频,这些方法仅局限于单个帧,几乎不关注不同框架之间最歧视的部分和时间频率线索。为了充分利用视频序列中丰富的信息,本文对空间和时间频域进行了视频伪造检测,并提出了一个离散的基于余弦转换的伪造线索增强网络(FCAN-DCT),以实现更全面的时空功能表示。 FCAN-DCT由一个骨干网络和两个分支组成:紧凑特征提取(CFE)模块和频率时间注意(FTA)模块。我们对两个可见光(VIS)数据集Wilddeepfake和Celeb-DF(V2)进行了彻底的实验评估,以及我们的自我构建的视频伪造数据集DeepFakenir,这是第一个近境模式的视频伪造数据集。实验结果证明了我们方法在VIS和NIR场景中检测伪造视频的有效性。
translated by 谷歌翻译
随着面部伪造技术的快速发展,DeepFake视频在数字媒体上引起了广泛的关注。肇事者大量利用这些视频来传播虚假信息并发表误导性陈述。大多数现有的DeepFake检测方法主要集中于纹理特征,纹理特征可能会受到外部波动(例如照明和噪声)的影响。此外,基于面部地标的检测方法对外部变量更强大,但缺乏足够的细节。因此,如何在空间,时间和频域中有效地挖掘独特的特征,并将其与面部地标融合以进行伪造视频检测仍然是一个悬而未决的问题。为此,我们提出了一个基于多种模式的信息和面部地标的几何特征,提出了地标增强的多模式图神经网络(LEM-GNN)。具体而言,在框架级别上,我们设计了一种融合机制来挖掘空间和频域元素的联合表示,同时引入几何面部特征以增强模型的鲁棒性。在视频级别,我们首先将视频中的每个帧视为图中的节点,然后将时间信息编码到图表的边缘。然后,通过应用图形神经网络(GNN)的消息传递机制,将有效合并多模式特征,以获得视频伪造的全面表示。广泛的实验表明,我们的方法始终优于广泛使用的基准上的最先进(SOTA)。
translated by 谷歌翻译
生成的对抗性网络(GANS)的快速进展提出了滥用恶意目的的担忧,特别是在创造虚假的脸部图像方面。尽管许多所提出的方法成功地检测基于GaN的合成图像,但它们仍然受到大量训练假图像数据集和探测器对未知面部图像的普遍性的挑战的限制。在本文中,我们提出了一种新方法,探讨了颜色通道的异步频谱,这对于培训无监督和监督的学习模型来区分GaN的合成图像是简单而有效的。我们进一步调查了培训模型的可转换性,该培训模型从一个源域中的建议功能中学习,并在另一个目标域上验证了具有功能分布的先验知识。我们的实验结果表明,频域中光谱的差异是实用的伪影,以有效地检测各种类型的基于GaN的生成图像。
translated by 谷歌翻译
这项工作提出了一种基于连续的子空间学习(SSL)的生成建模方法。与文献中的大多数生成模型不同,我们的方法不利用神经网络来分析基本源分布和合成图像。所得的方法称为渐进属性引导可扩展的鲁棒图像生成(PAGER)模型,在数学透明度,渐进式内容生成,较低的训练时间,较少的训练样本以及对条件图像生成的扩展性方面具有优势。 Pager由三个模块组成:核心生成器,分辨率增强器和质量助推器。核心发电机了解低分辨率图像的分布并执行无条件的图像生成。分辨率增强子通过条件产生增加图像分辨率。最后,质量助推器为生成的图像增加了更细节。进行了有关MNIST,时尚摄影和Celeba数据集的广泛实验,以证明Pager的生成性能。
translated by 谷歌翻译
Online media data, in the forms of images and videos, are becoming mainstream communication channels. However, recent advances in deep learning, particularly deep generative models, open the doors for producing perceptually convincing images and videos at a low cost, which not only poses a serious threat to the trustworthiness of digital information but also has severe societal implications. This motivates a growing interest of research in media tampering detection, i.e., using deep learning techniques to examine whether media data have been maliciously manipulated. Depending on the content of the targeted images, media forgery could be divided into image tampering and Deepfake techniques. The former typically moves or erases the visual elements in ordinary images, while the latter manipulates the expressions and even the identity of human faces. Accordingly, the means of defense include image tampering detection and Deepfake detection, which share a wide variety of properties. In this paper, we provide a comprehensive review of the current media tampering detection approaches, and discuss the challenges and trends in this field for future research.
translated by 谷歌翻译
深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是,还采用了深度学习进步来创建可能构成隐私,民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此,可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查,更重要的是,提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战,研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景,本研究提供了深入的深层技术的概述,并促进了新的,更强大的方法的发展,以应对日益挑战性的深击。
translated by 谷歌翻译
虽然生成模型的最新进步为社会带来了不同的优势,但它也可以滥用恶意目的,例如欺诈,诽谤和假新闻。为了防止这种情况,进行了剧烈的研究以区分生成的图像从真实图像中的图像,但仍然存在挑战以区分训练设置之外的未经证实的图像。由于模型过度的问题引起了由特定GAN生成的培训数据而产生的数据依赖性,发生了这种限制。为了克服这个问题,我们采用自我监督计划提出一个新颖的框架。我们所提出的方法由人工指纹发生器重构GaN图像的高质量人工指纹进行详细分析,并且通过学习重建的人造指纹来区分GaN图像。为了提高人工指纹发生器的泛化,我们构建具有不同数量的上耦层的多个自动泊。利用许多消融研究,即使不利用训练数据集的GaN图像,也通过表现出先前最先进的算法的概括来验证我们的方法的鲁棒广泛化。
translated by 谷歌翻译
目前的高保真发电和高精度检测DeepFake图像位于臂赛中。我们认为,生产高度逼真和“检测逃避”的深度可以服务于改善未来一代深度检测能力的最终目标。在本文中,我们提出了一种简单但强大的管道,以通过执行隐式空间域陷波滤波来减少假图像的伪影图案而不会损伤图像质量。我们首先表明频域陷波滤波,尽管由于陷波滤波器所需的手动设计,我们的任务对于我们的任务是有效的,但是频域陷波过滤虽然是有效的。因此,我们诉诸基于学习的方法来重现陷波滤波效果,而是仅在空间域中。我们采用添加压倒性的空间噪声来打破周期性噪声模式和深映像滤波来重建无噪声假图像,我们将我们的方法命名为Deadnotch。深度图像过滤为嘈杂图像中的每个像素提供专用过滤器,与其DeepFake对应物相比,产生具有高保真度的滤波图像。此外,我们还使用图像的语义信息来生成对抗性引导映射,以智能地添加噪声。我们对3种代表性的最先进的深蓝进行的大规模评估(在16种DeepFakes上测试)已经证明,我们的技术显着降低了这3种假图像检测方法的准确性,平均和高度为36.79% 97.02%在最好的情况下。
translated by 谷歌翻译
凭借生成的对抗网络(GANS)和其变体的全面合成和部分面部操纵已经提高了广泛的公众关注。在多媒体取证区,检测和最终定位图像伪造已成为一个必要的任务。在这项工作中,我们调查了现有的GaN的面部操纵方法的架构,并观察到其上采样方法的不完美可以作为GaN合成假图像检测和伪造定位的重要资产。基于这一基本观察,我们提出了一种新的方法,称为FAKELOCATOR,以在操纵的面部图像上全分辨率获得高分辨率准确性。据我们所知,这是第一次尝试解决GaN的虚假本地化问题,灰度尺寸贴身贴图,保留了更多伪造地区的信息。为了改善Fakelocator跨越多种面部属性的普遍性,我们介绍了注意机制来指导模型的培训。为了改善不同的DeepFake方法的FakElecator的普遍性,我们在训练图像上提出部分数据增强和单一样本聚类。对流行的面部刻度++,DFFD数据集和七种不同最先进的GAN的面部生成方法的实验结果表明了我们方法的有效性。与基线相比,我们的方法在各种指标上表现更好。此外,该方法对针对各种现实世界的面部图像劣化进行鲁棒,例如JPEG压缩,低分辨率,噪声和模糊。
translated by 谷歌翻译
Face forgery detection plays an important role in personal privacy and social security. With the development of adversarial generative models, high-quality forgery images become more and more indistinguishable from real to humans. Existing methods always regard as forgery detection task as the common binary or multi-label classification, and ignore exploring diverse multi-modality forgery image types, e.g. visible light spectrum and near-infrared scenarios. In this paper, we propose a novel Hierarchical Forgery Classifier for Multi-modality Face Forgery Detection (HFC-MFFD), which could effectively learn robust patches-based hybrid domain representation to enhance forgery authentication in multiple-modality scenarios. The local spatial hybrid domain feature module is designed to explore strong discriminative forgery clues both in the image and frequency domain in local distinct face regions. Furthermore, the specific hierarchical face forgery classifier is proposed to alleviate the class imbalance problem and further boost detection performance. Experimental results on representative multi-modality face forgery datasets demonstrate the superior performance of the proposed HFC-MFFD compared with state-of-the-art algorithms. The source code and models are publicly available at https://github.com/EdWhites/HFC-MFFD.
translated by 谷歌翻译
区分计算机生成(CG)和自然摄影图像(PG)图像对于验证数字图像的真实性和独创性至关重要。但是,最近的尖端生成方法使CG图像中的合成质量很高,这使得这项具有挑战性的任务变得更加棘手。为了解决这个问题,提出了具有深层质地和高频特征的联合学习策略,以进行CG图像检测。我们首先制定并深入分析CG和PG图像的不同采集过程。基于这样的发现,即图像采集中的多个不同模块将导致对图像中基于卷积神经网络(CNN)渲染的不同敏感性不一致,我们提出了一个深层纹理渲染模块,以增强纹理差异和歧视性纹理表示。具体而言,生成语义分割图来指导仿射转换操作,该操作用于恢复输入图像不同区域中的纹理。然后,原始图像和原始图像和渲染图像的高频组件的组合被馈入配备了注意机制的多支球神经网络,该神经网络分别优化了中间特征,并分别促进了空间和通道维度的痕量探索。在两个公共数据集和一个具有更现实和多样化图像的新构建的数据集上进行的广泛实验表明,所提出的方法的表现优于现有方法,从而明确的余量。此外,结果还证明了拟议方法后处理操作和生成对抗网络(GAN)生成的图像的检测鲁棒性和泛化能力。
translated by 谷歌翻译
本文介绍了我们关于使用时间图像进行深泡探测的结果和发现。我们通过使用这些面部地标上的像素值构造图像(称为时间图像),模拟了在给定视频跨帧的468个面部标志物横跨给定视频框架中的临时关系。CNN能够识别给定图像的像素之间存在的空间关系。研究了10种不同的成像网模型。
translated by 谷歌翻译
最近,由于社交媒体数字取证中的安全性和隐私问题,DeepFake引起了广泛的公众关注。随着互联网上广泛传播的深层视频变得越来越现实,传统的检测技术未能区分真实和假货。大多数现有的深度学习方法主要集中于使用卷积神经网络作为骨干的局部特征和面部图像中的关系。但是,本地特征和关系不足以用于模型培训,无法学习足够的一般信息以进行深层检测。因此,现有的DeepFake检测方法已达到瓶颈,以进一步改善检测性能。为了解决这个问题,我们提出了一个深度卷积变压器,以在本地和全球范围内纳入决定性图像。具体而言,我们应用卷积池和重新注意事项来丰富提取的特征并增强功效。此外,我们在模型训练中采用了几乎没有讨论的图像关键框架来改进性能,并可视化由视频压缩引起的密钥和正常图像帧之间的特征数量差距。我们最终通过在几个DeepFake基准数据集上进行了广泛的实验来说明可传递性。所提出的解决方案在内部和跨数据库实验上始终优于几个最先进的基线。
translated by 谷歌翻译
随着神经网络能够生成现实的人造图像,它们有可能改善电影,音乐,视频游戏并使互联网变得更具创造力和鼓舞人心的地方。然而,最新的技术有可能使新的数字方式撒谎。作为响应,出现了多种可靠的方法工具箱,以识别人造图像和其他内容。先前的工作主要依赖于像素空间CNN或傅立叶变换。据我们所知,到目前为止,基于多尺度小波表示的综合伪造图像分析和检测方法始于迄今为止在空间和频率中始终存在。小波转换在一定程度上可以保守空间信息,这使我们能够提出新的分析。比较真实图像和假图像的小波系数可以解释。确定了显着差异。此外,本文提议学习一个模型,以根据自然和gan生成图像的小波包装表示合成图像。正如我们在FFHQ,Celeba和LSUN源识别问题上所证明的那样,我们的轻巧法医分类器在相对较小的网络大小上表现出竞争性或改进的性能。此外,我们研究了二进制脸庞++假检测问题。
translated by 谷歌翻译
Generative Adversarial Networks (GANs) have paved the path towards entirely new media generation capabilities at the forefront of image, video, and audio synthesis. However, they can also be misused and abused to fabricate elaborate lies, capable of stirring up the public debate. The threat posed by GANs has sparked the need to discern between genuine content and fabricated one. Previous studies have tackled this task by using classical machine learning techniques, such as k-nearest neighbours and eigenfaces, which unfortunately did not prove very effective. Subsequent methods have focused on leveraging on frequency decompositions, i.e., discrete cosine transform, wavelets, and wavelet packets, to preprocess the input features for classifiers. However, existing approaches only rely on isotropic transformations. We argue that, since GANs primarily utilize isotropic convolutions to generate their output, they leave clear traces, their fingerprint, in the coefficient distribution on sub-bands extracted by anisotropic transformations. We employ the fully separable wavelet transform and multiwavelets to obtain the anisotropic features to feed to standard CNN classifiers. Lastly, we find the fully separable transform capable of improving the state-of-the-art.
translated by 谷歌翻译
生成的对抗网络由于研究人员的最新性能在生成新图像时仅使用目标分布的数据集,因此引起了研究人员的关注。已经表明,真实图像的频谱和假图像之间存在差异。由于傅立叶变换是一种徒图映射,因此说该模型在学习原始分布方面有一个重大问题是一个公平的结论。在这项工作中,我们研究了当前gan的架构和数学理论中提到的缺点的可能原因。然后,我们提出了一个新模型,以减少实际图像和假图像频谱之间的差异。为此,我们使用几何深度学习的蓝图为频域设计了一个全新的架构。然后,我们通过将原始数据的傅立叶域表示作为训练过程中的主要特征来表明生成图像的质量的有希望的改善。
translated by 谷歌翻译
由于技术成本的降低和卫星发射的增加,卫星图像变得越来越流行和更容易获得。除了提供仁慈的目的外,还可以出于恶意原因(例如错误信息)使用卫星数据。事实上,可以依靠一般图像编辑工具来轻松操纵卫星图像。此外,随着深层神经网络(DNN)的激增,可以生成属于各种领域的现实合成图像,与合成生成的卫星图像的扩散有关的其他威胁正在出现。在本文中,我们回顾了关于卫星图像的产生和操纵的最新技术(SOTA)。特别是,我们既关注从头开始的合成卫星图像的产生,又要通过图像转移技术对卫星图像进行语义操纵,包括从一种类型的传感器到另一种传感器获得的图像的转换。我们还描述了迄今已研究的法医检测技术,以对合成图像伪造进行分类和检测。虽然我们主要集中在法医技术上明确定制的,该技术是针对AI生成的合成内容物的检测,但我们还审查了一些用于一般剪接检测的方法,这些方法原则上也可以用于发现AI操纵图像
translated by 谷歌翻译