社会工程（SE）是一种欺骗形式，旨在欺骗人们访问数据，信息，网络甚至金钱。几十年来，SE一直是攻击者进入组织的关键方法，实际上跳过了所有防御。攻击者还定期使用SE来欺骗无辜的人，这是通过威胁要模仿权威或发送受感染的电子邮件的电话，这些电话看起来像是从亲人发送的。 SE攻击可能仍然是犯罪分子的最高攻击向量，因为人类是网络安全中最弱的联系。不幸的是，由于一项称为DeepFakes的新技术到达，威胁只会变得更糟。 AI创建的Deepfake是可信的媒体（例如，视频）。尽管该技术主要用于交换名人的面孔，但也可以用来“木偶”不同的角色。最近，研究人员展示了如何实时部署该技术，以在电话中打电话或在视频通话中重新演奏脸部。鉴于任何新手用户都可以下载此技术来使用它，因此犯罪分子已经开始将其货币化以进行SE攻击也就不足为奇了。在本文中，我们提出了一种轻巧的应用程序，该应用程序可以保护组织和个人免受Deepfake SE攻击。通过挑战和响应方法，我们利用了深击技术的技术和理论局限性来暴露攻击者。现有的防御解决方案对于终点解决方案来说太重了，可以通过动态攻击者逃避。相比之下，我们的方法是轻量级，打破了反应性的军备竞赛，使攻击者处于不利地位。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

Online media data, in the forms of images and videos, are becoming mainstream communication channels. However, recent advances in deep learning, particularly deep generative models, open the doors for producing perceptually convincing images and videos at a low cost, which not only poses a serious threat to the trustworthiness of digital information but also has severe societal implications. This motivates a growing interest of research in media tampering detection, i.e., using deep learning techniques to examine whether media data have been maliciously manipulated. Depending on the content of the targeted images, media forgery could be divided into image tampering and Deepfake techniques. The former typically moves or erases the visual elements in ordinary images, while the latter manipulates the expressions and even the identity of human faces. Accordingly, the means of defense include image tampering detection and Deepfake detection, which share a wide variety of properties. In this paper, we provide a comprehensive review of the current media tampering detection approaches, and discuss the challenges and trends in this field for future research.

随着过去五年的快速发展，面部身份验证已成为最普遍的生物识别方法。得益于高准确的识别性能和用户友好的用法，自动面部识别（AFR）已爆炸成多次实用的应用程序，而不是设备解锁，签到和经济支付。尽管面部身份验证取得了巨大的成功，但各种面部表现攻击（FPA），例如印刷攻击，重播攻击和3D面具攻击，但仍引起了不信任的问题。除了身体上的攻击外，面部视频/图像很容易受到恶意黑客发起的各种数字攻击技术的影响，从而对整个公众造成了潜在的威胁。由于无限制地访问了巨大的数字面部图像/视频，并披露了互联网上流通的易于使用的面部操纵工具，因此没有任何先前专业技能的非专家攻击者能够轻松创建精致的假面，从而导致许多危险的应用程序例如财务欺诈，模仿和身份盗用。这项调查旨在通过提供对现有文献的彻底分析并突出需要进一步关注的问题来建立面部取证的完整性。在本文中，我们首先全面调查了物理和数字面部攻击类型和数据集。然后，我们回顾了现有的反攻击方法的最新和最先进的进度，并突出显示其当前限制。此外，我们概述了面对法医社区中现有和即将面临的挑战的未来研究指示。最后，已经讨论了联合物理和数字面部攻击检​​测的必要性，这在先前的调查中从未进行过研究。

作为内容编辑成熟的工具，以及基于人工智能（AI）综合媒体增长的算法，在线媒体上的操纵内容的存在正在增加。这种现象导致错误信息的传播，从而更需要区分“真实”和“操纵”内容。为此，我们介绍了Videosham，该数据集由826个视频（413个真实和413个操纵）组成。许多现有的DeepFake数据集专注于两种类型的面部操作 - 与另一个受试者的面部交换或更改现有面部。另一方面，Videosham包含更多样化的，上下文丰富的和以人为本的高分辨率视频，使用6种不同的空间和时间攻击组合来操纵。我们的分析表明，最新的操纵检测算法仅适用于一些特定的攻击，并且在Videosham上不能很好地扩展。我们在亚马逊机械土耳其人上进行了一项用户研究，其中1200名参与者可以区分Videosham中的真实视频和操纵视频。最后，我们更深入地研究了人类和sota-Algorithms表演的优势和劣势，以识别需要用更好的AI算法填补的差距。

Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants' confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.

随着数字时代的出现，由于技术进步，每天的任务都是自动化的。但是，技术尚未为人们提供足够的工具和保障措施。随着互联网连接全球越来越多的设备，确保连接设备的问题以均匀的螺旋速率增长。数据盗窃，身份盗窃，欺诈交易，密码妥协和系统漏洞正在成为常规的日常新闻。最近的人工智能进步引起了网络攻击的激烈威胁。 AI几乎应用于不同科学和工程的每个领域。 AI的干预不仅可以使特定任务自动化，而且可以提高效率。因此，很明显，如此美味的传播对网络犯罪分子来说是非常开胃的。因此，传统的网络威胁和攻击现在是``智能威胁''。本文讨论了网络安全和网络威胁，以及传统和智能的防御方式，以防止网络攻击。最终，结束讨论，以潜在的潜在前景结束讨论AI网络安全。

本章的主要范围是作为面部介绍攻击检测的介绍，包括过去几年的关键资源和领域的进步。下一页呈现了面部识别系统可以面对的不同演示攻击，其中攻击者向传感器提供给传感器，主要是相机，呈现攻击仪器（PAI），这通常是照片，视频或掩码，试图冒充真正的用户。首先，我们介绍了面部识别的现状，部署水平及其挑战。此外，我们介绍了面部识别系统可能暴露的漏洞和可能的攻击，表明呈现攻击检测方法的高度重要性。我们审核不同类型的演示攻击方法，从更简单到更复杂，在哪个情况下它们可能是有效的。然后，我们总结了最受欢迎的演示文稿攻击检测方法来处理这些攻击。最后，我们介绍了研究界使用的公共数据集，以探索面部生物识别性的脆弱性，以呈现攻击，并对已知的PAI制定有效的对策。

AI的最新进展，尤其是深度学习，导致创建新的现实合成媒体（视频，图像和音频）以及对现有媒体的操纵的创建显着增加，这导致了新术语的创建。 'deepfake'。基于英语和中文中的研究文献和资源，本文对Deepfake进行了全面的概述，涵盖了这一新兴概念的多个重要方面，包括1）不同的定义，2）常用的性能指标和标准以及3）与DeepFake相关的数据集，挑战，比赛和基准。此外，该论文还报告了2020年和2021年发表的12条与DeepFake相关的调查论文的元评估，不仅关注上述方面，而且集中在对关键挑战和建议的分析上。我们认为，就涵盖的各个方面而言，本文是对深层的最全面评论，也是第一个涵盖英语和中国文学和资源的文章。

Identity authentication is the process of verifying one's identity. There are several identity authentication methods, among which biometric authentication is of utmost importance. Facial recognition is a sort of biometric authentication with various applications, such as unlocking mobile phones and accessing bank accounts. However, presentation attacks pose the greatest threat to facial recognition. A presentation attack is an attempt to present a non-live face, such as a photo, video, mask, and makeup, to the camera. Presentation attack detection is a countermeasure that attempts to identify between a genuine user and a presentation attack. Several industries, such as financial services, healthcare, and education, use biometric authentication services on various devices. This illustrates the significance of presentation attack detection as the verification step. In this paper, we study state-of-the-art to cover the challenges and solutions related to presentation attack detection in a single place. We identify and classify different presentation attack types and identify the state-of-the-art methods that could be used to detect each of them. We compare the state-of-the-art literature regarding attack types, evaluation metrics, accuracy, and datasets and discuss research and industry challenges of presentation attack detection. Most presentation attack detection approaches rely on extensive data training and quality, making them difficult to implement. We introduce an efficient active presentation attack detection approach that overcomes weaknesses in the existing literature. The proposed approach does not require training data, is CPU-light, can process low-quality images, has been tested with users of various ages and is shown to be user-friendly and highly robust to 2-dimensional presentation attacks.

本文介绍了我们关于使用时间图像进行深泡探测的结果和发现。我们通过使用这些面部地标上的像素值构造图像（称为时间图像），模拟了在给定视频跨帧的468个面部标志物横跨给定视频框架中的临时关系。CNN能够识别给定图像的像素之间存在的空间关系。研究了10种不同的成像网模型。

Face manipulation technology is advancing very rapidly, and new methods are being proposed day by day. The aim of this work is to propose a deepfake detector that can cope with the wide variety of manipulation methods and scenarios encountered in the real world. Our key insight is that each person has specific biometric characteristics that a synthetic generator cannot likely reproduce. Accordingly, we extract high-level audio-visual biometric features which characterize the identity of a person, and use them to create a person-of-interest (POI) deepfake detector. We leverage a contrastive learning paradigm to learn the moving-face and audio segment embeddings that are most discriminative for each identity. As a result, when the video and/or audio of a person is manipulated, its representation in the embedding space becomes inconsistent with the real identity, allowing reliable detection. Training is carried out exclusively on real talking-face videos, thus the detector does not depend on any specific manipulation method and yields the highest generalization ability. In addition, our method can detect both single-modality (audio-only, video-only) and multi-modality (audio-video) attacks, and is robust to low-quality or corrupted videos by building only on high-level semantic features. Experiments on a wide variety of datasets confirm that our method ensures a SOTA performance, with an average improvement in terms of AUC of around 3%, 10%, and 4% for high-quality, low quality, and attacked videos, respectively. https://github.com/grip-unina/poi-forensics

DeepFake是使用人工智能（AI）方法合成生成或操纵的内容或材料，以防止真实，并且可以包括音频，视频，图像和文本合成。与现有的调查论文相比，此调查与现有的调查文件相比具有不同的视角，主要专注于视频和图像Deewakes。该调查不仅评估了不同的DeepFake类别中的生成和检测方法，而且主要关注大多数现有调查中被忽视的音频Deewakes。本文重视分析并提供了一个独特的音频Deepfake研究来源，主要是从2016到2020年的范围。据我们所知，这是第一个专注于英语中音频Deewakes的调查。本次调查为读者提供了摘要1）不同的DeepFake类别2）如何创建和检测到它们3）该领域的最新趋势和检测方法中的缺点4）音频DeepFakes，如何更详细地创建和检测到它们这是本文的主要重点。我们发现生成的对抗性网络（GAN），卷积神经网络（CNN）和深神经网络（DNN）是创建和检测德刀的常见方式。在我们对超过140种方法的评估中，我们发现大多数重点都在视频Deewakes上，特别是在播放视频德国。我们发现，对于文本Deew，有更多的一代方法，但较少的检测方法，包括假新闻检测，这已成为一个有争议的研究领域，因为由于人类发电的假含量重叠的潜力。本文是完整调查的缩写版本，并揭示了研究音频Deew饼的清晰，特别是检测音频Deewakes。

近年来，社交媒体已成长为许多在线用户的主要信息来源。这引起了错误信息通过深击的传播。 Deepfakes是视频或图像，代替一个人面对另一个计算机生成的面孔，通常是社会上更知名的人。随着技术的最新进展，技术经验很少的人可以产生这些视频。这使他们能够模仿社会中的权力人物，例如总统或名人，从而产生了传播错误信息和其他对深击的邪恶用途的潜在危险。为了应对这种在线威胁，研究人员开发了旨在检测​​深击的模型。这项研究着眼于各种深层检测模型，这些模型使用深度学习算法来应对这种迫在眉睫的威胁。这项调查着重于提供深层检测模型的当前状态的全面概述，以及许多研究人员采取的独特方法来解决此问题。在本文中，将对未来工作的好处，局限性和建议进行彻底讨论。

随着全球人口越来越多的人口驱动世界各地的快速城市化，有很大的需要蓄意审议值得生活的未来。特别是，随着现代智能城市拥抱越来越多的数据驱动的人工智能服务，值得记住技术可以促进繁荣，福祉，城市居住能力或社会正义，而是只有当它具有正确的模拟补充时（例如竭尽全力，成熟机构，负责任治理）;这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明，各种技术商业模式和特征实际上可以有助于极端主义，极化，错误信息和互联网成瘾等社会问题。鉴于这些观察，解决了确保了诸如未来城市技术基岩的安全，安全和可解释性的哲学和道德问题，以为未来城市的技术基岩具有至关重要的。在全球范围内，有能够更加人性化和以人为本的技术。在本文中，我们分析和探索了在人以人为本的应用中成功部署AI的安全，鲁棒性，可解释性和道德（数据和算法）挑战的关键挑战，特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查，并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制，陷阱和未来研究方向，以及如何填补当前的空白并导致更好的解决方案。我们认为，这种严谨的分析将为域名的未来研究提供基准。

在今天的数字错误信息的时代，我们越来越受到视频伪造技术构成的新威胁。这种伪造的范围从Deepfakes（例如，复杂的AI媒体合成方法）的经济饼（例如，精致的AI媒体合成方法）从真实视频中无法区分。为了解决这一挑战，我们提出了一种多模态语义法医法，可以发现超出视觉质量差异的线索，从而处理更简单的便宜赌注和视觉上有说服力的德国。在这项工作中，我们的目标是验证视频中看到的据称人士确实是通过检测他们的面部运动与他们所说的词语之间的异常对应。我们利用归因的想法，以了解特定于人的生物识别模式，将给定发言者与他人区分开来。我们使用可解释的行动单位（AUS）来捕捉一个人的面部和头部运动，而不是深入的CNN视觉功能，我们是第一个使用字样的面部运动分析。与现有的人特定的方法不同，我们的方法也有效地对抗专注于唇部操纵的攻击。我们进一步展示了我们的方法在培训中没有看到的一系列假装的效率，包括未经视频操纵的培训，这在事先工作中没有解决。

强大的深度学习技术的发展为社会和个人带来了一些负面影响。一个这样的问题是假媒体的出现。为了解决这个问题，我们组织了可信赖的媒体挑战（TMC）来探讨人工智能（AI）如何利用如何打击假媒体。我们与挑战一起发布了一个挑战数据集，由4,380张假和2,563个真实视频组成。所有这些视频都伴随着Audios，采用不同的视频和/或音频操作方法来生产不同类型的假媒体。数据集中的视频具有各种持续时间，背景，照明，最小分辨率为360p，并且可能包含模拟传输误差和不良压缩的扰动。我们还开展了用户学习，以展示所作数据集的质量。结果表明，我们的数据集具有有希望的质量，可以在许多情况下欺骗人类参与者。

机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。

由于使用语音处理系统（VPS）在日常生活中继续变得更加普遍，通过增加商业语音识别设备等应用以及主要文本到语音软件，因此对这些系统的攻击越来越复杂，各种各样的，不断发展。随着VPS的用例快速发展到新的空间和目的，对隐私的潜在后果越来越危险。此外，不断增长的数量和越来越多的空中攻击的实用性使系统失败更可能。在本文中，我们将识别和分类对语音处理系统的独特攻击的安排。多年来，研究已经从专业，未标准的攻击中迁移，导致系统的故障以及拒绝服务更加普遍的目标攻击，这些攻击可以强迫对手控制的结果。目前和最常用的机器学习系统和深神经网络在现代语音处理系统的核心内部建立，重点是性能和可扩展性而不是安全性。因此，我们对我们来重新评估发展语音处理景观并确定当前攻击和防御的状态，以便我们可能会建议未来的发展和理论改进。

随着深度学习的进步，演讲者的验证取得了很高的准确性，并且在我们日常生活中的许多场景中，尤其是Web服务市场不断增长的一种生物识别验证选项，成为一种生物识别验证选项。与传统密码相比，“人声密码”更加方便，因为它们可以减轻人们记住不同密码的记忆。但是，新的机器学习攻击使这些语音身份验证系统处于危险之中。没有强大的安全保证，攻击者可以通过欺骗基于深神经网络（DNN）的语音识别模型来访问合法用户的Web帐户。在本文中，我们证明了对语音身份验证系统的易于实现的数据中毒攻击，这几乎无法通过现有的防御机制来捕获。因此，我们提出了一种更强大的防御方法，称为“卫报”，该方法是基于卷积神经网络的歧视者。监护人歧视者整合了一系列新型技术，包括减少偏见，输入增强和集成学习。我们的方法能够将约95％的攻击帐户与普通帐户区分开，这比仅准确性60％的现有方法更有效。