进行了许多有效的尝试进行了DeepFake音频检测。但是，他们只能区分真实和假货。对于许多实际的应用程序方案，还需要哪种工具或算法生成DeepFake音频。这提出了一个问题：我们可以检测到DeepFake音频的系统指纹吗？因此，本文进行了初步研究，以检测DeepFake音频的系统指纹。实验是从五个最新的深入学习语音合成系统的DeepFake音频数据集上进行的。结果表明，LFCC功能相对适合系统指纹检测。此外，RESNET在基于LCNN和X-Vector模型中获得了最佳检测结果。T-SNE可视化表明，不同的语音合成系统会生成不同的系统指纹。

已经进行了许多有效的尝试来进行虚假的音频检测。但是，他们只能提供检测结果，但没有对抗这种伤害的对策。对于许多相关的实际应用，也需要哪种模型或算法生成假音频。因此，我们提出了一个新问题，用于检测虚假音频的Vocoder指纹。实验是在由八个最先进的歌手合成的数据集上进行的。我们已经初步探索了功能和模型体系结构。T-SNE可视化表明，不同的Vocoder会生成不同的Vocoder指纹。

现有的假音频检测系统通常依靠专家经验来设计声学功能或手动设计网络结构的超参数。但是，人工调整参数可能会对结果产生相对明显的影响。几乎不可能手动设置最佳参数集。因此，本文提出了一种完全自动化的终端伪造音频检测方法。我们首先使用WAV2VEC预训练模型来获得语音的高级表示。此外，对于网络结构，我们使用了名为Light-Darts的可区分体系结构搜索（飞镖）的修改版本。它学习了深厚的语音表示，同时自动学习和优化包括卷积操作和残留块组成的复杂神经结构。 ASVSPOOF 2019 LA数据集的实验结果表明，我们提出的系统达到的错误率（EER）为1.08％，这表现优于最先进的单个系统。

DeepFake是使用人工智能（AI）方法合成生成或操纵的内容或材料，以防止真实，并且可以包括音频，视频，图像和文本合成。与现有的调查论文相比，此调查与现有的调查文件相比具有不同的视角，主要专注于视频和图像Deewakes。该调查不仅评估了不同的DeepFake类别中的生成和检测方法，而且主要关注大多数现有调查中被忽视的音频Deewakes。本文重视分析并提供了一个独特的音频Deepfake研究来源，主要是从2016到2020年的范围。据我们所知，这是第一个专注于英语中音频Deewakes的调查。本次调查为读者提供了摘要1）不同的DeepFake类别2）如何创建和检测到它们3）该领域的最新趋势和检测方法中的缺点4）音频DeepFakes，如何更详细地创建和检测到它们这是本文的主要重点。我们发现生成的对抗性网络（GAN），卷积神经网络（CNN）和深神经网络（DNN）是创建和检测德刀的常见方式。在我们对超过140种方法的评估中，我们发现大多数重点都在视频Deewakes上，特别是在播放视频德国。我们发现，对于文本Deew，有更多的一代方法，但较少的检测方法，包括假新闻检测，这已成为一个有争议的研究领域，因为由于人类发电的假含量重叠的潜力。本文是完整调查的缩写版本，并揭示了研究音频Deew饼的清晰，特别是检测音频Deewakes。

Previous databases have been designed to further the development of fake audio detection. However, fake utterances are mostly generated by altering timbre, prosody, linguistic content or channel noise of original audios. They ignore a fake situation, in which the attacker manipulates an acoustic scene of the original audio with another forgery one. It will pose a major threat to our society if some people misuse the manipulated audio with malicious purpose. Therefore, this motivates us to fill in the gap. This paper designs such a dataset for scene fake audio detection (SceneFake). A manipulated audio in the SceneFake dataset involves only tampering the acoustic scene of an utterance by using speech enhancement technologies. We can not only detect fake utterances on a seen test set but also evaluate the generalization of fake detection models to unseen manipulation attacks. Some benchmark results are described on the SceneFake dataset. Besides, an analysis of fake attacks with different speech enhancement technologies and signal-to-noise ratios are presented on the dataset. The results show that scene manipulated utterances can not be detected reliably by the existing baseline models of ASVspoof 2019. Furthermore, the detection of unseen scene manipulation audio is still challenging.

最近，先驱研究工作提出了大量的声学特征（原木功率谱图，线性频率卷轴系数，恒定的q cepstral系数等），以进行音频深层检测，获得良好的性能，并表明不同的子带对音频有不同的贡献DeepFake检测。但是，这缺乏对子带中特定信息的解释，这些功能也丢失了诸如阶段之类的信息。受合成语音机制的启发，基本频率（F0）信息用于提高综合语音的质量，而合成语音的F0仍然太平均，这与真实语音的F0差异很大。可以预期，F0可以用作重要信息来区分真正的语言和虚假语音，而由于F0的分布不规则，因此不能直接使用此信息。相反，选择了大多数F0的频带作为输入特征。同时，为了充分利用相位和全频段信息，我们还建议使用真实和虚构的频谱图作为互补输入功能，并分别对Discoint子带进行建模。最后，融合了F0的结果，真实和假想的频谱图。 ASVSPOOF 2019 LA数据集的实验结果表明，我们所提出的系统对于音频DeepFake检测任务非常有效，达到等效错误率（EER）为0.43％，几乎超过了所有系统。

得益于深度学习的最新进展，如今存在复杂的生成工具，这些工具产生了极其现实的综合语音。但是，这种工具的恶意使用是可能的，有可能对我们的社会构成严重威胁。因此，合成语音检测已成为一个紧迫的研究主题，最近提出了各种各样的检测方法。不幸的是，它们几乎没有概括为在训练阶段从未见过的工具产生的合成音频，这使他们不适合面对现实世界的情况。在这项工作中，我们旨在通过提出一种仅利用说话者的生物特征的新检测方法来克服这个问题，而无需提及特定的操纵。由于仅在实际数据上对检测器进行训练，因此可以自动确保概括。建议的方法可以基于现成的扬声器验证工具实现。我们在三个流行的测试集上测试了几种这样的解决方案，从而获得了良好的性能，高概括能力和高度鲁棒性。

最近的深层摄影的出现使操纵和生成的内容成为机器学习研究的最前沿。自动检测深击已经看到了许多新的机器学习技术，但是，人类的检测功能的探索功能要少得多。在本文中，我们介绍了比较人类和机器检测用于模仿某人声音的音频深击的能力的结果。为此，我们使用基于Web的应用程序框架作为游戏。要求参与者区分真实和假音频样本。在我们的实验中，有378位唯一用户与最先进的AI DeepFake检测算法竞争，以12540的比赛总数。我们发现，人类和深层检测算法具有相似的优势和劣势，都在努力检测某些类型的攻击。这与许多应用领域（例如对象检测或面部识别）中AI的超人性能形成对比。关于人类的成功因素，我们发现IT专业人员没有非专业人士的优势，但母语人士比非本地人的人具有优势。此外，我们发现年长的参与者往往比年轻的参与者更容易受到影响。在为人类设计未来的网络安全培训以及开发更好的检测算法时，这些见解可能会有所帮助。

深度生成型号有可能对社会造成重大危害。认识到这种威胁，出现了检测所谓的“Deewakes”的研究的程度。本研究大多数往往侧重于图像域，而探索生成的音频信号的研究已经忽略了。在本文中，我们提出了三个关键贡献来缩小这种差距。首先，我们为研究人员提供了用于分析音频信号的公共信号处理技术的介绍。其次，我们提出了一种新的数据集，我们从五个不同的网络架构中收集了九个样本集，跨越两种语言。最后，我们提供了从信号处理社区采用的两个基线模型的从业者，以促进该领域的进一步研究。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

近年来，随着面部编辑和发电的迅速发展，越来越多的虚假视频正在社交媒体上流传，这引起了极端公众的关注。基于频域的现有面部伪造方法发现，与真实图像相比，GAN锻造图像在频谱中具有明显的网格视觉伪像。但是对于综合视频，这些方法仅局限于单个帧，几乎不关注不同框架之间最歧视的部分和时间频率线索。为了充分利用视频序列中丰富的信息，本文对空间和时间频域进行了视频伪造检测，并提出了一个离散的基于余弦转换的伪造线索增强网络（FCAN-DCT），以实现更全面的时空功能表示。 FCAN-DCT由一个骨干网络和两个分支组成：紧凑特征提取（CFE）模块和频率时间注意（FTA）模块。我们对两个可见光（VIS）数据集Wilddeepfake和Celeb-DF（V2）进行了彻底的实验评估，以及我们的自我构建的视频伪造数据集DeepFakenir，这是第一个近境模式的视频伪造数据集。实验结果证明了我们方法在VIS和NIR场景中检测伪造视频的有效性。

随着面部伪造技术的快速发展，DeepFake视频在数字媒体上引起了广泛的关注。肇事者大量利用这些视频来传播虚假信息并发表误导性陈述。大多数现有的DeepFake检测方法主要集中于纹理特征，纹理特征可能会受到外部波动（例如照明和噪声）的影响。此外，基于面部地标的检测方法对外部变量更强大，但缺乏足够的细节。因此，如何在空间，时间和频域中有效地挖掘独特的特征，并将其与面部地标融合以进行伪造视频检测仍然是一个悬而未决的问题。为此，我们提出了一个基于多种模式的信息和面部地标的几何特征，提出了地标增强的多模式图神经网络（LEM-GNN）。具体而言，在框架级别上，我们设计了一种融合机制来挖掘空间和频域元素的联合表示，同时引入几何面部特征以增强模型的鲁棒性。在视频级别，我们首先将视频中的每个帧视为图中的节点，然后将时间信息编码到图表的边缘。然后，通过应用图形神经网络（GNN）的消息传递机制，将有效合并多模式特征，以获得视频伪造的全面表示。广泛的实验表明，我们的方法始终优于广泛使用的基准上的最先进（SOTA）。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

Synthetic voice and splicing audio clips have been generated to spoof Internet users and artificial intelligence (AI) technologies such as voice authentication. Existing research work treats spoofing countermeasures as a binary classification problem: bonafide vs. spoof. This paper extends the existing Res2Net by involving the recent Conformer block to further exploit the local patterns on acoustic features. Experimental results on ASVspoof 2019 database show that the proposed SE-Res2Net-Conformer architecture is able to improve the spoofing countermeasures performance for the logical access scenario. In addition, this paper also proposes to re-formulate the existing audio splicing detection problem. Instead of identifying the complete splicing segments, it is more useful to detect the boundaries of the spliced segments. Moreover, a deep learning approach can be used to solve the problem, which is different from the previous signal processing techniques.

在过去的几年中，虚假内容的增长速度令人难以置信。社交媒体和在线平台的传播使他们的恶意演员越来越多地传播大规模的传播。同时，由于虚假图像生成方法的扩散越来越大，已经提出了许多基于深度学习的检测技术。这些方法中的大多数依赖于从RGB图像中提取显着特征，以通过二进制分类器检测图像是假的或真实的。在本文中，我们提出了DepthFake，这是一项有关如何使用深度图改善基于经典RGB的方法的研究。深度信息是从具有最新单眼深度估计技术的RGB图像中提取的。在这里，我们证明了深度映射对深料检测任务的有效贡献对稳健的预训练架构。实际上，针对faceforensic ++数据集的标准RGB体系结构，对于一些DeepFake攻击，对一些DeepFake攻击的平均提高了3.20％和11.7％。

AI的最新进展，尤其是深度学习，导致创建新的现实合成媒体（视频，图像和音频）以及对现有媒体的操纵的创建显着增加，这导致了新术语的创建。 'deepfake'。基于英语和中文中的研究文献和资源，本文对Deepfake进行了全面的概述，涵盖了这一新兴概念的多个重要方面，包括1）不同的定义，2）常用的性能指标和标准以及3）与DeepFake相关的数据集，挑战，比赛和基准。此外，该论文还报告了2020年和2021年发表的12条与DeepFake相关的调查论文的元评估，不仅关注上述方面，而且集中在对关键挑战和建议的分析上。我们认为，就涵盖的各个方面而言，本文是对深层的最全面评论，也是第一个涵盖英语和中国文学和资源的文章。

自动扬声器识别算法通常使用预定义的过滤库，例如MEL频率和伽马酮滤波器，以表征语音音频。但是，已经观察到使用这些滤纸提取的功能对各种音频降解没有弹性。在这项工作中，我们提出了一种基于学习的技术，以从大量的语音音频中推断出滤纸设计。这种过滤库的目的是提取特征在非理想的音频条件下（例如退化，持续时间短和多语言语音）的功能。为此，1D卷积神经网络旨在直接从原始的语音音频中学习一个名为deepvox的时间域滤纸。其次，开发了一种自适应三重态挖掘技术，以有效地挖掘最适合训练过滤器的数据样本。第三，对DeepVox FilterBanks进行的详细消融研究揭示了提取特征中的声源和声带特征的存在。 Voxceleb2，NIST SRE 2008、2010和2018和Fisher Speech数据集的实验结果证明了DeepVox特征在各种退化，短期和多语言语音中的功效。 DeepVox的功能还显示出可提高现有说话者识别算法的性能，例如XVECTOR-PLDA和IVECTOR-PLDA。

音频深击允许创造高质量，令人信服的话语，因此由于其潜在的应用或假新闻等潜在的应用而构成威胁。检测这些操作的方法应以良好的概括和稳定性为特征，从而导致对训练中未明确包含的技术进行攻击的稳健性。在这项工作中，我们介绍了攻击不可知的数据集 - 两个音频深击和一个反欺骗数据集的组合，由于攻击的使用不连续，它们可以更好地概括检测方法。我们对当前的DeepFake检测方法进行了彻底的分析，并考虑了不同的音频特征（前端）。此外，我们提出了一个基于LCNN的模型，该模型具有LFCC和MEL-SPECTROGRAM前端，该模型不仅具有良好的概括和稳定性结果的特征，而且还显示了基于LFCC的模式的改进 - 我们降低了所有折叠和所有折叠和标准偏差EER分两个折叠高达5％。

最近，由于社交媒体数字取证中的安全性和隐私问题，DeepFake引起了广泛的公众关注。随着互联网上广泛传播的深层视频变得越来越现实，传统的检测技术未能区分真实和假货。大多数现有的深度学习方法主要集中于使用卷积神经网络作为骨干的局部特征和面部图像中的关系。但是，本地特征和关系不足以用于模型培训，无法学习足够的一般信息以进行深层检测。因此，现有的DeepFake检测方法已达到瓶颈，以进一步改善检测性能。为了解决这个问题，我们提出了一个深度卷积变压器，以在本地和全球范围内纳入决定性图像。具体而言，我们应用卷积池和重新注意事项来丰富提取的特征并增强功效。此外，我们在模型训练中采用了几乎没有讨论的图像关键框架来改进性能，并可视化由视频压缩引起的密钥和正常图像帧之间的特征数量差距。我们最终通过在几个DeepFake基准数据集上进行了广泛的实验来说明可传递性。所提出的解决方案在内部和跨数据库实验上始终优于几个最先进的基线。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。