现有的假音频检测系统通常依靠专家经验来设计声学功能或手动设计网络结构的超参数。但是，人工调整参数可能会对结果产生相对明显的影响。几乎不可能手动设置最佳参数集。因此，本文提出了一种完全自动化的终端伪造音频检测方法。我们首先使用WAV2VEC预训练模型来获得语音的高级表示。此外，对于网络结构，我们使用了名为Light-Darts的可区分体系结构搜索（飞镖）的修改版本。它学习了深厚的语音表示，同时自动学习和优化包括卷积操作和残留块组成的复杂神经结构。 ASVSPOOF 2019 LA数据集的实验结果表明，我们提出的系统达到的错误率（EER）为1.08％，这表现优于最先进的单个系统。

进行了许多有效的尝试进行了DeepFake音频检测。但是，他们只能区分真实和假货。对于许多实际的应用程序方案，还需要哪种工具或算法生成DeepFake音频。这提出了一个问题：我们可以检测到DeepFake音频的系统指纹吗？因此，本文进行了初步研究，以检测DeepFake音频的系统指纹。实验是从五个最新的深入学习语音合成系统的DeepFake音频数据集上进行的。结果表明，LFCC功能相对适合系统指纹检测。此外，RESNET在基于LCNN和X-Vector模型中获得了最佳检测结果。T-SNE可视化表明，不同的语音合成系统会生成不同的系统指纹。

已经进行了许多有效的尝试来进行虚假的音频检测。但是，他们只能提供检测结果，但没有对抗这种伤害的对策。对于许多相关的实际应用，也需要哪种模型或算法生成假音频。因此，我们提出了一个新问题，用于检测虚假音频的Vocoder指纹。实验是在由八个最先进的歌手合成的数据集上进行的。我们已经初步探索了功能和模型体系结构。T-SNE可视化表明，不同的Vocoder会生成不同的Vocoder指纹。

现有的源单元手机识别方法缺乏源设备的长期特征表征，从而导致与源单元相关特征的不准确表示，从而导致识别精度不足。在本文中，我们提出了一种基于时空表示学习的源细胞手机识别方法，其中包括两个主要部分：提取顺序高斯平均矩阵特征和基于时空表示学习的识别模型的构建。在特征提取部分中，基于对记录源信号的时间序列表示的分析，我们通过使用高斯混合模型对数据分布的灵敏度提取具有长期和短期表示能力的顺序高斯平均矩阵。在模型构建部分中，我们设计了一个结构化的时空表示网络C3D-BILSTM，以充分表征时空信息，结合3D卷积网络和双向长期短期记忆网络，用于短期光谱信息和长期的长期记忆网络波动信息表示学习，并通过融合记录源信号的时空特征信息来准确识别细胞手机。该方法的平均准确性为99.03％的封闭设置识别在CCNU \ _Mobile数据集中的45个手机识别，而在小样本尺寸实验中的平均识别率为98.18％，识别性能优于现有的最新目前的识别性能方法。实验结果表明，该方法在多级细胞手机识别中表现出出色的识别性能。

Previous databases have been designed to further the development of fake audio detection. However, fake utterances are mostly generated by altering timbre, prosody, linguistic content or channel noise of original audios. They ignore a fake situation, in which the attacker manipulates an acoustic scene of the original audio with another forgery one. It will pose a major threat to our society if some people misuse the manipulated audio with malicious purpose. Therefore, this motivates us to fill in the gap. This paper designs such a dataset for scene fake audio detection (SceneFake). A manipulated audio in the SceneFake dataset involves only tampering the acoustic scene of an utterance by using speech enhancement technologies. We can not only detect fake utterances on a seen test set but also evaluate the generalization of fake detection models to unseen manipulation attacks. Some benchmark results are described on the SceneFake dataset. Besides, an analysis of fake attacks with different speech enhancement technologies and signal-to-noise ratios are presented on the dataset. The results show that scene manipulated utterances can not be detected reliably by the existing baseline models of ASVspoof 2019. Furthermore, the detection of unseen scene manipulation audio is still challenging.

最近，先驱研究工作提出了大量的声学特征（原木功率谱图，线性频率卷轴系数，恒定的q cepstral系数等），以进行音频深层检测，获得良好的性能，并表明不同的子带对音频有不同的贡献DeepFake检测。但是，这缺乏对子带中特定信息的解释，这些功能也丢失了诸如阶段之类的信息。受合成语音机制的启发，基本频率（F0）信息用于提高综合语音的质量，而合成语音的F0仍然太平均，这与真实语音的F0差异很大。可以预期，F0可以用作重要信息来区分真正的语言和虚假语音，而由于F0的分布不规则，因此不能直接使用此信息。相反，选择了大多数F0的频带作为输入特征。同时，为了充分利用相位和全频段信息，我们还建议使用真实和虚构的频谱图作为互补输入功能，并分别对Discoint子带进行建模。最后，融合了F0的结果，真实和假想的频谱图。 ASVSPOOF 2019 LA数据集的实验结果表明，我们所提出的系统对于音频DeepFake检测任务非常有效，达到等效错误率（EER）为0.43％，几乎超过了所有系统。

Synthetic voice and splicing audio clips have been generated to spoof Internet users and artificial intelligence (AI) technologies such as voice authentication. Existing research work treats spoofing countermeasures as a binary classification problem: bonafide vs. spoof. This paper extends the existing Res2Net by involving the recent Conformer block to further exploit the local patterns on acoustic features. Experimental results on ASVspoof 2019 database show that the proposed SE-Res2Net-Conformer architecture is able to improve the spoofing countermeasures performance for the logical access scenario. In addition, this paper also proposes to re-formulate the existing audio splicing detection problem. Instead of identifying the complete splicing segments, it is more useful to detect the boundaries of the spliced segments. Moreover, a deep learning approach can be used to solve the problem, which is different from the previous signal processing techniques.

自动扬声器识别算法通常使用预定义的过滤库，例如MEL频率和伽马酮滤波器，以表征语音音频。但是，已经观察到使用这些滤纸提取的功能对各种音频降解没有弹性。在这项工作中，我们提出了一种基于学习的技术，以从大量的语音音频中推断出滤纸设计。这种过滤库的目的是提取特征在非理想的音频条件下（例如退化，持续时间短和多语言语音）的功能。为此，1D卷积神经网络旨在直接从原始的语音音频中学习一个名为deepvox的时间域滤纸。其次，开发了一种自适应三重态挖掘技术，以有效地挖掘最适合训练过滤器的数据样本。第三，对DeepVox FilterBanks进行的详细消融研究揭示了提取特征中的声源和声带特征的存在。 Voxceleb2，NIST SRE 2008、2010和2018和Fisher Speech数据集的实验结果证明了DeepVox特征在各种退化，短期和多语言语音中的功效。 DeepVox的功能还显示出可提高现有说话者识别算法的性能，例如XVECTOR-PLDA和IVECTOR-PLDA。

在空中交通管制（ATC）控制器飞行员谈话的自动语音指令的理解（SIU）不仅需要认识到的演讲词和语义，但也确定了演讲者的角色。然而，很少有在空中交通通信专注于扬声器的作用识别（SRI）自动认识系统发表的作品。在本文中，我们制定管制员 - 驾驶员通信的SRI任务作为二元分类问题。提出此外，基于文本的，基于语音和语音和文本为基础的多模态的方法来达到SRI任务的全面比较。消融的比较方法的影响，各种先进的神经网络架构应用进行优化的，基于语音的基于文本和方法的实现。最重要的是，多模态扬声器的作用识别网络（MMSRINet）设计同时考虑语音和文本模式功能实现的SRI任务。聚集形态特征，模态融合模块提出了保险丝和模态注意机制和自我关注池层，分别挤声音和文本表示。最后，比较的方法进行验证从现实世界ATC环境中收集的语料库ATCSpeech。实验结果表明，所有的比较方法是对SRI任务分别工作，并提议MMSRINet显示出比上都看到和看不到数据的其他方法的有竞争力的性能和稳定性，达到98.56％，98.08和％的准确度。

自我关注架构被出现为最近提高视力任务表现的最新进步。手动确定自我关注网络的架构依赖于专家的经验，无法自动适应各种场景。同时，神经结构搜索（NAS）显着推出了神经架构的自动设计。因此，需要考虑使用NAS方法自动发现更好的自我关注架构。然而，由于基于细胞的搜索空间统一和缺乏长期内容依赖性，直接使用现有的NAS方法来搜索关注网络是具有挑战性的。为了解决这个问题，我们提出了一种基于全部关注的NAS方法。更具体地，构造阶段明智的搜索空间，其允许为网络的不同层采用各种关注操作。为了提取全局特征，提出了一种使用上下文自动回归来发现全部关注架构的自我监督的搜索算法。为了验证所提出的方法的功效，我们对各种学习任务进行了广泛的实验，包括图像分类，细粒度的图像识别和零拍摄图像检索。经验结果表明，我们的方法能够发现高性能，全面关注架构，同时保证所需的搜索效率。

This paper addresses the scalability challenge of architecture search by formulating the task in a differentiable manner. Unlike conventional approaches of applying evolution or reinforcement learning over a discrete and non-differentiable search space, our method is based on the continuous relaxation of the architecture representation, allowing efficient search of the architecture using gradient descent. Extensive experiments on CIFAR-10, ImageNet, Penn Treebank and WikiText-2 show that our algorithm excels in discovering high-performance convolutional architectures for image classification and recurrent architectures for language modeling, while being orders of magnitude faster than state-of-the-art non-differentiable techniques. Our implementation has been made publicly available to facilitate further research on efficient architecture search algorithms.

作为梯度引导的搜索方法，可区分的神经体系结构搜索（飞镖）大大降低了计算成本，并加快了搜索的速度。在飞镖中，将体系结构参数引入候选操作，但是某些配备权重的操作的参数可能在初始阶段训练不好，这会导致候选操作之间的不公平竞争。无重量的操作大量出现，导致性能崩溃现象。此外，在训练超网中将占用许多内存，这会导致内存利用率较低。在本文中，提出了基于通道注意的部分通道连接，以进行可区分的神经体系结构搜索（ADARTS）。一些具有较高权重的通道是通过注意机制选择的，并将其他通道直接与处理的通道接触到操作空间。选择一些具有较高注意力权重的通道可以更好地将重要的功能信息传输到搜索空间中，并大大提高搜索效率和内存利用率。也可以避免由随机选择引起的网络结构的不稳定性。实验结果表明，ADART在CIFAR-10和CIFAR-100上分别达到了2.46％和17.06％的分类错误率。 Adarts可以有效地解决一个问题，即搜索过程中出现过多的跳过连接并获得具有更好性能的网络结构。

高光谱图像（HSI）分类一直是决定的热门话题，因为高光谱图像具有丰富的空间和光谱信息，并为区分不同的土地覆盖物体提供了有力的基础。从深度学习技术的发展中受益，基于深度学习的HSI分类方法已实现了有希望的表现。最近，已经提出了一些用于HSI分类的神经架构搜索（NAS）算法，这将HSI分类的准确性进一步提高到了新的水平。在本文中，NAS和变压器首次合并用于处理HSI分类任务。与以前的工作相比，提出的方法有两个主要差异。首先，我们重新访问了先前的HSI分类NAS方法中设计的搜索空间，并提出了一个新型的混合搜索空间，该搜索空间由空间主导的细胞和频谱主导的单元组成。与以前的工作中提出的搜索空间相比，所提出的混合搜索空间与HSI数据的特征更加一致，即HSIS具有相对较低的空间分辨率和非常高的光谱分辨率。其次，为了进一步提高分类准确性，我们尝试将新兴变压器模块移植到自动设计的卷积神经网络（CNN）上，以将全局信息添加到CNN学到的局部区域的特征中。三个公共HSI数据集的实验结果表明，所提出的方法的性能要比比较方法更好，包括手动设计的网络和基于NAS的HSI分类方法。特别是在最近被捕获的休斯顿大学数据集中，总体准确性提高了近6个百分点。代码可在以下网址获得：https：//github.com/cecilia-xue/hyt-nas。

深度学习的成功来自其通过学习根据低水平定义的高级表示来捕获数据层次结构的能力。在本文中，我们通过应用多个级别的对比预测编码（CPC）来探讨语音分层的自我监督学习。我们观察到，仅仅堆叠两个CPC模型不会比单层体系结构产生重大改进。受到语音通常被描述为一系列离散单元的序列的启发，我们提出了一个模型，在该模型中，低级CPC模块的输出不均匀地采样，以直接最大程度地减少高级损失CPC模块。后者旨在通过通过集中的阴性采样和量化预测目标来实施连续的高级表示的差异，从而在其表示形式中实现了可分离性和离散性。通过通过下游语音识别任务来衡量的单级CPC特征，对语音信号的结构进行核算，并增强了学习表示形式的分离，同时导致对信号的有意义的分割，与手机边界非常相似。

自动扬声器验证（ASV）已在现实生活中广泛用于身份认证。但是，随着语音转换的快速发展，语音合成算法和记录设备质量的提高，ASV系统很容易受到欺骗攻击。近年来，有关合成和重播语音检测的许多作品，研究人员提出了许多基于手工制作的特征的反欺骗方法，以提高合成和重播语音检测系统的准确性和鲁棒性。但是，使用手工制作的功能而不是原始波形将丢失某些信息进行抗旋转，这将降低系统的检测性能。受图像分类任务中Convnext的有希望的性能的启发，我们将Convnext网络体系结构相应地扩展到SPOOF攻击任务，并提出了端到端的反欺骗模型。通过将扩展体系结构与频道注意块相结合，提出的模型可以专注于最有用的语音表示子频段，以改善反欺骗性的性能。实验表明，对于ASVSPOOF 2019 LA评估数据集和PA评估数据集，我们提出的最佳单个系统可以达到1.88％和2.79％的误差率，这证明了该模型的抗SpoFofing能力。

功能提取器在文本识别（TR）中起着至关重要的作用，但是由于昂贵的手动调整，自定义其体系结构的探索相对较少。在这项工作中，受神经体系结构搜索（NAS）的成功启发，我们建议搜索合适的功能提取器。我们通过探索具有良好功能提取器的原理来设计特定于域的搜索空间。该空间包括用于空间模型的3D结构空间和顺序模型的基于转换的空间。由于该空间是巨大且结构复杂的，因此无法应用现有的NAS算法。我们提出了一种两阶段算法，以有效地在空间中进行搜索。在第一阶段，我们将空间切成几个块，并借助辅助头逐步训练每个块。我们将延迟约束引入第二阶段，并通过自然梯度下降从受过训练的超级网络搜索子网络。在实验中，进行了一系列消融研究，以更好地了解设计的空间，搜索算法和搜索架构。我们还将所提出的方法与手写和场景TR任务上的各种最新方法进行了比较。广泛的结果表明，我们的方法可以以较小的延迟获得更好的识别性能。

随着面部伪造技术的快速发展，DeepFake视频在数字媒体上引起了广泛的关注。肇事者大量利用这些视频来传播虚假信息并发表误导性陈述。大多数现有的DeepFake检测方法主要集中于纹理特征，纹理特征可能会受到外部波动（例如照明和噪声）的影响。此外，基于面部地标的检测方法对外部变量更强大，但缺乏足够的细节。因此，如何在空间，时间和频域中有效地挖掘独特的特征，并将其与面部地标融合以进行伪造视频检测仍然是一个悬而未决的问题。为此，我们提出了一个基于多种模式的信息和面部地标的几何特征，提出了地标增强的多模式图神经网络（LEM-GNN）。具体而言，在框架级别上，我们设计了一种融合机制来挖掘空间和频域元素的联合表示，同时引入几何面部特征以增强模型的鲁棒性。在视频级别，我们首先将视频中的每个帧视为图中的节点，然后将时间信息编码到图表的边缘。然后，通过应用图形神经网络（GNN）的消息传递机制，将有效合并多模式特征，以获得视频伪造的全面表示。广泛的实验表明，我们的方法始终优于广泛使用的基准上的最先进（SOTA）。

深层神经网络（DNN）是通过依次执行线性和非线性过程产生的。使用线性和非线性程序的组合对于生成足够深的特征空间至关重要。大多数非线性运算符是激活函数或合并函数的推导。数学形态是数学的一个分支，为各种图像处理问题提供了非线性操作员。我们调查了将这些操作集成到本文端到端深度学习框架中的实用性。 DNN旨在获得特定工作的现实代表。形态运算符给出拓扑描述符，以传达有关图像中描述的物体形状的显着信息。我们提出了一种基于元学习的方法，将形态算子纳入DNN。博学的结构展示了我们的新型形态操作如何显着提高各种任务（包括图片分类和边缘检测）的DNN性能。

情感计算在人与机器之间的关系中非常重要。在本文中，提出了一种基于语音信号的语音情感识别（SER）的系统，其利用不同处理阶段的新技术。该系统由三个阶段组成：功能提取，功能选择，最终要素分类。在第一阶段，使用新的和多样性特征（如韵律，光谱和频谱）特征，从语音信号和光泽 - 波形信号中提取复杂的长期统计特征。 SER系统的挑战之一是区分相关情绪。这些特征是言语情绪的好鉴别者，并提高Ser识别类似和不同情绪的能力。此特征向量具有大量维度自然具有冗余。在第二阶段，使用经典特征选择技术以及用于减少特征向量维度的新量子启发技术，减少了特征向量尺寸的数量。在第三阶段，优化的特征向量由加权深稀疏的极端学习机（ELM）分类器分类。分类器以三个步骤执行分类：稀疏随机特征学习，使用奇异值分解（SVD）技术的正交随机投影，以及使用广义Tikhonov正规技术的最后一步中的鉴别分类。此外，许多现有的情绪数据集遭受数据不平衡分布的问题，这反过来增加了分类误差并降低了系统性能。在本文中，还提出了一种新的加权方法来处理类别不平衡，比现有的加权方法更有效。所提出的方法是在三个标准情绪数据库上进行评估。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。