Synthetic voice and splicing audio clips have been generated to spoof Internet users and artificial intelligence (AI) technologies such as voice authentication. Existing research work treats spoofing countermeasures as a binary classification problem: bonafide vs. spoof. This paper extends the existing Res2Net by involving the recent Conformer block to further exploit the local patterns on acoustic features. Experimental results on ASVspoof 2019 database show that the proposed SE-Res2Net-Conformer architecture is able to improve the spoofing countermeasures performance for the logical access scenario. In addition, this paper also proposes to re-formulate the existing audio splicing detection problem. Instead of identifying the complete splicing segments, it is more useful to detect the boundaries of the spliced segments. Moreover, a deep learning approach can be used to solve the problem, which is different from the previous signal processing techniques.

Previous databases have been designed to further the development of fake audio detection. However, fake utterances are mostly generated by altering timbre, prosody, linguistic content or channel noise of original audios. They ignore a fake situation, in which the attacker manipulates an acoustic scene of the original audio with another forgery one. It will pose a major threat to our society if some people misuse the manipulated audio with malicious purpose. Therefore, this motivates us to fill in the gap. This paper designs such a dataset for scene fake audio detection (SceneFake). A manipulated audio in the SceneFake dataset involves only tampering the acoustic scene of an utterance by using speech enhancement technologies. We can not only detect fake utterances on a seen test set but also evaluate the generalization of fake detection models to unseen manipulation attacks. Some benchmark results are described on the SceneFake dataset. Besides, an analysis of fake attacks with different speech enhancement technologies and signal-to-noise ratios are presented on the dataset. The results show that scene manipulated utterances can not be detected reliably by the existing baseline models of ASVspoof 2019. Furthermore, the detection of unseen scene manipulation audio is still challenging.

已经进行了许多有效的尝试来进行虚假的音频检测。但是，他们只能提供检测结果，但没有对抗这种伤害的对策。对于许多相关的实际应用，也需要哪种模型或算法生成假音频。因此，我们提出了一个新问题，用于检测虚假音频的Vocoder指纹。实验是在由八个最先进的歌手合成的数据集上进行的。我们已经初步探索了功能和模型体系结构。T-SNE可视化表明，不同的Vocoder会生成不同的Vocoder指纹。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

自动扬声器验证（ASV）已在现实生活中广泛用于身份认证。但是，随着语音转换的快速发展，语音合成算法和记录设备质量的提高，ASV系统很容易受到欺骗攻击。近年来，有关合成和重播语音检测的许多作品，研究人员提出了许多基于手工制作的特征的反欺骗方法，以提高合成和重播语音检测系统的准确性和鲁棒性。但是，使用手工制作的功能而不是原始波形将丢失某些信息进行抗旋转，这将降低系统的检测性能。受图像分类任务中Convnext的有希望的性能的启发，我们将Convnext网络体系结构相应地扩展到SPOOF攻击任务，并提出了端到端的反欺骗模型。通过将扩展体系结构与频道注意块相结合，提出的模型可以专注于最有用的语音表示子频段，以改善反欺骗性的性能。实验表明，对于ASVSPOOF 2019 LA评估数据集和PA评估数据集，我们提出的最佳单个系统可以达到1.88％和2.79％的误差率，这证明了该模型的抗SpoFofing能力。

无监督的零射声语音转换（VC）旨在修改话语的扬声器特性，以匹配看不见的目标扬声器，而无需依赖并行培训数据。最近，已经显示了语音表示的自我监督学习在不使用转录物的情况下产生有用的语言单元，这可以直接传递给VC模型。在本文中，我们展示了通过使用长度重采样解码器来实现高质量的音频样本，这使得VC模型能够与不同的语言特征提取器和声码器一起工作，而无需它们以相同的序列长度运行。我们表明，我们的方法可以胜过VCTK数据集的许多基线。在不修改架构的情况下，我们进一步展示了a）使用来自同一扬声器的不同音频段，b）添加循环一致性损失，并且c）添加扬声器分类损失可以有助于学习更好的扬声器嵌入。我们的模型使用这些技术训练了Libritts，实现了最佳性能，产生了音频样本对目标扬声器的声音，同时保留了在字符错误率方面与实际人类话语相当的语言内容。

得益于深度学习的最新进展，如今存在复杂的生成工具，这些工具产生了极其现实的综合语音。但是，这种工具的恶意使用是可能的，有可能对我们的社会构成严重威胁。因此，合成语音检测已成为一个紧迫的研究主题，最近提出了各种各样的检测方法。不幸的是，它们几乎没有概括为在训练阶段从未见过的工具产生的合成音频，这使他们不适合面对现实世界的情况。在这项工作中，我们旨在通过提出一种仅利用说话者的生物特征的新检测方法来克服这个问题，而无需提及特定的操纵。由于仅在实际数据上对检测器进行训练，因此可以自动确保概括。建议的方法可以基于现成的扬声器验证工具实现。我们在三个流行的测试集上测试了几种这样的解决方案，从而获得了良好的性能，高概括能力和高度鲁棒性。

在空中交通管制（ATC）控制器飞行员谈话的自动语音指令的理解（SIU）不仅需要认识到的演讲词和语义，但也确定了演讲者的角色。然而，很少有在空中交通通信专注于扬声器的作用识别（SRI）自动认识系统发表的作品。在本文中，我们制定管制员 - 驾驶员通信的SRI任务作为二元分类问题。提出此外，基于文本的，基于语音和语音和文本为基础的多模态的方法来达到SRI任务的全面比较。消融的比较方法的影响，各种先进的神经网络架构应用进行优化的，基于语音的基于文本和方法的实现。最重要的是，多模态扬声器的作用识别网络（MMSRINet）设计同时考虑语音和文本模式功能实现的SRI任务。聚集形态特征，模态融合模块提出了保险丝和模态注意机制和自我关注池层，分别挤声音和文本表示。最后，比较的方法进行验证从现实世界ATC环境中收集的语料库ATCSpeech。实验结果表明，所有的比较方法是对SRI任务分别工作，并提议MMSRINet显示出比上都看到和看不到数据的其他方法的有竞争力的性能和稳定性，达到98.56％，98.08和％的准确度。

近年来见证了自动扬声器验证（ASV）的非凡发展。但是，先前的作品表明，最新的ASV模型非常容易受到语音欺骗的攻击，而最近提出的高性能欺骗对策（CM）模型仅专注于独立的反欺骗任务，而忽略了该模型随后的发言人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。最近发生了欺骗意识的说话者验证（SASV）挑战，即当共同优化CM和ASV子系统时，可以提供更好的性能。在挑战的情况下，参与者提出的集成系统必须同时拒绝冒名顶替者和欺骗目标扬声器的攻击，这些攻击者直觉有效地与可靠，欺骗的ASV系统的期望相匹配。这项工作着重于基于融合的SASV解决方案，并提出了一个多模型融合框架，以利用多个最先进的ASV和CM模型的功能。拟议的框架将SASV-EER从8.75％提高到1.17 \％，与SASV挑战中最佳基线系统相比，相对改善为86％。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

进行了许多有效的尝试进行了DeepFake音频检测。但是，他们只能区分真实和假货。对于许多实际的应用程序方案，还需要哪种工具或算法生成DeepFake音频。这提出了一个问题：我们可以检测到DeepFake音频的系统指纹吗？因此，本文进行了初步研究，以检测DeepFake音频的系统指纹。实验是从五个最新的深入学习语音合成系统的DeepFake音频数据集上进行的。结果表明，LFCC功能相对适合系统指纹检测。此外，RESNET在基于LCNN和X-Vector模型中获得了最佳检测结果。T-SNE可视化表明，不同的语音合成系统会生成不同的系统指纹。

现有的假音频检测系统通常依靠专家经验来设计声学功能或手动设计网络结构的超参数。但是，人工调整参数可能会对结果产生相对明显的影响。几乎不可能手动设置最佳参数集。因此，本文提出了一种完全自动化的终端伪造音频检测方法。我们首先使用WAV2VEC预训练模型来获得语音的高级表示。此外，对于网络结构，我们使用了名为Light-Darts的可区分体系结构搜索（飞镖）的修改版本。它学习了深厚的语音表示，同时自动学习和优化包括卷积操作和残留块组成的复杂神经结构。 ASVSPOOF 2019 LA数据集的实验结果表明，我们提出的系统达到的错误率（EER）为1.08％，这表现优于最先进的单个系统。

音频分割和声音事件检测是机器聆听中的关键主题，旨在检测声学类别及其各自的边界。它对于音频分析，语音识别，音频索引和音乐信息检索非常有用。近年来，大多数研究文章都采用分类。该技术将音频分为小帧，并在这些帧上单独执行分类。在本文中，我们提出了一种新颖的方法，叫您只听一次（Yoho），该方法受到计算机视觉中普遍采用的Yolo算法的启发。我们将声学边界的检测转换为回归问题，而不是基于框架的分类。这是通过具有单独的输出神经元来检测音频类的存在并预测其起点和终点来完成的。与最先进的卷积复发性神经网络相比，Yoho的F量的相对改善范围从多个数据集中的1％到6％不等，以进行音频分段和声音事件检测。由于Yoho的输出更端到端，并且可以预测的神经元更少，因此推理速度的速度至少比逐个分类快6倍。另外，由于这种方法可以直接预测声学边界，因此后处理和平滑速度约为7倍。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。

端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。

Speaker embedding extractors significantly influence the performance of clustering-based speaker diarisation systems. Conventionally, only one embedding is extracted from each speech segment. However, because of the sliding window approach, a segment easily includes two or more speakers owing to speaker change points. This study proposes a novel embedding extractor architecture, referred to as a high-resolution embedding extractor (HEE), which extracts multiple high-resolution embeddings from each speech segment. Hee consists of a feature-map extractor and an enhancer, where the enhancer with the self-attention mechanism is the key to success. The enhancer of HEE replaces the aggregation process; instead of a global pooling layer, the enhancer combines relative information to each frame via attention leveraging the global context. Extracted dense frame-level embeddings can each represent a speaker. Thus, multiple speakers can be represented by different frame-level features in each segment. We also propose an artificially generating mixture data training framework to train the proposed HEE. Through experiments on five evaluation sets, including four public datasets, the proposed HEE demonstrates at least 10% improvement on each evaluation set, except for one dataset, which we analyse that rapid speaker changes less exist.

这项工作旨在自动评估儿童的语言发展是否适合年龄。经过验证的语音和语言测试用于此目的测试听觉记忆。在这项工作中，任务是确定是否正确说出了口语非单词。我们比较有动机来建模特定语言结构的不同方法：低水平特征（FFT），扬声器嵌入（ECAPA-TDNN），素化 - 动机的嵌入（WAV2VEC 2.0）和语音嵌入Senones（ASR ASR ACOSTIC模型）形式。每种方法都提供了类似VGG的5层CNN分类器的输入。我们还检查了每个非单词的适应性。使用来自口头非单词的不同幼儿园的录音进行了对拟议系统的评估。 ECAPA-TDNN和低级FFT特征不会明确模型语音信息； WAV2VEC2.0经过素数标签训练，我们的ASR声学模型包含（子）语音信息。我们发现，语音建模越颗粒状，达到的识别率就越高。在ASR声学模型特征上训练的最佳系统的精度为89.4％，在ROC（接收器操作特征）曲线（AUC）下的面积为0.923。与FFT-BASELINE相比，这对应于20.2％和AUC相对0.309的改善。

机器侦听中的声音事件检测（SED）需要识别音频文件中的不同声音，并识别音频中特定声音事件的开始和结束时间。 SED在多媒体数据库中发现了在各种应用中的应用，例如音频监控，语音识别和基于上下文的索引和检索数据。然而，在现实生活场景中，来自各种来源的声音很少没有任何干扰噪音或干扰。在本文中，我们在嘈杂的音频数据上测试您只听到一次（Yoho）算法的性能。由您的灵感仅仅看一次（YOLO）算法在计算机视觉中，yoho算法可以匹配数据集上各种最先进的算法的性能，如音乐语音检测数据集，TUT声音事件和城市 - SED数据集，但在较低的推理时间。在本文中，我们探讨了Yoho算法在包含不同声音噪声比（SNR）的噪声的音频文件的语音数据集的性能。 Yoho可以胜过或至少匹配语音数据集纸中的最佳性能SED算法，并在更短的时间内进行推断。

Automatic Speech Recognition (ASR) for air traffic control is generally trained by pooling Air Traffic Controller (ATCO) and pilot data into one set. This is motivated by the fact that pilot's voice communications are more scarce than ATCOs. Due to this data imbalance and other reasons (e.g., varying acoustic conditions), the speech from ATCOs is usually recognized more accurately than from pilots. Automatically identifying the speaker roles is a challenging task, especially in the case of the noisy voice recordings collected using Very High Frequency (VHF) receivers or due to the unavailability of the push-to-talk (PTT) signal, i.e., both audio channels are mixed. In this work, we propose to (1) automatically segment the ATCO and pilot data based on an intuitive approach exploiting ASR transcripts and (2) subsequently consider an automatic recognition of ATCOs' and pilots' voice as two separate tasks. Our work is performed on VHF audio data with high noise levels, i.e., signal-to-noise (SNR) ratios below 15 dB, as this data is recognized to be helpful for various speech-based machine-learning tasks. Specifically, for the speaker role identification task, the module is represented by a simple yet efficient knowledge-based system exploiting a grammar defined by the International Civil Aviation Organization (ICAO). The system accepts text as the input, either manually verified annotations or automatically generated transcripts. The developed approach provides an average accuracy in speaker role identification of about 83%. Finally, we show that training an acoustic model for ASR tasks separately (i.e., separate models for ATCOs and pilots) or using a multitask approach is well suited for the noisy data and outperforms the traditional ASR system where all data is pooled together.