自动扬声器识别算法通常使用预定义的过滤库，例如MEL频率和伽马酮滤波器，以表征语音音频。但是，已经观察到使用这些滤纸提取的功能对各种音频降解没有弹性。在这项工作中，我们提出了一种基于学习的技术，以从大量的语音音频中推断出滤纸设计。这种过滤库的目的是提取特征在非理想的音频条件下（例如退化，持续时间短和多语言语音）的功能。为此，1D卷积神经网络旨在直接从原始的语音音频中学习一个名为deepvox的时间域滤纸。其次，开发了一种自适应三重态挖掘技术，以有效地挖掘最适合训练过滤器的数据样本。第三，对DeepVox FilterBanks进行的详细消融研究揭示了提取特征中的声源和声带特征的存在。 Voxceleb2，NIST SRE 2008、2010和2018和Fisher Speech数据集的实验结果证明了DeepVox特征在各种退化，短期和多语言语音中的功效。 DeepVox的功能还显示出可提高现有说话者识别算法的性能，例如XVECTOR-PLDA和IVECTOR-PLDA。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

The objective of this paper is speaker recognition under noisy and unconstrained conditions.We make two key contributions. First, we introduce a very large-scale audio-visual speaker recognition dataset collected from open-source media. Using a fully automated pipeline, we curate VoxCeleb2 which contains over a million utterances from over 6,000 speakers. This is several times larger than any publicly available speaker recognition dataset.Second, we develop and compare Convolutional Neural Network (CNN) models and training strategies that can effectively recognise identities from voice under various conditions. The models trained on the VoxCeleb2 dataset surpass the performance of previous works on a benchmark dataset by a significant margin.

在这项工作中，我们对情感和压力环境中的文本独立扬声器验证性能进行了实证对比研究。这项工作结合了浅架构的深层模型，导致新的混合分类器。利用了四种不同的混合模型：深神经网络隐藏式马尔可夫模型（DNN-HMM），深神经网络 - 高斯混合模型（DNN-GMM），高斯混合模型 - 深神经网络（GMM-DNN）和隐藏的马尔可夫模型-Deep神经网络（HMM-DNN）。所有模型都基于新颖的实施架构。比较研究使用了三个不同的语音数据集：私人阿拉伯数据集和两个公共英语数据库，即在模拟和实际压力下的演讲（Susas）和情感语音和歌曲（Ravdess）的ryerson视听数据库。上述混合模型的测试结果表明，所提出的HMM-DNN利用情绪和压力环境中的验证性能。结果还表明，HMM-DNN在曲线（AUC）评估度量下的相同错误率（eer）和面积方面优于所有其他混合模型。基于三个数据集的平均所产生的验证系统分别基于HMM-DNN，DNN-HMM，DNN-GMM和GMM-DNN产生7.19％，16.85％，11.51％和11.90％的eERs。此外，我们发现，与两个谈话环境中的所有其他混合模型相比，DNN-GMM模型展示了最少的计算复杂性。相反，HMM-DNN模型需要最多的培训时间。调查结果还证明了EER和AUC值在比较平均情绪和压力表演时依赖于数据库。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

在本文中，我们介绍了在单个神经网络中执行同时扬声器分离，DERE失眠和扬声器识别的盲言语分离和DERERATERATION（BSSD）网络。扬声器分离由一组预定义的空间线索引导。通过使用神经波束成形进行DERERATERATION，通过嵌入向量和三联挖掘来辅助扬声器识别。我们介绍了一种使用复值神经网络的频域模型，以及在潜伏空间中执行波束成形的时域变体。此外，我们提出了一个块在线模式来处理更长的录音，因为它们在会议场景中发生。我们在规模独立信号方面评估我们的系统，以失真率（SI-SI-SIS），字错误率（WER）和相等的错误率（eer）。

在本文中，我们提出了一种解决方案，以允许扬声器条件语音模型，例如VoiceFilter-Lite，以支持单个通过中的任意数量的注册用户。这是通过使用多个扬声器嵌入的注意机制来实现，以计算单个细小嵌入，然后将其用作模型的侧面输入。我们实现了多用户VoiceFilter-Lite并为三个任务进行了评估：（1）流自动语音识别（ASR）任务; （2）独立于文本的扬声器验证任务; （3）个性化关键级检测任务，其中ASR必须在嘈杂的环境中检测来自多个注册用户的关键次数。我们的实验表明，在最多四个注册的用户中，多用户VoiceFilter-Lite能够在具有重叠语音时显着降低语音识别和扬声器验证错误，而不会影响其他声学条件下的性能。这种细心的扬声器嵌入方法也可以轻松应用于其他扬声器条件模型，如个人VAD和个性化ASR。

本文介绍了一种无监督的基于分段的稳健语音活动检测方法（RVAD）。该方法包括两个去噪之后的传递，然后是语音活动检测（VAD）阶段。在第一通道中，通过使用后验信噪比（SNR）加权能量差来检测语音信号中的高能段，并且如果在段内没有检测到间距，则该段被认为是高能量噪声段并设置为零。在第二种通过中，语音信号由语音增强方法进行去噪，探索了几种方法。接下来，具有间距的相邻帧被分组在一起以形成音调段，并且基于语音统计，俯仰段进一步从两端延伸，以便包括浊音和发声声音和可能的非语音部分。最后，将后验SNR加权能量差应用于用于检测语音活动的去噪语音信号的扩展桨距片段。我们使用两个数据库，大鼠和极光-2评估所提出的方法的VAD性能，该方法包含大量噪声条件。在扬声器验证性能方面进一步评估RVAD方法，在Reddots 2016挑战数据库及其噪声损坏版本方面。实验结果表明，RVAD与许多现有方法有利地比较。此外，我们介绍了一种修改版的RVAD，其中通过计算有效的光谱平坦度计算替换计算密集的俯仰提取。修改的版本显着降低了适度较低的VAD性能成本的计算复杂性，这是在处理大量数据并在低资源设备上运行时的优势。 RVAD的源代码被公开可用。

甚至人类智能系统也无法提供100％的准确性来识别特定个人的演讲。Machine Intelligence试图通过各种语音提取和语音建模技术来模仿说话者识别问题。本文提出了一种独立于文本的扬声器识别系统，该系统采用了MEL频率曲线系数（MFCC）进行特征提取和K-Nearest邻居（KNN）进行分类。获得的最大交叉验证精度为60％。这将在随后的研究中得到改善。

在法医语音比较中，扬声器的嵌入在过去十年中已广泛流行。大多数审计的扬声器嵌入式嵌入都经过英语语料库进行培训，因为它很容易访问。因此，语言依赖性可能是自动法医语音比较的重要因素，尤其是当目标语言在语言上非常不同时。有许多商业系统可用，但是它们的模型主要接受与目标语言不同的语言（主要是英语）的培训。在低资源语言的情况下，开发用于法医目的的语料库，其中包含足够的扬声器来训练深度学习模型是昂贵的。这项研究旨在调查是否可以在目标低资源语言（匈牙利语）上使用预先培训的英语语料库的模型，与模型不同。另外，通常没有犯罪者（未知的扬声器）获得多个样本。因此，在有或没有说话者入学率的嫌疑人（已知）扬声器的情况下对样品进行比较。应用了两个语料库，这些语料库是专门用于法医目的的，第三个是用于传统演讲者验证的第三个语料库。使用了两种基于深度学习的扬声器嵌入向量提取方法：X-Vector和Ecapa-TDNN。说话者验证在可能性比率框架中进行了评估。在语言组合（建模，LR校准，评估）之间进行了比较。通过MinCllr和EER指标评估了结果。发现该模型以不同的语言进行了预先训练，但是在具有大量扬声器的语料库上，在语言不匹配的样本上表现良好。还检查了样本持续时间和口语样式的影响。发现相关样本的持续时间越长，性能就越好。另外，如果采用各种口语样式，则没有真正的区别。

情感计算在人与机器之间的关系中非常重要。在本文中，提出了一种基于语音信号的语音情感识别（SER）的系统，其利用不同处理阶段的新技术。该系统由三个阶段组成：功能提取，功能选择，最终要素分类。在第一阶段，使用新的和多样性特征（如韵律，光谱和频谱）特征，从语音信号和光泽 - 波形信号中提取复杂的长期统计特征。 SER系统的挑战之一是区分相关情绪。这些特征是言语情绪的好鉴别者，并提高Ser识别类似和不同情绪的能力。此特征向量具有大量维度自然具有冗余。在第二阶段，使用经典特征选择技术以及用于减少特征向量维度的新量子启发技术，减少了特征向量尺寸的数量。在第三阶段，优化的特征向量由加权深稀疏的极端学习机（ELM）分类器分类。分类器以三个步骤执行分类：稀疏随机特征学习，使用奇异值分解（SVD）技术的正交随机投影，以及使用广义Tikhonov正规技术的最后一步中的鉴别分类。此外，许多现有的情绪数据集遭受数据不平衡分布的问题，这反过来增加了分类误差并降低了系统性能。在本文中，还提出了一种新的加权方法来处理类别不平衡，比现有的加权方法更有效。所提出的方法是在三个标准情绪数据库上进行评估。

In recent years, Speech Emotion Recognition (SER) has been investigated mainly transforming the speech signal into spectrograms that are then classified using Convolutional Neural Networks pretrained on generic images and fine tuned with spectrograms. In this paper, we start from the general idea above and develop a new learning solution for SER, which is based on Compact Convolutional Transformers (CCTs) combined with a speaker embedding. With CCTs, the learning power of Vision Transformers (ViT) is combined with a diminished need for large volume of data as made possible by the convolution. This is important in SER, where large corpora of data are usually not available. The speaker embedding allows the network to extract an identity representation of the speaker, which is then integrated by means of a self-attention mechanism with the features that the CCT extracts from the spectrogram. Overall, the solution is capable of operating in real-time showing promising results in a cross-corpus scenario, where training and test datasets are kept separate. Experiments have been performed on several benchmarks in a cross-corpus setting as rarely used in the literature, with results that are comparable or superior to those obtained with state-of-the-art network architectures. Our code is available at https://github.com/JabuMlDev/Speaker-VGG-CCT.

音频是人类交流最常用的方式之一，但与此同时，它很容易被欺骗人们滥用。随着AI的革命，几乎每个人都可以访问相关技术，从而使罪犯犯罪和伪造变得简单。在这项工作中，我们引入了一种深度学习方法，以开发一种分类器，该分类器将盲目地将输入音频分类为真实或模仿。提出的模型接受了从大型音频数据集提取的一组重要功能的培训，以获取分类器，该分类器已在不同音频的相同功能上进行了测试。为这项工作创建了两个数据集；所有英语数据集和混合数据集（阿拉伯语和英语）。这些数据集已通过GitHub提供，可在https://github.com/sass7/dataset上使用研究社区。为了进行比较，还通过人类检查对音频进行了分类，主题是母语人士。随之而来的结果很有趣，并且表现出强大的精度。

得益于深度学习的最新进展，如今存在复杂的生成工具，这些工具产生了极其现实的综合语音。但是，这种工具的恶意使用是可能的，有可能对我们的社会构成严重威胁。因此，合成语音检测已成为一个紧迫的研究主题，最近提出了各种各样的检测方法。不幸的是，它们几乎没有概括为在训练阶段从未见过的工具产生的合成音频，这使他们不适合面对现实世界的情况。在这项工作中，我们旨在通过提出一种仅利用说话者的生物特征的新检测方法来克服这个问题，而无需提及特定的操纵。由于仅在实际数据上对检测器进行训练，因此可以自动确保概括。建议的方法可以基于现成的扬声器验证工具实现。我们在三个流行的测试集上测试了几种这样的解决方案，从而获得了良好的性能，高概括能力和高度鲁棒性。

现有的源单元手机识别方法缺乏源设备的长期特征表征，从而导致与源单元相关特征的不准确表示，从而导致识别精度不足。在本文中，我们提出了一种基于时空表示学习的源细胞手机识别方法，其中包括两个主要部分：提取顺序高斯平均矩阵特征和基于时空表示学习的识别模型的构建。在特征提取部分中，基于对记录源信号的时间序列表示的分析，我们通过使用高斯混合模型对数据分布的灵敏度提取具有长期和短期表示能力的顺序高斯平均矩阵。在模型构建部分中，我们设计了一个结构化的时空表示网络C3D-BILSTM，以充分表征时空信息，结合3D卷积网络和双向长期短期记忆网络，用于短期光谱信息和长期的长期记忆网络波动信息表示学习，并通过融合记录源信号的时空特征信息来准确识别细胞手机。该方法的平均准确性为99.03％的封闭设置识别在CCNU \ _Mobile数据集中的45个手机识别，而在小样本尺寸实验中的平均识别率为98.18％，识别性能优于现有的最新目前的识别性能方法。实验结果表明，该方法在多级细胞手机识别中表现出出色的识别性能。

我们介绍了Shennong，一个Python工具箱和命令行实用程序，用于语音功能提取。它实现了广泛的既定现实算法状态，包括诸如熔融频率纤维滤波器或预测的线性滤波器，预先训练的神经网络，音高估计器以及扬声器归一化方法和后处理算法的谱时间滤波器。 Shennong是一种开源，易于使用，可靠和可扩展的框架。 Python的使用使得集成到其他语音建模和机器学习工具方便。它旨在替换或补充几种异质软件，例如Kaldi或Praat。在描述神农软件架构，其核心组件和实现的算法之后，本文说明了三种应用的使用：语音特征在手机辨别任务上的性能进行比较，作为语音函数的声音轨道长度归一化模型的分析用于训练的持续时间和各种噪声条件下的音高估计算法的比较。

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

第五代（5G）网络和超越设想巨大的东西互联网（物联网）推出，以支持延长现实（XR），增强/虚拟现实（AR / VR），工业自动化，自主驾驶和智能所有带来的破坏性应用一起占用射频（RF）频谱的大规模和多样化的IOT设备。随着频谱嘎嘎和吞吐量挑战，这种大规模的无线设备暴露了前所未有的威胁表面。 RF指纹识别是预约的作为候选技术，可以与加密和零信任安全措施相结合，以确保无线网络中的数据隐私，机密性和完整性。在未来的通信网络中，在这项工作中，在未来的通信网络中的相关性，我们对RF指纹识别方法进行了全面的调查，从传统观点到最近的基于深度学习（DL）的算法。现有的调查大多专注于无线指纹方法的受限制呈现，然而，许多方面仍然是不可能的。然而，在这项工作中，我们通过解决信号智能（SIGINT），应用程序，相关DL算法，RF指纹技术的系统文献综述来缓解这一点，跨越过去二十年的RF指纹技术的系统文献综述，对数据集和潜在研究途径的讨论 - 必须以百科全书的方式阐明读者的必要条件。