可以处理各种扬声器和声学条件的模型在语音情感识别（Ser）中至关重要。通常，这些模型往往会在培训期间呈现扬声器或声学条件时显示混合结果。本文调查了交叉组件数据互补和数据增强对Ser模型的影响（从相同的语料库中的测试设置）和不匹配（从不同的语料库测试）条件。介绍了使用六种情绪语音集团的调查，其中包括单一和多个扬声器以及情感风格的变化（作用，引发，自然）和记录条件。观察结果表明，正如预期的那样，在单一语料库上培训的模型在匹配条件下表现最佳，而性能在不匹配的条件下减少10-40％，具体取决于语料库特定功能。在混合语料库上培训的型号在不匹配的上下文中可以更稳定，与匹配条件中的单个语料库模型相比，性能减少的范围为1％至8％。数据增强产生额外的收益高达4％，似乎有利于比匹配的不匹配条件。

对于语音情绪数据集，与日常生活中显示的表现力较低的情绪相比，很难获得大量可靠的数据，而表现出的情绪可能超过了最高。最近，已经创建了具有自然情绪的较大数据集。这项研究并没有忽略较小的，行为的数据集，而是研究了从动作情绪中学到的信息是否对检测自然情绪有用。跨科普斯研究主要考虑了跨语言甚至跨年龄数据集，并且源于注释情绪导致性能下降的不同方法。为了保持一致，考虑了四个涵盖行为的成年英语数据集，考虑了自然情绪。提出了最先进的模型，以准确研究性能的降解。该系统涉及双向LSTM具有注意机制，以对数据集进行分类。实验研究了跨科普斯和多域的训练模型的影响，结果表明信息的传递不成功。室外模型，其次是适应丢失的数据集，而域对抗训练（DAT）被证明更适合于跨数据集的情绪概括。这显示了从ACT的数据集转移到具有更多自然情绪以及对不同语料库培训的好处的积极信息。

在本文中，我们介绍了Amharic语音情绪数据集（亚胺），涵盖了四条方言（Gojjam，Wollo，Shewa和Londer）和五种不同的情绪（中性，恐惧，快乐，悲伤和生气）。我们认为它是Amharic语言的第一个语音情感认可（Ser）数据集。 65志愿者参与者，所有母语人员，记录2,474个声音样本，长度为2至4秒。八名法官将情绪分配给具有高协议水平的样本（Fleiss Kappa = 0.8）。生成的数据集可免费下载。接下来，我们开发了一个四层变体，我们称之为vggb。然后使用vggb进行三种实验，用于Ser，使用ASED。首先，我们研究了熔融谱图特征或熔融频率谱系数（MFCC）的特点是Amharic最适合的。这是通过培训ASID的两个VGGB SER模型来完成的，使用MEL-谱图和使用MFCC的另一个。尝试了四种形式的培训，标准交叉验证和三种变体，基于句子，方言和扬声器组。因此，用于训练的句子不会用于测试，以及方言和扬声器组的句子。结论是，在所有四种训练方案下，MFCC功能都是优越的。因此，MFCC采用实验2，其中VGGB和其他三种现有模型进行了验证：Resnet50，Alex-Net和LSTM。 vggb被发现具有非常好的准确性（90.73％）以及最快的培训时间。在实验3中，在培训在两个现有的SER数据集，RAVDES（英语）和EMO-DB（德语）以及ASED（Amharic）上进行培训时比较VGGB的性能。结果与这些语言相当，仿真是最高的。这表明VGGB可以成功应用于其他语言。我们希望Ased将鼓励研究人员试验其他模型为Amharic Ser。

最近，盲目的语音分离（BSS）和目标语音提取（TSE）的表现已取得了长足的进步。但是，大多数作品都专注于相对控制的条件，例如阅读语音。在更现实的情况下，性能可能会降低。引起这种降解的因素之一可能是固有的说话者变异性，例如情绪，通常在现实的语音中发生。在本文中，我们研究了情绪对TSE和BSS的影响。我们创建了一个新的测试数据集，以评估TSE和BSS。该数据集结合了Librispeech和Ryerson Audio-Visual Visual Espections and Song（Ravdess）。通过受控的实验，我们可以分析不同情绪对BSS和TSE性能的影响。我们观察到BSS对情绪相对强大，而TSE需要识别和提取目标说话者的语音，对情绪更为敏感。在比较演讲者验证实验中，我们表明，在处理情感语音时，确定目标扬声器可能特别具有挑战性。使用我们的发现，我们概述了可能改善BSS和TSE系统对情感语音的鲁棒性的潜在方向。

在本文中，我们首先提供了述评最先进的情感语音转换研究以及现有的情绪语音数据库。然后，我们激励开发一种新颖的情绪语音数据库（ESD），这些数据库（ESD）解决了越来越多的研究需求。借鉴了本文，现在可以向研究界提供ESD数据库。ESD数据库由10名母语和10个母语的扬声器发表的350个平行话语组成，涵盖5个情感类别（中性，快乐，愤怒，悲伤和惊喜）。在受控的声学环境中记录了超过29小时的语音数据。该数据库适用于多扬声器和交叉语言情绪转换研究。如案例研究，我们在ESD数据库上实施了几种最先进的情绪转换系统。本文在释放释放时提供了对ESD的参考研究。

由于语音分离的表现非常适合两个说话者完全重叠的语音，因此研究的注意力已转移到处理更现实的场景。然而，由于因素，例如说话者，内容，渠道和环境等因素引起的训练/测试情况之间的领域不匹配仍然是言语分离的严重问题。演讲者和环境不匹配已在现有文献中进行了研究。然而，关于语音内容和渠道不匹配的研究很少。此外，这些研究中语言和渠道的影响大多是纠结的。在这项研究中，我们为各种实验创建了几个数据集。结果表明，与不同渠道的影响相比，不同语言的影响足以忽略。在我们的实验中，Android手机记录的数据培训可提供最佳的概括性。此外，我们通过评估投影提供了一种新的解决方案，以测量通道相似性并用于有效选择其他训练数据以提高野外测试数据的性能。

Automated emotion recognition in speech is a long-standing problem. While early work on emotion recognition relied on hand-crafted features and simple classifiers, the field has now embraced end-to-end feature learning and classification using deep neural networks. In parallel to these models, researchers have proposed several data augmentation techniques to increase the size and variability of existing labeled datasets. Despite many seminal contributions in the field, we still have a poor understanding of the interplay between the network architecture and the choice of data augmentation. Moreover, only a handful of studies demonstrate the generalizability of a particular model across multiple datasets, which is a prerequisite for robust real-world performance. In this paper, we conduct a comprehensive evaluation of popular deep learning approaches for emotion recognition. To eliminate bias, we fix the model architectures and optimization hyperparameters using the VESUS dataset and then use repeated 5-fold cross validation to evaluate the performance on the IEMOCAP and CREMA-D datasets. Our results demonstrate that long-range dependencies in the speech signal are critical for emotion recognition and that speed/rate augmentation offers the most robust performance gain across models.

Human speech can be characterized by different components, including semantic content, speaker identity and prosodic information. Significant progress has been made in disentangling representations for semantic content and speaker identity in Automatic Speech Recognition (ASR) and speaker verification tasks respectively. However, it is still an open challenging research question to extract prosodic information because of the intrinsic association of different attributes, such as timbre and rhythm, and because of the need for unsupervised training schemes to achieve robust large-scale and speaker-independent ASR. The aim of this paper is to address the disentanglement of emotional prosody from speech based on unsupervised reconstruction. Specifically, we identify, design, implement and integrate three crucial components in our proposed speech reconstruction model Prosody2Vec: (1) a unit encoder that transforms speech signals into discrete units for semantic content, (2) a pretrained speaker verification model to generate speaker identity embeddings, and (3) a trainable prosody encoder to learn prosody representations. We first pretrain the Prosody2Vec representations on unlabelled emotional speech corpora, then fine-tune the model on specific datasets to perform Speech Emotion Recognition (SER) and Emotional Voice Conversion (EVC) tasks. Both objective and subjective evaluations on the EVC task suggest that Prosody2Vec effectively captures general prosodic features that can be smoothly transferred to other emotional speech. In addition, our SER experiments on the IEMOCAP dataset reveal that the prosody features learned by Prosody2Vec are complementary and beneficial for the performance of widely used speech pretraining models and surpass the state-of-the-art methods when combining Prosody2Vec with HuBERT representations. Some audio samples can be found on our demo website.

许多自动语音识别（ASR）数据集包括一个单一的预定义测试集，该测试集由一个或多个演讲者组成，其语音从未出现在培训集中。但是，对于说话者数量很少的数据集，这种“持有说明器”的数据分配策略可能不是理想的选择。这项研究调查了具有最小ASR培训资源的五种语言的十种不同数据拆分方法。我们发现（1）模型性能取决于选择哪个扬声器进行测试； （2）所有固定扬声器的平均单词错误率（WER）不仅与多个随机拆分的平均差异相当，而且与任何给定的单个随机拆分相当； （3）当数据以启发性或对抗性分开时，通常也可以比较； （4）话语持续时间和强度是可变性的相对预测因素，而不管数据分解如何。这些结果表明，广泛使用的宣传者输出的ASR数据分配方法可以产生不反映未见数据或说话者模型性能的结果。在面对数据稀疏时，随机拆分可以产生更可靠和可推广的估计。

自动语音识别（ASR）是一个复杂和具有挑战性的任务。近年来，该地区出现了重大进展。特别是对于巴西葡萄牙语（BP）语言，在2020年的下半年，有大约376小时的公众可供ASR任务。在2021年初发布新数据集，这个数字增加到574小时。但是，现有资源由仅包含读取和准备的演讲的Audios组成。缺少数据集包括自发性语音，这在不同的ASR应用中是必不可少的。本文介绍了Coraa（注释Audios语料库）V1。使用290.77小时，在包含验证对（音频转录）的BP中ASR的公共可用数据集。科拉还含有欧洲葡萄牙音像（4.69小时）。我们还提供了一个基于Wav2VEC 2.0 XLSR-53的公共ASR模型，并通过CoraA进行微调。我们的模型在CoraA测试集中实现了24.18％的单词误差率，并且在常见的语音测试集上为20.08％。测量字符错误率时，我们分别获得11.02％和6.34％，分别为CoraA和常见声音。 Coraa Corpora在自发言论中与BP中的改进ASR模型进行了组装，并激励年轻研究人员开始研究葡萄牙语的ASR。所有Corpora都在CC By-NC-ND 4.0许可证下公开提供Https://github.com/nilc-nlp/coraa。

VOXECEL数据集广泛用于扬声器识别研究。我们的工作有两个目的。首先，我们提供发言者年龄标签和（替代）发言人性别的注释。其次，我们通过构建具有不同特征和分类器的年龄和性别识别模型来展示这种元数据的使用。我们查询不同的名人数据库，并申请共识规则以获得年龄和性别标签。我们还使用我们的标签进行比较原始的VoxceleB性别标签，以识别可能在原始VoxceleB数据中误标记的记录。在建模方面，我们设计了对识别性别和年龄的多种功能和模型的综合研究。我们使用I-Vector特征的最佳系统实现了使用Logistic回归的性别识别任务的F1分数0.9829，并且使用RIDGE回归获得了9.443年的年龄回归的最低平均绝对误差（MAE）。这表明来自野外风格语音数据的年龄估计的挑战。

我们提出了研究，这是一种新的演讲语料库，用于开发一个可以以友好方式讲话的语音代理。人类自然会控制他们的言语韵律以相互同情。通过将这种“同情对话”行为纳入口语对话系统，我们可以开发一个可以自然响应用户的语音代理。我们设计了研究语料库，以包括一位演讲者，他明确地对对话者的情绪表示同情。我们描述了构建善解人意的对话语音语料库的方法论，并报告研究语料库的分析结果。我们进行了文本到语音实验，以最初研究如何开发更多的自然语音代理，以调整其口语风格，以对应对话者的情绪。结果表明，对话者的情绪标签和对话上下文嵌入的使用可以与使用代理商的情感标签相同的自然性产生语音。我们的研究项目页面是http://sython.org/corpus/studies。

通过语音转换（VC）的数据增强已成功应用于仅可用于目标扬声器的中性数据时，已成功地应用于低资源表达文本到语音（TTS）。尽管VC的质量对于这种方法至关重要，但学习稳定的VC模型是一项挑战，因为在低资源场景中的数据量受到限制，并且高度表达的语音具有很大的声学变化。为了解决这个问题，我们提出了一种新型的数据增强方法，该方法结合了变化和VC技术。由于换挡数据的增强功能可以覆盖各种音高动态，因此即使只有目标扬声器中性数据的1000个话语，它也可以极大地稳定VC和TTS模型的训练。主观测试结果表明，与常规方法相比，具有拟议方法的基于快速2的情绪TTS系统改善了自然性和情绪相似性。

爆发两年多后，Covid-19的大流行继续困扰世界各地的医疗系统，给稀缺资源带来压力，并夺走了人类的生命。从一开始，已经采用了各种基于AI的CoVID-19检测和监测工具，以试图通过及时诊断来阻止感染的潮流。特别是，已经建议计算机试听是一种非侵入性，成本效益和环保的替代方法，可通过声音通过声音来检测COVID-19的感染。但是，像所有AI方法一样，计算机试镜也很大程度上取决于可用数据的数量和质量，并且由于此类数据的敏感性，大规模的COVID-19声音数据集很难获取 - 除其他原因外。为此，我们介绍了COVYT数据集 - 一种新颖的Covid-19数据集，该数据集是从包含来自65位演讲者的8个小时以上语音的公共资源中收集的。与其他现有的COVID-19声音数据集相比，COVYT数据集的独特功能是，它包括所有65位扬声器的covid-19正和负样本。我们使用可解释的音频描述来分析Covid-19的声学表现，并使用可解释的音频描述，并研究几种分类场景，并调查一些分类场景，以将基于公平的言语的COVID进行适当的分配策略-19检测。

情感语音综合旨在使人类的声音具有各种情感影响。当前的研究主要集中于模仿属于特定情感类型的平均风格。在本文中，我们试图在运行时与情感混合在一起。我们提出了一种新颖的表述，可以衡量不同情绪的语音样本之间的相对差异。然后，我们将公式纳入序列到序列情感文本到语音框架中。在培训期间，该框架不仅明确地表征了情感风格，而且还通过用其他情感量化差异来探索情绪的序数。在运行时，我们通过手动定义情感属性向量来控制模型以产生所需的情绪混合物。客观和主观评估验证了拟议框架的有效性。据我们所知，这项研究是关于言语中混合情绪的建模，综合和评估混合情绪的第一项研究。

AI研究中的基石是创建和采用标准化培训和测试数据集，以指定最新模型的进度。一个特别成功的例子是用于培训和评估英语自然语言理解（NLU）模型的胶水数据集。围绕基于BERT的语言模型的大量研究围绕着胶水中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定语言的胶水数据集。语音语言理解（SLU）的领域遵循了类似的轨迹。大型自我监督模型（例如WAV2VEC2）的成功实现了具有相对易于访问的未标记数据的语音模型。然后可以在SLU任务（例如出色的基准测试）上评估这些模型。在这项工作中，我们将其扩展到通过释放Indicsuperb基准测试来指示语言。具体来说，我们做出以下三项贡献。 （i）我们收集了Kathbath，其中包含来自印度203个地区的1,218个贡献者的12个印度语言的1,684小时的标记语音数据。 （ii）使用Kathbath，我们在6个语音任务中创建基准：自动语音识别，扬声器验证，说话者识别（单声道/多），语言识别，逐个示例查询以及对12种语言的关键字发现。 （iii）在发布的基准测试中，我们与常用的基线Fbank一起训练和评估不同的自我监督模型。我们表明，在大多数任务上，特定于语言的微调模型比基线更准确，包括对于语言识别任务的76 \％差距。但是，对于说话者识别，在大型数据集上训练的自我监督模型证明了一个优势。我们希望Indicsuperb有助于发展印度语言的语音语言理解模型的进步。

情绪转换（EVC）寻求转换话语的情绪状态，同时保留语言内容和扬声器身份。在EVC，情绪通常被视为离散类别，忽略了言论也传达了听众可以感知的各种强度水平的情绪。在本文中，我们的目标是明确地表征和控制情绪强度。我们建议解开语言内容的扬声器风格，并将扬声器风格编码成一个嵌入的嵌入空间，形成情绪嵌入的原型。我们进一步从情感标记的数据库中了解实际的情感编码器，并研究使用相对属性来表示细粒度的情绪强度。为确保情绪可理解性，我们将情感分类损失和情感嵌入了EVC网络培训中的相似性损失。根据需要，所提出的网络控制输出语音中的细粒度情绪强度。通过目标和主观评估，我们验证了建议网络的情感表达和情感强度控制的有效性。

构建可用的无线电监控自动语音识别（ASR）系统是资源不足的语言的一项挑战性任务，但这在广播是公众沟通和讨论的主要媒介的社会中至关重要。联合国在乌干达的最初努力证明了如何理解被社交媒体排除在社交媒体中的农村人的看法在国家规划中很重要。但是，由于缺乏转录的语音数据集，这些努力正受到挑战。在本文中，Makerere人工智能研究实验室发布了155小时的Luganda Radio演讲语料库。据我们所知，这是撒哈拉以南非洲第一个公开可用的广播数据集。本文描述了语音语料库的开发，并使用开源语音识别工具包Coqui STT Toolkit提出了基线Luganda ASR绩效结果。

口语理解（SLU）是大多数人机相互作用系统中的核心任务。随着智能家居，智能手机和智能扬声器的出现，SLU已成为该行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录为文本表示，自然语言理解（NLU）模块从中提取语义信息。最近，基于深神经网络的端到端SLU（E2E SLU）已经获得了动力，因为它受益于ASR和NLU部分的联合优化，因此限制了管道架构的误差效应的级联反应。但是，对于E2E模型用于预测语音输入的概念和意图的实际语言特性知之甚少。在本文中，我们提出了一项研究，以确定E2E模型执行SLU任务的信号特征和其他语言特性。该研究是在必须处理非英语（此处法语）语音命令的智能房屋的应用领域进行的。结果表明，良好的E2E SLU性能并不总是需要完美的ASR功能。此外，结果表明，与管道模型相比，E2E模型在处理背景噪声和句法变化方面具有出色的功能。最后，更细粒度的分析表明，E2E模型使用输入信号的音调信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板，以进一步分析语音处理中的E2E模型。

语音情感转换是修改语音话语的感知情绪的任务，同时保留词汇内容和扬声器身份。在这项研究中，我们将情感转换问题作为口语翻译任务。我们将演讲分解为离散和解散的学习表现，包括内容单位，F0，扬声器和情感。首先，我们通过将内容单元转换为目标情绪来修改语音内容，然后基于这些单元预测韵律特征。最后，通过将预测的表示馈送到神经声码器中来生成语音波形。这样的范式允许我们超越信号的光谱和参数变化，以及模型非口头发声，例如笑声插入，打开拆除等。我们客观地和主观地展示所提出的方法在基础上优于基线感知情绪和音频质量。我们严格评估了这种复杂系统的所有组成部分，并通过广泛的模型分析和消融研究结束，以更好地强调建议方法的建筑选择，优势和弱点。示例和代码将在以下链接下公开使用：https://speechbot.github.io/emotion。