我们提出了一种方法来培训我们的多扬声器情绪文本到语音合成器，可以表达10个扬声器的7种不同情绪的言语。在学习之前，可以从音频样本中删除所有沉默。这导致我们的模型快速学习。课程学习应用于有效地培训我们的模型。我们的型号首先用大型单扬声器中性数据集接受培训，然后用所有扬声器的中性演讲培训。最后，我们的模型使用来自所有扬声器的情感语音数据集进行培训。在每个阶段，每个扬声器 - 情感对的培训样本具有相同的概率以出现在迷你批次中。通过此程序，我们的模型可以综合所有有针对性的发言者和情绪的演讲。我们的网页上提供了我们的合成音频集。

在这项工作中，我们尝试在音频上进行情感风格转移。特别是，探索了各种情感对转移的梅尔根-VC架构。然后使用基于LSTM的情绪分类器进行音频进行分类。我们发现，与“快乐”或“愤怒”相比，“悲伤”的音频得到了很好的产生，因为人们也有类似的悲伤表达。

我们提出了研究，这是一种新的演讲语料库，用于开发一个可以以友好方式讲话的语音代理。人类自然会控制他们的言语韵律以相互同情。通过将这种“同情对话”行为纳入口语对话系统，我们可以开发一个可以自然响应用户的语音代理。我们设计了研究语料库，以包括一位演讲者，他明确地对对话者的情绪表示同情。我们描述了构建善解人意的对话语音语料库的方法论，并报告研究语料库的分析结果。我们进行了文本到语音实验，以最初研究如何开发更多的自然语音代理，以调整其口语风格，以对应对话者的情绪。结果表明，对话者的情绪标签和对话上下文嵌入的使用可以与使用代理商的情感标签相同的自然性产生语音。我们的研究项目页面是http://sython.org/corpus/studies。

近年来，表现力的文本到语音表现出改善的性能。但是，综合语音的样式控制通常仅限于离散的情绪类别，并且需要目标扬声器记录的培训数据。在许多实际情况下，用户可能没有在目标情感中记录的参考语音，但仅通过键入所需情感风格的文本描述来控制语音样式。在本文中，我们提出了一个基于文本的界面，用于情感风格控制和多演讲者TTS中的跨言式风格转移。我们提出了双模式样式编码器，该编码器模拟了文本描述嵌入与语言模型嵌入语音样式之间的语义关系。为了进一步改善横向扬声器风格的转移，在多种风格的数据集上，我们提出了新型样式损失。实验结果表明，即使以看不见的风格，我们的模型也可以产生高质量的表达语音。

机器生成的语音的特点是其有限或不自然的情绪变化。目前的语音系统文本与扁平情绪，从预定义的集合中选择的情感，从培训数据中的韵律序列中学到的平均变异，或者从源样式转移。我们向语音（TTS）系统提出了文本，其中用户可以从连续和有意义的情感空间（唤醒空间）中选择生成的语音的情绪。所提出的TTS系统可以从任何扬声器风格中的文本产生语音，具有对情绪的精细控制。我们展示该系统在培训期间无知的情感上的工作，并且可以鉴于他/她的演讲样本来扩展到以前看不见的扬声器。我们的作品将最先进的FastSeech2骨干的地平线扩展到多扬声器设置，并为其提供了多令人垂涎的连续（和可解释）的情感控制，而没有任何可观察到的综合演讲的退化。

人工智能领域的成就用于计算和制造智能机器的进步，以促进人类和改善用户体验。情绪对人来说是基本的，影响了对应，学习和方向等思维和普通练习。语音情感识别是在这方面感兴趣的领域，在这项工作中，我们提出了一种新型的MEL频谱学习方法，其中我们的模型使用数据点从普遍的Crema-d数据集中从给定的WAV表格音符中学习情感。我们的模型使用对数MEL光谱图作为特征，其中MELS = 64。与解决情感语音识别问题的其他方法相比，训练时间较少。

最近，盲目的语音分离（BSS）和目标语音提取（TSE）的表现已取得了长足的进步。但是，大多数作品都专注于相对控制的条件，例如阅读语音。在更现实的情况下，性能可能会降低。引起这种降解的因素之一可能是固有的说话者变异性，例如情绪，通常在现实的语音中发生。在本文中，我们研究了情绪对TSE和BSS的影响。我们创建了一个新的测试数据集，以评估TSE和BSS。该数据集结合了Librispeech和Ryerson Audio-Visual Visual Espections and Song（Ravdess）。通过受控的实验，我们可以分析不同情绪对BSS和TSE性能的影响。我们观察到BSS对情绪相对强大，而TSE需要识别和提取目标说话者的语音，对情绪更为敏感。在比较演讲者验证实验中，我们表明，在处理情感语音时，确定目标扬声器可能特别具有挑战性。使用我们的发现，我们概述了可能改善BSS和TSE系统对情感语音的鲁棒性的潜在方向。

在本文中，我们首先提供了述评最先进的情感语音转换研究以及现有的情绪语音数据库。然后，我们激励开发一种新颖的情绪语音数据库（ESD），这些数据库（ESD）解决了越来越多的研究需求。借鉴了本文，现在可以向研究界提供ESD数据库。ESD数据库由10名母语和10个母语的扬声器发表的350个平行话语组成，涵盖5个情感类别（中性，快乐，愤怒，悲伤和惊喜）。在受控的声学环境中记录了超过29小时的语音数据。该数据库适用于多扬声器和交叉语言情绪转换研究。如案例研究，我们在ESD数据库上实施了几种最先进的情绪转换系统。本文在释放释放时提供了对ESD的参考研究。

Text-based speech editing allows users to edit speech by intuitively cutting, copying, and pasting text to speed up the process of editing speech. In the previous work, CampNet (context-aware mask prediction network) is proposed to realize text-based speech editing, significantly improving the quality of edited speech. This paper aims at a new task: adding emotional effect to the editing speech during the text-based speech editing to make the generated speech more expressive. To achieve this task, we propose Emo-CampNet (emotion CampNet), which can provide the option of emotional attributes for the generated speech in text-based speech editing and has the one-shot ability to edit unseen speakers' speech. Firstly, we propose an end-to-end emotion-selectable text-based speech editing model. The key idea of the model is to control the emotion of generated speech by introducing additional emotion attributes based on the context-aware mask prediction network. Secondly, to prevent the emotion of the generated speech from being interfered by the emotional components in the original speech, a neutral content generator is proposed to remove the emotion from the original speech, which is optimized by the generative adversarial framework. Thirdly, two data augmentation methods are proposed to enrich the emotional and pronunciation information in the training set, which can enable the model to edit the unseen speaker's speech. The experimental results that 1) Emo-CampNet can effectively control the emotion of the generated speech in the process of text-based speech editing; And can edit unseen speakers' speech. 2) Detailed ablation experiments further prove the effectiveness of emotional selectivity and data augmentation methods. The demo page is available at https://hairuo55.github.io/Emo-CampNet/

With the rapid development of the speech synthesis system, recent text-to-speech models have reached the level of generating natural speech similar to what humans say. But there still have limitations in terms of expressiveness. In particular, the existing emotional speech synthesis models have shown controllability using interpolated features with scaling parameters in emotional latent space. However, the emotional latent space generated from the existing models is difficult to control the continuous emotional intensity because of the entanglement of features like emotions, speakers, etc. In this paper, we propose a novel method to control the continuous intensity of emotions using semi-supervised learning. The model learns emotions of intermediate intensity using pseudo-labels generated from phoneme-level sequences of speech information. An embedding space built from the proposed model satisfies the uniform grid geometry with an emotional basis. In addition, to improve the naturalness of intermediate emotional speech, a discriminator is applied to the generation of low-level elements like duration, pitch and energy. The experimental results showed that the proposed method was superior in controllability and naturalness. The synthesized speech samples are available at https://tinyurl.com/34zaehh2

我们将非语音发声（NSV）建模作为文本到语音任务，并验证其生存能力。具体而言，我们评估了Hubert语音单元在NSVS上的语音表达性，并验证了模型控制扬声器音色的能力，即使训练数据是扬声器很少的。此外，我们证实了记录条件中的异质性是NSV建模的主要障碍。最后，我们讨论了对未来研究方法的五个改进。合成NSV的音频样本可在我们的演示页面上提供：https：//resemble-ai.github.io/relaugh。

情感语音综合旨在使人类的声音具有各种情感影响。当前的研究主要集中于模仿属于特定情感类型的平均风格。在本文中，我们试图在运行时与情感混合在一起。我们提出了一种新颖的表述，可以衡量不同情绪的语音样本之间的相对差异。然后，我们将公式纳入序列到序列情感文本到语音框架中。在培训期间，该框架不仅明确地表征了情感风格，而且还通过用其他情感量化差异来探索情绪的序数。在运行时，我们通过手动定义情感属性向量来控制模型以产生所需的情绪混合物。客观和主观评估验证了拟议框架的有效性。据我们所知，这项研究是关于言语中混合情绪的建模，综合和评估混合情绪的第一项研究。

YOUTTS为零拍摄多扬声器TTS的任务带来了多语言方法的力量。我们的方法在VITS模型上构建，并为零拍摄的多扬声器和多语言训练增加了几种新颖的修改。我们实现了最先进的（SOTA）导致零拍摄的多扬声器TTS以及与VCTK数据集上的零拍语音转换中的SOTA相当的结果。此外，我们的方法可以实现具有单扬声器数据集的目标语言的有希望的结果，以低资源语言为零拍摄多扬声器TTS和零拍语音转换系统的开放可能性。最后，可以微调言论不到1分钟的言论，并实现最先进的语音相似性和合理的质量。这对于允许具有非常不同的语音或从训练期间的记录特征的讲话来合成非常重要。

对于语音情绪数据集，与日常生活中显示的表现力较低的情绪相比，很难获得大量可靠的数据，而表现出的情绪可能超过了最高。最近，已经创建了具有自然情绪的较大数据集。这项研究并没有忽略较小的，行为的数据集，而是研究了从动作情绪中学到的信息是否对检测自然情绪有用。跨科普斯研究主要考虑了跨语言甚至跨年龄数据集，并且源于注释情绪导致性能下降的不同方法。为了保持一致，考虑了四个涵盖行为的成年英语数据集，考虑了自然情绪。提出了最先进的模型，以准确研究性能的降解。该系统涉及双向LSTM具有注意机制，以对数据集进行分类。实验研究了跨科普斯和多域的训练模型的影响，结果表明信息的传递不成功。室外模型，其次是适应丢失的数据集，而域对抗训练（DAT）被证明更适合于跨数据集的情绪概括。这显示了从ACT的数据集转移到具有更多自然情绪以及对不同语料库培训的好处的积极信息。

可以处理各种扬声器和声学条件的模型在语音情感识别（Ser）中至关重要。通常，这些模型往往会在培训期间呈现扬声器或声学条件时显示混合结果。本文调查了交叉组件数据互补和数据增强对Ser模型的影响（从相同的语料库中的测试设置）和不匹配（从不同的语料库测试）条件。介绍了使用六种情绪语音集团的调查，其中包括单一和多个扬声器以及情感风格的变化（作用，引发，自然）和记录条件。观察结果表明，正如预期的那样，在单一语料库上培训的模型在匹配条件下表现最佳，而性能在不匹配的条件下减少10-40％，具体取决于语料库特定功能。在混合语料库上培训的型号在不匹配的上下文中可以更稳定，与匹配条件中的单个语料库模型相比，性能减少的范围为1％至8％。数据增强产生额外的收益高达4％，似乎有利于比匹配的不匹配条件。

本文介绍了对F0的音素级韵律控制的方法和多销箱文本到语音设置的持续时间，基于韵律聚类。使用自回归关注的模型，并将多个箱子架构模块并联，与韵律编码器并联。提出了对基本单扬声器方法的几种改进，从而增加了韵律控制范围和覆盖范围。更具体地说，我们采用数据增强，F0​​标准化，持续时间的平衡集群，以及扬声器无关的韵律聚类。这些修改使培训集中包含的所有发言者能够进行细粒度的音素级韵律控制，同时保持扬声器标识。该模型也可以微调到具有限制数据量的看不见的扬声器，并显示其维持其韵律控制能力，验证说话者无关的韵律聚类是有效的。实验结果验证了该模型维持了高输出语音质量，并且该方法允许在每个扬声器范围内有效的韵律控制，尽管多种式箱子设置介绍的变化。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

跨言扬声器风格的转移旨在提取给定参考语音的语音样式，可以在任意目标扬声器的音色中复制。有关此主题的现有方法已经探索了利用语音级样式标签通过全球或本地规模样式表示进行样式转移。但是，有声读物数据集通常以本地韵律和全球类型的形式进行特征，并且很少伴有发言级风格的标签。因此，正确地将阅读方式转移到不同的扬声器上仍然是一项具有挑战性的任务。本文旨在介绍块的多尺度跨言式风格模型，以捕获有声读物的全球类型和本地韵律。此外，通过使用拟议的可切换对手分类器来解开扬声器的音色和样式，提取的阅读样式可适应不同扬声器的音色。实验结果证实，该模型设法将给定的阅读方式转移到新的目标扬声器上。在局部韵律和全球流派类型预测指标的支持下，进一步揭示了所提出的方法在多扬声器有声读物中的潜力。

在本文中，我们介绍了Amharic语音情绪数据集（亚胺），涵盖了四条方言（Gojjam，Wollo，Shewa和Londer）和五种不同的情绪（中性，恐惧，快乐，悲伤和生气）。我们认为它是Amharic语言的第一个语音情感认可（Ser）数据集。 65志愿者参与者，所有母语人员，记录2,474个声音样本，长度为2至4秒。八名法官将情绪分配给具有高协议水平的样本（Fleiss Kappa = 0.8）。生成的数据集可免费下载。接下来，我们开发了一个四层变体，我们称之为vggb。然后使用vggb进行三种实验，用于Ser，使用ASED。首先，我们研究了熔融谱图特征或熔融频率谱系数（MFCC）的特点是Amharic最适合的。这是通过培训ASID的两个VGGB SER模型来完成的，使用MEL-谱图和使用MFCC的另一个。尝试了四种形式的培训，标准交叉验证和三种变体，基于句子，方言和扬声器组。因此，用于训练的句子不会用于测试，以及方言和扬声器组的句子。结论是，在所有四种训练方案下，MFCC功能都是优越的。因此，MFCC采用实验2，其中VGGB和其他三种现有模型进行了验证：Resnet50，Alex-Net和LSTM。 vggb被发现具有非常好的准确性（90.73％）以及最快的培训时间。在实验3中，在培训在两个现有的SER数据集，RAVDES（英语）和EMO-DB（德语）以及ASED（Amharic）上进行培训时比较VGGB的性能。结果与这些语言相当，仿真是最高的。这表明VGGB可以成功应用于其他语言。我们希望Ased将鼓励研究人员试验其他模型为Amharic Ser。

强大的语音情感识别取决于语音特征的质量。我们提出语音功能增强策略，以改善语音情感识别。我们使用了Interspeech 2010挑战功能集。我们从特征集合和应用原理分析分析到子集中确定了子集。最后，这些功能水平融合。在应用特征以识别情绪之前，使用T分布的邻居嵌入（T-SNE）分析所得的功能集。将该方法与文献中使用的最新方法进行了比较。经验证据是使用两个著名数据集绘制的：情感语音数据集（EMO-DB）和Ryerson Audio-Visual Visual Envial语音和歌曲（Ravdess）分别用于两种语言，即德语和英语。与基线研究相比，我们的七个情绪中有六个情绪中有六个情绪中有六个情绪中有六个情绪中的六个情绪中的六个情绪中的六个情绪中的六个情绪中的六个情绪中的六个情绪中的六个情绪中获得了11.5 \％的平均识别增益，而RAVDESS数据集中的七个情绪为13.8 \％。