产生表现力和上下文适当的韵律仍然是现代文本到语音（TTS）系统的挑战。对于长，多句的输入，这一点尤其明显。在本文中，我们检查了基于变压器的快速语音系统的简单扩展，目的是改善多句子TT的韵律。我们发现，漫长的上下文，强大的文本功能以及对多演讲者数据的培训都改善了韵律。更有趣的是，它们产生协同作用。长篇小说席卷了韵律，改善了连贯性，并发挥了变形金刚的优势。来自强大的语言模型（例如BERT）的微调单词级功能似乎从更多培训数据中获利，在多演讲者设置中很容易获得。我们调查有关暂停和起搏的客观指标，并对语音自然进行彻底的主观评估。我们的主要系统结合了所有扩展，取得了始终如一的良好结果，包括对所有竞争对手的言语自然性的显着改善。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

我们介绍Audiolm，这是具有长期一致性高质量音频产生的框架。 Audiolm将输入音频映射到一系列离散令牌，并将音频生成作为此表示空间中的语言建模任务。我们展示了现有的音频令牌如何在重建质量和长期结构之间提供不同的权衡，我们提出了一个混合代币化计划来实现这两个目标。也就是说，我们利用在音频中预先训练的蒙版语言模型的离散激活来捕获长期结构和神经音频编解码器产生的离散代码，以实现高质量的合成。通过培训大型原始音频波形，Audiolm学会了在简短的提示下产生自然和连贯的连续性。当接受演讲训练时，没有任何笔录或注释，Audiolm会在句法和语义上产生可行的语音连续性，同时还为看不见的说话者保持说话者身份和韵律。此外，我们演示了我们的方法如何通过产生连贯的钢琴音乐连续性来超越语音，尽管受过训练而没有任何象征性的音乐代表。

本文介绍了语音（TTS）系统的Microsoft端到端神经文本：暴风雪挑战2021。这一挑战的目标是从文本中综合自然和高质量的演讲，并在两个观点中接近这一目标：首先是直接模型，并在48 kHz采样率下产生波形，这比以前具有16 kHz或24 kHz采样率的先前系统带来更高的感知质量;第二个是通过系统设计来模拟语音中的变化信息，从而提高了韵律和自然。具体而言，对于48 kHz建模，我们预测声学模型中的16 kHz熔点 - 谱图，并提出称为HIFINET的声码器直接从预测的16kHz MEL谱图中产生48kHz波形，这可以更好地促进培训效率，建模稳定性和语音。质量。我们从显式（扬声器ID，语言ID，音高和持续时间）和隐式（话语级和音素级韵律）视角系统地模拟变化信息：1）对于扬声器和语言ID，我们在培训和推理中使用查找嵌入; 2）对于音高和持续时间，我们在训练中提取来自成对的文本语音数据的值，并使用两个预测器来预测推理中的值; 3）对于话语级和音素级韵律，我们使用两个参考编码器来提取训练中的值，并使用两个单独的预测器来预测推理中的值。此外，我们介绍了一个改进的符合子块，以更好地模拟声学模型中的本地和全局依赖性。对于任务SH1，DelightFultts在MOS测试中获得4.17均匀分数，4.35在SMOS测试中，表明我们所提出的系统的有效性

神经端到端TTS模型的最新进展显示出在常规句子的TTS中表现出高质量的自然合成语音。但是，当TTS中考虑整个段落时，重现相似的高质量，在构建基于段落的TTS模型时需要考虑大量上下文信息。为了减轻培训的困难，我们建议通过考虑跨性别，嵌入式结构在培训中对语言和韵律信息进行建模。三个子模块，包括语言学意识，韵律和句子位置网络。具体而言，要了解嵌入在段落中的信息以及相应的组件句子之间的关系，我们利用语言学意识和韵律感知网络。段落中的信息由编码器捕获，段落中的句子间信息通过多头注意机制学习。段落中的相对句子位置由句子位置网络明确利用。拟议中的TTS模型在女性普通话中录制的讲故事的音频语料库（4.08小时）接受了培训，该模型表明，它可以产生相当自然而良好的语音段落。与基于句子的模型相比，可以更好地预测和渲染的跨句子上下文信息，例如连续句子之间的断裂和韵律变化。在段落文本上进行了测试，其长度与培训数据的典型段落长度相似，比训练数据的典型段落长得多，新模型产生的TTS语音始终优先于主观测试和基于句子的模型和在客观措施中确认。

本文介绍了对F0的音素级韵律控制的方法和多销箱文本到语音设置的持续时间，基于韵律聚类。使用自回归关注的模型，并将多个箱子架构模块并联，与韵律编码器并联。提出了对基本单扬声器方法的几种改进，从而增加了韵律控制范围和覆盖范围。更具体地说，我们采用数据增强，F0​​标准化，持续时间的平衡集群，以及扬声器无关的韵律聚类。这些修改使培训集中包含的所有发言者能够进行细粒度的音素级韵律控制，同时保持扬声器标识。该模型也可以微调到具有限制数据量的看不见的扬声器，并显示其维持其韵律控制能力，验证说话者无关的韵律聚类是有效的。实验结果验证了该模型维持了高输出语音质量，并且该方法允许在每个扬声器范围内有效的韵律控制，尽管多种式箱子设置介绍的变化。

最近结束语音合成的最新进步使得能够产生高度自然的语音。然而，训练这些模型通常需要大量的高保真语音数据，并且对于看不见的文本，合成语音的韵律相对不自然。为了解决这些问题，我们建议将基于精细的BERT基前端与基于预先训练的FastSeech2的声学模型结合起来，以改善韵律建模。在多任务学习中，预训练的伯爵在多电话消歧任务中，联合中文词组分割任务，联合中文字分割（CWS）和演讲（POS）标记任务，以及在多任务学习中的韵律结构预测（PSP）任务框架。FastSeech 2在大规模的外部数据上预先培训，这些数据很少，但更容易获得。实验结果表明，微调BERT模型和预训练的禁止轴2可以改善韵律，特别是对于那些结构复杂的句子。

本文提出了一种表达语音合成架构，用于在单词级别建模和控制说话方式。它试图借助两个编码器来学习语音数据的单词级风格和韵律表示。通过查找声学特征的每个单词的样式令牌的组合，第二个模型样式，第二个输出单词级序列仅在语音信息上调节，以便从风格信息解开它。两个编码器输出与音素编码器输出对齐并连接，然后用非周度塔歇尔策略模型解码。额外的先前编码器用于自向预测样式标记，以便模型能够在没有参考话语的情况下运行。我们发现所产生的模型给出了对样式的单词级和全局控制，以及韵律转移能力。

在人类的言论中，说话者的态度不能只用文本内容完全表达。它必须带有语调。声明性的问题通常用于日常的广东话对话中，通常会以不断增长的语调发出。香草神经文本到语音（TTS）系统由于语义信息的丢失而无法为这些句子综合这些句子的上升。尽管使用额外的语言模型补充系统已经变得越来越普遍，但它们在建模升起的语调方面的性能尚未得到很好的研究。在本文中，我们建议通过基于BERT的语句/问题分类器来补充广州TTS模型。我们设计了不同的培训策略并比较他们的表现。我们对一个名为Cantts的粤语语料库进行实验。经验结果表明，单独的培训方法获得了最佳的概括性能和可行性。

神经文本到语音研究的最新进展是利用低级中间语音表示（例如MEL-光谱图）的两阶段管道主导的。但是，这种预定的特征从根本上受到限制，因为它们不允许通过学习隐藏表示形式来利用数据驱动方法的全部潜力。因此，已经提出了几种端到端方法。但是，这样的模型更难训练，并且需要大量具有转录的高质量录音。在这里，我们提出了WavThruvec-一种两阶段的架构，通过使用高维WAV2VEC 2.0嵌入作为中间语音表示，可以解决瓶颈。由于这些隐藏的激活提供了高级语言特征，因此它们对噪音更强大。这使我们能够利用质量较低的注释语音数据集来训练第一阶段模块。同时，由于WAV2VEC 2.0的嵌入已经进行了时间对齐，因此可以在大规模未转录的音频语料库上对第二阶段组件进行培训。这导致了对量表词的概括能力的提高，以及对看不见的说话者的更好概括。我们表明，所提出的模型不仅与最新神经模型的质量相匹配，而且还介绍了有用的属性，可以实现语音转换或零弹性合成的任务。

当前的大多数TTS数据集是单个话语的集合，在样式和元数据方面几乎没有对话方面。在本文中，我们介绍了DailyTalk，这是一种专为文本到语音设计的高质量对话语音数据集。我们从开放域对话数据集Dabordialog中取样，修改和记录了2,541个对话，这些对话足以表示每个对话的上下文。在数据构建步骤中，我们维护了最初在DailyDialog中注释的属性分布，以支持DailyTalk中的各种对话。除了数据集之外，我们将先前的工作扩展为我们的基线，在该基线中，非自动回忆TTS的条件是对话框中的历史信息。我们收集元数据，以便TTS模型可以学习历史对话信息，这是产生上下文感知语音的关键。从基线实验结果中，我们显示每日talk可用于训练神经文本到语音模型，我们的基线可以代表上下文信息。 DailyTalk数据集和基线代码可自由使用CC-BY-SA 4.0许可证。

最近最近提出了使用音韵特征而不是音素作为输入到序列TTS的输入，用于零拍摄的多语言语音合成。这种方法对于代码切换是有用的，因为它促进了嵌入在本机的流中的外语的无缝发出。在我们的工作中，我们培训了一种语言 - 无人物多相箱模型，在不同语言中常见的一组音牙衍生特征上，其目标是实现交叉语言扬声器适应。我们首先尝试语言语音相似性对几种源语言组合的交叉语言的影响。随后，我们可以在看见或一个看不见的语言中使用非常有限的新扬声器语音数据进行微调，并实现了相同质量的合成语音，同时保留了目标扬声器的身份。随着目标扬声器数据的32和8个话语，我们获得高扬声器相似性分数和与相应文献相当的自然。在仅为2种可用的适应话语的极端情况下，我们发现我们的模型表现为几滴学习者，因为在所见和看不见的语言方案中的性能相似。

在本文中，介绍了文本到读取/唱歌系统，可以适应任何扬声器的声音。它利用基于TacoTron的多级箱子声学模型在只读语音数据训练，并且在音素级别提供韵律控制。还研究了基于传统DSP算法的数据集增强和额外的韵律操纵。神经TTS模型对看不见的扬声器的有限录音进行了微调，允许与目标的扬声器语音进行敲击/歌唱合成。描述了系统的详细管道，其包括从Capella歌曲的目标音调和持续时间值提取，并将其转换为在合成之前的目标扬声器的有效音符范围内。还研究了通过WSOLA输出的输出的韵律操纵的另外的阶段，以便更好地匹配目标持续时间值。合成的话语可以与乐器伴奏轨道混合以产生完整的歌曲。通过主观聆听测试评估所提出的系统，以及与可用的备用系统相比，该系统还旨在从只读训练数据产生合成歌唱语音。结果表明，该拟议的方法可以产生高质量的敲击/歌声，具有增加的自然。

端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。

最近的一些研究测试了变压器语言模型表示的使用来推断文本到语音综合（TTS）的韵律特征。尽管这些研究总体上探讨了韵律，但在这项工作中，我们专门研究了对对比的个人代词的预测。这是一项特别具有挑战性的任务，因为它通常需要语义，话语和/或务实的知识才能正确预测。我们收集包含对比焦点的话语语料库，并评估了BERT模型的准确性，该模型的准确性是在这些样品上预测量化的量化声学突出特征。我们还研究了过去的话语如何为该预测提供相关信息。此外，我们评估了以声音突出特征为条件的TTS模型中代词突出性的可控性。

我们呈现TranslatOrron 2，一个神经直接语音转换转换模型，可以训练结束到底。 TranslatOrron 2由语音编码器，音素解码器，MEL谱图合成器和连接所有前三个组件的注意模块组成。实验结果表明，翻译ron 2在翻译质量和预测的语音自然方面，通过大幅度优于原始翻译，并且通过减轻超越，例如唠叨或长暂停来大幅提高预测演讲的鲁棒性。我们还提出了一种在翻译语音中保留源代言人声音的新方法。训练有素的模型被限制为保留源扬声器的声音，但与原始翻译ron不同，它无法以不同的扬声器的语音产生语音，使模型对生产部署更加强大，通过减轻潜在的滥用来创建欺骗音频伪影。当新方法与基于简单的替代的数据增强一起使用时，训练的翻译器2模型能够保留每个扬声器的声音，以便用扬声器转动输入输入。

最近，语音表示学习改善了许多与语音有关的任务，例如语音识别，语音分类和语音到文本翻译。但是，以上所有任务都朝着语音理解的方向发展，但是对于反向方向，言语综合，由于产生高质量语音的挑战性质，代表性学习的潜力尚未实现。为了解决这个问题，我们提出了我们的框架，对准的声音文本预处理（$^3 $ t），该框架在培训期间重建了带有文本输入和声学文本对齐的蒙面声信号。通过这种方式，预处理的模型可以生成高质量的重建频谱图，可以直接应用于语音编辑和看不见的扬声器tts。实验显示了$^3 $ t在语音编辑上的SOTA模型，并在没有外部说话者验证模型的情况下改善了多扬声器语音综合。

配音是重新录制演员对话的后期生产过程，广泛用于电影制作和视频制作。它通常由专业的语音演员手动进行，他用适当的韵律读取行，以及与预先录制的视频同步。在这项工作中，我们提出了神经翻译，第一个神经网络模型来解决新型自动视频配音（AVD）任务：合成与来自文本给定视频同步的人类语音。神经杜布斯是一种多模态文本到语音（TTS）模型，它利用视频中的唇部运动来控制所生成的语音的韵律。此外，为多扬声器设置开发了一种基于图像的扬声器嵌入（ISE）模块，这使得神经Dubber能够根据扬声器的脸部产生具有合理的Timbre的语音。化学讲座的实验单扬声器数据集和LRS2多扬声器数据集显示，神经杜布斯可以在语音质量方面产生与最先进的TTS模型的语音声音。最重要的是，定性和定量评估都表明，神经杜布斯可以通过视频控制综合演讲的韵律，并产生与视频同步的高保真语音。

重音文本到语音（TTS）合成旨在以重音（L2）作为标准版本（L1）的变体生成语音。强调TTS合成具有挑战性，因为在语音渲染和韵律模式方面，L2在L1上都不同。此外，在话语中无法控制重音强度的解决方案。在这项工作中，我们提出了一种神经TTS体系结构，使我们能够控制重音及其在推理过程中的强度。这是通过三种新型机制来实现的，1）一种重音方差适配器，可以用三个韵律控制因子（即俯仰，能量和持续时间）对复杂的重音方差进行建模； 2）一种重音强度建模策略来量化重音强度； 3）一个一致性约束模块，以鼓励TTS系统在良好的水平上呈现预期的重音强度。实验表明，在重音渲染和强度控制方面，所提出的系统在基线模型上的性能优于基线模型。据我们所知，这是对具有明确强度控制的重音TT合成的首次研究。

机器生成的语音的特点是其有限或不自然的情绪变化。目前的语音系统文本与扁平情绪，从预定义的集合中选择的情感，从培训数据中的韵律序列中学到的平均变异，或者从源样式转移。我们向语音（TTS）系统提出了文本，其中用户可以从连续和有意义的情感空间（唤醒空间）中选择生成的语音的情绪。所提出的TTS系统可以从任何扬声器风格中的文本产生语音，具有对情绪的精细控制。我们展示该系统在培训期间无知的情感上的工作，并且可以鉴于他/她的演讲样本来扩展到以前看不见的扬声器。我们的作品将最先进的FastSeech2骨干的地平线扩展到多扬声器设置，并为其提供了多令人垂涎的连续（和可解释）的情感控制，而没有任何可观察到的综合演讲的退化。