诸如FastSpeech之类的非自动回归文本（TTS）模型可以比以前具有可比性的自回归模型合成语音的速度要快得多。 FastSpeech模型的培训依赖于持续时间预测的自回归教师模型（提供更多信息作为输入）和知识蒸馏（以简化输出中的数据分布），这可以缓解一对多的映射问题（即多个多个映射问题语音变化对应于TTS中的同一文本）。但是，FastSpeech有几个缺点：1）教师学生的蒸馏管线很复杂且耗时，2）从教师模型中提取的持续时间不够准确，并且从教师模型中提取的目标MEL光谱图会遭受信息损失的影响。由于数据的简化，两者都限制了语音质量。在本文中，我们提出了FastSpeech 2，它解决了FastSpeech中的问题，并更好地解决了TTS中的一对一映射问题1）直接用地面实现目标直接训练该模型，而不是教师的简化输出，以及2 ）作为条件输入，引入更多语音信息（例如，音高，能量和更准确的持续时间）。具体而言，我们从语音波形中提取持续时间，音高和能量，并将其直接作为训练中的条件输入，并在推理中使用预测的值。我们进一步设计了FastSpeech 2s，这是首次尝试从文本中直接生成语音波形的尝试，从而享受完全端到端推断的好处。实验结果表明，1）FastSpeech 2在FastSpeech上实现了3倍的训练，而FastSpeech 2s的推理速度甚至更快； 2）FastSpeech 2和2S的语音质量优于FastSpeech，而FastSpeech 2甚至可以超越自回归型号。音频样本可在https://speechresearch.github.io/fastspeech2/上找到。

本文介绍了语音（TTS）系统的Microsoft端到端神经文本：暴风雪挑战2021。这一挑战的目标是从文本中综合自然和高质量的演讲，并在两个观点中接近这一目标：首先是直接模型，并在48 kHz采样率下产生波形，这比以前具有16 kHz或24 kHz采样率的先前系统带来更高的感知质量;第二个是通过系统设计来模拟语音中的变化信息，从而提高了韵律和自然。具体而言，对于48 kHz建模，我们预测声学模型中的16 kHz熔点 - 谱图，并提出称为HIFINET的声码器直接从预测的16kHz MEL谱图中产生48kHz波形，这可以更好地促进培训效率，建模稳定性和语音。质量。我们从显式（扬声器ID，语言ID，音高和持续时间）和隐式（话语级和音素级韵律）视角系统地模拟变化信息：1）对于扬声器和语言ID，我们在培训和推理中使用查找嵌入; 2）对于音高和持续时间，我们在训练中提取来自成对的文本语音数据的值，并使用两个预测器来预测推理中的值; 3）对于话语级和音素级韵律，我们使用两个参考编码器来提取训练中的值，并使用两个单独的预测器来预测推理中的值。此外，我们介绍了一个改进的符合子块，以更好地模拟声学模型中的本地和全局依赖性。对于任务SH1，DelightFultts在MOS测试中获得4.17均匀分数，4.35在SMOS测试中，表明我们所提出的系统的有效性

重音文本到语音（TTS）合成旨在以重音（L2）作为标准版本（L1）的变体生成语音。强调TTS合成具有挑战性，因为在语音渲染和韵律模式方面，L2在L1上都不同。此外，在话语中无法控制重音强度的解决方案。在这项工作中，我们提出了一种神经TTS体系结构，使我们能够控制重音及其在推理过程中的强度。这是通过三种新型机制来实现的，1）一种重音方差适配器，可以用三个韵律控制因子（即俯仰，能量和持续时间）对复杂的重音方差进行建模； 2）一种重音强度建模策略来量化重音强度； 3）一个一致性约束模块，以鼓励TTS系统在良好的水平上呈现预期的重音强度。实验表明，在重音渲染和强度控制方面，所提出的系统在基线模型上的性能优于基线模型。据我们所知，这是对具有明确强度控制的重音TT合成的首次研究。

机器生成的语音的特点是其有限或不自然的情绪变化。目前的语音系统文本与扁平情绪，从预定义的集合中选择的情感，从培训数据中的韵律序列中学到的平均变异，或者从源样式转移。我们向语音（TTS）系统提出了文本，其中用户可以从连续和有意义的情感空间（唤醒空间）中选择生成的语音的情绪。所提出的TTS系统可以从任何扬声器风格中的文本产生语音，具有对情绪的精细控制。我们展示该系统在培训期间无知的情感上的工作，并且可以鉴于他/她的演讲样本来扩展到以前看不见的扬声器。我们的作品将最先进的FastSeech2骨干的地平线扩展到多扬声器设置，并为其提供了多令人垂涎的连续（和可解释）的情感控制，而没有任何可观察到的综合演讲的退化。

Denoising Diffusion Probabilistic Models (DDPMs) are emerging in text-to-speech (TTS) synthesis because of their strong capability of generating high-fidelity samples. However, their iterative refinement process in high-dimensional data space results in slow inference speed, which restricts their application in real-time systems. Previous works have explored speeding up by minimizing the number of inference steps but at the cost of sample quality. In this work, to improve the inference speed for DDPM-based TTS model while achieving high sample quality, we propose ResGrad, a lightweight diffusion model which learns to refine the output spectrogram of an existing TTS model (e.g., FastSpeech 2) by predicting the residual between the model output and the corresponding ground-truth speech. ResGrad has several advantages: 1) Compare with other acceleration methods for DDPM which need to synthesize speech from scratch, ResGrad reduces the complexity of task by changing the generation target from ground-truth mel-spectrogram to the residual, resulting into a more lightweight model and thus a smaller real-time factor. 2) ResGrad is employed in the inference process of the existing TTS model in a plug-and-play way, without re-training this model. We verify ResGrad on the single-speaker dataset LJSpeech and two more challenging datasets with multiple speakers (LibriTTS) and high sampling rate (VCTK). Experimental results show that in comparison with other speed-up methods of DDPMs: 1) ResGrad achieves better sample quality with the same inference speed measured by real-time factor; 2) with similar speech quality, ResGrad synthesizes speech faster than baseline methods by more than 10 times. Audio samples are available at https://resgrad1.github.io/.

配音是重新录制演员对话的后期生产过程，广泛用于电影制作和视频制作。它通常由专业的语音演员手动进行，他用适当的韵律读取行，以及与预先录制的视频同步。在这项工作中，我们提出了神经翻译，第一个神经网络模型来解决新型自动视频配音（AVD）任务：合成与来自文本给定视频同步的人类语音。神经杜布斯是一种多模态文本到语音（TTS）模型，它利用视频中的唇部运动来控制所生成的语音的韵律。此外，为多扬声器设置开发了一种基于图像的扬声器嵌入（ISE）模块，这使得神经Dubber能够根据扬声器的脸部产生具有合理的Timbre的语音。化学讲座的实验单扬声器数据集和LRS2多扬声器数据集显示，神经杜布斯可以在语音质量方面产生与最先进的TTS模型的语音声音。最重要的是，定性和定量评估都表明，神经杜布斯可以通过视频控制综合演讲的韵律，并产生与视频同步的高保真语音。

降级扩散概率模型（DDPM）最近在许多生成任务中都取得了领先的性能。但是，继承的迭代采样过程成本阻碍了他们的应用程序到文本到语音部署。通过有关扩散模型参数化的初步研究，我们发现以前基于梯度的TTS模型需要数百或数千个迭代以保证高样本质量，这对加速采样带来了挑战。在这项工作中，我们提出了Prodiff的建议，以用于高质量文本到语音的渐进快速扩散模型。与以前的估计数据密度梯度的工作不同，Prodiff通过直接预测清洁数据来避免在加速采样时避免明显的质量降解来参数化denoising模型。为了通过减少扩散迭代来应对模型收敛挑战，Prodiff通过知识蒸馏减少目标位点的数据差异。具体而言，Denoising模型使用N-Step DDIM教师的生成的MEL光谱图作为训练目标，并将行为提炼成具有N/2步的新模型。因此，它允许TTS模型做出尖锐的预测，并通过数量级进一步减少采样时间。我们的评估表明，Prodiff仅需要两次迭代即可合成高保真性MEL光谱图，同时使用数百个步骤保持样本质量和多样性与最先进的模型竞争。 Prodiff在单个NVIDIA 2080TI GPU上的采样速度比实时快24倍，这使得扩散模型实际上是第一次适用于文本到语音综合部署。我们广泛的消融研究表明，Prodiff中的每种设计都是有效的，我们进一步表明，Prodiff可以轻松扩展到多扬声器设置。音频样本可在\ url {https://prodiff.github.io/。}上找到

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

在神经文本到语音（TTS）中，两阶段系统或一系列单独学习的模型显示出接近人类语音的合成质量。例如，FastSpeech2将输入文本转换为MEL-SPECTROGRAM，然后HIFI-GAN从MEL-Spectogram产生了原始波形，它们分别称为声学特征发生器和神经声码器。但是，他们的训练管道有些麻烦，因为它需要进行微调和准确的语音文本对齐，以实现最佳性能。在这项工作中，我们提出了端到端的文本到语音（E2E-TTS）模型，该模型具有简化的训练管道，并优于单独学习的模型。具体而言，我们提出的模型是经过对齐模块的联合训练的FastSpeech2和HIFI-GAN。由于训练和推理之间没有声学特征不匹配，因此不需要微调。此外，我们通过在联合培训框架中采用对齐学习目标来消除对外部语音文本对齐工具的依赖。在LJSpeech语料库上进行的实验表明，所提出的模型优于公开可用的模型，ESPNET2-TT在主观评估（MOS）（MOS）和一些客观评估中的最新实现。

现有的语音克隆（VC）任务旨在将段落文本转换为具有参考音频指定的所需语音的语音。这显着提高了人工语音应用的发展。然而，也存在许多情景，这些方案不能被这些VC任务更好地反映，例如电影配音，这需要语音与与电影图一致的情绪。为了填补这个差距，在这项工作中，我们提出了一个名为Visual Voice Cloning（V2C）的新任务，该任务试图将文本段落转换为具有由参考视频指定的参考音频和所需情绪指定的所需语音的语音。为了促进该领域的研究，我们构建数据集，V2C动画，并根据现有的最先进（SOTA）VC技术提出强大的基线。我们的数据集包含10,217个动画电影剪辑，覆盖各种类型的类型（例如，喜剧，幻想）和情感（例如，快乐，悲伤）。我们进一步设计了一组名为MCD-DTW-SL的评估度量，这有助于评估地面真理语音和合成的相似性。广泛的实验结果表明，即使是SOTA VC方法也不能为我们的V2C任务产生令人满意的演讲。我们希望拟议的新任务与建设的数据集和评估度量一起将促进语音克隆领域的研究和更广泛的视野和语言社区。

建立唱歌语音合成（SVS）系统以合成高质量和表达歌唱语音，其中声学模型在给定音乐分数时产生声学特征（例如，熔点）。以前的歌唱声学模型采用简单的损失（例如，L1和L2）或生成的对抗网络（GaN）来重建声学特征，同时它们分别遭受过平滑和不稳定的训练问题，这阻碍了合成歌曲的自然性。在这项工作中，我们提出了基于扩散概率模型的SVS的衍射指唱者。 Diffsinger是一个参数化的马尔可夫链，可迭代地将噪声转换为麦克波图条件的音乐分数。通过隐式优化变分界，Diffsinger可以稳定地训练并产生现实的输出。为了进一步提高语音质量和速度推断，我们引入了浅扩散机制，以更好地利用简单损失所学到的先验知识。具体地，根据地面真实熔点的扩散轨迹的交叉点，差异指针在小于扩散步骤的总数的浅步骤中开始产生，并且通过简单的熔融谱图解码器预测的那个。此外，我们提出了边界预测方法来定位交叉点并自适应地确定浅步。对中国歌唱数据集进行的评估表明Diffsinger优于最先进的SVS工作。扩展实验还证明了我们对语音致辞任务（DiffSeech）的方法的概括。音频样本可通过\ url {https://diffsinger.github.io}获得。

This paper describes Tacotron 2, a neural network architecture for speech synthesis directly from text. The system is composed of a recurrent sequence-to-sequence feature prediction network that maps character embeddings to mel-scale spectrograms, followed by a modified WaveNet model acting as a vocoder to synthesize time-domain waveforms from those spectrograms. Our model achieves a mean opinion score (MOS) of 4.53 comparable to a MOS of 4.58 for professionally recorded speech. To validate our design choices, we present ablation studies of key components of our system and evaluate the impact of using mel spectrograms as the conditioning input to WaveNet instead of linguistic, duration, and F0 features. We further show that using this compact acoustic intermediate representation allows for a significant reduction in the size of the WaveNet architecture.

We propose Parallel WaveGAN, a distillation-free, fast, and smallfootprint waveform generation method using a generative adversarial network. In the proposed method, a non-autoregressive WaveNet is trained by jointly optimizing multi-resolution spectrogram and adversarial loss functions, which can effectively capture the time-frequency distribution of the realistic speech waveform. As our method does not require density distillation used in the conventional teacher-student framework, the entire model can be easily trained. Furthermore, our model is able to generate highfidelity speech even with its compact architecture. In particular, the proposed Parallel WaveGAN has only 1.44 M parameters and can generate 24 kHz speech waveform 28.68 times faster than realtime on a single GPU environment. Perceptual listening test results verify that our proposed method achieves 4.16 mean opinion score within a Transformer-based text-to-speech framework, which is comparative to the best distillation-based Parallel WaveNet system.

Given a piece of text, a video clip and a reference audio, the movie dubbing (also known as visual voice clone V2C) task aims to generate speeches that match the speaker's emotion presented in the video using the desired speaker voice as reference. V2C is more challenging than conventional text-to-speech tasks as it additionally requires the generated speech to exactly match the varying emotions and speaking speed presented in the video. Unlike previous works, we propose a novel movie dubbing architecture to tackle these problems via hierarchical prosody modelling, which bridges the visual information to corresponding speech prosody from three aspects: lip, face, and scene. Specifically, we align lip movement to the speech duration, and convey facial expression to speech energy and pitch via attention mechanism based on valence and arousal representations inspired by recent psychology findings. Moreover, we design an emotion booster to capture the atmosphere from global video scenes. All these embeddings together are used to generate mel-spectrogram and then convert to speech waves via existing vocoder. Extensive experimental results on the Chem and V2C benchmark datasets demonstrate the favorable performance of the proposed method. The source code and trained models will be released to the public.

尽管在文本到语音综合的生成建模方面取得了最新进展，但这些模型尚未具有与螺距条件确定性模型（例如FastPitch和fastspeech2）相同的细粒度可调节性。音调信息不仅是低维度，而且是不连续的，这使得在生成环境中建模特别困难。我们的工作探讨了在正常流量模型的背景下处理上述问题的几种技术。我们还发现这个问题非常适合神经条件流，这是归一化流中更常见的仿射耦合机制的高度表达替代品。

神经端到端TTS模型的最新进展显示出在常规句子的TTS中表现出高质量的自然合成语音。但是，当TTS中考虑整个段落时，重现相似的高质量，在构建基于段落的TTS模型时需要考虑大量上下文信息。为了减轻培训的困难，我们建议通过考虑跨性别，嵌入式结构在培训中对语言和韵律信息进行建模。三个子模块，包括语言学意识，韵律和句子位置网络。具体而言，要了解嵌入在段落中的信息以及相应的组件句子之间的关系，我们利用语言学意识和韵律感知网络。段落中的信息由编码器捕获，段落中的句子间信息通过多头注意机制学习。段落中的相对句子位置由句子位置网络明确利用。拟议中的TTS模型在女性普通话中录制的讲故事的音频语料库（4.08小时）接受了培训，该模型表明，它可以产生相当自然而良好的语音段落。与基于句子的模型相比，可以更好地预测和渲染的跨句子上下文信息，例如连续句子之间的断裂和韵律变化。在段落文本上进行了测试，其长度与培训数据的典型段落长度相似，比训练数据的典型段落长得多，新模型产生的TTS语音始终优先于主观测试和基于句子的模型和在客观措施中确认。

在本文中，我们提出了一个神经端到端系统，用于保存视频的语音，唇部同步翻译。该系统旨在将多个组件模型结合在一起，并以目标语言的目标语言与目标语言的原始扬声器演讲的视频与目标语音相结合，但在语音，语音特征，面对原始扬声器的视频中保持着重点。管道从自动语音识别开始，包括重点检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建了原始句子映射的原始重点。然后，使用语音转换模型将结果的合成语音映射到原始扬声器的声音。最后，为了将扬声器的嘴唇与翻译的音频同步，有条件的基于对抗网络的模型生成了相对于输入面图像以及语音转换模型的输出的适应性唇部运动的帧。最后，系统将生成的视频与转换后的音频结合在一起，以产生最终输出。结果是一个扬声器用另一种语言说话的视频而不真正知道。为了评估我们的设计，我们介绍了完整系统的用户研究以及对单个组件的单独评估。由于没有可用的数据集来评估我们的整个系统，因此我们收集了一个测试集并在此测试集上评估我们的系统。结果表明，我们的系统能够生成令人信服的原始演讲者的视频，同时保留原始说话者的特征。收集的数据集将共享。

Deep learning based text-to-speech (TTS) systems have been evolving rapidly with advances in model architectures, training methodologies, and generalization across speakers and languages. However, these advances have not been thoroughly investigated for Indian language speech synthesis. Such investigation is computationally expensive given the number and diversity of Indian languages, relatively lower resource availability, and the diverse set of advances in neural TTS that remain untested. In this paper, we evaluate the choice of acoustic models, vocoders, supplementary loss functions, training schedules, and speaker and language diversity for Dravidian and Indo-Aryan languages. Based on this, we identify monolingual models with FastPitch and HiFi-GAN V1, trained jointly on male and female speakers to perform the best. With this setup, we train and evaluate TTS models for 13 languages and find our models to significantly improve upon existing models in all languages as measured by mean opinion scores. We open-source all models on the Bhashini platform.

Several solutions for lightweight TTS have shown promising results. Still, they either rely on a hand-crafted design that reaches non-optimum size or use a neural architecture search but often suffer training costs. We present Nix-TTS, a lightweight TTS achieved via knowledge distillation to a high-quality yet large-sized, non-autoregressive, and end-to-end (vocoder-free) TTS teacher model. Specifically, we offer module-wise distillation, enabling flexible and independent distillation to the encoder and decoder module. The resulting Nix-TTS inherited the advantageous properties of being non-autoregressive and end-to-end from the teacher, yet significantly smaller in size, with only 5.23M parameters or up to 89.34% reduction of the teacher model; it also achieves over 3.04x and 8.36x inference speedup on Intel-i7 CPU and Raspberry Pi 3B respectively and still retains a fair voice naturalness and intelligibility compared to the teacher model. We provide pretrained models and audio samples of Nix-TTS.

我们呈现TranslatOrron 2，一个神经直接语音转换转换模型，可以训练结束到底。 TranslatOrron 2由语音编码器，音素解码器，MEL谱图合成器和连接所有前三个组件的注意模块组成。实验结果表明，翻译ron 2在翻译质量和预测的语音自然方面，通过大幅度优于原始翻译，并且通过减轻超越，例如唠叨或长暂停来大幅提高预测演讲的鲁棒性。我们还提出了一种在翻译语音中保留源代言人声音的新方法。训练有素的模型被限制为保留源扬声器的声音，但与原始翻译ron不同，它无法以不同的扬声器的语音产生语音，使模型对生产部署更加强大，通过减轻潜在的滥用来创建欺骗音频伪影。当新方法与基于简单的替代的数据增强一起使用时，训练的翻译器2模型能够保留每个扬声器的声音，以便用扬声器转动输入输入。