Text-to-speech synthesis (TTS) is a task to convert texts into speech. Two of the factors that have been driving TTS are the advancements of probabilistic models and latent representation learning. We propose a TTS method based on latent variable conversion using a diffusion probabilistic model and the variational autoencoder (VAE). In our TTS method, we use a waveform model based on VAE, a diffusion model that predicts the distribution of latent variables in the waveform model from texts, and an alignment model that learns alignments between the text and speech latent sequences. Our method integrates diffusion with VAE by modeling both mean and variance parameters with diffusion, where the target distribution is determined by approximation from VAE. This latent variable conversion framework potentially enables us to flexibly incorporate various latent feature extractors. Our experiments show that our method is robust to linguistic labels with poor orthography and alignment errors.

本文提出了一种具有多粒度潜变量的分层生成模型，以综合表达语音。近年来，将细粒度的潜在变量引入了文本到语音合成中，使得韵律和讲话方式的精细控制能够进行综合演讲。然而，当通过从标准高斯先前抽样获得这些潜变量时，言语的自然度降低。为了解决这个问题，我们提出了一种用于建模细粒度潜在变量的新框架，考虑到输入文本，分层语言结构和潜在变量的时间结构的依赖性。该框架包括多粒子变形AutoEncoder，条件先前和多级自回归潜伏转换器，以获得不同的时间分辨率潜变量，并通过拍摄来对较粗级别的潜入变量进行样本考虑到输入文本。实验结果表明，在合成阶段在没有参考信号的情况下采样细粒潜变量的适当方法。我们拟议的框架还提供了整个话语中说话风格的可控性。

降级扩散概率模型（DDPM）最近在许多生成任务中都取得了领先的性能。但是，继承的迭代采样过程成本阻碍了他们的应用程序到文本到语音部署。通过有关扩散模型参数化的初步研究，我们发现以前基于梯度的TTS模型需要数百或数千个迭代以保证高样本质量，这对加速采样带来了挑战。在这项工作中，我们提出了Prodiff的建议，以用于高质量文本到语音的渐进快速扩散模型。与以前的估计数据密度梯度的工作不同，Prodiff通过直接预测清洁数据来避免在加速采样时避免明显的质量降解来参数化denoising模型。为了通过减少扩散迭代来应对模型收敛挑战，Prodiff通过知识蒸馏减少目标位点的数据差异。具体而言，Denoising模型使用N-Step DDIM教师的生成的MEL光谱图作为训练目标，并将行为提炼成具有N/2步的新模型。因此，它允许TTS模型做出尖锐的预测，并通过数量级进一步减少采样时间。我们的评估表明，Prodiff仅需要两次迭代即可合成高保真性MEL光谱图，同时使用数百个步骤保持样本质量和多样性与最先进的模型竞争。 Prodiff在单个NVIDIA 2080TI GPU上的采样速度比实时快24倍，这使得扩散模型实际上是第一次适用于文本到语音综合部署。我们广泛的消融研究表明，Prodiff中的每种设计都是有效的，我们进一步表明，Prodiff可以轻松扩展到多扬声器设置。音频样本可在\ url {https://prodiff.github.io/。}上找到

扩散模型显示出令人难以置信的能力作为生成模型。实际上，它们为文本条件形成的图像生成（例如Imagen和dall-e2）提供了当前最新模型的启动基于观点。我们首先推导了变异扩散模型（VDM）作为马尔可夫分层变异自动编码器的特殊情况，其中三个关键假设可实现ELBO的可拖动计算和可扩展的优化。然后，我们证明，优化VDM归结为学习神经网络以预测三个潜在目标之一：来自任何任意噪声的原始源输入，任何任意噪声输入的原始源噪声或噪声的得分函数输入任何任意噪声水平。然后，我们更深入地研究学习分数函数的含义，并将扩散模型的变异透视图与通过Tweedie的公式明确地与基于得分的生成建模的角度联系起来。最后，我们涵盖了如何通过指导使用扩散模型学习条件分布的方法。

我们提出了一种新颖的方式来调节预验证的denoising扩散语音模型，以在训练期间看不见的新颖人的声音产生言语。该方法需要目标人的短（〜3秒）样本，并且在推理时间内产生，没有任何训练步骤。该方法的核心是采样过程，将denoising模型的估计与新扬声器样本的低通版本结合在一起。客观和主观评估表明，我们的抽样方法可以在频率方面产生与目标扬声器相似的声音，其准确性与最新方法相当，并且没有训练。

最近的文本到语音（TTS）的质量与人类的质量相当。但是，其在口语对话中的应用尚未得到广泛研究。这项研究旨在实现与人类对话非常相似的TT。首先，我们记录并抄录实际自发对话。然后，提出的对话TTS分为两个阶段：第一阶段，各种自动编码器（VAE） - VITS或高斯混合物变化自动编码器（GMVAE） - 培训了训练，从端到端文本对语音（VIT），最近提出的端到端TTS模型。从语音中提取潜在的口语表示的样式编码器与TTS共同培训。在第二阶段，对风格预测指标进行了训练，以预测从对话历史中综合的说话风格。在推断期间，通过将样式预测器预测的语言样式表示为VAE/gmvae-vits，可以以适合对话背景的样式合成语音。主观评估结果表明，所提出的方法在对话级别的自然性方面优于原始VIT。

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan

Diffusion-based generative models have had a high impact on the computer vision and speech processing communities these past years. Besides data generation tasks, they have also been employed for data restoration tasks like speech enhancement and dereverberation. While discriminative models have traditionally been argued to be more powerful e.g. for speech enhancement, generative diffusion approaches have recently been shown to narrow this performance gap considerably. In this paper, we systematically compare the performance of generative diffusion models and discriminative approaches on different speech restoration tasks. For this, we extend our prior contributions on diffusion-based speech enhancement in the complex time-frequency domain to the task of bandwith extension. We then compare it to a discriminatively trained neural network with the same network architecture on three restoration tasks, namely speech denoising, dereverberation and bandwidth extension. We observe that the generative approach performs globally better than its discriminative counterpart on all tasks, with the strongest benefit for non-additive distortion models, like in dereverberation and bandwidth extension. Code and audio examples can be found online at https://uhh.de/inf-sp-sgmsemultitask

产生人类想要的声音效果是一个重要的话题。但是，在这一领域，很少有研究声音发电。在这项研究中，我们调查了以文本提示为条件的声音，并提出了一个新型的文本对生成框架，该框架由文本编码器组成，矢量量化了变异自动编码器（VQ-VAE），解码器和歌手。该框架首先使用解码器将从文本编码器提取的文本特征传递到借助VQ-VAE的MEL光谱图中，然后使用Vocoder将生成的MEL光谱图转换为波形。我们发现，解码器显着影响发电性能。因此，我们专注于在这项研究中设计一个好的解码器。我们从传统的自动回解码器开始，该解码器已被证明是以前的Sound Generation Works中的最先进方法。但是，AR解码器始终按顺序预测MEL-SPECTROGIN图令牌，这引入了单向偏见和错误问题的积累。此外，使用AR解码器，声音生成时间随着声音持续时间线性增加。为了克服AR解码器引入的缺点，我们提出了一个基于离散扩散模型的非自动回形解码器，称为DiffSound。具体而言，DIFFSOUND可以在一个步骤中预测所有MEL光谱图令牌，然后在下一步中完善预测的令牌，因此可以在几个步骤后获得最优于预测的结果。我们的实验表明，与AR解码器相比，我们提出的差异不仅产生更好的文本到单一生成结果，而且还具有更快的生成速度，例如MOS：3.56 \ textit {v.s} 2.786，并且生成速度为五个比AR解码器快的时间。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

作为生成部件作为自回归模型的向量量化变形式自动化器（VQ-VAE）的集成在图像生成上产生了高质量的结果。但是，自回归模型将严格遵循采样阶段的逐步扫描顺序。这导致现有的VQ系列模型几乎不会逃避缺乏全球信息的陷阱。连续域中的去噪扩散概率模型（DDPM）显示了捕获全局背景的能力，同时产生高质量图像。在离散状态空间中，一些作品已经证明了执行文本生成和低分辨率图像生成的可能性。我们认为，在VQ-VAE的富含内容的离散视觉码本的帮助下，离散扩散模型还可以利用全局上下文产生高保真图像，这补偿了沿像素空间的经典自回归模型的缺陷。同时，离散VAE与扩散模型的集成解决了传统的自回归模型的缺点是超大的，以及在生成图像时需要在采样过程中的过度时间的扩散模型。结果发现所生成的图像的质量严重依赖于离散的视觉码本。广泛的实验表明，所提出的矢量量化离散扩散模型（VQ-DDM）能够实现与低复杂性的顶层方法的相当性能。它还展示了在没有额外培训的图像修复任务方面与自回归模型量化的其他矢量突出的优势。

In this work, we propose DiffWave, a versatile diffusion probabilistic model for conditional and unconditional waveform generation. The model is non-autoregressive, and converts the white noise signal into structured waveform through a Markov chain with a constant number of steps at synthesis. It is efficiently trained by optimizing a variant of variational bound on the data likelihood. DiffWave produces high-fidelity audio in different waveform generation tasks, including neural vocoding conditioned on mel spectrogram, class-conditional generation, and unconditional generation. We demonstrate that DiffWave matches a strong WaveNet vocoder in terms of speech quality (MOS: 4.44 versus 4.43), while synthesizing orders of magnitude faster. In particular, it significantly outperforms autoregressive and GAN-based waveform models in the challenging unconditional generation task in terms of audio quality and sample diversity from various automatic and human evaluations. 1 * Contributed to the work during an internship at Baidu Research, USA. 1 Audio samples are in: https://diffwave-demo.github.io/

语音转换是一项常见的语音综合任务，可以根据特定的现实情况来以不同的方式解决。最具挑战性的人通常被称为单一镜头多次的语音转换是在最一般的情况下，从一个参考语音中复制目标语音，而源和目标扬声器都不属于培训数据集。我们提出了一种基于扩散概率建模的可扩展高质量解决方案，与最新的单发语音转换方法相比，它表现出了优质的质量。此外，我们专注于实时应用程序，我们研究了可以更快地使扩散模型的一般原则，同时将合成质量保持在高水平。结果，我们开发了一种新型的随机微分方程求解器，适用于各种扩散模型类型和生成任务，如经验研究所示，并通过理论分析证明了它。

扩散概率模型已被证明在几个竞争性图像综合基准上产生最先进的结果，但缺乏低维，可解释的潜在空间，并且在一代中慢慢。另一方面，变形AutoEncoders（VAES）通常可以访问低维潜空间，但表现出差的样品质量。尽管最近的进步，VAE通常需要潜在代码的高维层次结构来产生高质量样本。我们呈现DiffUsevae，一种新的生成框架，它在扩散模型框架内集成了VAE，并利用这一点以设计用于扩散模型的新型条件参数化。我们表明所得模型可以在采样效率方面提高无条件扩散模型，同时还配备了具有低维VAE的扩散模型推断潜码。此外，我们表明所提出的模型可以产生高分辨率样本，并展示与标准基准上的最先进模型相当的合成质量。最后，我们表明所提出的方法可用于可控制的图像合成，并且还展示了图像超分辨率和去噪等下游任务的开箱即用功能。为了重现性，我们的源代码将公开可用于\ url {https://github.com/kpandey008/diffusevae}。

大多数神经文本到语音（TTS）模型需要<语音，转录器>来自所需扬声器的成对数据，以获得高质量的语音合成，这限制了大量未经过滤的训练数据的使用。在这项工作中，我们呈现导向TTS，这是一种高质量的TTS模型，用于从未筛选的语音数据生成语音。引导TTS将无条件扩散概率模型与单独培训的音素分类器组合以进行文本到语音。通过对语音的无条件分配建模，我们的模型可以利用未经筛选的培训数据。对于文本到语音合成，我们通过音素分类指导无条件DDPM的生成过程，以产生来自给定转录物的条件分布的MEL-谱图。我们表明，导向TTS与现有的方法实现了可比性的性能，而没有LJSpeech的任何成绩单。我们的结果进一步表明，在MultiSpeaker大规模数据上培训的单个扬声器相关的音素分类器可以指导针对各种扬声器执行TTS的无条件DDPM。

基于分数的生成模型和扩散概率模型已经成功地在连续域中产生高质量样本，例如图像和音频。然而，由于他们的LangeVin启发了采样机制，它们对离散和顺序数据的应用受到限制。在这项工作中，我们通过参数化在预先训练的变化性AutiaceOder的连续潜空间中的离散域参数，介绍了一种用于训练延伸模型的技术。我们的方法是非自回归的，并学习通过反向过程生成潜在嵌入的序列，并通过恒定数量的迭代细化步骤提供并行生成。与在相同连续嵌入的自回归语言模型相比，我们将这种技术应用于建模符号音乐，并显示出强大的无条件生成和后HOC条件缺陷结果。

Denoising Diffusion Probabilistic Models (DDPMs) are emerging in text-to-speech (TTS) synthesis because of their strong capability of generating high-fidelity samples. However, their iterative refinement process in high-dimensional data space results in slow inference speed, which restricts their application in real-time systems. Previous works have explored speeding up by minimizing the number of inference steps but at the cost of sample quality. In this work, to improve the inference speed for DDPM-based TTS model while achieving high sample quality, we propose ResGrad, a lightweight diffusion model which learns to refine the output spectrogram of an existing TTS model (e.g., FastSpeech 2) by predicting the residual between the model output and the corresponding ground-truth speech. ResGrad has several advantages: 1) Compare with other acceleration methods for DDPM which need to synthesize speech from scratch, ResGrad reduces the complexity of task by changing the generation target from ground-truth mel-spectrogram to the residual, resulting into a more lightweight model and thus a smaller real-time factor. 2) ResGrad is employed in the inference process of the existing TTS model in a plug-and-play way, without re-training this model. We verify ResGrad on the single-speaker dataset LJSpeech and two more challenging datasets with multiple speakers (LibriTTS) and high sampling rate (VCTK). Experimental results show that in comparison with other speed-up methods of DDPMs: 1) ResGrad achieves better sample quality with the same inference speed measured by real-time factor; 2) with similar speech quality, ResGrad synthesizes speech faster than baseline methods by more than 10 times. Audio samples are available at https://resgrad1.github.io/.

在连续时间域上表示为随机微分方程的基于扩散的方法最近已证明是一种非对抗性生成模型。培训此类模型依赖于denoising得分匹配，可以将其视为多尺度的Denoising自动编码器。在这里，我们扩大了Denoising分数匹配框架，以实现表示无监督信号的表示。 GAN和VAE通过将潜在代码直接转换为数据样本来学习表示形式。相比之下，引入的基于扩散的表示学习依赖于Denoisising分数匹配目标的新公式，因此编码了DeNoising所需的信息。我们说明了这种差异如何允许对表示中编码的细节级别进行手动控制。使用相同的方法，我们建议学习无限维度的潜在代码，该代码可在半监督图像分类中改善最先进的模型。我们还将扩散评分匹配的学术表示表示与自动编码器等其他方法的质量进行比较，并通过其在下游任务上的性能进行对比训练的系统。

基于变化的AutoEncoder的语音转换（VAE-VC）具有仅需要对培训的发言和扬声器标签的优势。与VAE-VC中的大部分研究不同，专注于利用辅助损失或离散变量，研究了如何增加模型表达式对VAE-VC的益处和影响。具体而言，我们首先将VAE-VC分析到速率 - 失真的角度，并指出模型表达性对于VAE-VC来说意义重大，因为速率和失真反映了转化的演示的相似性和自然度。基于分析，我们提出了一种使用深层等级vae的新型VC方法，具有高模型表达性，并且由于其非自动增加的解码器而具有快速转换速度。此外，我们的分析揭示了另一个问题，当VAE的潜变量具有冗余信息时，相似性可以降级。通过使用$ \ beta $ -vae目标控制潜在变量中包含的信息来解决问题。在使用VCTK Corpus的实验中，所提出的方法在性别间环境中的自然和相似性上实现了高于3.5的平均意见分数，其高于现有的基于AutoEncoder的VC方法的分数。

解开内容和口语样式信息对于零击的非并行语音转换（VC）至关重要。我们先前的研究调查了一个新型框架，该框架具有分离的顺序变分自动编码器（DSVAE），作为信息分解的骨干。我们已经证明，对于零拍的VC来说，同时解开嵌入的内容和嵌入的说话者是可行的。在这项研究中，我们通过提出对DSVAE基线中内容分支的先验分布的关注来继续方向。我们发现随机初始化的先验分布将迫使内容嵌入以减少学习过程中的语音结构信息，这不是所需的属性。在这里，我们试图获得更好的内容，并保留更多的语音信息。我们提出了条件DSVAE，这是一个新模型，可以使内容偏置作为先验建模的条件，并重塑从后分布中采样的内容。在我们在VCTK数据集的实验中，我们证明了从条件DSVAE中得出的内容嵌入克服了随机性，并获得了更好的音素分类精度，稳定的发声和与竞争性DSVAE基线相比，稳定的发声和更好的零击VC性能。