Several recent work on speech synthesis have employed generative adversarial networks (GANs) to produce raw waveforms. Although such methods improve the sampling efficiency and memory usage, their sample quality has not yet reached that of autoregressive and flow-based generative models. In this work, we propose HiFi-GAN, which achieves both efficient and high-fidelity speech synthesis. As speech audio consists of sinusoidal signals with various periods, we demonstrate that modeling periodic patterns of an audio is crucial for enhancing sample quality. A subjective human evaluation (mean opinion score, MOS) of a single speaker dataset indicates that our proposed method demonstrates similarity to human quality while generating 22.05 kHz high-fidelity audio 167.9 times faster than real-time on a single V100 GPU. We further show the generality of HiFi-GAN to the melspectrogram inversion of unseen speakers and end-to-end speech synthesis. Finally, a small footprint version of HiFi-GAN generates samples 13.4 times faster than real-time on CPU with comparable quality to an autoregressive counterpart. IntroductionVoice is one of the most frequent and naturally used communication interfaces for humans. With recent developments in technology, voice is being used as a main interface in artificial intelligence (AI) voice assistant services such as Amazon Alexa, and it is also widely used in automobiles, smart homes and so forth. Accordingly, with the increase in demand for people to converse with machines, technology that synthesizes natural speech like human speech is being actively studied.Recently, with the development of neural networks, speech synthesis technology has made a rapid progress. Most neural speech synthesis models use a two-stage pipeline: 1) predicting a low resolution intermediate representation such as mel-spectrograms (

Previous works (Donahue et al., 2018a;Engel et al., 2019a) have found that generating coherent raw audio waveforms with GANs is challenging. In this paper, we show that it is possible to train GANs reliably to generate high quality coherent waveforms by introducing a set of architectural changes and simple training techniques. Subjective evaluation metric (Mean Opinion Score, or MOS) shows the effectiveness of the proposed approach for high quality mel-spectrogram inversion. To establish the generality of the proposed techniques, we show qualitative results of our model in speech synthesis, music domain translation and unconditional music synthesis. We evaluate the various components of the model through ablation studies and suggest a set of guidelines to design general purpose discriminators and generators for conditional sequence synthesis tasks. Our model is non-autoregressive, fully convolutional, with significantly fewer parameters than competing models and generalizes to unseen speakers for mel-spectrogram inversion. Our pytorch implementation runs at more than 100x faster than realtime on GTX 1080Ti GPU and more than 2x faster than real-time on CPU, without any hardware specific optimization tricks.

尽管在基于生成的对抗网络（GAN）的声音编码器中，该模型在MEL频谱图中生成原始波形，但在各种录音环境中为众多扬声器合成高保真音频仍然具有挑战性。在这项工作中，我们介绍了Bigvgan，这是一款通用的Vocoder，在零照片环境中在各种看不见的条件下都很好地概括了。我们将周期性的非线性和抗氧化表现引入到发电机中，这带来了波形合成所需的感应偏置，并显着提高了音频质量。根据我们改进的生成器和最先进的歧视器，我们以最大的规模训练我们的Gan Vocoder，最高到1.12亿个参数，这在文献中是前所未有的。特别是，我们识别并解决了该规模特定的训练不稳定性，同时保持高保真输出而不过度验证。我们的Bigvgan在各种分布场景中实现了最先进的零拍性能，包括新的扬声器，新颖语言，唱歌声音，音乐和乐器音频，在看不见的（甚至是嘈杂）的录制环境中。我们将在以下网址发布我们的代码和模型：https：//github.com/nvidia/bigvgan

基于生成对抗神经网络（GAN）的神经声码器由于其快速推理速度和轻量级网络而被广泛使用，同时产生了高质量的语音波形。由于感知上重要的语音成分主要集中在低频频段中，因此大多数基于GAN的神经声码器进行了多尺度分析，以评估降压化采样的语音波形。这种多尺度分析有助于发电机提高语音清晰度。然而，在初步实验中，我们观察到，重点放在低频频段的多尺度分析会导致意外的伪影，例如，混叠和成像伪像，这些文物降低了合成的语音波形质量。因此，在本文中，我们研究了这些伪影与基于GAN的神经声码器之间的关系，并提出了一个基于GAN的神经声码器，称为Avocodo，该机器人允许合成具有减少伪影的高保真语音。我们介绍了两种歧视者，以各种视角评估波形：协作多波段歧视者和一个子兰歧视器。我们还利用伪正常的镜像滤波器库来获得下采样的多频段波形，同时避免混音。实验结果表明，在语音和唱歌语音合成任务中，鳄梨的表现优于常规的基于GAN的神经声码器，并且可以合成无伪影的语音。尤其是，鳄梨甚至能够复制看不见的扬声器的高质量波形。

最近，基于GAN的神经声码器（如平行Wavegan，Melgan，Hifigan和Univnet）由于其轻巧和平行的结构而变得流行，从而导致具有高保真性的实时合成波形，即使在CPU上也是如此。 Hifigan和Univnet是两个Sota Vocoders。尽管它们质量很高，但仍有改进的余地。在本文中，由计算机视觉的视觉望远镜结构的激励，我们采用了一个类似的想法，并提出了一个有效且轻巧的神经声码器，称为Wolonet。在该网络中，我们开发了一个新颖的轻质块，该块使用位于曲线的动态凝胶核的位置变化，与通道无关和深度动态卷积内核。为了证明我们方法的有效性和概括性，我们进行了一项消融研究，以验证我们的新型设计，并与典型的基于GAN的歌手进行主观和客观的比较。结果表明，我们的Wolonet达到了最佳的一代质量，同时需要的参数少于两个神经SOTA声码器Hifigan和Univnet。

We propose Parallel WaveGAN, a distillation-free, fast, and smallfootprint waveform generation method using a generative adversarial network. In the proposed method, a non-autoregressive WaveNet is trained by jointly optimizing multi-resolution spectrogram and adversarial loss functions, which can effectively capture the time-frequency distribution of the realistic speech waveform. As our method does not require density distillation used in the conventional teacher-student framework, the entire model can be easily trained. Furthermore, our model is able to generate highfidelity speech even with its compact architecture. In particular, the proposed Parallel WaveGAN has only 1.44 M parameters and can generate 24 kHz speech waveform 28.68 times faster than realtime on a single GPU environment. Perceptual listening test results verify that our proposed method achieves 4.16 mean opinion score within a Transformer-based text-to-speech framework, which is comparative to the best distillation-based Parallel WaveNet system.

生成的对抗网络最近在神经声音中表现出了出色的表现，表现优于最佳自动回归和基于流动的模型。在本文中，我们表明这种成功可以扩展到有条件音频的其他任务。特别是，在HIFI Vocoders的基础上，我们为带宽扩展和语音增强的新型HIFI ++一般框架提出了新颖的一般框架。我们表明，通过改进的生成器体系结构和简化的多歧视培训，HIFI ++在这些任务中的最先进的情况下表现更好或与之相提并论，同时花费大量的计算资源。通过一系列广泛的实验，我们的方法的有效性得到了验证。

神经声码器（NVS）的发展导致了高质量和快速的波形。但是，常规的NV靶向单个采样率，并在应用于不同采样率时需要重新训练。由于语音质量和发电速度之间的权衡，合适的采样率因应用到应用而异。在这项研究中，我们提出了一种处理单个NV中多个采样率的方法，称为MSR-NV。通过从低采样率开始生成波形，MSR-NV可以有效地了解每个频段的特征，并以多个采样率合成高质量的语音。它可以被视为先前提出的NVS的扩展，在这项研究中，我们扩展了平行波甘（PWG）的结构。实验评估结果表明，所提出的方法比在16、24和48 kHz分别训练的原始PWG实现的主观质量明显更高，而没有增加推理时间。我们还表明，MSR-NV可以利用较低的采样率来利用语音来进一步提高合成语音的质量。

用于将音频信号的光谱表示转换为波形的神经声学器是语音合成管道中的常用组件。它侧重于合成来自低维表示的波形，例如MEL-谱图。近年来，已经引入了不同的方法来开发这种声音。但是，评估这些新的声音仪并将其表达与以前的声学相比，它变得更具挑战性。为了解决这个问题，我们呈现VOCBENCH，这是一个框架，该框架是基于最先进的神经声码器的性能。 VOCBENCH使用系统研究来评估共享环境中的不同神经探测器，使它们能够进行公平比较。在我们的实验中，我们对所有神经副探测器的数据集，培训管道和评估指标使用相同的设置。我们执行主观和客观评估，以比较每个声码器沿不同的轴的性能。我们的结果表明，该框架能够为每种声学器提供竞争的疗效和合成样品的质量。 Vocebench框架可在https://github.com/facebookResearch/Vocoder-Benchmark中获得。

神经文本到语音研究的最新进展是利用低级中间语音表示（例如MEL-光谱图）的两阶段管道主导的。但是，这种预定的特征从根本上受到限制，因为它们不允许通过学习隐藏表示形式来利用数据驱动方法的全部潜力。因此，已经提出了几种端到端方法。但是，这样的模型更难训练，并且需要大量具有转录的高质量录音。在这里，我们提出了WavThruvec-一种两阶段的架构，通过使用高维WAV2VEC 2.0嵌入作为中间语音表示，可以解决瓶颈。由于这些隐藏的激活提供了高级语言特征，因此它们对噪音更强大。这使我们能够利用质量较低的注释语音数据集来训练第一阶段模块。同时，由于WAV2VEC 2.0的嵌入已经进行了时间对齐，因此可以在大规模未转录的音频语料库上对第二阶段组件进行培训。这导致了对量表词的概括能力的提高，以及对看不见的说话者的更好概括。我们表明，所提出的模型不仅与最新神经模型的质量相匹配，而且还介绍了有用的属性，可以实现语音转换或零弹性合成的任务。

在神经文本到语音（TTS）中，两阶段系统或一系列单独学习的模型显示出接近人类语音的合成质量。例如，FastSpeech2将输入文本转换为MEL-SPECTROGRAM，然后HIFI-GAN从MEL-Spectogram产生了原始波形，它们分别称为声学特征发生器和神经声码器。但是，他们的训练管道有些麻烦，因为它需要进行微调和准确的语音文本对齐，以实现最佳性能。在这项工作中，我们提出了端到端的文本到语音（E2E-TTS）模型，该模型具有简化的训练管道，并优于单独学习的模型。具体而言，我们提出的模型是经过对齐模块的联合训练的FastSpeech2和HIFI-GAN。由于训练和推理之间没有声学特征不匹配，因此不需要微调。此外，我们通过在联合培训框架中采用对齐学习目标来消除对外部语音文本对齐工具的依赖。在LJSpeech语料库上进行的实验表明，所提出的模型优于公开可用的模型，ESPNET2-TT在主观评估（MOS）（MOS）和一些客观评估中的最新实现。

在许多语音和音乐相关任务中，应用于音频的深度生成模型已经改善了最先进的最先进的语音和音乐相关的任务。然而，由于原始波形建模仍然是一个固有的困难任务，音频生成模型要么计算密集，依赖于低采样率，并复杂于控制或限制可能信号的性质。在这些模型中，变形自身偏析器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一个实时音频变形式自动化器（RAVE），允许快速和高质量的音频波形合成。我们介绍了一种新型的两级培训程序，即表示学习和对抗性微调。我们表明，使用对潜伏空间的训练后分析允许直接控制重建保真度和表示紧凑性。通过利用原始波形的多频段分解，我们表明我们的模型是第一个能够生成48kHz音频信号，同时在标准膝上型计算机CPU上的实时运行20倍。我们使用定量和定性主观实验评估合成质量，并与现有模型相比，我们的方法的优越性。最后，我们呈现了我们模型的MigBre传输和信号压缩的应用。我们所有的源代码和音频示例都是公开的。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。

In this work, we propose DiffWave, a versatile diffusion probabilistic model for conditional and unconditional waveform generation. The model is non-autoregressive, and converts the white noise signal into structured waveform through a Markov chain with a constant number of steps at synthesis. It is efficiently trained by optimizing a variant of variational bound on the data likelihood. DiffWave produces high-fidelity audio in different waveform generation tasks, including neural vocoding conditioned on mel spectrogram, class-conditional generation, and unconditional generation. We demonstrate that DiffWave matches a strong WaveNet vocoder in terms of speech quality (MOS: 4.44 versus 4.43), while synthesizing orders of magnitude faster. In particular, it significantly outperforms autoregressive and GAN-based waveform models in the challenging unconditional generation task in terms of audio quality and sample diversity from various automatic and human evaluations. 1 * Contributed to the work during an internship at Baidu Research, USA. 1 Audio samples are in: https://diffwave-demo.github.io/

GAN vocoders are currently one of the state-of-the-art methods for building high-quality neural waveform generative models. However, most of their architectures require dozens of billion floating-point operations per second (GFLOPS) to generate speech waveforms in samplewise manner. This makes GAN vocoders still challenging to run on normal CPUs without accelerators or parallel computers. In this work, we propose a new architecture for GAN vocoders that mainly depends on recurrent and fully-connected networks to directly generate the time domain signal in framewise manner. This results in considerable reduction of the computational cost and enables very fast generation on both GPUs and low-complexity CPUs. Experimental results show that our Framewise WaveGAN vocoder achieves significantly higher quality than auto-regressive maximum-likelihood vocoders such as LPCNet at a very low complexity of 1.2 GFLOPS. This makes GAN vocoders more practical on edge and low-power devices.

大多数GaN（生成的对抗网络）基于高保真波形的方法，严重依赖于鉴别者来提高其性能。然而，该GaN方法的过度使用引入了生成过程中的许多不确定性，并且通常导致音调和强度不匹配，当使用诸如唱歌语音合成（SVS）敏感时，这是致命的。为了解决这个问题，我们提出了一种高保真神经声码器的Refinegan，具有更快的实时发电能力，并专注于鲁棒性，俯仰和强度精度和全带音频生成。我们采用了一种具有基于多尺度谱图的损耗功能的播放引导的细化架构，以帮助稳定训练过程，并在使用基于GaN的训练方法的同时保持神经探测器的鲁棒性。与地面真实音频相比，使用此方法生成的音频显示在主观测试中更好的性能。该结果表明，通过消除由扬声器和记录过程产生的缺陷，在波形重建期间甚至改善了保真度。此外，进一步的研究表明，在特定类型的数据上培训的模型可以在完全看不见的语言和看不见的扬声器上相同地执行。生成的样本对在https://timedomain-tech.github.io/refinegor上提供。

This paper describes Tacotron 2, a neural network architecture for speech synthesis directly from text. The system is composed of a recurrent sequence-to-sequence feature prediction network that maps character embeddings to mel-scale spectrograms, followed by a modified WaveNet model acting as a vocoder to synthesize time-domain waveforms from those spectrograms. Our model achieves a mean opinion score (MOS) of 4.53 comparable to a MOS of 4.58 for professionally recorded speech. To validate our design choices, we present ablation studies of key components of our system and evaluate the impact of using mel spectrograms as the conditioning input to WaveNet instead of linguistic, duration, and F0 features. We further show that using this compact acoustic intermediate representation allows for a significant reduction in the size of the WaveNet architecture.

不受限制的口红到语音综合旨在从无声的面孔视频中产生相应的演讲，而无需限制头部姿势或词汇。当前的作品主要使用序列到序列模型来解决此问题，无论是自动回归体系结构还是基于流动的非自动回忆架构。但是，这些模型遭受了几个缺点：1）而不是直接生成音频，而是使用两阶段的管道，该管道首先生成MEL-SPECTROGRAM，然后从频谱图中重建音频。这会导致繁琐的部署和由于错误传播引起的语音质量的退化； 2）这些模型使用的音频重建算法限制了推理速度和音频质量，而这些模型的神经声码器不可用，因为它们的输出谱图不够准确； 3）自回旋模型具有很高的推理延迟，而基于流的模型具有很高的内存占用：它们在时间和内存使用方面都没有足够的效率。为了解决这些问题，我们提出了FASTLTs，这是一种非自动回调的端到端模型，可以直接从延迟低的不受约束的会话视频中直接合成高质量的语音音频，并且模型大小相对较小。此外，与广泛使用的3D-CNN视觉前端用于唇部运动编码，我们首次为此任务提出了基于变压器的视觉前端。实验表明，与当前的3秒输入序列上的当前自动回归模型相比，我们的模型可实现音频波形的$ 19.76 \ times $加速，并获得了卓越的音频质量。

本文介绍了一个统一的源滤波器网络，具有谐波源源激发生成机制。在以前的工作中，我们提出了统一的源滤波器gan（USFGAN），用于开发具有统一源滤波器神经网络体系结构的灵活语音可控性的高保真神经声码器。但是，USFGAN对Aperiodic源激发信号进行建模的能力不足，并且自然语音和生成的语音之间的声音质量仍然存在差距。为了改善源激发建模和产生的声音质量，提出了一个新的源激励生成网络，分别生成周期性和大约组件。还采用了Hifigan的高级对抗训练程序来代替原始USFGAN中使用的平行波甘的训练。客观和主观评估结果都表明，经过修改的USFGAN可显着提高基本USFGAN的声音质量，同时保持语音可控性。

我们提出了一个录音录音录音的录音录音。我们的模型通过短时傅立叶变换（STFT）将其输入转换为时频表示，并使用卷积神经网络处理所得的复杂频谱图。该网络在合成音乐数据集上培训了重建和对抗性目标，该数据集是通过将干净的音乐与从旧唱片的安静片段中提取的真实噪声样本混合而创建的。我们在合成数据集的持有测试示例中定量评估我们的方法，并通过人类对实际历史记录样本的评级进行定性评估。我们的结果表明，所提出的方法可有效消除噪音，同时保留原始音乐的质量和细节。