Previous generative adversarial network (GAN)-based neural vocoders are trained to reconstruct the exact ground truth waveform from the paired mel-spectrogram and do not consider the one-to-many relationship of speech synthesis. This conventional training causes overfitting for both the discriminators and the generator, leading to the periodicity artifacts in the generated audio signal. In this work, we present PhaseAug, the first differentiable augmentation for speech synthesis that rotates the phase of each frequency bin to simulate one-to-many mapping. With our proposed method, we outperform baselines without any architecture modification. Code and audio samples will be available at https://github.com/mindslab-ai/phaseaug.

尽管在基于生成的对抗网络（GAN）的声音编码器中，该模型在MEL频谱图中生成原始波形，但在各种录音环境中为众多扬声器合成高保真音频仍然具有挑战性。在这项工作中，我们介绍了Bigvgan，这是一款通用的Vocoder，在零照片环境中在各种看不见的条件下都很好地概括了。我们将周期性的非线性和抗氧化表现引入到发电机中，这带来了波形合成所需的感应偏置，并显着提高了音频质量。根据我们改进的生成器和最先进的歧视器，我们以最大的规模训练我们的Gan Vocoder，最高到1.12亿个参数，这在文献中是前所未有的。特别是，我们识别并解决了该规模特定的训练不稳定性，同时保持高保真输出而不过度验证。我们的Bigvgan在各种分布场景中实现了最先进的零拍性能，包括新的扬声器，新颖语言，唱歌声音，音乐和乐器音频，在看不见的（甚至是嘈杂）的录制环境中。我们将在以下网址发布我们的代码和模型：https：//github.com/nvidia/bigvgan

基于生成对抗神经网络（GAN）的神经声码器由于其快速推理速度和轻量级网络而被广泛使用，同时产生了高质量的语音波形。由于感知上重要的语音成分主要集中在低频频段中，因此大多数基于GAN的神经声码器进行了多尺度分析，以评估降压化采样的语音波形。这种多尺度分析有助于发电机提高语音清晰度。然而，在初步实验中，我们观察到，重点放在低频频段的多尺度分析会导致意外的伪影，例如，混叠和成像伪像，这些文物降低了合成的语音波形质量。因此，在本文中，我们研究了这些伪影与基于GAN的神经声码器之间的关系，并提出了一个基于GAN的神经声码器，称为Avocodo，该机器人允许合成具有减少伪影的高保真语音。我们介绍了两种歧视者，以各种视角评估波形：协作多波段歧视者和一个子兰歧视器。我们还利用伪正常的镜像滤波器库来获得下采样的多频段波形，同时避免混音。实验结果表明，在语音和唱歌语音合成任务中，鳄梨的表现优于常规的基于GAN的神经声码器，并且可以合成无伪影的语音。尤其是，鳄梨甚至能够复制看不见的扬声器的高质量波形。

Several recent work on speech synthesis have employed generative adversarial networks (GANs) to produce raw waveforms. Although such methods improve the sampling efficiency and memory usage, their sample quality has not yet reached that of autoregressive and flow-based generative models. In this work, we propose HiFi-GAN, which achieves both efficient and high-fidelity speech synthesis. As speech audio consists of sinusoidal signals with various periods, we demonstrate that modeling periodic patterns of an audio is crucial for enhancing sample quality. A subjective human evaluation (mean opinion score, MOS) of a single speaker dataset indicates that our proposed method demonstrates similarity to human quality while generating 22.05 kHz high-fidelity audio 167.9 times faster than real-time on a single V100 GPU. We further show the generality of HiFi-GAN to the melspectrogram inversion of unseen speakers and end-to-end speech synthesis. Finally, a small footprint version of HiFi-GAN generates samples 13.4 times faster than real-time on CPU with comparable quality to an autoregressive counterpart. IntroductionVoice is one of the most frequent and naturally used communication interfaces for humans. With recent developments in technology, voice is being used as a main interface in artificial intelligence (AI) voice assistant services such as Amazon Alexa, and it is also widely used in automobiles, smart homes and so forth. Accordingly, with the increase in demand for people to converse with machines, technology that synthesizes natural speech like human speech is being actively studied.Recently, with the development of neural networks, speech synthesis technology has made a rapid progress. Most neural speech synthesis models use a two-stage pipeline: 1) predicting a low resolution intermediate representation such as mel-spectrograms (

神经声码器（NVS）的发展导致了高质量和快速的波形。但是，常规的NV靶向单个采样率，并在应用于不同采样率时需要重新训练。由于语音质量和发电速度之间的权衡，合适的采样率因应用到应用而异。在这项研究中，我们提出了一种处理单个NV中多个采样率的方法，称为MSR-NV。通过从低采样率开始生成波形，MSR-NV可以有效地了解每个频段的特征，并以多个采样率合成高质量的语音。它可以被视为先前提出的NVS的扩展，在这项研究中，我们扩展了平行波甘（PWG）的结构。实验评估结果表明，所提出的方法比在16、24和48 kHz分别训练的原始PWG实现的主观质量明显更高，而没有增加推理时间。我们还表明，MSR-NV可以利用较低的采样率来利用语音来进一步提高合成语音的质量。

Previous works (Donahue et al., 2018a;Engel et al., 2019a) have found that generating coherent raw audio waveforms with GANs is challenging. In this paper, we show that it is possible to train GANs reliably to generate high quality coherent waveforms by introducing a set of architectural changes and simple training techniques. Subjective evaluation metric (Mean Opinion Score, or MOS) shows the effectiveness of the proposed approach for high quality mel-spectrogram inversion. To establish the generality of the proposed techniques, we show qualitative results of our model in speech synthesis, music domain translation and unconditional music synthesis. We evaluate the various components of the model through ablation studies and suggest a set of guidelines to design general purpose discriminators and generators for conditional sequence synthesis tasks. Our model is non-autoregressive, fully convolutional, with significantly fewer parameters than competing models and generalizes to unseen speakers for mel-spectrogram inversion. Our pytorch implementation runs at more than 100x faster than realtime on GTX 1080Ti GPU and more than 2x faster than real-time on CPU, without any hardware specific optimization tricks.

用于将音频信号的光谱表示转换为波形的神经声学器是语音合成管道中的常用组件。它侧重于合成来自低维表示的波形，例如MEL-谱图。近年来，已经引入了不同的方法来开发这种声音。但是，评估这些新的声音仪并将其表达与以前的声学相比，它变得更具挑战性。为了解决这个问题，我们呈现VOCBENCH，这是一个框架，该框架是基于最先进的神经声码器的性能。 VOCBENCH使用系统研究来评估共享环境中的不同神经探测器，使它们能够进行公平比较。在我们的实验中，我们对所有神经副探测器的数据集，培训管道和评估指标使用相同的设置。我们执行主观和客观评估，以比较每个声码器沿不同的轴的性能。我们的结果表明，该框架能够为每种声学器提供竞争的疗效和合成样品的质量。 Vocebench框架可在https://github.com/facebookResearch/Vocoder-Benchmark中获得。

生成的对抗网络由于研究人员的最新性能在生成新图像时仅使用目标分布的数据集，因此引起了研究人员的关注。已经表明，真实图像的频谱和假图像之间存在差异。由于傅立叶变换是一种徒图映射，因此说该模型在学习原始分布方面有一个重大问题是一个公平的结论。在这项工作中，我们研究了当前gan的架构和数学理论中提到的缺点的可能原因。然后，我们提出了一个新模型，以减少实际图像和假图像频谱之间的差异。为此，我们使用几何深度学习的蓝图为频域设计了一个全新的架构。然后，我们通过将原始数据的傅立叶域表示作为训练过程中的主要特征来表明生成图像的质量的有希望的改善。

GAN vocoders are currently one of the state-of-the-art methods for building high-quality neural waveform generative models. However, most of their architectures require dozens of billion floating-point operations per second (GFLOPS) to generate speech waveforms in samplewise manner. This makes GAN vocoders still challenging to run on normal CPUs without accelerators or parallel computers. In this work, we propose a new architecture for GAN vocoders that mainly depends on recurrent and fully-connected networks to directly generate the time domain signal in framewise manner. This results in considerable reduction of the computational cost and enables very fast generation on both GPUs and low-complexity CPUs. Experimental results show that our Framewise WaveGAN vocoder achieves significantly higher quality than auto-regressive maximum-likelihood vocoders such as LPCNet at a very low complexity of 1.2 GFLOPS. This makes GAN vocoders more practical on edge and low-power devices.

大多数GaN（生成的对抗网络）基于高保真波形的方法，严重依赖于鉴别者来提高其性能。然而，该GaN方法的过度使用引入了生成过程中的许多不确定性，并且通常导致音调和强度不匹配，当使用诸如唱歌语音合成（SVS）敏感时，这是致命的。为了解决这个问题，我们提出了一种高保真神经声码器的Refinegan，具有更快的实时发电能力，并专注于鲁棒性，俯仰和强度精度和全带音频生成。我们采用了一种具有基于多尺度谱图的损耗功能的播放引导的细化架构，以帮助稳定训练过程，并在使用基于GaN的训练方法的同时保持神经探测器的鲁棒性。与地面真实音频相比，使用此方法生成的音频显示在主观测试中更好的性能。该结果表明，通过消除由扬声器和记录过程产生的缺陷，在波形重建期间甚至改善了保真度。此外，进一步的研究表明，在特定类型的数据上培训的模型可以在完全看不见的语言和看不见的扬声器上相同地执行。生成的样本对在https://timedomain-tech.github.io/refinegor上提供。

深度学习算法的兴起引领许多研究人员使用经典信号处理方法来发声。深度学习模型已经实现了富有富有的语音合成，现实的声音纹理和虚拟乐器的音符。然而，最合适的深度学习架构仍在调查中。架构的选择紧密耦合到音频表示。声音的原始波形可以太密集和丰富，用于深入学习模型，以有效处理 - 复杂性提高培训时间和计算成本。此外，它不代表声音以其所感知的方式。因此，在许多情况下，原始音频已经使用上采样，特征提取，甚至采用波形的更高级别的图示来转换为压缩和更有意义的形式。此外，研究了所选择的形式，另外的调节表示，不同的模型架构以及用于评估重建声音的许多度量的条件。本文概述了应用于使用深度学习的声音合成的音频表示。此外，它呈现了使用深度学习模型开发和评估声音合成架构的最重要方法，始终根据音频表示。

We propose Parallel WaveGAN, a distillation-free, fast, and smallfootprint waveform generation method using a generative adversarial network. In the proposed method, a non-autoregressive WaveNet is trained by jointly optimizing multi-resolution spectrogram and adversarial loss functions, which can effectively capture the time-frequency distribution of the realistic speech waveform. As our method does not require density distillation used in the conventional teacher-student framework, the entire model can be easily trained. Furthermore, our model is able to generate highfidelity speech even with its compact architecture. In particular, the proposed Parallel WaveGAN has only 1.44 M parameters and can generate 24 kHz speech waveform 28.68 times faster than realtime on a single GPU environment. Perceptual listening test results verify that our proposed method achieves 4.16 mean opinion score within a Transformer-based text-to-speech framework, which is comparative to the best distillation-based Parallel WaveNet system.

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

尽管近年来取得了惊人的进步，但最先进的音乐分离系统会产生具有显着感知缺陷的源估计，例如增加无关噪声或消除谐波。我们提出了一个后处理模型（MAKE听起来不错（MSG）后处理器），以增强音乐源分离系统的输出。我们将我们的后处理模型应用于最新的基于波形和基于频谱图的音乐源分离器，包括在训练过程中未见的分离器。我们对源分离器产生的误差的分析表明，波形模型倾向于引入更多高频噪声，而频谱图模型倾向于丢失瞬变和高频含量。我们引入了客观措施来量化这两种错误并显示味精改善了两种错误的源重建。众包主观评估表明，人类的听众更喜欢由MSG进行后处理的低音和鼓的来源估计。

音乐表达需要控制播放的笔记，以及如何执行它们。传统的音频合成器提供了详细的表达控制，但以现实主义的成本提供了详细的表达控制。黑匣子神经音频合成和连接采样器可以产生现实的音频，但有很少的控制机制。在这项工作中，我们介绍MIDI-DDSP乐器的分层模型，可以实现现实的神经音频合成和详细的用户控制。从可解释的可分辨率数字信号处理（DDSP）合成参数开始，我们推断出富有表现力性能的音符和高级属性（例如Timbre，Vibrato，Dynamics和Asticiculation）。这将创建3级层次结构（注释，性能，合成），提供个人选择在每个级别进行干预，或利用培训的前沿（表现给出备注，综合赋予绩效）进行创造性的帮助。通过定量实验和聆听测试，我们证明了该层次结构可以重建高保真音频，准确地预测音符序列的性能属性，独立地操纵给定性能的属性，以及作为完整的系统，从新颖的音符生成现实音频顺序。通过利用可解释的层次结构，具有多个粒度的粒度，MIDI-DDSP将门打开辅助工具的门，以赋予各种音乐体验的个人。

本文介绍了一个统一的源滤波器网络，具有谐波源源激发生成机制。在以前的工作中，我们提出了统一的源滤波器gan（USFGAN），用于开发具有统一源滤波器神经网络体系结构的灵活语音可控性的高保真神经声码器。但是，USFGAN对Aperiodic源激发信号进行建模的能力不足，并且自然语音和生成的语音之间的声音质量仍然存在差距。为了改善源激发建模和产生的声音质量，提出了一个新的源激励生成网络，分别生成周期性和大约组件。还采用了Hifigan的高级对抗训练程序来代替原始USFGAN中使用的平行波甘的训练。客观和主观评估结果都表明，经过修改的USFGAN可显着提高基本USFGAN的声音质量，同时保持语音可控性。

音频合成中的时频（TF）表示已越来越多地通过实价网络建模。但是，忽略TF表示的复杂值的性质可能会导致次优性能，并且需要其他模块（例如，用于对阶段进行建模）。为此，我们介绍了称为Apollo的复杂价值的多项式网络，该网络以自然方式集成了这种复杂值的表示。具体而言，阿波罗使用高阶张量作为缩放参数捕获输入元件的高阶相关性。通过利用标准张量分解，我们得出了不同的体系结构并启用建模更丰富的相关性。我们概述了这样的体系结构，并在四个基准测试中展示了它们在音频发电中的性能。重点，阿波罗（Apollo）在音频生成中SC09数据集中的最先进的扩散模型比对抗方法的$ 17.5 \％$改进，而$ 8.2 \％$。我们的模型可以鼓励在复杂领域的其他高效体系结构进行系统的设计。

生成的对抗网络最近在神经声音中表现出了出色的表现，表现优于最佳自动回归和基于流动的模型。在本文中，我们表明这种成功可以扩展到有条件音频的其他任务。特别是，在HIFI Vocoders的基础上，我们为带宽扩展和语音增强的新型HIFI ++一般框架提出了新颖的一般框架。我们表明，通过改进的生成器体系结构和简化的多歧视培训，HIFI ++在这些任务中的最先进的情况下表现更好或与之相提并论，同时花费大量的计算资源。通过一系列广泛的实验，我们的方法的有效性得到了验证。

使用Denoisis扩散概率模型（DDPM）的神经声码器已通过适应给定的声学特征的扩散噪声分布来改善。在这项研究中，我们提出了适应扩散噪声的素描，以使其随时间变化的光谱包络变得接近条件对数 - 摩尔光谱图。随着时变的过滤这种适应可改善声音质量，尤其是在高频带中。它是在时频域中处理的，以使计算成本几乎与常规DDPM基于DDPM的神经声码器相同。实验结果表明，在分析合成和语音增强方案中，Specgrad比常规DDPM的神经声码器产生比常规DDPM的更高的语音波形。音频演示可在wavegrad.github.io/specgrad/上获得。

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.