脚步是多媒体应用中最无处不在的声音效果之一。了解声学特征和开发脚步声音效果的合成模型存在大量研究。在本文中，我们展示了对这项任务采用神经综合的第一次尝试。我们实施了两个基于GAN的架构，并将结果与实际记录相比以及六种传统的声音合成方法。我们的架构达到了现实主义分数，与录制的样品一样高，显示了令人鼓舞的任务结果。

近年来，通过深层生成模型，音频合成的进展很大。但是，最新的很难量化。在报告结果时，不同的研究通常使用不同的评估方法和不同的指标，从而直接与其他系统进行比较，即使不是不可能。此外，在大多数情况下，报告指标的感知相关性和含义都未知，禁止对实际的可用性和音频质量的任何结论性见解。本文介绍了一项研究，该研究与（i）一组先前提出的用于音频重建的客观指标以及（ii）一项听力研究，研究了最先进的方法。结果表明，当前使用的客观指标不足以描述当前系统的感知质量。

Previous works (Donahue et al., 2018a;Engel et al., 2019a) have found that generating coherent raw audio waveforms with GANs is challenging. In this paper, we show that it is possible to train GANs reliably to generate high quality coherent waveforms by introducing a set of architectural changes and simple training techniques. Subjective evaluation metric (Mean Opinion Score, or MOS) shows the effectiveness of the proposed approach for high quality mel-spectrogram inversion. To establish the generality of the proposed techniques, we show qualitative results of our model in speech synthesis, music domain translation and unconditional music synthesis. We evaluate the various components of the model through ablation studies and suggest a set of guidelines to design general purpose discriminators and generators for conditional sequence synthesis tasks. Our model is non-autoregressive, fully convolutional, with significantly fewer parameters than competing models and generalizes to unseen speakers for mel-spectrogram inversion. Our pytorch implementation runs at more than 100x faster than realtime on GTX 1080Ti GPU and more than 2x faster than real-time on CPU, without any hardware specific optimization tricks.

在当代流行的音乐作品中，鼓声设计通常是通过繁琐的浏览和处理声音库中预录的样品的处理来执行的。人们还可以使用专门的合成硬件，通常通过低级，音乐上毫无意义的参数来控制。如今，深度学习领域提供了通过学习的高级功能来控制合成过程的方法，并允许产生各种声音。在本文中，我们提出了Drumgan VST，这是一个使用生成对抗网络合成鼓声的插件。Drumgan VST可在44.1 kHz样品速率音频上运行，提供独立且连续的仪表类控件，并具有编码的神经网络，该网络映射到GAN的潜在空间中，从而可以重新合成并操纵前持有的鼓声。我们提供了许多声音示例和建议的VST插件的演示。

我们提出了一个录音录音录音的录音录音。我们的模型通过短时傅立叶变换（STFT）将其输入转换为时频表示，并使用卷积神经网络处理所得的复杂频谱图。该网络在合成音乐数据集上培训了重建和对抗性目标，该数据集是通过将干净的音乐与从旧唱片的安静片段中提取的真实噪声样本混合而创建的。我们在合成数据集的持有测试示例中定量评估我们的方法，并通过人类对实际历史记录样本的评级进行定性评估。我们的结果表明，所提出的方法可有效消除噪音，同时保留原始音乐的质量和细节。

在这项工作中，我们提出了一个端到端双耳语音合成系统，该系统将低抑制音频编解码器与强大的双耳解码器结合在一起，该解码器能够准确地进行语音双耳化，同时忠实地重建环境因素，例如环境噪声或混响。该网络是经过修改的矢量定量变异自动编码器，经过训练，采用了几个精心设计的目标，包括对抗性损失。我们在具有客观指标和感知研究的内部双耳数据集上评估了所提出的系统。结果表明，所提出的方法比以前的方法更接近地面真相数据。特别是，我们证明了对抗性损失在捕获创建真实听觉场景所需的环境效果中的能力。

尽管在基于生成的对抗网络（GAN）的声音编码器中，该模型在MEL频谱图中生成原始波形，但在各种录音环境中为众多扬声器合成高保真音频仍然具有挑战性。在这项工作中，我们介绍了Bigvgan，这是一款通用的Vocoder，在零照片环境中在各种看不见的条件下都很好地概括了。我们将周期性的非线性和抗氧化表现引入到发电机中，这带来了波形合成所需的感应偏置，并显着提高了音频质量。根据我们改进的生成器和最先进的歧视器，我们以最大的规模训练我们的Gan Vocoder，最高到1.12亿个参数，这在文献中是前所未有的。特别是，我们识别并解决了该规模特定的训练不稳定性，同时保持高保真输出而不过度验证。我们的Bigvgan在各种分布场景中实现了最先进的零拍性能，包括新的扬声器，新颖语言，唱歌声音，音乐和乐器音频，在看不见的（甚至是嘈杂）的录制环境中。我们将在以下网址发布我们的代码和模型：https：//github.com/nvidia/bigvgan

Several recent work on speech synthesis have employed generative adversarial networks (GANs) to produce raw waveforms. Although such methods improve the sampling efficiency and memory usage, their sample quality has not yet reached that of autoregressive and flow-based generative models. In this work, we propose HiFi-GAN, which achieves both efficient and high-fidelity speech synthesis. As speech audio consists of sinusoidal signals with various periods, we demonstrate that modeling periodic patterns of an audio is crucial for enhancing sample quality. A subjective human evaluation (mean opinion score, MOS) of a single speaker dataset indicates that our proposed method demonstrates similarity to human quality while generating 22.05 kHz high-fidelity audio 167.9 times faster than real-time on a single V100 GPU. We further show the generality of HiFi-GAN to the melspectrogram inversion of unseen speakers and end-to-end speech synthesis. Finally, a small footprint version of HiFi-GAN generates samples 13.4 times faster than real-time on CPU with comparable quality to an autoregressive counterpart. IntroductionVoice is one of the most frequent and naturally used communication interfaces for humans. With recent developments in technology, voice is being used as a main interface in artificial intelligence (AI) voice assistant services such as Amazon Alexa, and it is also widely used in automobiles, smart homes and so forth. Accordingly, with the increase in demand for people to converse with machines, technology that synthesizes natural speech like human speech is being actively studied.Recently, with the development of neural networks, speech synthesis technology has made a rapid progress. Most neural speech synthesis models use a two-stage pipeline: 1) predicting a low resolution intermediate representation such as mel-spectrograms (

深度学习算法的兴起引领许多研究人员使用经典信号处理方法来发声。深度学习模型已经实现了富有富有的语音合成，现实的声音纹理和虚拟乐器的音符。然而，最合适的深度学习架构仍在调查中。架构的选择紧密耦合到音频表示。声音的原始波形可以太密集和丰富，用于深入学习模型，以有效处理 - 复杂性提高培训时间和计算成本。此外，它不代表声音以其所感知的方式。因此，在许多情况下，原始音频已经使用上采样，特征提取，甚至采用波形的更高级别的图示来转换为压缩和更有意义的形式。此外，研究了所选择的形式，另外的调节表示，不同的模型架构以及用于评估重建声音的许多度量的条件。本文概述了应用于使用深度学习的声音合成的音频表示。此外，它呈现了使用深度学习模型开发和评估声音合成架构的最重要方法，始终根据音频表示。

我们介绍了视觉匹配任务，其中音频剪辑被转换为听起来像是在目标环境中记录的。鉴于目标环境的图像和源音频的波形，目标是重新合成音频，以匹配目标室声音的可见几何形状和材料所建议的。为了解决这一新颖的任务，我们提出了一个跨模式变压器模型，该模型使用视听注意力将视觉属性注入音频并生成真实的音频输出。此外，我们设计了一个自我监督的训练目标，尽管他们缺乏声学上不匹配的音频，但可以从野外网络视频中学习声学匹配。我们证明，我们的方法成功地将人类的言语转化为图像中描绘的各种现实环境，表现优于传统的声学匹配和更严格的监督基线。

我们提出了一个互动艺术项目，使Covid-19危机不可见的项目，并通过欢迎旋律的欢迎孤独，通过高级笑声综合方法创造和探索的联系。然而，在高质量听觉综合中的人类情绪反应的无条件产生仍然是一个公开问题，对艺术环境中这些方法的应用具有重要意义。我们开发了利用生成对抗网络（GANS）再现人笑声多样性的方法。当培训在不同笑声样本的数据集时，Lockganter会产生多样化，高质量的笑声样本，并学习适合情绪分析和新颖的艺术应用的潜在空间，如潜在混合/插值和情绪转移。

“ Foley”是指在后期制作过程中添加到多媒体中的声音效应，以增强其感知的声学特性，例如，通过模拟脚步声，环境环境声音或屏幕上可见的物体。尽管Foley传统上是Foley Artists生产的，但人们对自动或机器辅助技术的兴趣越来越多，基于声音合成和生成模型的最新进展。为了促进对这个不断增长的研究领域的更多参与，我们提出了对自动Foley合成的挑战。通过有关音频和机器学习成功挑战的案例研究，我们设定了拟议挑战的目标：对不同的Foley合成系统的严格，统一和有效的评估，其总体目标是从研究界积极参与。我们概述了Foley声音合成挑战的细节和设计考虑，包括任务定义，数据集要求和评估标准。

我们介绍了一个新的系统，用于围绕两个不同的神经网络体系结构建立的数据驱动音频声音模型设计，即生成对抗网络（GAN）和一个经常性的神经网络（RNN），它利用了每个系统的优势，以实现每个系统的独特特征目标都不能单独解决的目标。该系统的目的是生成给定的可交互性声音模型（a）该模型应能够合成的声音范围，以及（b）参数控件的规范，用于导航声音的空间。声音范围由设计器提供的数据集定义，而导航的方式由数据标签的组合以及从GAN学到的潜在空间中选择的子曼属的选择来定义。我们提出的系统利用了gan的丰富潜在空间，它由“真实数据般的声音”之间的声音组成。立即不断地更改参数并在无限的时间内生成音频。此外，我们开发了一种自组织的地图技术，用于``平滑''gan的潜在空间，从而导致音频音调之间的感知平滑插值。我们通过用户研究来验证这一过程。该系统为生成声音模型设计的最新技术做出了贡献，其中包括系统配置和用于改善插值的组件以及音乐音调和打击乐器的声音以外的音频建模功能的扩展，以使音频纹理的空间更加复杂。

我们提出了Dance2Music-Gan（D2M-GAN），这是一种新颖的对抗性多模式框架，生成了以舞蹈视频为条件的复杂音乐样品。我们提出的框架将舞蹈视频框架和人体运动作为输入，并学会生成合理伴随相应输入的音乐样本。与大多数现有的有条件音乐的作品不同，它们使用符号音频表示（例如MIDI）生成特定类型的单乐器声音，并且通常依赖于预定义的音乐合成器，在这项工作中，我们以复杂风格（例如，例如，通过使用量化矢量（VQ）音频表示形式，并利用其符号和连续对应物的高抽象能力来利用POP，BREAKING等）。通过在多个数据集上执行广泛的实验，并遵循全面的评估协议，我们评估了建议针对替代方案的生成品质。所达到的定量结果衡量音乐一致性，击败了对应和音乐多样性，证明了我们提出的方法的有效性。最后但并非最不重要的一点是，我们策划了一个充满挑战的野生式Tiktok视频的舞蹈音乐数据集，我们用来进一步证明我们在现实世界中的方法的功效 - 我们希望它能作为起点进行相关的未来研究。

音乐表达需要控制播放的笔记，以及如何执行它们。传统的音频合成器提供了详细的表达控制，但以现实主义的成本提供了详细的表达控制。黑匣子神经音频合成和连接采样器可以产生现实的音频，但有很少的控制机制。在这项工作中，我们介绍MIDI-DDSP乐器的分层模型，可以实现现实的神经音频合成和详细的用户控制。从可解释的可分辨率数字信号处理（DDSP）合成参数开始，我们推断出富有表现力性能的音符和高级属性（例如Timbre，Vibrato，Dynamics和Asticiculation）。这将创建3级层次结构（注释，性能，合成），提供个人选择在每个级别进行干预，或利用培训的前沿（表现给出备注，综合赋予绩效）进行创造性的帮助。通过定量实验和聆听测试，我们证明了该层次结构可以重建高保真音频，准确地预测音符序列的性能属性，独立地操纵给定性能的属性，以及作为完整的系统，从新颖的音符生成现实音频顺序。通过利用可解释的层次结构，具有多个粒度的粒度，MIDI-DDSP将门打开辅助工具的门，以赋予各种音乐体验的个人。

基于生成对抗神经网络（GAN）的神经声码器由于其快速推理速度和轻量级网络而被广泛使用，同时产生了高质量的语音波形。由于感知上重要的语音成分主要集中在低频频段中，因此大多数基于GAN的神经声码器进行了多尺度分析，以评估降压化采样的语音波形。这种多尺度分析有助于发电机提高语音清晰度。然而，在初步实验中，我们观察到，重点放在低频频段的多尺度分析会导致意外的伪影，例如，混叠和成像伪像，这些文物降低了合成的语音波形质量。因此，在本文中，我们研究了这些伪影与基于GAN的神经声码器之间的关系，并提出了一个基于GAN的神经声码器，称为Avocodo，该机器人允许合成具有减少伪影的高保真语音。我们介绍了两种歧视者，以各种视角评估波形：协作多波段歧视者和一个子兰歧视器。我们还利用伪正常的镜像滤波器库来获得下采样的多频段波形，同时避免混音。实验结果表明，在语音和唱歌语音合成任务中，鳄梨的表现优于常规的基于GAN的神经声码器，并且可以合成无伪影的语音。尤其是，鳄梨甚至能够复制看不见的扬声器的高质量波形。

The field of Automatic Music Generation has seen significant progress thanks to the advent of Deep Learning. However, most of these results have been produced by unconditional models, which lack the ability to interact with their users, not allowing them to guide the generative process in meaningful and practical ways. Moreover, synthesizing music that remains coherent across longer timescales while still capturing the local aspects that make it sound ``realistic'' or ``human-like'' is still challenging. This is due to the large computational requirements needed to work with long sequences of data, and also to limitations imposed by the training schemes that are often employed. In this paper, we propose a generative model of symbolic music conditioned by data retrieved from human sentiment. The model is a Transformer-GAN trained with labels that correspond to different configurations of the valence and arousal dimensions that quantitatively represent human affective states. We try to tackle both of the problems above by employing an efficient linear version of Attention and using a Discriminator both as a tool to improve the overall quality of the generated music and its ability to follow the conditioning signals.

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

最近，基于GAN的神经声码器（如平行Wavegan，Melgan，Hifigan和Univnet）由于其轻巧和平行的结构而变得流行，从而导致具有高保真性的实时合成波形，即使在CPU上也是如此。 Hifigan和Univnet是两个Sota Vocoders。尽管它们质量很高，但仍有改进的余地。在本文中，由计算机视觉的视觉望远镜结构的激励，我们采用了一个类似的想法，并提出了一个有效且轻巧的神经声码器，称为Wolonet。在该网络中，我们开发了一个新颖的轻质块，该块使用位于曲线的动态凝胶核的位置变化，与通道无关和深度动态卷积内核。为了证明我们方法的有效性和概括性，我们进行了一项消融研究，以验证我们的新型设计，并与典型的基于GAN的歌手进行主观和客观的比较。结果表明，我们的Wolonet达到了最佳的一代质量，同时需要的参数少于两个神经SOTA声码器Hifigan和Univnet。