我们介绍了一个新的系统，用于围绕两个不同的神经网络体系结构建立的数据驱动音频声音模型设计，即生成对抗网络（GAN）和一个经常性的神经网络（RNN），它利用了每个系统的优势，以实现每个系统的独特特征目标都不能单独解决的目标。该系统的目的是生成给定的可交互性声音模型（a）该模型应能够合成的声音范围，以及（b）参数控件的规范，用于导航声音的空间。声音范围由设计器提供的数据集定义，而导航的方式由数据标签的组合以及从GAN学到的潜在空间中选择的子曼属的选择来定义。我们提出的系统利用了gan的丰富潜在空间，它由“真实数据般的声音”之间的声音组成。立即不断地更改参数并在无限的时间内生成音频。此外，我们开发了一种自组织的地图技术，用于``平滑''gan的潜在空间，从而导致音频音调之间的感知平滑插值。我们通过用户研究来验证这一过程。该系统为生成声音模型设计的最新技术做出了贡献，其中包括系统配置和用于改善插值的组件以及音乐音调和打击乐器的声音以外的音频建模功能的扩展，以使音频纹理的空间更加复杂。
translated by 谷歌翻译
在本文中，我们基于条件AutoEncoder提出了一种新型音频合成器CaeSynth。 Caesynth通过在其共享潜在特征空间中插入参考声音来实时合成Timbre，同时独立控制俯仰。我们展示了基于Timbre分类的精度培训条件AutoEncoder与俯仰内容的对抗正规化允许潜伏空间中的Timbre分布对Timbre插值和音调调节更有效和稳定。该方法不仅适用于创造音乐线索，还适用于基于具有环境声音的小说模型的混合现实中的音频承担。我们通过实验证明了CAESynth通过Timbre插值实时实现了光滑和高保真音频合成，并为音乐线索的独立且准确的音高控制以及与环境声音的音频提供。在线共享Python实现以及一些生成的样本。
translated by 谷歌翻译
深度学习算法的兴起引领许多研究人员使用经典信号处理方法来发声。深度学习模型已经实现了富有富有的语音合成，现实的声音纹理和虚拟乐器的音符。然而，最合适的深度学习架构仍在调查中。架构的选择紧密耦合到音频表示。声音的原始波形可以太密集和丰富，用于深入学习模型，以有效处理 - 复杂性提高培训时间和计算成本。此外，它不代表声音以其所感知的方式。因此，在许多情况下，原始音频已经使用上采样，特征提取，甚至采用波形的更高级别的图示来转换为压缩和更有意义的形式。此外，研究了所选择的形式，另外的调节表示，不同的模型架构以及用于评估重建声音的许多度量的条件。本文概述了应用于使用深度学习的声音合成的音频表示。此外，它呈现了使用深度学习模型开发和评估声音合成架构的最重要方法，始终根据音频表示。
translated by 谷歌翻译
在当代流行的音乐作品中，鼓声设计通常是通过繁琐的浏览和处理声音库中预录的样品的处理来执行的。人们还可以使用专门的合成硬件，通常通过低级，音乐上毫无意义的参数来控制。如今，深度学习领域提供了通过学习的高级功能来控制合成过程的方法，并允许产生各种声音。在本文中，我们提出了Drumgan VST，这是一个使用生成对抗网络合成鼓声的插件。Drumgan VST可在44.1 kHz样品速率音频上运行，提供独立且连续的仪表类控件，并具有编码的神经网络，该网络映射到GAN的潜在空间中，从而可以重新合成并操纵前持有的鼓声。我们提供了许多声音示例和建议的VST插件的演示。
translated by 谷歌翻译
音乐表达需要控制播放的笔记，以及如何执行它们。传统的音频合成器提供了详细的表达控制，但以现实主义的成本提供了详细的表达控制。黑匣子神经音频合成和连接采样器可以产生现实的音频，但有很少的控制机制。在这项工作中，我们介绍MIDI-DDSP乐器的分层模型，可以实现现实的神经音频合成和详细的用户控制。从可解释的可分辨率数字信号处理（DDSP）合成参数开始，我们推断出富有表现力性能的音符和高级属性（例如Timbre，Vibrato，Dynamics和Asticiculation）。这将创建3级层次结构（注释，性能，合成），提供个人选择在每个级别进行干预，或利用培训的前沿（表现给出备注，综合赋予绩效）进行创造性的帮助。通过定量实验和聆听测试，我们证明了该层次结构可以重建高保真音频，准确地预测音符序列的性能属性，独立地操纵给定性能的属性，以及作为完整的系统，从新颖的音符生成现实音频顺序。通过利用可解释的层次结构，具有多个粒度的粒度，MIDI-DDSP将门打开辅助工具的门，以赋予各种音乐体验的个人。
translated by 谷歌翻译
用全球性结构（例如编织）合成人体运动是一个具有挑战性的任务。现有方法倾向于集中在局部光滑的姿势过渡并忽视全球背景或运动的主题。在这项工作中，我们提出了一种音乐驱动的运动综合框架，其产生与输入节拍同步的人类运动的长期序列，并共同形成尊重特定舞蹈类型的全局结构。此外，我们的框架可以实现由音乐内容控制的不同运动，而不仅仅是由节拍。我们的音乐驱动舞蹈综合框架是一个分层系统，包括三个层次：姿势，图案和编排。姿势水平由LSTM组件组成，该组件产生时间相干的姿势。图案级别引导一组连续姿势，形成一个使用新颖运动感知损失所属的特定分布的运动。并且舞蹈级别选择所执行的运动的顺序，并驱动系统遵循舞蹈类型的全球结构。我们的结果展示了我们的音乐驱动框架的有效性，以在各种舞蹈类型上产生自然和一致的运动，控制合成运动的内容，并尊重舞蹈的整体结构。
translated by 谷歌翻译
快速和用户控制的音乐生成可以实现创作或表演音乐的新颖方法。但是，最先进的音乐生成系统需要大量的数据和计算资源来培训，并且推断很慢。这使它们对于实时交互式使用不切实际。在这项工作中，我们介绍了Musika，Musika是一种音乐发电系统，可以使用单个消费者GPU在数百小时的音乐上进行培训，并且比消费者CPU上有任意长度的音乐的实时生成速度要快得多。我们首先学习具有对抗性自动编码器的光谱图和相位的紧凑型可逆表示，然后在此表示上训练生成性对抗网络（GAN）为特定的音乐领域训练。潜在坐标系可以并行生成任意长的摘录序列，而全局上下文向量使音乐可以在时间上保持风格连贯。我们执行定量评估，以评估生成的样品的质量，并展示钢琴和技术音乐生成的用户控制选项。我们在github.com/marcoppasini/musika上发布源代码和预估计的自动编码器重量，使得可以在几个小时内使用单个GPU的新音乐域中对GAN进行培训。
translated by 谷歌翻译
理想的音乐合成器应具有互动性和表现力，并实时产生高保真音频，以进行任意组合仪器和音符。最近的神经合成器在特定于域的模型之间表现出了折衷，这些模型仅对特定仪器或可以训练所有音乐训练但最小的控制和缓慢发电的原始波形模型提供了详细的控制。在这项工作中，我们专注于神经合成器的中间立场，这些基础可以从MIDI序列中产生音频，并实时使用仪器的任意组合。这使得具有单个模型的各种转录数据集的培训，这又提供了对各种仪器的组合和仪器的控制级别的控制。我们使用一个简单的两阶段过程：MIDI到具有编码器变压器的频谱图，然后使用生成对抗网络（GAN）频谱图逆变器将频谱图到音频。我们将训练解码器作为自回归模型进行了比较，并将其视为一种脱氧扩散概率模型（DDPM），并发现DDPM方法在定性上是优越的，并且通过音频重建和fr \'echet距离指标来衡量。鉴于这种方法的互动性和普遍性，我们发现这是迈向互动和表达性神经综合的有前途的第一步，以实现工具和音符的任意组合。
translated by 谷歌翻译
We propose GANStrument, a generative adversarial model for instrument sound synthesis. Given a one-shot sound as input, it is able to generate pitched instrument sounds that reflect the timbre of the input within an interactive time. By exploiting instance conditioning, GANStrument achieves better fidelity and diversity of synthesized sounds and generalization ability to various inputs. In addition, we introduce an adversarial training scheme for a pitch-invariant feature extractor that significantly improves the pitch accuracy and timbre consistency. Experimental results show that GANStrument outperforms strong baselines that do not use instance conditioning in terms of generation quality and input editability. Qualitative examples are available online.
translated by 谷歌翻译
创建视频是为了表达情感，交换信息和分享经验。视频合成很长时间以来一直吸引了研究人员。尽管视觉合成的进步驱动了迅速的进展，但大多数现有研究都集中在提高框架的质量和之间的过渡上，而在生成更长的视频方面几乎没有取得进展。在本文中，我们提出了一种基于3D-VQGAN和Transformers的方法，以生成具有数千帧的视频。我们的评估表明，我们的模型在16架视频剪辑中培训了来自UCF-101，Sky TimeLapse和Taichi-HD数据集等标准基准测试片段，可以生成多样化，连贯和高质量的长视频。我们还展示了我们通过将时间信息与文本和音频结合在一起来生成有意义的长视频的方法的条件扩展。可以在https://songweige.github.io/projects/tats/index.html上找到视频和代码。
translated by 谷歌翻译
近年来，通过深层生成模型，音频合成的进展很大。但是，最新的很难量化。在报告结果时，不同的研究通常使用不同的评估方法和不同的指标，从而直接与其他系统进行比较，即使不是不可能。此外，在大多数情况下，报告指标的感知相关性和含义都未知，禁止对实际的可用性和音频质量的任何结论性见解。本文介绍了一项研究，该研究与（i）一组先前提出的用于音频重建的客观指标以及（ii）一项听力研究，研究了最先进的方法。结果表明，当前使用的客观指标不足以描述当前系统的感知质量。
translated by 谷歌翻译
与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。
translated by 谷歌翻译
Stylegan最近的成功表明，预训练的Stylegan潜在空间对现实的视频生成很有用。但是，由于难以确定stylegan潜在空间的方向和幅度，因此视频中产生的运动通常在语义上没有意义。在本文中，我们提出了一个框架来通过利用多模式（声音图像文本）嵌入空间来生成现实视频。由于声音提供了场景的时间上下文，因此我们的框架学会了生成与声音一致的视频。首先，我们的声音反演模块将音频直接映射到Stylegan潜在空间中。然后，我们结合了基于夹子的多模式嵌入空间，以进一步提供视听关系。最后，提出的帧发电机学会在潜在空间中找到轨迹，该空间与相应的声音相干，并以层次结构方式生成视频。我们为声音引导的视频生成任务提供新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型在视频质量方面优于最新方法。我们进一步显示了几种应用程序，包括图像和视频编辑，以验证我们方法的有效性。
translated by 谷歌翻译
随着深度学习生成模型的最新进展，它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富，在现实世界中，它们通常受到限制，并且通常具有必须保证的隐私限制。因此，一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术，以概述所有可用的算法，并提出对最相关研究的分类法。将评估不同变体的效率；作为过程的重要组成部分，将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要，这些领域的进化和性能会产生更好的结果，以指导该领域的未来研究人员。
translated by 谷歌翻译
在许多语音和音乐相关任务中，应用于音频的深度生成模型已经改善了最先进的最先进的语音和音乐相关的任务。然而，由于原始波形建模仍然是一个固有的困难任务，音频生成模型要么计算密集，依赖于低采样率，并复杂于控制或限制可能信号的性质。在这些模型中，变形自身偏析器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一个实时音频变形式自动化器（RAVE），允许快速和高质量的音频波形合成。我们介绍了一种新型的两级培训程序，即表示学习和对抗性微调。我们表明，使用对潜伏空间的训练后分析允许直接控制重建保真度和表示紧凑性。通过利用原始波形的多频段分解，我们表明我们的模型是第一个能够生成48kHz音频信号，同时在标准膝上型计算机CPU上的实时运行20倍。我们使用定量和定性主观实验评估合成质量，并与现有模型相比，我们的方法的优越性。最后，我们呈现了我们模型的MigBre传输和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
translated by 谷歌翻译
深度神经网络已广泛用于学习数据集的潜在结构，跨图像，形状和音频信号等模态。然而，现有模型通常是依赖的方式，需要自定义架构和目标来处理不同类别的信号。我们利用神经字段以典型的方式捕获图像，形状，音频和跨模型视听域中的底层结构。我们将任务作为学习歧管之一，我们的目标是推断我们的数据所在的低维，本地线性子空间。通过实施歧管，局部线性和局部等距的覆盖范围，我们的模型 - 被称为宝石 - 学会捕获跨模式的数据集的基础结构。然后，我们可以沿着我们歧管的线性区域旅行，以获得样品之间的感知一致的插值，并且可以进一步使用GEM在我们的歧管上恢复点，而不是不同的输入图像的完成，而是音频或图像信号的跨模式幻觉。最后，我们表明，通过走过宝石的底层歧管，我们可能会在信号域中生成新的样本。代码和其他结果可在https://yilundu.github.io/gem/获得。
translated by 谷歌翻译
Vocoders是能够将音频信号（通常是MEL频谱图）转换为波形的低维光谱表示。现代语音生成管道使用Vocoder作为其最终组成部分。最近为语音开发的Vocoder模型实现了高度的现实主义，因此自然想知道它们在音乐信号上的表现。与言语相比，音乐声纹理的异质性和结构提供了新的挑战。在这项工作中，我们专注于一种专为语音设计的Vocoder模型在应用于音乐时倾向于展示的一种特定工件：合成持续的音符时的俯仰不稳定性。我们认为，该伪像的特征声音是由于缺乏水平相一致性，这通常是由于使用时间域目标空间与跨度班的模型（例如卷积神经网络）不变的结果。我们提出了专门为音乐设计的新型Vocoder模型。提高音高稳定性的关键是选择由幅度频谱和相位梯度组成的移位不变的目标空间。我们讨论了启发我们重新构建Vocoder任务的原因，概述一个工作示例，并在音乐信号上进行评估。我们的方法使用新颖的谐波误差度量标准，导致60％和10％的改善了相对于现有模型的持续音符和和弦的重建。
translated by 谷歌翻译
尽管在文本到语音综合的生成建模方面取得了最新进展，但这些模型尚未具有与螺距条件确定性模型（例如FastPitch和fastspeech2）相同的细粒度可调节性。音调信息不仅是低维度，而且是不连续的，这使得在生成环境中建模特别困难。我们的工作探讨了在正常流量模型的背景下处理上述问题的几种技术。我们还发现这个问题非常适合神经条件流，这是归一化流中更常见的仿射耦合机制的高度表达替代品。
translated by 谷歌翻译
Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.
translated by 谷歌翻译
Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.
translated by 谷歌翻译