在本文中，我们基于条件AutoEncoder提出了一种新型音频合成器CaeSynth。 Caesynth通过在其共享潜在特征空间中插入参考声音来实时合成Timbre，同时独立控制俯仰。我们展示了基于Timbre分类的精度培训条件AutoEncoder与俯仰内容的对抗正规化允许潜伏空间中的Timbre分布对Timbre插值和音调调节更有效和稳定。该方法不仅适用于创造音乐线索，还适用于基于具有环境声音的小说模型的混合现实中的音频承担。我们通过实验证明了CAESynth通过Timbre插值实时实现了光滑和高保真音频合成，并为音乐线索的独立且准确的音高控制以及与环境声音的音频提供。在线共享Python实现以及一些生成的样本。

We propose GANStrument, a generative adversarial model for instrument sound synthesis. Given a one-shot sound as input, it is able to generate pitched instrument sounds that reflect the timbre of the input within an interactive time. By exploiting instance conditioning, GANStrument achieves better fidelity and diversity of synthesized sounds and generalization ability to various inputs. In addition, we introduce an adversarial training scheme for a pitch-invariant feature extractor that significantly improves the pitch accuracy and timbre consistency. Experimental results show that GANStrument outperforms strong baselines that do not use instance conditioning in terms of generation quality and input editability. Qualitative examples are available online.

我们介绍了一个新的系统，用于围绕两个不同的神经网络体系结构建立的数据驱动音频声音模型设计，即生成对抗网络（GAN）和一个经常性的神经网络（RNN），它利用了每个系统的优势，以实现每个系统的独特特征目标都不能单独解决的目标。该系统的目的是生成给定的可交互性声音模型（a）该模型应能够合成的声音范围，以及（b）参数控件的规范，用于导航声音的空间。声音范围由设计器提供的数据集定义，而导航的方式由数据标签的组合以及从GAN学到的潜在空间中选择的子曼属的选择来定义。我们提出的系统利用了gan的丰富潜在空间，它由“真实数据般的声音”之间的声音组成。立即不断地更改参数并在无限的时间内生成音频。此外，我们开发了一种自组织的地图技术，用于``平滑''gan的潜在空间，从而导致音频音调之间的感知平滑插值。我们通过用户研究来验证这一过程。该系统为生成声音模型设计的最新技术做出了贡献，其中包括系统配置和用于改善插值的组件以及音乐音调和打击乐器的声音以外的音频建模功能的扩展，以使音频纹理的空间更加复杂。

在本文中，我们提出了一个可区分的世界合成器，并展示了其在端到端音频样式转移任务中的用途，例如（唱歌）语音转换和DDSP Timbre传输任务。因此，我们的基线可分化合成器没有模型参数，但可以产生足够的合成质量。我们可以通过附加轻巧的黑框邮寄来扩展基线合成器，这些邮政将进一步的处理应用于基线输出以提高忠诚度。另一种可区分的方法考虑了直接提取源激发光谱的提取，这可以改善自然性，尽管较窄的样式转移应用程序都可以提高自然性。我们的方法使用的声学特征参数化具有额外的好处，即自然会散布音调和音图信息，以便可以单独建模它们。此外，由于存在一种强大的方法来估算单声音频源的这些声学特征，因此它允许将参数丢失项添加到端到端目标函数中，这可以帮助收敛和/或进一步稳定（对抗性）训练。

深度学习算法的兴起引领许多研究人员使用经典信号处理方法来发声。深度学习模型已经实现了富有富有的语音合成，现实的声音纹理和虚拟乐器的音符。然而，最合适的深度学习架构仍在调查中。架构的选择紧密耦合到音频表示。声音的原始波形可以太密集和丰富，用于深入学习模型，以有效处理 - 复杂性提高培训时间和计算成本。此外，它不代表声音以其所感知的方式。因此，在许多情况下，原始音频已经使用上采样，特征提取，甚至采用波形的更高级别的图示来转换为压缩和更有意义的形式。此外，研究了所选择的形式，另外的调节表示，不同的模型架构以及用于评估重建声音的许多度量的条件。本文概述了应用于使用深度学习的声音合成的音频表示。此外，它呈现了使用深度学习模型开发和评估声音合成架构的最重要方法，始终根据音频表示。

快速和用户控制的音乐生成可以实现创作或表演音乐的新颖方法。但是，最先进的音乐生成系统需要大量的数据和计算资源来培训，并且推断很慢。这使它们对于实时交互式使用不切实际。在这项工作中，我们介绍了Musika，Musika是一种音乐发电系统，可以使用单个消费者GPU在数百小时的音乐上进行培训，并且比消费者CPU上有任意长度的音乐的实时生成速度要快得多。我们首先学习具有对抗性自动编码器的光谱图和相位的紧凑型可逆表示，然后在此表示上训练生成性对抗网络（GAN）为特定的音乐领域训练。潜在坐标系可以并行生成任意长的摘录序列，而全局上下文向量使音乐可以在时间上保持风格连贯。我们执行定量评估，以评估生成的样品的质量，并展示钢琴和技术音乐生成的用户控制选项。我们在github.com/marcoppasini/musika上发布源代码和预估计的自动编码器重量，使得可以在几个小时内使用单个GPU的新音乐域中对GAN进行培训。

音频合成中的时频（TF）表示已越来越多地通过实价网络建模。但是，忽略TF表示的复杂值的性质可能会导致次优性能，并且需要其他模块（例如，用于对阶段进行建模）。为此，我们介绍了称为Apollo的复杂价值的多项式网络，该网络以自然方式集成了这种复杂值的表示。具体而言，阿波罗使用高阶张量作为缩放参数捕获输入元件的高阶相关性。通过利用标准张量分解，我们得出了不同的体系结构并启用建模更丰富的相关性。我们概述了这样的体系结构，并在四个基准测试中展示了它们在音频发电中的性能。重点，阿波罗（Apollo）在音频生成中SC09数据集中的最先进的扩散模型比对抗方法的$ 17.5 \％$改进，而$ 8.2 \％$。我们的模型可以鼓励在复杂领域的其他高效体系结构进行系统的设计。

在许多语音和音乐相关任务中，应用于音频的深度生成模型已经改善了最先进的最先进的语音和音乐相关的任务。然而，由于原始波形建模仍然是一个固有的困难任务，音频生成模型要么计算密集，依赖于低采样率，并复杂于控制或限制可能信号的性质。在这些模型中，变形自身偏析器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一个实时音频变形式自动化器（RAVE），允许快速和高质量的音频波形合成。我们介绍了一种新型的两级培训程序，即表示学习和对抗性微调。我们表明，使用对潜伏空间的训练后分析允许直接控制重建保真度和表示紧凑性。通过利用原始波形的多频段分解，我们表明我们的模型是第一个能够生成48kHz音频信号，同时在标准膝上型计算机CPU上的实时运行20倍。我们使用定量和定性主观实验评估合成质量，并与现有模型相比，我们的方法的优越性。最后，我们呈现了我们模型的MigBre传输和信号压缩的应用。我们所有的源代码和音频示例都是公开的。

音乐表达需要控制播放的笔记，以及如何执行它们。传统的音频合成器提供了详细的表达控制，但以现实主义的成本提供了详细的表达控制。黑匣子神经音频合成和连接采样器可以产生现实的音频，但有很少的控制机制。在这项工作中，我们介绍MIDI-DDSP乐器的分层模型，可以实现现实的神经音频合成和详细的用户控制。从可解释的可分辨率数字信号处理（DDSP）合成参数开始，我们推断出富有表现力性能的音符和高级属性（例如Timbre，Vibrato，Dynamics和Asticiculation）。这将创建3级层次结构（注释，性能，合成），提供个人选择在每个级别进行干预，或利用培训的前沿（表现给出备注，综合赋予绩效）进行创造性的帮助。通过定量实验和聆听测试，我们证明了该层次结构可以重建高保真音频，准确地预测音符序列的性能属性，独立地操纵给定性能的属性，以及作为完整的系统，从新颖的音符生成现实音频顺序。通过利用可解释的层次结构，具有多个粒度的粒度，MIDI-DDSP将门打开辅助工具的门，以赋予各种音乐体验的个人。

在本文中，我们展示了Facetunegan，一种新的3D面部模型表示分解和编码面部身份和面部表情。我们提出了对图像到图像翻译网络的第一次适应，该图像已经成功地用于2D域，到3D面几何。利用最近释放的大面扫描数据库，神经网络已经过培训，以便与面部更好的了解，使面部表情转移和中和富有效应面的变异因素。具体而言，我们设计了一种适应基础架构的对抗架构，并使用Spiralnet ++进行卷积和采样操作。使用两个公共数据集（FACESCAPE和COMA），Facetunegan具有比最先进的技术更好的身份分解和面部中和。它还通过预测较近地面真实数据的闪烁形状并且由于源极和目标之间的面部形态过于不同的面部形态而越来越多的不期望的伪像来优异。

音频的高时间分辨率和波形中小不规则性的感知敏感性使得在高采样率中合成复杂和计算密集的任务，禁止在许多方法中的实时，可控合成。在这项工作中，我们的目标是在有条件隐含的神经表示（CINR）的潜力上阐明作为音频合成的生成框架中的轻质骨干。隐式神经表示（INR）是用于近似低维功能的神经网络，训练以通过将输入坐标映射到输入位置处的结构信息来表示单个几何对象。与用于代表几何对象的其他神经方法相比，参数化对象所需的内存与分辨率无关，并且仅具有其复杂性的尺度。这是一个必论是INRS具有无限分辨率，因为它们可以在任意分辨率下进行取样。在生成域中应用INR的概念，我们框架生成建模作为学习连续功能的分布。这可以通过将调节方法引入INRS来实现。我们的实验表明，定期的条件INRS（PCINR）学习更快，并且通常比具有相等参数计数的转换卷积神经网络的定量更好的音频重建。但是，它们的性能对激活缩放超参数非常敏感。当学习代表更均匀的组时，PCINR倾向于在重建中引入人造高频分量。我们通过在训练期间应用标准重量正则化来验证这种噪音，可以减少PCINR的组成深度，并建议未来研究的方向。

Vocoders是能够将音频信号（通常是MEL频谱图）转换为波形的低维光谱表示。现代语音生成管道使用Vocoder作为其最终组成部分。最近为语音开发的Vocoder模型实现了高度的现实主义，因此自然想知道它们在音乐信号上的表现。与言语相比，音乐声纹理的异质性和结构提供了新的挑战。在这项工作中，我们专注于一种专为语音设计的Vocoder模型在应用于音乐时倾向于展示的一种特定工件：合成持续的音符时的俯仰不稳定性。我们认为，该伪像的特征声音是由于缺乏水平相一致性，这通常是由于使用时间域目标空间与跨度班的模型（例如卷积神经网络）不变的结果。我们提出了专门为音乐设计的新型Vocoder模型。提高音高稳定性的关键是选择由幅度频谱和相位梯度组成的移位不变的目标空间。我们讨论了启发我们重新构建Vocoder任务的原因，概述一个工作示例，并在音乐信号上进行评估。我们的方法使用新颖的谐波误差度量标准，导致60％和10％的改善了相对于现有模型的持续音符和和弦的重建。

Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

情绪转换（EVC）寻求转换话语的情绪状态，同时保留语言内容和扬声器身份。在EVC，情绪通常被视为离散类别，忽略了言论也传达了听众可以感知的各种强度水平的情绪。在本文中，我们的目标是明确地表征和控制情绪强度。我们建议解开语言内容的扬声器风格，并将扬声器风格编码成一个嵌入的嵌入空间，形成情绪嵌入的原型。我们进一步从情感标记的数据库中了解实际的情感编码器，并研究使用相对属性来表示细粒度的情绪强度。为确保情绪可理解性，我们将情感分类损失和情感嵌入了EVC网络培训中的相似性损失。根据需要，所提出的网络控制输出语音中的细粒度情绪强度。通过目标和主观评估，我们验证了建议网络的情感表达和情感强度控制的有效性。

通过对抗训练的雾霾图像转换的关键程序在于仅涉及雾度合成的特征，即表示不变语义内容的特征，即内容特征。以前的方法通过利用它在培训过程中对Haze图像进行分类来分开单独的内容。然而，在本文中，我们认识到在这种技术常规中的内容式解剖学的不完整性。缺陷的样式功能与内容信息纠缠不可避免地引导阴霾图像的呈现。要解决，我们通过随机线性插值提出自我监督的风格回归，以减少风格特征中的内容信息。烧蚀实验表明了静态感知雾度图像合成中的解开的完整性及其优越性。此外，所产生的雾度数据应用于车辆检测器的测试概括。雾度和检测性能之间的进一步研究表明，雾度对车辆探测器的概括具有明显的影响，并且这种性能降低水平与雾度水平线性相关，反过来验证了该方法的有效性。

This paper describes Tacotron 2, a neural network architecture for speech synthesis directly from text. The system is composed of a recurrent sequence-to-sequence feature prediction network that maps character embeddings to mel-scale spectrograms, followed by a modified WaveNet model acting as a vocoder to synthesize time-domain waveforms from those spectrograms. Our model achieves a mean opinion score (MOS) of 4.53 comparable to a MOS of 4.58 for professionally recorded speech. To validate our design choices, we present ablation studies of key components of our system and evaluate the impact of using mel spectrograms as the conditioning input to WaveNet instead of linguistic, duration, and F0 features. We further show that using this compact acoustic intermediate representation allows for a significant reduction in the size of the WaveNet architecture.

交换自动编码器在深层图像操纵和图像到图像翻译中实现了最先进的性能。我们通过基于梯度逆转层引入简单而有效的辅助模块来改善这项工作。辅助模块的损失迫使发电机学会使用全零纹理代码重建图像，从而鼓励结构和纹理信息之间更好地分解。提出的基于属性的转移方法可以在样式传输中进行精致的控制，同时在不使用语义掩码的情况下保留结构信息。为了操纵图像，我们将对象的几何形状和输入图像的一般样式编码为两个潜在代码，并具有实施结构一致性的附加约束。此外，由于辅助损失，训练时间大大减少。提出的模型的优越性在复杂的域中得到了证明，例如已知最先进的卫星图像。最后，我们表明我们的模型改善了广泛的数据集的质量指标，同时通过多模式图像生成技术实现了可比的结果。

GAN vocoders are currently one of the state-of-the-art methods for building high-quality neural waveform generative models. However, most of their architectures require dozens of billion floating-point operations per second (GFLOPS) to generate speech waveforms in samplewise manner. This makes GAN vocoders still challenging to run on normal CPUs without accelerators or parallel computers. In this work, we propose a new architecture for GAN vocoders that mainly depends on recurrent and fully-connected networks to directly generate the time domain signal in framewise manner. This results in considerable reduction of the computational cost and enables very fast generation on both GPUs and low-complexity CPUs. Experimental results show that our Framewise WaveGAN vocoder achieves significantly higher quality than auto-regressive maximum-likelihood vocoders such as LPCNet at a very low complexity of 1.2 GFLOPS. This makes GAN vocoders more practical on edge and low-power devices.