音频的高时间分辨率和波形中小不规则性的感知敏感性使得在高采样率中合成复杂和计算密集的任务，禁止在许多方法中的实时，可控合成。在这项工作中，我们的目标是在有条件隐含的神经表示（CINR）的潜力上阐明作为音频合成的生成框架中的轻质骨干。隐式神经表示（INR）是用于近似低维功能的神经网络，训练以通过将输入坐标映射到输入位置处的结构信息来表示单个几何对象。与用于代表几何对象的其他神经方法相比，参数化对象所需的内存与分辨率无关，并且仅具有其复杂性的尺度。这是一个必论是INRS具有无限分辨率，因为它们可以在任意分辨率下进行取样。在生成域中应用INR的概念，我们框架生成建模作为学习连续功能的分布。这可以通过将调节方法引入INRS来实现。我们的实验表明，定期的条件INRS（PCINR）学习更快，并且通常比具有相等参数计数的转换卷积神经网络的定量更好的音频重建。但是，它们的性能对激活缩放超参数非常敏感。当学习代表更均匀的组时，PCINR倾向于在重建中引入人造高频分量。我们通过在训练期间应用标准重量正则化来验证这种噪音，可以减少PCINR的组成深度，并建议未来研究的方向。

神经场通过将坐标输入映射到采样值来模型信号。从视觉，图形到生物学和天文学的许多领域，它们正成为越来越重要的主链体系结构。在本文中，我们探讨了这些网络中常见的调理机制之间的差异，这是将神经场从信号的记忆转移到概括的基本要素，其中共同建模了位于歧管上的一组信号。特别是，我们对这些机制的缩放行为感兴趣，以对日益高维的调理变量感兴趣。正如我们在实验中显示的那样，高维条件是建模复杂数据分布的关键，因此，确定哪种体系结构在处理此类问题时最能实现哪种选择。为此，我们运行了使用串联，超网络和基于注意力的调理策略对2D，3D和4D信号进行建模的实验，这是文献中尚未进行的必要但费力的努力。我们发现，基于注意力的条件在各种环境中的其他方法都优于其他方法。

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

Previous works (Donahue et al., 2018a;Engel et al., 2019a) have found that generating coherent raw audio waveforms with GANs is challenging. In this paper, we show that it is possible to train GANs reliably to generate high quality coherent waveforms by introducing a set of architectural changes and simple training techniques. Subjective evaluation metric (Mean Opinion Score, or MOS) shows the effectiveness of the proposed approach for high quality mel-spectrogram inversion. To establish the generality of the proposed techniques, we show qualitative results of our model in speech synthesis, music domain translation and unconditional music synthesis. We evaluate the various components of the model through ablation studies and suggest a set of guidelines to design general purpose discriminators and generators for conditional sequence synthesis tasks. Our model is non-autoregressive, fully convolutional, with significantly fewer parameters than competing models and generalizes to unseen speakers for mel-spectrogram inversion. Our pytorch implementation runs at more than 100x faster than realtime on GTX 1080Ti GPU and more than 2x faster than real-time on CPU, without any hardware specific optimization tricks.

Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or SIRENs, are ideally suited for representing complex natural signals and their derivatives. We analyze SIREN activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how SIRENs can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine SIRENs with hypernetworks to learn priors over the space of SIREN functions. Please see the project website for a video overview of the proposed method and all applications.

尽管在基于生成的对抗网络（GAN）的声音编码器中，该模型在MEL频谱图中生成原始波形，但在各种录音环境中为众多扬声器合成高保真音频仍然具有挑战性。在这项工作中，我们介绍了Bigvgan，这是一款通用的Vocoder，在零照片环境中在各种看不见的条件下都很好地概括了。我们将周期性的非线性和抗氧化表现引入到发电机中，这带来了波形合成所需的感应偏置，并显着提高了音频质量。根据我们改进的生成器和最先进的歧视器，我们以最大的规模训练我们的Gan Vocoder，最高到1.12亿个参数，这在文献中是前所未有的。特别是，我们识别并解决了该规模特定的训练不稳定性，同时保持高保真输出而不过度验证。我们的Bigvgan在各种分布场景中实现了最先进的零拍性能，包括新的扬声器，新颖语言，唱歌声音，音乐和乐器音频，在看不见的（甚至是嘈杂）的录制环境中。我们将在以下网址发布我们的代码和模型：https：//github.com/nvidia/bigvgan

在本文中，我们基于条件AutoEncoder提出了一种新型音频合成器CaeSynth。 Caesynth通过在其共享潜在特征空间中插入参考声音来实时合成Timbre，同时独立控制俯仰。我们展示了基于Timbre分类的精度培训条件AutoEncoder与俯仰内容的对抗正规化允许潜伏空间中的Timbre分布对Timbre插值和音调调节更有效和稳定。该方法不仅适用于创造音乐线索，还适用于基于具有环境声音的小说模型的混合现实中的音频承担。我们通过实验证明了CAESynth通过Timbre插值实时实现了光滑和高保真音频合成，并为音乐线索的独立且准确的音高控制以及与环境声音的音频提供。在线共享Python实现以及一些生成的样本。

快速和用户控制的音乐生成可以实现创作或表演音乐的新颖方法。但是，最先进的音乐生成系统需要大量的数据和计算资源来培训，并且推断很慢。这使它们对于实时交互式使用不切实际。在这项工作中，我们介绍了Musika，Musika是一种音乐发电系统，可以使用单个消费者GPU在数百小时的音乐上进行培训，并且比消费者CPU上有任意长度的音乐的实时生成速度要快得多。我们首先学习具有对抗性自动编码器的光谱图和相位的紧凑型可逆表示，然后在此表示上训练生成性对抗网络（GAN）为特定的音乐领域训练。潜在坐标系可以并行生成任意长的摘录序列，而全局上下文向量使音乐可以在时间上保持风格连贯。我们执行定量评估，以评估生成的样品的质量，并展示钢琴和技术音乐生成的用户控制选项。我们在github.com/marcoppasini/musika上发布源代码和预估计的自动编码器重量，使得可以在几个小时内使用单个GPU的新音乐域中对GAN进行培训。

It is common practice in deep learning to represent a measurement of the world on a discrete grid, e.g. a 2D grid of pixels. However, the underlying signal represented by these measurements is often continuous, e.g. the scene depicted in an image. A powerful continuous alternative is then to represent these measurements using an implicit neural representation, a neural function trained to output the appropriate measurement value for any input spatial location. In this paper, we take this idea to its next level: what would it take to perform deep learning on these functions instead, treating them as data? In this context we refer to the data as functa, and propose a framework for deep learning on functa. This view presents a number of challenges around efficient conversion from data to functa, compact representation of functa, and effectively solving downstream tasks on functa. We outline a recipe to overcome these challenges and apply it to a wide range of data modalities including images, 3D shapes, neural radiance fields (NeRF) and data on manifolds. We demonstrate that this approach has various compelling properties across data modalities, in particular on the canonical tasks of generative modeling, data imputation, novel view synthesis and classification. Code: https://github.com/deepmind/functa

Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.

通过新的设计推动，允许规避光谱偏差，隐式神经表示（INRS）最近被出现为具有古典离散化表示的有希望的替代方案。尽管如此，尽管他们的实际成功，我们仍然缺乏inrs代表信号的正确理论表征。在这项工作中，我们的目标是填补这一差距，我们提出了一种在理论上分析inrs的新颖统一视角。利用谐波分析和深度学习理论的结果，我们表明大多数INR系列类似于结构化信号词典，其原子是初始映射频率集的整数谐波。该结构允许INR使用只有许多只能与深度线性增长的参数表达频率支持的信号。之后，我们探讨了初步结果关于经验神经切线内核（NTK）的近期结果的归纳偏见。具体地，我们表明NTK的特征功能可以被视为其内部产品与目标信号的内部产品确定其重建的最终性能。在这方面，我们揭示了Meta学习初始化具有类似于字典学习的NTK的重塑效果，构建字典原子作为在Meta训练期间看到的例子的组合。我们的业绩允许设计和调整小说INR架构，但对更广泛的深度学习理论界也可能感兴趣。

当与输入的高维投影结合使用时，多层感知器（MLP）已被证明是有效的场景编码器，通常称为\ textit {位置{位置编码}。但是，频谱频谱的场景仍然是一个挑战：选择高频进行位置编码会引入低结构区域中的噪声，而低频率则导致详细区域的拟合不佳。为了解决这个问题，我们提出了一个渐进的位置编码，将分层MLP结构暴露于频率编码的增量集。我们的模型可以准确地使用广泛的频带重建场景，并以细节的渐进级别学习场景表示形式\ textit {没有明确的每级监督}。该体系结构是模块化的：每个级别都编码一个连续的隐式表示，可以分别利用其各自的分辨率，这意味着一个较小的网络来进行更粗糙的重建。与基线相比，几个2D和3D数据集的实验显示了重建精度，代表性能力和训练速度的提高。

深度学习算法的兴起引领许多研究人员使用经典信号处理方法来发声。深度学习模型已经实现了富有富有的语音合成，现实的声音纹理和虚拟乐器的音符。然而，最合适的深度学习架构仍在调查中。架构的选择紧密耦合到音频表示。声音的原始波形可以太密集和丰富，用于深入学习模型，以有效处理 - 复杂性提高培训时间和计算成本。此外，它不代表声音以其所感知的方式。因此，在许多情况下，原始音频已经使用上采样，特征提取，甚至采用波形的更高级别的图示来转换为压缩和更有意义的形式。此外，研究了所选择的形式，另外的调节表示，不同的模型架构以及用于评估重建声音的许多度量的条件。本文概述了应用于使用深度学习的声音合成的音频表示。此外，它呈现了使用深度学习模型开发和评估声音合成架构的最重要方法，始终根据音频表示。

神经隐式功能对于数据表示非常有效。但是，如果输入数据具有许多细节或含有低频和高频带宽，则神经网络学到的隐式功能通常包括意外的噪声或失去细节。在保留细尺度内容的同时，删除工件具有挑战性，通常会出现过度平滑或嘈杂的问题。为了解决这一难题，我们提出了一个新框架（FINN），该框架（FINN）将过滤模块集成到MLP中以执行数据重建，同时适应包含不同频率的区域。过滤模块的平滑操作员作用于网络的中间结果，鼓励结果是平滑的，并且恢复的操作员将高频带到区域过于光滑。两个反活性操作员在所有MLP层中连续播放，以适应重建。我们证明了Finn在几个任务上的优势，并与最新方法相比，展示了显着改善。此外，Finn在收敛速度和网络稳定性方面还能产生更好的性能。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

生成的对抗网络由于研究人员的最新性能在生成新图像时仅使用目标分布的数据集，因此引起了研究人员的关注。已经表明，真实图像的频谱和假图像之间存在差异。由于傅立叶变换是一种徒图映射，因此说该模型在学习原始分布方面有一个重大问题是一个公平的结论。在这项工作中，我们研究了当前gan的架构和数学理论中提到的缺点的可能原因。然后，我们提出了一个新模型，以减少实际图像和假图像频谱之间的差异。为此，我们使用几何深度学习的蓝图为频域设计了一个全新的架构。然后，我们通过将原始数据的傅立叶域表示作为训练过程中的主要特征来表明生成图像的质量的有希望的改善。

We present a novel method to provide efficient and highly detailed reconstructions. Inspired by wavelets, our main idea is to learn a neural field that decompose the signal both spatially and frequency-wise. We follow the recent grid-based paradigm for spatial decomposition, but unlike existing work, encourage specific frequencies to be stored in each grid via Fourier features encodings. We then apply a multi-layer perceptron with sine activations, taking these Fourier encoded features in at appropriate layers so that higher-frequency components are accumulated on top of lower-frequency components sequentially, which we sum up to form the final output. We demonstrate that our method outperforms the state of the art regarding model compactness and efficiency on multiple tasks: 2D image fitting, 3D shape reconstruction, and neural radiance fields.

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

FM合成是一种众所周知的算法，用于从紧凑的设计原始素中生成复杂的音色。通常具有MIDI接口，通常是不切实际的，从音频源进行控制。另一方面，可区分的数字信号处理（DDSP）已通过深度神经网络（DNN）启用了细微的音频渲染，这些音频渲染学会了从任意声音输入中控制可区分的合成层。训练过程涉及一系列音频进行监督和光谱重建损失功能。这样的功能虽然非常适合匹配光谱振幅，但却存在缺乏俯仰方向，这可能会阻碍FM合成器参数的关节优化。在本文中，我们采取了步骤，从音频输入中连续控制良好的FM合成体系结构。首先，我们讨论一组设计约束，通过标准重建损失来简化可区分的FM合成器的光谱优化。接下来，我们介绍可区分的DX7（DDX7），这是一种轻巧的体系结构，可根据一组紧凑的参数来进行乐器声音的神经FM重新合成。我们在从URMP数据集中提取的仪器样品上训练该模型，并定量证明其针对选定基准测试的音频质量可比。

在许多语音和音乐相关任务中，应用于音频的深度生成模型已经改善了最先进的最先进的语音和音乐相关的任务。然而，由于原始波形建模仍然是一个固有的困难任务，音频生成模型要么计算密集，依赖于低采样率，并复杂于控制或限制可能信号的性质。在这些模型中，变形自身偏析器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一个实时音频变形式自动化器（RAVE），允许快速和高质量的音频波形合成。我们介绍了一种新型的两级培训程序，即表示学习和对抗性微调。我们表明，使用对潜伏空间的训练后分析允许直接控制重建保真度和表示紧凑性。通过利用原始波形的多频段分解，我们表明我们的模型是第一个能够生成48kHz音频信号，同时在标准膝上型计算机CPU上的实时运行20倍。我们使用定量和定性主观实验评估合成质量，并与现有模型相比，我们的方法的优越性。最后，我们呈现了我们模型的MigBre传输和信号压缩的应用。我们所有的源代码和音频示例都是公开的。