我们可以根据流行歌曲的音频自动推导钢琴伴奏的分数吗？这是我们在本文中解决的音频到符号排列问题。一个良好的安排模型不仅要考虑音频内容，还要先前了解钢琴组成（使得生成“听起来像”音频且同时保持音乐性。）到目前为止，我们贡献了跨模型表示学习模型，其中1）从音频提取和弦和旋律信息，2）从音频和损坏的地面真理安排中了解纹理表示。我们进一步介绍了定制的培训策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后部减少到标准的正态分布，并且只需要音频进行推断。实验表明，我们的模型捕获了主要音频信息和优于代质量的基线。
translated by 谷歌翻译
In this study, we explore the representation mapping from the domain of visual arts to the domain of music, with which we can use visual arts as an effective handle to control music generation. Unlike most studies in multimodal representation learning that are purely data-driven, we adopt an analysis-by-synthesis approach that combines deep music representation learning with user studies. Such an approach enables us to discover \textit{interpretable} representation mapping without a huge amount of paired data. In particular, we discover that visual-to-music mapping has a nice property similar to equivariant. In other words, we can use various image transformations, say, changing brightness, changing contrast, style transfer, to control the corresponding transformations in the music domain. In addition, we released the Vis2Mus system as a controllable interface for symbolic music generation.
translated by 谷歌翻译
Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long pop piano pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.
translated by 谷歌翻译
现有的使用变压器模型生成多功能音乐的方法仅限于一小部分乐器或简短的音乐片段。这部分是由于MultiTrack Music的现有表示形式所需的冗长输入序列的内存要求。在这项工作中，我们提出了一个紧凑的表示，该表示可以允许多种仪器，同时保持短序列长度。使用我们提出的表示形式，我们介绍了MultiTrack Music Transformer（MTMT），用于学习多领音乐中的长期依赖性。在主观的听力测试中，我们提出的模型针对两个基线模型实现了无条件生成的竞争质量。我们还表明，我们提出的模型可以生成样品，这些样品的长度是基线模型产生的样品，此外，可以在推理时间的一半中进行样本。此外，我们提出了一项新的措施，以分析音乐自我展示，并表明训练有素的模型学会更少注意与当前音符形成不和谐间隔的注释，但更多地却更多地掌握了与当前相距4N节奏的音符。最后，我们的发现为未来的工作提供了一个新颖的基础，探索了更长形式的多音阶音乐生成并改善音乐的自我吸引力。所有源代码和音频样本均可在https://salu133445.github.io/mtmt/上找到。
translated by 谷歌翻译
基于分数的生成模型和扩散概率模型已经成功地在连续域中产生高质量样本，例如图像和音频。然而，由于他们的LangeVin启发了采样机制，它们对离散和顺序数据的应用受到限制。在这项工作中，我们通过参数化在预先训练的变化性AutiaceOder的连续潜空间中的离散域参数，介绍了一种用于训练延伸模型的技术。我们的方法是非自回归的，并学习通过反向过程生成潜在嵌入的序列，并通过恒定数量的迭代细化步骤提供并行生成。与在相同连续嵌入的自回归语言模型相比，我们将这种技术应用于建模符号音乐，并显示出强大的无条件生成和后HOC条件缺陷结果。
translated by 谷歌翻译
解开的顺序自动编码器（DSAE）代表一类概率图形模型，该模型描述了具有动态潜在变量和静态潜在变量的观察到的序列。前者以与观测值相同的帧速率编码信息，而后者在全球范围内控制整个序列。这引入了归纳偏见，并促进了基础本地和全球因素的无监督分解。在本文中，我们表明，香草dsae对动态潜在变量的模型结构和容量的选择敏感，并且容易折叠静态潜在变量。作为对策，我们提出了TS-DSAE，这是一个两阶段的培训框架，首先学习序列级别的先验分布，随后将其用于正规化该模型并促进辅助目标以促进分解。在广泛的模型配置中，对全局因子崩溃问题进行了完全无监督和强大的框架。它还避免了典型的解决方案，例如通常涉及费力参数调整和特定于域的数据增强的对抗训练。我们进行定量和定性评估，以证明其在人工音乐和现实音乐音频数据集上的分离方面的鲁棒性。
translated by 谷歌翻译
在许多语音和音乐相关任务中，应用于音频的深度生成模型已经改善了最先进的最先进的语音和音乐相关的任务。然而，由于原始波形建模仍然是一个固有的困难任务，音频生成模型要么计算密集，依赖于低采样率，并复杂于控制或限制可能信号的性质。在这些模型中，变形自身偏析器（VAE）通过暴露潜在变量来控制生成，尽管它们通常遭受低合成质量。在本文中，我们介绍了一个实时音频变形式自动化器（RAVE），允许快速和高质量的音频波形合成。我们介绍了一种新型的两级培训程序，即表示学习和对抗性微调。我们表明，使用对潜伏空间的训练后分析允许直接控制重建保真度和表示紧凑性。通过利用原始波形的多频段分解，我们表明我们的模型是第一个能够生成48kHz音频信号，同时在标准膝上型计算机CPU上的实时运行20倍。我们使用定量和定性主观实验评估合成质量，并与现有模型相比，我们的方法的优越性。最后，我们呈现了我们模型的MigBre传输和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
translated by 谷歌翻译
音乐包含超出节拍和措施的层次结构。尽管层次结构注释有助于音乐信息检索和计算机音乐学，但在当前的数字音乐数据库中，这种注释很少。在本文中，我们探讨了一种数据驱动的方法，以自动从分数中提取分层的度量结构。我们提出了一个具有时间卷积网络条件随机字段（TCN-CRF）体系结构的新模型。给定符号音乐得分，我们的模型以良好的形式采用任意数量的声音，并预测了从偏低级别到截面级别的4级层次级别结构。我们还使用RWC-POP MIDI文件来注释数据集，以促进培训和评估。我们通过实验表明，在不同的编排设置下，提出的方法的性能优于基于规则的方法。我们还对模型预测进行了一些简单的音乐分析。所有演示，数据集和预培训模型均在GitHub上公开可用。
translated by 谷歌翻译
我们提出了Dance2Music-Gan（D2M-GAN），这是一种新颖的对抗性多模式框架，生成了以舞蹈视频为条件的复杂音乐样品。我们提出的框架将舞蹈视频框架和人体运动作为输入，并学会生成合理伴随相应输入的音乐样本。与大多数现有的有条件音乐的作品不同，它们使用符号音频表示（例如MIDI）生成特定类型的单乐器声音，并且通常依赖于预定义的音乐合成器，在这项工作中，我们以复杂风格（例如，例如，通过使用量化矢量（VQ）音频表示形式，并利用其符号和连续对应物的高抽象能力来利用POP，BREAKING等）。通过在多个数据集上执行广泛的实验，并遵循全面的评估协议，我们评估了建议针对替代方案的生成品质。所达到的定量结果衡量音乐一致性，击败了对应和音乐多样性，证明了我们提出的方法的有效性。最后但并非最不重要的一点是，我们策划了一个充满挑战的野生式Tiktok视频的舞蹈音乐数据集，我们用来进一步证明我们在现实世界中的方法的功效 - 我们希望它能作为起点进行相关的未来研究。
translated by 谷歌翻译
符号音乐分割是将符号旋律分为较小有意义的群体（例如旋律短语）的过程。我们提出了一种无监督的方法来分割符号音乐。提出的模型基于时间预测误差模型的合奏。在训练过程中，每个模型都预测了下一个令牌，以识别音乐短语变化。在测试时，我们执行峰值检测算法以选择候选段。最后，我们汇总了参与合奏的每个模型以预测最终分割的预测。结果表明，在考虑F-SCORE和R-VALUE时，建议的方法在无监督的设置下达到了Essen Folksong数据集的最先进性能。我们还提供消融研究，以更好地评估每个模型组件对最终结果的贡献。正如预期的那样，提出的方法不如监督环境，这为未来的研究提供了改善的空间，考虑到无监督和监督方法之间的差距。
translated by 谷歌翻译
实时音乐伴奏的生成在音乐行业（例如音乐教育和现场表演）中具有广泛的应用。但是，自动实时音乐伴奏的产生仍在研究中，并且经常在逻辑延迟和暴露偏见之间取决于权衡。在本文中，我们提出了Song Driver，这是一种无逻辑延迟或暴露偏见的实时音乐伴奏系统。具体而言，Songdriver将一个伴奏的生成任务分为两个阶段：1）安排阶段，其中变压器模型首先安排了和弦，以实时进行输入旋律，并在下一阶段加速了和弦，而不是播放它们。 2）预测阶段，其中CRF模型基于先前缓存的和弦生成了即将到来的旋律的可播放的多轨伴奏。通过这种两相策略，歌手直接生成即将到来的旋律的伴奏，从而达到了零逻辑延迟。此外，在预测时间步的和弦时，歌手是指第一阶段的缓存和弦，而不是其先前的预测，这避免了暴露偏见问题。由于输入长度通常在实时条件下受到限制，因此另一个潜在的问题是长期顺序信息的丢失。为了弥补这一缺点，我们在当前时间步骤作为全球信息之前从长期音乐作品中提取了四个音乐功能。在实验中，我们在一些开源数据集上训练歌手，以及由中国风格的现代流行音乐得分构建的原始\```````'''aisong数据集。结果表明，歌手在客观和主观指标上均优于现有的SOTA（最先进）模型，同时大大降低了物理潜伏期。
translated by 谷歌翻译
在本文中，我们介绍了联合主义者，这是一种能够感知的多仪器框架，能够转录，识别和识别和将多种乐器与音频剪辑分开。联合主义者由调节其他模块的仪器识别模块组成：输出仪器特异性钢琴卷的转录模块以及利用仪器信息和转录结果的源分离模块。仪器条件设计用于明确的多仪器功能，而转录和源分离模块之间的连接是为了更好地转录性能。我们具有挑战性的问题表述使该模型在现实世界中非常有用，因为现代流行音乐通常由多种乐器组成。但是，它的新颖性需要关于如何评估这种模型的新观点。在实验过程中，我们从各个方面评估了模型，为多仪器转录提供了新的评估观点。我们还认为，转录模型可以用作其他音乐分析任务的预处理模块。在几个下游任务的实验中，我们的转录模型提供的符号表示有助于解决降低检测，和弦识别和关键估计的频谱图。
translated by 谷歌翻译
我们提出了循环式的舞蹈风格转移系统，该系统将以一种舞蹈方式将现有的运动剪辑转换为另一种舞蹈风格的运动剪辑，同时试图保留舞蹈的运动背景。我们的方法扩展了现有的自行车结构，用于建模音频序列，并集成多模式变压器编码器以说明音乐上下文。我们采用基于序列长度的课程学习来稳定培训。我们的方法捕获了运动框架之间丰富而长期的内部关系，这是运动转移和合成工作中的普遍挑战。我们进一步介绍了在舞蹈运动的背景下衡量转移力量和内容保存的新指标。我们进行了一项广泛的消融研究以及一项人类研究，其中包括30名具有5年或更长时间的舞蹈经验的参与者。结果表明，循环量会以目标样式产生逼真的运动，从而在自然性，传递强度和内容保存上明显优于基线周期。
translated by 谷歌翻译
深度学习算法的兴起引领许多研究人员使用经典信号处理方法来发声。深度学习模型已经实现了富有富有的语音合成，现实的声音纹理和虚拟乐器的音符。然而，最合适的深度学习架构仍在调查中。架构的选择紧密耦合到音频表示。声音的原始波形可以太密集和丰富，用于深入学习模型，以有效处理 - 复杂性提高培训时间和计算成本。此外，它不代表声音以其所感知的方式。因此，在许多情况下，原始音频已经使用上采样，特征提取，甚至采用波形的更高级别的图示来转换为压缩和更有意义的形式。此外，研究了所选择的形式，另外的调节表示，不同的模型架构以及用于评估重建声音的许多度量的条件。本文概述了应用于使用深度学习的声音合成的音频表示。此外，它呈现了使用深度学习模型开发和评估声音合成架构的最重要方法，始终根据音频表示。
translated by 谷歌翻译
符号音乐的生成依赖于生成模型的上下文表示功能，其中最普遍的方法是基于变压器的模型。音乐背景的学习也与音乐中的结构元素，即介绍，诗歌和合唱有关，这些元素目前被研究界忽略了。在本文中，我们提出了一个分层变压器模型，以学习音乐中的多尺度上下文。在编码阶段，我们首先设计了一个片段范围定位层，以将音乐结合到和弦和部分中。然后，我们使用多尺度的注意机制来学习笔记，和弦和部分级别的上下文。在解码阶段，我们提出了一个层次变压器模型，该模型使用精细编码器并行生成部分和粗编码器来解码组合音乐。我们还设计了音乐风格的标准化层，以在生成的部分之间实现一致的音乐风格。我们的模型在两个开放的MIDI数据集上进行了评估，实验表明我们的模型优于当代音乐生成模型。更令人兴奋的是，视觉评估表明，我们的模型在旋律重复使用方面表现出色，从而产生了更现实的音乐。
translated by 谷歌翻译
长期以来，流行音乐的一代一直是音乐家和科学家的吸引力。但是，以令人满意的结构自动编写流行音乐仍然是一个具有挑战性的问题。在本文中，我们建议利用和谐学习的学习来获得结构增强的流行音乐。一方面，和谐，和弦的参与者之一代表了多个音符的谐波集，该音符与音乐的空间结构紧密整合在一起。另一方面，另一个和谐，和弦进步的参与者通常伴随音乐的发展，从而促进了音乐的时间结构。此外，当和弦演变成和弦发展时，质地和形式可以由和谐自然地桥接，这有助于两种结构的共同学习。此外，我们提出了和谐感知的等级音乐变压器（帽子），可以从音乐中适应结构，并使音乐令牌在层次上进行层次相互作用，以增强多层音乐元素的结构。实验结果表明，与现有方法相比，HAT对结构有更好的了解，并且还可以提高产生的音乐的质量，尤其是形式和质地。
translated by 谷歌翻译
在感官替代领域的长期目标是通过可视化音频内容来实现对聋人的声音感知。与语音和文本或文本和图像之间的现有模型不同，我们针对即时和低级音频到视频翻译，适用于通用环境声音以及人类语音。由于这种替代是人为的，没有监督学习的标签，我们的核心贡献是通过高级约束来建立从音频到视频的映射。对于言语，我们通过将它们映射到共同的解除不诚格的潜在空间来释放型号（性别和方言）的内容（电话）。包括用户学习的定性和定量结果表明，我们的未配对翻译方法在生成的视频中保持了重要的音频功能，并且面孔和数字的视频非常适合可视化可以通过人类解析的高维音频特征和区分声音，单词和扬声器。
translated by 谷歌翻译
We propose an end-to-end music mixing style transfer system that converts the mixing style of an input multitrack to that of a reference song. This is achieved with an encoder pre-trained with a contrastive objective to extract only audio effects related information from a reference music recording. All our models are trained in a self-supervised manner from an already-processed wet multitrack dataset with an effective data preprocessing method that alleviates the data scarcity of obtaining unprocessed dry data. We analyze the proposed encoder for the disentanglement capability of audio effects and also validate its performance for mixing style transfer through both objective and subjective evaluations. From the results, we show the proposed system not only converts the mixing style of multitrack audio close to a reference but is also robust with mixture-wise style transfer upon using a music source separation model.
translated by 谷歌翻译
扩散概率模型（DPM）由于其有希望的结果和对跨模式合成的支持，已成为有条件产生的流行方法。条件合成中的一个关键逃亡者是在条件输入和生成的输出之间实现高对应。大多数现有方法通过将先验纳入变异下限中，隐含地学习了这种关系。在这项工作中，我们采用了另一条路线 - 我们通过使用对比度学习来最大化其共同信息来增强输入输出连接。为此，我们引入了有条件的离散对比扩散（CDCD）损失，并设计了两种对比扩散机制，以有效地将其纳入剥离过程中。我们通过将CDCD与传统的变分目标联系起来来制定CDCD。我们证明了我们的方法在三种多种多样的条件合成任务中的评估中的功效：舞蹈到音乐的生成，文本到图像综合和班级调节图像综合。在每个方面，我们达到最新的或更高的合成质量并提高输入输出对应关系。此外，提出的方法改善了扩散模型的收敛性，将所需扩散步骤的数量减少了两个基准的35％以上，从而大大提高了推理速度。
translated by 谷歌翻译
理想的音乐合成器应具有互动性和表现力，并实时产生高保真音频，以进行任意组合仪器和音符。最近的神经合成器在特定于域的模型之间表现出了折衷，这些模型仅对特定仪器或可以训练所有音乐训练但最小的控制和缓慢发电的原始波形模型提供了详细的控制。在这项工作中，我们专注于神经合成器的中间立场，这些基础可以从MIDI序列中产生音频，并实时使用仪器的任意组合。这使得具有单个模型的各种转录数据集的培训，这又提供了对各种仪器的组合和仪器的控制级别的控制。我们使用一个简单的两阶段过程：MIDI到具有编码器变压器的频谱图，然后使用生成对抗网络（GAN）频谱图逆变器将频谱图到音频。我们将训练解码器作为自回归模型进行了比较，并将其视为一种脱氧扩散概率模型（DDPM），并发现DDPM方法在定性上是优越的，并且通过音频重建和fr \'echet距离指标来衡量。鉴于这种方法的互动性和普遍性，我们发现这是迈向互动和表达性神经综合的有前途的第一步，以实现工具和音符的任意组合。
translated by 谷歌翻译