本文指的是基于Pyin的多个基本频率（多个F0），一种用于提取单声音乐基本频率（F0）的算法，以及训练有素的卷积神经网络（CNN）模型，其中倾斜的卷积神经网络（CNN）模型，在其中俯仰的sallience级功能产生输入信号以估计多个F0。本文讨论了这两种算法及其相应的优势和缺点的实施。分析这两种方法的不同性能，将Pyin应用于补充从训练有素的CNN模型中提取的F0，以结合这两种算法的优势。为了进行评估，使用了两个小提琴演奏的四件，并评估了模型的性能，以提取F0曲线的平坦度。结果表明，从单声音乐和复音音乐中提取F0时，组合模型的表现优于原始算法。
translated by 谷歌翻译
声音，尤其是音乐，包含散布在频率维度的各种谐波组件。正常的卷积神经网络很难观察这些泛音。本文引入了多个速率扩张的因果卷积（MRDC-CONV）方法，以有效地捕获对数量表中的谐波结构。谐波对音高估计很有帮助，这对于许多声音处理应用非常重要。我们建议在音高估计中评估MRDC-CONV和其他扩张卷积的Harmof0，旨在评估MRDC-CONV和其他扩张的卷积。结果表明，该模型的表现优于DEEPF0，在三个数据集中产生最先进的性能，同时减少了90％以上的参数。我们还发现它具有更强的噪声性和更少的八度误差。代码和预培训模型可在https://github.com/wx-wei/harmof0上找到。
translated by 谷歌翻译
Vocoders是能够将音频信号（通常是MEL频谱图）转换为波形的低维光谱表示。现代语音生成管道使用Vocoder作为其最终组成部分。最近为语音开发的Vocoder模型实现了高度的现实主义，因此自然想知道它们在音乐信号上的表现。与言语相比，音乐声纹理的异质性和结构提供了新的挑战。在这项工作中，我们专注于一种专为语音设计的Vocoder模型在应用于音乐时倾向于展示的一种特定工件：合成持续的音符时的俯仰不稳定性。我们认为，该伪像的特征声音是由于缺乏水平相一致性，这通常是由于使用时间域目标空间与跨度班的模型（例如卷积神经网络）不变的结果。我们提出了专门为音乐设计的新型Vocoder模型。提高音高稳定性的关键是选择由幅度频谱和相位梯度组成的移位不变的目标空间。我们讨论了启发我们重新构建Vocoder任务的原因，概述一个工作示例，并在音乐信号上进行评估。我们的方法使用新颖的谐波误差度量标准，导致60％和10％的改善了相对于现有模型的持续音符和和弦的重建。
translated by 谷歌翻译
音乐学家使用各种标签在共享标题下对类似的音乐方式进行分类。但是，非专家可以用不同的方式对音乐进行分类。这可能是通过调节和谐，仪器和音乐形式的模式。人们通常通过听力来识别音乐类型，但现在计算机和人工智能（AI）可以自动化此过程。最近在音乐类型分类中申请AI的工作已经不断增长，但没有证据表明对库尔德音乐类型的研究。在这项研究中，我们开发了一个数据集，其中包含880个来自八个不同的库尔德音乐类型的样本。我们评估了两种机器学习方法，深神经网络（DNN）和卷积神经网络（CNN），以识别类型。结果表明，CNN模型通过实现92％而与90％的精度相比优于DNN。
translated by 谷歌翻译
在工业应用中，电动机的故障近一半是由于滚动元件轴承（REB）的退化引起的。因此，准确估算REB的剩余使用寿命（RUL）对于确保机械系统的可靠性和安全至关重要。为了应对这一挑战，基于模型的方法通常受到数学建模的复杂性的限制。另一方面，传统的数据驱动方法需要巨大的努力来提取降解功能并构建健康指数。在本文中，提出了一个新颖的在线数据驱动框架，以利用深度卷积神经网络（CNN）的采用来预测轴承的统治。更具体地说，训练轴承的原始振动首先是使用Hilbert-huang变换（HHT）处理的，并将新型的非线性降解指标构建为学习标签。然后使用CNN来识别提取的降解指示器和训练轴承振动之间的隐藏模式，这使得可以自动估计测试轴承的降解。最后，通过使用$ \ epsilon $ -Support向量回归模型来预测测试轴承的规定。与最先进的方法相比，提出的规则估计框架的出色性能通过实验结果证明。提出的CNN模型的一般性也通过转移到经历不同操作条件的轴承来验证。
translated by 谷歌翻译
音乐作品结构的分析是一项任务，对人工智能仍然是一个挑战，特别是在深度学习领域。它需要先前识别音乐件的结构范围。最近通过无监督的方法和\ Texit {端到端}技术研究了这种结构边界分析，例如使用熔融缩放的对数级阶段特征（MLS），自相似性矩阵（SSM）等卷积神经网络（CNN）或自我相似性滞后矩阵（SSLM）作为输入和用人的注释培训。已发布几项研究分为无监督和\ yexit {端到端}方法，其中使用不同的距离度量和音频特性以不同方式进行预处理，因此通过计算模型输入的广义预处理方法是丢失的。这项工作的目的是通过比较来自不同池策略，距离度量和音频特性的输入来建立预处理这些输入的一般方法，也考虑到计算时间来获得它们。我们还建立了要交付给CNN的最有效的投入结合，以便建立最有效的方法来提取音乐件结构的限制。通过对输入矩阵和池策略的充分组合，我们获得了0.411的测量精度$ 0.411优于在相同条件下获得的目前。
translated by 谷歌翻译
音乐表达需要控制播放的笔记，以及如何执行它们。传统的音频合成器提供了详细的表达控制，但以现实主义的成本提供了详细的表达控制。黑匣子神经音频合成和连接采样器可以产生现实的音频，但有很少的控制机制。在这项工作中，我们介绍MIDI-DDSP乐器的分层模型，可以实现现实的神经音频合成和详细的用户控制。从可解释的可分辨率数字信号处理（DDSP）合成参数开始，我们推断出富有表现力性能的音符和高级属性（例如Timbre，Vibrato，Dynamics和Asticiculation）。这将创建3级层次结构（注释，性能，合成），提供个人选择在每个级别进行干预，或利用培训的前沿（表现给出备注，综合赋予绩效）进行创造性的帮助。通过定量实验和聆听测试，我们证明了该层次结构可以重建高保真音频，准确地预测音符序列的性能属性，独立地操纵给定性能的属性，以及作为完整的系统，从新颖的音符生成现实音频顺序。通过利用可解释的层次结构，具有多个粒度的粒度，MIDI-DDSP将门打开辅助工具的门，以赋予各种音乐体验的个人。
translated by 谷歌翻译
当歌曲创作或演奏时，歌手/词曲作者通常会出现通过它表达感受或情感的意图。对于人类而言，将音乐作品或表演中的情感与观众的主观感知相匹配可能会非常具有挑战性。幸运的是，此问题的机器学习方法更简单。通常，它需要一个数据集，从该数据集中提取音频功能以将此信息呈现给数据驱动的模型，从而又将训练以预测给定歌曲与目标情绪匹配的概率是什么。在本文中，我们研究了最近出版物中最常见的功能和模型来解决此问题，揭示了哪些最适合在无伴奏歌曲中识别情感。
translated by 谷歌翻译
在本文中，我们介绍了联合主义者，这是一种能够感知的多仪器框架，能够转录，识别和识别和将多种乐器与音频剪辑分开。联合主义者由调节其他模块的仪器识别模块组成：输出仪器特异性钢琴卷的转录模块以及利用仪器信息和转录结果的源分离模块。仪器条件设计用于明确的多仪器功能，而转录和源分离模块之间的连接是为了更好地转录性能。我们具有挑战性的问题表述使该模型在现实世界中非常有用，因为现代流行音乐通常由多种乐器组成。但是，它的新颖性需要关于如何评估这种模型的新观点。在实验过程中，我们从各个方面评估了模型，为多仪器转录提供了新的评估观点。我们还认为，转录模型可以用作其他音乐分析任务的预处理模块。在几个下游任务的实验中，我们的转录模型提供的符号表示有助于解决降低检测，和弦识别和关键估计的频谱图。
translated by 谷歌翻译
近年来，FilterBank学习已成为各种音频相关机器学习任务的日益流行的策略。这部分是由于其发现可以在下游处理中利用的任务特定音频特性的能力。它也是用于解决各种音频应用的几乎普遍的深度学习方法的自然延伸。在这项工作中，研究了前端滤波器学习模块的若干变体进行钢琴转录，这是一个具有挑战性的低级音乐信息检索任务。我们建立在标准钢琴转录模型上，仅修改特征提取阶段。滤波器组件设计成使得其复杂过滤器是具有长接收领域的无限制的1D卷积核。额外的变化采用Hilbert变换以使滤波器本质上分析并应用变分差以促进滤波器稀疏性。在所有实验中比较转录结果，我们提供了对滤波器的可视化和分析。
translated by 谷歌翻译
注释音乐节拍在繁琐的过程中是很长的。为了打击这个问题，我们为节拍跟踪和下拍估算提出了一种新的自我监督的学习借口任务。这项任务利用SPLEETER，一个音频源分离模型，将歌曲的鼓从其其余的信号分开。第一组信号用作阳性，并通过延长否定，用于对比学习预培训。另一方面，鼓的信号用作锚点。使用此借口任务进行全卷积和复发模型时，学习了一个开始功能。在某些情况下，发现此功能被映射到歌曲中的周期元素。我们发现，当一个节拍跟踪训练集非常小（少于10个示例）时，预先训练的模型随机初始化模型表现优于随机初始化的模型。当不是这种情况时，预先训练导致了一个学习速度，导致模型过度训练集。更一般地说，这项工作定义了音乐自我监督学习领域的新观点。尤其是使用音频源分离作为自我监督的基本分量的作品之一。
translated by 谷歌翻译
FM合成是一种众所周知的算法，用于从紧凑的设计原始素中生成复杂的音色。通常具有MIDI接口，通常是不切实际的，从音频源进行控制。另一方面，可区分的数字信号处理（DDSP）已通过深度神经网络（DNN）启用了细微的音频渲染，这些音频渲染学会了从任意声音输入中控制可区分的合成层。训练过程涉及一系列音频进行监督和光谱重建损失功能。这样的功能虽然非常适合匹配光谱振幅，但却存在缺乏俯仰方向，这可能会阻碍FM合成器参数的关节优化。在本文中，我们采取了步骤，从音频输入中连续控制良好的FM合成体系结构。首先，我们讨论一组设计约束，通过标准重建损失来简化可区分的FM合成器的光谱优化。接下来，我们介绍可区分的DX7（DDX7），这是一种轻巧的体系结构，可根据一组紧凑的参数来进行乐器声音的神经FM重新合成。我们在从URMP数据集中提取的仪器样品上训练该模型，并定量证明其针对选定基准测试的音频质量可比。
translated by 谷歌翻译
实时音乐伴奏的生成在音乐行业（例如音乐教育和现场表演）中具有广泛的应用。但是，自动实时音乐伴奏的产生仍在研究中，并且经常在逻辑延迟和暴露偏见之间取决于权衡。在本文中，我们提出了Song Driver，这是一种无逻辑延迟或暴露偏见的实时音乐伴奏系统。具体而言，Songdriver将一个伴奏的生成任务分为两个阶段：1）安排阶段，其中变压器模型首先安排了和弦，以实时进行输入旋律，并在下一阶段加速了和弦，而不是播放它们。 2）预测阶段，其中CRF模型基于先前缓存的和弦生成了即将到来的旋律的可播放的多轨伴奏。通过这种两相策略，歌手直接生成即将到来的旋律的伴奏，从而达到了零逻辑延迟。此外，在预测时间步的和弦时，歌手是指第一阶段的缓存和弦，而不是其先前的预测，这避免了暴露偏见问题。由于输入长度通常在实时条件下受到限制，因此另一个潜在的问题是长期顺序信息的丢失。为了弥补这一缺点，我们在当前时间步骤作为全球信息之前从长期音乐作品中提取了四个音乐功能。在实验中，我们在一些开源数据集上训练歌手，以及由中国风格的现代流行音乐得分构建的原始\```````'''aisong数据集。结果表明，歌手在客观和主观指标上均优于现有的SOTA（最先进）模型，同时大大降低了物理潜伏期。
translated by 谷歌翻译
我们建议在散射转换网络（STN）中使用广义的摩尔斯小波（GMW），而不是常用的莫雷特（或Gabor）小波，我们称之为GMW-STN，用于信号分类问题。GMWS形成了真正分析波的参数化家族，而Morlet小波仅近似分析。STN中潜在小波过滤器的分析性对于非组织振荡信号（例如音乐信号）尤为重要，因为它通过提供多尺度振幅和相位（以及导致输入信号的频率）信息来提高STN表示的可解释性。我们使用所谓的GTZAN数据库证明了GMW-STN比传统STN的优越性。此外，我们通过将其层数增加到典型的两层STN的三层，以显示GMW-STN的性能提高。}
translated by 谷歌翻译
数据是现代机器学习系统的命脉，包括音乐信息检索中的命脉（MIR）。但是，MIR长期以来一直被小型数据集和不可靠的标签所困扰。在这项工作中，我们建议使用生成建模打破这种瓶颈。通过使用室内合奏的结构化合成模型（在URMP上训练的MIDI-DDSP）的结构化合成模型，通过管道说明（在巴赫合唱上训练的椰子）模型，我们演示了一个能够生成无限量的逼真的合唱音乐的系统，其中包括丰富的结合音乐，包括混合，包括混合，，，包括混合，茎，MIDI，笔记级性能属性（Staccato，Vibrato等），甚至是细粒的合成参数（音高，振幅等）。我们称此系统为室内集合发生器（CEG），并使用它来生成来自四个不同腔室合奏（cocochorales）的大型合唱数据集。我们证明，使用我们的方法生成的数据改善了音乐转录和源分离的最新模型，并且我们均发布了系统和数据集作为MIR社区未来工作的开源基础。
translated by 谷歌翻译
最近，对抗机器学习攻击对实用音频信号分类系统构成了严重的安全威胁，包括语音识别，说话者识别和音乐版权检测。先前的研究主要集中在确保通过在原始信号上产生类似小噪声的扰动来攻击音频信号分类器的有效性。目前尚不清楚攻击者是否能够创建音频信号扰动，除了其攻击效果外，人类还可以很好地看待。这对于音乐信号尤其重要，因为它们经过精心制作，具有可让人的音频特征。在这项工作中，我们将对音乐信号的对抗性攻击作为一种新的感知攻击框架，将人类研究纳入对抗性攻击设计中。具体而言，我们进行了一项人类研究，以量化人类对音乐信号的变化的看法。我们邀请人类参与者根据对原始和扰动的音乐信号对进行评分，并通过回归分析对人类感知过程进行反向工程，以预测给定信号的人类感知的偏差。然后将感知感知的攻击作为优化问题提出，该问题找到了最佳的扰动信号，以最大程度地减少对回归人类感知模型的感知偏差的预测。我们使用感知感知的框架来设计对YouTube版权探测器的现实对抗音乐攻击。实验表明，感知意识攻击会产生对抗性音乐的感知质量明显优于先前的工作。
translated by 谷歌翻译
音频数据增强是培训深度神经网络以解决音频分类任务的关键步骤。在本文中，我们在Matlab中引入了一个新型音频数据增强库的录音机。我们为RAW音频数据提供了15种不同的增强算法，8用于频谱图。我们有效地实施了几种增强技术，其有用性在文献中被广泛证明。据我们所知，这是最大的Matlab音频数据增强图书馆可自由使用。我们验证了我们在ESC-50数据集上评估它们的算法的效率。可以在https://github.com/lorisnanni/audiogmenter下载工具箱及其文档。
translated by 谷歌翻译
音乐是一种神秘的语言，它通过不同的音调和音色传达了感觉和思想。为了更好地了解音乐中的音色，我们选择了6种代表性乐器的音乐数据，分析了他们的音色功能并将其分类。我们的项目不是用于黑盒分类的神经网络的当前趋势，而是基于MFCC和LPC的组合，并以我们自己设计的观察和尝试设计的6维功能向量增强。在我们的白色框模型中，我们观察到了区分不同的音色的重要声音模式，并发现了客观数据和主观感官之间的某些联系。与单个工具相比，使用完全32维的特征向量和幼稚的全对SVM，我们实现了提高的分类精度。我们还试图分析从互联网下载的音乐作品，发现不同乐器上的不同性能，探索了原因，并提出了改善性能的可能方法。
translated by 谷歌翻译
尽管新成立的AI歌曲竞赛所见证的音乐作品和生产中使用AI工具在稳步增长，但使用这些工具制作的音乐分析仍然相对罕见，这是一种敏锐的洞察力，以洞悉AI工具影响音乐生产的方式。在本文中，我们介绍了一项案例研究“褪黑激素”，这是一首通过广泛使用Bassnet（最初旨在生成低音线条）的AI工具而产生的歌曲。通过分析艺术家的作品流程和歌曲项目，我们确定了与工具的负担相关的歌曲的样式特征，从而强调了习语和声音的样式表现。
translated by 谷歌翻译
音频分割和声音事件检测是机器聆听中的关键主题，旨在检测声学类别及其各自的边界。它对于音频分析，语音识别，音频索引和音乐信息检索非常有用。近年来，大多数研究文章都采用分类。该技术将音频分为小帧，并在这些帧上单独执行分类。在本文中，我们提出了一种新颖的方法，叫您只听一次（Yoho），该方法受到计算机视觉中普遍采用的Yolo算法的启发。我们将声学边界的检测转换为回归问题，而不是基于框架的分类。这是通过具有单独的输出神经元来检测音频类的存在并预测其起点和终点来完成的。与最先进的卷积复发性神经网络相比，Yoho的F量的相对改善范围从多个数据集中的1％到6％不等，以进行音频分段和声音事件检测。由于Yoho的输出更端到端，并且可以预测的神经元更少，因此推理速度的速度至少比逐个分类快6倍。另外，由于这种方法可以直接预测声学边界，因此后处理和平滑速度约为7倍。
translated by 谷歌翻译