现代数字音乐的制作通常涉及将许多声学元素组合在一起以编译音乐。此类元素的重要类型是鼓样品，它们决定了该作品的打击乐成分的特性。艺术家必须使用其审美判断来评估给定的鼓样本是否适合当前的音乐背景。但是，从潜在的大图书馆中选择鼓样品是乏味的，可能会中断创意流程。在这项工作中，我们根据从数据中学到的美学原理探索自动鼓样品检索。结果，艺术家可以通过在制作过程的不同阶段（即适合不完整的歌曲混音）来对其图书馆中的样本进行排名。为此，我们使用对比度学习来最大程度地提高源自与混合物同一歌曲的鼓样品的分数。我们进行了听力测试，以确定人类评分是否与自动评分函数匹配。我们还进行客观的定量分析以评估方法的功效。

作为人类已知的最直观的界面之一，自然语言有可能调解许多涉及人类计算机互动的任务，尤其是在音乐信息检索等以应用程序为中心的领域。在这项工作中，我们探索了跨模式学习，以试图在音乐领域弥合音频和语言。为此，我们提出了Muscall，这是音乐对比的音频学习框架。我们的方法由双重编码架构组成，该体系结构了解音乐音频和描述性句子对之间的对齐方式，生成可用于文本到原告和音频到文本检索的多模式嵌入。多亏了这个属性，肌肉几乎可以转移到任何可以作为基于文本检索的任务转移到任何任务。我们的实验表明，我们的方法在检索音频时的性能要比基线要好得多，该音频与文本描述匹配，相反，与音频查询匹配的文本。我们还证明，我们的模型的多模式对齐能力可以成功扩展到零摄像转移方案，用于流派分类和在两个公共数据集上自动标记。

We propose an end-to-end music mixing style transfer system that converts the mixing style of an input multitrack to that of a reference song. This is achieved with an encoder pre-trained with a contrastive objective to extract only audio effects related information from a reference music recording. All our models are trained in a self-supervised manner from an already-processed wet multitrack dataset with an effective data preprocessing method that alleviates the data scarcity of obtaining unprocessed dry data. We analyze the proposed encoder for the disentanglement capability of audio effects and also validate its performance for mixing style transfer through both objective and subjective evaluations. From the results, we show the proposed system not only converts the mixing style of multitrack audio close to a reference but is also robust with mixture-wise style transfer upon using a music source separation model.

注释音乐节拍在繁琐的过程中是很长的。为了打击这个问题，我们为节拍跟踪和下拍估算提出了一种新的自我监督的学习借口任务。这项任务利用SPLEETER，一个音频源分离模型，将歌曲的鼓从其其余的信号分开。第一组信号用作阳性，并通过延长否定，用于对比学习预培训。另一方面，鼓的信号用作锚点。使用此借口任务进行全卷积和复发模型时，学习了一个开始功能。在某些情况下，发现此功能被映射到歌曲中的周期元素。我们发现，当一个节拍跟踪训练集非常小（少于10个示例）时，预先训练的模型随机初始化模型表现优于随机初始化的模型。当不是这种情况时，预先训练导致了一个学习速度，导致模型过度训练集。更一般地说，这项工作定义了音乐自我监督学习领域的新观点。尤其是使用音频源分离作为自我监督的基本分量的作品之一。

传统上，音乐混合涉及以干净，单个曲目的形式录制乐器，并使用音频效果和专家知识（例如，混合工程师）将它们融合到最终混合物中。近年来，音乐制作任务的自动化已成为一个新兴领域，基于规则的方法和机器学习方法已被探索。然而，缺乏干燥或干净的仪器记录限制了这种模型的性能，这与专业的人造混合物相去甚远。我们探索是否可以使用室外数据，例如潮湿或加工的多轨音乐录音，并将其重新利用以训练有监督的深度学习模型，以弥合自动混合质量的当前差距。为了实现这一目标，我们提出了一种新型的数据预处理方法，该方法允许模型执行自动音乐混合。我们还重新设计了一种用于评估音乐混合系统的听力测试方法。我们使用经验丰富的混合工程师作为参与者来验证结果。

我们提出了一种为给定视频推荐音乐曲目的方法，反之亦然，基于它们的时间对齐及其在艺术层面上的信件。我们提出了一种自我监督的方法，该方法直接从数据中学习了这一对应，而无需任何人类注释。为了捕获解决任务所需的高级概念，我们建议使用每种模式的变压器网络对视频和音乐信号的长期时间上下文进行建模。实验表明，这种方法强烈胜过不利用时间上下文的替代方案。我们的贡献的结合提高了先前最高现状的检索准确性高达10倍。这种强大的改进使我们能够引入广泛的分析和应用。例如，我们可以根据视觉定义的属性来调节音乐检索。

从未标记数据的代表学习一直是对人工智能研究的重大兴趣。虽然自我监督的言语代表学习在语音研究界受欢迎，但很少有效地对非语音音频任务进行了全面分析了音频表示学习。在本文中，我们提出了一种自我监督的音频表示学习方法，并将其应用于各种下游非语音音频任务。我们将众所周知的Wav2Vec 2.0框架结合起来，这在用于语音任务的自我监督学习中取得了成功，具有参数效率的构装体系结构。我们的自我监督的预培训可以减少三分之二的标记数据的需求。在Audioset基准测试中，我们达到平均平均精度（地图）得分为0.415，这是通过仅限音频自我监督的学习在此数据集上的新型最先进的。我们的微调符合子也超越了在几个下游任务上以监督方式预先培训的先前系统的性能。我们进一步讨论了预先培训和微调的重要设计考虑因素。

Multiple choice questions (MCQs) are widely used in digital learning systems, as they allow for automating the assessment process. However, due to the increased digital literacy of students and the advent of social media platforms, MCQ tests are widely shared online, and teachers are continuously challenged to create new questions, which is an expensive and time-consuming task. A particularly sensitive aspect of MCQ creation is to devise relevant distractors, i.e., wrong answers that are not easily identifiable as being wrong. This paper studies how a large existing set of manually created answers and distractors for questions over a variety of domains, subjects, and languages can be leveraged to help teachers in creating new MCQs, by the smart reuse of existing distractors. We built several data-driven models based on context-aware question and distractor representations, and compared them with static feature-based models. The proposed models are evaluated with automated metrics and in a realistic user test with teachers. Both automatic and human evaluations indicate that context-aware models consistently outperform a static feature-based approach. For our best-performing context-aware model, on average 3 distractors out of the 10 shown to teachers were rated as high-quality distractors. We create a performance benchmark, and make it public, to enable comparison between different approaches and to introduce a more standardized evaluation of the task. The benchmark contains a test of 298 educational questions covering multiple subjects & languages and a 77k multilingual pool of distractor vocabulary for future research.

Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies, either at the image or the feature level, improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e. the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing memory requirements, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection, and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.Project page: https://europe.naverlabs.com/mochi 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

受到计算机视觉的自我监督学习的最新进展的启发，在本文中，我们介绍了Delores，这是一种新的通用音频表示方法。我们的主要目标是使我们的网络学习在资源受限的设置（数据和计算）中，可以很好地跨越各种下游任务。受Barlow Twins目标功能的启发，我们建议学习对输入音频样本失真不变的嵌入，同时确保它们包含有关样本的非冗余信息。为此，我们测量了两个相同的网络的输出之间的互相关矩阵，该网络用从音频文件采样的音频段的变形版本中，使其尽可能接近身份矩阵。我们将大规模音频集数据集和FSD50K的一小部分组合用于自学学习，并且与最先进的算法相比，参数的一半不到一半。为了进行评估，我们将这些学习的表示形式转移到9个下游分类任务，包括语音，音乐和动物声音，并在不同的评估设置下显示竞争结果。除了简单明了，我们的预训练算法还可以通过其固有的构造本质来计算，并且不需要仔细的实施细节以避免琐碎或退化的解决方案。此外，我们对结果进行消融研究，并使我们的所有代码和预培训模型公开可用https://github.com/speech-lab-iitm/delores。

最近的成功表明，可以通过文本提示来操纵图像，例如，在雨天的晴天，在雨天中被操纵到同一场景中，这是由文本输入“下雨”驱动的雨天。这些方法经常利用基于样式的图像生成器，该生成器利用多模式（文本和图像）嵌入空间。但是，我们观察到，这种文本输入通常在提供和综合丰富的语义提示时被瓶颈瓶颈，例如将大雨与雨雨区分开。为了解决这个问题，我们主张利用另一种方式，声音，在图像操纵中具有显着优势，因为它可以传达出比文本更多样化的语义提示（生动的情感或自然世界的动态表达）。在本文中，我们提出了一种新颖的方法，该方法首先使用声音扩展了图像文本接头嵌入空间，并应用了一种直接的潜在优化方法来根据音频输入（例如雨的声音）操纵给定的图像。我们的广泛实验表明，我们的声音引导的图像操纵方法在语义和视觉上比最先进的文本和声音引导的图像操纵方法产生更合理的操作结果，这通过我们的人类评估进一步证实。我们的下游任务评估还表明，我们学到的图像文本单嵌入空间有效地编码声音输入。

最先进的说话者验证系统本质上取决于某种人类监督，因为它们接受了大量标记数据的培训。但是，手动注释的话语缓慢，昂贵，无法扩展到当今可用的数据量。在这项研究中，我们通过直接从原始音频中学习表征来探索说话者验证的自我监督学习。目的是生成具有较小的言论扬声器和较大言论扬声器差异的稳健扬声器嵌入。我们的方法基于最新信息最大化学习框架和密集的数据增强预处理步骤。我们在表明它们与对比度损失相结合之前表明它们实现更好的性能之前，评估了这些方法在没有对比样本的情况下工作的能力。此外，我们进行实验表明，与现有技术相比，我们的方法达到了竞争成果，并且在用一小部分标记数据进行微调时，与监督基线相比，可以获得更好的性能。

最近，对抗机器学习攻击对实用音频信号分类系统构成了严重的安全威胁，包括语音识别，说话者识别和音乐版权检测。先前的研究主要集中在确保通过在原始信号上产生类似小噪声的扰动来攻击音频信号分类器的有效性。目前尚不清楚攻击者是否能够创建音频信号扰动，除了其攻击效果外，人类还可以很好地看待。这对于音乐信号尤其重要，因为它们经过精心制作，具有可让人的音频特征。在这项工作中，我们将对音乐信号的对抗性攻击作为一种新的感知攻击框架，将人类研究纳入对抗性攻击设计中。具体而言，我们进行了一项人类研究，以量化人类对音乐信号的变化的看法。我们邀请人类参与者根据对原始和扰动的音乐信号对进行评分，并通过回归分析对人类感知过程进行反向工程，以预测给定信号的人类感知的偏差。然后将感知感知的攻击作为优化问题提出，该问题找到了最佳的扰动信号，以最大程度地减少对回归人类感知模型的感知偏差的预测。我们使用感知感知的框架来设计对YouTube版权探测器的现实对抗音乐攻击。实验表明，感知意识攻击会产生对抗性音乐的感知质量明显优于先前的工作。

传统上，音乐标记和基于内容的检索系统是使用预定的本体论构建的，涵盖了一组刚性的音乐属性或文本查询。本文介绍了Mulan：首次尝试新一代的声学模型，这些模型将音乐音频直接与无约束的自然语言描述联系起来。Mulan采用了两座联合音频文本嵌入模型的形式，该模型使用4400万张音乐录音（37万小时）和弱相关的自由形式文本注释训练。通过与广泛的音乐流派和文本样式（包括传统的音乐标签）的兼容性，由此产生的音频文本表示形式涵盖了现有的本体论，同时又毕业至真正的零击功能。我们通过一系列实验演示了Mulan嵌入的多功能性，包括转移学习，零照片标记，音乐域中的语言理解以及跨模式检索应用程序。

Sunquakes are seismic emissions visible on the solar surface, associated with some solar flares. Although discovered in 1998, they have only recently become a more commonly detected phenomenon. Despite the availability of several manual detection guidelines, to our knowledge, the astrophysical data produced for sunquakes is new to the field of Machine Learning. Detecting sunquakes is a daunting task for human operators and this work aims to ease and, if possible, to improve their detection. Thus, we introduce a dataset constructed from acoustic egression-power maps of solar active regions obtained for Solar Cycles 23 and 24 using the holography method. We then present a pedagogical approach to the application of machine learning representation methods for sunquake detection using AutoEncoders, Contrastive Learning, Object Detection and recurrent techniques, which we enhance by introducing several custom domain-specific data augmentation transformations. We address the main challenges of the automated sunquake detection task, namely the very high noise patterns in and outside the active region shadow and the extreme class imbalance given by the limited number of frames that present sunquake signatures. With our trained models, we find temporal and spatial locations of peculiar acoustic emission and qualitatively associate them to eruptive and high energy emission. While noting that these models are still in a prototype stage and there is much room for improvement in metrics and bias levels, we hypothesize that their agreement on example use cases has the potential to enable detection of weak solar acoustic manifestations.

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

宽带音频波形评估网络（Wawenets）是直接在宽带音频波形上运行的卷积神经网络，以便对这些波形进行评估。在目前的工作中，这些评估赋予了电信语音的素质（例如嘈杂，清晰度，整体语音质量）。 Wawenets是无引用网络，因为它们不需要他们评估的波形的``参考''（原始或未经证实的）版本。我们最初的Wawenet出版物引入了四个Wawenets，并模拟了已建立的全参考语音质量或清晰度估计算法的输出。我们已经更新了Wawenet架构，以提高效率和有效性。在这里，我们提出了一个密切跟踪七个不同质量和可理解性值的单一Wawenet。我们创建了第二个网络，该网络还跟踪四个主观语音质量维度。我们提供第三个网络，专注于公正的质量分数并达到很高的共识。这项工作用13种语言利用了334小时的演讲，超过200万个全参考目标值和超过93,000个主观意见分数。我们还解释了Wawenets的操作，并使用信号处理的语言确定其操作的关键：Relus从战略上将光谱信息从非DC组件移动到DC组件中。 96输出信号的直流值在96-D潜在空间中定义了一个向量，然后将该向量映射到输入波形的质量或清晰度值。

近年来，通过深层生成模型，音频合成的进展很大。但是，最新的很难量化。在报告结果时，不同的研究通常使用不同的评估方法和不同的指标，从而直接与其他系统进行比较，即使不是不可能。此外，在大多数情况下，报告指标的感知相关性和含义都未知，禁止对实际的可用性和音频质量的任何结论性见解。本文介绍了一项研究，该研究与（i）一组先前提出的用于音频重建的客观指标以及（ii）一项听力研究，研究了最先进的方法。结果表明，当前使用的客观指标不足以描述当前系统的感知质量。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

最近的对比方法显着改善了几个域的自我监督学习。特别地，对比方法是最有效的，其中数据增强可以容易地构造。在计算机愿景中。但是，在没有建立的数据变换（如时间序列数据）的情况下，它们在域中不太成功。在本文中，我们提出了一种新颖的自我监督学习框架，将对比学习与神经过程结合起来。它依赖于神经过程的最近进步来执行时间序列预测。这允许通过采用一组各种采样功能来生成增强版本的数据，并且因此避免手动设计增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以便在自我监督设置中学习时序序列表示。因此，与以前的自我监督方法不同，我们的增强管道是任务不可行的，使我们的方法能够在各种应用程序中执行良好。特别是，具有使用我们的方法训练的线性分类器的RESET能够跨越工业，医疗和音频数据集的最先进的技术，从而提高ECG定期数据的精度超过10％。我们进一步证明，我们的自我监督的表示在潜在的空间中更有效，改善了多种聚类指标，并且在10％的标签上进行微调我们的方法实现了完全监督的竞争竞争。