自我监督学习的共同研究目标是提取一般表示，任意下游任务将受益。在这项工作中，我们调查了从不同的对比度自学学习方案中学到的音乐音频表示形式，并在各种音乐信息检索（MIR）任务上对嵌入式矢量进行了经验评估，在这些任务中，音乐感知的不同级别。我们分析结果，以讨论针对不同MIR任务的对比度学习策略的正确方向。我们表明，这些表示形式传达了有关音乐一般的听觉特征的全面信息，尽管每种自学策略在信息的某些方面都有其自身的有效性。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

作为人类已知的最直观的界面之一，自然语言有可能调解许多涉及人类计算机互动的任务，尤其是在音乐信息检索等以应用程序为中心的领域。在这项工作中，我们探索了跨模式学习，以试图在音乐领域弥合音频和语言。为此，我们提出了Muscall，这是音乐对比的音频学习框架。我们的方法由双重编码架构组成，该体系结构了解音乐音频和描述性句子对之间的对齐方式，生成可用于文本到原告和音频到文本检索的多模式嵌入。多亏了这个属性，肌肉几乎可以转移到任何可以作为基于文本检索的任务转移到任何任务。我们的实验表明，我们的方法在检索音频时的性能要比基线要好得多，该音频与文本描述匹配，相反，与音频查询匹配的文本。我们还证明，我们的模型的多模式对齐能力可以成功扩展到零摄像转移方案，用于流派分类和在两个公共数据集上自动标记。

音乐信息检索的音频表示通常通过以特定于任务的方式通过监督学习来学习。虽然有效地产生最先进的结果，但该方案对于模型可以具有并且需要广泛的注释数据集的应用范围缺乏灵活性。在这项工作中，我们构成了是否可以利用弱对齐文本作为唯一用于学习通用音频音频表示的监督信号的问题。为了解决这个问题，我们设计了通过一组代理任务优化的音乐和语言预训练（Mulap）的多模式架构。弱监管以嘈杂的自然语言描述形式传达轨道的整体音乐纪念。在预训练之后，我们将模型的音频骨干转换为一组音乐音频分类和回归任务。我们通过比较通过不同培训策略产生的相同音频骨干声音产生的音频表示的性能并表明我们的预训练方法始终如一地实现所有任务和数据集所考虑的可比分数，因此证明了我们的方法。我们的实验还证实，Mulap有效利用音频标题对，以学习与文献中的音频和跨模型自我监督方法具有竞争力的表示。

自从几十年前的频谱分析开创性工作以来，已经研究了提取音频和语音特征的方法。最近的努力以开发通用音频表示的雄心为指导。例如，如果深度神经网络在大型音频数据集上进行了培训，则可以提取最佳的嵌入。这项工作扩展了基于自我监督的学习，通过引导，提出各种编码器体系结构，并探索使用不同的预训练数据集的效果。最后，我们提出了一个新颖的培训框架，以提出一个混合音频表示，该框架结合了手工制作和数据驱动的学习音频功能。在HEAR NEURIPS 2021挑战中，对听觉场景分类和时间戳检测任务进行了评估。我们的结果表明，在大多数听到挑战任务中，带有卷积变压器的混合模型都会产生卓越的性能。

注释音乐节拍在繁琐的过程中是很长的。为了打击这个问题，我们为节拍跟踪和下拍估算提出了一种新的自我监督的学习借口任务。这项任务利用SPLEETER，一个音频源分离模型，将歌曲的鼓从其其余的信号分开。第一组信号用作阳性，并通过延长否定，用于对比学习预培训。另一方面，鼓的信号用作锚点。使用此借口任务进行全卷积和复发模型时，学习了一个开始功能。在某些情况下，发现此功能被映射到歌曲中的周期元素。我们发现，当一个节拍跟踪训练集非常小（少于10个示例）时，预先训练的模型随机初始化模型表现优于随机初始化的模型。当不是这种情况时，预先训练导致了一个学习速度，导致模型过度训练集。更一般地说，这项工作定义了音乐自我监督学习领域的新观点。尤其是使用音频源分离作为自我监督的基本分量的作品之一。

While supervised learning has enabled great progress in many applications, unsupervised learning has not seen such widespread adoption, and remains an important and challenging endeavor for artificial intelligence. In this work, we propose a universal unsupervised learning approach to extract useful representations from high-dimensional data, which we call Contrastive Predictive Coding. The key insight of our model is to learn such representations by predicting the future in latent space by using powerful autoregressive models. We use a probabilistic contrastive loss which induces the latent space to capture information that is maximally useful to predict future samples. It also makes the model tractable by using negative sampling. While most prior work has focused on evaluating representations for a particular modality, we demonstrate that our approach is able to learn useful representations achieving strong performance on four distinct domains: speech, images, text and reinforcement learning in 3D environments.

由于标记数据稀缺，提高概括是音频分类中的主要挑战。自我监督的学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用功能来解决这一点。在这项工作中，我们提出了一个增强的对比SSL框架，以从未标记数据学习不变的表示。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学学习，以便在这种扰动中学习鲁棒性。Audioset和Desed数据集上的实验结果表明，我们的框架显着优于最先进的SSL和Sound / Event分类任务的监督学习方法。

自我监督的学习（SSL）语音模型在语音表示学习中取得了前所未有的成功，但是有关其表示能力的一些问题仍未得到答复。本文解决了其中的两个：（1）SSL语音模型可以处理非语音音频吗？ （2）不同的SSL语音模型会对音频功能的各个方面有洞察力吗？为了回答这两个问题，我们对丰富的语音和非语音音频数据集进行了广泛的实验，以评估当前最先进的SSL语音模型的表示能力，该模型是WAV2VEC 2.0和本文中的Hubert。这些实验是在2021年神经期间进行的，听到挑战作为竞争官员提供的标准评估管道。结果表明，（1）SSL语音模型可以提取各种非语音音频的有意义的功能，而它们也可能在某些类型的数据集上失败； （2）不同的SSL语音模型对音频功能的不同方面有洞察力。这两个结论为表示模型的合奏提供了基础。我们进一步提出了一个合奏框架，以融合语音表示模型的嵌入。我们的框架的表现优于最先进的SSL语音/音频模型，并且与Hear Challenge中的其他团队相比，在丰富的数据集上的性能总体上具有出色的性能。我们的代码可在https://github.com/tony101105/hear-2021-neurips-challenge- NTU-GURA获得。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

自从近年来，自我监督的方法已成为代表性学习的有前途的途径，因为它们减轻了对被标记的数据集的需求，这些数据集的需求稀缺又昂贵。对比方法是在音频域中自学的流行选择，通常通过强迫模型不变到输入的某些转换来提供学习信号。但是，这些方法需要采取诸如阴性采样或某种形式的正则化之类的措施，以防止模型在琐碎的溶液上崩溃。在这项工作中，我们建议使用均衡性作为一个自我判断信号，以从未标记的数据中学习音频节奏表示。我们得出一个简单的损耗函数，可防止网络在训练过程中崩溃，而无需任何形式的正则化或负抽样。我们的实验表明，可以通过仅依靠模棱两可的自学意义来学习有意义的速度估计表示，从而实现与几种基准上有监督的方法相当的性能。为了额外的好处，我们的方法仅需要适度的计算资源，因此，广泛的研究社区仍然可以使用。

自我监督的学习（SSL）从大量未标记的数据中学习知识，然后将知识转移到有限数量的标记数据的特定问题上。SSL在各个领域都取得了有希望的结果。这项工作解决了细分级通用音频SSL的问题，并提出了一个新的基于变压器的教师学生SSL模型，名为ATST。在最近出现的教师基线方案上开发了变压器编码器，该方案在很大程度上提高了预训练的建模能力。此外，旨在充分利用变压器的能力的新策略旨在充分利用。已经进行了广泛的实验，并且提出的模型几乎所有下游任务都实现了新的最新结果。

传统上，音乐标记和基于内容的检索系统是使用预定的本体论构建的，涵盖了一组刚性的音乐属性或文本查询。本文介绍了Mulan：首次尝试新一代的声学模型，这些模型将音乐音频直接与无约束的自然语言描述联系起来。Mulan采用了两座联合音频文本嵌入模型的形式，该模型使用4400万张音乐录音（37万小时）和弱相关的自由形式文本注释训练。通过与广泛的音乐流派和文本样式（包括传统的音乐标签）的兼容性，由此产生的音频文本表示形式涵盖了现有的本体论，同时又毕业至真正的零击功能。我们通过一系列实验演示了Mulan嵌入的多功能性，包括转移学习，零照片标记，音乐域中的语言理解以及跨模式检索应用程序。

最近的对比方法显着改善了几个域的自我监督学习。特别地，对比方法是最有效的，其中数据增强可以容易地构造。在计算机愿景中。但是，在没有建立的数据变换（如时间序列数据）的情况下，它们在域中不太成功。在本文中，我们提出了一种新颖的自我监督学习框架，将对比学习与神经过程结合起来。它依赖于神经过程的最近进步来执行时间序列预测。这允许通过采用一组各种采样功能来生成增强版本的数据，并且因此避免手动设计增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以便在自我监督设置中学习时序序列表示。因此，与以前的自我监督方法不同，我们的增强管道是任务不可行的，使我们的方法能够在各种应用程序中执行良好。特别是，具有使用我们的方法训练的线性分类器的RESET能够跨越工业，医疗和音频数据集的最先进的技术，从而提高ECG定期数据的精度超过10％。我们进一步证明，我们的自我监督的表示在潜在的空间中更有效，改善了多种聚类指标，并且在10％的标签上进行微调我们的方法实现了完全监督的竞争竞争。

受到计算机视觉的自我监督学习的最新进展的启发，在本文中，我们介绍了Delores，这是一种新的通用音频表示方法。我们的主要目标是使我们的网络学习在资源受限的设置（数据和计算）中，可以很好地跨越各种下游任务。受Barlow Twins目标功能的启发，我们建议学习对输入音频样本失真不变的嵌入，同时确保它们包含有关样本的非冗余信息。为此，我们测量了两个相同的网络的输出之间的互相关矩阵，该网络用从音频文件采样的音频段的变形版本中，使其尽可能接近身份矩阵。我们将大规模音频集数据集和FSD50K的一小部分组合用于自学学习，并且与最先进的算法相比，参数的一半不到一半。为了进行评估，我们将这些学习的表示形式转移到9个下游分类任务，包括语音，音乐和动物声音，并在不同的评估设置下显示竞争结果。除了简单明了，我们的预训练算法还可以通过其固有的构造本质来计算，并且不需要仔细的实施细节以避免琐碎或退化的解决方案。此外，我们对结果进行消融研究，并使我们的所有代码和预培训模型公开可用https://github.com/speech-lab-iitm/delores。

从未标记数据的代表学习一直是对人工智能研究的重大兴趣。虽然自我监督的言语代表学习在语音研究界受欢迎，但很少有效地对非语音音频任务进行了全面分析了音频表示学习。在本文中，我们提出了一种自我监督的音频表示学习方法，并将其应用于各种下游非语音音频任务。我们将众所周知的Wav2Vec 2.0框架结合起来，这在用于语音任务的自我监督学习中取得了成功，具有参数效率的构装体系结构。我们的自我监督的预培训可以减少三分之二的标记数据的需求。在Audioset基准测试中，我们达到平均平均精度（地图）得分为0.415，这是通过仅限音频自我监督的学习在此数据集上的新型最先进的。我们的微调符合子也超越了在几个下游任务上以监督方式预先培训的先前系统的性能。我们进一步讨论了预先培训和微调的重要设计考虑因素。

在本文中，我们提出了自我监督的发言者表示学习策略，该策略包括在前端的引导平衡扬声器表示学习和在后端的不确定性意识的概率扬声器嵌入训练。在前端阶段，我们通过具有均匀性正则化术语的引导训练方案来学习扬声器表示。在后端阶段，通过最大化属于同一扬声器的语音样本之间的相互似然分数来估计概率扬声器嵌入，这不仅提供扬声器表示，而且提供数据不确定性。实验结果表明，拟议的举止均衡训练策略可以有效地帮助了解扬声器表示，并以基于对比学习的传统方法优越。此外，我们展示了集成的两级框架在eer和mindcf方面进一步改善了VoxceleB1测试中的扬声器验证性能。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

最先进的说话者验证系统本质上取决于某种人类监督，因为它们接受了大量标记数据的培训。但是，手动注释的话语缓慢，昂贵，无法扩展到当今可用的数据量。在这项研究中，我们通过直接从原始音频中学习表征来探索说话者验证的自我监督学习。目的是生成具有较小的言论扬声器和较大言论扬声器差异的稳健扬声器嵌入。我们的方法基于最新信息最大化学习框架和密集的数据增强预处理步骤。我们在表明它们与对比度损失相结合之前表明它们实现更好的性能之前，评估了这些方法在没有对比样本的情况下工作的能力。此外，我们进行实验表明，与现有技术相比，我们的方法达到了竞争成果，并且在用一小部分标记数据进行微调时，与监督基线相比，可以获得更好的性能。

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.