在最近的研究中，自我监管的预训练模型倾向于在转移学习中优于监督的预训练模型。特别是，可以在语音应用中使用语音级语音表示的自我监督学习（SSL），这些语音应用需要歧视性表示话语中一致属性的表示：说话者，语言，情感和年龄。现有的框架级别的自我监督语音表示，例如WAV2VEC，可以用作带有汇总的话语级表示，但这些模型通常很大。也有SSL技术可以学习话语级的表示。最成功的方法之一是一种对比方法，它需要负采样：选择替代样品与当前样品（锚）对比。但是，这并不确保所有负面样本属于与没有标签的锚类别不同的​​类别。本文应用了一种非对抗性的自我监督方法来学习话语级的嵌入。我们对没有标签（Dino）从计算机视觉到语音进行了调整，没有标签（Dino）。与对比方法不同，Dino不需要负抽样。我们将Dino与受到监督方式训练的X-Vector进行了比较。当转移到下游任务（说话者验证，语音情绪识别（SER）和阿尔茨海默氏病检测）时，Dino的表现优于X-Vector。我们研究了转移学习过程中几个方面的影响，例如将微调过程分为步骤，块长度或增强。在微调过程中，首先调整最后一个仿射层，然后整个网络一次超过微调。使用较短的块长度，尽管它们产生了更多不同的输入，但并不一定会提高性能，这意味着至少需要具有特定长度的语音段才能为每个应用程序提高性能。增强对SER有帮助。

考虑到大量未标记的语音数据和高标签成本，无监督的学习方法对于更好的系统开发至关重要。最成功的方法之一是对比度的自我监督方法，这些方法需要负采样：采样替代样品与当前样品（锚）对比。但是，很难确保所有负样本属于与没有标签的锚类别不同的​​类别。本文在未标记的语音语料库上应用了一种非对抗性的自我监督学习方法来学习话语级的嵌入。我们使用没有标签的蒸馏（Dino），在计算机视觉中提出，并将其改编为语音域。与对比度方法不同，Dino不需要负采样。这些嵌入是根据说话者验证和情感识别评估的。在说话者验证中，无监督的恐龙与余弦评分嵌入了voxceleb1测试试验中的4.38％EER。这表现优于最佳的对比度自我监督方法，而EER中的相对相对40％。不需要扬声器标签的迭代伪标记训练管道将EER进一步提高到1.89％。在情感识别中，Iemocap，Crema-D和MSP播客的Micro-F1得分分别进行了60.87、79.21和56.98％的恐龙。结果暗示着恐龙嵌入到不同语音应用中的普遍性。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

本文介绍了Speakin团队提交的SPEAKER验证（SV）系统，该系统针对2022年远场演讲者验证挑战（FFSVC2022）的任务2和任务2。挑战的SV任务集中在完全监督的远场演讲者验证（任务1）和半监督远场扬声器验证（任务2）的问题上。在任务1中，我们将Voxceleb和FFSVC2020数据集用作火车数据集。对于任务2，我们仅将Voxceleb数据集用作火车集。为此挑战开发了基于重新连接和基于REPVGG的架构。全局统计池结构和MQMHA池结构用于跨时间汇总框架级特征，以获得语音级别的表示。我们采用了Am-Softmax和Aam-Softmax来对产生的嵌入进行分类。我们创新提出了一种分阶段的转移学习方法。在训练阶段，我们保留扬声器的权重，并且在此阶段没有积极的样本来训练它们。然后，我们在第二阶段用正面和负样品微调这些权重。与传统的转移学习策略相比，该策略可以更好地改善模型性能。亚均值和标志的后端方法用于解决域不匹配的问题。在融合阶段，任务1中融合了三个模型，并在任务2中融合了两个模型。在FFSVC2022排行榜上，我们提交的EER为3.0049％，在Task1中，相应的MindCF为0.2938。在任务2中，EER和MindCF分别为6.2060％和0.5232。我们的方法可以提高表现出色，并在两项挑战任务中排名第一。

在本文中，我们提出了自我监督的发言者表示学习策略，该策略包括在前端的引导平衡扬声器表示学习和在后端的不确定性意识的概率扬声器嵌入训练。在前端阶段，我们通过具有均匀性正则化术语的引导训练方案来学习扬声器表示。在后端阶段，通过最大化属于同一扬声器的语音样本之间的相互似然分数来估计概率扬声器嵌入，这不仅提供扬声器表示，而且提供数据不确定性。实验结果表明，拟议的举止均衡训练策略可以有效地帮助了解扬声器表示，并以基于对比学习的传统方法优越。此外，我们展示了集成的两级框架在eer和mindcf方面进一步改善了VoxceleB1测试中的扬声器验证性能。

最先进的说话者验证系统本质上取决于某种人类监督，因为它们接受了大量标记数据的培训。但是，手动注释的话语缓慢，昂贵，无法扩展到当今可用的数据量。在这项研究中，我们通过直接从原始音频中学习表征来探索说话者验证的自我监督学习。目的是生成具有较小的言论扬声器和较大言论扬声器差异的稳健扬声器嵌入。我们的方法基于最新信息最大化学习框架和密集的数据增强预处理步骤。我们在表明它们与对比度损失相结合之前表明它们实现更好的性能之前，评估了这些方法在没有对比样本的情况下工作的能力。此外，我们进行实验表明，与现有技术相比，我们的方法达到了竞争成果，并且在用一小部分标记数据进行微调时，与监督基线相比，可以获得更好的性能。

在这份技术报告中，我们描述了Voxceleb演讲者识别挑战2022（VOXSRC-22）的Royalflush提交。我们的提交内容包含曲目1，该曲目1用于监督的说话者验证和曲目3，该曲目适用于半监督者验证。对于轨道1，我们开发了具有对称体系结构的功能强大的基于U-NET的扬声器嵌入提取器。拟议的系统在验证集上获得了EER的2.06％，在MindCF中获得了0.1293。与最先进的ECAPA-TDNN相比，它在EER中获得了20.7％的相对提高，而MindCF的相对提高了22.70％。对于轨道3，我们采用了源域监督和目标域自学的联合培训，以获取扬声器嵌入提取器。随后的聚类过程可以获得目标域伪扬声器标签。我们使用所有源和目标域数据以有监督的方式适应说话者嵌入提取器，从而可以充分利用这两个域信息。此外，可以重复聚类和监督域的适应性，直到验证集对性能收敛为止。我们的最终提交是融合了10种型号，并在验证集上实现了7.75％EER和0.3517 MindCF。

最近深入学习的突破往往依靠代表学习和知识转移。近年来，开发了用于培养自动语音识别的无监督和自我监督的学习讲话技巧。迄今为止，大多数方法是特定于任务的，并且在特定任务的不同数据集或设置之间进行任务传输学习。反过来，学习任务 - 独立于转移学习的语音和交叉任务应用的代表仍然不那么常见。在这里，我们介绍了一个编码器捕获词级表示的跨任务传输学习。我们展示了预先训练的编码器在四个不同的语音和音频处理任务中的应用：（i）语音增强，（ii）语言识别，（iii）语音，噪声和音乐分类，和（iv）扬声器识别。在每项任务中，我们将跨任务转移学习方法的表现进行比较，以完成任务特定的基准。我们的结果表明，编码器通过预训练捕获的语音表示可在不同的语音处理任务和数据集中可转换。值得注意的是，即使是我们预先训练的编码器的简单应用也优于任务特定的方法，或者取决于任务。

我们总结了使用巨大的自动语音识别（ASR）模型的大量努力的结果，该模型使用包含大约一百万小时音频的大型，多样的未标记数据集进行了预训练。我们发现，即使对于拥有数万个小时的标记数据的非常大的任务，预训练，自我培训和扩大模型大小的组合也大大提高了数据效率。特别是，在具有34K小时标记数据的ASR任务上，通过微调80亿个参数预先训练的构象异构体模型，我们可以匹配最先进的（SOTA）性能（SOTA）的性能，只有3％的培训数据和通过完整的训练集可以显着改善SOTA。我们还报告了从使用大型预训练和自我训练的模型来完成一系列下游任务所获得的普遍利益，这些任务涵盖了广泛的语音域，并涵盖了多个数据集大小的大小，包括在许多人中获得SOTA性能公共基准。此外，我们利用预先训练的网络的学会表示，在非ASR任务上实现SOTA结果。

受到计算机视觉的自我监督学习的最新进展的启发，在本文中，我们介绍了Delores，这是一种新的通用音频表示方法。我们的主要目标是使我们的网络学习在资源受限的设置（数据和计算）中，可以很好地跨越各种下游任务。受Barlow Twins目标功能的启发，我们建议学习对输入音频样本失真不变的嵌入，同时确保它们包含有关样本的非冗余信息。为此，我们测量了两个相同的网络的输出之间的互相关矩阵，该网络用从音频文件采样的音频段的变形版本中，使其尽可能接近身份矩阵。我们将大规模音频集数据集和FSD50K的一小部分组合用于自学学习，并且与最先进的算法相比，参数的一半不到一半。为了进行评估，我们将这些学习的表示形式转移到9个下游分类任务，包括语音，音乐和动物声音，并在不同的评估设置下显示竞争结果。除了简单明了，我们的预训练算法还可以通过其固有的构造本质来计算，并且不需要仔细的实施细节以避免琐碎或退化的解决方案。此外，我们对结果进行消融研究，并使我们的所有代码和预培训模型公开可用https://github.com/speech-lab-iitm/delores。

这项工作旨在自动评估儿童的语言发展是否适合年龄。经过验证的语音和语言测试用于此目的测试听觉记忆。在这项工作中，任务是确定是否正确说出了口语非单词。我们比较有动机来建模特定语言结构的不同方法：低水平特征（FFT），扬声器嵌入（ECAPA-TDNN），素化 - 动机的嵌入（WAV2VEC 2.0）和语音嵌入Senones（ASR ASR ACOSTIC模型）形式。每种方法都提供了类似VGG的5层CNN分类器的输入。我们还检查了每个非单词的适应性。使用来自口头非单词的不同幼儿园的录音进行了对拟议系统的评估。 ECAPA-TDNN和低级FFT特征不会明确模型语音信息； WAV2VEC2.0经过素数标签训练，我们的ASR声学模型包含（子）语音信息。我们发现，语音建模越颗粒状，达到的识别率就越高。在ASR声学模型特征上训练的最佳系统的精度为89.4％，在ROC（接收器操作特征）曲线（AUC）下的面积为0.923。与FFT-BASELINE相比，这对应于20.2％和AUC相对0.309的改善。

没有发言者标签的培训扬声器 - 识别和强大的发言者验证系统仍然挑战和值得探索。在这项研究中，我们提出了一种有效的自我监督的学习框架和一种新的正规化策略，以促进自我监督的发言者代表学习。不同于基于对比的自我监督的学习方法，所提出的自我监督正则化（SSREG）专注于正数据对潜在的潜在表示之间的相似性。我们还探讨了替代在线数据增强策略对时域和频域的有效性。凭借我们强大的在线数据增强策略，所提出的SSREG显示了自我监督学习的潜力，而不使用负对对，它可以显着提高自我监督扬声器表示学习与简单的暹罗网络架构的表现。 VOXECEB数据集的综合实验表明，我们提出的自我监督方法通过增加有效的自我监督正则化和胜过其他以前的作品来获得23.4％的相对改善。

本文调查了视听扬声器表示的自我监督的预训练，其中显示了视觉流，显示说话者的口腔区域与语音一起用作输入。我们的研究重点是视听隐藏单元BERT（AV-HUBERT）方法，该方法是最近开发的通用音频语音训练前训练框架。我们进行了广泛的实验，以探测预训练和视觉方式的有效性。实验结果表明，AV-Hubert可以很好地概括与说话者相关的下游任务，从而使标签效率提高了大约10倍的仅10倍，仅音频和视听扬声器验证。我们还表明，结合视觉信息，甚至仅仅是唇部区域，都大大提高了性能和噪声稳健性，在清洁条件下将EER降低了38％，在嘈杂的条件下将EER降低了75％。

我们提出了Parse，这是一种新颖的半监督结构，用于学习强大的脑电图表现以进行情感识别。为了减少大量未标记数据与标记数据有限的潜在分布不匹配，Parse使用成对表示对准。首先，我们的模型执行数据增强，然后标签猜测大量原始和增强的未标记数据。然后将其锐化的标签和标记数据的凸组合锐化。最后，进行表示对准和情感分类。为了严格测试我们的模型，我们将解析与我们实施并适应脑电图学习的几种最先进的半监督方法进行了比较。我们对四个基于公共EEG的情绪识别数据集，种子，种子IV，种子V和Amigos（价和唤醒）进行这些实验。该实验表明，我们提出的框架在种子，种子-IV和Amigos（Valence）中的标记样品有限的情况下，取得了总体最佳效果，同时接近种子V和Amigos中的总体最佳结果（达到第二好） （唤醒）。分析表明，我们的成对表示对齐方式通过减少未标记数据和标记数据之间的分布比对来大大提高性能，尤其是当每类仅1个样本被标记时。

在本文中，我们描述了RTZR团队Voxceleb扬声器识别挑战2022（VOXSRC-22）的最高得分提交，在封闭的数据集中，扬声器验证轨道1.最高执行的系统是7型型号的融合，其中包含3种不同类型的类型模型体系结构。我们专注于培训模型以学习周期性信息。因此，所有型号均以4-6秒的镜头训练，每次发言。此外，我们采用了较大的保证金微调策略，该策略在我们的某些融合模型的先前挑战上表现出良好的表现。在评估过程中，我们应用了具有自适应对称归一化（AS-NORM）和矩阵得分平均值（MSA）的评分方法。最后，我们将模型与逻辑回归混合在一起，以融合所有受过训练的模型。最终提交在VOXSRC22测试集上实现了0.165 DCF和2.912％EER。

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

Self-supervised approaches for speech representation learning are challenged by three unique problems: (1) there are multiple sound units in each input utterance, (2) there is no lexicon of input sound units during the pre-training phase, and (3) sound units have variable lengths with no explicit segmentation. To deal with these three problems, we propose the Hidden-Unit BERT (HuBERT) approach for self-supervised speech representation learning, which utilizes an offline clustering step to provide aligned target labels for a BERT-like prediction loss. A key ingredient of our approach is applying the prediction loss over the masked regions only, which forces the model to learn a combined acoustic and language model over the continuous inputs. HuBERT relies primarily on the consistency of the unsupervised clustering step rather than the intrinsic quality of the assigned cluster labels. Starting with a simple k-means teacher of 100 clusters, and using two iterations of clustering, the HuBERT model either matches or improves upon the state-ofthe-art wav2vec 2.0 performance on the Librispeech (960h) and Libri-light (60,000h) benchmarks with 10min, 1h, 10h, 100h, and 960h fine-tuning subsets. Using a 1B parameter model, HuBERT shows up to 19% and 13% relative WER reduction on the more challenging dev-other and test-other evaluation subsets. 1

自我监督的语音表示，如Wav2Vec 2.0和Hubert正在自动语音识别（ASR）中进行革命性进展。但是，未经监督模型没有完全证明在ASR以外的任务中产生更好的性能。在这项工作中，我们探索了Wav2Vec 2.0和Hubert预先训练模型的部分微调和整个微调，适用于三个非ASR语音任务：语音情感识别，发言者验证和口语理解。我们还比较带有/没有ASR微调的预训练型号。通过简单的下游框架，最佳分数对IEMocap上的语音情感识别的加权精度达到79.58％，扬声器验证对voxcereB1的2.36％，意图分类的准确性为87.51％，Slotp的槽填充的75.32％f1，因此为这三个基准设置新的最先进，证明了微调Wave2VEC 2.0和Hubert模型可以更好地学习韵律，语音印刷和语义表示。

最近，蒙面的预测预训练在自我监督的学习（SSL）方面取得了显着的进展，以进行语音识别。它通常需要以无监督的方式获得的代码簿，从而使其准确和难以解释。我们提出了两种监督指导的代码书生成方法，以提高自动语音识别（ASR）的性能以及预训练效率，要么通过使用混合ASR系统来解码以生成音素级别对准（命名为PBERT），要么通过在上进行集群进行聚类。从端到端CTC模型（命名CTC聚类）提取的监督语音功能。混合动力和CTC模型均经过与微调相同的少量标记语音训练。实验表明，我们的方法对各种SSL和自我训练基准的优势具有显着优势，相对减少了17.0％。我们的预训练模型在非ASR语音任务中还显示出良好的可传递性。