自我监督的学习（SSL）在各种与语音有关的下游任务（包括自动语音识别（ASR））中表现出巨大的成功。 SSL模型的输出嵌入被视为语音信号的强大短期表示。但是，在ASR任务中，主要目标是获得正确的声学单元，字符或字节对编码（BPE）的正确顺序。通常，对于ASR等序列到序列任务，编码器解码器架构非常出色。因此，在本文中，我们提出了一个新的范式，该范式在自学学习过程中利用解码器的力量。我们使用隐藏的单位Bert（Hubert）SSL框架来计算编码器的常规掩蔽预测损失。此外，我们在SSL框架中引入了解码器，并为解码器提出了目标准备策略。最后，我们使用多任务SSL设置，其中我们共同优化编码器和解码器损耗。我们假设SSL模型中的解码器的存在有助于它学习基于声学单元的语言模型，这可能会改善ASR下游任务的性能。我们将我们提出的SSL模型与Hubert进行了比较，并通过对各种LibrisPeech子集进行填充，在ASR上的性能相对相对提高了25％。

已经证明，基于自我监督的学习（SSL）模型可以生成强大的表示，可用于改善下游语音任务的性能。可以使用几种最先进的SSL模型，并且这些模型中的每一个都优化了不同的损失，这会导致其功能互补的可能性。本文提出了使用此类SSL表示和模型的集合，该集合利用了各种预审预周化模型提取的特征的互补性质。我们假设这导致了更丰富的特征表示，并显示了ASR下游任务的结果。为此，我们使用了三个SSL模型，这些模型在ASR任务上显示出了出色的结果，即Hubert，Wav2Vec2.0和小波。我们使用从预训练的模型获得下游ASR任务的嵌入方式来探索用于ASR任务的模型集合和功能集合。我们使用LiblisPeech（100H）和WSJ数据集的单个模型和预训练的功能获得了改进的性能，用于下游任务。

学习高级语音表征的自学学习（SSL）一直是在低资源环境中构建自动语音识别（ASR）系统的一种流行方法。但是，文献中提出的共同假设是，可以使用可用于SSL预训练的相同域或语言的大量未标记数据，我们承认，在现实世界中，这是不可行的。在本文中，作为Interspeech Gram Vaani ASR挑战的一部分，我们尝试研究域，语言，数据集大小和上游训练SSL数据对最终性能下游ASR任务的效果。我们还建立在持续的训练范式的基础上，以研究使用SSL训练的模型所拥有的先验知识的效果。广泛的实验和研究表明，ASR系统的性能易受用于SSL预训练的数据。它们的性能随着相似性和预训练数据量的增加而提高。我们认为，我们的工作将有助于语音社区在低资源环境中建立更好的ASR系统，并引导研究改善基于SSL的语音系统预培训的概括。

本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。

最近，先驱工作发现，演讲预训练模型可以解决全堆栈语音处理任务，因为该模型利用底层学习扬声器相关信息和顶层以编码与内容相关的信息。由于网络容量有限，我们认为如果模型专用于音频内容信息学习，则可以进一步提高语音识别性能。为此，我们向自我监督学习（ILS-SSL）提出中间层监督，这将模型通过在中间层上添加额外的SSL丢失来尽可能地专注于内容信息。 LibrisPeech测试 - 其他集合的实验表明，我们的方法显着优于Hubert，这实现了基数/大型模型的W / O语言模型设置的相对字错误率降低了23.5％/ 11.6％。详细分析显示我们模型的底层与拼音单元具有更好的相关性，这与我们的直觉一致，并解释了我们对ASR的方法的成功。

最近，蒙面的预测预训练在自我监督的学习（SSL）方面取得了显着的进展，以进行语音识别。它通常需要以无监督的方式获得的代码簿，从而使其准确和难以解释。我们提出了两种监督指导的代码书生成方法，以提高自动语音识别（ASR）的性能以及预训练效率，要么通过使用混合ASR系统来解码以生成音素级别对准（命名为PBERT），要么通过在上进行集群进行聚类。从端到端CTC模型（命名CTC聚类）提取的监督语音功能。混合动力和CTC模型均经过与微调相同的少量标记语音训练。实验表明，我们的方法对各种SSL和自我训练基准的优势具有显着优势，相对减少了17.0％。我们的预训练模型在非ASR语音任务中还显示出良好的可传递性。

In this paper, we propose a novel multi-modal multi-task encoder-decoder pre-training framework (MMSpeech) for Mandarin automatic speech recognition (ASR), which employs both unlabeled speech and text data. The main difficulty in speech-text joint pre-training comes from the significant difference between speech and text modalities, especially for Mandarin speech and text. Unlike English and other languages with an alphabetic writing system, Mandarin uses an ideographic writing system where character and sound are not tightly mapped to one another. Therefore, we propose to introduce the phoneme modality into pre-training, which can help capture modality-invariant information between Mandarin speech and text. Specifically, we employ a multi-task learning framework including five self-supervised and supervised tasks with speech and text data. For end-to-end pre-training, we introduce self-supervised speech-to-pseudo-codes (S2C) and phoneme-to-text (P2T) tasks utilizing unlabeled speech and text data, where speech-pseudo-codes pairs and phoneme-text pairs are a supplement to the supervised speech-text pairs. To train the encoder to learn better speech representation, we introduce self-supervised masked speech prediction (MSP) and supervised phoneme prediction (PP) tasks to learn to map speech into phonemes. Besides, we directly add the downstream supervised speech-to-text (S2T) task into the pre-training process, which can further improve the pre-training performance and achieve better recognition results even without fine-tuning. Experiments on AISHELL-1 show that our proposed method achieves state-of-the-art performance, with a more than 40% relative improvement compared with other pre-training methods.

Self-supervised learning via masked prediction pre-training (MPPT) has shown impressive performance on a range of speech-processing tasks. This paper proposes a method to bias self-supervised learning towards a specific task. The core idea is to slightly finetune the model that is used to obtain the target sequence. This leads to better performance and a substantial increase in training speed. Furthermore, this paper proposes a variant of MPPT that allows low-footprint streaming models to be trained effectively by computing the MPPT loss on masked and unmasked frames. These approaches are evaluated for automatic speech recognition on the Librispeech corpus, where 100 hours of data served as the labelled data and 860 hours as the unlabelled data. The biased training outperforms the unbiased training by 15.5% after 250k updates and 23.8% after 100k updates on test-other. For the streaming models, the pre-training approach yields a reduction in word error rate of 44.1%.

Self-supervised approaches for speech representation learning are challenged by three unique problems: (1) there are multiple sound units in each input utterance, (2) there is no lexicon of input sound units during the pre-training phase, and (3) sound units have variable lengths with no explicit segmentation. To deal with these three problems, we propose the Hidden-Unit BERT (HuBERT) approach for self-supervised speech representation learning, which utilizes an offline clustering step to provide aligned target labels for a BERT-like prediction loss. A key ingredient of our approach is applying the prediction loss over the masked regions only, which forces the model to learn a combined acoustic and language model over the continuous inputs. HuBERT relies primarily on the consistency of the unsupervised clustering step rather than the intrinsic quality of the assigned cluster labels. Starting with a simple k-means teacher of 100 clusters, and using two iterations of clustering, the HuBERT model either matches or improves upon the state-ofthe-art wav2vec 2.0 performance on the Librispeech (960h) and Libri-light (60,000h) benchmarks with 10min, 1h, 10h, 100h, and 960h fine-tuning subsets. Using a 1B parameter model, HuBERT shows up to 19% and 13% relative WER reduction on the more challenging dev-other and test-other evaluation subsets. 1

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

虽然自我监督的语音表示学习（SSL）模型执行了各种下游任务，但已经观察到这些模型过于拟合未标记数据来源的域。为了减轻此问题，我们提出了PADA（修剪辅助域的适应性），并在大量室外（OOD）数据上进行预训练的模型中的冗余权重。直观地，这有助于为目标域ASR芬太尼腾出空间。可以通过各种修剪策略来识别多余的权重，这些策略已作为本工作的一部分进行了详细讨论。具体而言，我们研究了最近发现的任务不合时宜的和任务感知的修剪对PADA的效果，并根据后者提出了一个新的修剪范式，我们称之为跨域任务意识到的修剪（CD-TAW）。 CD-TAW从精心调整的OOD模型中获得了初始修剪面膜，这使其与本文讨论的其余修剪策略完全不同。当在没有语言模型（LM）解码的2小时子集中进行微调时，我们提出的CD-TAW方法比基线相对相对改善高达20.6％。此外，我们进行了详细的分析，以突出提出的方法的关键设计选择。

Collecting sufficient labeled data for spoken language understanding (SLU) is expensive and time-consuming. Recent studies achieved promising results by using pre-trained models in low-resource scenarios. Inspired by this, we aim to ask: which (if any) pre-training strategies can improve performance across SLU benchmarks? To answer this question, we employ four types of pre-trained models and their combinations for SLU. We leverage self-supervised speech and language models (LM) pre-trained on large quantities of unpaired data to extract strong speech and text representations. We also explore using supervised models pre-trained on larger external automatic speech recognition (ASR) or SLU corpora. We conduct extensive experiments on the SLU Evaluation (SLUE) benchmark and observe self-supervised pre-trained models to be more powerful, with pre-trained LM and speech models being most beneficial for the Sentiment Analysis and Named Entity Recognition task, respectively.

Spoken language understanding (SLU) is a task aiming to extract high-level semantics from spoken utterances. Previous works have investigated the use of speech self-supervised models and textual pre-trained models, which have shown reasonable improvements to various SLU tasks. However, because of the mismatched modalities between speech signals and text tokens, previous methods usually need complex designs of the frameworks. This work proposes a simple yet efficient unsupervised paradigm that connects speech and textual pre-trained models, resulting in an unsupervised speech-to-semantic pre-trained model for various tasks in SLU. To be specific, we propose to use unsupervised automatic speech recognition (ASR) as a connector that bridges different modalities used in speech and textual pre-trained models. Our experiments show that unsupervised ASR itself can improve the representations from speech self-supervised models. More importantly, it is shown as an efficient connector between speech and textual pre-trained models, improving the performances of five different SLU tasks. Notably, on spoken question answering, we reach the state-of-the-art result over the challenging NMSQA benchmark.

我们利用Libri-Light数据集的未标记音频来获得半监督学习中最新的发展的最新发展，以获得自动语音识别的最新结果。更确切地说，我们使用使用WAV2VEC 2.0预训练的巨型构象模型进行了嘈杂的学生培训，并使用巨型构象模型进行了训练。通过这样做，我们能够在Librispeech测试/测试中获得1.4％/2.6％的单词率率（WERS），而目前的最新设备为1.7％/3.3％。

最近，用于语音处理的自我监督模型最近作为语音处理管道中流行的基础块出现。这些模型在未标记的音频数据上进行了预训练，然后用于语音处理下游任务，例如自动语音识别（ASR）或语音翻译（ST）。由于这些模型现在都用于研究和工业系统，因此有必要理解某些特征在培训数据中的性别分布等特征所引起的影响。我们以法语为我们的调查语言，训练和比较性别特定的WAV2VEC 2.0模型与在其预训练数据中包含不同性别平衡的模型。通过将这些模型应用于两个语音到文本下游任务：ASR和ST进行比较。结果显示了下游集成的类型。在微调端到端ASR系统之前，我们使用性别特定的预训练观察到较低的总体性能。但是，当将自我监督模型用作特征提取器时，总体ASR和ST结果遵循更复杂的模式，在这种模式下，平衡的预训练模型不一定会带来最佳结果。最后，我们粗制的“公平”度量标准（男性测试集之间测量的相对性能差异）并未显示出从平衡到特定性别的预训练的Preaded Wav2Vec 2.0模型的强烈变化。

受到计算机视觉的自我监督学习的最新进展的启发，在本文中，我们介绍了Delores，这是一种新的通用音频表示方法。我们的主要目标是使我们的网络学习在资源受限的设置（数据和计算）中，可以很好地跨越各种下游任务。受Barlow Twins目标功能的启发，我们建议学习对输入音频样本失真不变的嵌入，同时确保它们包含有关样本的非冗余信息。为此，我们测量了两个相同的网络的输出之间的互相关矩阵，该网络用从音频文件采样的音频段的变形版本中，使其尽可能接近身份矩阵。我们将大规模音频集数据集和FSD50K的一小部分组合用于自学学习，并且与最先进的算法相比，参数的一半不到一半。为了进行评估，我们将这些学习的表示形式转移到9个下游分类任务，包括语音，音乐和动物声音，并在不同的评估设置下显示竞争结果。除了简单明了，我们的预训练算法还可以通过其固有的构造本质来计算，并且不需要仔细的实施细节以避免琐碎或退化的解决方案。此外，我们对结果进行消融研究，并使我们的所有代码和预培训模型公开可用https://github.com/speech-lab-iitm/delores。

最近，即使预训练目标是为语音识别而设计的，自我监督学习（SSL）即使在说话者的识别方面表现出了很强的表现。在本文中，我们研究了哪些因素导致对与说话者相关的任务的自我监督学习成功，例如扬声器验证（SV）通过一系列精心设计的实验。我们对Voxceleb-1数据集的经验结果表明，SSL对SV任务的好处是来自蒙版语音预测丢失，数据量表和模型大小的组合，而SSL量化器具有较小的影响。我们进一步采用了综合梯度归因方法和损失景观可视化，以了解说话者识别性能的自我监督学习的有效性。

在本文中，我们提出了一种三阶段培训方法，提高低资源语言的语音识别准确性。我们探索并提出了一种有效的技术组合，如传输学习，编码器冻结，使用文本到语音（TTS）和半监督学习（SSL）。为了提高低资源意大利ASR的准确性，我们可以分别利用训练有素的英语模型，未标记的文本语料库和未标记的音频语料库，分别分别使用传输学习，TTS增强和SSL。在第一阶段，我们使用从训练有素的英语模型的转移学习。这主要有助于学习来自资源丰富的语言的声学信息。该阶段通过基线减少约24％的相对字错误率（WER）。在第二阶段，我们通过TTS数据增强利用未标记的文本数据来将语言信息合并到模型中。我们还在此阶段探索冻结声学编码器。 TTS数据增强有助于我们进一步减少〜21％相对〜21％。最后，在第三阶段，我们通过使用来自未标记的音频数据的SSL来减少另一个4％的相对。总体而言，我们的双通话识别系统在第一次通过的单调散文注意力（Mocha）和第二次通过的全部关注，相对于基线，减少了〜42％的WER。

我们提出了Maestro，这是一种自制的培训方法，可以统一从语音和文本方式中学到的表示形式。从语音信号中进行的自我监督学习旨在学习信号中固有的潜在结构，而从文本尝试捕获词汇信息的文本尝试中学习。从不配对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。先前的工作要么隐含地强制执行从这两种方式中学到的表示形式，要通过多任务和参数共享在潜在空间中对齐，或通过语音综合通过模态转换而明确地进行。前者受到两种方式之间的干扰，而后者则引入了额外的复杂性。在本文中，我们提出了一种新颖的算法Maestro，旨在同时从这两种方式中学习统一的表示，可以转移到各种下游任务，例如自动语音识别（ASR）和语音翻译（ST）。 Maestro通过序列比对，持续时间预测和匹配的嵌入在学习空间中通过对齐的蒙版模型损失来学习统一的表示形式。我们在Voxpopuli多语言ASR上建立了一个新的最先进（SOTA），单词错误率相对相对降低8％（WER），多域Speetstew ASR（相对3.7％）和21种英语多语言ST在Covost 2上2.8 BLEU的改善平均21种语言。