自我监督学习（SSL）被视为一种非常有前途的方法，对于下游任务的几个语音，高性能。由于SSL模型的参数通常是如此之大，以至于训练和推理需要大量的内存和计算成本，因此希望通过应用诸如知识蒸馏（KD）等压缩方法来生成紧凑的SSL模型，而无需显着性能降解。尽管KD方法能够缩小SSL模型结构的深度和/或宽度，但几乎没有研究如何改变深度和宽度对小脚印模型的内部表示。本文提供了一项解决问题的经验研究。我们在改变结构和KD方法的同时研究了Superb的性能，以保持参数恒定的数量；这使我们能够分析通过改变模型体系结构引入的表示的贡献。实验表明，一定深度对于准确地求解面向内容的任务（例如自动语音识别）至关重要，而在几个面向讲话者的任务上（例如，说话者的身份），必须进行一定宽度对于实现高性能。基于这些观察结果，我们确定了与以前的研究相比，具有更好性能的更高压模型。

大规模的语音自我监督学习（SSL）已经出现到语音处理的主要领域，但是，由于其巨大规模而引起的计算成本问题是对学术界的高障碍。此外，语音SSL模型的现有蒸馏技术通过减少层来压缩模型，从而在语言模式识别任务（例如音素识别（PR））中引起性能降解。在本文中，我们提出了Fithubert，它几乎在几乎所有模型组件中都使尺寸较薄，并且与先前的语音SSL蒸馏作品相比，层层更深。此外，我们采用缩短时间来加快推理时间，并提出一种基于提示的蒸馏方法，以减少性能降解。与休伯特相比，我们的方法将模型降低到23.8％，推理时间为35.9％。此外，我们在优越的基准上达到了12.1％的单词错误率和13.3％的音素错误率，这比先前的工作优越。

自我监督的语音表示学习在各种语音处理任务中显示出令人鼓舞的结果。但是，预先训练的模型，例如休伯特是存储密集型变压器，限制了其在低资源设置下的应用程序范围。为此，我们建议通过修剪结构化参数自动找到所需的体系结构Lighthubert，这是一个曾经是变压器的压缩框架。更确切地说，我们创建了一个基于变压器的超级网，该超网嵌套着数千个重量共享子网，并设计了一个两阶段的蒸馏策略，以利用休伯特的上下文化潜在表示。关于自动语音识别（ASR）和出色基准的实验表明，拟议的lighthubert可实现$ 10^9 $的架构，该体系结构涉及嵌入尺寸，注意力维度，头部编号，进率向前网络比率和网络深度。 Lighthubert优于ASR上的原始Hubert和Hubert大小的五个出色的任务，在大多数任务中，在大多数任务中都具有可比的性能，并减少了29％的参数，并获得了$ 3.5 \ times $ times $ compression $压缩比在三个超级任务中，例如自动扬声器验证，关键字发现和意图分类，略有准确的损失。代码和预培训模型可在https://github.com/mechanicalsea/lighthubert上找到。

知识蒸馏（KD），最称为模型压缩的有效方法，旨在将更大的网络（教师）的知识转移到更小的网络（学生）。传统的KD方法通常采用以监督方式培训的教师模型，其中输出标签仅作为目标处理。我们进一步扩展了这一受监督方案，我们为KD，即Oracle老师推出了一种新型的教师模型，它利用源输入和输出标签的嵌入来提取更准确的知识来转移到学生。所提出的模型遵循变压器网络的编码器解码器注意结构，这允许模型从输出标签上参加相关信息。在三种不同的序列学习任务中进行了广泛的实验：语音识别，场景文本识别和机器翻译。从实验结果来看，我们经验证明，拟议的模型在这些任务中改善了学生，同时在教师模型的培训时间内实现了相当大的速度。

最近，先驱工作发现，演讲预训练模型可以解决全堆栈语音处理任务，因为该模型利用底层学习扬声器相关信息和顶层以编码与内容相关的信息。由于网络容量有限，我们认为如果模型专用于音频内容信息学习，则可以进一步提高语音识别性能。为此，我们向自我监督学习（ILS-SSL）提出中间层监督，这将模型通过在中间层上添加额外的SSL丢失来尽可能地专注于内容信息。 LibrisPeech测试 - 其他集合的实验表明，我们的方法显着优于Hubert，这实现了基数/大型模型的W / O语言模型设置的相对字错误率降低了23.5％/ 11.6％。详细分析显示我们模型的底层与拼音单元具有更好的相关性，这与我们的直觉一致，并解释了我们对ASR的方法的成功。

The sequence length along the time axis is often the dominant factor of the computational cost of self-supervised speech models. Works have been proposed to reduce the sequence length for lowering the computational cost. However, different downstream tasks have different tolerance of sequence compressing, so a model that produces a fixed compressing rate may not fit all tasks. In this work, we introduce a once-for-all (OFA) sequence compression framework for self-supervised speech models that supports a continuous range of compressing rates. The framework is evaluated on various tasks, showing marginal degradation compared to the fixed compressing rate variants with a smooth performance-efficiency trade-off. We further explore adaptive compressing rate learning, demonstrating the ability to select task-specific preferred frame periods without needing a grid search.

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

一个名为语音处理通用性能基准（Superb）的排行榜，它旨在基准测试各种下游语音任务的共享自我监督学习（SSL）语音模型的性能，并推动了研究用于语音表示学习。 SuperB演示语音SSL上游模型通过仅限最小的调整来提高各种下游任务的性能。由于自我监督学习上游模型的范式，其次是下游任务，在语音界引起更多关注，表征此类范例的对抗性稳健性是高优先级的。在本文中，我们首次尝试在零知识对手和有限知识对手的袭击下调查此类范例的对抗脆弱性。实验结果表明，Superb提出的范例严重易受有限的知识对手的影响，零知识对手产生的攻击是可转移性的。 XAB测试验证了制作的对抗性攻击的难以察觉。

在过去的几年中，基于变压器的预训练的语言模型在行业和学术界都取得了惊人的成功。但是，较大的模型尺寸和高运行时间延迟是在实践中应用它们的严重障碍，尤其是在手机和物联网（IoT）设备上。为了压缩该模型，最近有大量文献围绕知识蒸馏（KD）的主题长大。然而，KD在基于变压器的模型中的工作方式仍不清楚。我们取消了KD的组件，并提出了一个统一的KD框架。通过框架，花费了23,000多个GPU小时的系统和广泛的实验，从知识类型的角度，匹配策略，宽度深度折衷，初始化，型号大小等。在培训前语言模型中，对先前最新的（SOTA）的相对显着改善。最后，我们为基于变压器模型的KD提供了最佳实践指南。

知识蒸馏是一种通过减少差异来将有关陈述信息从教师转移到学生的方法。这种方法的一个挑战是减少学生表现的灵活性，从而导致对教师知识的学习不准确。为了解决BERT转移，我们研究了指定为三种类型的表示结构的蒸馏：功能内，局部局部互感，全局功能间结构。要转移它们，我们基于中心内核对齐方式介绍了\ textit {特征结构蒸馏}方法，该方法为相似的特征结构分配了一致的价值，并揭示了更有信息的关系。特别是，针对全局结构实现了一种带有聚类的内存调节方法。在对胶合数据集的语言理解的九项任务的实验中，与最新的蒸馏方法相比，提出的方法有效地传递了三种类型的结构并提高性能。实际上，这些方法的代码可在https://github.com/maroo-sky/fsd中获得

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

Language model pre-training, such as BERT, has significantly improved the performances of many natural language processing tasks. However, pre-trained language models are usually computationally expensive, so it is difficult to efficiently execute them on resourcerestricted devices. To accelerate inference and reduce model size while maintaining accuracy, we first propose a novel Transformer distillation method that is specially designed for knowledge distillation (KD) of the Transformer-based models. By leveraging this new KD method, the plenty of knowledge encoded in a large "teacher" BERT can be effectively transferred to a small "student" Tiny-BERT. Then, we introduce a new two-stage learning framework for TinyBERT, which performs Transformer distillation at both the pretraining and task-specific learning stages. This framework ensures that TinyBERT can capture the general-domain as well as the task-specific knowledge in BERT. TinyBERT 41 with 4 layers is empirically effective and achieves more than 96.8% the performance of its teacher BERT BASE on GLUE benchmark, while being 7.5x smaller and 9.4x faster on inference. TinyBERT 4 is also significantly better than 4-layer state-of-the-art baselines on BERT distillation, with only ∼28% parameters and ∼31% inference time of them. Moreover, TinyBERT 6 with 6 layers performs on-par with its teacher BERT BASE .

基于变压器的NLP模型是使用数亿甚至数十亿个参数训练的，从而限制了其在计算受限环境中的适用性。尽管参数的数量通常与性能相关，但尚不清楚下游任务是否需要整个网络。在最新的修剪和提炼预培训模型的工作中，我们探索了在预训练模型中放下层的策略，并观察修剪对下游胶水任务的影响。我们能够修剪Bert，Roberta和XLNet型号高达40％，同时保持其原始性能的98％。此外，我们证明，在大小和性能方面，您的修剪模型与使用知识蒸馏的型号相提并论。我们的实验产生有趣的观察结果，例如（i）下层对于维持下游任务性能最重要，（ii）某些任务（例如释义检测和句子相似性）对于降低层的降低和（iii）经过训练的模型更强大。使用不同的目标函数表现出不同的学习模式，并且层掉落。

Large transformer models can highly improve Answer Sentence Selection (AS2) tasks, but their high computational costs prevent their use in many real-world applications. In this paper, we explore the following research question: How can we make the AS2 models more accurate without significantly increasing their model complexity? To address the question, we propose a Multiple Heads Student architecture (named CERBERUS), an efficient neural network designed to distill an ensemble of large transformers into a single smaller model. CERBERUS consists of two components: a stack of transformer layers that is used to encode inputs, and a set of ranking heads; unlike traditional distillation technique, each of them is trained by distilling a different large transformer architecture in a way that preserves the diversity of the ensemble members. The resulting model captures the knowledge of heterogeneous transformer models by using just a few extra parameters. We show the effectiveness of CERBERUS on three English datasets for AS2; our proposed approach outperforms all single-model distillations we consider, rivaling the state-of-the-art large AS2 models that have 2.7x more parameters and run 2.5x slower. Code for our model is available at https://github.com/amazon-research/wqa-cerberus

特征回归是将大型神经网络模型蒸馏到较小的功能回归。我们表明，随着网络架构的简单变化，回归可能会优于自我监督模型的知识蒸馏更复杂的最先进方法。令人惊讶的是，即使仅在蒸馏过程中仅使用并且在下游任务中丢弃时，将多层的Perceptron头部添加到CNN骨架上是有益的。因此，更深的非线性投影可以使用在不改变推理架构和时间的情况下准确地模仿老师。此外，我们利用独立的投影头来同时蒸馏多个教师网络。我们还发现，使用与教师和学生网络的输入相同的弱增强图像辅助蒸馏。Imagenet DataSet上的实验证明了各种自我监督蒸馏环境中提出的变化的功效。

Recently, large-scale pre-trained models have shown their advantages in many tasks. However, due to the huge computational complexity and storage requirements, it is challenging to apply the large-scale model to real scenes. A common solution is knowledge distillation which regards the large-scale model as a teacher model and helps to train a small student model to obtain a competitive performance. Cross-task Knowledge distillation expands the application scenarios of the large-scale pre-trained model. Existing knowledge distillation works focus on directly mimicking the final prediction or the intermediate layers of the teacher model, which represent the global-level characteristics and are task-specific. To alleviate the constraint of different label spaces, capturing invariant intrinsic local object characteristics (such as the shape characteristics of the leg and tail of the cattle and horse) plays a key role. Considering the complexity and variability of real scene tasks, we propose a Prototype-guided Cross-task Knowledge Distillation (ProC-KD) approach to transfer the intrinsic local-level object knowledge of a large-scale teacher network to various task scenarios. First, to better transfer the generalized knowledge in the teacher model in cross-task scenarios, we propose a prototype learning module to learn from the essential feature representation of objects in the teacher model. Secondly, for diverse downstream tasks, we propose a task-adaptive feature augmentation module to enhance the features of the student model with the learned generalization prototype features and guide the training of the student model to improve its generalization ability. The experimental results on various visual tasks demonstrate the effectiveness of our approach for large-scale model cross-task knowledge distillation scenes.

已经证明了对比学习适合学习句子嵌入，可以显着提高语义文本相似性（STS）任务。最近，大型对比学习模型，例如句子T5倾向于学到更强大的句子嵌入。虽然有效，但由于计算资源或时间成本限制，这种大型型号很难在线服务。为了解决这个问题，通常采用知识蒸馏（KD），这可以将大型“教师”模型压缩成一个小的“学生”模型，但通常会遭受一些性能损失。在这里，我们提出了一个增强的KD框架，称为蒸馏 - 对比度（迪斯科）。所提出的迪斯科框架首先利用KD将大句子嵌入模型的能力转移到大型未标记数据的小学生模型，然后在标记的训练数据上具有对比学习的学生模型。对于迪斯科舞厅的KD进程，我们进一步提出了对比的知识蒸馏（CKD），以增强教师模型培训，KD和学生模型的一致性，这可能会提高迅速学习的表现。 7 STS基准测试的广泛实验表明，使用所提出的迪斯科和CKD培训的学生模型很少或甚至没有性能损失，并且始终如一地优于相同参数大小的相应对应物。令人惊讶的是，我们的110米学生模型甚至可以优于最新的最新（SOTA）模型，即句子T5（11B），只有1％的参数。

本文研究了从预先训练的模型，尤其是蒙面自动编码器中提取知识的潜力。我们的方法很简单：除了优化掩盖输入的像素重建损失外，我们还将教师模型的中间特征图与学生模型的中间特征图之间的距离最小化。此设计导致一个计算高效的知识蒸馏框架，给定1）仅使用一个少量可见的补丁子集，2）（笨拙的）教师模型仅需要部分执行，\ ie，\ ie，在前几个中，向前传播输入层，用于获得中间特征图。与直接蒸馏微型模型相比，提炼预训练的模型显着改善了下游性能。例如，通过将知识从MAE预先训练的VIT-L提炼为VIT-B，我们的方法可实现84.0％的Imagenet Top-1精度，表现优于直接将微型VIT-L蒸馏的基线，降低1.2％。更有趣的是，我们的方法即使具有极高的掩盖率也可以从教师模型中进行鲁棒性蒸馏：例如，在蒸馏过程中仅可见十个斑块，我们的VIT-B具有竞争力的前1个Imagenet精度为83.6％，在95％的掩盖率中，只有十个斑块。 ;令人惊讶的是，它仍然可以通过仅四个可见斑（98％的掩盖率）积极训练来确保82.4％的Top-1 Imagenet精度。代码和模型可在https://github.com/ucsc-vlaa/dmae上公开获得。

由于从大规模预先训练的语言模型的转移学习在自然语言处理中普遍存在，在计算受限环境中运行这些模型仍然是一个具有挑战性的问题。已经提出了包括知识蒸馏，网络量化或网络修剪的几种解决方案;然而，这些方法主要关注英语，从而在考虑低资源语言时扩大差距。在这项工作中，我们为罗马尼亚语推出了三种轻型和快速版本的罗马尼亚语言：Distil-Bert-Base-Ro，Distil-Robert-Base和DistilMulti-Bert-Bas-Ro。前两种模型因单独蒸馏在文献中提供的两个基础版本的罗马尼亚伯爵的知识，而最后一个是通过蒸馏它们的集合来获得的。为了我们的知识，这是第一次尝试创建公开可用的罗马尼亚蒸馏BERT模型，这是在五个任务上进行彻底评估的：语音标记，名为实体识别，情感分析，语义文本相似性和方言识别。这些基准测试的实验结果证明，我们的三种蒸馏模型在与老师的准确性方面保持最大的表现，而GPU的两倍于GPU和〜35 \％较小。此外，我们进一步测试了我们的学生和他们的老师之间的相似性，通过测量其标签和概率忠诚度以及回归忠诚度 - 在这项工作中引入的新指标。

Self-supervised learning (SSL) speech models generate meaningful representations of given clips and achieve incredible performance across various downstream tasks. Model extraction attack (MEA) often refers to an adversary stealing the functionality of the victim model with only query access. In this work, we study the MEA problem against SSL speech model with a small number of queries. We propose a two-stage framework to extract the model. In the first stage, SSL is conducted on the large-scale unlabeled corpus to pre-train a small speech model. Secondly, we actively sample a small portion of clips from the unlabeled corpus and query the target model with these clips to acquire their representations as labels for the small model's second-stage training. Experiment results show that our sampling methods can effectively extract the target model without knowing any information about its model architecture.