多语言语音数据通常会遭受长尾语的语言分布，从而导致性能退化。但是，多语言文本数据更容易获得，从而产生了更有用的通用语言模型。因此，我们有动力将嵌入在训练有素的教师文本模型中的丰富知识提炼成学生的演讲模型。我们提出了一种称为语言模型（Distill-L2S）的新方法，称为语言模型，该模型将两种不同模式的潜在表示一致。微妙的差异是通过收缩机制，最近的邻居插值和可学习的线性投影层来处理的。我们通过将其应用于多语言自动语音识别（ASR）任务来证明我们的蒸馏方法的有效性。我们在微调每种语言的大规模多语言ASR模型（XLSR-WAV2VEC 2.0）的同时，将基于变压器的跨语言语言模型（Infoxlm）提炼出来。我们显示了我们的方法对公共视觉数据集的20种低资源语言的优势，其语音数据少于100小时。

目前最先进的交叉逻辑摘要模型采用了多任务学习范例，它适用于共享词汇模块，并依赖于自我关注机制以两种语言参加令牌。然而，通过自我关注汲取的相关性往往松动和隐含，效率效率低，捕获语言之间的至关重要的交叉表示。在用单独的形态或结构特征进行语言时，此事恶化，使交叉对齐更具挑战性，导致性能下降。为了克服这一问题，我们提出了一种新颖的知识蒸馏的跨语言摘要框架，寻求通过蒸馏到单语摘要教师进入交叉综合学生的知识来明确构建交叉关联。由于教师和学生的代表介绍了两种不同的向量空间，我们进一步提出了使用污水偏差，最佳运输距离的知识蒸馏损失，以估计这些教师和学生表示之间的差异。由于陷入困境的直观的几何性质，学生模型可以高效地学习与单声道隐藏状态对齐其产生的交叉隐藏状态，因此导致远方语言之间的强烈相关性。对遥控语言成对的交叉语言摘要数据集的实验表明，我们的方法在高资源和低资源的设置下优于最先进的模型。

知识蒸馏（KD），最称为模型压缩的有效方法，旨在将更大的网络（教师）的知识转移到更小的网络（学生）。传统的KD方法通常采用以监督方式培训的教师模型，其中输出标签仅作为目标处理。我们进一步扩展了这一受监督方案，我们为KD，即Oracle老师推出了一种新型的教师模型，它利用源输入和输出标签的嵌入来提取更准确的知识来转移到学生。所提出的模型遵循变压器网络的编码器解码器注意结构，这允许模型从输出标签上参加相关信息。在三种不同的序列学习任务中进行了广泛的实验：语音识别，场景文本识别和机器翻译。从实验结果来看，我们经验证明，拟议的模型在这些任务中改善了学生，同时在教师模型的培训时间内实现了相当大的速度。

由于（1）低资源语言的数据稀缺，（2）培训和清爽100+单语言模型的昂贵计算成本，培训和部署混合语音识别的变压器LMS以低资源语言重新排行第二通道是具有挑战性的。，以及（3）考虑流量稀疏的效率低下。在这项研究中，我们提出了一种新的方法，将多个低资源的区域分组在一起，并优化ASR中多语言变压器LMS的性能。我们的本地组多语言变压器LMS的表现优于传统的多语言LM，以及降低维护成本和运营费用。此外，对于部署单语模型的低资源但人口流量的地区是可行的，我们表明，对我们的语言环境组的多语言LMS进行微调可产生比基线单语LMS更好的单语LM候选者。

先前的研究证明，跨语性知识蒸馏可以显着提高预训练模型的跨语义相似性匹配任务的性能。但是，在此操作中，学生模型必须大。否则，其性能将急剧下降，从而使部署到内存限制设备的不切实际。为了解决这个问题，我们深入研究了跨语言知识蒸馏，并提出了一个多阶段蒸馏框架，用于构建一个小型但高性能的跨语性模型。在我们的框架中，合并了对比度学习，瓶颈和参数复发策略，以防止在压缩过程中损害性能。实验结果表明，我们的方法可以压缩XLM-R和Minilm的大小超过50 \％，而性能仅降低约1％。

交叉语言语音适应旨在解决利用多种丰富资源语言来构建低资源目标语言的模型的问题。由于低资源语言具有有限的培训数据，语音识别模型可以容易地过度装备。在本文中，我们建议使用适配器来研究多种适配器的性能，用于参数有效的交叉语音语音适应。基于我们以前的MetaAdapter，隐含地利用适配器，我们提出了一种名为SimAdapter的新算法，用于从Adapters明确学习知识。我们的算法利用了可以轻松集成到变压器结构中的适配器.METAADAPTER利用元学习将一般知识从训练数据转移到测试语言。 SimAdapter旨在使用适配器微调期间了解源语言与目标语言之间的相似性。我们在公共语音数据集中对五种低资源语言进行广泛的实验。结果表明，与强大的全型微调基线相比，我们的MetaAdapter和SimAdapter方法可以将WER减小2.98％和2.55％，只有2.5％和15.5％的培训参数。此外，我们还表明这两种新型算法可以集成，以便更好的性能，相对减少高达3.55％。

Real-world tasks are largely composed of multiple models, each performing a sub-task in a larger chain of tasks, i.e., using the output from a model as input for another model in a multi-model pipeline. A model like MATRa performs the task of Crosslingual Transliteration in two stages, using English as an intermediate transliteration target when transliterating between two indic languages. We propose a novel distillation technique, EPIK, that condenses two-stage pipelines for hierarchical tasks into a single end-to-end model without compromising performance. This method can create end-to-end models for tasks without needing a dedicated end-to-end dataset, solving the data scarcity problem. The EPIK model has been distilled from the MATra model using this technique of knowledge distillation. The MATra model can perform crosslingual transliteration between 5 languages - English, Hindi, Tamil, Kannada and Bengali. The EPIK model executes the task of transliteration without any intermediate English output while retaining the performance and accuracy of the MATra model. The EPIK model can perform transliteration with an average CER score of 0.015 and average phonetic accuracy of 92.1%. In addition, the average time for execution has reduced by 54.3% as compared to the teacher model and has a similarity score of 97.5% with the teacher encoder. In a few cases, the EPIK model (student model) can outperform the MATra model (teacher model) even though it has been distilled from the MATra model.

本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。

视觉和语言任务在研究界越来越受欢迎，但重点仍主要放在英语上。我们提出了一条管道，该管道利用仅英语视觉语言模型来训练目标语言的单语模型。我们建议扩展Oscar+，该模型利用对象标签作为学习图像文本对齐的锚点，以训练以不同语言的视觉问题回答数据集。我们提出了一种新颖的知识蒸馏方法，以使用并行句子以其他语言来训练模型。与其他在训练阶段的语料库中使用目标语言的模型相比，我们可以利用现有的英语模型使用明显较小的资源将知识转移到目标语言中。我们还以日语和印地语语言发布了一个大规模的视觉问题，回答数据集。尽管我们将工作限制为视觉问题的回答，但我们的模型可以扩展到任何序列级别的分类任务，并且也可以将其扩展到其他语言。本文重点介绍了两种语言，用于视觉问题回答任务 - 日语和印地语。我们的管道表现优于当前的最新模型的相对增加4.4％和13.4％的准确性。

Zero-shot cross-lingual named entity recognition (NER) aims at transferring knowledge from annotated and rich-resource data in source languages to unlabeled and lean-resource data in target languages. Existing mainstream methods based on the teacher-student distillation framework ignore the rich and complementary information lying in the intermediate layers of pre-trained language models, and domain-invariant information is easily lost during transfer. In this study, a mixture of short-channel distillers (MSD) method is proposed to fully interact the rich hierarchical information in the teacher model and to transfer knowledge to the student model sufficiently and efficiently. Concretely, a multi-channel distillation framework is designed for sufficient information transfer by aggregating multiple distillers as a mixture. Besides, an unsupervised method adopting parallel domain adaptation is proposed to shorten the channels between the teacher and student models to preserve domain-invariant features. Experiments on four datasets across nine languages demonstrate that the proposed method achieves new state-of-the-art performance on zero-shot cross-lingual NER and shows great generalization and compatibility across languages and fields.

Large language models having hundreds of millions, and even billions, of parameters have performed extremely well on a variety of natural language processing (NLP) tasks. Their widespread use and adoption, however, is hindered by the lack of availability and portability of sufficiently large computational resources. This paper proposes a knowledge distillation (KD) technique building on the work of LightMBERT, a student model of multilingual BERT (mBERT). By repeatedly distilling mBERT through increasingly compressed toplayer distilled teacher assistant networks, CAMeMBERT aims to improve upon the time and space complexities of mBERT while keeping loss of accuracy beneath an acceptable threshold. At present, CAMeMBERT has an average accuracy of around 60.1%, which is subject to change after future improvements to the hyperparameters used in fine-tuning.

我们介绍了一种用于跨语言训练ASR系统的方法，使用目标语言绝对没有转录的训练数据，并且没有相关语言的语音知识。我们的方法使用了一种解密算法的新应用，该算法仅在目标语言中仅操作不配对的语音和文本数据。我们将此破译应用于由通用电话识别器产生的电话序列，由语言语音语料库培训，我们遵循平稳半监督培训，以获得新语言的声学模型。据我们所知，这是零资源交叉语言ASR的第一种实用方法，不依赖于任何手工制作的语音信息。我们对来自Globalphone语料库的读语音进行了实验，并表明可以在目标语言中仅在20分钟的数据上学习解密模型。当用于生成半监督培训的伪标签时，我们获得了比在同一数据上培训的等同完全监督模型的25％至仅5％的绝对差。

本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。

最近的言语和语言技术的方法预先rain非常大型模型，用于特定任务。然而，这种大型模型的好处通常仅限于世界上少数资源丰富的语言。在这项工作中，我们对来自印度次大陆的低资源语言构建ASR系统进行多种贡献。首先，我们从各种领域策划40个印度语言的17,000小时的原始语音数据，包括教育，新闻，技术和金融。其次，使用这种原始语音数据，我们预先存在于40个印度语言的Wav2Vec样式模型的多个变体。第三，我们分析佩带的模型以查找关键特点：码本矢量的类似探测音素在语言中共享，跨层的表示是语言系列的判别，并且注意力头通常会在小型本地窗口中注意。第四，我们微调了9种语言的下游ASR模型，并在3个公共数据集上获得最先进的结果，包括非常低的资源语言，如Sinhala和Nepali。我们的工作建立了多语言预介质是建立ASR系统的有效策略，为印度次大陆的语言上不同的扬声器建立ASR系统。

我们介绍了一个CLSRIL-23，一个自我监督的基于学习的音频预训练模型，它学习了来自23个指示语言的原始音频的交叉语言语音表示。它基于Wav2Vec 2.0之上，通过培训蒙面潜在语音表示的对比任务来解决，并共同了解所有语言共享的潜伏的量化。我们在预磨练期间比较语言明智的损失，以比较单机和多语言预制的影响。还比较了一些下游微调任务的表现，并且我们的实验表明，在学习语音表示方面，我们的实验表明，在学习语言的语音表示方面，以及在沿着流的性能方面的学习语音表示。在Hindi中使用多语言预磨模模型时，在WER中观察到5％的减少，9.5％。所有代码模型也都是开放的。 CLSRIL-23是一款以23美元的价格培训的型号，以及近10,000小时的音频数据培训，以促进在语言中的语音识别研究。我们希望将使用自我监督方法创建新的最新状态，特别是对于低资源指示语言。

Modern speech recognition systems exhibits rapid performance degradation under domain shift. This issue is especially prevalent in data-scarce settings, such as low-resource languages, where diversity of training data is limited. In this work we propose M2DS2, a simple and sample-efficient finetuning strategy for large pretrained speech models, based on mixed source and target domain self-supervision. We find that including source domain self-supervision stabilizes training and avoids mode collapse of the latent representations. For evaluation, we collect HParl, a $120$ hour speech corpus for Greek, consisting of plenary sessions in the Greek Parliament. We merge HParl with two popular Greek corpora to create GREC-MD, a test-bed for multi-domain evaluation of Greek ASR systems. In our experiments we find that, while other Unsupervised Domain Adaptation baselines fail in this resource-constrained environment, M2DS2 yields significant improvements for cross-domain adaptation, even when a only a few hours of in-domain audio are available. When we relax the problem in a weakly supervised setting, we find that independent adaptation for audio using M2DS2 and language using simple LM augmentation techniques is particularly effective, yielding word error rates comparable to the fully supervised baselines.

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

This paper presents the work of restoring punctuation for ASR transcripts generated by multilingual ASR systems. The focus languages are English, Mandarin, and Malay which are three of the most popular languages in Singapore. To the best of our knowledge, this is the first system that can tackle punctuation restoration for these three languages simultaneously. Traditional approaches usually treat the task as a sequential labeling task, however, this work adopts a slot-filling approach that predicts the presence and type of punctuation marks at each word boundary. The approach is similar to the Masked-Language Model approach employed during the pre-training stages of BERT, but instead of predicting the masked word, our model predicts masked punctuation. Additionally, we find that using Jieba1 instead of only using the built-in SentencePiece tokenizer of XLM-R can significantly improve the performance of punctuating Mandarin transcripts. Experimental results on English and Mandarin IWSLT2022 datasets and Malay News show that the proposed approach achieved state-of-the-art results for Mandarin with 73.8% F1-score while maintaining a reasonable F1-score for English and Malay, i.e. 74.7% and 78% respectively. Our source code that allows reproducing the results and building a simple web-based application for demonstration purposes is available on Github.

在本文中，我们提出了一种三阶段培训方法，提高低资源语言的语音识别准确性。我们探索并提出了一种有效的技术组合，如传输学习，编码器冻结，使用文本到语音（TTS）和半监督学习（SSL）。为了提高低资源意大利ASR的准确性，我们可以分别利用训练有素的英语模型，未标记的文本语料库和未标记的音频语料库，分别分别使用传输学习，TTS增强和SSL。在第一阶段，我们使用从训练有素的英语模型的转移学习。这主要有助于学习来自资源丰富的语言的声学信息。该阶段通过基线减少约24％的相对字错误率（WER）。在第二阶段，我们通过TTS数据增强利用未标记的文本数据来将语言信息合并到模型中。我们还在此阶段探索冻结声学编码器。 TTS数据增强有助于我们进一步减少〜21％相对〜21％。最后，在第三阶段，我们通过使用来自未标记的音频数据的SSL来减少另一个4％的相对。总体而言，我们的双通话识别系统在第一次通过的单调散文注意力（Mocha）和第二次通过的全部关注，相对于基线，减少了〜42％的WER。

语音处理系统目前不支持绝大多数语言，部分原因是低资源语言中的数据缺乏。交叉语言传输提供了一种引人注目的方法来帮助通过将高资源数据纳入低资源系统来帮助桥接这种数字鸿沟。目前的交叉算法在一些基于文本的任务和与一些低资源语言中的语音相关任务中表现出了成功。但是，缩放语音系统以支持数百个低资源语言仍未解决。为了帮助桥接这种差距，我们提出了一种语言相似性方法，可以有效地识别数百种语言的声学交叉传输对。我们展示了我们在语言家庭分类，语音识别和语音综合任务中的方法的有效性。