Real-world tasks are largely composed of multiple models, each performing a sub-task in a larger chain of tasks, i.e., using the output from a model as input for another model in a multi-model pipeline. A model like MATRa performs the task of Crosslingual Transliteration in two stages, using English as an intermediate transliteration target when transliterating between two indic languages. We propose a novel distillation technique, EPIK, that condenses two-stage pipelines for hierarchical tasks into a single end-to-end model without compromising performance. This method can create end-to-end models for tasks without needing a dedicated end-to-end dataset, solving the data scarcity problem. The EPIK model has been distilled from the MATra model using this technique of knowledge distillation. The MATra model can perform crosslingual transliteration between 5 languages - English, Hindi, Tamil, Kannada and Bengali. The EPIK model executes the task of transliteration without any intermediate English output while retaining the performance and accuracy of the MATra model. The EPIK model can perform transliteration with an average CER score of 0.015 and average phonetic accuracy of 92.1%. In addition, the average time for execution has reduced by 54.3% as compared to the teacher model and has a similarity score of 97.5% with the teacher encoder. In a few cases, the EPIK model (student model) can outperform the MATra model (teacher model) even though it has been distilled from the MATra model.

音译是NLP域中的一项任务，其中输出单词是使用任何外语字母编写的类似单词。如今，该系统已针对多种语言对开发，涉及英语作为源或目标单词，并在Google Translate和聊天机器人等多个地方部署。但是，在指示语言的领域进行的研究很少进行，将其译为其他指示语言。本文展示了一个基于变压器（具有一些修改）的多语言模型，该模型比该域中的所有现有模型都可以显着更高的性能和准确性，并且比最先进的模型获得了更好的结果。本文显示了一个模型，该模型可以在以下五种语言之间进行任何一对 - 英语，印地语，孟加拉语，卡纳达语和泰米尔语之间的音译。它适用于语言在任何书面任务中都是通信的障碍的情况。该模型击败了最先进的（对于上述五种语言中的所有对 - 英语，印地语，孟加拉语，卡纳达语和泰米尔语），并获得了80.7％的前1位准确性得分，比比当前最佳结果。此外，该模型在语音准确性方面达到了93.5％（音译主要是基于语音/声音的任务）。

视觉和语言任务在研究界越来越受欢迎，但重点仍主要放在英语上。我们提出了一条管道，该管道利用仅英语视觉语言模型来训练目标语言的单语模型。我们建议扩展Oscar+，该模型利用对象标签作为学习图像文本对齐的锚点，以训练以不同语言的视觉问题回答数据集。我们提出了一种新颖的知识蒸馏方法，以使用并行句子以其他语言来训练模型。与其他在训练阶段的语料库中使用目标语言的模型相比，我们可以利用现有的英语模型使用明显较小的资源将知识转移到目标语言中。我们还以日语和印地语语言发布了一个大规模的视觉问题，回答数据集。尽管我们将工作限制为视觉问题的回答，但我们的模型可以扩展到任何序列级别的分类任务，并且也可以将其扩展到其他语言。本文重点介绍了两种语言，用于视觉问题回答任务 - 日语和印地语。我们的管道表现优于当前的最新模型的相对增加4.4％和13.4％的准确性。

语言之间的大多数翻译任务都属于无法使用的零资源翻译问题。与两种通用枢轴翻译相比，多语言神经机器翻译（MNMT）可以使用所有语言的共享语义空间进行一通翻译，但通常表现不佳的基于枢轴的方法。在本文中，我们提出了一种新颖的方法，称为NMT（UM4）的统一多语言多语言多种教师模型。我们的方法统一了来源教师，目标老师和枢轴教师模型，以指导零资源翻译的学生模型。来源老师和目标教师迫使学生学习直接来源，以通过源头和目标方面的蒸馏知识进行目标翻译。枢轴教师模型进一步利用单语语料库来增强学生模型。实验结果表明，我们的72个方向模型在WMT基准测试上明显优于先前的方法。

跨语性摘要是用一种语言（例如英语）以不同语言（例如中文）生成一种语言（例如英语）的摘要。在全球化背景下，这项任务吸引了计算语言学界的越来越多的关注。然而，对于这项任务仍然缺乏全面的审查。因此，我们在该领域的数据集，方法和挑战上介绍了第一个系统的批判性审查。具体而言，我们分别根据不同的构造方法和解决方案范例仔细组织现有的数据集和方法。对于每种类型的数据集或方法，我们彻底介绍并总结了以前的努力，并将它们相互比较以提供更深入的分析。最后，我们还讨论了有希望的方向，并提供了我们的思想，以促进未来的研究。这项调查适用于跨语性摘要的初学者和专家，我们希望它将成为起点，也可以为对该领域感兴趣的研究人员和工程师提供新的想法。

开发用于印度语言的命名实体识别（NER）系统一直是一个长期存在的挑战，主要是由于需要大量注释的清洁培训实例。本文通过利用英语和印度语言的并行语言和英语网数据集，为低资源设置中为印度语言提供了端到端框架。所提出的框架包括注释投影方法，其将单词对准分数和Ner标签预测置信度分数组合在源语言（英语）数据上，以在目标印度语言中生成弱标记的数据。我们使用教师学生模型的变体，并在教师模型的伪标签上共同优化它，并对生成的弱标记数据进行预测。我们还为三种印度语言提出了手动注释的测试集：Hindi，Bengali和Gujarati。我们评估了三种印度语言的测试组拟议框架的表现。与所有语言的零射击转移学习模型相比，实证结果显示最低10％的性能改进。这表明使用目标印度语言中所提出的注释投影方法生成的弱标记数据可以补充注释的源语言数据来提高性能。我们的代码在HTTPS://github.com/aksh555/cl-ner中公开提供

目前最先进的交叉逻辑摘要模型采用了多任务学习范例，它适用于共享词汇模块，并依赖于自我关注机制以两种语言参加令牌。然而，通过自我关注汲取的相关性往往松动和隐含，效率效率低，捕获语言之间的至关重要的交叉表示。在用单独的形态或结构特征进行语言时，此事恶化，使交叉对齐更具挑战性，导致性能下降。为了克服这一问题，我们提出了一种新颖的知识蒸馏的跨语言摘要框架，寻求通过蒸馏到单语摘要教师进入交叉综合学生的知识来明确构建交叉关联。由于教师和学生的代表介绍了两种不同的向量空间，我们进一步提出了使用污水偏差，最佳运输距离的知识蒸馏损失，以估计这些教师和学生表示之间的差异。由于陷入困境的直观的几何性质，学生模型可以高效地学习与单声道隐藏状态对齐其产生的交叉隐藏状态，因此导致远方语言之间的强烈相关性。对遥控语言成对的交叉语言摘要数据集的实验表明，我们的方法在高资源和低资源的设置下优于最先进的模型。

Zero-shot cross-lingual named entity recognition (NER) aims at transferring knowledge from annotated and rich-resource data in source languages to unlabeled and lean-resource data in target languages. Existing mainstream methods based on the teacher-student distillation framework ignore the rich and complementary information lying in the intermediate layers of pre-trained language models, and domain-invariant information is easily lost during transfer. In this study, a mixture of short-channel distillers (MSD) method is proposed to fully interact the rich hierarchical information in the teacher model and to transfer knowledge to the student model sufficiently and efficiently. Concretely, a multi-channel distillation framework is designed for sufficient information transfer by aggregating multiple distillers as a mixture. Besides, an unsupervised method adopting parallel domain adaptation is proposed to shorten the channels between the teacher and student models to preserve domain-invariant features. Experiments on four datasets across nine languages demonstrate that the proposed method achieves new state-of-the-art performance on zero-shot cross-lingual NER and shows great generalization and compatibility across languages and fields.

先前的研究证明，跨语性知识蒸馏可以显着提高预训练模型的跨语义相似性匹配任务的性能。但是，在此操作中，学生模型必须大。否则，其性能将急剧下降，从而使部署到内存限制设备的不切实际。为了解决这个问题，我们深入研究了跨语言知识蒸馏，并提出了一个多阶段蒸馏框架，用于构建一个小型但高性能的跨语性模型。在我们的框架中，合并了对比度学习，瓶颈和参数复发策略，以防止在压缩过程中损害性能。实验结果表明，我们的方法可以压缩XLM-R和Minilm的大小超过50 \％，而性能仅降低约1％。

我们从任务特定的BERT基教师模型执行知识蒸馏（KD）基准到各种学生模型：Bilstm，CNN，Bert-Tiny，Bert-Mini和Bert-small。我们的实验涉及在两个任务中分组的12个数据集：印度尼西亚语言中的文本分类和序列标记。我们还比较蒸馏的各个方面，包括使用Word Embeddings和未标记的数据增强的使用。我们的实验表明，尽管基于变压器的模型的普及程度不断上升，但是使用Bilstm和CNN学生模型，与修剪的BERT模型相比，使用Bilstm和CNN学生模型提供了性能和计算资源（CPU，RAM和存储）之间的最佳权衡。我们进一步提出了一些快速胜利，通过涉及涉及丢失功能，Word Embeddings和未标记的数据准备的简单选择的高效KD培训机制来生产小型NLP模型。

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

在本文中，我们分享了我们努力建立能够翻译一千多种语言的实用机器翻译（MT）系统的发现。我们在三个研究领域中描述了结果：（i）通过利用半监督预训练的语言识别和开发数据驱动的过滤技术来构建1500多种语言的清洁，网挖数据集； （ii）通过利用大规模的多语言模型来开发用于服务不足的语言的实用MT模型，该模型训练了有监督的并行数据，以使用100多种高资源语言和单语言数据集，以增加1000多种语言； （iii）研究这些语言的评估指标的局限性，并对我们MT模型的输出进行定性分析，突出显示了这些类型模型的几种频繁误差模式。我们希望我们的工作为旨在为当前研究的语言构建MT系统的从业者提供有用的见解，并突出显示可以补充Data-Sparse设置中大量多语言模型的弱点的研究方向。

将最新的变压器模型蒸馏成轻量级的学生模型是降低推理时计算成本的有效方法。学生模型通常是紧凑的变压器，参数较少，而昂贵的操作（例如自我发项）持续存在。因此，对于实时或大量用例，提高的推理速度仍然不令人满意。在本文中，我们旨在通过将教师模型提炼成更大，更稀疏的学生模型来进一步推动推理速度的极限 - 更大的是它们扩展到数十亿个参数；稀疏，大多数模型参数是N-gram嵌入。我们对六个单词文本分类任务的实验表明，这些学生模型平均保留了罗伯塔大师教师表现的97％，同时推理时GPU和CPU的加速速度最高为600倍。进一步的调查表明，我们的管道也有助于句子对分类任务和域泛化设置。

句子嵌入通常用于文本聚类和语义检索任务中。最先进的句子表示方法基于大量手动标记句子对集合的人工神经网络。高资源语言（例如英语或中文）可以使用足够数量的注释数据。在不太受欢迎的语言中，必须使用多语言模型，从而提供较低的性能。在本出版物中，我们通过提出一种培训有效的语言特定句子编码的方法来解决此问题，而无需手动标记数据。我们的方法是从句子对准双语文本语料库中自动构建释义对数据集。然后，我们使用收集的数据来微调具有附加复发池层的变压器语言模型。我们的句子编码器可以在不到一天的时间内在一张图形卡上进行培训，从而在各种句子级的任务上实现高性能。我们在波兰语中评估了八个语言任务的方法，并将其与最佳可用多语言句子编码器进行比较。

知识蒸馏（KD），最称为模型压缩的有效方法，旨在将更大的网络（教师）的知识转移到更小的网络（学生）。传统的KD方法通常采用以监督方式培训的教师模型，其中输出标签仅作为目标处理。我们进一步扩展了这一受监督方案，我们为KD，即Oracle老师推出了一种新型的教师模型，它利用源输入和输出标签的嵌入来提取更准确的知识来转移到学生。所提出的模型遵循变压器网络的编码器解码器注意结构，这允许模型从输出标签上参加相关信息。在三种不同的序列学习任务中进行了广泛的实验：语音识别，场景文本识别和机器翻译。从实验结果来看，我们经验证明，拟议的模型在这些任务中改善了学生，同时在教师模型的培训时间内实现了相当大的速度。

跨语性转移（CLT）是各种应用。但是，标记的跨语言语料库是昂贵甚至无法访问的，尤其是在标签是私人的领域，例如医学症状和业务中用户概况的诊断结果。然而，这些敏感领域有现成的模型。 CLT的解决方法不是追求原始标签，而是从没有标签的现成模型中转移知识。为此，我们定义了一个名为Freetransfer-X的新颖的CLT问题，旨在实现知识转移，以丰富的资源语言的现成模型转移。为了解决这个问题，我们提出了基于多语言预训练的语言模型（MPLM）的两步知识蒸馏（KD，Hinton等，2015）框架。对强神经转换（NMT）基线的显着改善证明了该方法的有效性。除了降低注释成本和保护专用标签外，该建议的方法还与不同的网络兼容，并且易于部署。最后，一系列分析表明该方法的巨大潜力。

Language model pre-training, such as BERT, has significantly improved the performances of many natural language processing tasks. However, pre-trained language models are usually computationally expensive, so it is difficult to efficiently execute them on resourcerestricted devices. To accelerate inference and reduce model size while maintaining accuracy, we first propose a novel Transformer distillation method that is specially designed for knowledge distillation (KD) of the Transformer-based models. By leveraging this new KD method, the plenty of knowledge encoded in a large "teacher" BERT can be effectively transferred to a small "student" Tiny-BERT. Then, we introduce a new two-stage learning framework for TinyBERT, which performs Transformer distillation at both the pretraining and task-specific learning stages. This framework ensures that TinyBERT can capture the general-domain as well as the task-specific knowledge in BERT. TinyBERT 41 with 4 layers is empirically effective and achieves more than 96.8% the performance of its teacher BERT BASE on GLUE benchmark, while being 7.5x smaller and 9.4x faster on inference. TinyBERT 4 is also significantly better than 4-layer state-of-the-art baselines on BERT distillation, with only ∼28% parameters and ∼31% inference time of them. Moreover, TinyBERT 6 with 6 layers performs on-par with its teacher BERT BASE .

This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

我们介绍了一个大规模实验，该实验对编码器进行了预处理，其参数计数范围从700m到9.3b不等，随后蒸馏到较小的型号中，范围为17m-170亿参数，其应用到自然语言理解（NLU）组件（NLU）组件（虚拟助手系统。尽管我们使用70％的口语数据训练，但在对书面形式的跨语性自然语言推论（XNLI）语料库进行评估时，我们的教师模型与XLM-R和MT5相当。我们使用系统中的内域数据对教师模型进行了第二阶段的训练，以提高了3.86％的相对分类，而相对7.01％的插槽填充。我们发现，即使是从我们的2阶段教师模型中提取的170亿参数模型，与仅接受公共数据的2.3B参数老师相比，与2.3B参数老师相比，意图分类更好2.88％，并且7.69％的插槽填充错误率更好（第1阶段），强调了。内域数据对训练的重要性。当使用标记的NLU数据进行离线评估时，我们的17m参数阶段2蒸馏模型的表现分别优于XLM-R碱基（85m Params）和Distillbert（42m Params），分别优于4.23％至6.14％。最后，我们介绍了一个完整的虚拟助手实验平台的结果，在该平台中，我们发现使用经过预训练和蒸馏管道训练的模型超过了从8500万参数教师蒸馏的模型，在自动测量全系统用户不满的自动测量中，从8500万参数教师蒸馏出3.74％-4.91％。