本报告介绍了在大型多语种计算机翻译中为WMT21共享任务的Microsoft的机器翻译系统。我们参加了所有三种评估轨道，包括大轨道和两个小轨道，前者是无约束的，后两者完全受约束。我们的模型提交到共享任务的初始化用deltalm \脚注{\ url {https://aka.ms/deltalm}}，一个通用的预训练的多语言编码器 - 解码器模型，并相应地使用巨大的收集并行进行微调数据和允许的数据源根据轨道设置，以及应用逐步学习和迭代背翻译方法进一步提高性能。我们的最终提交在自动评估度量方面排名第一的三条轨道。

Traditional multilingual neural machine translation (MNMT) uses a single model to translate all directions. However, with the increasing scale of language pairs, simply using a single model for massive MNMT brings new challenges: parameter tension and large computations. In this paper, we revisit multi-way structures by assigning an individual branch for each language (group). Despite being a simple architecture, it is challenging to train de-centralized models due to the lack of constraints to align representations from all languages. We propose a localized training recipe to map different branches into a unified space, resulting in an efficient detachable model, Lego-MT. For a fair comparison, we collect data from OPUS and build the first large-scale open-source translation benchmark covering 7 language-centric data, each containing 445 language pairs. Experiments show that Lego-MT (1.2B) brings gains of more than 4 BLEU while outperforming M2M-100 (12B) (We will public all training data, models, and checkpoints)

语言之间的大多数翻译任务都属于无法使用的零资源翻译问题。与两种通用枢轴翻译相比，多语言神经机器翻译（MNMT）可以使用所有语言的共享语义空间进行一通翻译，但通常表现不佳的基于枢轴的方法。在本文中，我们提出了一种新颖的方法，称为NMT（UM4）的统一多语言多语言多种教师模型。我们的方法统一了来源教师，目标老师和枢轴教师模型，以指导零资源翻译的学生模型。来源老师和目标教师迫使学生学习直接来源，以通过源头和目标方面的蒸馏知识进行目标翻译。枢轴教师模型进一步利用单语语料库来增强学生模型。实验结果表明，我们的72个方向模型在WMT基准测试上明显优于先前的方法。

多语种NMT已成为MT在生产中部署的有吸引力的解决方案。但是要匹配双语质量，它符合较大且较慢的型号。在这项工作中，我们考虑了几种方法在推理时更快地使多语言NMT变得更快而不会降低其质量。我们在两种20语言多平行设置中尝试几个“光解码器”架构：在TED会谈中小规模和帕拉克曲线上的大规模。我们的实验表明，将具有词汇过滤的浅解码器组合在于，在翻译质量下没有损失的速度超过两倍。我们用Bleu和Chrf（380语言对），鲁棒性评估和人类评估验证了我们的研究结果。

本文介绍了我们提交给WMT21共享新闻翻译任务的受限轨道。我们专注于三个相对低的资源语言对孟加拉，从印地语，英语往返Hausa，以及来自Zulu的Xhosa。为了克服相对低行数据的限制，我们使用采用并行和单晶体数据的多任务目标训练多语言模型。此外，我们使用后退转换增强数据。我们还培养了一种双语模型，包括后退转换和知识蒸馏，然后使用序列到序列映射来组合两种模型。我们看到迄今为止英语和来自Hausa的Bleu Point的相对收益约为70％，以及与双语基线相比，孟加拉和从Zulu的孟加拉和从Zulu的相对改善约25％。

我们提出了一种两阶段的培训方法，用于开发单个NMT模型，以翻译英语和英语的看不见的语言。对于第一阶段，我们将编码器模型初始化以鉴定XLM-R和Roberta的权重，然后对25种语言的平行数据进行多种语言微调。我们发现该模型可以推广到对看不见的语言的零击翻译。在第二阶段，我们利用这种概括能力从单语数据集生成合成的并行数据，然后用连续的反向翻译训练。最终模型扩展到了英语到许多方向，同时保持了多到英语的性能。我们称我们的方法为ecxtra（以英语为中心的跨语言（x）转移）。我们的方法依次利用辅助并行数据和单语言数据，并且在概念上很简单，仅在两个阶段都使用标准的跨熵目标。最终的ECXTRA模型对8种低资源语言的无监督NMT进行了评估，该语言为英语至哈萨克语（22.3> 10.4 bleu）以及其他15个翻译方向的竞争性能而获得了新的最先进。

This paper demonstrates that multilingual denoising pre-training produces significant performance gains across a wide variety of machine translation (MT) tasks. We present mBART -a sequence-to-sequence denoising auto-encoder pre-trained on large-scale monolingual corpora in many languages using the BART objective . mBART is the first method for pre-training a complete sequence-to-sequence model by denoising full texts in multiple languages, while previous approaches have focused only on the encoder, decoder, or reconstructing parts of the text. Pre-training a complete model allows it to be directly fine tuned for supervised (both sentence-level and document-level) and unsupervised machine translation, with no task-specific modifications. We demonstrate that adding mBART initialization produces performance gains in all but the highest-resource settings, including up to 12 BLEU points for low resource MT and over 5 BLEU points for many document-level and unsupervised models. We also show it also enables new types of transfer to language pairs with no bi-text or that were not in the pre-training corpus, and present extensive analysis of which factors contribute the most to effective pre-training.

通过多种语言对培训的多语言神经机器翻译（MNMT），由于模型参数的较少和较低的培训成本，通过在多种语言之间共享知识，引起了人们的关注。尽管如此，由于不同翻译方向之间的负面干扰，尤其是在高资源语言上，因此，多语言培训在共享参数中受到语言干扰退化的困扰。在本文中，我们提出了具有高资源语言特定培训（HLT-MT）的多语言翻译模型，以减轻负面干扰，该干扰采用了具有特定于语言的选择机制的两阶段培训。具体而言，我们首先仅使用高资源对训练多语言模型，然后选择解码器顶部的语言特定模块，以增强高资源方向的翻译质量。接下来，对所有可用语料库进行进一步培训，将知识从高资源语言（HRLS）转移到低资源语言（LRLS）。实验结果表明，HLT-MT在WMT-10和Opus-100基准测试上的表现优于各种强基础。此外，分析实验验证了我们方法在减轻多语言训练中负面干扰方面的有效性。

机器翻译系统（MTS）是通过将文本或语音从一种语言转换为另一种语言的有效工具。在像印度这样的大型多语言环境中，对有效的翻译系统的需求变得显而易见，英语和一套印度语言（ILS）正式使用。与英语相反，由于语料库的不可用，IL仍然被视为低资源语言。为了解决不对称性质，多语言神经机器翻译（MNMT）系统会发展为在这个方向上的理想方法。在本文中，我们提出了一个MNMT系统，以解决与低资源语言翻译有关的问题。我们的模型包括两个MNMT系统，即用于英语印度（一对多），另一个用于指示英语（多一对多），其中包含15个语言对（30个翻译说明）的共享编码器码头。由于大多数IL对具有很少的平行语料库，因此不足以训练任何机器翻译模型。我们探索各种增强策略，以通过建议的模型提高整体翻译质量。最先进的变压器体系结构用于实现所提出的模型。大量数据的试验揭示了其优越性比常规模型的优势。此外，本文解决了语言关系的使用（在方言，脚本等方面），尤其是关于同一家族的高资源语言在提高低资源语言表现方面的作用。此外，实验结果还表明了ILS的倒退和域适应性的优势，以提高源和目标语言的翻译质量。使用所有这些关键方法，我们提出的模型在评估指标方面比基线模型更有效，即一组ILS的BLEU（双语评估研究）得分。

多语言神经机器翻译（MNMT）使一个系统能够将句子从多种源语言转换为多种目标语言，与传统的双语系统相比，大大降低了部署成本。但是，MNMT培训益处通常仅限于多一对一的方向。该模型在一对一的表现不佳，并且在零镜头设置中遭受了多种影响。为了解决这个问题，本文讨论了如何实际构建提供任意X-Y翻译指示的MNMT系统，同时使用预处理和填充的两阶段培训策略利用多语言。尝试WMT'21多语言翻译任务，我们证明我们的系统的表现优于大多数方向的直接双语模型和枢轴翻译模型的传统基线，平均提供+6.0和+4.1 BLEU，而无需进行架构更改或额外的数据收集。 。此外，我们还在极大的数据设置中检查了我们提出的方法，以适应实际的部署方案。

本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。

在所有人类语言对之间实现通用翻译是机器翻译的圣杯（MT）研究。虽然最近在大量的多语言MT中的进展是达到这一目标的一步，但它变得明显，即简单地通过在更加平行数据上训练扩展多语言MT系统是不可编译的，因为用于低资源和非英语的标记数据的可用性 - 姓氏对禁止有限。为此，我们展示了一种务实的方法，可以使用监督和自我监督目标的混合来构建涵盖数百种语言的多语种MT模型，具体取决于不同语言对的数据可用性。我们展示这两种训练范例之间的协同作用使模型能够在零资源设置中产生高质量的翻译，甚至超过监控的用于中资和中资和中资质。我们开展广泛的实验，了解多语言监督，域错配和平行和单机数据量的效果，以了解我们自我监督的多语言模型的质量。为了展示方法的可扩展性，我们培训具有200多种语言的模型，并在几个先前研究的语言上展示了对零资源翻译的高性能。我们希望我们的调查结果将成为踏脚石，以便为下一千种语言进行翻译。

只有在模型在大规模的多语言环境中培训的情况下，才有可能在无监督的机器翻译（UMT）上进行无监督的机器翻译（UMT），这意味着有能力的无监督翻译（例如尼泊尔或辛哈拉）的胜任的不受监督的翻译，例如尼泊尔或辛哈拉语。与高资源对应物混合。尽管如此，尽管高资源语言极大地帮助启动了目标低资源翻译任务，但它们之间的语言差异可能会阻碍他们的进一步改进。在这项工作中，我们提出了一个简单的完善程序，以将语言与预先训练的多语言UMT模型相关联，以仅关注目标低资源任务。我们的方法在完全无监督的翻译任务中实现了最新的尼泊尔，僧伽罗，古吉拉特语，拉脱维亚，爱沙尼亚和哈萨克的最新技术，分别为3.5、3.3、3.3、4.1、4.2、4.2和3.3。我们的代码库可从https://github.com/nxphi47/refine_unsup_multlingual_mt获得

以前的工作主要侧重于改善NLU任务的交叉传输，具有多语言预用编码器（MPE），或提高与伯特的监督机器翻译的性能。然而，探索了，MPE是否可以有助于促进NMT模型的交叉传递性。在本文中，我们专注于NMT中的零射频转移任务。在此任务中，NMT模型培训，只有一个语言对的并行数据集和搁置架MPE，然后它直接测试在零拍语言对上。我们为此任务提出了Sixt，一个简单而有效的模型。 SIXT利用了两阶段培训计划利用MPE，并进一步改进了解离编码器和容量增强的解码器。使用此方法，SIMPT显着优于MBart，这是一个用于NMT的预磨削的多语言编码器解码器模型，平均改善了14个源语言的零拍摄的任何英语测试集上的7.1 BLEU。此外，培训计算成本和培训数据较少，我们的模型在15个任何英语测试组上实现了比Criss和M2M-100，两个强大的多语言NMT基线更好的性能。

在本文中，我们分享了我们努力建立能够翻译一千多种语言的实用机器翻译（MT）系统的发现。我们在三个研究领域中描述了结果：（i）通过利用半监督预训练的语言识别和开发数据驱动的过滤技术来构建1500多种语言的清洁，网挖数据集； （ii）通过利用大规模的多语言模型来开发用于服务不足的语言的实用MT模型，该模型训练了有监督的并行数据，以使用100多种高资源语言和单语言数据集，以增加1000多种语言； （iii）研究这些语言的评估指标的局限性，并对我们MT模型的输出进行定性分析，突出显示了这些类型模型的几种频繁误差模式。我们希望我们的工作为旨在为当前研究的语言构建MT系统的从业者提供有用的见解，并突出显示可以补充Data-Sparse设置中大量多语言模型的弱点的研究方向。

We present SpeechMatrix, a large-scale multilingual corpus of speech-to-speech translations mined from real speech of European Parliament recordings. It contains speech alignments in 136 language pairs with a total of 418 thousand hours of speech. To evaluate the quality of this parallel speech, we train bilingual speech-to-speech translation models on mined data only and establish extensive baseline results on EuroParl-ST, VoxPopuli and FLEURS test sets. Enabled by the multilinguality of SpeechMatrix, we also explore multilingual speech-to-speech translation, a topic which was addressed by few other works. We also demonstrate that model pre-training and sparse scaling using Mixture-of-Experts bring large gains to translation performance. The mined data and models are freely available.

Pre-trained models have achieved remarkable success in natural language processing (NLP). However, existing pre-training methods underutilize the benefits of language understanding for generation. Inspired by the idea of Generative Adversarial Networks (GANs), we propose a GAN-style model for encoder-decoder pre-training by introducing an auxiliary discriminator, unifying the ability of language understanding and generation in a single model. Our model, named as GanLM, is trained with two pre-training objectives: replaced token detection and replaced token denoising. Specifically, given masked source sentences, the generator outputs the target distribution and the discriminator predicts whether the target sampled tokens from distribution are incorrect. The target sentence is replaced with misclassified tokens to construct noisy previous context, which is used to generate the gold sentence. In general, both tasks improve the ability of language understanding and generation by selectively using the denoising data. Extensive experiments in language generation benchmarks show that GanLM with the powerful language understanding capability outperforms various strong pre-trained language models (PLMs) and achieves state-of-the-art performance.

我们描述了JD Explore Academy对WMT 2022共享的一般翻译任务的提交。我们参加了所有高资源曲目和一条中型曲目，包括中文英语，德语英语，捷克语英语，俄语 - 英语和日语英语。我们通过扩大两个主要因素，即语言对和模型大小，即\ textbf {vega-mt}系统来推动以前的工作的极限 - 进行翻译的双向培训。至于语言对，我们将“双向”扩展到“多向”设置，涵盖所有参与语言，以利用跨语言的常识，并将其转移到下游双语任务中。至于型号尺寸，我们将变压器限制到拥有近47亿参数的极大模型，以完全增强我们VEGA-MT的模型容量。此外，我们采用数据增强策略，例如单语数据的循环翻译以及双语和单语数据的双向自我训练，以全面利用双语和单语言数据。为了使我们的Vega-MT适应通用域测试集，设计了概括调整。根据受约束系统的官方自动分数，根据图1所示的sacrebleu，我们在{zh-en（33.5），en-zh（49.7）（49.7），de-en（33.7）上获得了第一名-de（37.8），CS-EN（54.9），En-CS（41.4）和En-Ru（32.7）}，在{ru-en（45.1）和Ja-en（25.6）}和第三名上的第二名和第三名在{en-ja（41.5）}上； W.R.T彗星，我们在{zh-en（45.1），en-zh（61.7），de-en（58.0），en-de（63.2），cs-en（74.7），ru-en（ru-en（ru-en）上，我们获得了第一名64.9），en-ru（69.6）和en-ja（65.1）}，分别在{en-cs（95.3）和ja-en（40.6）}上的第二名。将发布模型，以通过GitHub和Omniforce平台来促进MT社区。

多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即零弹性翻译。但是，零拍的翻译总是不稳定的。尽管先前的作品将不稳定归因于中心语言的统治，例如英语，我们以非中心语言的严格依赖性来补充这种观点。在这项工作中，我们通过适应非中心语言并将共享信息和特定于语言的信息组合来抵消零拍的不稳定性，从而提出了一种简单，轻巧但有效的特定语言建模方法。在IWSLT17，Europarl，TED Talks和Opus-100数据集上进行变压器的实验表明，我们的方法不仅在中心数据条件下的性能优于强基础，而且还可以轻松拟合非中心数据条件。通过进一步研究层归因，我们表明我们所提出的方法可以将耦合表示形式朝正确的方向解散。

多语种预训练模型在许多多语言NLP任务中展示了它们的有效性，并使从高资源语言到低资源的零射击或几秒钟传输。然而，由于某种语言之间的显着的类型差异和矛盾，这些模型通常在许多语言和交叉语言设置上表现不佳，这表明了学习单一模型同时处理大规模不同语言的难度。为了减轻这个问题，我们提出了一个新的多语言预训练管道。我们建议从多语言预先训练的模型产生语言表示，并进行语言分析，以表明语言表示相似度反映了从多个角度来看的语言相似度，包括语言家庭，地理蓝星，词汇表演和语法。然后，我们将所有目标语言集成到多个组中，并将每个组名称为表示SprachBund。因此，在同一表示SprachBund中的语言应该在培训和微调中互相提升，因为它们共享丰富的语言相似性。我们预先列车为每个代表斯普拉克班达一个多语言模型。实验在交叉基准上进行，与强基线相比，实现了显着的改进。