在完全共享所有语言参数的多语言神经机器翻译模型中，通常使用人工语言令牌来指导转换为所需的目标语言。但是，最近的研究表明，预备语言代币有时无法将多语言神经机器翻译模型导航到正确的翻译方向，尤其是在零弹性翻译上。为了减轻此问题，我们提出了两种方法：语言嵌入实施例和语言意识的多头关注，以学习信息丰富的语言表示，以将翻译转换为正确的方向。前者体现了沿着从源到目标的信息流中的不同关键切换点的语言，旨在放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵分为多个头，以学习多个子空间中的语言表示。在两个数据集上进行大规模多语言神经机器翻译的实验结果表明，语言意识到的多头注意力受益于监督和零弹性翻译，并大大减轻了脱靶翻译问题。进一步的语言类型学预测实验表明，通过我们的方法学到的基于基质的语言表示能够捕获丰富的语言类型学特征。

Multilingual machine translation suffers from negative interference across languages. A common solution is to relax parameter sharing with language-specific modules like adapters. However, adapters of related languages are unable to transfer information, and their total number of parameters becomes prohibitively expensive as the number of languages grows. In this work, we overcome these drawbacks using hyper-adapters -- hyper-networks that generate adapters from language and layer embeddings. While past work had poor results when scaling hyper-networks, we propose a rescaling fix that significantly improves convergence and enables training larger hyper-networks. We find that hyper-adapters are more parameter efficient than regular adapters, reaching the same performance with up to 12 times less parameters. When using the same number of parameters and FLOPS, our approach consistently outperforms regular adapters. Also, hyper-adapters converge faster than alternative approaches and scale better than regular dense networks. Our analysis shows that hyper-adapters learn to encode language relatedness, enabling positive transfer across languages.

通过多种语言对培训的多语言神经机器翻译（MNMT），由于模型参数的较少和较低的培训成本，通过在多种语言之间共享知识，引起了人们的关注。尽管如此，由于不同翻译方向之间的负面干扰，尤其是在高资源语言上，因此，多语言培训在共享参数中受到语言干扰退化的困扰。在本文中，我们提出了具有高资源语言特定培训（HLT-MT）的多语言翻译模型，以减轻负面干扰，该干扰采用了具有特定于语言的选择机制的两阶段培训。具体而言，我们首先仅使用高资源对训练多语言模型，然后选择解码器顶部的语言特定模块，以增强高资源方向的翻译质量。接下来，对所有可用语料库进行进一步培训，将知识从高资源语言（HRLS）转移到低资源语言（LRLS）。实验结果表明，HLT-MT在WMT-10和Opus-100基准测试上的表现优于各种强基础。此外，分析实验验证了我们方法在减轻多语言训练中负面干扰方面的有效性。

多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即零弹性翻译。但是，零拍的翻译总是不稳定的。尽管先前的作品将不稳定归因于中心语言的统治，例如英语，我们以非中心语言的严格依赖性来补充这种观点。在这项工作中，我们通过适应非中心语言并将共享信息和特定于语言的信息组合来抵消零拍的不稳定性，从而提出了一种简单，轻巧但有效的特定语言建模方法。在IWSLT17，Europarl，TED Talks和Opus-100数据集上进行变压器的实验表明，我们的方法不仅在中心数据条件下的性能优于强基础，而且还可以轻松拟合非中心数据条件。通过进一步研究层归因，我们表明我们所提出的方法可以将耦合表示形式朝正确的方向解散。

We propose a simple solution to use a single Neural Machine Translation (NMT) model to translate between multiple languages. Our solution requires no changes to the model architecture from a standard NMT system but instead introduces an artificial token at the beginning of the input sentence to specify the required target language. The rest of the model, which includes an encoder, decoder and attention module, remains unchanged and is shared across all languages. Using a shared wordpiece vocabulary, our approach enables Multilingual NMT using a single model without any increase in parameters, which is significantly simpler than previous proposals for Multilingual NMT. On the WMT'14 benchmarks, a single multilingual model achieves comparable performance for English→French and surpasses state-of-the-art results for English→German. Similarly, a single multilingual model surpasses state-of-the-art results for French→English and German→English on WMT'14 and WMT'15 benchmarks, respectively. On production corpora, multilingual models of up to twelve language pairs allow for better translation of many individual pairs. In addition to improving the translation quality of language pairs that the model was trained with, our models can also learn to perform implicit bridging between language pairs never seen explicitly during training, showing that transfer learning and zero-shot translation is possible for neural translation. Finally, we show analyses that hints at a universal interlingua representation in our models and show some interesting examples when mixing languages.

我们提出了一种两阶段的培训方法，用于开发单个NMT模型，以翻译英语和英语的看不见的语言。对于第一阶段，我们将编码器模型初始化以鉴定XLM-R和Roberta的权重，然后对25种语言的平行数据进行多种语言微调。我们发现该模型可以推广到对看不见的语言的零击翻译。在第二阶段，我们利用这种概括能力从单语数据集生成合成的并行数据，然后用连续的反向翻译训练。最终模型扩展到了英语到许多方向，同时保持了多到英语的性能。我们称我们的方法为ecxtra（以英语为中心的跨语言（x）转移）。我们的方法依次利用辅助并行数据和单语言数据，并且在概念上很简单，仅在两个阶段都使用标准的跨熵目标。最终的ECXTRA模型对8种低资源语言的无监督NMT进行了评估，该语言为英语至哈萨克语（22.3> 10.4 bleu）以及其他15个翻译方向的竞争性能而获得了新的最先进。

以前的工作主要侧重于改善NLU任务的交叉传输，具有多语言预用编码器（MPE），或提高与伯特的监督机器翻译的性能。然而，探索了，MPE是否可以有助于促进NMT模型的交叉传递性。在本文中，我们专注于NMT中的零射频转移任务。在此任务中，NMT模型培训，只有一个语言对的并行数据集和搁置架MPE，然后它直接测试在零拍语言对上。我们为此任务提出了Sixt，一个简单而有效的模型。 SIXT利用了两阶段培训计划利用MPE，并进一步改进了解离编码器和容量增强的解码器。使用此方法，SIMPT显着优于MBart，这是一个用于NMT的预磨削的多语言编码器解码器模型，平均改善了14个源语言的零拍摄的任何英语测试集上的7.1 BLEU。此外，培训计算成本和培训数据较少，我们的模型在15个任何英语测试组上实现了比Criss和M2M-100，两个强大的多语言NMT基线更好的性能。

多语种神经机翻译（MNMT）旨在通过单一模型进行翻译多种语言，并且由于具有共享参数的不同语言的有效知识传输，已被证明是成功的。但是，它仍然是一个开放的问题，应该共享哪些参数，并且需要是特定于任务的。目前，常识是启发式设计或搜索特定语言的模块，这很难找到最佳配置。在本文中，我们提出了一种基于新的参数差异化方法，允许模型确定在训练期间应该是哪个参数。灵感来自蜂窝分化，我们方法中的每个共享参数都可以动态区分为更专业化的类型。我们还将差分标准定义为任务间梯度相似性。因此，突出的任务渐变间的参数更可能是特定于语言的。关于多语言数据集的大量实验表明，我们的方法显着优于不同参数共享配置的各种强基线。进一步的分析表明，通过我们的方法获得的参数共享配置与语言近似度很好地相关。

Contrastive learning has been successfully used for retrieval of semantically aligned sentences, but it often requires large batch sizes or careful engineering to work well. In this paper, we instead propose a generative model for learning multilingual text embeddings which can be used to retrieve or score sentence pairs. Our model operates on parallel data in $N$ languages and, through an approximation we introduce, efficiently encourages source separation in this multilingual setting, separating semantic information that is shared between translations from stylistic or language-specific variation. We show careful large-scale comparisons between contrastive and generation-based approaches for learning multilingual text embeddings, a comparison that has not been done to the best of our knowledge despite the popularity of these approaches. We evaluate this method on a suite of tasks including semantic similarity, bitext mining, and cross-lingual question retrieval -- the last of which we introduce in this paper. Overall, our Variational Multilingual Source-Separation Transformer (VMSST) model outperforms both a strong contrastive and generative baseline on these tasks.

We present SpeechMatrix, a large-scale multilingual corpus of speech-to-speech translations mined from real speech of European Parliament recordings. It contains speech alignments in 136 language pairs with a total of 418 thousand hours of speech. To evaluate the quality of this parallel speech, we train bilingual speech-to-speech translation models on mined data only and establish extensive baseline results on EuroParl-ST, VoxPopuli and FLEURS test sets. Enabled by the multilinguality of SpeechMatrix, we also explore multilingual speech-to-speech translation, a topic which was addressed by few other works. We also demonstrate that model pre-training and sparse scaling using Mixture-of-Experts bring large gains to translation performance. The mined data and models are freely available.

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

Multilingual machine translation models can benefit from synergy between different language pairs, but also suffer from interference. While there is a growing number of sophisticated methods that aim to eliminate interference, our understanding of interference as a phenomenon is still limited. This work identifies the main factors that contribute to interference in multilingual machine translation. Through systematic experimentation, we find that interference (or synergy) are primarily determined by model size, data size, and the proportion of each language pair within the total dataset. We observe that substantial interference occurs mainly when the model is very small with respect to the available training data, and that using standard transformer configurations with less than one billion parameters largely alleviates interference and promotes synergy. Moreover, we show that tuning the sampling temperature to control the proportion of each language pair in the data is key to balancing the amount of interference between low and high resource language pairs effectively, and can lead to superior performance overall.

Directly training a document-to-document (Doc2Doc) neural machine translation (NMT) via Transformer from scratch, especially on small datasets usually fails to converge. Our dedicated probing tasks show that 1) both the absolute position and relative position information gets gradually weakened or even vanished once it reaches the upper encoder layers, and 2) the vanishing of absolute position information in encoder output causes the training failure of Doc2Doc NMT. To alleviate this problem, we propose a position-aware Transformer (P-Transformer) to enhance both the absolute and relative position information in both self-attention and cross-attention. Specifically, we integrate absolute positional information, i.e., position embeddings, into the query-key pairs both in self-attention and cross-attention through a simple yet effective addition operation. Moreover, we also integrate relative position encoding in self-attention. The proposed P-Transformer utilizes sinusoidal position encoding and does not require any task-specified position embedding, segment embedding, or attention mechanism. Through the above methods, we build a Doc2Doc NMT model with P-Transformer, which ingests the source document and completely generates the target document in a sequence-to-sequence (seq2seq) way. In addition, P-Transformer can be applied to seq2seq-based document-to-sentence (Doc2Sent) and sentence-to-sentence (Sent2Sent) translation. Extensive experimental results of Doc2Doc NMT show that P-Transformer significantly outperforms strong baselines on widely-used 9 document-level datasets in 7 language pairs, covering small-, middle-, and large-scales, and achieves a new state-of-the-art. Experimentation on discourse phenomena shows that our Doc2Doc NMT models improve the translation quality in both BLEU and discourse coherence. We make our code available on Github.

最近在单语数据和机器翻译（MT）进行微调的预培训方面取得了成功，但尚不清楚如何最好地利用预先训练的模型来完成给定的MT任务。本文在微调MT上的预训练模型时研究了冻结参数的好处和缺点。我们专注于1）微调仅在英语单语言数据的BART上训练的模型。2）微调一个模型，该模型对25种语言的单语言数据进行了培训，Mbart。对于Bart，我们通过冻结大多数模型参数并添加额外的位置嵌入来获得最佳性能。对于MBART，我们将大多数语言对的天真微调的性能与编码器以及大多数解码器搭配。编码器的注意参数对于微调最重要。当将自己限制为越南人对英语的室外训练套装时，我们看到了基线的最大进步。

多语种NMT已成为MT在生产中部署的有吸引力的解决方案。但是要匹配双语质量，它符合较大且较慢的型号。在这项工作中，我们考虑了几种方法在推理时更快地使多语言NMT变得更快而不会降低其质量。我们在两种20语言多平行设置中尝试几个“光解码器”架构：在TED会谈中小规模和帕拉克曲线上的大规模。我们的实验表明，将具有词汇过滤的浅解码器组合在于，在翻译质量下没有损失的速度超过两倍。我们用Bleu和Chrf（380语言对），鲁棒性评估和人类评估验证了我们的研究结果。

多语言神经机器翻译（MNMT）使一个系统能够将句子从多种源语言转换为多种目标语言，与传统的双语系统相比，大大降低了部署成本。但是，MNMT培训益处通常仅限于多一对一的方向。该模型在一对一的表现不佳，并且在零镜头设置中遭受了多种影响。为了解决这个问题，本文讨论了如何实际构建提供任意X-Y翻译指示的MNMT系统，同时使用预处理和填充的两阶段培训策略利用多语言。尝试WMT'21多语言翻译任务，我们证明我们的系统的表现优于大多数方向的直接双语模型和枢轴翻译模型的传统基线，平均提供+6.0和+4.1 BLEU，而无需进行架构更改或额外的数据收集。 。此外，我们还在极大的数据设置中检查了我们提出的方法，以适应实际的部署方案。

The word alignment task, despite its prominence in the era of statistical machine translation (SMT), is niche and under-explored today. In this two-part tutorial, we argue for the continued relevance for word alignment. The first part provides a historical background to word alignment as a core component of the traditional SMT pipeline. We zero-in on GIZA++, an unsupervised, statistical word aligner with surprising longevity. Jumping forward to the era of neural machine translation (NMT), we show how insights from word alignment inspired the attention mechanism fundamental to present-day NMT. The second part shifts to a survey approach. We cover neural word aligners, showing the slow but steady progress towards surpassing GIZA++ performance. Finally, we cover the present-day applications of word alignment, from cross-lingual annotation projection, to improving translation.

幻觉是一种困扰神经机器翻译的一种病理翻译，最近引起了很多关注。简而言之，幻觉翻译是流利的句子，但与源输入几乎没有关系。可以说，如何发生幻觉仍然是一个开放的问题。在本文中，我们建议使用探测方法从模型架构的角度研究幻觉的原因，旨在避免将来的架构设计中的此类问题。通过对各种NMT数据集进行实验，我们发现幻觉通常伴随着不足的编码器，尤其是嵌入式和脆弱的交叉分离，而有趣的是，跨煽动会减轻编码器引起的一些错误。

语言之间的大多数翻译任务都属于无法使用的零资源翻译问题。与两种通用枢轴翻译相比，多语言神经机器翻译（MNMT）可以使用所有语言的共享语义空间进行一通翻译，但通常表现不佳的基于枢轴的方法。在本文中，我们提出了一种新颖的方法，称为NMT（UM4）的统一多语言多语言多种教师模型。我们的方法统一了来源教师，目标老师和枢轴教师模型，以指导零资源翻译的学生模型。来源老师和目标教师迫使学生学习直接来源，以通过源头和目标方面的蒸馏知识进行目标翻译。枢轴教师模型进一步利用单语语料库来增强学生模型。实验结果表明，我们的72个方向模型在WMT基准测试上明显优于先前的方法。

只有在模型在大规模的多语言环境中培训的情况下，才有可能在无监督的机器翻译（UMT）上进行无监督的机器翻译（UMT），这意味着有能力的无监督翻译（例如尼泊尔或辛哈拉）的胜任的不受监督的翻译，例如尼泊尔或辛哈拉语。与高资源对应物混合。尽管如此，尽管高资源语言极大地帮助启动了目标低资源翻译任务，但它们之间的语言差异可能会阻碍他们的进一步改进。在这项工作中，我们提出了一个简单的完善程序，以将语言与预先训练的多语言UMT模型相关联，以仅关注目标低资源任务。我们的方法在完全无监督的翻译任务中实现了最新的尼泊尔，僧伽罗，古吉拉特语，拉脱维亚，爱沙尼亚和哈萨克的最新技术，分别为3.5、3.3、3.3、4.1、4.2、4.2和3.3。我们的代码库可从https://github.com/nxphi47/refine_unsup_multlingual_mt获得