一些基于变压器的模型可以执行跨语言转移学习：这些模型可以通过一种语言对特定任务进行培训，并以另一种语言的同一任务给予相对良好的结果，尽管仅在单语任务中进行了预先培训。但是，关于这些基于变压器的模型是否学习跨语言的通用模式，目前尚无共识。我们提出了一种单词级的任务不可能的方法，以评估此类模型构建的上下文化表示的对齐方式。我们表明，与以前的方法相比，我们的方法提供了更准确的翻译成对，以评估单词级别对齐。我们的结果表明，基于多语言变压器模型的某些内部层优于其他明确对齐的表示，甚至根据多语言对齐的更严格的定义，更是如此。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。

Universal cross-lingual sentence embeddings map semantically similar cross-lingual sentences into a shared embedding space. Aligning cross-lingual sentence embeddings usually requires supervised cross-lingual parallel sentences. In this work, we propose mSimCSE, which extends SimCSE to multilingual settings and reveal that contrastive learning on English data can surprisingly learn high-quality universal cross-lingual sentence embeddings without any parallel data. In unsupervised and weakly supervised settings, mSimCSE significantly improves previous sentence embedding methods on cross-lingual retrieval and multilingual STS tasks. The performance of unsupervised mSimCSE is comparable to fully supervised methods in retrieving low-resource languages and multilingual STS. The performance can be further enhanced when cross-lingual NLI data is available. Our code is publicly available at https://github.com/yaushian/mSimCSE.

State-of-the-art natural language processing systems rely on supervision in the form of annotated data to learn competent models. These models are generally trained on data in a single language (usually English), and cannot be directly used beyond that language. Since collecting data in every language is not realistic, there has been a growing interest in crosslingual language understanding (XLU) and low-resource cross-language transfer. In this work, we construct an evaluation set for XLU by extending the development and test sets of the Multi-Genre Natural Language Inference Corpus (MultiNLI) to 15 languages, including low-resource languages such as Swahili and Urdu. We hope that our dataset, dubbed XNLI, will catalyze research in cross-lingual sentence understanding by providing an informative standard evaluation task. In addition, we provide several baselines for multilingual sentence understanding, including two based on machine translation systems, and two that use parallel data to train aligned multilingual bag-of-words and LSTM encoders. We find that XNLI represents a practical and challenging evaluation suite, and that directly translating the test data yields the best performance among available baselines.

翻译质量估计（QE）是预测机器翻译（MT）输出质量的任务，而无需任何参考。作为MT实际应用中的重要组成部分，这项任务已越来越受到关注。在本文中，我们首先提出了XLMRScore，这是一种基于使用XLM-Roberta（XLMR）模型计算的BertScore的简单无监督的QE方法，同时讨论了使用此方法发生的问题。接下来，我们建议两种减轻问题的方法：用未知令牌和预训练模型的跨语性对准替换未翻译的单词，以表示彼此之间的一致性单词。我们在WMT21 QE共享任务的四个低资源语言对上评估了所提出的方法，以及本文介绍的新的英语FARSI测试数据集。实验表明，我们的方法可以在两个零射击方案的监督基线中获得可比的结果，即皮尔森相关性的差异少于0.01，同时在所有低资源语言对中的平均低资源语言对中的无人看管竞争对手的平均水平超过8％的平均水平超过8％。 。

非洲语言仍然滞留在自然语言处理技术的进步中，是缺乏代表性数据的一个原因，具有可以在语言之间传输信息的技术可以帮助减少缺乏数据问题。本文列车Setswana和Sepedi单语法向量，并使用Vecmap为Setsssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssswana-sepedi创建交叉语言嵌入式。 Word Embeddings是字向量，其代表单词作为连续浮动数字，其中语义类似的单词映射到N维空间中的附近点。 Word Embeddings的想法是基于分布假设，即在类似上下文中分发了语义类似的单词（Harris，1954）。通过学习两个单独训练的单丝矢量的共享矢量空间来利用单晶嵌入来利用单晶的嵌入，使得具有类似含义的单词由类似的载体表示。在本文中，我们调查Setswana-Sepedi单声道单词矢量的十字旋转嵌入。我们使用Vecmap中的无监督十字形嵌入式培训Setswana-Sepedi跨语言嵌入式。我们使用语义评估任务评估Setswana-Sepedi交叉词表示的质量。对于语义相似性任务，我们将单词和Simlex任务翻译成SetSwana和Sepedi。我们将此数据集发布为其他研究人员的这项工作的一部分。我们评估嵌入式的内在质量，以确定是否有改进单词嵌入的语义表示。

In this paper, we show that Multilingual BERT (M-BERT), released by Devlin et al. (2019) as a single language model pre-trained from monolingual corpora in 104 languages, is surprisingly good at zero-shot cross-lingual model transfer, in which task-specific annotations in one language are used to fine-tune the model for evaluation in another language. To understand why, we present a large number of probing experiments, showing that transfer is possible even to languages in different scripts, that transfer works best between typologically similar languages, that monolingual corpora can train models for code-switching, and that the model can find translation pairs. From these results, we can conclude that M-BERT does create multilingual representations, but that these representations exhibit systematic deficiencies affecting certain language pairs.

句子嵌入通常用于文本聚类和语义检索任务中。最先进的句子表示方法基于大量手动标记句子对集合的人工神经网络。高资源语言（例如英语或中文）可以使用足够数量的注释数据。在不太受欢迎的语言中，必须使用多语言模型，从而提供较低的性能。在本出版物中，我们通过提出一种培训有效的语言特定句子编码的方法来解决此问题，而无需手动标记数据。我们的方法是从句子对准双语文本语料库中自动构建释义对数据集。然后，我们使用收集的数据来微调具有附加复发池层的变压器语言模型。我们的句子编码器可以在不到一天的时间内在一张图形卡上进行培训，从而在各种句子级的任务上实现高性能。我们在波兰语中评估了八个语言任务的方法，并将其与最佳可用多语言句子编码器进行比较。

Much recent progress in applications of machine learning models to NLP has been driven by benchmarks that evaluate models across a wide variety of tasks. However, these broad-coverage benchmarks have been mostly limited to English, and despite an increasing interest in multilingual models, a benchmark that enables the comprehensive evaluation of such methods on a diverse range of languages and tasks is still missing. To this end, we introduce the Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) benchmark, a multi-task benchmark for evaluating the cross-lingual generalization capabilities of multilingual representations across 40 languages and 9 tasks. We demonstrate that while models tested on English reach human performance on many tasks, there is still a sizable gap in the performance of cross-lingually transferred models, particularly on syntactic and sentence retrieval tasks. There is also a wide spread of results across languages. We release the benchmark 1 to encourage research on cross-lingual learning methods that transfer linguistic knowledge across a diverse and representative set of languages and tasks.

零拍摄的交叉传输是现代NLP模型和架构中的一个重要功能，以支持低资源语言。在这项工作中，我们在多标签文本分类下将零拍摄的交叉传输到法语和德语，我们使用英语培训集培训分类器，我们使用法语和德语测试集进行测试。我们以法语和德语官方翻译扩展了欧洲互联网数据集，英国数据集，了解法律文件的主题分类。我们调查使用一些训练技术，即逐步的未填写和语言模型FineTuning的效果，对零射击交叉传输的质量。我们发现，多语言预训练模型（M-Distilbert，M-BERT）的语言模型，导致32.0-34.94％，相应地对法国和德国测试集的相对改进。此外，在培训期间逐渐未经培训的模型层，为法国人的相对提高38-45％，德国人58-70％。与使用英语，法国和德国培训集中的联合培训方案中的模型进行培训，零击贝尔的分类模型达到了通过共同训练的基于伯特的分类模型实现的86％。

知识库，例如Wikidata Amass大量命名实体信息，例如多语言标签，这些信息对于各种多语言和跨语义应用程序非常有用。但是，从信息一致性的角度来看，不能保证这样的标签可以跨语言匹配，从而极大地损害了它们对机器翻译等字段的有用性。在这项工作中，我们研究了单词和句子对准技术的应用，再加上匹配算法，以将从Wikidata提取的10种语言中提取的跨语性实体标签对齐。我们的结果表明，Wikidata的主标签之间的映射将通过任何使用的方法都大大提高（F1分数最高20美元）。我们展示了依赖句子嵌入的方法如何超过所有其他脚本，甚至在不同的脚本上。我们认为，这种技术在测量标签对的相似性上的应用，再加上富含高质量实体标签的知识库，是机器翻译的绝佳资产。

两个关键假设塑造了排名检索的通常视图：（1）搜索者可以为他们希望看到的文档中的疑问选择单词，并且（2）排名检索的文档就足以，因为搜索者将足够就足够了能够认识到他们希望找到的那些。当要搜索的文档处于搜索者未知的语言时，既不是真的。在这种情况下，需要跨语言信息检索（CLIR）。本章审查了艺术技术的交流信息检索，并概述了一些开放的研究问题。

双语术语是电子商务领域中重要的机器翻译资源，通常是手动翻译或自动从并行数据中提取的。人类的翻译成本高昂，电子商务并行语料库非常稀缺。但是，同一商品领域中不同语言中的可比数据很丰富。在本文中，我们提出了一个新颖的框架，即从可比较的数据中提取电子商业双语术语。我们的框架受益于电子商务的跨语化预培训，可以充分利用源端术语和目标端句子之间的深层语义关系，以提取相应的目标术语。各种语言对的实验结果表明，我们的方法比各种强大的基线都取得了明显更好的性能。

跨语言嵌入（CLWE）已被证明在许多跨语性任务中有用。但是，大多数现有的学习Clwe的方法，包括具有上下文嵌入的方法是无知的。在这项工作中，我们提出了一个新颖的框架，以通过仅利用双语词典的跨语性信号来使上下文嵌入在感觉层面上。我们通过首先提出一种新颖的感知感知的跨熵损失来明确地提出一种新颖的感知跨熵损失来实现我们的框架。通过感知感知的跨熵损失预算的单语Elmo和BERT模型显示出对单词感官歧义任务的显着改善。然后，我们提出了一个感官对齐目标，除了跨语义模型预训练的感知感知跨熵损失以及几种语言对的跨语义模型（英语对德语/西班牙语/日本/中文）。与最佳的基线结果相比，我们的跨语言模型分别在零摄影，情感分类和XNLI任务上达到0.52％，2.09％和1.29％的平均绩效提高。

我们对真正低资源语言的神经机翻译（NMT）进行了实证研究，并提出了一个训练课程，适用于缺乏并行培训数据和计算资源的情况，反映了世界上大多数世界语言和研究人员的现实致力于这些语言。以前，已经向低资源语言储存了使用后翻译（BT）和自动编码（AE）任务的无监督NMT。我们证明利用可比的数据和代码切换作为弱监管，与BT和AE目标相结合，即使仅使用适度的计算资源，低资源语言也会显着改进。在这项工作中提出的培训课程实现了Bleu分数，可通过+12.2 Bleu为古吉拉特和+3.7 Bleu为哈萨克斯培训的监督NMT培训，展示了弱势监督的巨大监督态度资源语言。在受到监督数据的培训时，我们的培训课程达到了索马里数据集（索马里29.3的BLEU的最先进的结果）。我们还观察到增加更多时间和GPU来培训可以进一步提高性能，强调报告在MT研究中的报告资源使用的重要性。

虽然最近关于多语种语言模型的工作已经证明了他们对下游任务的交叉零射击传输的能力，但社区缺乏符合语言之间的共享属性，可以实现这种转移。涉及成对的自然语言的分析通常是不确定的，并且矛盾以来，许多语言方面同时不同。在本文中，我们进行大规模的实证研究，通过测量四种不同的自然语言和通过修改脚本，单词顺序和语法等方面构造的零拍摄传递来隔离各种语言特性的影响。在其他事情之外，我们的实验表明，当语言的单词顺序不同时，缺乏子字重叠显着影响零拍摄传输，并且在语言之间的传输性能和Word嵌入对准之间存在强烈相关性（例如，r = 0.94关于NLI的任务）。我们的结果呼吁专注于在明确改进语言之间的嵌入对齐而不是依赖于隐含的出现。

MARCO排名数据集已广泛用于培训IR任务的深度学习模型，在不同的零射击方案上实现了相当大的效果。但是，这种类型的资源是英语以外的语言的稀缺。在这项工作中，我们呈现MMARCO，MS Marco段落的多语言版本，该数据集包括使用机器翻译创建的13种语言。我们通过微调单语和多语言重新排名模型以及此数据集的密集多语言模型进行了评估。实验结果表明，在我们翻译的数据集上微调微调的多语言模型可以单独对原始英文版的模型进行微调的卓越效果。我们蒸馏的多语言RE-RANKER与非蒸馏模型具有竞争力，而参数较少的5.4倍。最后，我们展现了翻译质量和检索效果之间的正相关性，提供了证据，即翻译方法的改进可能导致多语言信息检索的改进。翻译的数据集和微调模型可在https://github.com/unicamp-dl/mmarco.git上获得。

Cross-lingual transfer learning without labeled target language data or parallel text has been surprisingly effective in zero-shot cross-lingual classification, question answering, unsupervised machine translation, etc. However, some recent publications have claimed that domain mismatch prevents cross-lingual transfer, and their results show that unsupervised bilingual lexicon induction (UBLI) and unsupervised neural machine translation (UNMT) do not work well when the underlying monolingual corpora come from different domains (e.g., French text from Wikipedia but English text from UN proceedings). In this work, we show that a simple initialization regimen can overcome much of the effect of domain mismatch in cross-lingual transfer. We pre-train word and contextual embeddings on the concatenated domain-mismatched corpora, and use these as initializations for three tasks: MUSE UBLI, UN Parallel UNMT, and the SemEval 2017 cross-lingual word similarity task. In all cases, our results challenge the conclusions of prior work by showing that proper initialization can recover a large portion of the losses incurred by domain mismatch.

编码单词语义属性的密集词向量或“Word Embeddings”现在已成为机器翻译（MT），问题应答（QA），字感消解（WSD）和信息检索（IR）中的NLP任务的积分。在本文中，我们使用各种现有方法为14个印度语言创建多个单词嵌入。我们将这些嵌入的嵌入式为所有这些语言，萨姆萨姆，孟加拉，古吉拉蒂，印地教派，kannada，konkani，malayalam，marathi，尼泊尔，odiya，punjabi，梵语，泰米尔和泰雅古士在一个单一的存储库中。相对较新的方法，强调迎合上下文（BERT，ELMO等），表明了显着的改进，但需要大量资源来产生可用模型。我们释放使用上下文和非上下文方法生成的预训练嵌入。我们还使用Muse和XLM来培训所有上述语言的交叉语言嵌入。为了展示我们嵌入的效果，我们为所有这些语言评估了我们对XPOS，UPOS和NER任务的嵌入模型。我们使用8种不同的方法释放了436个型号。我们希望他们对资源受限的印度语言NLP有用。本文的标题是指最初在1924年出版的福斯特的着名小说“一段是印度”。