非洲语言仍然滞留在自然语言处理技术的进步中，是缺乏代表性数据的一个原因，具有可以在语言之间传输信息的技术可以帮助减少缺乏数据问题。本文列车Setswana和Sepedi单语法向量，并使用Vecmap为Setsssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssswana-sepedi创建交叉语言嵌入式。 Word Embeddings是字向量，其代表单词作为连续浮动数字，其中语义类似的单词映射到N维空间中的附近点。 Word Embeddings的想法是基于分布假设，即在类似上下文中分发了语义类似的单词（Harris，1954）。通过学习两个单独训练的单丝矢量的共享矢量空间来利用单晶嵌入来利用单晶的嵌入，使得具有类似含义的单词由类似的载体表示。在本文中，我们调查Setswana-Sepedi单声道单词矢量的十字旋转嵌入。我们使用Vecmap中的无监督十字形嵌入式培训Setswana-Sepedi跨语言嵌入式。我们使用语义评估任务评估Setswana-Sepedi交叉词表示的质量。对于语义相似性任务，我们将单词和Simlex任务翻译成SetSwana和Sepedi。我们将此数据集发布为其他研究人员的这项工作的一部分。我们评估嵌入式的内在质量，以确定是否有改进单词嵌入的语义表示。

编码单词语义属性的密集词向量或“Word Embeddings”现在已成为机器翻译（MT），问题应答（QA），字感消解（WSD）和信息检索（IR）中的NLP任务的积分。在本文中，我们使用各种现有方法为14个印度语言创建多个单词嵌入。我们将这些嵌入的嵌入式为所有这些语言，萨姆萨姆，孟加拉，古吉拉蒂，印地教派，kannada，konkani，malayalam，marathi，尼泊尔，odiya，punjabi，梵语，泰米尔和泰雅古士在一个单一的存储库中。相对较新的方法，强调迎合上下文（BERT，ELMO等），表明了显着的改进，但需要大量资源来产生可用模型。我们释放使用上下文和非上下文方法生成的预训练嵌入。我们还使用Muse和XLM来培训所有上述语言的交叉语言嵌入。为了展示我们嵌入的效果，我们为所有这些语言评估了我们对XPOS，UPOS和NER任务的嵌入模型。我们使用8种不同的方法释放了436个型号。我们希望他们对资源受限的印度语言NLP有用。本文的标题是指最初在1924年出版的福斯特的着名小说“一段是印度”。

翻译质量估计（QE）是预测机器翻译（MT）输出质量的任务，而无需任何参考。作为MT实际应用中的重要组成部分，这项任务已越来越受到关注。在本文中，我们首先提出了XLMRScore，这是一种基于使用XLM-Roberta（XLMR）模型计算的BertScore的简单无监督的QE方法，同时讨论了使用此方法发生的问题。接下来，我们建议两种减轻问题的方法：用未知令牌和预训练模型的跨语性对准替换未翻译的单词，以表示彼此之间的一致性单词。我们在WMT21 QE共享任务的四个低资源语言对上评估了所提出的方法，以及本文介绍的新的英语FARSI测试数据集。实验表明，我们的方法可以在两个零射击方案的监督基线中获得可比的结果，即皮尔森相关性的差异少于0.01，同时在所有低资源语言对中的平均低资源语言对中的无人看管竞争对手的平均水平超过8％的平均水平超过8％。 。

State-of-the-art natural language processing systems rely on supervision in the form of annotated data to learn competent models. These models are generally trained on data in a single language (usually English), and cannot be directly used beyond that language. Since collecting data in every language is not realistic, there has been a growing interest in crosslingual language understanding (XLU) and low-resource cross-language transfer. In this work, we construct an evaluation set for XLU by extending the development and test sets of the Multi-Genre Natural Language Inference Corpus (MultiNLI) to 15 languages, including low-resource languages such as Swahili and Urdu. We hope that our dataset, dubbed XNLI, will catalyze research in cross-lingual sentence understanding by providing an informative standard evaluation task. In addition, we provide several baselines for multilingual sentence understanding, including two based on machine translation systems, and two that use parallel data to train aligned multilingual bag-of-words and LSTM encoders. We find that XNLI represents a practical and challenging evaluation suite, and that directly translating the test data yields the best performance among available baselines.

同源是不同语言的同一词汇形式的变体;例如，英语中的“Fonema”和英语中的“音素”是同源的，这两者都意味着'声音单位'。在任何两种语言中自动检测同源的任务可以帮助下游的NLP任务，例如交叉信息检索，计算系统发育和机器翻译。在本文中，我们展示了使用跨语言词嵌入来检测十四印度语言中的同源。我们的方法介绍了从知识图中使用上下文，以生成用于同源检测的改进的特征表示。然后，我们评估了我们对神经电机翻译（NMT）对神经电机翻译（NMT）的影响，作为下游任务。我们评估我们的方法，以检测十二个印度语言的具有挑战性的数据集的方法，即梵语，印地文，issamese，奥里亚，kannada，古吉拉蒂，泰米尔，Telugu，Punjabi，Bengali，Marathi和Malayalam。此外，我们为另外两种印度语言，Konkani和Nepali创建评估数据集。我们在F评分方面，观察到高达18％的分数，以获得同源检测。此外，我们观察到使用我们的方法提取的同源有助于提高NMT质量高达2.76 BLEU。我们还公开发布我们的代码，新建的数据集和交叉语言模型。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

跨语言嵌入（CLWE）已被证明在许多跨语性任务中有用。但是，大多数现有的学习Clwe的方法，包括具有上下文嵌入的方法是无知的。在这项工作中，我们提出了一个新颖的框架，以通过仅利用双语词典的跨语性信号来使上下文嵌入在感觉层面上。我们通过首先提出一种新颖的感知感知的跨熵损失来明确地提出一种新颖的感知跨熵损失来实现我们的框架。通过感知感知的跨熵损失预算的单语Elmo和BERT模型显示出对单词感官歧义任务的显着改善。然后，我们提出了一个感官对齐目标，除了跨语义模型预训练的感知感知跨熵损失以及几种语言对的跨语义模型（英语对德语/西班牙语/日本/中文）。与最佳的基线结果相比，我们的跨语言模型分别在零摄影，情感分类和XNLI任务上达到0.52％，2.09％和1.29％的平均绩效提高。

We present, Naamapadam, the largest publicly available Named Entity Recognition (NER) dataset for the 11 major Indian languages from two language families. In each language, it contains more than 400k sentences annotated with a total of at least 100k entities from three standard entity categories (Person, Location and Organization) for 9 out of the 11 languages. The training dataset has been automatically created from the Samanantar parallel corpus by projecting automatically tagged entities from an English sentence to the corresponding Indian language sentence. We also create manually annotated testsets for 8 languages containing approximately 1000 sentences per language. We demonstrate the utility of the obtained dataset on existing testsets and the Naamapadam-test data for 8 Indic languages. We also release IndicNER, a multilingual mBERT model fine-tuned on the Naamapadam training set. IndicNER achieves the best F1 on the Naamapadam-test set compared to an mBERT model fine-tuned on existing datasets. IndicNER achieves an F1 score of more than 80 for 7 out of 11 Indic languages. The dataset and models are available under open-source licenses at https://ai4bharat.iitm.ac.in/naamapadam.

Universal cross-lingual sentence embeddings map semantically similar cross-lingual sentences into a shared embedding space. Aligning cross-lingual sentence embeddings usually requires supervised cross-lingual parallel sentences. In this work, we propose mSimCSE, which extends SimCSE to multilingual settings and reveal that contrastive learning on English data can surprisingly learn high-quality universal cross-lingual sentence embeddings without any parallel data. In unsupervised and weakly supervised settings, mSimCSE significantly improves previous sentence embedding methods on cross-lingual retrieval and multilingual STS tasks. The performance of unsupervised mSimCSE is comparable to fully supervised methods in retrieving low-resource languages and multilingual STS. The performance can be further enhanced when cross-lingual NLI data is available. Our code is publicly available at https://github.com/yaushian/mSimCSE.

Cross-lingual transfer learning without labeled target language data or parallel text has been surprisingly effective in zero-shot cross-lingual classification, question answering, unsupervised machine translation, etc. However, some recent publications have claimed that domain mismatch prevents cross-lingual transfer, and their results show that unsupervised bilingual lexicon induction (UBLI) and unsupervised neural machine translation (UNMT) do not work well when the underlying monolingual corpora come from different domains (e.g., French text from Wikipedia but English text from UN proceedings). In this work, we show that a simple initialization regimen can overcome much of the effect of domain mismatch in cross-lingual transfer. We pre-train word and contextual embeddings on the concatenated domain-mismatched corpora, and use these as initializations for three tasks: MUSE UBLI, UN Parallel UNMT, and the SemEval 2017 cross-lingual word similarity task. In all cases, our results challenge the conclusions of prior work by showing that proper initialization can recover a large portion of the losses incurred by domain mismatch.

一些基于变压器的模型可以执行跨语言转移学习：这些模型可以通过一种语言对特定任务进行培训，并以另一种语言的同一任务给予相对良好的结果，尽管仅在单语任务中进行了预先培训。但是，关于这些基于变压器的模型是否学习跨语言的通用模式，目前尚无共识。我们提出了一种单词级的任务不可能的方法，以评估此类模型构建的上下文化表示的对齐方式。我们表明，与以前的方法相比，我们的方法提供了更准确的翻译成对，以评估单词级别对齐。我们的结果表明，基于多语言变压器模型的某些内部层优于其他明确对齐的表示，甚至根据多语言对齐的更严格的定义，更是如此。

跨语言嵌入可以应用于多种语言的几种自然语言处理应用程序。与先前使用基于欧几里得空间嵌入单词嵌入的作品不同，这篇简短的论文提出了一种简单有效的跨语言2VEC模型，该模型适应了PoinCar \'E Ball of双曲空间的球模型，从 - 英语平行语料库。已经表明，双曲线嵌入可以捕获和保留分层关系。我们在高呼气和类比任务上评估了模型。所提出的模型在跨语言类比任务上与香草word2Vec模型实现了可比的性能，超呼气任务表明，跨语义的poincar \'e Word2vec模型可以从跨语言中捕获潜在的层次结构，而这些文本跨越跨语言，这些结构是从跨语言中捕获的基于欧几里得的Word2Vec表示。我们的结果表明，通过保留潜在的分层信息，双曲线空间可以为跨语性嵌入提供更好的表示。

本文涉及捷克，英语和法语语言的跨语言分析。我们使用五个线性转换与LSTM和CNN基于CNN的分类器进行零射击跨语性分类。我们比较了单个转换的性能，此外，我们与现有的类似伯特的模型面对基于转换的方法。我们表明，与单语言分类不同的是，来自目标域的预训练的嵌入对于改善跨语性分类结果至关重要，在单语分类中，效果并非如此独特。

知识库，例如Wikidata Amass大量命名实体信息，例如多语言标签，这些信息对于各种多语言和跨语义应用程序非常有用。但是，从信息一致性的角度来看，不能保证这样的标签可以跨语言匹配，从而极大地损害了它们对机器翻译等字段的有用性。在这项工作中，我们研究了单词和句子对准技术的应用，再加上匹配算法，以将从Wikidata提取的10种语言中提取的跨语性实体标签对齐。我们的结果表明，Wikidata的主标签之间的映射将通过任何使用的方法都大大提高（F1分数最高20美元）。我们展示了依赖句子嵌入的方法如何超过所有其他脚本，甚至在不同的脚本上。我们认为，这种技术在测量标签对的相似性上的应用，再加上富含高质量实体标签的知识库，是机器翻译的绝佳资产。

Much recent progress in applications of machine learning models to NLP has been driven by benchmarks that evaluate models across a wide variety of tasks. However, these broad-coverage benchmarks have been mostly limited to English, and despite an increasing interest in multilingual models, a benchmark that enables the comprehensive evaluation of such methods on a diverse range of languages and tasks is still missing. To this end, we introduce the Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) benchmark, a multi-task benchmark for evaluating the cross-lingual generalization capabilities of multilingual representations across 40 languages and 9 tasks. We demonstrate that while models tested on English reach human performance on many tasks, there is still a sizable gap in the performance of cross-lingually transferred models, particularly on syntactic and sentence retrieval tasks. There is also a wide spread of results across languages. We release the benchmark 1 to encourage research on cross-lingual learning methods that transfer linguistic knowledge across a diverse and representative set of languages and tasks.

Translating training data into many languages has emerged as a practical solution for improving cross-lingual transfer. For tasks that involve span-level annotations, such as information extraction or question answering, an additional label projection step is required to map annotated spans onto the translated texts. Recently, a few efforts have utilized a simple mark-then-translate method to jointly perform translation and projection by inserting special markers around the labeled spans in the original sentence. However, as far as we are aware, no empirical analysis has been conducted on how this approach compares to traditional annotation projection based on word alignment. In this paper, we present an extensive empirical study across 42 languages and three tasks (QA, NER, and Event Extraction) to evaluate the effectiveness and limitations of both methods, filling an important gap in the literature. Experimental results show that our optimized version of mark-then-translate, which we call EasyProject, is easily applied to many languages and works surprisingly well, outperforming the more complex word alignment-based methods. We analyze several key factors that affect end-task performance, and show EasyProject works well because it can accurately preserve label span boundaries after translation. We will publicly release all our code and data.

最近，大型预用语言模型（LMS）越来越受欢迎。培训这些模型需要更多的计算资源，并且大多数现有模型仅在英文文本上培训。以其他语言训练这些模型非常昂贵。为了缓解这个问题，我们介绍了一种叫做威施塞的方法 - 将英语模型传输到新语言。我们将英语模型的销量与目标语言中的销量交换，并初始化令牌嵌入式，以便通过利用覆盖英语和目标语言的多语言静态字嵌入来初始化令牌嵌入式。我们使用Wechsel将GPT-2和Roberta模型转移到4种其他语言（法语，德语，中文和斯瓦希里语）。 Wechsel通过以前提出的跨语言参数转移和优于比较大小的模型来改善从目标语言的划痕训练的相当大小的型号，距离培训速度较小。我们的方法使培训大型语言模型为新语言更容易访问，更少损害环境。我们宣传我们的代码和型号。

我们对真正低资源语言的神经机翻译（NMT）进行了实证研究，并提出了一个训练课程，适用于缺乏并行培训数据和计算资源的情况，反映了世界上大多数世界语言和研究人员的现实致力于这些语言。以前，已经向低资源语言储存了使用后翻译（BT）和自动编码（AE）任务的无监督NMT。我们证明利用可比的数据和代码切换作为弱监管，与BT和AE目标相结合，即使仅使用适度的计算资源，低资源语言也会显着改进。在这项工作中提出的培训课程实现了Bleu分数，可通过+12.2 Bleu为古吉拉特和+3.7 Bleu为哈萨克斯培训的监督NMT培训，展示了弱势监督的巨大监督态度资源语言。在受到监督数据的培训时，我们的培训课程达到了索马里数据集（索马里29.3的BLEU的最先进的结果）。我们还观察到增加更多时间和GPU来培训可以进一步提高性能，强调报告在MT研究中的报告资源使用的重要性。

我们介绍ASNER，这是一种使用基线阿萨姆语NER模型的低资源阿萨姆语言的命名实体注释数据集。该数据集包含大约99k代币，其中包括印度总理和阿萨姆人戏剧演讲中的文字。它还包含个人名称，位置名称和地址。拟议的NER数据集可能是基于深神经的阿萨姆语言处理的重要资源。我们通过训练NER模型进行基准测试数据集并使用最先进的体系结构评估被监督的命名实体识别（NER），例如FastText，Bert，XLM-R，Flair，Muril等。我们实施了几种基线方法，标记BI-LSTM-CRF体系结构的序列。当使用Muril用作单词嵌入方法时，所有基线中最高的F1得分的准确性为80.69％。带注释的数据集和最高性能模型公开可用。

Pre-trained language models are trained on large-scale unsupervised data, and they can be fine-tuned on small-scale labeled datasets and achieve good results. Multilingual pre-trained language models can be trained on multiple languages and understand multiple languages at the same time. At present, the research on pre-trained models mainly focuses on rich-resource language, while there is relatively little research on low-resource languages such as minority languages, and the public multilingual pre-trained language model can not work well for minority languages. Therefore, this paper constructs a multilingual pre-trained language model named MiLMo that performs better on minority language tasks, including Mongolian, Tibetan, Uyghur, Kazakh and Korean. To solve the problem of scarcity of datasets on minority languages and verify the effectiveness of the MiLMo model, this paper constructs a minority multilingual text classification dataset named MiTC, and trains a word2vec model for each language. By comparing the word2vec model and the pre-trained model in the text classification task, this paper provides an optimal scheme for the downstream task research of minority languages. The final experimental results show that the performance of the pre-trained model is better than that of the word2vec model, and it has achieved the best results in minority multilingual text classification. The multilingual pre-trained language model MiLMo, multilingual word2vec model and multilingual text classification dataset MiTC are published on https://milmo.cmli-nlp.com.