临床表型可以从患者记录中自动提取临床状况，这可能对全球医生和诊所有益。但是，当前的最新模型主要适用于用英语编写的临床笔记。因此，我们研究了跨语化知识转移策略，以针对不使用英语并且有少量可用数据的诊所执行此任务。我们评估了希腊和西班牙诊所的这些策略，利用来自心脏病学，肿瘤学和ICU等不同临床领域的临床笔记。我们的结果揭示了两种策略，这些策略优于最先进的方法：基于翻译的方法，结合了域的编码器和跨语性编码器以及适配器。我们发现，这些策略在对稀有表型进行分类方面表现特别好，我们建议在哪种情况下更喜欢哪种方法。我们的结果表明，使用多语言数据总体可以改善临床表型模型，并可以补偿数据稀疏性。

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

跨语言转移学习已被证明在各种自然语言处理（NLP）任务中很有用，但是它在法律NLP的背景下被研究了，而在法律判断预测（LJP）中根本没有。我们使用三语瑞士判断数据集探索LJP上的转移学习技术，包括用三种语言编写的案例。我们发现，跨语性转移可以改善跨语言的总体结果，尤其是当我们使用基于适配器的微调时。最后，我们使用3倍较大的培训语料库使用机器翻译版本的原始文档的机器翻译版本来进一步提高模型的性能。此外，我们进行了一项分析，探讨了跨域和跨区域转移的效果，即跨域（法定区域）或地区培训模型。我们发现，在两个环境（法律领域，原产地地区）中，经过培训的所有小组的模型总体表现更好，而在最差的情况下，它们也改善了结果。最后，当我们雄心勃勃地应用跨寿司转移时，我们报告了改进的结果，在此我们通过印度法律案件进一步扩大数据集。

多语言预训练的语言模型（PLM）在高资源和低资源语言的下游任务上表现出令人印象深刻的表现。但是，在预培训期间，尤其是非洲语言中，看不见的语言仍然有很大的表现。适应新语言的最有效方法之一是\ textit {语言自适应微调}（LAFT） - 使用预训练目标对单语言的多语言PLM进行微调。但是，适应目标语言会单独使用大磁盘空间，并限制了由此产生的模型的跨语言转移能力，因为它们已经专门用于单语言。在本文中，我们对17种最重要的非洲语言和其他三种在非洲大陆上广泛使用的高资源语言对17种最具资源的非洲语言进行\ Textit {多语言自适应微调}，以鼓励跨语性转移学习。为了进一步专注于多语言PLM，我们从嵌入式层中删除了与MAFT之前的非非洲写作脚本相对应的词汇令牌，从而将模型大小降低了约50％。我们对两个多语言PLM（Afriberta和XLM-R）和三个NLP任务（NER，新闻主题分类和情感分类）的评估表明，我们的方法可以在单个语言上应用LAFT，同时需要较小的磁盘空间。此外，我们表明我们的适应性PLM还提高了参数有效微调方法的零击跨语性转移能力。

Much recent progress in applications of machine learning models to NLP has been driven by benchmarks that evaluate models across a wide variety of tasks. However, these broad-coverage benchmarks have been mostly limited to English, and despite an increasing interest in multilingual models, a benchmark that enables the comprehensive evaluation of such methods on a diverse range of languages and tasks is still missing. To this end, we introduce the Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) benchmark, a multi-task benchmark for evaluating the cross-lingual generalization capabilities of multilingual representations across 40 languages and 9 tasks. We demonstrate that while models tested on English reach human performance on many tasks, there is still a sizable gap in the performance of cross-lingually transferred models, particularly on syntactic and sentence retrieval tasks. There is also a wide spread of results across languages. We release the benchmark 1 to encourage research on cross-lingual learning methods that transfer linguistic knowledge across a diverse and representative set of languages and tasks.

Misinformation spread over social media has become an undeniable infodemic. However, not all spreading claims are made equal. If propagated, some claims can be destructive, not only on the individual level, but to organizations and even countries. Detecting claims that should be prioritized for fact-checking is considered the first step to fight against spread of fake news. With training data limited to a handful of languages, developing supervised models to tackle the problem over lower-resource languages is currently infeasible. Therefore, our work aims to investigate whether we can use existing datasets to train models for predicting worthiness of verification of claims in tweets in other languages. We present a systematic comparative study of six approaches for cross-lingual check-worthiness estimation across pairs of five diverse languages with the help of Multilingual BERT (mBERT) model. We run our experiments using a state-of-the-art multilingual Twitter dataset. Our results show that for some language pairs, zero-shot cross-lingual transfer is possible and can perform as good as monolingual models that are trained on the target language. We also show that in some languages, this approach outperforms (or at least is comparable to) state-of-the-art models.

社交媒体数据已成为有关现实世界危机事件的及时信息的有用来源。与将社交媒体用于灾难管理有关的主要任务之一是自动识别与危机相关的消息。关于该主题的大多数研究都集中在特定语言中特定类型事件的数据分析上。这限制了概括现有方法的可能性，因为模型不能直接应用于新类型的事件或其他语言。在这项工作中，我们研究了通过利用跨语言和跨域标记数据来自动对与危机事件相关的消息进行分类的任务。我们的目标是利用来自高资源语言的标记数据来对其他（低资源）语言和/或新（以前看不见的）类型的危机情况进行分类。在我们的研究中，我们从文献中合并了一个大型统一数据集，其中包含多个危机事件和语言。我们的经验发现表明，确实有可能利用英语危机事件的数据来对其他语言（例如西班牙语和意大利语）（80.0％的F1得分）对相同类型的事件进行分类。此外，我们在跨语言环境中为跨域任务（80.0％F1得分）取得了良好的性能。总体而言，我们的工作有助于改善数据稀缺问题，这对于多语言危机分类非常重要。特别是，当时间是本质的时候，可以减轻紧急事件中的冷启动情况。

Universal cross-lingual sentence embeddings map semantically similar cross-lingual sentences into a shared embedding space. Aligning cross-lingual sentence embeddings usually requires supervised cross-lingual parallel sentences. In this work, we propose mSimCSE, which extends SimCSE to multilingual settings and reveal that contrastive learning on English data can surprisingly learn high-quality universal cross-lingual sentence embeddings without any parallel data. In unsupervised and weakly supervised settings, mSimCSE significantly improves previous sentence embedding methods on cross-lingual retrieval and multilingual STS tasks. The performance of unsupervised mSimCSE is comparable to fully supervised methods in retrieving low-resource languages and multilingual STS. The performance can be further enhanced when cross-lingual NLI data is available. Our code is publicly available at https://github.com/yaushian/mSimCSE.

我们考虑使用最新的MultieRlex数据集中考虑法律主题分类中的零射击跨语性转移。由于原始数据集包含并行文档，这对于零拍传输不现实是不现实的，因此我们开发了一个没有并行文档的数据集的新版本。我们使用它来表明，基于翻译的方法非常优于多绘制预训练的模型，这是多曲线的最佳先前的零弹性传输方法。我们还开发了一种双语的教师零摄像转移方法，该方法利用了目标语言的其他未标记文档，并且比直接在标记的目标语言文档上进行微调的模型更好。

基于变压器的架构在许多下游流动任务中显示出显着的结果，包括问题应答。另一方面，数据的可用性阻碍了获得低资源语言的合法性能。在本文中，我们调查了预先训练的多语言模型的适用性，以提高低资源语言的问题的表现。我们使用与MLQA DataSet类似的七种语言进行多语言变压器架构测试了四种语言和任务适配器的组合。此外，我们还提出了使用语言和任务适配器回答的低资源问题的零拍摄转移学习。我们观察到堆叠语言和任务适配器对低资源语言的微语文变压器模型的性能显着提高。

最先进的神经（RE）排名者是众所周知的渴望数据，鉴于缺乏英语以外的其他语言培训数据 - 使它们很少用于多语言和跨语性检索设置。因此，当前的方法通常是通过多语言编码器培训的英语数据和跨语言设置的通常转移排名者：它们通过对英语相关性判断的所有预审预周化的多语言变压器（例如MMT，例如多语言BERT）的所有参数微调所有参数。用目标语言部署它们。在这项工作中，我们表明了两种参数效率的跨语性转移方法，即稀疏的微调蒙版（SFTM）和适配器，允许更轻巧，更有效的零拍传输到多语言和跨语言检索任务。我们首先通过蒙版语言建模来训练语言适配器（或SFTM），然后在最上方训练检索（即重新固定）适配器（SFTM），同时将所有其他参数保持固定。在推断时，这种模块化设计使我们能够通过应用（或SFTM）与源语言数据一起训练的（RE）排名适配器（或SFTM）以及目标语言的语言适配器（或SFTM）。我们对CLEF-2003和HC4基准进行了大规模的评估，此外，作为另一个贡献，我们还用三种新语言进行查询：吉尔吉斯，Uyghur和Turkish。所提出的参数效率方法的表现优于标准零射击传输，并具有完整的MMT微调，同时是模块化和减少训练时间。对于低资源语言，收益特别明显，我们的方法也大大优于基于竞争的机器翻译的排名。

State-of-the-art natural language processing systems rely on supervision in the form of annotated data to learn competent models. These models are generally trained on data in a single language (usually English), and cannot be directly used beyond that language. Since collecting data in every language is not realistic, there has been a growing interest in crosslingual language understanding (XLU) and low-resource cross-language transfer. In this work, we construct an evaluation set for XLU by extending the development and test sets of the Multi-Genre Natural Language Inference Corpus (MultiNLI) to 15 languages, including low-resource languages such as Swahili and Urdu. We hope that our dataset, dubbed XNLI, will catalyze research in cross-lingual sentence understanding by providing an informative standard evaluation task. In addition, we provide several baselines for multilingual sentence understanding, including two based on machine translation systems, and two that use parallel data to train aligned multilingual bag-of-words and LSTM encoders. We find that XNLI represents a practical and challenging evaluation suite, and that directly translating the test data yields the best performance among available baselines.

Task-oriented dialogue (TOD) systems have been applied in a range of domains to support human users to achieve specific goals. Systems are typically constructed for a single domain or language and do not generalise well beyond this. Their extension to other languages in particular is restricted by the lack of available training data for many of the world's languages. To support work on Natural Language Understanding (NLU) in TOD across multiple languages and domains simultaneously, we constructed MULTI3NLU++, a multilingual, multi-intent, multi-domain dataset. MULTI3NLU++ extends the English-only NLU++ dataset to include manual translations into a range of high, medium and low resource languages (Spanish, Marathi, Turkish and Amharic), in two domains (banking and hotels). MULTI3NLU++ inherits the multi-intent property of NLU++, where an utterance may be labelled with multiple intents, providing a more realistic representation of a user's goals and aligning with the more complex tasks that commercial systems aim to model. We use MULTI3NLU++ to benchmark state-of-the-art multilingual language models as well as Machine Translation and Question Answering systems for the NLU task of intent detection for TOD systems in the multilingual setting. The results demonstrate the challenging nature of the dataset, particularly in the low-resource language setting.

一种有效的横向传输方法是在一种语言中微调在监督数据集上的双语或多语言模型，并以零拍方式在另一种语言上进行评估。在培训时间或推理时间翻译例子也是可行的替代方案。然而，存在与文献中很少有关的这些方法相关的成本。在这项工作中，我们在其有效性（例如，准确性），开发和部署成本方面分析交叉语言方法，以及推理时间的延迟。我们的三个任务的实验表明最好的交叉方法是高度任务依赖性的。最后，通过结合零射和翻译方法，我们在这项工作中使用的三个数据集中实现了最先进的。基于这些结果，我们对目标语言手动标记的培训数据有所了解。代码和翻译的数据集可在https://github.com/unicamp-dl/cross-lingsual-analysis上获得

以前的工作主要侧重于改善NLU任务的交叉传输，具有多语言预用编码器（MPE），或提高与伯特的监督机器翻译的性能。然而，探索了，MPE是否可以有助于促进NMT模型的交叉传递性。在本文中，我们专注于NMT中的零射频转移任务。在此任务中，NMT模型培训，只有一个语言对的并行数据集和搁置架MPE，然后它直接测试在零拍语言对上。我们为此任务提出了Sixt，一个简单而有效的模型。 SIXT利用了两阶段培训计划利用MPE，并进一步改进了解离编码器和容量增强的解码器。使用此方法，SIMPT显着优于MBart，这是一个用于NMT的预磨削的多语言编码器解码器模型，平均改善了14个源语言的零拍摄的任何英语测试集上的7.1 BLEU。此外，培训计算成本和培训数据较少，我们的模型在15个任何英语测试组上实现了比Criss和M2M-100，两个强大的多语言NMT基线更好的性能。

对于许多任务，基于变压器的体系结构已经实现了最新的结果，从而导致实践从使用特定于任务的架构到预先训练的语言模型的微调。持续的趋势包括具有越来越多的数据和参数的培训模型，这需要大量资源。它导致了强有力的搜索，以提高基于仅针对英语评估的算法和硬件改进的算法和硬件改进。这引发了有关其可用性的疑问，当应用于小规模的学习问题时，对于资源不足的语言任务，有限的培训数据可用。缺乏适当尺寸的语料库是应用数据驱动和转移学习的方法的障碍。在本文中，我们建立了致力于基于变压器模型的可用性的最新努力，并建议评估这些改进的法语表现，而法语的效果很少。我们通过通过数据增强，超参数优化和跨语性转移来调查各种培训策略来解决与数据稀缺有关的不稳定。我们还为法国弗拉伯特（Fralbert）引入了一种新的紧凑型模型，该模型在低资源环境中被证明具有竞争力。

JamPatoisNLI provides the first dataset for natural language inference in a creole language, Jamaican Patois. Many of the most-spoken low-resource languages are creoles. These languages commonly have a lexicon derived from a major world language and a distinctive grammar reflecting the languages of the original speakers and the process of language birth by creolization. This gives them a distinctive place in exploring the effectiveness of transfer from large monolingual or multilingual pretrained models. While our work, along with previous work, shows that transfer from these models to low-resource languages that are unrelated to languages in their training set is not very effective, we would expect stronger results from transfer to creoles. Indeed, our experiments show considerably better results from few-shot learning of JamPatoisNLI than for such unrelated languages, and help us begin to understand how the unique relationship between creoles and their high-resource base languages affect cross-lingual transfer. JamPatoisNLI, which consists of naturally-occurring premises and expert-written hypotheses, is a step towards steering research into a traditionally underserved language and a useful benchmark for understanding cross-lingual NLP.

We present, Naamapadam, the largest publicly available Named Entity Recognition (NER) dataset for the 11 major Indian languages from two language families. In each language, it contains more than 400k sentences annotated with a total of at least 100k entities from three standard entity categories (Person, Location and Organization) for 9 out of the 11 languages. The training dataset has been automatically created from the Samanantar parallel corpus by projecting automatically tagged entities from an English sentence to the corresponding Indian language sentence. We also create manually annotated testsets for 8 languages containing approximately 1000 sentences per language. We demonstrate the utility of the obtained dataset on existing testsets and the Naamapadam-test data for 8 Indic languages. We also release IndicNER, a multilingual mBERT model fine-tuned on the Naamapadam training set. IndicNER achieves the best F1 on the Naamapadam-test set compared to an mBERT model fine-tuned on existing datasets. IndicNER achieves an F1 score of more than 80 for 7 out of 11 Indic languages. The dataset and models are available under open-source licenses at https://ai4bharat.iitm.ac.in/naamapadam.

抽象性摘要领域的最新进展利用了预训练的语言模型，而不是从头开始训练模型。但是，这样的模型训练和伴随着大量的开销。研究人员提出了一些轻巧的替代方案，例如较小的适配器来减轻缺点。尽管如此，就提高效率而没有绩效不愉快的牺牲，使用使用适配器是否有利于总结的任务。在这项工作中，我们对具有不同复杂性的摘要任务进行了多方面的调查：语言，域和任务转移。在我们的实验中，对预训练的语言模型进行微调通常比使用适配器更好。性能差距与所使用的训练数据量正相关。值得注意的是，在极低的资源条件下，适配器超过微调。我们进一步提供了有关多语言，模型收敛性和鲁棒性的见解，希望能阐明抽象性摘要中微调或适配器的实用选择。

随着预培训的语言模型变得更加要求资源，因此资源丰富的语言（例如英语和资源筛选）语言之间的不平等正在恶化。这可以归因于以下事实：每种语言中的可用培训数据量都遵循幂律分布，并且大多数语言都属于分布的长尾巴。一些研究领域试图缓解这个问题。例如，在跨语言转移学习和多语言培训中，目标是通过从资源丰富的语言中获得的知识使长尾语言受益。尽管成功，但现有工作主要集中于尝试尽可能多的语言。结果，有针对性的深入分析主要不存在。在这项研究中，我们专注于单一的低资源语言，并使用跨语性培训（XPT）进行广泛的评估和探测实验。为了使转移方案具有挑战性，我们选择韩语作为目标语言，因为它是一种孤立的语言，因此与英语几乎没有类型的分类。结果表明，XPT不仅优于表现或与单语模型相当，该模型训练有大小的数据，而且在传输过程中也很高。