跨语言转移学习已被证明在各种自然语言处理（NLP）任务中很有用，但是它在法律NLP的背景下被研究了，而在法律判断预测（LJP）中根本没有。我们使用三语瑞士判断数据集探索LJP上的转移学习技术，包括用三种语言编写的案例。我们发现，跨语性转移可以改善跨语言的总体结果，尤其是当我们使用基于适配器的微调时。最后，我们使用3倍较大的培训语料库使用机器翻译版本的原始文档的机器翻译版本来进一步提高模型的性能。此外，我们进行了一项分析，探讨了跨域和跨区域转移的效果，即跨域（法定区域）或地区培训模型。我们发现，在两个环境（法律领域，原产地地区）中，经过培训的所有小组的模型总体表现更好，而在最差的情况下，它们也改善了结果。最后，当我们雄心勃勃地应用跨寿司转移时，我们报告了改进的结果，在此我们通过印度法律案件进一步扩大数据集。

我们考虑使用最新的MultieRlex数据集中考虑法律主题分类中的零射击跨语性转移。由于原始数据集包含并行文档，这对于零拍传输不现实是不现实的，因此我们开发了一个没有并行文档的数据集的新版本。我们使用它来表明，基于翻译的方法非常优于多绘制预训练的模型，这是多曲线的最佳先前的零弹性传输方法。我们还开发了一种双语的教师零摄像转移方法，该方法利用了目标语言的其他未标记文档，并且比直接在标记的目标语言文档上进行微调的模型更好。

临床表型可以从患者记录中自动提取临床状况，这可能对全球医生和诊所有益。但是，当前的最新模型主要适用于用英语编写的临床笔记。因此，我们研究了跨语化知识转移策略，以针对不使用英语并且有少量可用数据的诊所执行此任务。我们评估了希腊和西班牙诊所的这些策略，利用来自心脏病学，肿瘤学和ICU等不同临床领域的临床笔记。我们的结果揭示了两种策略，这些策略优于最先进的方法：基于翻译的方法，结合了域的编码器和跨语性编码器以及适配器。我们发现，这些策略在对稀有表型进行分类方面表现特别好，我们建议在哪种情况下更喜欢哪种方法。我们的结果表明，使用多语言数据总体可以改善临床表型模型，并可以补偿数据稀疏性。

Laws and their interpretations, legal arguments and agreements\ are typically expressed in writing, leading to the production of vast corpora of legal text. Their analysis, which is at the center of legal practice, becomes increasingly elaborate as these collections grow in size. Natural language understanding (NLU) technologies can be a valuable tool to support legal practitioners in these endeavors. Their usefulness, however, largely depends on whether current state-of-the-art models can generalize across various tasks in the legal domain. To answer this currently open question, we introduce the Legal General Language Understanding Evaluation (LexGLUE) benchmark, a collection of datasets for evaluating model performance across a diverse set of legal NLU tasks in a standardized way. We also provide an evaluation and analysis of several generic and legal-oriented models demonstrating that the latter consistently offer performance improvements across multiple tasks.

零拍摄的交叉传输是现代NLP模型和架构中的一个重要功能，以支持低资源语言。在这项工作中，我们在多标签文本分类下将零拍摄的交叉传输到法语和德语，我们使用英语培训集培训分类器，我们使用法语和德语测试集进行测试。我们以法语和德语官方翻译扩展了欧洲互联网数据集，英国数据集，了解法律文件的主题分类。我们调查使用一些训练技术，即逐步的未填写和语言模型FineTuning的效果，对零射击交叉传输的质量。我们发现，多语言预训练模型（M-Distilbert，M-BERT）的语言模型，导致32.0-34.94％，相应地对法国和德国测试集的相对改进。此外，在培训期间逐渐未经培训的模型层，为法国人的相对提高38-45％，德国人58-70％。与使用英语，法国和德国培训集中的联合培训方案中的模型进行培训，零击贝尔的分类模型达到了通过共同训练的基于伯特的分类模型实现的86％。

GPT-3等大型自回归语言模型是几秒钟的学习者，可以在没有微调的情况下执行各种语言任务。虽然已知这些模型能够共同代表许多不同的语言，但他们的培训数据由英语主导，可能限制了它们的交叉概括。在这项工作中，我们在覆盖多种语言的平衡语料库上培训多语言自回归语言模型，并在广泛的任务中研究他们几乎没有零点的学习能力。我们最大的模型，具有75亿参数，在20多种代表语言中，在几种代表语言中，在几种代表性语言中，在几种代表性语言中，在多语言型号推理中表现出可比大小的GPT-3（在0次设置和0次拍摄设置中的绝对精度改善+ 7.4％ 4-拍摄设置中的9.4％）和自然语言推理（每次拍摄和4次设置中的每一个+ 5.4％）。在Flores-101机器翻译基准测试中，我们的模型优于GPT-3在182个翻译方向上有32个培训例子，同时超过45个方向的官方监督基线。我们介绍了模型成功和失败的位置的详细分析，特别是它尤其显示在某些任务中实现交叉语境的内容学习，而仍然存在改善表面的鲁棒性和适应没有a的任务的余地自然冻结形式。最后，我们评估我们在仇恨语音检测中以五种语言的仇恨语音检测的模型，并发现它具有与可比大小的GPT-3模型类似的限制。

一种有效的横向传输方法是在一种语言中微调在监督数据集上的双语或多语言模型，并以零拍方式在另一种语言上进行评估。在培训时间或推理时间翻译例子也是可行的替代方案。然而，存在与文献中很少有关的这些方法相关的成本。在这项工作中，我们在其有效性（例如，准确性），开发和部署成本方面分析交叉语言方法，以及推理时间的延迟。我们的三个任务的实验表明最好的交叉方法是高度任务依赖性的。最后，通过结合零射和翻译方法，我们在这项工作中使用的三个数据集中实现了最先进的。基于这些结果，我们对目标语言手动标记的培训数据有所了解。代码和翻译的数据集可在https://github.com/unicamp-dl/cross-lingsual-analysis上获得

Misinformation spread over social media has become an undeniable infodemic. However, not all spreading claims are made equal. If propagated, some claims can be destructive, not only on the individual level, but to organizations and even countries. Detecting claims that should be prioritized for fact-checking is considered the first step to fight against spread of fake news. With training data limited to a handful of languages, developing supervised models to tackle the problem over lower-resource languages is currently infeasible. Therefore, our work aims to investigate whether we can use existing datasets to train models for predicting worthiness of verification of claims in tweets in other languages. We present a systematic comparative study of six approaches for cross-lingual check-worthiness estimation across pairs of five diverse languages with the help of Multilingual BERT (mBERT) model. We run our experiments using a state-of-the-art multilingual Twitter dataset. Our results show that for some language pairs, zero-shot cross-lingual transfer is possible and can perform as good as monolingual models that are trained on the target language. We also show that in some languages, this approach outperforms (or at least is comparable to) state-of-the-art models.

姿态检测的目标是确定以目标朝向目标的文本中表达的视点。这些观点或上下文通常以许多不同的语言表达，这取决于用户和平台，这可以是本地新闻插座，社交媒体平台，新闻论坛等。然而，姿态检测的大多数研究已经限于使用单一语言和几个有限的目标，在交叉舌姿态检测很少有效。此外，标记数据的非英语来源通常稀缺，并具有额外的挑战。最近，大型多语言语言模型在许多非英语任务上大大提高了性能，尤其是具有有限数量的示例。这突出了模型预培训的重要性及其从少数例子中学习的能力。在本文中，我们展示了对日期交叉姿态检测的最全面的研究：我们在6名语言系列中使用12种语言的12种不同的数据集进行实验，每个都有6个低资源评估设置。对于我们的实验，我们构建了模式开发培训，提出了添加一种新颖的标签编码器来简化言语程序。我们进一步提出了基于情绪的姿态数据进行预培训，这在与几个强的基线相比，在低拍摄环境中显示了大量的6％F1绝对的增长。

社交媒体数据已成为有关现实世界危机事件的及时信息的有用来源。与将社交媒体用于灾难管理有关的主要任务之一是自动识别与危机相关的消息。关于该主题的大多数研究都集中在特定语言中特定类型事件的数据分析上。这限制了概括现有方法的可能性，因为模型不能直接应用于新类型的事件或其他语言。在这项工作中，我们研究了通过利用跨语言和跨域标记数据来自动对与危机事件相关的消息进行分类的任务。我们的目标是利用来自高资源语言的标记数据来对其他（低资源）语言和/或新（以前看不见的）类型的危机情况进行分类。在我们的研究中，我们从文献中合并了一个大型统一数据集，其中包含多个危机事件和语言。我们的经验发现表明，确实有可能利用英语危机事件的数据来对其他语言（例如西班牙语和意大利语）（80.0％的F1得分）对相同类型的事件进行分类。此外，我们在跨语言环境中为跨域任务（80.0％F1得分）取得了良好的性能。总体而言，我们的工作有助于改善数据稀缺问题，这对于多语言危机分类非常重要。特别是，当时间是本质的时候，可以减轻紧急事件中的冷启动情况。

Much recent progress in applications of machine learning models to NLP has been driven by benchmarks that evaluate models across a wide variety of tasks. However, these broad-coverage benchmarks have been mostly limited to English, and despite an increasing interest in multilingual models, a benchmark that enables the comprehensive evaluation of such methods on a diverse range of languages and tasks is still missing. To this end, we introduce the Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) benchmark, a multi-task benchmark for evaluating the cross-lingual generalization capabilities of multilingual representations across 40 languages and 9 tasks. We demonstrate that while models tested on English reach human performance on many tasks, there is still a sizable gap in the performance of cross-lingually transferred models, particularly on syntactic and sentence retrieval tasks. There is also a wide spread of results across languages. We release the benchmark 1 to encourage research on cross-lingual learning methods that transfer linguistic knowledge across a diverse and representative set of languages and tasks.

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

Translating training data into many languages has emerged as a practical solution for improving cross-lingual transfer. For tasks that involve span-level annotations, such as information extraction or question answering, an additional label projection step is required to map annotated spans onto the translated texts. Recently, a few efforts have utilized a simple mark-then-translate method to jointly perform translation and projection by inserting special markers around the labeled spans in the original sentence. However, as far as we are aware, no empirical analysis has been conducted on how this approach compares to traditional annotation projection based on word alignment. In this paper, we present an extensive empirical study across 42 languages and three tasks (QA, NER, and Event Extraction) to evaluate the effectiveness and limitations of both methods, filling an important gap in the literature. Experimental results show that our optimized version of mark-then-translate, which we call EasyProject, is easily applied to many languages and works surprisingly well, outperforming the more complex word alignment-based methods. We analyze several key factors that affect end-task performance, and show EasyProject works well because it can accurately preserve label span boundaries after translation. We will publicly release all our code and data.

最先进的神经（RE）排名者是众所周知的渴望数据，鉴于缺乏英语以外的其他语言培训数据 - 使它们很少用于多语言和跨语性检索设置。因此，当前的方法通常是通过多语言编码器培训的英语数据和跨语言设置的通常转移排名者：它们通过对英语相关性判断的所有预审预周化的多语言变压器（例如MMT，例如多语言BERT）的所有参数微调所有参数。用目标语言部署它们。在这项工作中，我们表明了两种参数效率的跨语性转移方法，即稀疏的微调蒙版（SFTM）和适配器，允许更轻巧，更有效的零拍传输到多语言和跨语言检索任务。我们首先通过蒙版语言建模来训练语言适配器（或SFTM），然后在最上方训练检索（即重新固定）适配器（SFTM），同时将所有其他参数保持固定。在推断时，这种模块化设计使我们能够通过应用（或SFTM）与源语言数据一起训练的（RE）排名适配器（或SFTM）以及目标语言的语言适配器（或SFTM）。我们对CLEF-2003和HC4基准进行了大规模的评估，此外，作为另一个贡献，我们还用三种新语言进行查询：吉尔吉斯，Uyghur和Turkish。所提出的参数效率方法的表现优于标准零射击传输，并具有完整的MMT微调，同时是模块化和减少训练时间。对于低资源语言，收益特别明显，我们的方法也大大优于基于竞争的机器翻译的排名。

对于许多任务，基于变压器的体系结构已经实现了最新的结果，从而导致实践从使用特定于任务的架构到预先训练的语言模型的微调。持续的趋势包括具有越来越多的数据和参数的培训模型，这需要大量资源。它导致了强有力的搜索，以提高基于仅针对英语评估的算法和硬件改进的算法和硬件改进。这引发了有关其可用性的疑问，当应用于小规模的学习问题时，对于资源不足的语言任务，有限的培训数据可用。缺乏适当尺寸的语料库是应用数据驱动和转移学习的方法的障碍。在本文中，我们建立了致力于基于变压器模型的可用性的最新努力，并建议评估这些改进的法语表现，而法语的效果很少。我们通过通过数据增强，超参数优化和跨语性转移来调查各种培训策略来解决与数据稀缺有关的不稳定。我们还为法国弗拉伯特（Fralbert）引入了一种新的紧凑型模型，该模型在低资源环境中被证明具有竞争力。

可靠的评估基准是为了可复制性和全面性而设计的，在机器学习方面取得了进步。但是，由于缺乏多语言基准，视觉和语言研究主要集中在英语任务上。为了填补这一空白，我们介绍了图像的语言理解评估基准。 Iglue通过汇总已有的数据集并创建新的数据来汇集 - 视觉问题回答，跨模式检索，扎根的推理以及跨20种不同语言的扎根成本。我们的基准测试能够评估多语言多模型用于转移学习的模型，不仅在零弹位设置中，而且还以新定义的少数图学习设置。根据对可用最新模型的评估，我们发现翻译测试转移优于零弹性转移，并且对于许多任务而言，很难利用射击的学习。此外，下游性能部分用可用的未标记文本数据进行预处理来解释，并且仅通过目标源语言的类型学距离而微弱。我们希望通过向社区释放基准来鼓励该领域的未来研究工作。

我们提出了一种两阶段的培训方法，用于开发单个NMT模型，以翻译英语和英语的看不见的语言。对于第一阶段，我们将编码器模型初始化以鉴定XLM-R和Roberta的权重，然后对25种语言的平行数据进行多种语言微调。我们发现该模型可以推广到对看不见的语言的零击翻译。在第二阶段，我们利用这种概括能力从单语数据集生成合成的并行数据，然后用连续的反向翻译训练。最终模型扩展到了英语到许多方向，同时保持了多到英语的性能。我们称我们的方法为ecxtra（以英语为中心的跨语言（x）转移）。我们的方法依次利用辅助并行数据和单语言数据，并且在概念上很简单，仅在两个阶段都使用标准的跨熵目标。最终的ECXTRA模型对8种低资源语言的无监督NMT进行了评估，该语言为英语至哈萨克语（22.3> 10.4 bleu）以及其他15个翻译方向的竞争性能而获得了新的最先进。

多语言预训练的语言模型（PLM）在高资源和低资源语言的下游任务上表现出令人印象深刻的表现。但是，在预培训期间，尤其是非洲语言中，看不见的语言仍然有很大的表现。适应新语言的最有效方法之一是\ textit {语言自适应微调}（LAFT） - 使用预训练目标对单语言的多语言PLM进行微调。但是，适应目标语言会单独使用大磁盘空间，并限制了由此产生的模型的跨语言转移能力，因为它们已经专门用于单语言。在本文中，我们对17种最重要的非洲语言和其他三种在非洲大陆上广泛使用的高资源语言对17种最具资源的非洲语言进行\ Textit {多语言自适应微调}，以鼓励跨语性转移学习。为了进一步专注于多语言PLM，我们从嵌入式层中删除了与MAFT之前的非非洲写作脚本相对应的词汇令牌，从而将模型大小降低了约50％。我们对两个多语言PLM（Afriberta和XLM-R）和三个NLP任务（NER，新闻主题分类和情感分类）的评估表明，我们的方法可以在单个语言上应用LAFT，同时需要较小的磁盘空间。此外，我们表明我们的适应性PLM还提高了参数有效微调方法的零击跨语性转移能力。

Task-oriented dialogue (TOD) systems have been applied in a range of domains to support human users to achieve specific goals. Systems are typically constructed for a single domain or language and do not generalise well beyond this. Their extension to other languages in particular is restricted by the lack of available training data for many of the world's languages. To support work on Natural Language Understanding (NLU) in TOD across multiple languages and domains simultaneously, we constructed MULTI3NLU++, a multilingual, multi-intent, multi-domain dataset. MULTI3NLU++ extends the English-only NLU++ dataset to include manual translations into a range of high, medium and low resource languages (Spanish, Marathi, Turkish and Amharic), in two domains (banking and hotels). MULTI3NLU++ inherits the multi-intent property of NLU++, where an utterance may be labelled with multiple intents, providing a more realistic representation of a user's goals and aligning with the more complex tasks that commercial systems aim to model. We use MULTI3NLU++ to benchmark state-of-the-art multilingual language models as well as Machine Translation and Question Answering systems for the NLU task of intent detection for TOD systems in the multilingual setting. The results demonstrate the challenging nature of the dataset, particularly in the low-resource language setting.

JamPatoisNLI provides the first dataset for natural language inference in a creole language, Jamaican Patois. Many of the most-spoken low-resource languages are creoles. These languages commonly have a lexicon derived from a major world language and a distinctive grammar reflecting the languages of the original speakers and the process of language birth by creolization. This gives them a distinctive place in exploring the effectiveness of transfer from large monolingual or multilingual pretrained models. While our work, along with previous work, shows that transfer from these models to low-resource languages that are unrelated to languages in their training set is not very effective, we would expect stronger results from transfer to creoles. Indeed, our experiments show considerably better results from few-shot learning of JamPatoisNLI than for such unrelated languages, and help us begin to understand how the unique relationship between creoles and their high-resource base languages affect cross-lingual transfer. JamPatoisNLI, which consists of naturally-occurring premises and expert-written hypotheses, is a step towards steering research into a traditionally underserved language and a useful benchmark for understanding cross-lingual NLP.