大型预用屏蔽语言模型已成为许多NLP问题的最先进的解决方案。虽然研究表明，单晶模型产生比多语言模型产生更好的结果，但训练数据集必须足够大。我们培训了立陶宛，拉脱维亚语和英语的三种语言Litlat Bert样模型，以及爱沙尼亚的单语Est-Roberta模型。我们在四个下游任务中评估它们的性能：命名实体识别，依赖解析，词语标记和单词类比。为了分析对单一语言的重要性以及大型培训集的重要性，我们将创建的模型与爱沙尼亚，拉脱维亚和立陶宛人进行了现有的单语和多语言伯特模型。结果表明，新创建的Litlat Bert和Est-Roberta模型在大多数情况下改善了所有测试任务的现有模型的结果。

Given the impact of language models on the field of Natural Language Processing, a number of Spanish encoder-only masked language models (aka BERTs) have been trained and released. These models were developed either within large projects using very large private corpora or by means of smaller scale academic efforts leveraging freely available data. In this paper we present a comprehensive head-to-head comparison of language models for Spanish with the following results: (i) Previously ignored multilingual models from large companies fare better than monolingual models, substantially changing the evaluation landscape of language models in Spanish; (ii) Results across the monolingual models are not conclusive, with supposedly smaller and inferior models performing competitively. Based on these empirical results, we argue for the need of more research to understand the factors underlying them. In this sense, the effect of corpus size, quality and pre-training techniques need to be further investigated to be able to obtain Spanish monolingual models significantly better than the multilingual ones released by large private companies, specially in the face of rapid ongoing progress in the field. The recent activity in the development of language technology for Spanish is to be welcomed, but our results show that building language models remains an open, resource-heavy problem which requires to marry resources (monetary and/or computational) with the best research expertise and practice.

这项研究提供了对僧伽罗文本分类的预训练语言模型的性能的首次全面分析。我们测试了一组不同的Sinhala文本分类任务，我们的分析表明，在包括Sinhala（XLM-R，Labse和Laser）的预训练的多语言模型中，XLM-R是迄今为止Sinhala文本的最佳模型分类。我们还预先培训了两种基于罗伯塔的单语僧伽罗模型，它们远远优于僧伽罗的现有预训练的语言模型。我们表明，在微调时，这些预训练的语言模型为僧伽罗文本分类树立了非常强大的基线，并且在标记数据不足以进行微调的情况下非常强大。我们进一步提供了一组建议，用于使用预训练的模型进行Sinhala文本分类。我们还介绍了新的注释数据集，可用于僧伽罗文本分类的未来研究，并公开发布我们的预培训模型。

特定于语言的预训练模型已被证明比单语说在单语法评估设置中更准确，阿拉伯语也不例外。但是，我们发现先前发布的阿拉伯伯特模型显着培训。在这本技术报告中，我们展示了Jaber，Junior Arabic Bert，我们的预用语言模型原型专用于阿拉伯语。我们进行实证研究，以系统地评估模型在各种现有阿拉伯语NLU任务中的性能。实验结果表明，Jaber实现了Alue的最先进的表演，这是阿拉伯语了解评估的新基准，以及成熟的内部基准

Transformer language models (TLMs) are critical for most NLP tasks, but they are difficult to create for low-resource languages because of how much pretraining data they require. In this work, we investigate two techniques for training monolingual TLMs in a low-resource setting: greatly reducing TLM size, and complementing the masked language modeling objective with two linguistically rich supervised tasks (part-of-speech tagging and dependency parsing). Results from 7 diverse languages indicate that our model, MicroBERT, is able to produce marked improvements in downstream task evaluations relative to a typical monolingual TLM pretraining approach. Specifically, we find that monolingual MicroBERT models achieve gains of up to 18% for parser LAS and 11% for NER F1 compared to a multilingual baseline, mBERT, while having less than 1% of its parameter count. We conclude reducing TLM parameter count and using labeled data for pretraining low-resource TLMs can yield large quality benefits and in some cases produce models that outperform multilingual approaches.

与标准命名实体识别（NER）相比，在历史文本中识别人，位置和组织是一个巨大的挑战。为了获得机器可读的语料库，通常需要扫描历史文本，并且需要执行光学特征识别（OCR）。结果，历史文献包含错误。此外，位置或组织等实体可以随着时间的推移而改变，这构成了另一个挑战。总体而言，历史文本带有几种特殊性，这些特殊性与现代文本有很大不同，并且在该领域几乎无法使用训练神经标记器的大型标记的Corpora。在这项工作中，我们通过培训大型历史语言模型来解决历史，英语，法语，瑞典语和芬兰语的历史文献。我们通过使用未标记的数据预处理语言模型来规避大量标记数据的需求。我们提出了Hmbert，这是一种历史多语言基于BERT的语言模型，并以多种不同大小的版本发布该模型。此外，我们通过解决下游NER作为今年HIPE-2022共享任务的一部分来评估HMBERT的能力，并提供详细的分析和见解。对于多种语言的经典评论粗粒ner挑战，我们的标记者Histeria的表现优于其他团队的三种语言中的其他团队的模型。

大型审慎的语言模型最近征服了自然语言处理领域。作为BERT中引入的主要掩盖语言建模的替代方案，T5模型引入了更通用的训练目标，即序列转换的顺序，其中包括蒙版语言模型，但自然地适合文本生成任务，例如机器翻译，摘要，开放 - 开放 - 域问题回答，文本简化，对话系统等。T5模型的单语变体仅限于资源良好的语言，而大量的多语言T5模型则支持101种语言。相比之下，我们训练了两个不同尺寸的T5型序列，以使用较少的资源并分析其行为的形态丰富的斯洛文尼语的序列模型。关于分类任务，SLOT5模型主要落后于单语Slovene Sloberta模型，但应考虑生成任务。

编码单词语义属性的密集词向量或“Word Embeddings”现在已成为机器翻译（MT），问题应答（QA），字感消解（WSD）和信息检索（IR）中的NLP任务的积分。在本文中，我们使用各种现有方法为14个印度语言创建多个单词嵌入。我们将这些嵌入的嵌入式为所有这些语言，萨姆萨姆，孟加拉，古吉拉蒂，印地教派，kannada，konkani，malayalam，marathi，尼泊尔，odiya，punjabi，梵语，泰米尔和泰雅古士在一个单一的存储库中。相对较新的方法，强调迎合上下文（BERT，ELMO等），表明了显着的改进，但需要大量资源来产生可用模型。我们释放使用上下文和非上下文方法生成的预训练嵌入。我们还使用Muse和XLM来培训所有上述语言的交叉语言嵌入。为了展示我们嵌入的效果，我们为所有这些语言评估了我们对XPOS，UPOS和NER任务的嵌入模型。我们使用8种不同的方法释放了436个型号。我们希望他们对资源受限的印度语言NLP有用。本文的标题是指最初在1924年出版的福斯特的着名小说“一段是印度”。

The BERT family of neural language models have become highly popular due to their ability to provide sequences of text with rich context-sensitive token encodings which are able to generalise well to many NLP tasks. We introduce gaBERT, a monolingual BERT model for the Irish language. We compare our gaBERT model to multilingual BERT and the monolingual Irish WikiBERT, and we show that gaBERT provides better representations for a downstream parsing task. We also show how different filtering criteria, vocabulary size and the choice of subword tokenisation model affect downstream performance. We compare the results of fine-tuning a gaBERT model with an mBERT model for the task of identifying verbal multiword expressions, and show that the fine-tuned gaBERT model also performs better at this task. We release gaBERT and related code to the community.

基于变压器的语言模型如BERT在大量英语基准上表现出以前的模型，但他们的评估通常限于英语或少量资源的语言。在这项工作中，我们在伯特家族上评估了各种尿潴留的单语，多语言和随机初始化的语言模型，包括爱沙尼亚，芬兰语，匈牙利语，erzya，Moksha，Karelian，Livvi，Komi Permyak，Komi Zyrian，Northern S \' ami，和skolt s''mi。当单晶模型可用时（目前只能等，FI，HU），这些在其母语上表现更好，但一般来说，它们比共享相同字符集的基因无关语言的多语言模型或模型转移。值得注意的是，即使没有特殊努力对封路计优化的特殊努力，高资源模型的直接转移会产生似乎是少数民族尿路语言的艺术POS和NER工具的似乎是有足够的芬特数据的态度。

最近，大型预用语言模型（LMS）越来越受欢迎。培训这些模型需要更多的计算资源，并且大多数现有模型仅在英文文本上培训。以其他语言训练这些模型非常昂贵。为了缓解这个问题，我们介绍了一种叫做威施塞的方法 - 将英语模型传输到新语言。我们将英语模型的销量与目标语言中的销量交换，并初始化令牌嵌入式，以便通过利用覆盖英语和目标语言的多语言静态字嵌入来初始化令牌嵌入式。我们使用Wechsel将GPT-2和Roberta模型转移到4种其他语言（法语，德语，中文和斯瓦希里语）。 Wechsel通过以前提出的跨语言参数转移和优于比较大小的模型来改善从目标语言的划痕训练的相当大小的型号，距离培训速度较小。我们的方法使培训大型语言模型为新语言更容易访问，更少损害环境。我们宣传我们的代码和型号。

多语言预训练的语言模型在跨语言任务上表现出了令人印象深刻的表现。它极大地促进了自然语言处理在低资源语言上的应用。但是，当前的多语言模型仍然有些语言表现不佳。在本文中，我们提出了Cino（中国少数族裔训练的语言模型），这是一种用于中国少数语言的多语言预训练的语言模型。它涵盖了标准的中文，Yue中文和其他六种少数民族语言。为了评估多语言模型在少数族裔语言上的跨语性能力，我们从Wikipedia和新闻网站收集文档，并构建两个文本分类数据集，WCM（Wiki-Chinese-Minority）和CMNEWS（中国最少的新闻）。我们表明，Cino在各种分类任务上的表现明显优于基准。Cino模型和数据集可在http://cino.hfl-rc.com上公开获得。

随着预培训的语言模型变得更加要求资源，因此资源丰富的语言（例如英语和资源筛选）语言之间的不平等正在恶化。这可以归因于以下事实：每种语言中的可用培训数据量都遵循幂律分布，并且大多数语言都属于分布的长尾巴。一些研究领域试图缓解这个问题。例如，在跨语言转移学习和多语言培训中，目标是通过从资源丰富的语言中获得的知识使长尾语言受益。尽管成功，但现有工作主要集中于尝试尽可能多的语言。结果，有针对性的深入分析主要不存在。在这项研究中，我们专注于单一的低资源语言，并使用跨语性培训（XPT）进行广泛的评估和探测实验。为了使转移方案具有挑战性，我们选择韩语作为目标语言，因为它是一种孤立的语言，因此与英语几乎没有类型的分类。结果表明，XPT不仅优于表现或与单语模型相当，该模型训练有大小的数据，而且在传输过程中也很高。

In this paper, we show that Multilingual BERT (M-BERT), released by Devlin et al. (2019) as a single language model pre-trained from monolingual corpora in 104 languages, is surprisingly good at zero-shot cross-lingual model transfer, in which task-specific annotations in one language are used to fine-tune the model for evaluation in another language. To understand why, we present a large number of probing experiments, showing that transfer is possible even to languages in different scripts, that transfer works best between typologically similar languages, that monolingual corpora can train models for code-switching, and that the model can find translation pairs. From these results, we can conclude that M-BERT does create multilingual representations, but that these representations exhibit systematic deficiencies affecting certain language pairs.

对于自然语言处理应用可能是有问题的，因为它们的含义不能从其构成词语推断出来。缺乏成功的方法方法和足够大的数据集防止了用于检测成语的机器学习方法的开发，特别是对于在训练集中不发生的表达式。我们提出了一种叫做小鼠的方法，它使用上下文嵌入来实现此目的。我们展示了一个新的多字表达式数据集，具有文字和惯用含义，并使用它根据两个最先进的上下文单词嵌入式培训分类器：Elmo和Bert。我们表明，使用两个嵌入式的深度神经网络比现有方法更好地执行，并且能够检测惯用词使用，即使对于训练集中不存在的表达式。我们展示了开发模型的交叉传输，并分析了所需数据集的大小。

非洲语言最近是几项自然语言处理（NLP）研究的主题，这导致其在该领域的代表性大大增加。但是，在评估模型在诸如命名实体识别（NER）等任务中的性能时，大多数研究往往比数据集的质量更多地关注模型。尽管这在大多数情况下效果很好，但它并不能说明使用低资源语言进行NLP的局限性，即我们可以使用的数据集的质量和数量。本文根据数据集质量提供了各种模型的性能的分析。我们根据某些非洲NER数据集的每个句子的实体密度评估了不同的预训练模型。我们希望这项研究能够改善在低资源语言的背景下进行NLP研究的方式。

We present a new pre-trained language model (PLM) for modern Hebrew, termed AlephBERTGimmel, which employs a much larger vocabulary (128K items) than standard Hebrew PLMs before. We perform a contrastive analysis of this model against all previous Hebrew PLMs (mBERT, heBERT, AlephBERT) and assess the effects of larger vocabularies on task performance. Our experiments show that larger vocabularies lead to fewer splits, and that reducing splits is better for model performance, across different tasks. All in all this new model achieves new SOTA on all available Hebrew benchmarks, including Morphological Segmentation, POS Tagging, Full Morphological Analysis, NER, and Sentiment Analysis. Subsequently we advocate for PLMs that are larger not only in terms of number of layers or training data, but also in terms of their vocabulary. We release the new model publicly for unrestricted use.

在多语言甚至单语言中鉴定的模型的零拍跨语言能力刺激了许多假设，以解释这一有趣的经验结果。但是，由于预处理的成本，大多数研究都使用公共模型的公共模型，其预处理方法（例如代币化，语料库规模和计算预算的选择）可能会大不相同。当研究人员对自己的模型预识时，他们通常会在预算有限的情况下这样做，并且与SOTA模型相比，最终的模型的表现可能明显不足。这些实验差异导致有关这些模型跨语性能力的性质的各种不一致的结论。为了帮助对该主题进行进一步研究，我们发布了10个单语字节级模型，并在相同的配置下进行了严格审慎的概述，并具有大型计算预算（相当于V100的420天）和Corpora，比原始BERT大4倍。由于它们不含令牌，因此消除了看不见的令牌嵌入的问题，从而使研究人员可以在具有不同脚本的语言中尝试更广泛的跨语言实验。此外，我们释放了在不自然语言文本上预测的两个模型，这些模型可用于理智检查实验。关于质量检查和NLI任务的实验表明，我们的单语模型实现了多语言的竞争性能，因此可以加强我们对语言模型中跨语性可传递性的理解。

This paper presents the work of restoring punctuation for ASR transcripts generated by multilingual ASR systems. The focus languages are English, Mandarin, and Malay which are three of the most popular languages in Singapore. To the best of our knowledge, this is the first system that can tackle punctuation restoration for these three languages simultaneously. Traditional approaches usually treat the task as a sequential labeling task, however, this work adopts a slot-filling approach that predicts the presence and type of punctuation marks at each word boundary. The approach is similar to the Masked-Language Model approach employed during the pre-training stages of BERT, but instead of predicting the masked word, our model predicts masked punctuation. Additionally, we find that using Jieba1 instead of only using the built-in SentencePiece tokenizer of XLM-R can significantly improve the performance of punctuating Mandarin transcripts. Experimental results on English and Mandarin IWSLT2022 datasets and Malay News show that the proposed approach achieved state-of-the-art results for Mandarin with 73.8% F1-score while maintaining a reasonable F1-score for English and Malay, i.e. 74.7% and 78% respectively. Our source code that allows reproducing the results and building a simple web-based application for demonstration purposes is available on Github.

预先训练的上下文化文本表示模型学习自然语言的有效表示，以使IT机器可以理解。在注意机制的突破之后，已经提出了新一代预磨模的模型，以便自变压器引入以来实现了良好的性能。来自变压器（BERT）的双向编码器表示已成为语言理解的最先进的模型。尽管取得了成功，但大多数可用的型号已经在印度欧洲语言中培训，但是对代表性的语言和方言的类似研究仍然稀疏。在本文中，我们调查了培训基于单语言变换器的语言模型的可行性，以获得代表语言的特定重点是突尼斯方言。我们评估了我们的语言模型对情感分析任务，方言识别任务和阅读理解问答任务。我们表明使用嘈杂的Web爬网数据而不是结构化数据（维基百科，文章等）更方便这些非标准化语言。此外，结果表明，相对小的Web爬网数据集导致与使用较大数据集获得的那些表现相同的性能。最后，我们在所有三个下游任务中达到或改善了最先进的Tunbert模型。我们释放出Tunbert净化模型和用于微调的数据集。