本文介绍了我们参与多语言首字母缩写提取共享任务SDU@AAAI-22的发现。该任务包括从科学和法律领域内6种语言中的文档提取的首字母缩写。为了解决多语言的首字母缩写提取，我们使用了Bilstm-CRF使用多语言XLM-Roberta嵌入。我们在共享任务语料库上鉴定了XLM-Roberta模型，以进一步将XLM-Roberta嵌入到共享的任务域。我们的系统（团队：SMR-NLP）在所有语言中都实现了首字母缩写提取的竞争性能。

首字母缩略词是通过在文本中使用短语的初始组件构建的短语单元的缩写单元。自动提取文本中的首字母缩略词可以帮助各种自然语言处理任务，如机器翻译，信息检索和文本汇总。本文讨论了缩写式萃取任务的集合方法，利用两种不同的方法提取缩略语及其相应的长形式。第一种方法利用多语言语境语言模型，并进行微调模型以执行任务。第二种方法依赖于卷积神经网络架构，以提取首字母缩略词并将其附加到先前方法的输出。我们还将官方培训数据集增强，其中包含从几个开放式期刊中提取的其他培训样本，以帮助提高任务性能。我们的数据集分析还突出显示当前任务数据集中的噪声。我们的方法在通过任务发布的测试数据上实现了以下宏观F1分数：丹麦语（0.74），英语 - 法律（0.72），英语 - 科学（0.73），法语（0.63），波斯（0.57），西班牙语（0.65） ，越南语（0.65）。我们公开发布我们的代码和模型。

首字母缩略词和长形式通常在研究文件中发现，更多的资料来自科学和法律领域的文件。在此文件中使用的许多首字母缩略词是特定于域的，很少在正常文本语料库中找到。由于这一点，基于变压器的NLP模型经常检测缩略词令牌的OOV（词汇），特别是对于非英语语言，它们的性能在提取期间将首字母缩略词与它们的长形式联系起来。此外，像BERT这样的预磨削变压器模型不专注于处理科学和法律文件。随着这些积分是这项工作背后的总体动机，我们提出了一种新颖的框架尚非：缩写式提取的字符感知BERT，其考虑文本中的字符序列，并通过屏蔽语言建模进行了科学和法律域。我们进一步使用了一个增强损失功能的目标，将最大损耗和掩码丢失术语添加到培训人物的标准交叉熵损失。我们进一步利用伪标记和对抗性数据生成来提高框架的普遍性。与各种基线相比，实验结果证明了所提出的框架的优越性。此外，我们表明，所提出的框架更适合基线模型，用于对非英语的零拍摄概括，从而加强了我们方法的有效性。我们的Team BackGprop在法国数据集中获得了最高分，丹麦和越南的最高分，在全球排行榜上的英语合法数据集中获得了第三高，用于SDU AAAI-22的Althym提取（AE）共享任务。

零拍摄的交叉传输是现代NLP模型和架构中的一个重要功能，以支持低资源语言。在这项工作中，我们在多标签文本分类下将零拍摄的交叉传输到法语和德语，我们使用英语培训集培训分类器，我们使用法语和德语测试集进行测试。我们以法语和德语官方翻译扩展了欧洲互联网数据集，英国数据集，了解法律文件的主题分类。我们调查使用一些训练技术，即逐步的未填写和语言模型FineTuning的效果，对零射击交叉传输的质量。我们发现，多语言预训练模型（M-Distilbert，M-BERT）的语言模型，导致32.0-34.94％，相应地对法国和德国测试集的相对改进。此外，在培训期间逐渐未经培训的模型层，为法国人的相对提高38-45％，德国人58-70％。与使用英语，法国和德国培训集中的联合培训方案中的模型进行培训，零击贝尔的分类模型达到了通过共同训练的基于伯特的分类模型实现的86％。

Automatic term extraction plays an essential role in domain language understanding and several natural language processing downstream tasks. In this paper, we propose a comparative study on the predictive power of Transformers-based pretrained language models toward term extraction in a multi-language cross-domain setting. Besides evaluating the ability of monolingual models to extract single- and multi-word terms, we also experiment with ensembles of mono- and multilingual models by conducting the intersection or union on the term output sets of different language models. Our experiments have been conducted on the ACTER corpus covering four specialized domains (Corruption, Wind energy, Equitation, and Heart failure) and three languages (English, French, and Dutch), and on the RSDO5 Slovenian corpus covering four additional domains (Biomechanics, Chemistry, Veterinary, and Linguistics). The results show that the strategy of employing monolingual models outperforms the state-of-the-art approaches from the related work leveraging multilingual models, regarding all the languages except Dutch and French if the term extraction task excludes the extraction of named entity terms. Furthermore, by combining the outputs of the two best performing models, we achieve significant improvements.

自然语言处理领域（NLP）最近看到使用预先接受训练的语言模型来解决几乎任何任务的大量变化。尽管对各种任务的基准数据集显示了很大的改进，但这些模型通常在非标准域中对临床领域的临床域进行次优，其中观察到预训练文件和目标文件之间的巨大差距。在本文中，我们的目标是通过对语言模型的域特定培训结束这种差距，我们调查其对多种下游任务和设置的影响。我们介绍了预先训练的Clin-X（临床XLM-R）语言模型，并展示了Clin-X如何通过两种语言的十个临床概念提取任务的大幅度优于其他预先训练的变压器模型。此外，我们展示了如何通过基于随机分裂和交叉句子上下文的集合来利用我们所提出的任务和语言 - 无人机模型架构进一步改善变压器模型。我们在低资源和转移设置中的研究显​​示，尽管只有250个标记的句子，但在只有250个标记的句子时，缺乏带注释数据的稳定模型表现。我们的结果突出了专业语言模型作为非标准域中的概念提取的Clin-X的重要性，但也表明我们的任务 - 无人机模型架构跨越测试任务和语言是强大的，以便域名或任务特定的适应不需要。 Clin-Xlanguage模型和用于微调和传输模型的源代码在https://github.com/boschresearch/clin\_x/和Huggingface模型集线器上公开使用。

多词表达式（MWE）是一系列单词，共同提出的含义不是从其单个单词中得出的。处理MWE的任务在许多自然语言处理（NLP）应用中至关重要，包括机器翻译和术语提取。因此，在不同领域中检测MWE是一个重要的研究主题。在本文中，我们探索了最新的神经变压器，以检测花和植物名称中的MWES。我们在由植物和花朵百科全书创建的数据集上评估了不同的变压器模型。我们从经验上表明，Transformer模型模型优于基于长期记忆（LSTM）的先前神经模型。

This paper presents the work of restoring punctuation for ASR transcripts generated by multilingual ASR systems. The focus languages are English, Mandarin, and Malay which are three of the most popular languages in Singapore. To the best of our knowledge, this is the first system that can tackle punctuation restoration for these three languages simultaneously. Traditional approaches usually treat the task as a sequential labeling task, however, this work adopts a slot-filling approach that predicts the presence and type of punctuation marks at each word boundary. The approach is similar to the Masked-Language Model approach employed during the pre-training stages of BERT, but instead of predicting the masked word, our model predicts masked punctuation. Additionally, we find that using Jieba1 instead of only using the built-in SentencePiece tokenizer of XLM-R can significantly improve the performance of punctuating Mandarin transcripts. Experimental results on English and Mandarin IWSLT2022 datasets and Malay News show that the proposed approach achieved state-of-the-art results for Mandarin with 73.8% F1-score while maintaining a reasonable F1-score for English and Malay, i.e. 74.7% and 78% respectively. Our source code that allows reproducing the results and building a simple web-based application for demonstration purposes is available on Github.

非洲语言最近是几项自然语言处理（NLP）研究的主题，这导致其在该领域的代表性大大增加。但是，在评估模型在诸如命名实体识别（NER）等任务中的性能时，大多数研究往往比数据集的质量更多地关注模型。尽管这在大多数情况下效果很好，但它并不能说明使用低资源语言进行NLP的局限性，即我们可以使用的数据集的质量和数量。本文根据数据集质量提供了各种模型的性能的分析。我们根据某些非洲NER数据集的每个句子的实体密度评估了不同的预训练模型。我们希望这项研究能够改善在低资源语言的背景下进行NLP研究的方式。

首字母缩略词提取旨在从文件中找到首字母缩略词（即，短文）及其含义（即，长形式），这对于科学文件理解（SDU @ Aaai-22）任务很重要。以前的作品致力于将此任务建模为段落级序列标记问题。但是，它缺乏有效利用外部知识，尤其是当数据集处于低资源设置时。最近，具有庞大培训的语言模型的基于及时的方法可以显着提高低资源下游任务的性能。在本文中，我们提出了一种用于缩写式提取任务的基于行的序列生成（PSG）方法。具体来说，我们设计一个模板，用于提示带有自动回归的提取的缩写文本。位置提取算法旨在提取所生成答案的位置。在低资源设置中越南语和波斯语的缩写提取的结果表明，所提出的方法优于所有其他竞争全能（SOTA）方法。

我们利用预训练的语言模型来解决两种低资源语言的复杂NER任务：中文和西班牙语。我们使用整个单词掩码（WWM）的技术来提高大型和无监督的语料库的掩盖语言建模目标。我们在微调的BERT层之上进行多个神经网络体系结构，将CRF，Bilstms和线性分类器结合在一起。我们所有的模型都优于基线，而我们的最佳性能模型在盲目测试集的评估排行榜上获得了竞争地位。

在多语言甚至单语言中鉴定的模型的零拍跨语言能力刺激了许多假设，以解释这一有趣的经验结果。但是，由于预处理的成本，大多数研究都使用公共模型的公共模型，其预处理方法（例如代币化，语料库规模和计算预算的选择）可能会大不相同。当研究人员对自己的模型预识时，他们通常会在预算有限的情况下这样做，并且与SOTA模型相比，最终的模型的表现可能明显不足。这些实验差异导致有关这些模型跨语性能力的性质的各种不一致的结论。为了帮助对该主题进行进一步研究，我们发布了10个单语字节级模型，并在相同的配置下进行了严格审慎的概述，并具有大型计算预算（相当于V100的420天）和Corpora，比原始BERT大4倍。由于它们不含令牌，因此消除了看不见的令牌嵌入的问题，从而使研究人员可以在具有不同脚本的语言中尝试更广泛的跨语言实验。此外，我们释放了在不自然语言文本上预测的两个模型，这些模型可用于理智检查实验。关于质量检查和NLI任务的实验表明，我们的单语模型实现了多语言的竞争性能，因此可以加强我们对语言模型中跨语性可传递性的理解。

与标准命名实体识别（NER）相比，在历史文本中识别人，位置和组织是一个巨大的挑战。为了获得机器可读的语料库，通常需要扫描历史文本，并且需要执行光学特征识别（OCR）。结果，历史文献包含错误。此外，位置或组织等实体可以随着时间的推移而改变，这构成了另一个挑战。总体而言，历史文本带有几种特殊性，这些特殊性与现代文本有很大不同，并且在该领域几乎无法使用训练神经标记器的大型标记的Corpora。在这项工作中，我们通过培训大型历史语言模型来解决历史，英语，法语，瑞典语和芬兰语的历史文献。我们通过使用未标记的数据预处理语言模型来规避大量标记数据的需求。我们提出了Hmbert，这是一种历史多语言基于BERT的语言模型，并以多种不同大小的版本发布该模型。此外，我们通过解决下游NER作为今年HIPE-2022共享任务的一部分来评估HMBERT的能力，并提供详细的分析和见解。对于多种语言的经典评论粗粒ner挑战，我们的标记者Histeria的表现优于其他团队的三种语言中的其他团队的模型。

多字表达式（MWES）呈现单词组，其中整体的含义不是源于其部分的含义。处理MWE的任务在许多自然语言处理（NLP）应用中至关重要，包括机器翻译和术语提取。因此，检测MWE是一个流行的研究主题。在本文中，我们在检测MWES的任务中探索了最新的神经变压器。我们在数据集中凭经验评估了Semeval-2016任务10：检测最小的语义单元及其含义（DIMSUM）。我们表明，变压器模型的表现优于先前基于长期记忆（LSTM）的神经模型。该代码和预培训模型将免费提供给社区。

跨语言转移学习已被证明在各种自然语言处理（NLP）任务中很有用，但是它在法律NLP的背景下被研究了，而在法律判断预测（LJP）中根本没有。我们使用三语瑞士判断数据集探索LJP上的转移学习技术，包括用三种语言编写的案例。我们发现，跨语性转移可以改善跨语言的总体结果，尤其是当我们使用基于适配器的微调时。最后，我们使用3倍较大的培训语料库使用机器翻译版本的原始文档的机器翻译版本来进一步提高模型的性能。此外，我们进行了一项分析，探讨了跨域和跨区域转移的效果，即跨域（法定区域）或地区培训模型。我们发现，在两个环境（法律领域，原产地地区）中，经过培训的所有小组的模型总体表现更好，而在最差的情况下，它们也改善了结果。最后，当我们雄心勃勃地应用跨寿司转移时，我们报告了改进的结果，在此我们通过印度法律案件进一步扩大数据集。

Cross-lingual transfer learning without labeled target language data or parallel text has been surprisingly effective in zero-shot cross-lingual classification, question answering, unsupervised machine translation, etc. However, some recent publications have claimed that domain mismatch prevents cross-lingual transfer, and their results show that unsupervised bilingual lexicon induction (UBLI) and unsupervised neural machine translation (UNMT) do not work well when the underlying monolingual corpora come from different domains (e.g., French text from Wikipedia but English text from UN proceedings). In this work, we show that a simple initialization regimen can overcome much of the effect of domain mismatch in cross-lingual transfer. We pre-train word and contextual embeddings on the concatenated domain-mismatched corpora, and use these as initializations for three tasks: MUSE UBLI, UN Parallel UNMT, and the SemEval 2017 cross-lingual word similarity task. In all cases, our results challenge the conclusions of prior work by showing that proper initialization can recover a large portion of the losses incurred by domain mismatch.

多语种预训练模型在许多多语言NLP任务中展示了它们的有效性，并使从高资源语言到低资源的零射击或几秒钟传输。然而，由于某种语言之间的显着的类型差异和矛盾，这些模型通常在许多语言和交叉语言设置上表现不佳，这表明了学习单一模型同时处理大规模不同语言的难度。为了减轻这个问题，我们提出了一个新的多语言预训练管道。我们建议从多语言预先训练的模型产生语言表示，并进行语言分析，以表明语言表示相似度反映了从多个角度来看的语言相似度，包括语言家庭，地理蓝星，词汇表演和语法。然后，我们将所有目标语言集成到多个组中，并将每个组名称为表示SprachBund。因此，在同一表示SprachBund中的语言应该在培训和微调中互相提升，因为它们共享丰富的语言相似性。我们预先列车为每个代表斯普拉克班达一个多语言模型。实验在交叉基准上进行，与强基线相比，实现了显着的改进。

通常，在自然语言处理领域，识别指定实体是一项实用且具有挑战性的任务。由于混合的性质导致语言复杂性，因此在代码混合文本上命名的实体识别是进一步的挑战。本文介绍了CMNERONE团队在Semeval 2022共享任务11 Multiconer的提交。代码混合的NER任务旨在识别代码混合数据集中的命名实体。我们的工作包括在代码混合数据集上的命名实体识别（NER），来利用多语言数据。我们的加权平均F1得分为0.7044，即比基线大6％。

Multiconer共享的任务旨在检测在多种语言的简短和低文本设置中，在语义上模棱两可且复杂的命名实体。缺乏上下文使人们对歧义的命名实体的认识充满挑战。为了减轻此问题，我们的团队Damo-NLP提出了一个基于知识的系统，我们在其中建立了基于Wikipedia的多语言知识基础，以向指定的实体识别（NER）模型提供相关的上下文信息。给定输入句子，我们的系统有效地从知识库中检索了相关上下文。然后，将原始输入句子加强此类上下文信息，从而可以捕获明显更好的上下文化令牌表示。我们的系统在Multiconer共享任务中赢得了13个曲目中的10个。

我们介绍了MTG，这是一套新的基准套件，用于培训和评估多语言文本生成。它是具有最大人类通知数据（400K）的第一次传播的多语言多路文本生成数据集。它包括五种语言（英语，德语，法语，西班牙语和中文）的四代任务（故事产生，问题生成，标题生成和文本摘要）。Multiway设置可以启用跨语言和任务的模型测试知识传输功能。使用MTG，我们从不同方面训练和分析了几种流行的多语言生成模型。我们的基准套件通过更多的人为宣传的并行数据促进了模型性能增强。它提供了各种一代方案的全面评估。代码和数据可在\ url {https://github.com/zide05/mtg}上获得。