诱饵是将单词的易位形式分组在一起的过程，因此可以将它们分析为单个项目，该项目由单词的引理或字典形式识别。在计算语言学中，柠檬酸是基于其预期含义来确定单词引理的算法过程。与词干不同，lemmatisation取决于正确识别句子中单词的语音和含义的预期部分，以及在该句子周围的较大上下文中。结果，开发有效的Lemmatisation算法是复杂的任务。近年来，可以观察到，用于此任务的深度学习模型优于包括机器学习算法在内的其他方法。在本文中，提出了基于Google T5型号的波兰狐猴仪。培训的上下文长度不同。该模型可以实现波兰语言狐猴化过程的最佳结果。

英国主导填字游戏，英国的主要填字游戏是推进寻求语义复杂，高度成分语言的NLP系统的有希望的目标。密码线索像流利的自然语言一样读，但是由两部分进行前列组成：一个定义和播放密码需要字符级操作。专家人类使用创造性的智能来解决隐秘，灵活地结合语言，世界和领域知识。在本文中，我们进行了两个主要贡献。首先，我们向NLP系统提供了一个充满挑战的新基准，以便在更具创造性，人类的方式处理组成语言的挑战新的基准。在显示三种非神经方法和T5之后，一种最先进的神经语言模型，无法实现良好的性能，我们提出了第二种主要贡献：一种新的课程方法，其中模型首先进行微调在相关任务，如解读单词。我们还介绍了一个具有挑战性的数据拆分，检查子字标记模型的元语言功能，并通过扰动线索的晶片部分来调查模型系统性，表明T5表现出与人类解决部分符合的行为策略。虽然我们的课程方法大大提高了T5基线，但我们最好的模型仍然无法概括为人类可以的程度。因此，隐秘填字游戏仍然是NLP系统的未解决挑战和未来创新的潜在来源。

首字母缩略词提取旨在从文件中找到首字母缩略词（即，短文）及其含义（即，长形式），这对于科学文件理解（SDU @ Aaai-22）任务很重要。以前的作品致力于将此任务建模为段落级序列标记问题。但是，它缺乏有效利用外部知识，尤其是当数据集处于低资源设置时。最近，具有庞大培训的语言模型的基于及时的方法可以显着提高低资源下游任务的性能。在本文中，我们提出了一种用于缩写式提取任务的基于行的序列生成（PSG）方法。具体来说，我们设计一个模板，用于提示带有自动回归的提取的缩写文本。位置提取算法旨在提取所生成答案的位置。在低资源设置中越南语和波斯语的缩写提取的结果表明，所提出的方法优于所有其他竞争全能（SOTA）方法。

本文提出了一个简单的食谱，用于训练最先进的多语言语法误差校正（GEC）模型。我们首先提出一种语言不足的方法来实现这一目标，以生成大量的合成示例。第二个成分是使用大规模的多语言模型（最多11B参数）。一旦对特定于语言的监督集进行了微调，我们就会以四种语言的GEC基准进行以前的最新结果：英语，捷克语，德语和俄语。在为GEC建立了一套新的基线后，我们通过释放Clang-8数据集使结果可以轻松地重现和访问。它是通过使用我们称为GT5的最佳型号来清洁广泛使用但嘈杂的Lang-8数据集的目标而产生的。 Clang-8极大地简化了由多个微调阶段组成的典型GEC训练管道 - 我们证明，使用现成的语言模型在Clang-8上执行单个微调步骤，可以进一步改善已经是顶级的，为英语执行GT5型号。

问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。

Transfer learning, where a model is first pre-trained on a data-rich task before being finetuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a diversity of approaches, methodology, and practice. In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format. Our systematic study compares pre-training objectives, architectures, unlabeled data sets, transfer approaches, and other factors on dozens of language understanding tasks. By combining the insights from our exploration with scale and our new "Colossal Clean Crawled Corpus", we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our data set, pre-trained models, and code.

预审前的语言模型已被证明在许多与软件有关的一代任务中都是有效的。但是，它们不适合编辑任务，因为它们不是为了推理编辑的原因。为了解决这个问题，我们提出了一个新颖的预处理目标，该目标明确地对编辑进行了建模并使用它来构建Coditt5，这是一种用于软件相关编辑任务的大型语言模型，该任务是在大量源代码和自然语言评论中鉴定的。我们将其对各种下游编辑任务进行微调，包括评论更新，错误修复和自动代码审核。通过优于基于纯生成的模型，我们证明了方法的普遍性及其对编辑任务的适用性。我们还展示了纯生成模型和我们的基于编辑的模型如何通过简单的重读策略相互补充，我们可以通过该策略实现三个下游编辑任务的最新性能。

命名实体识别是一项信息提取任务，可作为其他自然语言处理任务的预处理步骤，例如机器翻译，信息检索和问题答案。命名实体识别能够识别专有名称以及开放域文本中的时间和数字表达式。对于诸如阿拉伯语，阿姆哈拉语和希伯来语之类的闪族语言，由于这些语言的结构严重变化，指定的实体识别任务更具挑战性。在本文中，我们提出了一个基于双向长期记忆的Amharic命名实体识别系统，并带有条件随机字段层。我们注释了一种新的Amharic命名实体识别数据集（8,070个句子，具有182,691个令牌），并将合成少数群体过度采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们命名的实体识别系统的F_1得分为93％，这是Amharic命名实体识别的新最新结果。

对于自然语言处理应用可能是有问题的，因为它们的含义不能从其构成词语推断出来。缺乏成功的方法方法和足够大的数据集防止了用于检测成语的机器学习方法的开发，特别是对于在训练集中不发生的表达式。我们提出了一种叫做小鼠的方法，它使用上下文嵌入来实现此目的。我们展示了一个新的多字表达式数据集，具有文字和惯用含义，并使用它根据两个最先进的上下文单词嵌入式培训分类器：Elmo和Bert。我们表明，使用两个嵌入式的深度神经网络比现有方法更好地执行，并且能够检测惯用词使用，即使对于训练集中不存在的表达式。我们展示了开发模型的交叉传输，并分析了所需数据集的大小。

Pre-trained language models are trained on large-scale unsupervised data, and they can be fine-tuned on small-scale labeled datasets and achieve good results. Multilingual pre-trained language models can be trained on multiple languages and understand multiple languages at the same time. At present, the research on pre-trained models mainly focuses on rich-resource language, while there is relatively little research on low-resource languages such as minority languages, and the public multilingual pre-trained language model can not work well for minority languages. Therefore, this paper constructs a multilingual pre-trained language model named MiLMo that performs better on minority language tasks, including Mongolian, Tibetan, Uyghur, Kazakh and Korean. To solve the problem of scarcity of datasets on minority languages and verify the effectiveness of the MiLMo model, this paper constructs a minority multilingual text classification dataset named MiTC, and trains a word2vec model for each language. By comparing the word2vec model and the pre-trained model in the text classification task, this paper provides an optimal scheme for the downstream task research of minority languages. The final experimental results show that the performance of the pre-trained model is better than that of the word2vec model, and it has achieved the best results in minority multilingual text classification. The multilingual pre-trained language model MiLMo, multilingual word2vec model and multilingual text classification dataset MiTC are published on https://milmo.cmli-nlp.com.

Existing language models (LMs) predict tokens with a softmax over a finite vocabulary, which can make it difficult to predict rare tokens or phrases. We introduce NPM, the first nonparametric masked language model that replaces this softmax with a nonparametric distribution over every phrase in a reference corpus. We show that NPM can be efficiently trained with a contrastive objective and an in-batch approximation to full corpus retrieval. Zero-shot evaluation on 9 closed-set tasks and 7 open-set tasks demonstrates that NPM outperforms significantly larger parametric models, either with or without a retrieve-and-generate approach. It is particularly better on dealing with rare patterns (word senses or facts), and predicting rare or nearly unseen words (e.g., non-Latin script). We release the model and code at github.com/facebookresearch/NPM.

谈话问题应答需要能够正确解释问题。然而，由于在日常谈话中难以理解共同参考和省略号的难度，目前的模型仍然不令人满意。尽管生成方法取得了显着的进展，但它们仍然被语义不完整陷入困境。本文提出了一种基于动作的方法来恢复问题的完整表达。具体地，我们首先在将相应的动作分配给每个候选跨度的同时定位问题中的共同引用或省略号的位置。然后，我们寻找与对话环境中的候选线索相关的匹配短语。最后，根据预测的操作，我们决定是否用匹配的信息替换共同参考或补充省略号。我们展示了我们对英语和中文发言权重写任务的方法的有效性，在RESTORATION-200K数据集中分别在3.9 \％和Rouge-L中提高了最先进的EM（完全匹配）。

Powerful generative models have led to recent progress in question generation (QG). However, it is difficult to measure advances in QG research since there are no standardized resources that allow a uniform comparison among approaches. In this paper, we introduce QG-Bench, a multilingual and multidomain benchmark for QG that unifies existing question answering datasets by converting them to a standard QG setting. It includes general-purpose datasets such as SQuAD for English, datasets from ten domains and two styles, as well as datasets in eight different languages. Using QG-Bench as a reference, we perform an extensive analysis of the capabilities of language models for the task. First, we propose robust QG baselines based on fine-tuning generative language models. Then, we complement automatic evaluation based on standard metrics with an extensive manual evaluation, which in turn sheds light on the difficulty of evaluating QG models. Finally, we analyse both the domain adaptability of these models as well as the effectiveness of multilingual models in languages other than English. QG-Bench is released along with the fine-tuned models presented in the paper https://github.com/asahi417/lm-question-generation, which are also available as a demo https://autoqg.net/.

The research on text summarization for low-resource Indian languages has been limited due to the availability of relevant datasets. This paper presents a summary of various deep-learning approaches used for the ILSUM 2022 Indic language summarization datasets. The ISUM 2022 dataset consists of news articles written in Indian English, Hindi, and Gujarati respectively, and their ground-truth summarizations. In our work, we explore different pre-trained seq2seq models and fine-tune those with the ILSUM 2022 datasets. In our case, the fine-tuned SoTA PEGASUS model worked the best for English, the fine-tuned IndicBART model with augmented data for Hindi, and again fine-tuned PEGASUS model along with a translation mapping-based approach for Gujarati. Our scores on the obtained inferences were evaluated using ROUGE-1, ROUGE-2, and ROUGE-4 as the evaluation metrics.

生物医学研究正在以这种指数速度增长，科学家，研究人员和从业者不再能够应对该领域发表的文献的数量。文献中提出的知识需要以这种方式系统化，可以轻松找到声明和假设，访问和验证。知识图可以为文献提供这样的语义知识表示框架。然而，为了构建知识图形，有必要以生物医学实体之间的关系形式提取知识并使两个实体和关系类型进行正常化。在本文中，我们展示并比较了少数基于规则和基于机器学习的（天真的贝叶斯，随机森林作为传统机器学习方法和T5基础的示例，作为现代深层学习的示例）可扩展关系从生物医学中提取的方法集成到知识图中的文献。我们研究了如何为不平衡和相当小的数据集进行弹性，显示T5模型，由于其在大型C4数据集以及不平衡数据上进行预培训，因此T5模型处理得好的小型数据集。最佳执行模型是T5模型在平衡数据上进行微调，报告F1分数为0.88。

数据到文本生成系统旨在基于输入数据生成文本描述（通常以表格形式表示）。典型系统使用巨大的训练样本来学习表和文本之间的对应关系。然而，大型训练套装昂贵，可以获得这些方法在现实世界方案中的适用性。在这项工作中，我们专注于几次数据到文本生成。我们观察到，虽然微调预训练的语言模型可能会产生合理的句子，但它们在几次拍摄设置中遭受了低语义覆盖问题。换句话说，生成的文本中的重要输入时隙往往丢失。为此，我们提出了一种搜索和学习方法，可以利用预训练的语言模型，而是插入丢失的插槽以提高语义覆盖。我们根据搜索结果进一步微调我们的系统，以平滑搜索噪声，在很大程度上产生更好的质量文本并提高推理效率。实验表明，我们的模型在E2E和Wikibio数据集上实现了高性能。特别是，我们在E2E上覆盖了98.35％的输入槽，很大程度上减轻了低覆盖问题。

音译是NLP域中的一项任务，其中输出单词是使用任何外语字母编写的类似单词。如今，该系统已针对多种语言对开发，涉及英语作为源或目标单词，并在Google Translate和聊天机器人等多个地方部署。但是，在指示语言的领域进行的研究很少进行，将其译为其他指示语言。本文展示了一个基于变压器（具有一些修改）的多语言模型，该模型比该域中的所有现有模型都可以显着更高的性能和准确性，并且比最先进的模型获得了更好的结果。本文显示了一个模型，该模型可以在以下五种语言之间进行任何一对 - 英语，印地语，孟加拉语，卡纳达语和泰米尔语之间的音译。它适用于语言在任何书面任务中都是通信的障碍的情况。该模型击败了最先进的（对于上述五种语言中的所有对 - 英语，印地语，孟加拉语，卡纳达语和泰米尔语），并获得了80.7％的前1位准确性得分，比比当前最佳结果。此外，该模型在语音准确性方面达到了93.5％（音译主要是基于语音/声音的任务）。

我们介绍了两个数据增强技术，它与Reset-Bilstm-CTC网络一起使用，显着降低了在手写文本识别（HTR）任务上的最佳报告结果之外的字错误率（WER）和字符错误率（CER）。我们应用了一种基于打印文本（StackMix）的删除文本（手写污染）和手写文本生成方法的新型增强，这被证明在HTR任务中非常有效。StackMix使用弱监督框架来获得字符边界。因为这些数据增强技术与所使用的网络无关，所以也可以应用于增强其他网络的性能和HTR的方法。十个手写文本数据集的广泛实验表明，手写墨水增强和StackMix显着提高了HTR模型的质量

食物对于人类生存至关重要。如此之多，以至于我们开发了不同的食谱来满足我们的口味需求。在这项工作中，我们提出了一种新颖的方式，可以使用变压器（特别是自动回归语言模型）从头开始创建新的细餐食谱。考虑到一小部分食物食谱数据集，我们尝试训练模型以识别烹饪技术，提出新颖的食谱并测试用最小数据进行微调的功能。

Language tasks involving character-level manipulations (e.g., spelling correction, many word games) are challenging for models based in subword tokenization. To address this, we adapt the interchange intervention training method of Geiger et al. (2021) to operate on type-level variables over characters. This allows us to encode robust, position-independent character-level information in the internal representations of subword-based models. We additionally introduce a suite of character-level tasks that systematically vary in their dependence on meaning and sequence-level context. While simple character-level tokenization approaches still perform best on purely form-based tasks like string reversal, our method is superior for more complex tasks that blend form, meaning, and context, such as spelling correction in context and word search games. Our approach also leads to subword-based models with human-intepretable internal representations of characters.