We present a novel corpus for French dialect identification comprising 413,522 French text samples collected from public news websites in Belgium, Canada, France and Switzerland. To ensure an accurate estimation of the dialect identification performance of models, we designed the corpus to eliminate potential biases related to topic, writing style, and publication source. More precisely, the training, validation and test splits are collected from different news websites, while searching for different keywords (topics). This leads to a French cross-domain (FreCDo) dialect identification task. We conduct experiments with four competitive baselines, a fine-tuned CamemBERT model, an XGBoost based on fine-tuned CamemBERT features, a Support Vector Machines (SVM) classifier based on fine-tuned CamemBERT features, and an SVM based on word n-grams. Aside from presenting quantitative results, we also make an analysis of the most discriminative features learned by CamemBERT. Our corpus is available at https://github.com/MihaelaGaman/FreCDo.

通过摩尔维亚岛与罗马尼亚语方言识别的机器学习模型的看似高精度水平和对这一主题的越来越多的研究兴趣，我们提供了摩尔维亚的跟进与罗马尼亚语交叉方言主题识别（MRC）的Vartial共享任务2019年评估运动。共享任务包括两个子任务类型：一个组成，其中包括摩尔维亚和罗马尼亚语方言的区分，其中一个由罗马尼亚语两条方言进行主题分类文件。参与者实现了令人印象深刻的分数，例如，摩尔维亚州的顶级型号与罗马尼亚语方言识别获得了0.895的宏F1得分。我们对人类注释者进行了主观评估，显示人类与机器学习（ML）模型相比，人类可以获得更低的精度率。因此，还不清楚为什么参与者提出的方法达到这种高精度率的方法。我们的目标是理解（i）为什么所提出的方法如此良好地工作（通过可视化鉴别特征）和（ii）这些方法可以在多大程度上保持其高精度水平，例如，这些方法可以保持高精度水平。当我们将文本样本缩短到单个句子时或我们在推理时间使用推文时。我们工作的二级目标是使用集合学习提出改进的ML模型。我们的实验表明，ML模型可以准确地识别方言，即使在句子水平和不同的域中（新闻文章与推文）。我们还分析了最佳性能模型的最辨别特征，在这些模型所采取的决策背后提供了一些解释。有趣的是，我们学习我们以前未知的新的辩证模式或我们的人为注册者。此外，我们进行实验，表明可以通过基于堆叠的集合来改善MRC共享任务的机器学习性能。

识别文本跨越几十年的作者的任务，并使用语言学，统计数据，更新，最近，机器学习。灵感灵感来自广泛的自然语言处理任务的令人印象深刻的性能增益，并通过持续的潘大型作者数据集的可用性，我们首先研究几个伯特式变压器的有效性，以便为作者验证的任务。这些模型证明了始终如一地达到非常高的分数。接下来，我们经验证明他们专注于局部线索而不是作者写作风格特征，利用数据集中的现有偏差。为了解决这个问题，我们为PAN-2020提供了新的分割，其中培训和测试数据从不相交的主题或作者采样。最后，我们介绍了DarkRedDit，一个具有不同输入数据分发的数据集。我们进一步使用它来分析低数据制度中模型的域泛化性能，以及在使用所提出的PAN-2020分割时如何变化，以进行微调。我们表明这些分割可以提高模型的模型，以通过新的，显着不同的数据集传输知识。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

Determining the author of a text is a difficult task. Here we compare multiple AI techniques for classifying literary texts written by multiple authors by taking into account a limited number of speech parts (prepositions, adverbs, and conjunctions). We also introduce a new dataset composed of texts written in the Romanian language on which we have run the algorithms. The compared methods are Artificial Neural Networks, Support Vector Machines, Multi Expression Programming, Decision Trees with C5.0, and k-Nearest Neighbour. Numerical experiments show, first of all, that the problem is difficult, but some algorithms are able to generate decent errors on the test set.

Laws and their interpretations, legal arguments and agreements\ are typically expressed in writing, leading to the production of vast corpora of legal text. Their analysis, which is at the center of legal practice, becomes increasingly elaborate as these collections grow in size. Natural language understanding (NLU) technologies can be a valuable tool to support legal practitioners in these endeavors. Their usefulness, however, largely depends on whether current state-of-the-art models can generalize across various tasks in the legal domain. To answer this currently open question, we introduce the Legal General Language Understanding Evaluation (LexGLUE) benchmark, a collection of datasets for evaluating model performance across a diverse set of legal NLU tasks in a standardized way. We also provide an evaluation and analysis of several generic and legal-oriented models demonstrating that the latter consistently offer performance improvements across multiple tasks.

我们展示了哈萨克克坦命名实体识别的数据集的开发。该数据集是在哈萨克公开可用的注释Corpora的情况下建立的，以及包含简单但严谨的规则和示例的注释指南。基于IOB2计划的数据集注释是在第一个作者的监督下由两个本土哈萨克演讲者进行电视新闻文本。生成的数据集包含112,702个句子和25个实体类的136,333注释。最先进的机器学习模型自动化哈萨克人命名实体识别，具有最佳性能模型，在测试集上实现了97.22％的精确匹配。用于培训模型的注释数据集，指南和代码可从HTTPS://github.com/kaznerd自由下载4.0许可。

近年来，我们看到了处理敏感个人信息的应用程序（包括对话系统）的指数增长。这已经揭示了在虚拟环境中有关个人数据保护的极为重要的问题。首先，性能模型应该能够区分敏感内容与中性句子的句子。其次，它应该能够识别其中包含的个人数据类别的类型。这样，可以考虑每个类别的不同隐私处理。在文献中，如果有关于自动敏感数据识别的作品，则通常在没有共同基准的不同域或语言上进行。为了填补这一空白，在这项工作中，我们介绍了SPEDAC，这是一个新的注释基准，用于识别敏感的个人数据类别。此外，我们提供了对数据集的广泛评估，该数据集使用不同的基准和基于Roberta的分类器进行的，这是一种神经体系结构，在检测敏感句子和个人数据类别的分类方面实现了强大的性能。

雇用措施恳求抄袭文本的措施是对学术诚信的严重威胁。要启用检测机释录的文本，我们会评估五个预先训练的单词嵌入模型的有效性与机器学习分类器和最先进的神经语言模型相结合。我们分析了研究论文，毕业论文和维基百科文章的预印刷品，我们使用不同的工具SpinBot和Spinnerchief释放。最佳的表演技术，啰素，平均F1得分为80.99％（F1 = 99.68％，纺纱病例的F1 = 71.64％），而人类评估员均达到纺纱病例的F1 = 78.4％，F1 = 65.6％的纺纱病例。我们表明，自动分类减轻了广泛使用的文本匹配系统的缺点，例如金风格和Plagscan。为了促进未来的研究，所有数据，代码和两个展示我们贡献的Web应用程序都公开使用。

姿态检测的目标是确定以目标朝向目标的文本中表达的视点。这些观点或上下文通常以许多不同的语言表达，这取决于用户和平台，这可以是本地新闻插座，社交媒体平台，新闻论坛等。然而，姿态检测的大多数研究已经限于使用单一语言和几个有限的目标，在交叉舌姿态检测很少有效。此外，标记数据的非英语来源通常稀缺，并具有额外的挑战。最近，大型多语言语言模型在许多非英语任务上大大提高了性能，尤其是具有有限数量的示例。这突出了模型预培训的重要性及其从少数例子中学习的能力。在本文中，我们展示了对日期交叉姿态检测的最全面的研究：我们在6名语言系列中使用12种语言的12种不同的数据集进行实验，每个都有6个低资源评估设置。对于我们的实验，我们构建了模式开发培训，提出了添加一种新颖的标签编码器来简化言语程序。我们进一步提出了基于情绪的姿态数据进行预培训，这在与几个强的基线相比，在低拍摄环境中显示了大量的6％F1绝对的增长。

确保适当的标点符号和字母外壳是朝向应用复杂的自然语言处理算法的关键预处理步骤。这对于缺少标点符号和壳体的文本源，例如自动语音识别系统的原始输出。此外，简短的短信和微博的平台提供不可靠且经常错误的标点符号和套管。本调查概述了历史和最先进的技术，用于恢复标点符号和纠正单词套管。此外，突出了当前的挑战和研究方向。

In this work, we introduce IndicXTREME, a benchmark consisting of nine diverse tasks covering 18 languages from the Indic sub-continent belonging to four different families. Across languages and tasks, IndicXTREME contains a total of 103 evaluation sets, of which 51 are new contributions to the literature. To maintain high quality, we only use human annotators to curate or translate\footnote{for IndicXParaphrase, where an automatic translation system is used, a second human verification and correction step is done.} our datasets. To the best of our knowledge, this is the first effort toward creating a standard benchmark for Indic languages that aims to test the zero-shot capabilities of pretrained language models. We also release IndicCorp v2, an updated and much larger version of IndicCorp that contains 20.9 billion tokens in 24 languages. We pretrain IndicBERT v2 on IndicCorp v2 and evaluate it on IndicXTREME to show that it outperforms existing multilingual language models such as XLM-R and MuRIL.

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

媒体报道对公众对事件的看法具有重大影响。尽管如此，媒体媒体经常有偏见。偏见新闻文章的一种方法是改变选择一词。通过单词选择对偏见的自动识别是具有挑战性的，这主要是由于缺乏黄金标准数据集和高环境依赖性。本文介绍了Babe，这是由训练有素的专家创建的强大而多样化的数据集，用于媒体偏见研究。我们还分析了为什么专家标签在该域中至关重要。与现有工作相比，我们的数据集提供了更好的注释质量和更高的通知者协议。它由主题和插座之间平衡的3,700个句子组成，其中包含单词和句子级别上的媒体偏见标签。基于我们的数据，我们还引入了一种自动检测新闻文章中偏见的句子的方法。我们最佳性能基于BERT的模型是在由遥远标签组成的较大语料库中进行预训练的。对我们提出的监督数据集进行微调和评估模型，我们达到了0.804的宏F1得分，表现优于现有方法。

本文介绍了对土耳其语可用于的语料库和词汇资源的全面调查。我们审查了广泛的资源，重点关注公开可用的资源。除了提供有关可用语言资源的信息外，我们还提供了一组建议，并确定可用于在土耳其语言学和自然语言处理中进行研究和建筑应用的数据中的差距。

链接的开放数据实践导致了过去十年中网络上结构化数据的显着增长。这样的结构化数据以机器可读的方式描述了现实世界实体，并为自然语言处理领域的研究创造了前所未有的机会。但是，缺乏有关如何使用此类数据，哪种任务以及它们在多大程度上对这些任务有用的研究。这项工作着重于电子商务领域，以探索利用此类结构化数据来创建可能用于产品分类和链接的语言资源的方法。我们以RDF N四分之一的形式处理数十亿个结构化数据点，以创建数百万个与产品相关的语料库单词，后来以三种不同的方式用于创建语言资源：培训单词嵌入模型，继续预训练类似于Bert的语言模型和训练机器翻译模型，这些模型被用作生成产品相关的关键字的代理。我们对大量基准测试的评估表明，嵌入单词是提高这两个任务准确性的最可靠和一致的方法（在某些数据集中，宏观 - 平均F1中最高6.9个百分点）。但是，其他两种方法并不那么有用。我们的分析表明，这可能是由于许多原因，包括结构化数据中的偏置域表示以及缺乏词汇覆盖范围。我们分享我们的数据集，并讨论如何将我们所学到的经验教训朝着这一方向介绍未来的研究。

论证分析是一个计算语言学领域，该领域研究了从文本及其之间的关系中提取参数的方法以及文本的论证结构。本文是组织者关于在对话会议框架内涉及俄罗斯语言文本的第一个论证分析系统竞争的报告。在比赛期间，参与者得到了两项任务：立场检测和论证分类。准备了与Covid-19-19的大流行有关的三个主题（疫苗接种，隔离和戴口罩）的三个主题的语料库（有关社交媒体帖子的评论），并进行了注释，并用于培训和测试。在这两个任务中赢得第一名的系统都使用了BERT体系结构的NLI（自然语言推理）变体，自动翻译为英语以应用专业的BERT模型，在Twitter帖子上进行了讨论COVID-19，以及对COVID-19目标实体。该系统显示以下结果：对于立场检测任务，F1得分为0.6968，对于参数分类任务，F1得分为0.7404。我们希望准备好的数据集和基线将有助于进一步研究俄罗斯语言的论证挖掘。

我们提出了多语言数据集的Multiconer，用于命名实体识别，涵盖11种语言的3个域（Wiki句子，问题和搜索查询），以及多语言和代码混合子集。该数据集旨在代表NER中的当代挑战，包括低文字方案（简短和未添加的文本），句法复杂的实体（例如电影标题）和长尾实体分布。使用基于启发式的句子采样，模板提取和插槽以及机器翻译等技术，从公共资源中汇编了26M令牌数据集。我们在数据集上应用了两个NER模型：一个基线XLM-Roberta模型和一个最先进的Gemnet模型，该模型利用了Gazetteers。基线实现了中等的性能（Macro-F1 = 54％），突出了我们数据的难度。 Gemnet使用Gazetteers，显着改善（Macro-F1 =+30％的平均改善）。甚至对于大型预训练的语言模型，多功能人也会构成挑战，我们认为它可以帮助进一步研究建立强大的NER系统。 Multiconer可在https://registry.opendata.aws/multiconer/上公开获取，我们希望该资源将有助于推进NER各个方面的研究。

我们介绍了Paranames，这是一种多语言并行名称资源，由1.18亿个名称组成，涉及400种语言。为1360万个实体提供了名称，这些实体映射到标准化实体类型（每/loc/org）。使用Wikidata作为来源，我们创建了此类类型的最大资源。我们描述了我们过滤和标准化数据以提供最佳质量的方法。PANAMES对于多语言语言处理非常有用，既可以定义名称翻译/音译的任务，又可以作为任务的补充数据，例如命名实体识别和链接。我们通过训练与英文和英语的规范名称翻译的多语言模型来展示对照群的应用。我们的资源是根据https://github.com/bltlab/paranames发布的创意共享许可证（CC By 4.0）发布的。

这项研究提供了对僧伽罗文本分类的预训练语言模型的性能的首次全面分析。我们测试了一组不同的Sinhala文本分类任务，我们的分析表明，在包括Sinhala（XLM-R，Labse和Laser）的预训练的多语言模型中，XLM-R是迄今为止Sinhala文本的最佳模型分类。我们还预先培训了两种基于罗伯塔的单语僧伽罗模型，它们远远优于僧伽罗的现有预训练的语言模型。我们表明，在微调时，这些预训练的语言模型为僧伽罗文本分类树立了非常强大的基线，并且在标记数据不足以进行微调的情况下非常强大。我们进一步提供了一组建议，用于使用预训练的模型进行Sinhala文本分类。我们还介绍了新的注释数据集，可用于僧伽罗文本分类的未来研究，并公开发布我们的预培训模型。