This article presents morphologically-annotated Yemeni, Sudanese, Iraqi, and Libyan Arabic dialects Lisan corpora. Lisan features around 1.2 million tokens. We collected the content of the corpora from several social media platforms. The Yemeni corpus (~ 1.05M tokens) was collected automatically from Twitter. The corpora of the other three dialects (~ 50K tokens each) came manually from Facebook and YouTube posts and comments. Thirty five (35) annotators who are native speakers of the target dialects carried out the annotations. The annotators segemented all words in the four corpora into prefixes, stems and suffixes and labeled each with different morphological features such as part of speech, lemma, and a gloss in English. An Arabic Dialect Annotation Toolkit ADAT was developped for the purpose of the annation. The annotators were trained on a set of guidelines and on how to use ADAT. We developed ADAT to assist the annotators and to ensure compatibility with SAMA and Curras tagsets. The tool is open source, and the four corpora are also available online.

We present Maknuune, a large open lexicon for the Palestinian Arabic dialect. Maknuune has over 36K entries from 17K lemmas, and 3.7K roots. All entries include diacritized Arabic orthography, phonological transcription and English glosses. Some entries are enriched with additional information such as broken plurals and templatic feminine forms, associated phrases and collocations, Standard Arabic glosses, and examples or notes on grammar, usage, or location of collected entry.

在本文中，我们介绍了在阿拉伯语编码的突尼斯阿拉伯语项目的最终结果，该项目是基于拉丁语的数字对话写作系统。该项目导致创建了两个集成和独立的资源：一个语料库和一个NLP工具，以通过各种语言信息来注释前者：单词分类，音译，标记，标记，pos tagging，lemmatization。我们从计算和语言方法论以及为改善结果而采用的策略中讨论我们的选择。我们报告了执行的实验，以概述我们的研究路径。最后，我们解释了为什么我们相信这些资源对计算和语言研究的潜力。关键词：突尼斯阿拉伯语，注释语料库，神经网络体系结构

本文介绍了对土耳其语可用于的语料库和词汇资源的全面调查。我们审查了广泛的资源，重点关注公开可用的资源。除了提供有关可用语言资源的信息外，我们还提供了一组建议，并确定可用于在土耳其语言学和自然语言处理中进行研究和建筑应用的数据中的差距。

我们提供了一个新的Twitter数据语料库，该数据注释了西班牙语和英语之间的代码开关和借用。该语料库包含带有代码开关，借款和命名实体的令牌级别注释的9,500条推文。该语料库与先前的代码开关情况有所不同，因为我们试图清楚地定义和注释codeswitching and Loarding和借贷之间的边界，并且在其他单语上下文中使用时，请不要将常见的“互联网说话”（'lol'等）视为代码开关。结果是一个语料库，可以在一个数据集中的Twitter上进行西班牙语 - 英语借款和代码开关的研究和建模。我们提出了使用基于变压器的语言模型对该语料库的标签进行建模的基线得分。注释本身由CC by 4.0许可发布，而其适用的文本则根据Twitter服务条款分发。

我们描述了NordiaChange：挪威的第一个历史语义改变数据集。NordiaChange包括两个新的子集，覆盖了大约80个挪威名词，随着时间的推移，用分级语义变化手动注释。两个数据集都遵循相同的注释程序，可以互换地作为火车和彼此的测试分割。Nordiachange涵盖与战后事件，挪威石油和天然气发现以及技术发展有关的时间段。注释是使用DUREL框架和两个大型历史挪威语料库完成的。NordiaChange在允许许可证下全额发布，完成了原始注释数据和推断仪式单词使用图（DWUG）。

We present a corpus professionally annotated for grammatical error correction (GEC) and fluency edits in the Ukrainian language. To the best of our knowledge, this is the first GEC corpus for the Ukrainian language. We collected texts with errors (20,715 sentences) from a diverse pool of contributors, including both native and non-native speakers. The data cover a wide variety of writing domains, from text chats and essays to formal writing. Professional proofreaders corrected and annotated the corpus for errors relating to fluency, grammar, punctuation, and spelling. This corpus can be used for developing and evaluating GEC systems in Ukrainian. More generally, it can be used for researching multilingual and low-resource NLP, morphologically rich languages, document-level GEC, and fluency correction. The corpus is publicly available at https://github.com/grammarly/ua-gec

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

Due to the severity of the social media offensive and hateful comments in Brazil, and the lack of research in Portuguese, this paper provides the first large-scale expert annotated corpus of Brazilian Instagram comments for hate speech and offensive language detection. The HateBR corpus was collected from the comment section of Brazilian politicians' accounts on Instagram and manually annotated by specialists, reaching a high inter-annotator agreement. The corpus consists of 7,000 documents annotated according to three different layers: a binary classification (offensive versus non-offensive comments), offensiveness-level classification (highly, moderately, and slightly offensive), and nine hate speech groups (xenophobia, racism, homophobia, sexism, religious intolerance, partyism, apology for the dictatorship, antisemitism, and fatphobia). We also implemented baseline experiments for offensive language and hate speech detection and compared them with a literature baseline. Results show that the baseline experiments on our corpus outperform the current state-of-the-art for the Portuguese language.

道德框架和情感会影响各种在线和离线行为，包括捐赠，亲环境行动，政治参与，甚至参与暴力抗议活动。自然语言处理中的各种计算方法（NLP）已被用来从文本数据中检测道德情绪，但是为了在此类主观任务中取得更好的性能，需要大量的手工注销训练数据。事实证明，以前对道德情绪注释的语料库已被证明是有价值的，并且在NLP和整个社会科学中都产生了新的见解，但仅限于Twitter。为了促进我们对道德修辞的作用的理解，我们介绍了道德基础Reddit语料库，收集了16,123个reddit评论，这些评论已从12个不同的子雷迪维特策划，由至少三个训练有素的注释者手工注释，用于8种道德情绪（即护理，相称性，平等，纯洁，权威，忠诚，瘦道，隐含/明确的道德）基于更新的道德基础理论（MFT）框架。我们使用一系列方法来为这种新的语料库（例如跨域分类和知识转移）提供基线道德句子分类结果。

Raredis Corpus含有超过5,000个罕见疾病，近6,000个临床表现都是注释。此外，跨候注释协议评估表明，相对高的协议（F1措施等于实体的完全匹配标准，与关系的81.3％等于83.5％）。基于这些结果，该毒品具有高质量，假设该领域的重要步骤由于稀缺具有稀有疾病的可用语料库。这可以将门打开到进一步的NLP应用，这将促进这些罕见疾病的诊断和治疗，因此将大大提高这些患者的生活质量。

情感分析是NLP中研究最广泛的应用程序之一，但大多数工作都集中在具有大量数据的语言上。我们介绍了尼日利亚的四种口语最广泛的语言（Hausa，Igbo，Nigerian-Pidgin和Yor \'ub \'a）的第一个大规模的人类通知的Twitter情感数据集，该数据集由大约30,000个注释的推文组成（以及每种语言的大约30,000个）（以及14,000尼日利亚猎人），其中包括大量的代码混合推文。我们提出了文本收集，过滤，处理和标记方法，使我们能够为这些低资源语言创建数据集。我们评估了数据集上的预训练模型和转移策略。我们发现特定于语言的模型和语言适应性芬通常表现最好。我们将数据集，训练的模型，情感词典和代码释放到激励措施中，以代表性不足的语言进行情感分析。

用户生成的内容充满了拼写错误。我们假设许多拼写错误的语义不仅仅是随机噪音，而是可以利用隐藏的语义来理解语言理解任务。本文提出了泰语中拼写错误的注释语料库，以及对拼写意图及其可能的语义的分析，以更好地理解语料库中观察到的拼写模式。此外，我们介绍了两种方法，以结合拼写错误的语义：拼写的平均嵌入（MAE）和拼写的语义令牌（MST）。情感分析任务的实验证实了我们的总体假设：拼写错误的其他语义可以提高微F1得分高达0.4-2％，而盲目正常化的拼写错误是有害的和次优的。

即使在高度发达的国家，多达15-30％的人口只能理解使用基本词汇编写的文本。他们对日常文本的理解是有限的，这阻止了他们在社会中发挥积极作用，并就医疗保健，法律代表或民主选择做出明智的决定。词汇简化是一项自然语言处理任务，旨在通过更简单地替换复杂的词汇和表达方式来使每个人都可以理解文本，同时保留原始含义。在过去的20年中，它引起了极大的关注，并且已经针对各种语言提出了全自动词汇简化系统。该领域进步的主要障碍是缺乏用于构建和评估词汇简化系统的高质量数据集。我们提出了一个新的基准数据集，用于英语，西班牙语和（巴西）葡萄牙语中的词汇简化，并提供有关数据选择和注释程序的详细信息。这是第一个可直接比较三种语言的词汇简化系统的数据集。为了展示数据集的可用性，我们将两种具有不同体系结构（神经与非神经）的最先进的词汇简化系统适应所有三种语言（英语，西班牙语和巴西葡萄牙语），并评估他们的表演在我们的新数据集中。为了进行更公平的比较，我们使用多种评估措施来捕获系统功效的各个方面，并讨论其优势和缺点。我们发现，最先进的神经词汇简化系统优于所有三种语言中最先进的非神经词汇简化系统。更重要的是，我们发现最先进的神经词汇简化系统对英语的表现要比西班牙和葡萄牙语要好得多。

在这项研究中，我们旨在提供出于语言动机的解决方案，以解决缺乏无效词素的代表性，高生产力的衍生过程和土耳其语中的融合词素的问题，而在Boun Treebank中没有与普遍的依赖关系框架不同。为了解决这些问题，通过将某些引理并在UD框架中使用MISC（其他）选项卡来表示新的注释约定来表示派生。在基于LSTM的依赖性解析器上测试了重新注释的树库的代表性功能，并引入了船工具的更新版本。

本文介绍了正式和非正式波斯之间的语音，形态和句法区别，表明这两个变体具有根本差异，不能仅归因于发音差异。鉴于非正式波斯展出特殊的特征，任何在正式波斯语上培训的计算模型都不太可能转移到非正式的波斯，所以需要为这种品种创建专用的树木银行。因此，我们详细介绍了开源非正式波斯普通依赖性TreeBank的开发，这是一个在通用依赖性方案中注释的新的TreeBank。然后，我们通过在现有的正式树木银行上培训两个依赖性解析器并在域名数据上进行评估，调查非正式波斯的解析，即我们非正式树木银行的开发集。我们的结果表明，当我们穿过两个域时，解析器在跨越两个域时遇到了实质性的性能下降，因为它们面临更为不知名的令牌和结构，并且无法概括。此外，性能恶化的依赖关系最多代表了非正式变体的独特属性。这项研究的最终目标表明更广泛的影响是提供踩踏石头，以揭示语言的非正式变种的重要性，这被广泛地忽略了跨语言的自然语言处理工具。

语言随着时间的流逝而演变，单词含义会发生相应的变化。在社交媒体中尤其如此，因为它的动态性质会导致语义转移的速度更快，这使得NLP模型在处理新内容和趋势方面具有挑战性。但是，专门解决这些社交平台动态性质的数据集和模型的数量很少。为了弥合这一差距，我们提出了Tempowic，这是一种新的基准，尤其是旨在加快基于社交媒体的含义转变的研究。我们的结果表明，即使对于最近发行的专门从事社交媒体的语言模型，Tempowic是一个具有挑战性的基准。

我们介绍了游戏（丁）的对话，这是一本关于现实生活，口头，自发的多方对话的手动抄录，棋盘游戏Catan的法语玩家之间的对话。我们的目标是为法语提供高质量的资源，由长时间的对话组成，以促进他们的研究风格（Asher等，2016）。在一般的对话环境中，参与者共享个人信息，这使得不可能自由公开地传播资源。在丁（Ding）中，参与者的注意力集中在游戏上，这阻止了他们谈论自己。此外，我们正在通过注释（Cruz Blandon等，2019）对对话中问题的性质进行研究，以开发更自然的自动对话系统。

在本文中，我们讨论了用分层，细粒度标记标记不同类型的侵略和“上下文”的分层的多语言数据集的开发。这里，这里，这里由对话线程定义，其中发生特定的评论以及评论对先前注释执行的话语角色的“类型”。在此处讨论的初始数据集（并作为逗号@图标共享任务的一部分提供），包括四种语言的15,000名注释评论 - Meitei，Bangla，Hindi和印度英语 - 从各种社交媒体平台收集作为Youtube，Facebook，Twitter和电报。正如通常在社交媒体网站上，大量这些评论都是多语种的，主要是与英语混合的代码混合。本文给出了用于注释的标签的详细描述以及开发多标签的过程的过程，该方法可用于标记具有各种侵略和偏差的评论，包括性别偏见，宗教不宽容（称为标签中的公共偏见），类/种姓偏见和民族/种族偏见。我们还定义并讨论已用于标记通过评论执行的异常发挥作用的标记的标签，例如攻击，防御等。我们还对数据集的统计分析以及我们的基线实验的结果进行了发展使用DataSet开发的自动攻击识别系统。

Hope is characterized as openness of spirit toward the future, a desire, expectation, and wish for something to happen or to be true that remarkably affects human's state of mind, emotions, behaviors, and decisions. Hope is usually associated with concepts of desired expectations and possibility/probability concerning the future. Despite its importance, hope has rarely been studied as a social media analysis task. This paper presents a hope speech dataset that classifies each tweet first into "Hope" and "Not Hope", then into three fine-grained hope categories: "Generalized Hope", "Realistic Hope", and "Unrealistic Hope" (along with "Not Hope"). English tweets in the first half of 2022 were collected to build this dataset. Furthermore, we describe our annotation process and guidelines in detail and discuss the challenges of classifying hope and the limitations of the existing hope speech detection corpora. In addition, we reported several baselines based on different learning approaches, such as traditional machine learning, deep learning, and transformers, to benchmark our dataset. We evaluated our baselines using weighted-averaged and macro-averaged F1-scores. Observations show that a strict process for annotator selection and detailed annotation guidelines enhanced the dataset's quality. This strict annotation process resulted in promising performance for simple machine learning classifiers with only bi-grams; however, binary and multiclass hope speech detection results reveal that contextual embedding models have higher performance in this dataset.