我们提出了带有核心注释的新语料库，俄罗斯核心语料库（Rucoco）。Rucoco的目的是获得大量注释的文本，同时保持高通道一致性。鲁科科（Rucoco）包含俄语的新闻文本，其中一部分是从头开始注释的，其余的机器生成的注释是由人类注释者完善的。我们的语料库的大小是一百万个单词，约有15万个提及。我们使语料库公开可用。
translated by 谷歌翻译
本文概述了与CRAC 2022研讨会相关的多语言核心分辨率的共享任务。共同的任务参与者应该开发能够识别提及并根据身份核心重点聚集的训练系统。Corefud 1.0的公共版本包含10种语言的13个数据集，被用作培训和评估数据的来源。先前面向核心共享任务中使用的串联分数用作主要评估度量。5个参与团队提交了8个核心预测系统；此外，组织者在共享任务开始时提供了一个基于竞争变压器的基线系统。获胜者系统的表现优于基线12个百分点（就所有语言的所有数据集而言，在所有数据集中平均得分）。
translated by 谷歌翻译
在本文中，我们展示了一种用于命名实体识别的意大利数据集。它包含超过一百万个令牌，其中注释涵盖三个课程：人员，地点和组织。大多数数据集（大约600k令牌）包含三个不同领域的手动黄金注释：新闻，文学和政治致命。文本和注释可用于免费下载GitHub存储库。
translated by 谷歌翻译
Raredis Corpus含有超过5,000个罕见疾病，近6,000个临床表现都是注释。此外，跨候注释协议评估表明，相对高的协议（F1措施等于实体的完全匹配标准，与关系的81.3％等于83.5％）。基于这些结果，该毒品具有高质量，假设该领域的重要步骤由于稀缺具有稀有疾病的可用语料库。这可以将门打开到进一步的NLP应用，这将促进这些罕见疾病的诊断和治疗，因此将大大提高这些患者的生活质量。
translated by 谷歌翻译
目前的自动COSTERED解析的工作集中在Ontonotes基准数据集上，由于其大小和一致性。然而，NLP从业者的Onototes注释方案的许多方面并不能够很好地理解，包括治疗通用NPS，Noun修饰剂，无限期的视性，预测等。这些通常会导致违反直觉的索赔，结果和系统行为。这个意见案件旨在突出努力的努力的一些问题，并提出依赖三个原则的前进方式：1。专注于语义，不是Morphosyntax;2.交叉语言概括性;3.分离身份和范围，可以解决涉及时间和模态域一致性的旧问题。
translated by 谷歌翻译
我们提出了一种新颖的基准和相关的评估指标，用于评估文本匿名方法的性能。文本匿名化定义为编辑文本文档以防止个人信息披露的任务，目前遭受了面向隐私的带注释的文本资源的短缺，因此难以正确评估各种匿名方法提供的隐私保护水平。本文介绍了标签（文本匿名基准），这是一种新的开源注释语料库，以解决此短缺。该语料库包括欧洲人权法院（ECHR）的1,268个英语法院案件，并充满了有关每个文档中出现的个人信息的全面注释，包括其语义类别，标识符类型，机密属性和共同参考关系。与以前的工作相比，TAB语料库旨在超越传统的识别（仅限于检测预定义的语义类别），并且明确标记了这些文本跨越的标记，这些文本应该被掩盖，以掩盖该人的身份受到保护。除了介绍语料库及其注释层外，我们还提出了一套评估指标，这些指标是针对衡量文本匿名性的性能而定制的，无论是在隐私保护和公用事业保护方面。我们通过评估几个基线文本匿名模型的经验性能来说明基准和提议的指标的使用。完整的语料库及其面向隐私的注释准则，评估脚本和基线模型可在以下网址提供：
translated by 谷歌翻译
Coreference resolution (CR) is one of the most challenging areas of natural language processing. This task seeks to identify all textual references to the same real-world entity. Research in this field is divided into coreference resolution and anaphora resolution. Due to its application in textual comprehension and its utility in other tasks such as information extraction systems, document summarization, and machine translation, this field has attracted considerable interest. Consequently, it has a significant effect on the quality of these systems. This article reviews the existing corpora and evaluation metrics in this field. Then, an overview of the coreference algorithms, from rule-based methods to the latest deep learning techniques, is provided. Finally, coreference resolution and pronoun resolution systems in Persian are investigated.
translated by 谷歌翻译
我们展示了哈萨克克坦命名实体识别的数据集的开发。该数据集是在哈萨克公开可用的注释Corpora的情况下建立的，以及包含简单但严谨的规则和示例的注释指南。基于IOB2计划的数据集注释是在第一个作者的监督下由两个本土哈萨克演讲者进行电视新闻文本。生成的数据集包含112,702个句子和25个实体类的136,333注释。最先进的机器学习模型自动化哈萨克人命名实体识别，具有最佳性能模型，在测试集上实现了97.22％的精确匹配。用于培训模型的注释数据集，指南和代码可从HTTPS://github.com/kaznerd自由下载4.0许可。
translated by 谷歌翻译
随着数字化的传统文化遗产文件迅速增加，导致对保存和管理的需求增加，对实体的实际认可和阶级的典型认识已成为必不可少的。为了实现这一目标，我们提出了Kochet - 韩国文化遗产语料库，用于典型实体相关的任务，即指定的实体识别（NER），关系提取（RE）和实体键入（ET）。根据政府附属组织的数据构建指南的文化遗产专家的建议，科切特分别由NER，RE和ET任务的112,362、38,765、113,198个示例组成，涵盖了与韩国文化遗产有关的所有实体类型。此外，与现有的公共语料库不同，可以允许经过修改的重新分配。我们的实验结果使Kochet的实际可用性在文化遗产方面更有价值。我们还从统计和语言分析方面提供了Kochet的实际见解。我们的语料库可以在https://github.com/gyeeongmin47/kochet上免费获得。
translated by 谷歌翻译
确定多个文档的概念提及的练习是自然语言理解中的基本任务。以前关于跨文档Coreference解析（CDCR）的工作通常会考虑新闻中的事件提到，这很少涉及普遍存在的科学和技术的技术概念。这些复杂的概念采用不同的形式或含糊不清的形式，并且具有许多分层级别的粒度（例如，任务和子组织），构成了CDCR的挑战。我们呈现了分层CDCR（H-CDCR）的新任务，其目标是在它们之间联合推断COREREFER集群和层次结构。我们在科学论文中创建SciCo，一个专家注释的H-CDCR数据集，比突出的欧洲ecb +资源大3倍。我们研究了我们为H-CDCR定制的强大基线模型，并突出了未来工作的挑战。
translated by 谷歌翻译
With the ever-growing popularity of the field of NLP, the demand for datasets in low resourced-languages follows suit. Following a previously established framework, in this paper, we present the UNER dataset, a multilingual and hierarchical parallel corpus annotated for named-entities. We describe in detail the developed procedure necessary to create this type of dataset in any language available on Wikipedia with DBpedia information. The three-step procedure extracts entities from Wikipedia articles, links them to DBpedia, and maps the DBpedia sets of classes to the UNER labels. This is followed by a post-processing procedure that significantly increases the number of identified entities in the final results. The paper concludes with a statistical and qualitative analysis of the resulting dataset.
translated by 谷歌翻译
我们描述了NordiaChange：挪威的第一个历史语义改变数据集。NordiaChange包括两个新的子集，覆盖了大约80个挪威名词，随着时间的推移，用分级语义变化手动注释。两个数据集都遵循相同的注释程序，可以互换地作为火车和彼此的测试分割。Nordiachange涵盖与战后事件，挪威石油和天然气发现以及技术发展有关的时间段。注释是使用DUREL框架和两个大型历史挪威语料库完成的。NordiaChange在允许许可证下全额发布，完成了原始注释数据和推断仪式单词使用图（DWUG）。
translated by 谷歌翻译
网络威胁智能（CTI）是描述威胁媒介，漏洞和攻击的信息，通常用作基于AI的网络防御系统（例如网络安全知识图（CKG））的培训数据。非常需要开发可访问社区的数据集来培训现有的基于AI的网络安全管道，以有效，准确地从CTI中提取有意义的见解。我们已经从各种开放源中创建了一个初始的非结构化CTI语料库，我们使用SPACY框架并探索自学习方法来自动识别网络安全实体，用于训练和测试网络安全实体模型。我们还描述了应用网络安全域实体与Wikidata现有世界知识联系起来的方法。我们未来的工作将调查和测试Spacy NLP工具，并创建方法，以连续整合从文本中提取的新信息。
translated by 谷歌翻译
尽管传记在语义网络中广泛传播，但自动提取传记事件的资源和方法受到限制。这种限制减少了结构化的，可读的传记信息的数量，尤其是关于属于代表性不足的人的人的数量。我们的工作通过为生活事件的语义注释提供一组准则来挑战这一限制。该准则旨在与现有的ISO语义注释标准可互操作：ISO-TIMEML（ISO-24617-1）和SEMAF（ISO-24617-4）。通过代表不足的作家的维基百科传记的注释任务，即非西方国家，移民或属于少数民族的作者，对准则进行了测试。 4个注释者注释了1,000个句子，平均通知者协议为0.825。由此产生的语料库被映射在Ontonotes上。这样的映射允许扩展我们的语料库，表明已经存在现有资源可以用于传记事件提取任务。
translated by 谷歌翻译
To effectively train accurate Relation Extraction models, sufficient and properly labeled data is required. Adequately labeled data is difficult to obtain and annotating such data is a tricky undertaking. Previous works have shown that either accuracy has to be sacrificed or the task is extremely time-consuming, if done accurately. We are proposing an approach in order to produce high-quality datasets for the task of Relation Extraction quickly. Neural models, trained to do Relation Extraction on the created datasets, achieve very good results and generalize well to other datasets. In our study, we were able to annotate 10,022 sentences for 19 relations in a reasonable amount of time, and trained a commonly used baseline model for each relation.
translated by 谷歌翻译
现代实体链接（EL）系统构成了流行偏见，但是没有数据集以英语以外的其他语言上关注尾巴和新兴实体。我们向Hansel展示了中国人的新基准，它填补了非英国几乎没有射击和零击EL挑战的空缺。Hansel的测试集经过人工注释和审查，并采用了一种用于收集零照片EL数据集的新方法。它涵盖了新闻，社交媒体帖子和其他网络文章中的10k多种文档，Wikidata作为目标知识库。我们证明，现有的最新EL系统在Hansel上的表现不佳（R@1中的36.6％，几乎没有射击）。然后，我们建立了一个强大的基线，该基线在我们的数据集上的零射门上为46.2％的R@1分之1。我们还表明，我们的基线在TAC-KBP2015中国实体链接任务上取得了竞争成果。
translated by 谷歌翻译
本文介绍了一个新的培训数据集，用于自动类型识别Ginco，基于1,125个爬行的斯洛文尼亚文档，由650万字组成。每个文档都是手动注释的，用于具有在现有模式上构建的新注释模式，主要是标签和注册间协议的主要明确。数据集包括与基于Web的数据相关的各种挑战，例如机器翻译内容，编码错误，在一个文件中呈现的多个内容等，使得能够评估现实条件中的分类器。 DataSet上的初始机器学习实验表明（1）预变压器模型的巨大程度较低，能够模拟现象，宏观F1度量范围约为0.22，而基于变压器的模型达到约0.58的分数，而且（2）多语言变压器模型以及任务的工作以及先前被证明是优于标准NLP任务的多语言模型的单格式模型。
translated by 谷歌翻译
我们呈现了名字，一个从英语维基百科和新闻文章中获得的暧昧名称的实体的数据集。它由4148个独特实体的58862提到和他们的名称：来自News的1000个提到，来自Wikipedia关于实体的文章28843，以及29019维基百科反向链接提到。名称应该有助于为命名实体链接的任务建立具有挑战性的基准（NEL）。
translated by 谷歌翻译
我们提供了一个新的Twitter数据语料库，该数据注释了西班牙语和英语之间的代码开关和借用。该语料库包含带有代码开关，借款和命名实体的令牌级别注释的9,500条推文。该语料库与先前的代码开关情况有所不同，因为我们试图清楚地定义和注释codeswitching and Loarding和借贷之间的边界，并且在其他单语上下文中使用时，请不要将常见的“互联网说话”（'lol'等）视为代码开关。结果是一个语料库，可以在一个数据集中的Twitter上进行西班牙语 - 英语借款和代码开关的研究和建模。我们提出了使用基于变压器的语言模型对该语料库的标签进行建模的基线得分。注释本身由CC by 4.0许可发布，而其适用的文本则根据Twitter服务条款分发。
translated by 谷歌翻译
现有的多方对话数据集用于核心分辨率是新生的，许多挑战仍然没有解决。我们根据电视成绩单为此任务创建了一个大规模数据集，多语言多方CoreF（MMC）。由于使用多种语言的黄金质量字幕可用，我们建议重复注释以通过注释投影以其他语言（中文和Farsi）创建银色核心数据。在黄金（英语）数据上，现成的模型在MMC上的性能相对较差，这表明MMC比以前的数据集更广泛地覆盖多方核心。在银数据上，我们发现成功使用它进行数据增强和从头开始训练，这有效地模拟了零击的跨语性设置。
translated by 谷歌翻译