在本文中,我们考虑了两个当前流行的语义框架:抽象含义表示(AMR)是一个更抽象的框架和通用的概念认知注释(UCCA) - 一个锚固的框架。我们使用基于语料库的方法来构建两种图形重写系统,即一种确定性和非确定性的方法,从前者到后一个框架。我们介绍他们的评估以及在制定规则时发现的许多歧义。最后,我们提供了与比较不同口味的语义框架有关的讨论和一些未来的工作指导。
translated by 谷歌翻译
本文介绍了如何使用在线工具增长匹配来进行查询并可视化现有的语义注释的语料库中的数据。专用的语法可用于构造简单至复杂的查询,并针对语料库执行它们。此类查询给出了带注释的数据的横向视图,这些视图可以帮助检查一个语料库中或多个语料库中注释的一致性。然后可以将增长匹配视为错误挖掘工具:当检测到不一致时,它有助于找到应修复的句子。最后,Grow-Match还可以用作侧面工具,以协助注释任务,以帮助在现有语料库中与要注释的数据进行比较中的注释示例。
translated by 谷歌翻译
One of the common traits of past and present approaches for Semantic Role Labeling (SRL) is that they rely upon discrete labels drawn from a predefined linguistic inventory to classify predicate senses and their arguments. However, we argue this need not be the case. In this paper, we present an approach that leverages Definition Modeling to introduce a generalized formulation of SRL as the task of describing predicate-argument structures using natural language definitions instead of discrete labels. Our novel formulation takes a first step towards placing interpretability and flexibility foremost, and yet our experiments and analyses on PropBank-style and FrameNet-style, dependency-based and span-based SRL also demonstrate that a flexible model with an interpretable output does not necessarily come at the expense of performance. We release our software for research purposes at https://github.com/SapienzaNLP/dsrl.
translated by 谷歌翻译
目前的自动COSTERED解析的工作集中在Ontonotes基准数据集上,由于其大小和一致性。然而,NLP从业者的Onototes注释方案的许多方面并不能够很好地理解,包括治疗通用NPS,Noun修饰剂,无限期的视性,预测等。这些通常会导致违反直觉的索赔,结果和系统行为。这个意见案件旨在突出努力的努力的一些问题,并提出依赖三个原则的前进方式:1。专注于语义,不是Morphosyntax;2.交叉语言概括性;3.分离身份和范围,可以解决涉及时间和模态域一致性的旧问题。
translated by 谷歌翻译
尽管对抽象中的英语句子进行了广泛的研究,但是通过自动度量标准与金图相比,它与金图类进行了比较,但是统一图表表示的全文解析缺乏定义明确的表示和评估。利用以前的工作中的超级信托级别注释,我们介绍了一种用于导出统一图形表示的简单算法,避免了从合并不合并和缺乏连贯性信息丢失的陷阱。接下来,我们描述了对Swatch度量标准的改进,使其易于进行比较文档级图形,并使用它重新评估最佳已发布的文档级AMR解析器。我们还提出了一种与COREREFER解决系统的顶部组合的管道方法,为未来的研究提供了强大的基线。
translated by 谷歌翻译
尽管传记在语义网络中广泛传播,但自动提取传记事件的资源和方法受到限制。这种限制减少了结构化的,可读的传记信息的数量,尤其是关于属于代表性不足的人的人的数量。我们的工作通过为生活事件的语义注释提供一组准则来挑战这一限制。该准则旨在与现有的ISO语义注释标准可互操作:ISO-TIMEML(ISO-24617-1)和SEMAF(ISO-24617-4)。通过代表不足的作家的维基百科传记的注释任务,即非西方国家,移民或属于少数民族的作者,对准则进行了测试。 4个注释者注释了1,000个句子,平均通知者协议为0.825。由此产生的语料库被映射在Ontonotes上。这样的映射允许扩展我们的语料库,表明已经存在现有资源可以用于传记事件提取任务。
translated by 谷歌翻译
本文概述了与CRAC 2022研讨会相关的多语言核心分辨率的共享任务。共同的任务参与者应该开发能够识别提及并根据身份核心重点聚集的训练系统。Corefud 1.0的公共版本包含10种语言的13个数据集,被用作培训和评估数据的来源。先前面向核心共享任务中使用的串联分数用作主要评估度量。5个参与团队提交了8个核心预测系统;此外,组织者在共享任务开始时提供了一个基于竞争变压器的基线系统。获胜者系统的表现优于基线12个百分点(就所有语言的所有数据集而言,在所有数据集中平均得分)。
translated by 谷歌翻译
本文介绍了对土耳其语可用于的语料库和词汇资源的全面调查。我们审查了广泛的资源,重点关注公开可用的资源。除了提供有关可用语言资源的信息外,我们还提供了一组建议,并确定可用于在土耳其语言学和自然语言处理中进行研究和建筑应用的数据中的差距。
translated by 谷歌翻译
我们研究了原则上的程度,原则上,语言图表表示可以补充和改进神经语言建模。通过一个由7种不同的形式主义之一的预磨削变压器和地面真相图组成的集合设置,我们发现,总体而言,语义构成结构对语言建模性能最有用 - 超越句法选区结构以及句法和语义依赖结构。此外,效果取决于语音级别的级别大大变化。总而言之,我们的调查结果指出了神经象征性语言建模的有希望的趋势,并邀请未来的研究量化不同形式主义所制作的设计选择。
translated by 谷歌翻译
Wikidata是一个经常更新,社区驱动和多语言知识图形。因此,Wikidata是实体联系的一个有吸引力的基础,这是最近发表论文的增加显而易见的。该调查侧重于四个主题:(1)存在哪些Wikidata实体链接数据集,它们是多么广泛使用,它们是如何构建的? (2)对实体联系数据集的设计进行Wikidata的特点,如果是的话,怎么样? (3)当前实体链接方法如何利用Wikidata的特定特征? (4)现有实体链接方法未开发哪种Wikidata特征?本次调查显示,当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此,没有提升多语言和时间依赖数据集的可能性,是自然适合维基帽的数据集。此外,我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式,因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性,有时是描述,而是忽略超关系结构等特征。因此,例如,通过包括超关系图嵌入或类型信息,仍有改进的余地。许多方法还包括来自维基百科的信息,这些信息很容易与Wikidata组合并提供有价值的文本信息,Wikidata缺乏。
translated by 谷歌翻译
分布语义是对含义变化和通过语料库变化的定量研究,目前是计算语言学中生产力最高的研究领域之一。近年来,大数据和可再现算法的更广泛可用性促进了其对生活语言的应用。但是,我们可以使用分布语义来研究像古希腊这样有限语料库的语言吗?这种方法能否告诉我们一些关于诸如荷马诗的语言和组成的古典研究中这种烦恼问题的信息?我们的论文将比较涉及古希腊语史诗中透射动词的公式的语义灵活性与非格式液体语料库中的类似动词短语,以检测公式中的独特变化模式。为了解决这个问题,我们提出了Agvalex,这是一种从古希腊依赖树库中自动提取的古希腊的计算价词典。词典包含有关动词及其论点的定量语料库驱动的形态,句法和词汇信息,例如对象,主体和介词短语,并且在古希腊作者的语言研究中有广泛的应用。
translated by 谷歌翻译
数据增强是自然语言处理(NLP)模型的鲁棒性评估的重要组成部分,以及增强他们培训的数据的多样性。在本文中,我们呈现NL-Cogmenter,这是一种新的参与式Python的自然语言增强框架,它支持创建两个转换(对数据的修改)和过滤器(根据特定功能的数据拆分)。我们描述了框架和初始的117个变换和23个过滤器,用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构,Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用(\ url {https://github.com/gem-benchmark/nl-augmenter})。
translated by 谷歌翻译
数据在Web上发布了大量的时间,但大多数数据都是非结构化的,使得很难理解和难以解释。信息提取(IE)方法从非结构化数据获取结构化信息。其中一个具有挑战性的一个任务是事件提取(EE),它寻求从文本中获得有关具体事件及其演员的信息。 EE在许多域中有用,例如构建知识库,信息检索和概述。在过去的几十年中,开发了一些像Ace,Comeo和Icews这样的事件本体,以定义文本中观察到的事件的事件表格,演员和维度。这些事件本体仍然具有一些缺点,例如仅涵盖几个主题,如政治事件,在定义论证角色和金标准数据不足时具有不灵活的结构。为了解决这些问题,我们提出了一个事件本体,即Cofee,它包含专家领域知识和数据驱动方法,用于识别文本的事件。 Cofee由两个层次结构级别(事件类型和事件子类型)组成,包括与环境问题,网络空间和刑事活动有关的新类别,这些类别需要立即监测。此外,根据每个事件子类型的动态角色被定义为捕获事件的各种维度。在随访实验中,在维基百科事件中评估了所提出的本体,并显示为一般和全面。此外,为了便于编写事件提取的金标准数据,基于CoFee提出了一种独立于语言的在线工具。由10人专家注释的金标准数据集也是在波斯语中组成的24K新闻文章。最后,我们提出了一种基于深度学习技术的监督方法,以自动提取相关事件和相应的演员。
translated by 谷歌翻译
In this paper, we train a semantic parser that scales up to Freebase. Instead of relying on annotated logical forms, which is especially expensive to obtain at large scale, we learn from question-answer pairs. The main challenge in this setting is narrowing down the huge number of possible logical predicates for a given question. We tackle this problem in two ways: First, we build a coarse mapping from phrases to predicates using a knowledge base and a large text corpus. Second, we use a bridging operation to generate additional predicates based on neighboring predicates. On the dataset of Cai and Yates (2013), despite not having annotated logical forms, our system outperforms their state-of-the-art parser. Additionally, we collected a more realistic and challenging dataset of question-answer pairs and improves over a natural baseline.
translated by 谷歌翻译
The widely studied task of Natural Language Inference (NLI) requires a system to recognize whether one piece of text is textually entailed by another, i.e. whether the entirety of its meaning can be inferred from the other. In current NLI datasets and models, textual entailment relations are typically defined on the sentence- or paragraph-level. However, even a simple sentence often contains multiple propositions, i.e. distinct units of meaning conveyed by the sentence. As these propositions can carry different truth values in the context of a given premise, we argue for the need to recognize the textual entailment relation of each proposition in a sentence individually. We propose PropSegmEnt, a corpus of over 35K propositions annotated by expert human raters. Our dataset structure resembles the tasks of (1) segmenting sentences within a document to the set of propositions, and (2) classifying the entailment relation of each proposition with respect to a different yet topically-aligned document, i.e. documents describing the same event or entity. We establish strong baselines for the segmentation and entailment tasks. Through case studies on summary hallucination detection and document-level NLI, we demonstrate that our conceptual framework is potentially useful for understanding and explaining the compositionality of NLI labels.
translated by 谷歌翻译
For natural language understanding (NLU) technology to be maximally useful, it must be able to process language in a way that is not exclusive to a single task, genre, or dataset. In pursuit of this objective, we introduce the General Language Understanding Evaluation (GLUE) benchmark, a collection of tools for evaluating the performance of models across a diverse set of existing NLU tasks. By including tasks with limited training data, GLUE is designed to favor and encourage models that share general linguistic knowledge across tasks. GLUE also includes a hand-crafted diagnostic test suite that enables detailed linguistic analysis of models. We evaluate baselines based on current methods for transfer and representation learning and find that multi-task training on all tasks performs better than training a separate model per task. However, the low absolute performance of our best model indicates the need for improved general NLU systems.
translated by 谷歌翻译
键入的需要图试图从文本中学习谓词之间的零件关系,并将其建模为谓词节点之间的边缘。构造图形通常遭受严重的稀疏性和分布相似性的不可靠性。我们提出了一个两阶段的方法,即带有文本含义和传递性的元素图(EGT2)。EGT2通过识别由键入CCG比较谓词形成的模板句子之间可能的文本构成来学习本地的关系关系。基于生成的本地图,EGT2然后使用三个新型的软传递性约束来考虑构成结构中的逻辑传递性。基准数据集上的实验表明,EGT2可以很好地对需要图中的传递性进行模拟以减轻稀疏性问题,并导致对当前最新方法的显着改善。
translated by 谷歌翻译
意义表示(AMR)是一种基于图形的语义表示的句子,由语义关系链接的概念集合组成。基于AMR的方法在各种应用程序中找到了成功,但在需要文档级背景下的任务中使用它的挑战是它只代表单个句子。在基于AMR的总结中的事先工作已经自动将单个句子图与文档图合并到文档图中,但尚未独立地评估合并方法及其对摘要内容选择的影响。在本文中,我们介绍了一种新的数据集,由配对文件的节点与可用于评估(1)合并策略之间的摘要之间的人为注释对齐组成; (2)在合并或未混合的AMR图表的节点上的内容选择方法的性能。我们将这两种形式的评估应用于现有工作以及节点合并的新方法,并表明我们的新方法比现有工作明显更好。
translated by 谷歌翻译
As machine translation (MT) metrics improve their correlation with human judgement every year, it is crucial to understand the limitations of such metrics at the segment level. Specifically, it is important to investigate metric behaviour when facing accuracy errors in MT because these can have dangerous consequences in certain contexts (e.g., legal, medical). We curate ACES, a translation accuracy challenge set, consisting of 68 phenomena ranging from simple perturbations at the word/character level to more complex errors based on discourse and real-world knowledge. We use ACES to evaluate a wide range of MT metrics including the submissions to the WMT 2022 metrics shared task and perform several analyses leading to general recommendations for metric developers. We recommend: a) combining metrics with different strengths, b) developing metrics that give more weight to the source and less to surface-level overlap with the reference and c) explicitly modelling additional language-specific information beyond what is available via multilingual embeddings.
translated by 谷歌翻译
知识表示和推理(KRR)系统表示知识作为事实和规则的集合。像数据库一样,KRR系统包含有关工业企业,科学和业务等人类活动领域的信息。 KRR可以代表复杂的概念和关系,它们可以以复杂的方式查询和操纵信息。不幸的是,指定必要的知识需要大多数领域专家没有的技能,而专业知识工程师很难找到,因此KRR技术受到了阻碍。一种解决方案可能是从英语文本中提取知识,并且许多作品都尝试这样做(Openseame,Google的吊索等)。不幸的是,目前,从不受限制的自然语言中提取逻辑事实仍然是不准确的,无法用于推理,而限制语言语法(所谓的受控自然语言或CNL)对于用户来说很难学习和使用。然而,与其他方法相比,一些最近基于CNL的方法,例如知识创作逻辑机(KALM)的精度非常高,并且一个自然的问题是可以在多大程度上取消CNL限制。在本文中,我们通过将KALM框架移植到神经自然语言解析器Mstanza来解决这个问题。在这里,我们将注意力限制在创作事实和查询上,因此我们的重点是我们所说的事实英语陈述。在我们的后续工作中将考虑创作其他类型的知识,例如规则。事实证明,基于神经网络的解析器有自己的问题,并且他们犯的错误范围从言论的一部分标记到lemmatization到依赖性错误。我们介绍了许多解决这些问题并测试新系统KALMFL(即,事实语言的KALM)的技术,这些技术表明KALMFL的正确性超过95%。
translated by 谷歌翻译