语义角色标签（SRL）旨在识别句子的谓词题目结构，并可以分解为两个子任务：谓词歧义歧义和参数标记。先前的工作独立处理这两个任务，这两个任务忽略了两个任务之间的语义连接。在本文中，我们建议使用机器阅读理解（MRC）框架来弥合这一差距。我们将谓词歧义形式化为多项选择的机器阅读理解，其中给定谓词的候选感官的描述用作选择正确的感觉的选项。然后使用所选的谓词感来确定该谓词的语义角色，这些语义角色用于构建另一个MRC模型的查询以进行参数标记。这样，我们能够利用参数标记的谓词语义和语义角色语义。我们还建议为计算效率选择所有可能的语义角色的子集。实验表明，所提出的框架可实现与先前工作的最新结果或可比的结果。代码可在\ url {https://github.com/shannonai/mrc-srl}上获得。
translated by 谷歌翻译
One of the common traits of past and present approaches for Semantic Role Labeling (SRL) is that they rely upon discrete labels drawn from a predefined linguistic inventory to classify predicate senses and their arguments. However, we argue this need not be the case. In this paper, we present an approach that leverages Definition Modeling to introduce a generalized formulation of SRL as the task of describing predicate-argument structures using natural language definitions instead of discrete labels. Our novel formulation takes a first step towards placing interpretability and flexibility foremost, and yet our experiments and analyses on PropBank-style and FrameNet-style, dependency-based and span-based SRL also demonstrate that a flexible model with an interpretable output does not necessarily come at the expense of performance. We release our software for research purposes at https://github.com/SapienzaNLP/dsrl.
translated by 谷歌翻译
目前，基于生物和元组的方法在基于跨度的语义角色标记（SRL）任务上表现得很好。然而，基于生物的方法通常需要在预测其参数时为每个谓词编码一次句子，并且基于元组的方法必须处理$ O（n ^ 3）$的巨大搜索空间，大大减少培训和推理效率。解析速度每秒小于50句话。此外，基于生物的和基于元组的方法通常在预测时仅考虑局部结构信息。本文建议将基于端到端的跨度的SRL作为图形解析任务。基于新颖的图形表示模式，我们在近期工作的肩部上呈现快速准确的SRL解析器对高阶语义依赖图解析。此外，我们提出了受限制的维特比程序，以确保输出图的合法性。英语Conll05和Conll12数据集的实验表明，我们的模型在没有训练有素的语言模型的两个设置下实现了新的最先进的结果，并且可以每秒用600句话解析600句话。
translated by 谷歌翻译
Frame Semantic Role Labeling (FSRL) identifies arguments and labels them with frame semantic roles defined in FrameNet. Previous researches tend to divide FSRL into argument identification and role classification. Such methods usually model role classification as naive multi-class classification and treat arguments individually, which neglects label semantics and interactions between arguments and thus hindering performance and generalization of models. In this paper, we propose a query-based framework named ArGument Extractor with Definitions in FrameNet (AGED) to mitigate these problems. Definitions of frames and frame elements (FEs) in FrameNet can be used to query arguments in text. Encoding text-definition pairs can guide models in learning label semantics and strengthening argument interactions. Experiments show that AGED outperforms previous state-of-the-art by up to 1.3 F1-score in two FrameNet datasets and the generalization power of AGED in zero-shot and fewshot scenarios. Our code and technical appendix is available at https://github.com/PKUnlp-icler/AGED.
translated by 谷歌翻译
语义角色标签（SRL）是NLP社区的一项基本而艰巨的任务。 SRL的最新作品主要分为两行：1）基于生物的； 2）基于跨度的。尽管普遍存在，但它们具有不考虑内部论证结构的一些内在缺点，可能会阻碍模型的表现力。关键挑战是参数是平坦的结构，并且在参数中没有确定的子树实现。为了解决这个问题，在本文中，我们建议将平坦的论点跨越为潜在子树，因此将SRL缩小为树解析任务。特别是，我们为制剂配备了新型的跨度限制的treecrf，以使树结构跨度感知，并将其进一步扩展到二阶情况。我们在Conll05和Conll12基准测试上进行了广泛的实验。结果表明，我们的方法的性能比所有以前的语法 - 不知不线作品都更好，在端到端和w/ w/ w/ gold prepticates设置下实现了新的最先进的作品。
translated by 谷歌翻译
我们提出了一个新的框架，在增强的自然语言（TANL）之间的翻译，解决了许多结构化预测语言任务，包括联合实体和关系提取，嵌套命名实体识别，关系分类，语义角色标记，事件提取，COREREFED分辨率和对话状态追踪。通过培训特定于特定于任务的鉴别分类器来说，我们将其作为一种在增强的自然语言之间的翻译任务，而不是通过培训问题，而不是解决问题，而是可以轻松提取任务相关信息。我们的方法可以匹配或优于所有任务的特定于任务特定模型，特别是在联合实体和关系提取（Conll04，Ade，NYT和ACE2005数据集）上实现了新的最先进的结果，与关系分类（偶尔和默示）和语义角色标签（Conll-2005和Conll-2012）。我们在使用相同的架构和超参数的同时为所有任务使用相同的架构和超级参数，甚至在培训单个模型时同时解决所有任务（多任务学习）。最后，我们表明，由于更好地利用标签语义，我们的框架也可以显着提高低资源制度的性能。
translated by 谷歌翻译
开放信息提取（OpenIE）促进了独立于域的大型语料库的关系事实的发现。该技术很好地适合许多开放世界的自然语言理解场景，例如自动知识基础构建，开放域问答和明确的推理。由于深度学习技术的快速发展，已经提出了许多神经开放式体系结构并取得了可观的性能。在这项调查中，我们提供了有关状态神经开放模型的广泛概述，其关键设计决策，优势和劣势。然后，我们讨论当前解决方案的局限性以及OpenIE问题本身的开放问题。最后，我们列出了最近的趋势，这些趋势可以帮助扩大其范围和适用性，从而为Openie的未来研究设定了有希望的方向。据我们所知，本文是有关此特定主题的第一篇评论。
translated by 谷歌翻译
Machine Reading Comprehension has become one of the most advanced and popular research topics in the fields of Natural Language Processing in recent years. The classification of answerability questions is a relatively significant sub-task in machine reading comprehension; however, there haven't been many studies. Retro-Reader is one of the studies that has solved this problem effectively. However, the encoders of most traditional machine reading comprehension models in general and Retro-Reader, in particular, have not been able to exploit the contextual semantic information of the context completely. Inspired by SemBERT, we use semantic role labels from the SRL task to add semantics to pre-trained language models such as mBERT, XLM-R, PhoBERT. This experiment was conducted to compare the influence of semantics on the classification of answerability for the Vietnamese machine reading comprehension. Additionally, we hope this experiment will enhance the encoder for the Retro-Reader model's Sketchy Reading Module. The improved Retro-Reader model's encoder with semantics was first applied to the Vietnamese Machine Reading Comprehension task and obtained positive results.
translated by 谷歌翻译
许多自然语言处理任务，例如核心解决方案和语义角色标签，都需要选择文本跨度并就其做出决定。此类任务的典型方法是为所有可能的跨度评分，并贪婪地选择特定任务的下游处理的跨度。然而，这种方法并未纳入有关应选择哪种跨度的诱导偏见，例如，选定的跨度倾向于是句法成分。在本文中，我们提出了一种新型的基于语法的结构化选择模型，该模型学会了利用为此类问题提供的部分跨度注释。与以前的方法相比，我们的方法摆脱了启发式贪婪的跨度选择方案，使我们能够在一组最佳跨度上对下游任务进行建模。我们在两个流行的跨度预测任务上评估我们的模型：核心分辨率和语义角色标签。我们对两者都展示了经验改进。
translated by 谷歌翻译
Contextualized representation models such as ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2018) have recently achieved state-of-the-art results on a diverse array of downstream NLP tasks. Building on recent token-level probing work, we introduce a novel edge probing task design and construct a broad suite of sub-sentence tasks derived from the traditional structured NLP pipeline. We probe word-level contextual representations from four recent models and investigate how they encode sentence structure across a range of syntactic, semantic, local, and long-range phenomena. We find that existing models trained on language modeling and translation produce strong representations for syntactic phenomena, but only offer comparably small improvements on semantic tasks over a non-contextual baseline.
translated by 谷歌翻译
框架语义解析是一项基本的NLP任务，由三个子任务组成：框架标识，参数识别和角色分类。以前的大多数研究都倾向于忽略不同子任务与论点之间的关系，并且很少关注Framenet中定义的本体论框架知识。在本文中，我们提出了一个带有双层（KID）的知识引导的增量语义解析器。我们首先介绍框架知识图（FKG），这是一个构建框架知识上构建的框架和FES（帧元素）的异质图，以便我们可以得出框架和FES的知识增强表示。此外，我们提出了框架语义图（FSG）来表示用图形结构从文本中提取的框架语义结构。通过这种方式，我们可以将框架语义解析转变为增量图构造问题，以加强子任务之间的相互作用和参数之间的关系。我们的实验表明，在两个Framenet数据集上，KID的表现优于先前的最新方法1.7 f1得分。我们的代码可在https://github.com/pkunlp-icler/kid上使用。
translated by 谷歌翻译
RTE is a significant problem and is a reasonably active research community. The proposed research works on the approach to this problem are pretty diverse with many different directions. For Vietnamese, the RTE problem is moderately new, but this problem plays a vital role in natural language understanding systems. Currently, methods to solve this problem based on contextual word representation learning models have given outstanding results. However, Vietnamese is a semantically rich language. Therefore, in this paper, we want to present an experiment combining semantic word representation through the SRL task with context representation of BERT relative models for the RTE problem. The experimental results give conclusions about the influence and role of semantic representation on Vietnamese in understanding natural language. The experimental results show that the semantic-aware contextual representation model has about 1% higher performance than the model that does not incorporate semantic representation. In addition, the effects on the data domain in Vietnamese are also higher than those in English. This result also shows the positive influence of SRL on RTE problem in Vietnamese.
translated by 谷歌翻译
事件提取（EE）是信息提取的重要任务，该任务旨在从非结构化文本中提取结构化事件信息。大多数先前的工作都专注于提取平坦的事件，同时忽略重叠或嵌套的事件。多个重叠和嵌套EE的模型包括几个连续的阶段来提取事件触发器和参数，这些阶段患有错误传播。因此，我们设计了一种简单而有效的标记方案和模型，以将EE作为单词关系识别，称为oneee。触发器或参数单词之间的关系在一个阶段同时识别出并行网格标记，从而产生非常快的事件提取速度。该模型配备了自适应事件融合模块，以生成事件感知表示表示和距离感知的预测指标，以整合单词关系识别的相对距离信息，从经验上证明这是有效的机制。对3个重叠和嵌套的EE基准测试的实验，即少数FC，GENIA11和GENIA13，表明Oneee实现了最新的（SOTA）结果。此外，ONEEE的推理速度比相同条件下的基线的推理速度快，并且由于它支持平行推断，因此可以进一步改善。
translated by 谷歌翻译
数据饥饿的深度神经网络已经将自己作为许多NLP任务的标准建立为包括传统序列标记的标准。尽管他们在高资源语言上表现最先进的表现，但它们仍然落后于低资源场景的统计计数器。一个方法来反击攻击此问题是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近目睹了一种文本增强技术的负载，但该领域仍然缺乏对多种语言和序列标记任务的系统性能分析。为了填补这一差距，我们调查了三类文本增强方法，其在语法（例如，裁剪子句子），令牌（例如，随机字插入）和字符（例如，字符交换）级别上执行更改。我们系统地将它们与语音标记，依赖解析和语义角色标记的分组进行了比较，用于使用各种模型的各种语言系列，包括依赖于诸如MBERT的普赖金的多语言语境化语言模型的架构。增强最显着改善了解析，然后是语音标记和语义角色标记的依赖性解析。我们发现实验技术通常在形态上丰富的语言，而不是越南语等分析语言。我们的研究结果表明，增强技术可以进一步改善基于MBERT的强基线。我们将字符级方法标识为最常见的表演者，而同义词替换和语法增强仪提供不一致的改进。最后，我们讨论了最大依赖于任务，语言对和模型类型的结果。
translated by 谷歌翻译
开放信息提取（OpenIE）的最先进的神经方法通常以自回旋或基于谓词的方式迭代地提取三重态（或元组），以免产生重复。在这项工作中，我们提出了一种可以平等或更成功的问题的不同方法。也就是说，我们提出了一种新型的单通道方法，用于开放式启发，该方法受到计算机视觉的对象检测算法的启发。我们使用基于双方匹配的订单不足损失，迫使独特的预测和用于序列标签的仅基于变压器的纯编码体系结构。与质量指标和推理时间相比，与标准基准的最新模型相比，提出的方法更快，并且表现出卓越或类似的性能。我们的模型在CARB上的新最新性能为OIE2016评估，而推断的速度比以前的最新状态更快。我们还在两种语言的零弹奏设置中评估了模型的多语言版本，并引入了一种生成合成多语言数据的策略，以微调每个特定语言的模型。在这种情况下，我们在多语言Re-OIE2016上显示了15％的性能提高，葡萄牙语和西班牙语的F1达到75％。代码和型号可在https://github.com/sberbank-ai/detie上找到。
translated by 谷歌翻译
从文本中获取结构事件知识的事件提取（EE）可以分为两个子任务：事件类型分类和元素提取（即在不同的角色模式下识别触发器和参数）。由于不同的事件类型始终拥有独特的提取模式（即角色模式），因此EE先前的工作通常遵循孤立的学习范式，对不同的事件类型独立执行元素提取。它忽略了事件类型和参数角色之间有意义的关联，导致频繁类型/角色的性能相对较差。本文提出了一个新型的EE任务神经关联框架。给定文档，它首先通过构造文档级别的图形来执行类型分类，以关联不同类型的句子节点，并采用图形注意网络来学习句子嵌入。然后，通过构建一个通用参数角色模式来实现元素提取，并具有参数遗传机制，以增强提取元素的角色偏好。因此，我们的模型考虑了EE期间的类型和角色关联，从而使它们之间的隐式信息共享。实验结果表明，我们的方法始终优于两个子任务中大多数最新的EE方法。特别是，对于具有较少培训数据的类型/角色，该性能优于现有方法。
translated by 谷歌翻译
Question Generation (QG) is fundamentally a simple syntactic transformation; however, many aspects of semantics influence what questions are good to form. We implement this observation by developing SynQG, a set of transparent syntactic rules leveraging universal dependencies, shallow semantic parsing, lexical resources, and custom rules which transform declarative sentences into question-answer pairs. We utilize PropBank argument descriptions and VerbNet state predicates to incorporate shallow semantic content, which helps generate questions of a descriptive nature and produce inferential and semantically richer questions than existing systems. In order to improve syntactic fluency and eliminate grammatically incorrect questions, we employ back-translation over the output of these syntactic rules. A set of crowd-sourced evaluations shows that our system can generate a larger number of highly grammatical and relevant questions than previous QG systems and that back-translation drastically improves grammaticality at a slight cost of generating irrelevant questions.
translated by 谷歌翻译
开放信息提取是一个重要的NLP任务，它针对从非结构化文本中提取结构化信息的目标，而无需限制关系类型或文本域。该调查文件涵盖了2007年至2022年的开放信息提取技术，重点是以前的调查未涵盖的新模型。我们从信息角度来源提出了一种新的分类方法，以适应最近的OIE技术的开发。此外，我们根据任务设置以及当前流行的数据集和模型评估指标总结了三种主要方法。鉴于全面的审查，从数据集，信息来源，输出表格，方法和评估指标方面显示了几个未来的方向。
translated by 谷歌翻译
事件参数提取（EAE）的目的是从文本中提取具有给定角色的参数，这些参数已在自然语言处理中得到广泛研究。以前的大多数作品在具有专用神经体系结构的特定EAE数据集中取得了良好的性能。鉴于，这些架构通常很难适应具有各种注释模式或格式的新数据集/方案。此外，他们依靠大规模标记的数据进行培训，由于大多数情况下的标签成本高，因此无法获得培训。在本文中，我们提出了一个具有变异信息瓶颈的多格式转移学习模型，该模型利用了信息，尤其是新数据集中EAE现有数据集中的常识。具体而言，我们引入了一个共享特定的及时框架，以从具有不同格式的数据集中学习格式共享和格式特定的知识。为了进一步吸收EAE的常识并消除无关的噪音，我们将变异信息瓶颈整合到我们的体系结构中以完善共享表示。我们在三个基准数据集上进行了广泛的实验，并在EAE上获得新的最先进的性能。
translated by 谷歌翻译
对于指定的实体识别（NER），基于序列标签和基于跨度的范例大不相同。先前的研究表明，这两个范式具有明显的互补优势，但是据我们所知，很少有模型试图在单个NER模型中利用这些优势。在我们以前的工作中，我们提出了一种称为捆绑学习（BL）的范式来解决上述问题。 BL范式将两个NER范式捆绑在一起，从而使NER模型通过加权总结每个范式的训练损失来共同调整其参数。但是，三个关键问题仍未解决：BL何时起作用？ BL为什么工作？ BL可以增强现有的最新（SOTA）NER模型吗？为了解决前两个问题，我们实施了三个NER模型，涉及一个基于序列标签的模型-Seqner，Seqner，一个基于跨度的NER模型 - 机器人，以及将Seqner和Spanner捆绑在一起的BL-NER。我们根据来自五个域的11个NER数据集的实验结果得出两个关于这两个问题的结论。然后，我们将BL应用于现有的五个SOTA NER模型，以研究第三期，包括三个基于序列标签的模型和两个基于SPAN的模型。实验结果表明，BL始终提高其性能，表明可以通过将BL纳入当前的SOTA系统来构建新的SOTA NER系统。此外，我们发现BL降低了实体边界和类型预测错误。此外，我们比较了两种常用的标签标签方法以及三种类型的跨度语义表示。
translated by 谷歌翻译