从文本中获取结构事件知识的事件提取(EE)可以分为两个子任务:事件类型分类和元素提取(即在不同的角色模式下识别触发器和参数)。由于不同的事件类型始终拥有独特的提取模式(即角色模式),因此EE先前的工作通常遵循孤立的学习范式,对不同的事件类型独立执行元素提取。它忽略了事件类型和参数角色之间有意义的关联,导致频繁类型/角色的性能相对较差。本文提出了一个新型的EE任务神经关联框架。给定文档,它首先通过构造文档级别的图形来执行类型分类,以关联不同类型的句子节点,并采用图形注意网络来学习句子嵌入。然后,通过构建一个通用参数角色模式来实现元素提取,并具有参数遗传机制,以增强提取元素的角色偏好。因此,我们的模型考虑了EE期间的类型和角色关联,从而使它们之间的隐式信息共享。实验结果表明,我们的方法始终优于两个子任务中大多数最新的EE方法。特别是,对于具有较少培训数据的类型/角色,该性能优于现有方法。
translated by 谷歌翻译
事件提取(EE)是信息提取的重要任务,该任务旨在从非结构化文本中提取结构化事件信息。大多数先前的工作都专注于提取平坦的事件,同时忽略重叠或嵌套的事件。多个重叠和嵌套EE的模型包括几个连续的阶段来提取事件触发器和参数,这些阶段患有错误传播。因此,我们设计了一种简单而有效的标记方案和模型,以将EE作为单词关系识别,称为oneee。触发器或参数单词之间的关系在一个阶段同时识别出并行网格标记,从而产生非常快的事件提取速度。该模型配备了自适应事件融合模块,以生成事件感知表示表示和距离感知的预测指标,以整合单词关系识别的相对距离信息,从经验上证明这是有效的机制。对3个重叠和嵌套的EE基准测试的实验,即少数FC,GENIA11和GENIA13,表明Oneee实现了最新的(SOTA)结果。此外,ONEEE的推理速度比相同条件下的基线的推理速度快,并且由于它支持平行推断,因此可以进一步改善。
translated by 谷歌翻译
在文档级事件提取(DEE)任务中,事件参数始终散布在句子(串行问题)中,并且多个事件可能存在于一个文档(多事件问题)中。在本文中,我们认为事件参数的关系信息对于解决上述两个问题具有重要意义,并提出了一个新的DEE框架,该框架可以对关系依赖关系进行建模,称为关系授权的文档级事件提取(REDEE)。更具体地说,该框架具有一种新颖的量身定制的变压器,称为关系增强的注意变形金刚(RAAT)。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息,我们介绍了一个单独的事件关系预测任务,并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性,该方法可以在两个公共数据集上实现最新性能。我们的代码可在https:// github上找到。 com/tencentyouturesearch/raat。
translated by 谷歌翻译
事件提取,旨在自动获取文档结构信息的技术,在许多领域中吸引了越来越多的关注。大多数现有工作通过将令牌视为不同的角色,令牌级多标签分类框架讨论此问题,同时忽略文档的编写方式。写作风格是一个特殊的内容,用于组织文件,它是相对固定在具有特殊领域的文档中(例如,财务,医疗文件等)。我们认为写作风格包含重要的线索来判断令牌的角色,这种模式的无知可能导致现有工作的性能下降。为此,我们将文档中的写作风格模拟作为参数角色的分布,即角色排名分配,并提出了一种基于角色排名分布的监督机制的事件提取模型,通过监督培训过程来捕获这种模式事件提取任务。我们将模型与在几个真实世界数据集上的最先进的方法进行比较。经验结果表明,我们的方法优于捕获模式的其他替代品。这验证了写入风格包含可以提高事件提取任务性能的有价值的信息。
translated by 谷歌翻译
除了以实体为中心的知识之外,通常组织为知识图(千克),事件也是世界上的必不可少的知识,这触发了活动以kg(ekg)等事件为中心的知识表示形式的春天。它在许多机器学习和人工智能应用中起着越来越重要的作用,例如智能搜索,问答,推荐和文本生成。本文提供了历史,本体实例和应用视图的ekg综合调查。具体而言,要彻底地表征EKG,我们专注于其历史,定义,架构归纳,获取,相关代表图形/系统和应用程序。其中研究了发展过程和趋势。我们进一步总结了透视方向,以促进对EKG的未来研究。
translated by 谷歌翻译
随着信息技术的快速发展,在线平台已经产生了巨大的文本资源。作为一种特定形式的信息提取(即),事件提取(EE)由于其自动从人类语言提取事件的能力而增加了普及。但是,事件提取有限的文献调查。现有审查工作要么花费很多努力,用于描述各种方法的细节或专注于特定领域。本研究提供了全面概述了最先进的事件提取方法及其从文本的应用程序,包括闭域和开放式事件提取。这项调查的特点是它提供了适度复杂性的概要,避免涉及特定方法的太多细节。本研究侧重于讨论代表作品的常见角色,应用领域,优势和缺点,忽略各个方法的特殊性。最后,我们总结了常见问题,当前解决方案和未来的研究方向。我们希望这项工作能够帮助研究人员和从业者获得最近的事件提取的快速概述。
translated by 谷歌翻译
旨在从文本中检测事件并对其进行分类的事件检测(ED)对于理解现实生活中的实际情况至关重要。但是,主流事件检测模型需要触发器的高质量专家人类注释,这通常是昂贵的,因此阻止了ED在新领域的应用。因此,在本文中,我们专注于无触发器的低资源,并旨在应对以下艰巨的挑战:多标签分类,线索不足和事件分布不平衡。我们通过机器阅读理解(DRC)框架提出了一种新颖的无触发ED方法。更具体地说,我们将输入文本视为上下文,并将其与所有事件类型的令牌相连,后者被视为答案,并忽略了默认问题。因此,我们可以利用预训练的语言模型中的自我发作来吸收输入文本和事件类型之间的语义关系。此外,我们设计了一个简单而有效的事件毁灭模块(EDM),以防止大型事件过度学习,从而产生更平衡的训练过程。实验结果表明,我们提出的无触发ED模型与基于主流触发器的模型非常有竞争力,显示了其在低源事件检测上的强劲性能。
translated by 谷歌翻译
从新闻文章中提取事件的信息论点是信息提取的一个具有挑战性的问题,这需要对每个文档的全球上下文理解。尽管有关文档级提取的最新工作已经超越了单句子,并提高了端到端模型的跨句子推理能力,但它们仍然受到某些输入序列长度约束的限制,通常忽略事件之间的全局上下文。为了解决此问题,我们通过构建文档存储器存储来记录上下文事件信息,并利用它隐含,明确地帮助解码以后事件的参数,从而引入了一个新的基于全局神经生成的框架,以用于文档级事件参数提取提取文档级别的事件参数提取。经验结果表明,我们的框架的表现要优于先验方法,并且使用约束的解码设计对对抗注释的示例更为强大。 (我们的代码和资源可在https://github.com/xinyadu/memory_docie上获得研究目的。)
translated by 谷歌翻译
事件参数提取(EAE)的目的是从文本中提取具有给定角色的参数,这些参数已在自然语言处理中得到广泛研究。以前的大多数作品在具有专用神经体系结构的特定EAE数据集中取得了良好的性能。鉴于,这些架构通常很难适应具有各种注释模式或格式的新数据集/方案。此外,他们依靠大规模标记的数据进行培训,由于大多数情况下的标签成本高,因此无法获得培训。在本文中,我们提出了一个具有变异信息瓶颈的多格式转移学习模型,该模型利用了信息,尤其是新数据集中EAE现有数据集中的常识。具体而言,我们引入了一个共享特定的及时框架,以从具有不同格式的数据集中学习格式共享和格式特定的知识。为了进一步吸收EAE的常识并消除无关的噪音,我们将变异信息瓶颈整合到我们的体系结构中以完善共享表示。我们在三个基准数据集上进行了广泛的实验,并在EAE上获得新的最先进的性能。
translated by 谷歌翻译
临床领域中的事件提取是一个探索较少的研究领域。除了大量的特定领域的行话外,缺乏培训数据,包括较长的实体,具有模糊的边界,使该任务尤其具有挑战性。在本文中,我们介绍了DICE,这是一种用于临床事件提取的强大而数据效率的生成模型。骰子框架事件提取作为有条件的生成问题,并利用域专家提供的描述来提高低资源设置下的性能。此外,DICE学会了与辅助提及的识别任务一起定位和约束生物医学提及,该任务与事件提取任务共同培训,以利用任务间的依赖性,并进一步纳入确定的提及作为其各自任务的触发和论证候选者。我们还介绍了MacCrobat-EE,这是第一个带有事件参数注释的临床事件提取数据集。我们的实验证明了在临床领域的低数据设置下骰子的鲁棒性,以及将柔性关节训练并提及标记纳入生成方法的好处。
translated by 谷歌翻译
Prior works on Information Extraction (IE) typically predict different tasks and instances (e.g., event triggers, entities, roles, relations) independently, while neglecting their interactions and leading to model inefficiency. In this work, we introduce a joint IE framework, HighIE, that learns and predicts multiple IE tasks by integrating high-order cross-task and cross-instance dependencies. Specifically, we design two categories of high-order factors: homogeneous factors and heterogeneous factors. Then, these factors are utilized to jointly predict labels of all instances. To address the intractability problem of exact high-order inference, we incorporate a high-order neural decoder that is unfolded from a mean-field variational inference method. The experimental results show that our approach achieves consistent improvements on three IE tasks compared with our baseline and prior work.
translated by 谷歌翻译
随着信息技术的快速发展,在线平台(例如,新闻门户网站和社交媒体)每时每刻都会产生巨大的网络信息。因此,从社会流中提取结构化的事件表现至关重要。通常,现有事件提取研究利用模式匹配,机器学习或深度学习方法来执行事件提取任务。然而,由于汉语的独特特征,中国事件提取的表现并不像英语一样好。在本文中,我们提出了一个综合框架来执行中文事件提取。所提出的方法是一个多通道输入神经框架,它集成了语义特征和语法特征。 BERT架构捕获语义特征。通过分析嵌入嵌入和图形卷积网络(GCN)分别捕获语音(POS)特征和依赖解析(DP)特征的部分。我们还在真实世界数据集中评估我们的模型。实验结果表明,该方法显着优于基准方法。
translated by 谷歌翻译
We propose P4E, an identify-and-localize event detection framework that integrates the best of few-shot prompting and structured prediction. Our framework decomposes event detection into an identification task and a localization task. For the identification task, which we formulate as multi-label classification, we leverage cloze-based prompting to align our objective with the pre-training task of language models, allowing our model to quickly adapt to new event types. We then employ an event type-agnostic sequence labeling model to localize the event trigger conditioned on the identification output. This heterogeneous model design allows P4E to quickly learn new event types without sacrificing the ability to make structured predictions. Our experiments demonstrate the effectiveness of our proposed design, and P4E shows superior performance for few-shot event detection on benchmark datasets FewEvent and MAVEN and comparable performance to SOTA for fully-supervised event detection on ACE.
translated by 谷歌翻译
Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).
translated by 谷歌翻译
从文本中提取空间关系是自然语言理解的一项基本任务,而先前的研究仅将其视为一项分类任务,由于信息差而忽略了那些具有无效角色的空间关系。为了解决上述问题,我们首先将空间关系提取视为一项生成任务,并为此任务提出了一种新型混合模型HMCGR。HMCGR包含一个生成和分类模型,而前者可以生成那些无效的关系,后者可以提取那些非无效关系以相互补充。此外,使用反射性评估机制,以进一步提高基于空间关系的反射性原理的准确性。SpaceEval的实验结果表明,HMCGR的表现明显优于SOTA基线。
translated by 谷歌翻译
跨度提取,旨在从纯文本中提取文本跨度(如单词或短语),是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题(QA正式化)的跨度提取任务来提高文本表示,以实现最先进的表现。然而,QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题,我们介绍了一种新的范例来整合标签知识,并进一步提出一个小说模型,明确有效地将标签知识集成到文本表示中。具体而言,它独立地编码文本和标签注释,然后将标签知识集成到文本表示中,并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验:扁平的网,嵌套网和事件检测。实证结果表明,我们的方法在四个基准测试中实现了最先进的性能,而且分别将培训时间和推理时间降低76%和77%,与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。
translated by 谷歌翻译
事件参数提取(EAE)在句子级别进行了很好的研究,但在文档级别进行了探索。在本文中,我们研究以捕获实际上分布在文档中的句子的事件论点。先前的工作主要假设对丰富的文档监督的完全访问,而忽略了该论点监督在文档中受到限制的事实。为了填补这一空白,我们基于最大的文档级事件提取数据集DOCEE提出了几个示波的文档级事件参数提取基准。我们首先定义了新问题,并通过新颖的N-Way-D-Doc采样而不是传统的NWay-K-shot策略来重建语料库。然后,我们将高级文档级神经模型调整为几个弹出设置,以在内部和跨域设置下提供基线结果。由于参数提取取决于多个句子的上下文,并且学习过程仅限于很少的示例,因此我们发现该任务在实质上较低的性能中非常具有挑战性。考虑到很少有Docae与低资源制度下的实际使用密切相关,我们希望这种基准能够朝着这一方向发展进行更多的研究。我们的数据和代码将在线提供。
translated by 谷歌翻译
As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.
translated by 谷歌翻译
作为人类认知的重要组成部分,造成效果关系频繁出现在文本中,从文本策划原因关系有助于建立预测任务的因果网络。现有的因果关系提取技术包括基于知识的,统计机器学习(ML)和基于深度学习的方法。每种方法都具有其优点和缺点。例如,基于知识的方法是可以理解的,但需要广泛的手动域知识并具有较差的跨域适用性。由于自然语言处理(NLP)工具包,统计机器学习方法更加自动化。但是,功能工程是劳动密集型的,工具包可能导致错误传播。在过去的几年里,由于其强大的代表学习能力和计算资源的快速增加,深入学习技术吸引了NLP研究人员的大量关注。它们的局限包括高计算成本和缺乏足够的注释培训数据。在本文中,我们对因果关系提取进行了综合调查。我们最初介绍了因果关系提取中存在的主要形式:显式的内部管制因果关系,隐含因果关系和间情态因果关系。接下来,我们列出了代理关系提取的基准数据集和建模评估方法。然后,我们介绍了三种技术的结构化概述了与他们的代表系统。最后,我们突出了潜在的方向存在现有的开放挑战。
translated by 谷歌翻译
放射学报告含有在其解释图像中被放射科学家记录的多样化和丰富的临床异常。放射发现的综合语义表示将使广泛的次要使用应用来支持诊断,分类,结果预测和临床研究。在本文中,我们提出了一种新的放射学报告语料库,注释了临床调查结果。我们的注释模式捕获了可观察到的病理发现的详细说明(“病变”)和其他类型的临床问题(“医学问题”)。该模式使用了基于事件的表示来捕获细粒细节,包括断言,解剖学,特征,大小,计数等。我们的黄金标准语料库包含总共500个注释的计算机断层扫描(CT)报告。我们利用两个最先进的深度学习架构提取了触发器和论证实体,包括伯特。然后,我们使用基于BERT的关系提取模型预测触发器和参数实体(称为参数角色)之间的连接。我们使用预先从我们的机构的300万放射学报告预先培训的BERT模型实现了最佳提取性能:90.9%-93.4%f1用于查找触发器的触发器72.0%-85.6%f1,用于参数角色。为了评估型号的概括性,我们使用了从模拟胸部X射线(MIMIC-CXR)数据库中随机采样的外部验证。该验证集的提取性能为95.6%,用于发现触发器和参数角色的79.1%-89.7%,表明模型与具有不同的成像模型的跨机构数据一致。我们从模拟CXR数据库中的所有放射学报告中提取了查找事件,并为研究界提供了提取。
translated by 谷歌翻译