到目前为止,命名实体识别(ner)已经参与了三种主要类型,包括平面,重叠(嵌套)和不连续的ner,主要是单独研究。最近,为统一的人员建立了一个日益增长的兴趣,并与一个单一模型同时解决上述三个工作。当前最佳性能的方法主要包括基于跨度和序列到序列的模型,不幸的是,前者仅关注边界识别,后者可能遭受暴露偏差。在这项工作中,我们通过将统一的ner建模为Word-Word关系分类来提出一种小说替代方案,即W ^ 2ner。通过有效地建模具有下面邻近字(NNW)和尾页字 - *(THW- *)关系的实体单词之间的邻近关系来解决统一网内的内核瓶颈。基于W ^ 2ner方案,我们开发了一个神经框架,其中统一的网格被建模为单词对的2D网格。然后,我们提出了多粒度的2D卷积,以便更好地精炼网格表示。最后,共同预测器用于足够原因的单词关系。我们对14个广泛使用的基准数据集进行了广泛的实验,用于平板,重叠和不连续的NER(8英语和6个中文数据集),我们的型号击败了所有当前的顶级表演基线,推动了最先进的表演统一的网。
translated by 谷歌翻译
事件提取(EE)是信息提取的重要任务,该任务旨在从非结构化文本中提取结构化事件信息。大多数先前的工作都专注于提取平坦的事件,同时忽略重叠或嵌套的事件。多个重叠和嵌套EE的模型包括几个连续的阶段来提取事件触发器和参数,这些阶段患有错误传播。因此,我们设计了一种简单而有效的标记方案和模型,以将EE作为单词关系识别,称为oneee。触发器或参数单词之间的关系在一个阶段同时识别出并行网格标记,从而产生非常快的事件提取速度。该模型配备了自适应事件融合模块,以生成事件感知表示表示和距离感知的预测指标,以整合单词关系识别的相对距离信息,从经验上证明这是有效的机制。对3个重叠和嵌套的EE基准测试的实验,即少数FC,GENIA11和GENIA13,表明Oneee实现了最新的(SOTA)结果。此外,ONEEE的推理速度比相同条件下的基线的推理速度快,并且由于它支持平行推断,因此可以进一步改善。
translated by 谷歌翻译
当实体提到可能是不连续的,命名实体识别(ner)仍然挑战。现有方法将识别过程分解为几个顺序步骤。在培训中,他们预测金色中间结果的条件,而推理依赖于前一步的模型输出,这引入了曝光偏差。为了解决这个问题,我们首先构造每个句子的段图,其中每个节点都表示段(其自己的连续实体,或者是不连续实体的一部分),并且边缘链接属于同一实体的两个节点。节点和边缘可以分别在一个阶段中产生网格标记方案,并使用名为MAC的新颖体系结构共同学习。然后,不连续的ner可以被重新重整为发现图中的最大批变并在每个集团中连接跨度的非参数过程。三个基准测试的实验表明,我们的方法优于最先进的(SOTA)结果,在F1上提高了高达3.5个百分点,并在SOTA模型上实现了5倍的加速。
translated by 谷歌翻译
命名实体识别(NER)任务旨在识别属于人,位置,组织等预定语义类型的文本中的实体。平面实体的最新解决方案NER通常因捕获捕获基础文本中的细粒语义信息。现有的基于跨度的方法克服了这一限制,但是计算时间仍然是一个问题。在这项工作中,我们提出了一个基于跨度的新型NER框架,即全球指针(GP),该框架通过乘法注意机制来利用相对位置。最终目标是实现一个全球观点,以考虑开始和最终位置以预测实体。为此,我们设计了两个模块来识别给定实体的头部和尾部,以使训练和推理过程之间的不一致。此外,我们引入了一种新型的分类损失函数,以解决不平衡标签问题。在参数方面,我们引入了一种简单但有效的近似方法来减少训练参数。我们在各种基准数据集上广泛评估GP。我们的广泛实验表明,GP可以胜过现有的解决方案。此外,实验结果表明,与软马克斯和熵替代方案相比,引入的损失函数的功效。
translated by 谷歌翻译
命名实体识别(NER)是检测和对实体跨越文本的跨度的任务。当实体跨越彼此之间的重叠时,此问题被称为嵌套NER。基于跨度的方法已被广泛用于应对嵌套的NER。这些方法中的大多数都会获得分数$ n \ times n $矩阵,其中$ n $表示句子的长度,每个条目对应于跨度。但是,先前的工作忽略了分数矩阵中的空间关系。在本文中,我们建议使用卷积神经网络(CNN)对分数矩阵中的这些空间关系进行建模。尽管很简单,但在三个常用的嵌套NER数据集中进行的实验表明,我们的模型超过了几种具有相同预训练的编码器的最近提出的方法。进一步的分析表明,使用CNN可以帮助模型更准确地找到嵌套实体。此外,我们发现不同的论文对三个嵌套的NER数据集使用了不同的句子引导,这将影响比较。因此,我们发布了一个预处理脚本,以促进将来的比较。
translated by 谷歌翻译
Prior works on Information Extraction (IE) typically predict different tasks and instances (e.g., event triggers, entities, roles, relations) independently, while neglecting their interactions and leading to model inefficiency. In this work, we introduce a joint IE framework, HighIE, that learns and predicts multiple IE tasks by integrating high-order cross-task and cross-instance dependencies. Specifically, we design two categories of high-order factors: homogeneous factors and heterogeneous factors. Then, these factors are utilized to jointly predict labels of all instances. To address the intractability problem of exact high-order inference, we incorporate a high-order neural decoder that is unfolded from a mean-field variational inference method. The experimental results show that our approach achieves consistent improvements on three IE tasks compared with our baseline and prior work.
translated by 谷歌翻译
对于指定的实体识别(NER),基于序列标签和基于跨度的范例大不相同。先前的研究表明,这两个范式具有明显的互补优势,但是据我们所知,很少有模型试图在单个NER模型中利用这些优势。在我们以前的工作中,我们提出了一种称为捆绑学习(BL)的范式来解决上述问题。 BL范式将两个NER范式捆绑在一起,从而使NER模型通过加权总结每个范式的训练损失来共同调整其参数。但是,三个关键问题仍未解决:BL何时起作用? BL为什么工作? BL可以增强现有的最新(SOTA)NER模型吗?为了解决前两个问题,我们实施了三个NER模型,涉及一个基于序列标签的模型-Seqner,Seqner,一个基于跨度的NER模型 - 机器人,以及将Seqner和Spanner捆绑在一起的BL-NER。我们根据来自五个域的11个NER数据集的实验结果得出两个关于这两个问题的结论。然后,我们将BL应用于现有的五个SOTA NER模型,以研究第三期,包括三个基于序列标签的模型和两个基于SPAN的模型。实验结果表明,BL始终提高其性能,表明可以通过将BL纳入当前的SOTA系统来构建新的SOTA NER系统。此外,我们发现BL降低了实体边界和类型预测错误。此外,我们比较了两种常用的标签标签方法以及三种类型的跨度语义表示。
translated by 谷歌翻译
跨度提取,旨在从纯文本中提取文本跨度(如单词或短语),是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题(QA正式化)的跨度提取任务来提高文本表示,以实现最先进的表现。然而,QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题,我们介绍了一种新的范例来整合标签知识,并进一步提出一个小说模型,明确有效地将标签知识集成到文本表示中。具体而言,它独立地编码文本和标签注释,然后将标签知识集成到文本表示中,并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验:扁平的网,嵌套网和事件检测。实证结果表明,我们的方法在四个基准测试中实现了最先进的性能,而且分别将培训时间和推理时间降低76%和77%,与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。
translated by 谷歌翻译
基于跨度的关节提取同时进行文本跨度的指定实体识别(NER)和关系提取(RE)。最近的研究表明,令牌标签可以传达至关重要的任务特定信息并丰富令牌语义。但是,据我们所知,由于完全戒除序列标记机制,所有先前基于跨度的工作都无法使用令牌标签的形式。为了解决此问题,我们置于基于跨度的跨度网络(STSN)的序列序列标记,这是一个基于跨度的关节外推网络,该网络通过基于序列标记的NER得出的令牌生物标签信息增强。通过深入堆叠多个Atten-tion层,我们设计了一个深度的Neu-ral架构来构建STSN,每个阶层层都由三个基本注意力单元组成。深度神经体系结构首先学习了代币标签和基于SPAN的关节提取的Seman-TIC表示,然后在它们之间构建了形式的相互作用,这也实现了基于SPAN的NER和RE之间的双向信息相互关系。向热 - 我们扩展了生物标记方案,以使STSN可以提取重叠的联系。三个基准数据集的实验表明,我们的模型始终优于先前的最佳模型,从而创造了新的最新结果。
translated by 谷歌翻译
Recognizing useful named entities plays a vital role in medical information processing, which helps drive the development of medical area research. Deep learning methods have achieved good results in medical named entity recognition (NER). However, we find that existing methods face great challenges when dealing with the nested named entities. In this work, we propose a novel method, referred to as ASAC, to solve the dilemma caused by the nested phenomenon, in which the core idea is to model the dependency between different categories of entity recognition. The proposed method contains two key modules: the adaptive shared (AS) part and the attentive conditional random field (ACRF) module. The former part automatically assigns adaptive weights across each task to achieve optimal recognition accuracy in the multi-layer network. The latter module employs the attention operation to model the dependency between different entities. In this way, our model could learn better entity representations by capturing the implicit distinctions and relationships between different categories of entities. Extensive experiments on public datasets verify the effectiveness of our method. Besides, we also perform ablation analyses to deeply understand our methods.
translated by 谷歌翻译
多模式命名实体识别(MNER)旨在借助图像识别实体跨度并在社交媒体帖子中认识其类别。但是,在主要的MNER方法中,通常通过自我注意力和跨注意或对门控机的过度依赖的交替进行不同方式的相互作用,从而导致不精确和有偏见的对应关系。文字和图像。为了解决此问题,我们为MNER提出了一个平坦的多模式相互作用变压器(FMIT)。具体而言,我们首先在句子和通用域单词中使用名词短语来获得视觉提示。然后,我们将视觉和文本的细颗粒语义表示变成统一的晶格结构,并设计一种新颖的相对位置编码以匹配变压器中的不同方式。同时,我们建议利用实体边界检测作为减轻视觉偏见的辅助任务。实验表明,我们的方法在两个基准数据集上实现了新的最新性能。
translated by 谷歌翻译
Aspect Sentiment Triplet Extraction (ASTE) has become an emerging task in sentiment analysis research, aiming to extract triplets of the aspect term, its corresponding opinion term, and its associated sentiment polarity from a given sentence. Recently, many neural networks based models with different tagging schemes have been proposed, but almost all of them have their limitations: heavily relying on 1) prior assumption that each word is only associated with a single role (e.g., aspect term, or opinion term, etc. ) and 2) word-level interactions and treating each opinion/aspect as a set of independent words. Hence, they perform poorly on the complex ASTE task, such as a word associated with multiple roles or an aspect/opinion term with multiple words. Hence, we propose a novel approach, Span TAgging and Greedy infErence (STAGE), to extract sentiment triplets in span-level, where each span may consist of multiple words and play different roles simultaneously. To this end, this paper formulates the ASTE task as a multi-class span classification problem. Specifically, STAGE generates more accurate aspect sentiment triplet extractions via exploring span-level information and constraints, which consists of two components, namely, span tagging scheme and greedy inference strategy. The former tag all possible candidate spans based on a newly-defined tagging set. The latter retrieves the aspect/opinion term with the maximum length from the candidate sentiment snippet to output sentiment triplets. Furthermore, we propose a simple but effective model based on the STAGE, which outperforms the state-of-the-arts by a large margin on four widely-used datasets. Moreover, our STAGE can be easily generalized to other pair/triplet extraction tasks, which also demonstrates the superiority of the proposed scheme STAGE.
translated by 谷歌翻译
文档级关系提取(DRE)旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成,这可能是有问题的,因为库鲁弗提到对特定关系没有同样有贡献。此外,事先努力主要关注实体级的推理,而不是捕获实体对之间的全局相互作用。在本文中,我们提出了两种新颖的技术,上下文指导的集成和交互推理(CGM2IR),以改善DRE。而不是简单地应用平均池,而是利用上下文来指导在加权和方式中的经验提升的集成。另外,对实体对图的相互作用推理在实体对图上执行迭代算法,以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型,即Docred,CDR和GDA。实验结果表明,我们的模型优于以前的最先进的模型。
translated by 谷歌翻译
Lexicon信息和预先训练的型号,如伯特,已被组合以探索由于各自的优势而探索中文序列标签任务。然而,现有方法通过浅和随机初始化的序列层仅熔断词典特征,并且不会将它们集成到伯特的底层中。在本文中,我们提出了用于汉语序列标记的Lexicon增强型BERT(Lebert),其直接通过Lexicon适配器层将外部词典知识集成到BERT层中。与现有方法相比,我们的模型促进了伯特下层的深层词典知识融合。关于十个任务的十个中文数据集的实验,包括命名实体识别,单词分段和言语部分标记,表明Lebert实现了最先进的结果。
translated by 谷歌翻译
我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对,因此需要提及级别的注释 - 我们的模型在实体级别运行。为此,遵循多任务方法,它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果,并报告了未来参考的第一个实体级端到端关系提取结果。最后,我们的实验结果表明,联合方法与特定于任务专用的学习相提并论,虽然由于共享参数和培训步骤而言更有效。
translated by 谷歌翻译
嵌套命名实体识别(Nested Ner)是自然语言处理中的基本任务。已经提出了各种基于跨度的方法来检测具有跨度表示的嵌套实体。但是,基于跨度的方法不考虑跨度与其他实体或短语之间的关系,这对NER任务很有帮助。此外,由于跨度枚举长度有限,基于跨度的方法在预测长实体方面难以预测。为了减轻这些问题,我们介绍了提出的和refine网络(PNRNET),这是一个嵌套NER的两阶段集预测网络。在建议阶段,我们使用基于跨度的预测指标来生成一些粗糙的实体预测作为实体建议。在精炼阶段,建议相互互动,并将更丰富的上下文信息纳入建议表示。精致的建议表示形式用于重新预测实体边界和类。这样,可以消除粗略建议中的错误,并且边界预测不再受到跨度枚举长度限制的约束。此外,我们构建了多尺度句子表示,它可以更好地对句子的层次结构进行建模,并提供比令牌级表示更丰富的上下文信息。实验表明,PNRNET在四个嵌套的NER数据集和一个Flat NER数据集上实现了最先进的性能。
translated by 谷歌翻译
与伯特(Bert)等语言模型相比,已证明知识增强语言表示的预培训模型在知识基础构建任务(即〜关系提取)中更有效。这些知识增强的语言模型将知识纳入预训练中,以生成实体或关系的表示。但是,现有方法通常用单独的嵌入表示每个实体。结果,这些方法难以代表播出的实体和大量参数,在其基础代币模型之上(即〜变压器),必须使用,并且可以处理的实体数量为由于内存限制,实践限制。此外,现有模型仍然难以同时代表实体和关系。为了解决这些问题,我们提出了一个新的预培训模型,该模型分别从图书中学习实体和关系的表示形式,并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度,我们的模型可以代表实体及其关系,但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练,并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明,我们的模型比基线学习对实体和关系的表现更好,而在监督的设置中,微调我们的模型始终优于罗伯塔,并在信息提取任务上取得了竞争成果。
translated by 谷歌翻译
在文档级事件提取(DEE)任务中,事件参数始终散布在句子(串行问题)中,并且多个事件可能存在于一个文档(多事件问题)中。在本文中,我们认为事件参数的关系信息对于解决上述两个问题具有重要意义,并提出了一个新的DEE框架,该框架可以对关系依赖关系进行建模,称为关系授权的文档级事件提取(REDEE)。更具体地说,该框架具有一种新颖的量身定制的变压器,称为关系增强的注意变形金刚(RAAT)。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息,我们介绍了一个单独的事件关系预测任务,并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性,该方法可以在两个公共数据集上实现最新性能。我们的代码可在https:// github上找到。 com/tencentyouturesearch/raat。
translated by 谷歌翻译
现代神经开放式系统和基准的主要缺点是,它们优先考虑萃取中的信息高于其成分的紧凑性。这严重限制了开放式提取物在许多下游任务中的有用性。如果提取是紧凑和共享成分,则可以改善提取的效用。为此,我们研究了使用基于神经的方法鉴定紧凑提取的问题。我们提出了Compactie,这是一种使用新型管道方法的开放式系统,以产生具有重叠成分的紧凑型提取物。它首先检测到提取的成分,然后将它们链接到构建提取物。我们通过处理现有基准测试获得的紧凑提取物进行训练。我们在CARB和WIEL57数据集上的实验表明,紧凑型发现比以前的系统高1.5x-2x提取物,具有高精度,在OpenIE中建立了新的最新性能。
translated by 谷歌翻译
Much of named entity recognition (NER) research focuses on developing dataset-specific models based on data from the domain of interest, and a limited set of related entity types. This is frustrating as each new dataset requires a new model to be trained and stored. In this work, we present a ``versatile'' model -- the Prompting-based Unified NER system (PUnifiedNER) -- that works with data from different domains and can recognise up to 37 entity types simultaneously, and theoretically it could be as many as possible. By using prompt learning, PUnifiedNER is a novel approach that is able to jointly train across multiple corpora, implementing intelligent on-demand entity recognition. Experimental results show that PUnifiedNER leads to significant prediction benefits compared to dataset-specific models with impressively reduced model deployment costs. Furthermore, the performance of PUnifiedNER can achieve competitive or even better performance than state-of-the-art domain-specific methods for some datasets. We also perform comprehensive pilot and ablation studies to support in-depth analysis of each component in PUnifiedNER.
translated by 谷歌翻译