现代神经开放式系统和基准的主要缺点是，它们优先考虑萃取中的信息高于其成分的紧凑性。这严重限制了开放式提取物在许多下游任务中的有用性。如果提取是紧凑和共享成分，则可以改善提取的效用。为此，我们研究了使用基于神经的方法鉴定紧凑提取的问题。我们提出了Compactie，这是一种使用新型管道方法的开放式系统，以产生具有重叠成分的紧凑型提取物。它首先检测到提取的成分，然后将它们链接到构建提取物。我们通过处理现有基准测试获得的紧凑提取物进行训练。我们在CARB和WIEL57数据集上的实验表明，紧凑型发现比以前的系统高1.5x-2x提取物，具有高精度，在OpenIE中建立了新的最新性能。

开放信息提取是一个重要的NLP任务，它针对从非结构化文本中提取结构化信息的目标，而无需限制关系类型或文本域。该调查文件涵盖了2007年至2022年的开放信息提取技术，重点是以前的调查未涵盖的新模型。我们从信息角度来源提出了一种新的分类方法，以适应最近的OIE技术的开发。此外，我们根据任务设置以及当前流行的数据集和模型评估指标总结了三种主要方法。鉴于全面的审查，从数据集，信息来源，输出表格，方法和评估指标方面显示了几个未来的方向。

三重提取是自然语言处理和知识图构建信息提取的重要任务。在本文中，我们重新审视了序列生成的端到端三重提取任务。由于生成三重提取可能难以捕获长期依赖性并产生不忠的三元组，因此我们引入了一种新型模型，即与生成变压器的对比度三重提取。具体而言，我们为基于编码器的生成引入了一个共享的变压器模块。为了产生忠实的结果，我们提出了一个新颖的三胞胎对比训练对象。此外，我们引入了两种机制，以进一步提高模型性能（即，批处理动态注意力掩盖和三个方面的校准）。在三个数据集（即NYT，WebNLG和MIE）上进行的实验结果表明，我们的方法比基线的方法更好。

开放信息提取（OpenIE）的最先进的神经方法通常以自回旋或基于谓词的方式迭代地提取三重态（或元组），以免产生重复。在这项工作中，我们提出了一种可以平等或更成功的问题的不同方法。也就是说，我们提出了一种新型的单通道方法，用于开放式启发，该方法受到计算机视觉的对象检测算法的启发。我们使用基于双方匹配的订单不足损失，迫使独特的预测和用于序列标签的仅基于变压器的纯编码体系结构。与质量指标和推理时间相比，与标准基准的最新模型相比，提出的方法更快，并且表现出卓越或类似的性能。我们的模型在CARB上的新最新性能为OIE2016评估，而推断的速度比以前的最新状态更快。我们还在两种语言的零弹奏设置中评估了模型的多语言版本，并引入了一种生成合成多语言数据的策略，以微调每个特定语言的模型。在这种情况下，我们在多语言Re-OIE2016上显示了15％的性能提高，葡萄牙语和西班牙语的F1达到75％。代码和型号可在https://github.com/sberbank-ai/detie上找到。

开放信息提取（OpenIE）促进了独立于域的大型语料库的关系事实的发现。该技术很好地适合许多开放世界的自然语言理解场景，例如自动知识基础构建，开放域问答和明确的推理。由于深度学习技术的快速发展，已经提出了许多神经开放式体系结构并取得了可观的性能。在这项调查中，我们提供了有关状态神经开放模型的广泛概述，其关键设计决策，优势和劣势。然后，我们讨论当前解决方案的局限性以及OpenIE问题本身的开放问题。最后，我们列出了最近的趋势，这些趋势可以帮助扩大其范围和适用性，从而为Openie的未来研究设定了有希望的方向。据我们所知，本文是有关此特定主题的第一篇评论。

关系提取是一项重要但具有挑战性的任务，旨在从文本中提取所有隐藏的关系事实。随着深层语言模型的发展，关系提取方法在各种基准上都取得了良好的性能。但是，我们观察到以前方法的两个缺点：首先，在各种关系提取设置下没有统一的框架可以很好地工作；其次，有效利用外部知识作为背景信息。在这项工作中，我们提出了一种知识增强的生成模型来减轻这两个问题。我们的生成模型是一个统一的框架，可在各种关系提取设置下依次生成关系三胞胎，并明确利用来自知识图（KG）的相关知识来解决歧义。我们的模型在包括WebNLG，NYT10和Tacred在内的多个基准和设置上实现了卓越的性能。

Relation extraction (RE) is a sub-discipline of information extraction (IE) which focuses on the prediction of a relational predicate from a natural-language input unit (such as a sentence, a clause, or even a short paragraph consisting of multiple sentences and/or clauses). Together with named-entity recognition (NER) and disambiguation (NED), RE forms the basis for many advanced IE tasks such as knowledge-base (KB) population and verification. In this work, we explore how recent approaches for open information extraction (OpenIE) may help to improve the task of RE by encoding structured information about the sentences' principal units, such as subjects, objects, verbal phrases, and adverbials, into various forms of vectorized (and hence unstructured) representations of the sentences. Our main conjecture is that the decomposition of long and possibly convoluted sentences into multiple smaller clauses via OpenIE even helps to fine-tune context-sensitive language models such as BERT (and its plethora of variants) for RE. Our experiments over two annotated corpora, KnowledgeNet and FewRel, demonstrate the improved accuracy of our enriched models compared to existing RE approaches. Our best results reach 92% and 71% of F1 score for KnowledgeNet and FewRel, respectively, proving the effectiveness of our approach on competitive benchmarks.

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

基于标记的关系三重提取方法最近引起了日益增长的研究。然而，大多数这些方法采用单向提取框架，首先提取所有受试者，然后基于提取的受试者同时提取物体和关系。该框架具有明显的缺陷，即对受试者的提取结果太敏感。为了克服这种缺陷，我们提出了一种基于双向提取框架的方法，该方法基于从两个互补方向提取的实体对提取三维。具体地，我们首先从两个平行方向提取所有可能的主题对象对。这两个提取方向通过共享编码器组件连接，因此从一个方向的提取特征可以流到另一个方向，反之亦然。通过这种方式，两个方向的提取可以促进和相互补充。接下来，我们通过双重模型分配每个实体对的所有可能的关系。在培训期间，我们观察到股份结构将导致融合率不一致问题，这是对绩效有害的。因此，我们提出了一个享有意识的学习机制来解决它。我们在多个基准数据集中评估所提出的模型。广泛的实验结果表明，所提出的模型非常有效，它在所有这些数据集中实现了最先进的结果。此外，实验表明，所提出的双向提取框架和股感的学习机制都具有良好的适应性，可用于改善基于标记的其他标记的方法的性能。我们工作的源代码可用于：https：//github.com/neukg/birte。

目前，基于生物和元组的方法在基于跨度的语义角色标记（SRL）任务上表现得很好。然而，基于生物的方法通常需要在预测其参数时为每个谓词编码一次句子，并且基于元组的方法必须处理$ O（n ^ 3）$的巨大搜索空间，大大减少培训和推理效率。解析速度每秒小于50句话。此外，基于生物的和基于元组的方法通常在预测时仅考虑局部结构信息。本文建议将基于端到端的跨度的SRL作为图形解析任务。基于新颖的图形表示模式，我们在近期工作的肩部上呈现快速准确的SRL解析器对高阶语义依赖图解析。此外，我们提出了受限制的维特比程序，以确保输出图的合法性。英语Conll05和Conll12数据集的实验表明，我们的模型在没有训练有素的语言模型的两个设置下实现了新的最先进的结果，并且可以每秒用600句话解析600句话。

Prior works on Information Extraction (IE) typically predict different tasks and instances (e.g., event triggers, entities, roles, relations) independently, while neglecting their interactions and leading to model inefficiency. In this work, we introduce a joint IE framework, HighIE, that learns and predicts multiple IE tasks by integrating high-order cross-task and cross-instance dependencies. Specifically, we design two categories of high-order factors: homogeneous factors and heterogeneous factors. Then, these factors are utilized to jointly predict labels of all instances. To address the intractability problem of exact high-order inference, we incorporate a high-order neural decoder that is unfolded from a mean-field variational inference method. The experimental results show that our approach achieves consistent improvements on three IE tasks compared with our baseline and prior work.

Contextualized representation models such as ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2018) have recently achieved state-of-the-art results on a diverse array of downstream NLP tasks. Building on recent token-level probing work, we introduce a novel edge probing task design and construct a broad suite of sub-sentence tasks derived from the traditional structured NLP pipeline. We probe word-level contextual representations from four recent models and investigate how they encode sentence structure across a range of syntactic, semantic, local, and long-range phenomena. We find that existing models trained on language modeling and translation produce strong representations for syntactic phenomena, but only offer comparably small improvements on semantic tasks over a non-contextual baseline.

为了减轻从头开始构建知识图（kg）的挑战，更一般的任务是使用开放式语料库中的三元组丰富一个kg，那里获得的三元组包含嘈杂的实体和关系。在保持知识代表的质量的同时，以新收获的三元组丰富一个公园，这是一项挑战。本文建议使用从附加语料库中收集的信息来完善kg的系统。为此，我们将任务制定为两个耦合子任务，即加入事件提取（JEE）和知识图融合（KGF）。然后，我们提出了一个协作知识图融合框架，以允许我们的子任务以交替的方式相互协助。更具体地说，探险家执行了由地面注释和主管提供的现有KG监督的JEE。然后，主管评估了探险家提取的三元组，并用高度排名的人来丰富KG。为了实施此评估，我们进一步提出了一种翻译的关系一致性评分机制，以对齐并将提取的三元组对齐为先前的kg。实验验证了这种合作既可以提高JEE和KGF的表现。

Supervised Question Answering systems (QA systems) rely on domain-specific human-labeled data for training. Unsupervised QA systems generate their own question-answer training pairs, typically using secondary knowledge sources to achieve this outcome. Our approach (called PIE-QG) uses Open Information Extraction (OpenIE) to generate synthetic training questions from paraphrased passages and uses the question-answer pairs as training data for a language model for a state-of-the-art QA system based on BERT. Triples in the form of <subject, predicate, object> are extracted from each passage, and questions are formed with subjects (or objects) and predicates while objects (or subjects) are considered as answers. Experimenting on five extractive QA datasets demonstrates that our technique achieves on-par performance with existing state-of-the-art QA systems with the benefit of being trained on an order of magnitude fewer documents and without any recourse to external reference data sources.

One of the common traits of past and present approaches for Semantic Role Labeling (SRL) is that they rely upon discrete labels drawn from a predefined linguistic inventory to classify predicate senses and their arguments. However, we argue this need not be the case. In this paper, we present an approach that leverages Definition Modeling to introduce a generalized formulation of SRL as the task of describing predicate-argument structures using natural language definitions instead of discrete labels. Our novel formulation takes a first step towards placing interpretability and flexibility foremost, and yet our experiments and analyses on PropBank-style and FrameNet-style, dependency-based and span-based SRL also demonstrate that a flexible model with an interpretable output does not necessarily come at the expense of performance. We release our software for research purposes at https://github.com/SapienzaNLP/dsrl.

到目前为止，命名实体识别（ner）已经参与了三种主要类型，包括平面，重叠（嵌套）和不连续的ner，主要是单独研究。最近，为统一的人员建立了一个日益增长的兴趣，并与一个单一模型同时解决上述三个工作。当前最佳性能的方法主要包括基于跨度和序列到序列的模型，不幸的是，前者仅关注边界识别，后者可能遭受暴露偏差。在这项工作中，我们通过将统一的ner建模为Word-Word关系分类来提出一种小说替代方案，即W ^ 2ner。通过有效地建模具有下面邻近字（NNW）和尾页字 - *（THW- *）关系的实体单词之间的邻近关系来解决统一网内的内核瓶颈。基于W ^ 2ner方案，我们开发了一个神经框架，其中统一的网格被建模为单词对的2D网格。然后，我们提出了多粒度的2D卷积，以便更好地精炼网格表示。最后，共同预测器用于足够原因的单词关系。我们对14个广泛使用的基准数据集进行了广泛的实验，用于平板，重叠和不连续的NER（8英语和6个中文数据集），我们的型号击败了所有当前的顶级表演基线，推动了最先进的表演统一的网。

关于概念及其属性的常识知识（CSK）有助于AI应用程序。诸如ConceptNet之类的先前作品已经编译了大型CSK集合。但是，它们的表现力限制在主题性 - 预处理（SPO）的三联元中，对p和o的s和字符串的简单概念。与先前的作品相比，CSK断言具有精致的表现力和更好的精度和回忆。 Ascent ++通过用子组和方面捕获复合概念，以及用语义方面的主张来捕获复合概念。后者对于表达断言和进一步预选赛的时间和空间有效性至关重要。此外，Ascent ++将开放信息提取（OpenIE）与典型性和显着性分数的明智清洁和排名相结合。对于高覆盖范围，我们的方法挖掘到具有广泛的Web内容的大规模爬网C4中。通过人类判断的评估显示了上升++ Kb的卓越质量，以及对QA支持任务的外部评估强调了Ascent ++的好处。可以在https://ascentpp.mpi-inf.mpg.de/上访问Web界面，数据和代码。

In this paper we show the surprising effectiveness of a simple observed features model in comparison to latent feature models on two benchmark knowledge base completion datasets, FB15K and WN18. We also compare latent and observed feature models on a more challenging dataset derived from FB15K, and additionally coupled with textual mentions from a web-scale corpus. We show that the observed features model is most effective at capturing the information present for entity pairs with textual relations, and a combination of the two combines the strengths of both model types.

关系提取（RE）是自然语言处理的基本任务。RE试图通过识别文本中的实体对之间的关系信息来将原始的，非结构化的文本转变为结构化知识。RE有许多用途，例如知识图完成，文本摘要，提问和搜索查询。RE方法的历史可以分为四个阶段：基于模式的RE，基于统计的RE，基于神经的RE和大型语言模型的RE。这项调查始于对RE的早期阶段的一些示例性作品的概述，突出了局限性和缺点，以使进度相关。接下来，我们回顾流行的基准测试，并严格检查用于评估RE性能的指标。然后，我们讨论遥远的监督，这是塑造现代RE方法发展的范式。最后，我们回顾了重点是降级和培训方法的最新工作。

文本的结构化和接地表示通常是通过封闭信息提取形式化的，提取与从知识库模式的预定义实体集合和关系一致的穷举集（主题，关系，对象）三元组的问题。大多数现有的作品是管道容易出错的累积，所有方法都仅适用于不切实际的少数实体和关系。我们介绍了Genie（生成信息提取），第一端到最终的归属化闭合信息提取。 Genie自然地通过自动生成文本形式的关系和实体来利用预先训练的变压器的语言知识。由于新的双层约束生成策略，仅生产与预定义知识库模式一致的三胞胎。我们的实验表明，Genie在封闭信息提取时是最先进的，从较少的训练数据点广泛地推广到基线，并缩放到以前无管理数量的实体和关系。通过这项工作，封闭的信息提取在现实情景中变得实用，为下游任务提供了新的机会。最后，这项工作为信息提取的核心任务铺平了统一的端到端方法。在https://github.com/epfl-dlab/genie提供的代码和模型。