Prior works on Information Extraction (IE) typically predict different tasks and instances (e.g., event triggers, entities, roles, relations) independently, while neglecting their interactions and leading to model inefficiency. In this work, we introduce a joint IE framework, HighIE, that learns and predicts multiple IE tasks by integrating high-order cross-task and cross-instance dependencies. Specifically, we design two categories of high-order factors: homogeneous factors and heterogeneous factors. Then, these factors are utilized to jointly predict labels of all instances. To address the intractability problem of exact high-order inference, we incorporate a high-order neural decoder that is unfolded from a mean-field variational inference method. The experimental results show that our approach achieves consistent improvements on three IE tasks compared with our baseline and prior work.

到目前为止，命名实体识别（ner）已经参与了三种主要类型，包括平面，重叠（嵌套）和不连续的ner，主要是单独研究。最近，为统一的人员建立了一个日益增长的兴趣，并与一个单一模型同时解决上述三个工作。当前最佳性能的方法主要包括基于跨度和序列到序列的模型，不幸的是，前者仅关注边界识别，后者可能遭受暴露偏差。在这项工作中，我们通过将统一的ner建模为Word-Word关系分类来提出一种小说替代方案，即W ^ 2ner。通过有效地建模具有下面邻近字（NNW）和尾页字 - *（THW- *）关系的实体单词之间的邻近关系来解决统一网内的内核瓶颈。基于W ^ 2ner方案，我们开发了一个神经框架，其中统一的网格被建模为单词对的2D网格。然后，我们提出了多粒度的2D卷积，以便更好地精炼网格表示。最后，共同预测器用于足够原因的单词关系。我们对14个广泛使用的基准数据集进行了广泛的实验，用于平板，重叠和不连续的NER（8英语和6个中文数据集），我们的型号击败了所有当前的顶级表演基线，推动了最先进的表演统一的网。

事件提取（EE）是信息提取的重要任务，该任务旨在从非结构化文本中提取结构化事件信息。大多数先前的工作都专注于提取平坦的事件，同时忽略重叠或嵌套的事件。多个重叠和嵌套EE的模型包括几个连续的阶段来提取事件触发器和参数，这些阶段患有错误传播。因此，我们设计了一种简单而有效的标记方案和模型，以将EE作为单词关系识别，称为oneee。触发器或参数单词之间的关系在一个阶段同时识别出并行网格标记，从而产生非常快的事件提取速度。该模型配备了自适应事件融合模块，以生成事件感知表示表示和距离感知的预测指标，以整合单词关系识别的相对距离信息，从经验上证明这是有效的机制。对3个重叠和嵌套的EE基准测试的实验，即少数FC，GENIA11和GENIA13，表明Oneee实现了最新的（SOTA）结果。此外，ONEEE的推理速度比相同条件下的基线的推理速度快，并且由于它支持平行推断，因此可以进一步改善。

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

我们提出了一个新的框架，在增强的自然语言（TANL）之间的翻译，解决了许多结构化预测语言任务，包括联合实体和关系提取，嵌套命名实体识别，关系分类，语义角色标记，事件提取，COREREFED分辨率和对话状态追踪。通过培训特定于特定于任务的鉴别分类器来说，我们将其作为一种在增强的自然语言之间的翻译任务，而不是通过培训问题，而不是解决问题，而是可以轻松提取任务相关信息。我们的方法可以匹配或优于所有任务的特定于任务特定模型，特别是在联合实体和关系提取（Conll04，Ade，NYT和ACE2005数据集）上实现了新的最先进的结果，与关系分类（偶尔和默示）和语义角色标签（Conll-2005和Conll-2012）。我们在使用相同的架构和超参数的同时为所有任务使用相同的架构和超级参数，甚至在培训单个模型时同时解决所有任务（多任务学习）。最后，我们表明，由于更好地利用标签语义，我们的框架也可以显着提高低资源制度的性能。

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

现代神经开放式系统和基准的主要缺点是，它们优先考虑萃取中的信息高于其成分的紧凑性。这严重限制了开放式提取物在许多下游任务中的有用性。如果提取是紧凑和共享成分，则可以改善提取的效用。为此，我们研究了使用基于神经的方法鉴定紧凑提取的问题。我们提出了Compactie，这是一种使用新型管道方法的开放式系统，以产生具有重叠成分的紧凑型提取物。它首先检测到提取的成分，然后将它们链接到构建提取物。我们通过处理现有基准测试获得的紧凑提取物进行训练。我们在CARB和WIEL57数据集上的实验表明，紧凑型发现比以前的系统高1.5x-2x提取物，具有高精度，在OpenIE中建立了新的最新性能。

从文本中获取结构事件知识的事件提取（EE）可以分为两个子任务：事件类型分类和元素提取（即在不同的角色模式下识别触发器和参数）。由于不同的事件类型始终拥有独特的提取模式（即角色模式），因此EE先前的工作通常遵循孤立的学习范式，对不同的事件类型独立执行元素提取。它忽略了事件类型和参数角色之间有意义的关联，导致频繁类型/角色的性能相对较差。本文提出了一个新型的EE任务神经关联框架。给定文档，它首先通过构造文档级别的图形来执行类型分类，以关联不同类型的句子节点，并采用图形注意网络来学习句子嵌入。然后，通过构建一个通用参数角色模式来实现元素提取，并具有参数遗传机制，以增强提取元素的角色偏好。因此，我们的模型考虑了EE期间的类型和角色关联，从而使它们之间的隐式信息共享。实验结果表明，我们的方法始终优于两个子任务中大多数最新的EE方法。特别是，对于具有较少培训数据的类型/角色，该性能优于现有方法。

目前，基于生物和元组的方法在基于跨度的语义角色标记（SRL）任务上表现得很好。然而，基于生物的方法通常需要在预测其参数时为每个谓词编码一次句子，并且基于元组的方法必须处理$ O（n ^ 3）$的巨大搜索空间，大大减少培训和推理效率。解析速度每秒小于50句话。此外，基于生物的和基于元组的方法通常在预测时仅考虑局部结构信息。本文建议将基于端到端的跨度的SRL作为图形解析任务。基于新颖的图形表示模式，我们在近期工作的肩部上呈现快速准确的SRL解析器对高阶语义依赖图解析。此外，我们提出了受限制的维特比程序，以确保输出图的合法性。英语Conll05和Conll12数据集的实验表明，我们的模型在没有训练有素的语言模型的两个设置下实现了新的最先进的结果，并且可以每秒用600句话解析600句话。

命名实体识别（NER）任务旨在识别属于人，位置，组织等预定语义类型的文本中的实体。平面实体的最新解决方案NER通常因捕获捕获基础文本中的细粒语义信息。现有的基于跨度的方法克服了这一限制，但是计算时间仍然是一个问题。在这项工作中，我们提出了一个基于跨度的新型NER框架，即全球指针（GP），该框架通过乘法注意机制来利用相对位置。最终目标是实现一个全球观点，以考虑开始和最终位置以预测实体。为此，我们设计了两个模块来识别给定实体的头部和尾部，以使训练和推理过程之间的不一致。此外，我们引入了一种新型的分类损失函数，以解决不平衡标签问题。在参数方面，我们引入了一种简单但有效的近似方法来减少训练参数。我们在各种基准数据集上广泛评估GP。我们的广泛实验表明，GP可以胜过现有的解决方案。此外，实验结果表明，与软马克斯和熵替代方案相比，引入的损失函数的功效。

框架语义解析是一项基本的NLP任务，由三个子任务组成：框架标识，参数识别和角色分类。以前的大多数研究都倾向于忽略不同子任务与论点之间的关系，并且很少关注Framenet中定义的本体论框架知识。在本文中，我们提出了一个带有双层（KID）的知识引导的增量语义解析器。我们首先介绍框架知识图（FKG），这是一个构建框架知识上构建的框架和FES（帧元素）的异质图，以便我们可以得出框架和FES的知识增强表示。此外，我们提出了框架语义图（FSG）来表示用图形结构从文本中提取的框架语义结构。通过这种方式，我们可以将框架语义解析转变为增量图构造问题，以加强子任务之间的相互作用和参数之间的关系。我们的实验表明，在两个Framenet数据集上，KID的表现优于先前的最新方法1.7 f1得分。我们的代码可在https://github.com/pkunlp-icler/kid上使用。

自然语言理解的关系提取使得创新和鼓励新颖的商业概念成为可能，并促进新的数字化决策过程。目前的方法允许提取与固定数量的实体的关系作为属性。提取与任意数量的属性的关系需要复杂的系统和昂贵的关系触发注释来帮助这些系统。我们将多属性关系提取（MARE）引入具有两种方法的假设问题，促进从业务用例到数据注释的显式映射。避免精细的注释约束简化了关系提取方法的应用。评估将我们的模型与当前最先进的事件提取和二进制关系提取方法进行了比较。与普通多属性关系的提取相比，我们的方法表现出改进。

临床领域中的事件提取是一个探索较少的研究领域。除了大量的特定领域的行话外，缺乏培训数据，包括较长的实体，具有模糊的边界，使该任务尤其具有挑战性。在本文中，我们介绍了DICE，这是一种用于临床事件提取的强大而数据效率的生成模型。骰子框架事件提取作为有条件的生成问题，并利用域专家提供的描述来提高低资源设置下的性能。此外，DICE学会了与辅助提及的识别任务一起定位和约束生物医学提及，该任务与事件提取任务共同培训，以利用任务间的依赖性，并进一步纳入确定的提及作为其各自任务的触发和论证候选者。我们还介绍了MacCrobat-EE，这是第一个带有事件参数注释的临床事件提取数据集。我们的实验证明了在临床领域的低数据设置下骰子的鲁棒性，以及将柔性关节训练并提及标记纳入生成方法的好处。

许多自然语言处理任务，例如核心解决方案和语义角色标签，都需要选择文本跨度并就其做出决定。此类任务的典型方法是为所有可能的跨度评分，并贪婪地选择特定任务的下游处理的跨度。然而，这种方法并未纳入有关应选择哪种跨度的诱导偏见，例如，选定的跨度倾向于是句法成分。在本文中，我们提出了一种新型的基于语法的结构化选择模型，该模型学会了利用为此类问题提供的部分跨度注释。与以前的方法相比，我们的方法摆脱了启发式贪婪的跨度选择方案，使我们能够在一组最佳跨度上对下游任务进行建模。我们在两个流行的跨度预测任务上评估我们的模型：核心分辨率和语义角色标签。我们对两者都展示了经验改进。

跨度提取，旨在从纯文本中提取文本跨度（如单词或短语），是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题（QA正式化）的跨度提取任务来提高文本表示，以实现最先进的表现。然而，QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题，我们介绍了一种新的范例来整合标签知识，并进一步提出一个小说模型，明确有效地将标签知识集成到文本表示中。具体而言，它独立地编码文本和标签注释，然后将标签知识集成到文本表示中，并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验：扁平的网，嵌套网和事件检测。实证结果表明，我们的方法在四个基准测试中实现了最先进的性能，而且分别将培训时间和推理时间降低76％和77％，与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。

统一的意见角色标签（ORL）旨在给予一篇文章检测一次拍摄中“意见持有人 - 目标”的所有可能的意见结构。不幸的是，现有的基于转换的统一方法受到更长的意见术语，并且无法解决术语重叠问题。通过采用基于跨度的图形模型实现了当前的最佳性能，然而仍然存在高模型复杂性并且在意见和角色之间的互动不足。在这项工作中，我们通过重新检测转换架构并使用指针网络（PINETNET）来调查新的解决方案。该框架在线性时间复杂度解析了所有意见结构，同时通过限制与PointNet的任何术语的限制。为了实现明确的观点 - 角色互动，我们进一步提出了一个统一的依赖性意见图（UDOG），共同建立了句法依赖结构和部分意见角色结构。然后，我们设计了居中性的图形聚合器（RCGA）以编码多关键udog，其中产生的高阶表示用于促进香草过渡系统中的预测。我们的模型在MPQA基准测试中实现了新的最先进结果。分析进一步证明了我们对疗效和效率的方法的优越性。

从新闻文章中提取事件的信息论点是信息提取的一个具有挑战性的问题，这需要对每个文档的全球上下文理解。尽管有关文档级提取的最新工作已经超越了单句子，并提高了端到端模型的跨句子推理能力，但它们仍然受到某些输入序列长度约束的限制，通常忽略事件之间的全局上下文。为了解决此问题，我们通过构建文档存储器存储来记录上下文事件信息，并利用它隐含，明确地帮助解码以后事件的参数，从而引入了一个新的基于全局神经生成的框架，以用于文档级事件参数提取提取文档级别的事件参数提取。经验结果表明，我们的框架的表现要优于先验方法，并且使用约束的解码设计对对抗注释的示例更为强大。 （我们的代码和资源可在https://github.com/xinyadu/memory_docie上获得研究目的。）

即使预训练的语言模型共享语义编码器，自然语言的理解也遭受了各种输出模式的影响。在本文中，我们提出了基于BERT框架的统一双向语言理解模型Ubert，它可以通过Biaffine网络普遍地对不同NLU任务的训练对象进行建模。具体而言，Ubert从各个方面编码先验知识，统一地构建了多个NLU任务的学习表示，这有利于增强捕获共同语义理解的能力。使用Biaffine来模拟原始文本的开始和末端位置对，可以将各种分类和提取结构转换为通用的跨度编码方法。实验表明，UBERT在7个NLU任务，14个数据集和零拍设置上实现了最先进的性能，并实现了广泛的信息提取和语言推理任务的统一。

Aspect Sentiment Triplet Extraction (ASTE) has become an emerging task in sentiment analysis research, aiming to extract triplets of the aspect term, its corresponding opinion term, and its associated sentiment polarity from a given sentence. Recently, many neural networks based models with different tagging schemes have been proposed, but almost all of them have their limitations: heavily relying on 1) prior assumption that each word is only associated with a single role (e.g., aspect term, or opinion term, etc. ) and 2) word-level interactions and treating each opinion/aspect as a set of independent words. Hence, they perform poorly on the complex ASTE task, such as a word associated with multiple roles or an aspect/opinion term with multiple words. Hence, we propose a novel approach, Span TAgging and Greedy infErence (STAGE), to extract sentiment triplets in span-level, where each span may consist of multiple words and play different roles simultaneously. To this end, this paper formulates the ASTE task as a multi-class span classification problem. Specifically, STAGE generates more accurate aspect sentiment triplet extractions via exploring span-level information and constraints, which consists of two components, namely, span tagging scheme and greedy inference strategy. The former tag all possible candidate spans based on a newly-defined tagging set. The latter retrieves the aspect/opinion term with the maximum length from the candidate sentiment snippet to output sentiment triplets. Furthermore, we propose a simple but effective model based on the STAGE, which outperforms the state-of-the-arts by a large margin on four widely-used datasets. Moreover, our STAGE can be easily generalized to other pair/triplet extraction tasks, which also demonstrates the superiority of the proposed scheme STAGE.

语义角色标签（SRL）是NLP社区的一项基本而艰巨的任务。 SRL的最新作品主要分为两行：1）基于生物的； 2）基于跨度的。尽管普遍存在，但它们具有不考虑内部论证结构的一些内在缺点，可能会阻碍模型的表现力。关键挑战是参数是平坦的结构，并且在参数中没有确定的子树实现。为了解决这个问题，在本文中，我们建议将平坦的论点跨越为潜在子树，因此将SRL缩小为树解析任务。特别是，我们为制剂配备了新型的跨度限制的treecrf，以使树结构跨度感知，并将其进一步扩展到二阶情况。我们在Conll05和Conll12基准测试上进行了广泛的实验。结果表明，我们的方法的性能比所有以前的语法 - 不知不线作品都更好，在端到端和w/ w/ w/ gold prepticates设置下实现了新的最先进的作品。