Zero-shot relation triplet extraction (ZeroRTE) aims to extract relation triplets from unstructured texts under the zero-shot setting, where the relation sets at the training and testing stages are disjoint. Previous state-of-the-art method handles this challenging task by leveraging pretrained language models to generate data as additional training samples, which increases the training cost and severely constrains the model performance. To address the above issues, we propose a novel method named PCRED for ZeroRTE with Potential Candidate Relation Selection and Entity Boundary Detection. The remarkable characteristic of PCRED is that it does not rely on additional data and still achieves promising performance. The model adopts a relation-first paradigm, recognizing unseen relations through candidate relation selection. With this approach, the semantics of relations are naturally infused in the context. Entities are extracted based on the context and the semantics of relations subsequently. We evaluate our model on two ZeroRTE datasets. The experiment results show that our method consistently outperforms previous works. Our code will be available at https://anonymous.4open.science/r/PCRED.

Triplet extraction aims to extract entities and their corresponding relations in unstructured text. Most existing methods train an extraction model on high-quality training data, and hence are incapable of extracting relations that were not observed during training. Generalizing the model to unseen relations typically requires fine-tuning on synthetic training data which is often noisy and unreliable. In this paper, we argue that reducing triplet extraction to a template filling task over a pre-trained language model can equip the model with zero-shot learning capabilities and enable it to leverage the implicit knowledge in the language model. Embodying these ideas, we propose a novel framework, ZETT (ZEro-shot Triplet extraction by Template infilling), that is based on end-to-end generative transformers. Our experiments show that without any data augmentation or pipeline systems, ZETT can outperform previous state-of-the-art models with 25% less parameters. We further show that ZETT is more robust in detecting entities and can be incorporated with automatically generated templates for relations.

开放信息提取（OpenIE）的最先进的神经方法通常以自回旋或基于谓词的方式迭代地提取三重态（或元组），以免产生重复。在这项工作中，我们提出了一种可以平等或更成功的问题的不同方法。也就是说，我们提出了一种新型的单通道方法，用于开放式启发，该方法受到计算机视觉的对象检测算法的启发。我们使用基于双方匹配的订单不足损失，迫使独特的预测和用于序列标签的仅基于变压器的纯编码体系结构。与质量指标和推理时间相比，与标准基准的最新模型相比，提出的方法更快，并且表现出卓越或类似的性能。我们的模型在CARB上的新最新性能为OIE2016评估，而推断的速度比以前的最新状态更快。我们还在两种语言的零弹奏设置中评估了模型的多语言版本，并引入了一种生成合成多语言数据的策略，以微调每个特定语言的模型。在这种情况下，我们在多语言Re-OIE2016上显示了15％的性能提高，葡萄牙语和西班牙语的F1达到75％。代码和型号可在https://github.com/sberbank-ai/detie上找到。

Aspect Sentiment Triplet Extraction (ASTE) has become an emerging task in sentiment analysis research, aiming to extract triplets of the aspect term, its corresponding opinion term, and its associated sentiment polarity from a given sentence. Recently, many neural networks based models with different tagging schemes have been proposed, but almost all of them have their limitations: heavily relying on 1) prior assumption that each word is only associated with a single role (e.g., aspect term, or opinion term, etc. ) and 2) word-level interactions and treating each opinion/aspect as a set of independent words. Hence, they perform poorly on the complex ASTE task, such as a word associated with multiple roles or an aspect/opinion term with multiple words. Hence, we propose a novel approach, Span TAgging and Greedy infErence (STAGE), to extract sentiment triplets in span-level, where each span may consist of multiple words and play different roles simultaneously. To this end, this paper formulates the ASTE task as a multi-class span classification problem. Specifically, STAGE generates more accurate aspect sentiment triplet extractions via exploring span-level information and constraints, which consists of two components, namely, span tagging scheme and greedy inference strategy. The former tag all possible candidate spans based on a newly-defined tagging set. The latter retrieves the aspect/opinion term with the maximum length from the candidate sentiment snippet to output sentiment triplets. Furthermore, we propose a simple but effective model based on the STAGE, which outperforms the state-of-the-arts by a large margin on four widely-used datasets. Moreover, our STAGE can be easily generalized to other pair/triplet extraction tasks, which also demonstrates the superiority of the proposed scheme STAGE.

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

Document-level relation extraction faces two overlooked challenges: long-tail problem and multi-label problem. Previous work focuses mainly on obtaining better contextual representations for entity pairs, hardly address the above challenges. In this paper, we analyze the co-occurrence correlation of relations, and introduce it into DocRE task for the first time. We argue that the correlations can not only transfer knowledge between data-rich relations and data-scarce ones to assist in the training of tailed relations, but also reflect semantic distance guiding the classifier to identify semantically close relations for multi-label entity pairs. Specifically, we use relation embedding as a medium, and propose two co-occurrence prediction sub-tasks from both coarse- and fine-grained perspectives to capture relation correlations. Finally, the learned correlation-aware embeddings are used to guide the extraction of relational facts. Substantial experiments on two popular DocRE datasets are conducted, and our method achieves superior results compared to baselines. Insightful analysis also demonstrates the potential of relation correlations to address the above challenges.

认识到没有培训实例的看不见的关系是现实世界中的一个具有挑战性的任务。在本文中，我们提出了一种基于提示的模型，具有语义知识增强（ZS-SKA），以识别零拍摄设置下的看不见的关系。在新的单词级别句子翻译规则之后，我们从带有所看到的关系的情况生成增强的实例。我们根据外部知识图设计提示，以将从所见关系中学到的语义知识信息集成。我们在提示模板中使用实际标签集，而是构造加权虚拟标签单词。通过生成与增强实例的看见和看不见的关系的表示，并通过原型网络提示，计算距离以预测看不见的关系。在三个公共数据集上进行的广泛实验表明，ZS-SKA优于零击方案下的最先进的方法。我们的实验结果还证明了ZS-SKA的有效性和鲁棒性。

基于跨度的关节提取同时进行文本跨度的指定实体识别（NER）和关系提取（RE）。最近的研究表明，令牌标签可以传达至关重要的任务特定信息并丰富令牌语义。但是，据我们所知，由于完全戒除序列标记机制，所有先前基于跨度的工作都无法使用令牌标签的形式。为了解决此问题，我们置于基于跨度的跨度网络（STSN）的序列序列标记，这是一个基于跨度的关节外推网络，该网络通过基于序列标记的NER得出的令牌生物标签信息增强。通过深入堆叠多个Atten-tion层，我们设计了一个深度的Neu-ral架构来构建STSN，每个阶层层都由三个基本注意力单元组成。深度神经体系结构首先学习了代币标签和基于SPAN的关节提取的Seman-TIC表示，然后在它们之间构建了形式的相互作用，这也实现了基于SPAN的NER和RE之间的双向信息相互关系。向热 - 我们扩展了生物标记方案，以使STSN可以提取重叠的联系。三个基准数据集的实验表明，我们的模型始终优于先前的最佳模型，从而创造了新的最新结果。

跨度提取，旨在从纯文本中提取文本跨度（如单词或短语），是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题（QA正式化）的跨度提取任务来提高文本表示，以实现最先进的表现。然而，QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题，我们介绍了一种新的范例来整合标签知识，并进一步提出一个小说模型，明确有效地将标签知识集成到文本表示中。具体而言，它独立地编码文本和标签注释，然后将标签知识集成到文本表示中，并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验：扁平的网，嵌套网和事件检测。实证结果表明，我们的方法在四个基准测试中实现了最先进的性能，而且分别将培训时间和推理时间降低76％和77％，与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。

文档级关系提取（DRE）旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成，这可能是有问题的，因为库鲁弗提到对特定关系没有同样有贡献。此外，事先努力主要关注实体级的推理，而不是捕获实体对之间的全局相互作用。在本文中，我们提出了两种新颖的技术，上下文指导的集成和交互推理（CGM2IR），以改善DRE。而不是简单地应用平均池，而是利用上下文来指导在加权和方式中的经验提升的集成。另外，对实体对图的相互作用推理在实体对图上执行迭代算法，以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型，即Docred，CDR和GDA。实验结果表明，我们的模型优于以前的最先进的模型。

文本的结构化和接地表示通常是通过封闭信息提取形式化的，提取与从知识库模式的预定义实体集合和关系一致的穷举集（主题，关系，对象）三元组的问题。大多数现有的作品是管道容易出错的累积，所有方法都仅适用于不切实际的少数实体和关系。我们介绍了Genie（生成信息提取），第一端到最终的归属化闭合信息提取。 Genie自然地通过自动生成文本形式的关系和实体来利用预先训练的变压器的语言知识。由于新的双层约束生成策略，仅生产与预定义知识库模式一致的三胞胎。我们的实验表明，Genie在封闭信息提取时是最先进的，从较少的训练数据点广泛地推广到基线，并缩放到以前无管理数量的实体和关系。通过这项工作，封闭的信息提取在现实情景中变得实用，为下游任务提供了新的机会。最后，这项工作为信息提取的核心任务铺平了统一的端到端方法。在https://github.com/epfl-dlab/genie提供的代码和模型。

我们提出了一个零射门学习关系分类（ZSLRC）框架，通过其识别训练数据中不存在的新颖关系的能力来提高最先进的框架。零射击学习方法模仿人类学习和识别新概念的方式，没有先前的知识。为此，ZSLRC使用修改的高级原型网络来利用加权侧（辅助）信息。 ZSLRC的侧面信息是由关键字，名称实体的高度和标签及其同义词构建的。 ZSLRC还包括一个自动高义的提取框架，可直接从Web获取各种名称实体的高型。 ZSLRC提高了最先进的少量学习关系分类方法，依赖于标记的培训数据，因此即使在现实世界方案中也适用于某些关系对相应标记的培训示例。我们在两种公共数据集（NYT和NEREREL）上使用广泛的实验显示结果，并显示ZSLRC显着优于最先进的方法对监督学习，少量学习和零射击学习任务。我们的实验结果还展示了我们所提出的模型的有效性和稳健性。

嵌套命名实体识别（Nested Ner）是自然语言处理中的基本任务。已经提出了各种基于跨度的方法来检测具有跨度表示的嵌套实体。但是，基于跨度的方法不考虑跨度与其他实体或短语之间的关系，这对NER任务很有帮助。此外，由于跨度枚举长度有限，基于跨度的方法在预测长实体方面难以预测。为了减轻这些问题，我们介绍了提出的和refine网络（PNRNET），这是一个嵌套NER的两阶段集预测网络。在建议阶段，我们使用基于跨度的预测指标来生成一些粗糙的实体预测作为实体建议。在精炼阶段，建议相互互动，并将更丰富的上下文信息纳入建议表示。精致的建议表示形式用于重新预测实体边界和类。这样，可以消除粗略建议中的错误，并且边界预测不再受到跨度枚举长度限制的约束。此外，我们构建了多尺度句子表示，它可以更好地对句子的层次结构进行建模，并提供比令牌级表示更丰富的上下文信息。实验表明，PNRNET在四个嵌套的NER数据集和一个Flat NER数据集上实现了最先进的性能。

从文本中提取空间关系是自然语言理解的一项基本任务，而先前的研究仅将其视为一项分类任务，由于信息差而忽略了那些具有无效角色的空间关系。为了解决上述问题，我们首先将空间关系提取视为一项生成任务，并为此任务提出了一种新型混合模型HMCGR。HMCGR包含一个生成和分类模型，而前者可以生成那些无效的关系，后者可以提取那些非无效关系以相互补充。此外，使用反射性评估机制，以进一步提高基于空间关系的反射性原理的准确性。SpaceEval的实验结果表明，HMCGR的表现明显优于SOTA基线。

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

We present Pre-trained Machine Reader (PMR), a novel method to retrofit Pre-trained Language Models (PLMs) into Machine Reading Comprehension (MRC) models without acquiring labeled data. PMR is capable of resolving the discrepancy between model pre-training and downstream fine-tuning of existing PLMs, and provides a unified solver for tackling various extraction tasks. To achieve this, we construct a large volume of general-purpose and high-quality MRC-style training data with the help of Wikipedia hyperlinks and design a Wiki Anchor Extraction task to guide the MRC-style pre-training process. Although conceptually simple, PMR is particularly effective in solving extraction tasks including Extractive Question Answering and Named Entity Recognition, where it shows tremendous improvements over previous approaches especially under low-resource settings. Moreover, viewing sequence classification task as a special case of extraction task in our MRC formulation, PMR is even capable to extract high-quality rationales to explain the classification process, providing more explainability of the predictions.

方面情绪三重态提取（ASTE）旨在从句子中提取三胞胎，包括目标实体，相关情感极性，以及合理化极性的意见跨度。现有方法缺乏目标 - 意见对之间的构建相关性，并忽略不同情绪三联体之间的相互干扰。为了解决这些问题，我们利用了两阶段框架来增强目标和意见之间的相关性：在阶段，通过序列标记提取目标和意见;然后，我们附加了一组名为可感知对的人工标签，其指示特定目标意义元组的跨度，输入句子以获得更接近相关的目标意见对表示。同时，我们通过限制令牌的注意力领域来降低三态层之间的负干扰。最后，根据可感知对的表示来识别极性。我们对四个数据集进行实验，实验结果表明了我们模型的有效性。

三重提取是自然语言处理和知识图构建信息提取的重要任务。在本文中，我们重新审视了序列生成的端到端三重提取任务。由于生成三重提取可能难以捕获长期依赖性并产生不忠的三元组，因此我们引入了一种新型模型，即与生成变压器的对比度三重提取。具体而言，我们为基于编码器的生成引入了一个共享的变压器模块。为了产生忠实的结果，我们提出了一个新颖的三胞胎对比训练对象。此外，我们引入了两种机制，以进一步提高模型性能（即，批处理动态注意力掩盖和三个方面的校准）。在三个数据集（即NYT，WebNLG和MIE）上进行的实验结果表明，我们的方法比基线的方法更好。

方面情感三胞胎提取（ASTE）旨在提取方面，意见及其情感关系作为情感三胞胎的跨度。现有的作品通常将跨度检测作为1D令牌标记问题制定，并使用令牌对的2D标记矩阵对情感识别进行建模。此外，通过利用诸如伯特（Bert）之类的审计语言编码器（PLES）的代表形式，它们可以实现更好的性能。但是，他们只是利用将功能提取器作为提取器来构建其模块，但从未深入了解特定知识所包含的内容。在本文中，我们争辩说，与其进一步设计模块以捕获ASTE的电感偏见，不如包含“足够”的“足够”功能，用于1D和2D标记：（1）令牌表示包含令牌本身的上下文含义，因此此级别，因此此级别功能带有必要的信息以进行1D标记。 （2）不同PLE层的注意力矩阵可以进一步捕获令牌对中存在的多层次语言知识，从而使2D标记受益。 （3）此外，对于简单的转换，这两个功能也可以很容易地转换为2D标记矩阵和1D标记序列。这将进一步提高标签结果。通过这样做，PLE可以是自然的标记框架并实现新的最新状态，通过广泛的实验和深入分析来验证。