关系提取是自然语言处理中的一个基本问题。大多数现有模型都是为常规域中的关系提取而定义的。然而，它们对特定结构域（例如，生物医用）的表现尚不清楚。为了填补这一差距，本文对生物医学研究文章的关系提取进行了实证研究。具体而言，我们考虑句子级和文档级关系提取，并在几个基准数据集上运行一些最先进的方法。我们的研究结果表明，（1）当前文件级关系提取方法具有强大的泛化能力;（2）现有方法需要大量标记数据进行生物医学中的模型微调。我们的观察可能会激发该领域的人们为生物医学关系提取开发更有效的模型。

关系提取（RE）是自然语言处理的基本任务。RE试图通过识别文本中的实体对之间的关系信息来将原始的，非结构化的文本转变为结构化知识。RE有许多用途，例如知识图完成，文本摘要，提问和搜索查询。RE方法的历史可以分为四个阶段：基于模式的RE，基于统计的RE，基于神经的RE和大型语言模型的RE。这项调查始于对RE的早期阶段的一些示例性作品的概述，突出了局限性和缺点，以使进度相关。接下来，我们回顾流行的基准测试，并严格检查用于评估RE性能的指标。然后，我们讨论遥远的监督，这是塑造现代RE方法发展的范式。最后，我们回顾了重点是降级和培训方法的最新工作。

文档级关系提取（DRE）旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成，这可能是有问题的，因为库鲁弗提到对特定关系没有同样有贡献。此外，事先努力主要关注实体级的推理，而不是捕获实体对之间的全局相互作用。在本文中，我们提出了两种新颖的技术，上下文指导的集成和交互推理（CGM2IR），以改善DRE。而不是简单地应用平均池，而是利用上下文来指导在加权和方式中的经验提升的集成。另外，对实体对图的相互作用推理在实体对图上执行迭代算法，以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型，即Docred，CDR和GDA。实验结果表明，我们的模型优于以前的最先进的模型。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

文档级别的关系提取旨在提取文档中实体之间的关系。与其句子级的对应物相比，文档级关系提取需要对多个句子进行推断才能提取复杂的关系三元组。先前的研究通常通过有关提及级别或实体级文档编写的信息传播来完成推理，而与关系之间的相关性无关。在本文中，我们提出了一个基于掩盖图像重建网络（DRE-MIR）的新型文档级关系提取模型，该模型将推断模型为掩盖的图像重建问题，以捕获关系之间的相关性。具体来说，我们首先利用编码器模块来获取实体的功能，并根据功能构建实体对矩阵。之后，我们将实体对矩阵视为图像，然后随机掩盖它并通过推理模块恢复它以捕获关系之间的相关性。我们在三个公共文档级关系提取数据集（即Docred，CDR和GDA）上评估了我们的模型。实验结果表明，我们的模型在这三个数据集上实现了最先进的性能，并且在推理过程中对噪声具有出色的鲁棒性。

我们提出了弗雷多（Fredo），几张文档级别的关系提取（FSDLRE）基准。与基于句子级别的关系提取语料库建立的现有基准相反，我们认为文档级的语料库提供了更多的现实主义，尤其是关于无原始的（nota）分布。因此，我们建议一组FSDLRE任务，并基于两个现有的监督学习数据集（DOCRED和SCIERC）构建基准测试。我们将最先进的句子级方法MNAV调整为文档级别，并进一步开发它以改善域的适应性。我们发现FSDLRE是一个充满挑战的环境，具有有趣的新特征，例如从支持集中进行nota实例的能力。数据，代码和训练的模型可在线获得（https://github.com/nicpopovic/fredo）。

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

我们展示了一个新的开源和可扩展知识提取工具包，称为Deepke（基于深度学习的知识提取），支持标准完全监督，低资源少拍摄和文档级方案。 Deepke实现了各种信息提取任务，包括命名实体识别，关系提取和属性提取。使用统一的框架，DeePke允许开发人员和研究人员根据其要求，自定义数据集和模型以从非结构化文本中提取信息。具体而言，DeePke不仅为不同的任务和场景提供了各种功能模块和模型实现，而且还通过一致的框架组织所有组件以维持足够的模块化和可扩展性。此外，我们在\ URL {http://deepke.zjukg.cn/}中介绍一个在线平台，用于实时提取各种任务。 Deepke已经配备了Google Colab教程和初学者的综合文件。我们用演示视频发布\ url {https://github.com/zjunlp/deepke}源代码。

我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。

In recent years, there is a surge of generation-based information extraction work, which allows a more direct use of pre-trained language models and efficiently captures output dependencies. However, previous generative methods using lexical representation do not naturally fit document-level relation extraction (DocRE) where there are multiple entities and relational facts. In this paper, we investigate the root cause of the underwhelming performance of the existing generative DocRE models and discover that the culprit is the inadequacy of the training paradigm, instead of the capacities of the models. We propose to generate a symbolic and ordered sequence from the relation matrix which is deterministic and easier for model to learn. Moreover, we design a parallel row generation method to process overlong target sequences. Besides, we introduce several negative sampling strategies to improve the performance with balanced signals. Experimental results on four datasets show that our proposed method can improve the performance of the generative DocRE models. We have released our code at https://github.com/ayyyq/DORE.

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

Relation extraction (RE), which has relied on structurally annotated corpora for model training, has been particularly challenging in low-resource scenarios and domains. Recent literature has tackled low-resource RE by self-supervised learning, where the solution involves pretraining the relation embedding by RE-based objective and finetuning on labeled data by classification-based objective. However, a critical challenge to this approach is the gap in objectives, which prevents the RE model from fully utilizing the knowledge in pretrained representations. In this paper, we aim at bridging the gap and propose to pretrain and finetune the RE model using consistent objectives of contrastive learning. Since in this kind of representation learning paradigm, one relation may easily form multiple clusters in the representation space, we further propose a multi-center contrastive loss that allows one relation to form multiple clusters to better align with pretraining. Experiments on two document-level RE datasets, BioRED and Re-DocRED, demonstrate the effectiveness of our method. Particularly, when using 1% end-task training data, our method outperforms PLM-based RE classifier by 10.5% and 5.8% on the two datasets, respectively.

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

作为人类认知的重要组成部分，造成效果关系频繁出现在文本中，从文本策划原因关系有助于建立预测任务的因果网络。现有的因果关系提取技术包括基于知识的，统计机器学习（ML）和基于深度学习的方法。每种方法都具有其优点和缺点。例如，基于知识的方法是可以理解的，但需要广泛的手动域知识并具有较差的跨域适用性。由于自然语言处理（NLP）工具包，统计机器学习方法更加自动化。但是，功能工程是劳动密集型的，工具包可能导致错误传播。在过去的几年里，由于其强大的代表学习能力和计算资源的快速增加，深入学习技术吸引了NLP研究人员的大量关注。它们的局限包括高计算成本和缺乏足够的注释培训数据。在本文中，我们对因果关系提取进行了综合调查。我们最初介绍了因果关系提取中存在的主要形式：显式的内部管制因果关系，隐含因果关系和间情态因果关系。接下来，我们列出了代理关系提取的基准数据集和建模评估方法。然后，我们介绍了三种技术的结构化概述了与他们的代表系统。最后，我们突出了潜在的方向存在现有的开放挑战。

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

三重提取是自然语言处理和知识图构建信息提取的重要任务。在本文中，我们重新审视了序列生成的端到端三重提取任务。由于生成三重提取可能难以捕获长期依赖性并产生不忠的三元组，因此我们引入了一种新型模型，即与生成变压器的对比度三重提取。具体而言，我们为基于编码器的生成引入了一个共享的变压器模块。为了产生忠实的结果，我们提出了一个新颖的三胞胎对比训练对象。此外，我们引入了两种机制，以进一步提高模型性能（即，批处理动态注意力掩盖和三个方面的校准）。在三个数据集（即NYT，WebNLG和MIE）上进行的实验结果表明，我们的方法比基线的方法更好。

句子级别的关系提取（RE）旨在确定句子中两个实体之间的关系。许多努力都致力于这个问题，而最佳性能方法仍然远非完美。在本文中，我们重新审视了影响现有RE模型的性能的两个问题，即实体表示和嘈杂或定义不明的标签。我们的改进的重新基线与带有键入标记的实体表示形式合并，在Tacred上获得了74.6％的F1，显着胜过以前的SOTA方法。此外，提出的新基线在精致的重新鉴定数据集上达到了91.1％的F1，这表明审计的语言模型（PLMS）在此任务上实现了高性能。我们将代码发布给社区以进行未来的研究。

Document-level relation extraction (DocRE) aims to identify semantic labels among entities within a single document. One major challenge of DocRE is to dig decisive details regarding a specific entity pair from long text. However, in many cases, only a fraction of text carries required information, even in the manually labeled supporting evidence. To better capture and exploit instructive information, we propose a novel expLicit syntAx Refinement and Subsentence mOdeliNg based framework (LARSON). By introducing extra syntactic information, LARSON can model subsentences of arbitrary granularity and efficiently screen instructive ones. Moreover, we incorporate refined syntax into text representations which further improves the performance of LARSON. Experimental results on three benchmark datasets (DocRED, CDR, and GDA) demonstrate that LARSON significantly outperforms existing methods.

认识到没有培训实例的看不见的关系是现实世界中的一个具有挑战性的任务。在本文中，我们提出了一种基于提示的模型，具有语义知识增强（ZS-SKA），以识别零拍摄设置下的看不见的关系。在新的单词级别句子翻译规则之后，我们从带有所看到的关系的情况生成增强的实例。我们根据外部知识图设计提示，以将从所见关系中学到的语义知识信息集成。我们在提示模板中使用实际标签集，而是构造加权虚拟标签单词。通过生成与增强实例的看见和看不见的关系的表示，并通过原型网络提示，计算距离以预测看不见的关系。在三个公共数据集上进行的广泛实验表明，ZS-SKA优于零击方案下的最先进的方法。我们的实验结果还证明了ZS-SKA的有效性和鲁棒性。

旨在从非结构化文本中提取结构信息的知识提取（KE）通常会遭受数据稀缺性和新出现的看不见类型，即低资源场景。许多低资源KE的神经方法已广泛研究并取得了令人印象深刻的表现。在本文中，我们在低资源场景中介绍了对KE的文献综述，并将现有作品分为三个范式：（1）利用更高的资源数据，（2）利用更强的模型，（3）利用数据和模型一起。此外，我们描述了有前途的应用，并概述了未来研究的一些潜在方向。我们希望我们的调查能够帮助学术和工业界更好地理解这一领域，激发更多的想法并提高更广泛的应用。