Document-level relation extraction (DocRE) aims to identify semantic labels among entities within a single document. One major challenge of DocRE is to dig decisive details regarding a specific entity pair from long text. However, in many cases, only a fraction of text carries required information, even in the manually labeled supporting evidence. To better capture and exploit instructive information, we propose a novel expLicit syntAx Refinement and Subsentence mOdeliNg based framework (LARSON). By introducing extra syntactic information, LARSON can model subsentences of arbitrary granularity and efficiently screen instructive ones. Moreover, we incorporate refined syntax into text representations which further improves the performance of LARSON. Experimental results on three benchmark datasets (DocRED, CDR, and GDA) demonstrate that LARSON significantly outperforms existing methods.

文档级关系提取（DRE）旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成，这可能是有问题的，因为库鲁弗提到对特定关系没有同样有贡献。此外，事先努力主要关注实体级的推理，而不是捕获实体对之间的全局相互作用。在本文中，我们提出了两种新颖的技术，上下文指导的集成和交互推理（CGM2IR），以改善DRE。而不是简单地应用平均池，而是利用上下文来指导在加权和方式中的经验提升的集成。另外，对实体对图的相互作用推理在实体对图上执行迭代算法，以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型，即Docred，CDR和GDA。实验结果表明，我们的模型优于以前的最先进的模型。

文档级别的关系提取旨在提取文档中实体之间的关系。与其句子级的对应物相比，文档级关系提取需要对多个句子进行推断才能提取复杂的关系三元组。先前的研究通常通过有关提及级别或实体级文档编写的信息传播来完成推理，而与关系之间的相关性无关。在本文中，我们提出了一个基于掩盖图像重建网络（DRE-MIR）的新型文档级关系提取模型，该模型将推断模型为掩盖的图像重建问题，以捕获关系之间的相关性。具体来说，我们首先利用编码器模块来获取实体的功能，并根据功能构建实体对矩阵。之后，我们将实体对矩阵视为图像，然后随机掩盖它并通过推理模块恢复它以捕获关系之间的相关性。我们在三个公共文档级关系提取数据集（即Docred，CDR和GDA）上评估了我们的模型。实验结果表明，我们的模型在这三个数据集上实现了最先进的性能，并且在推理过程中对噪声具有出色的鲁棒性。

捕获该段落中的单词中复杂语言结构和长期依赖性的能力对于话语级关系提取（DRE）任务是必不可少的。图形神经网络（GNNS）是编码依赖图的方法之一，它在先前的RE中有效地显示了。然而，对GNN的接受领域得到了相对较少的关注，这对于需要话语理解的非常长的文本的情况可能是至关重要的。在这项工作中，我们利用图形汇集的想法，并建议在DRE任务上使用汇集解凝框架。汇集分支减少了图形尺寸，使GNN能够在更少的层内获得更大的接收领域; UnoDooling分支将池化图恢复为其原始分辨率，以便可以提取实体提及的表示。我们提出子句匹配（cm），这是一个新的语言启发图形汇集方法，用于NLP任务。两个DE DATASET上的实验表明，我们的模型在需要建模长期依赖性时显着改善基线，这表明了汇集了解冻框架的有效性和我们的CM汇集方法。

我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。

Document-level relation extraction faces two overlooked challenges: long-tail problem and multi-label problem. Previous work focuses mainly on obtaining better contextual representations for entity pairs, hardly address the above challenges. In this paper, we analyze the co-occurrence correlation of relations, and introduce it into DocRE task for the first time. We argue that the correlations can not only transfer knowledge between data-rich relations and data-scarce ones to assist in the training of tailed relations, but also reflect semantic distance guiding the classifier to identify semantically close relations for multi-label entity pairs. Specifically, we use relation embedding as a medium, and propose two co-occurrence prediction sub-tasks from both coarse- and fine-grained perspectives to capture relation correlations. Finally, the learned correlation-aware embeddings are used to guide the extraction of relational facts. Substantial experiments on two popular DocRE datasets are conducted, and our method achieves superior results compared to baselines. Insightful analysis also demonstrates the potential of relation correlations to address the above challenges.

Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

文档级关系提取（RE）旨在确定整个文档中实体之间的关系。它需要复杂的推理能力来综合各种知识，例如核心和常识。大规模知识图（kgs）包含大量现实世界事实，并可以为文档级别提供宝贵的知识。在本文中，我们提出了一个实体知识注入框架，以增强当前的文档级RE模型。具体而言，我们将核心蒸馏引入注入核心知识，并具有更一般的核心推理能力。我们还采用代表对帐来注入事实知识，并将kg表示形式汇总到统一空间中。两个基准数据集的实验验证了我们实体知识注入框架的概括，并对多个文档级RE模型的一致改进。

Relation extraction (RE), which has relied on structurally annotated corpora for model training, has been particularly challenging in low-resource scenarios and domains. Recent literature has tackled low-resource RE by self-supervised learning, where the solution involves pretraining the relation embedding by RE-based objective and finetuning on labeled data by classification-based objective. However, a critical challenge to this approach is the gap in objectives, which prevents the RE model from fully utilizing the knowledge in pretrained representations. In this paper, we aim at bridging the gap and propose to pretrain and finetune the RE model using consistent objectives of contrastive learning. Since in this kind of representation learning paradigm, one relation may easily form multiple clusters in the representation space, we further propose a multi-center contrastive loss that allows one relation to form multiple clusters to better align with pretraining. Experiments on two document-level RE datasets, BioRED and Re-DocRED, demonstrate the effectiveness of our method. Particularly, when using 1% end-task training data, our method outperforms PLM-based RE classifier by 10.5% and 5.8% on the two datasets, respectively.

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

Open Information Extraction (OpenIE) aims to extract relational tuples from open-domain sentences. Traditional rule-based or statistical models have been developed based on syntactic structures of sentences, identified by syntactic parsers. However, previous neural OpenIE models under-explore the useful syntactic information. In this paper, we model both constituency and dependency trees into word-level graphs, and enable neural OpenIE to learn from the syntactic structures. To better fuse heterogeneous information from both graphs, we adopt multi-view learning to capture multiple relationships from them. Finally, the finetuned constituency and dependency representations are aggregated with sentential semantic representations for tuple generation. Experiments show that both constituency and dependency information, and the multi-view learning are effective.

在现实世界中的问题回答场景中，将表格和文本内容均结合的混合形式吸引了越来越多的关注，其中数值推理问题是最典型和最具挑战性的问题之一。现有方法通常采用编码器框架来表示混合内容并生成答案。但是，它无法捕获编码器侧数值，表格架构和文本信息之间的丰富关系。解码器使用一个简单的预定义运算符分类器，该分类器的灵活性不足以处理具有不同表达式的数值推理过程。为了解决这些问题，本文提出了一个\ textbf {re} lational \ textbf {g} raph增强\ textbf {h} ybrid table-text \ textbf {n}带有\ textbf {t textbf {t text} ree decoder（\ textbff recoder（\ textbf） {reghnt}）。它模拟了对表 - 文本混合内容的回答的数值问题，作为表达树的生成任务。此外，我们提出了一种新颖的关系图建模方法，该方法模拟了问题，表和段落之间的对齐方式。我们验证了公开可用的Table-Text混合质量质量质量标准（TAT-QA）的模型。拟议的reghnt显着胜过基线模型，并实现最新结果\脚注{我们在〜\ url {https://github.com/lfy79001/reghnt}}}〜（20222）公开发布了源代码和数据-05-05）。

基于方面的情感分析（ABSA）是一项精细的情感分析任务，旨在使特定方面的情感极性推断对齐方面和相应的情感。这是具有挑战性的，因为句子可能包含多个方面或复杂（例如，有条件，协调或逆境）的关系。最近，使用图神经网络利用依赖性语法信息是最受欢迎的趋势。尽管取得了成功，但在很大程度上依赖依赖树的方法在准确地建模方面的对准及其单词方面构成了挑战，因为依赖树可能会提供无关的关联的嘈杂信号（例如，“ conj”之间的关系“ conj”之间的关系。图2中的“伟大”和“可怕”。在本文中，为了减轻这个问题，我们提出了一个双轴法意识到的图形注意网络（BISYN-GAT+）。具体而言，bisyn-gat+完全利用句子组成树的语法信息（例如，短语分割和层次结构），以建模每个方面的情感感知环境（称为内在文章）和跨方面的情感关系（称为跨性别的情感）称为Inter-Contept）学习。四个基准数据集的实验表明，BISYN-GAT+的表现始终超过最新方法。

在过去的几十年中，知识感知的方法增强了一系列自然语言处理应用。随着收集的动力，最近在文档摘要中引起了知识，这是自然语言处理应用之一。先前的作品报告说，知识包裹的文档摘要在产生卓越的消化方面表现出色，尤其是在信息性，连贯性和事实一致性方面。本文追求对将知识嵌入文档摘要的最先进方法论进行的首次系统调查。特别是，我们提出了新的分类法，以概括文档摘要观点下的知识和知识嵌入。我们进一步探讨了如何在嵌入文档摘要模型的学习体系结构时，尤其是深度学习模型的学习架构。最后，我们讨论了这个主题和未来方向的挑战。

基于宽高的情绪分析（ABSA）是一种细粒度的情绪分析任务。为了更好地理解长期复杂的句子，并获得准确的方面的信息，这项任务通常需要语言和致辞知识。然而，大多数方法采用复杂和低效的方法来结合外部知识，例如，直接搜索图形节点。此外，尚未彻底研究外部知识和语言信息之间的互补性。为此，我们提出了一个知识图形增强网络（kgan），该网络（kgan）旨在有效地将外部知识与明确的句法和上下文信息纳入。特别是，kgan从多个不同的角度来看，即基于上下文，语法和知识的情绪表示。首先，kgan通过并行地了解上下文和句法表示，以完全提取语义功能。然后，KGAN将知识图形集成到嵌入空间中，基于该嵌入空间，基于该嵌入空间，通过注意机制进一步获得了方面特异性知识表示。最后，我们提出了一个分层融合模块，以便以本地到全局方式补充这些多视图表示。关于三个流行的ABSA基准测试的广泛实验证明了我们康复的效果和坚固性。值得注意的是，在罗伯塔的预用模型的帮助下，Kggan实现了最先进的性能的新记录。

作为人类认知的重要组成部分，造成效果关系频繁出现在文本中，从文本策划原因关系有助于建立预测任务的因果网络。现有的因果关系提取技术包括基于知识的，统计机器学习（ML）和基于深度学习的方法。每种方法都具有其优点和缺点。例如，基于知识的方法是可以理解的，但需要广泛的手动域知识并具有较差的跨域适用性。由于自然语言处理（NLP）工具包，统计机器学习方法更加自动化。但是，功能工程是劳动密集型的，工具包可能导致错误传播。在过去的几年里，由于其强大的代表学习能力和计算资源的快速增加，深入学习技术吸引了NLP研究人员的大量关注。它们的局限包括高计算成本和缺乏足够的注释培训数据。在本文中，我们对因果关系提取进行了综合调查。我们最初介绍了因果关系提取中存在的主要形式：显式的内部管制因果关系，隐含因果关系和间情态因果关系。接下来，我们列出了代理关系提取的基准数据集和建模评估方法。然后，我们介绍了三种技术的结构化概述了与他们的代表系统。最后，我们突出了潜在的方向存在现有的开放挑战。

文件级关系提取旨在识别整个文件中实体之间的关系。捕获远程依赖性的努力大量依赖于通过（图）神经网络学习的隐式强大的表示，这使得模型不太透明。为了解决这一挑战，在本文中，我们通过学习逻辑规则提出了一种新的文档级关系提取的概率模型。 Logire将逻辑规则视为潜在变量，包括两个模块：规则生成器和关系提取器。规则生成器是生成可能导致最终预测的逻辑规则，并且关系提取器基于所生成的逻辑规则输出最终预测。可以通过期望最大化（EM）算法有效地优化这两个模块。通过将逻辑规则引入神经网络，Logire可以明确地捕获远程依赖项，并享受更好的解释。经验结果表明，Logire在关系性能（1.8 F1得分）和逻辑一致性（超过3.3逻辑得分）方面显着优于几种强大的基线。我们的代码可以在https://github.com/rudongyu/logire提供。

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.