联合医疗关系提取是指由单个模型从医学文本中提取由实体和关系组成的三元组。解决方案之一是将此任务转换为顺序标记任务。但是，在现有的作品中，以线性方式表示和标记三元组的方法失败了，而将三元组组织为图形的方法面临着大量计算工作的挑战。在本文中，受到医学文本中类似树状的关系结构的启发，我们提出了一个名为“双向树”标签（BITT）的新颖方案，将医疗关系三元组成两条两条二进制树，并将树转换为单词级别的标签序列。基于BITT方案，我们开发了一个联合关系提取模型，以预测BITT标签并进一步提取医疗三元三元。我们的模型在两个医疗数据集上的最佳基准在F1分中优于2.0 \％和2.5 \％。更重要的是，我们的BITT方案的模型还可以在其他域的三个公共数据集中获得有希望的结果。

关系提取（RE）是指在输入文本中提取关系三元组。现有的基于神经工作的系统在很大程度上依赖于手动标记的培训数据，但是仍然有很多域中不存在足够的标记数据。受到基于距离的几弹性实体识别方法的启发，我们根据序列标记的关节提取方法提出了几个弹出任务的定义，并为任务提出了一些弹出框架。此外，我们将两个实际的序列标记模型应用于我们的框架（称为少数Tplinker和几杆Bitt），并在从公共数据集构建的两个少量RE任务上实现了可靠的结果。

基于标记的关系三重提取方法最近引起了日益增长的研究。然而，大多数这些方法采用单向提取框架，首先提取所有受试者，然后基于提取的受试者同时提取物体和关系。该框架具有明显的缺陷，即对受试者的提取结果太敏感。为了克服这种缺陷，我们提出了一种基于双向提取框架的方法，该方法基于从两个互补方向提取的实体对提取三维。具体地，我们首先从两个平行方向提取所有可能的主题对象对。这两个提取方向通过共享编码器组件连接，因此从一个方向的提取特征可以流到另一个方向，反之亦然。通过这种方式，两个方向的提取可以促进和相互补充。接下来，我们通过双重模型分配每个实体对的所有可能的关系。在培训期间，我们观察到股份结构将导致融合率不一致问题，这是对绩效有害的。因此，我们提出了一个享有意识的学习机制来解决它。我们在多个基准数据集中评估所提出的模型。广泛的实验结果表明，所提出的模型非常有效，它在所有这些数据集中实现了最先进的结果。此外，实验表明，所提出的双向提取框架和股感的学习机制都具有良好的适应性，可用于改善基于标记的其他标记的方法的性能。我们工作的源代码可用于：https：//github.com/neukg/birte。

三重提取是自然语言处理和知识图构建信息提取的重要任务。在本文中，我们重新审视了序列生成的端到端三重提取任务。由于生成三重提取可能难以捕获长期依赖性并产生不忠的三元组，因此我们引入了一种新型模型，即与生成变压器的对比度三重提取。具体而言，我们为基于编码器的生成引入了一个共享的变压器模块。为了产生忠实的结果，我们提出了一个新颖的三胞胎对比训练对象。此外，我们引入了两种机制，以进一步提高模型性能（即，批处理动态注意力掩盖和三个方面的校准）。在三个数据集（即NYT，WebNLG和MIE）上进行的实验结果表明，我们的方法比基线的方法更好。

考虑到RDF三元组的集合，RDF到文本生成任务旨在生成文本描述。最先前的方法使用序列到序列模型或使用基于图形的模型来求解此任务以编码RDF三维并生成文本序列。然而，这些方法未能明确模拟RDF三元组之间的本地和全球结构信息。此外，以前的方法也面临了生成文本的低信任问题的不可忽略的问题，这严重影响了这些模型的整体性能。为了解决这些问题，我们提出了一种组合两个新的图形增强结构神经编码器的模型，共同学习输入的RDF三元组中的本地和全局结构信息。为了进一步改进文本忠诚，我们创新地根据信息提取（即）引进了强化学习（RL）奖励。我们首先使用佩带的IE模型从所生成的文本中提取三元组，并将提取的三级的正确数量视为额外的RL奖励。两个基准数据集上的实验结果表明，我们所提出的模型优于最先进的基线，额外的加强学习奖励确实有助于改善所生成的文本的忠诚度。

当实体提到可能是不连续的，命名实体识别（ner）仍然挑战。现有方法将识别过程分解为几个顺序步骤。在培训中，他们预测金色中间结果的条件，而推理依赖于前一步的模型输出，这引入了曝光偏差。为了解决这个问题，我们首先构造每个句子的段图，其中每个节点都表示段（其自己的连续实体，或者是不连续实体的一部分），并且边缘链接属于同一实体的两个节点。节点和边缘可以分别在一个阶段中产生网格标记方案，并使用名为MAC的新颖体系结构共同学习。然后，不连续的ner可以被重新重整为发现图中的最大批变并在每个集团中连接跨度的非参数过程。三个基准测试的实验表明，我们的方法优于最先进的（SOTA）结果，在F1上提高了高达3.5个百分点，并在SOTA模型上实现了5倍的加速。

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

我们提出了KPI-Bert，该系统采用新颖的实体识别方法（NER）和关系提取（RE）来提取和链接关键绩效指标（KPIS），例如来自现实世界中德国财务文件的公司的“收入”或“利息费用”。具体而言，我们引入了一种端到端可训练的体系结构，该体系结构基于来自变形金刚（BERT）的双向编码器表示，该架构将复发性神经网络（RNN）与条件标签屏蔽结合到依次标记实体之前，然后再对其关系进行分类。我们的模型还引入了一种可学习的基于RNN的合并机制，并通过明确过滤不可能的关系来结合域专家知识。我们在德国财务报告的新实用数据集上实现了更高的预测性能，表现优于几个强大的基础线，包括基于最新的跨度实体标签方法。

从非结构化网络文本中提取网络安全实体，例如攻击者和漏洞是安全分析的重要组成部分。但是，智能数据的稀疏性是由较高的频率变化产生的，并且网络安全实体名称的随机性使得当前方法在提取与安全相关的概念和实体方面很难表现良好。为此，我们提出了一种语义增强方法，该方法结合了不同的语言特征，以丰富输入令牌的表示，以通过非结构化文本检测和对网络安全名称进行分类。特别是，我们编码和汇总每个输入令牌的组成特征，形态特征和语音特征的一部分，以提高方法的鲁棒性。不仅如此，令牌从其在网络安全域中最相似的k单词获得了增强的语义信息，在该语料库中，将一个细心的模块借给了一个单词的差异，并从基于大规模的一般田野语料库的上下文线索中权衡了差异。我们已经在网络安全数据集DNRTI和MalwaretextDB上进行了实验，结果证明了该方法的有效性。

现代神经开放式系统和基准的主要缺点是，它们优先考虑萃取中的信息高于其成分的紧凑性。这严重限制了开放式提取物在许多下游任务中的有用性。如果提取是紧凑和共享成分，则可以改善提取的效用。为此，我们研究了使用基于神经的方法鉴定紧凑提取的问题。我们提出了Compactie，这是一种使用新型管道方法的开放式系统，以产生具有重叠成分的紧凑型提取物。它首先检测到提取的成分，然后将它们链接到构建提取物。我们通过处理现有基准测试获得的紧凑提取物进行训练。我们在CARB和WIEL57数据集上的实验表明，紧凑型发现比以前的系统高1.5x-2x提取物，具有高精度，在OpenIE中建立了新的最新性能。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。

Open Information Extraction (OpenIE) aims to extract relational tuples from open-domain sentences. Traditional rule-based or statistical models have been developed based on syntactic structures of sentences, identified by syntactic parsers. However, previous neural OpenIE models under-explore the useful syntactic information. In this paper, we model both constituency and dependency trees into word-level graphs, and enable neural OpenIE to learn from the syntactic structures. To better fuse heterogeneous information from both graphs, we adopt multi-view learning to capture multiple relationships from them. Finally, the finetuned constituency and dependency representations are aggregated with sentential semantic representations for tuple generation. Experiments show that both constituency and dependency information, and the multi-view learning are effective.

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

文档级关系提取（RE）旨在确定整个文档中实体之间的关系。它需要复杂的推理能力来综合各种知识，例如核心和常识。大规模知识图（kgs）包含大量现实世界事实，并可以为文档级别提供宝贵的知识。在本文中，我们提出了一个实体知识注入框架，以增强当前的文档级RE模型。具体而言，我们将核心蒸馏引入注入核心知识，并具有更一般的核心推理能力。我们还采用代表对帐来注入事实知识，并将kg表示形式汇总到统一空间中。两个基准数据集的实验验证了我们实体知识注入框架的概括，并对多个文档级RE模型的一致改进。

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

方面情绪三重态提取（Aste）旨在识别目标，他们的情感极化和意见解释句子的情绪。 Aste可以自然地分为3个原子子组织，即目标检测，意见检测和情绪分类。我们认为针对目标 - 意见对的合适的子任务组合，组成特征提取，以及子任务之间的互动将是成功的关键。然而，由于缺陷的子任务制定，子最优特征表示或缺少子任务相互作用，在“一对多”或“多对一”的情况下可能导致不存在的情绪三体，或导出不存在的情绪三元组。在本文中，我们将Aste划分为目标 - 意见联合检测和情绪分类子任务，这与人类认知符合，并且相应地利用序列编码器和表编码器来处理它们。表编码器在令牌对等级提取情绪，从而可以容易地捕获目标和意见之间的组成特征。要在子任务之间建立显式交互，我们利用表格表示来指导序列编码，并将序列功能注入到表编码器中。实验表明，我们的模型在六个受欢迎的ASTE数据集中优于最先进的方法。

来自文本的采矿因果关系是一种复杂的和至关重要的自然语言理解任务，对应于人类认知。其解决方案的现有研究可以分为两种主要类别：基于特征工程和基于神经模型的方法。在本文中，我们发现前者具有不完整的覆盖范围和固有的错误，但提供了先验知识;虽然后者利用上下文信息，但其因果推断不足。为了处理限制，我们提出了一个名为MCDN的新型因果关系检测模型，明确地模拟因果关系，而且，利用两种方法的优势。具体而言，我们采用多头自我关注在Word级别获得语义特征，并在段级别推断出来的SCRN。据我们所知，关于因果关系任务，这是第一次应用关系网络。实验结果表明：1）该方法对因果区检测进行了突出的性能; 2）进一步分析表现出MCDN的有效性和稳健性。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。