由于知识图（kgs）的不完整，旨在预测kgs中未观察到的关系的零照片链接预测（ZSLP）引起了研究人员的最新兴趣。一个常见的解决方案是将关系的文本特征（例如表面名称或文本描述）用作辅助信息，以弥合所见关系和看不见的关系之间的差距。当前方法学习文本中每个单词令牌的嵌入。这些方法缺乏稳健性，因为它们遭受了量不足（OOV）的问题。同时，建立在字符n-grams上的模型具有为OOV单词生成表达式表示的能力。因此，在本文中，我们提出了一个为零链接预测（HNZSLP）的层次N-gram框架，该框架考虑了ZSLP的关系n-gram之间的依赖项。我们的方法通过首先在表面名称上构造层次n-gram图来进行起作用，以模拟导致表面名称的N-gram的组织结构。然后，将基于变压器的革兰amtransformer呈现，以建模层次n-gram图，以构建ZSLP的关系嵌入。实验结果表明，提出的HNZSLP在两个ZSLP数据集上实现了最先进的性能。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

近年来，人们对少量知识图（FKGC）的兴趣日益增加，该图表旨在推断出关于该关系的一些参考三元组，从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示，可以反映查询和参考三元组共享的共同信息。为此，这些方法从头部和尾部实体的直接邻居中学习实体对表示，然后汇总参考实体对的表示。但是，只有从直接邻居那里学到的实体对代表可能具有较低的表现力，当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外，仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息，尤其是当它们具有多个关系时。为了解决这些问题，我们提出了一个特定于关系的上下文学习（RSCL）框架，该框架利用了三元组的图形上下文，以学习全球和本地关系特定的表示形式，以使其几乎没有相关关系。具体而言，我们首先提取每个三倍的图形上下文，这可以提供长期实体关系依赖性。为了编码提取的图形上下文，我们提出了一个分层注意网络，以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后，我们设计了一个混合注意聚合器，以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明，RSCL的表现优于最先进的FKGC方法。

知识嵌入（KE）通过将实体和关系嵌入连续的向量空间来表示知识图（kg）。现有方法主要基于结构或基于描述。基于结构的方法学习保留KGS固有结构的表示。它们不能很好地代表具有有限结构信息的现实世界中的丰富长尾实体。基于描述的方法利用文本信息和语言模型。朝这个方向迈出的先前方法几乎不能胜过基于结构的结构，并且遇到了昂贵的负面抽样和限制性描述需求等问题。在本文中，我们提出了LMKE，该LMKE采用语言模型来得出知识嵌入，旨在既富集了长尾实体的表示形式又旨在解决先前的基于描述的方法的问题。我们通过对比度学习框架制定基于描述的KE学习，以提高培训和评估的效率。实验结果表明，LMKE在链接预测和三重分类的KE基准上实现了最先进的性能，尤其是对于长尾实体。

链路预测在知识图中起着重要作用，这是许多人工智能任务的重要资源，但它通常受不完整的限制。在本文中，我们提出了知识图表BERT for Link预测，名为LP-BERT，其中包含两个培训阶段：多任务预训练和知识图微调。预训练策略不仅使用掩码语言模型（MLM）来学习上下文语料库的知识，还引入掩模实体模型（MEM）和掩模关系模型（MRM），其可以通过预测语义来学习三元组的关系信息基于实体和关系元素。结构化三维关系信息可以转换为非结构化语义信息，可以将其与上下文语料库信息一起集成到培训模型中。在微调阶段，灵感来自对比学习，我们在样本批量中进行三样式的负面取样，这大大增加了负采样的比例，同时保持训练时间几乎不变。此外，我们提出了一种基于Triples的逆关系的数据增强方法，以进一步增加样本分集。我们在WN18RR和UMLS数据集上实现最先进的结果，特别是HITS @ 10指示器从WN18RR数据集上的先前最先进的结果提高了5 \％。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

知识图（KG）嵌入寻求学习实体和关系的向量表示。传统的模型理由是图形结构，但它们遭受了图形不完整和长尾实体的问题。最近的研究使用了预训练的语言模型根据实体和关系的文本信息来学习嵌入，但它们无法利用图形结构。在论文中，我们从经验上表明，这两种特征是KG嵌入的互补性。为此，我们提出了Cole，Cole是一种用于嵌入KG的共同介绍方法，可利用图形结构和文本信息的互补性。其图形嵌入模型使用变压器从其邻域子图中重建实体的表示。其文本嵌入模型使用预训练的语言模型来从其名称，描述和关系邻居的软提示中生成实体表示。为了让两个模型相互推广，我们提出了共同依据学习，使他们可以从彼此的预测逻辑中提取选择性知识。在我们的共同阶段学习中，每个模型既是老师又是学生。基准数据集上的实验表明，这两个模型的表现优于其相关基线，而与共同介绍学习的集合方法Cole可以推进KG嵌入的最先进。

Knowledge graph (KG) link prediction aims to infer new facts based on existing facts in the KG. Recent studies have shown that using the graph neighborhood of a node via graph neural networks (GNNs) provides more useful information compared to just using the query information. Conventional GNNs for KG link prediction follow the standard message-passing paradigm on the entire KG, which leads to over-smoothing of representations and also limits their scalability. On a large scale, it becomes computationally expensive to aggregate useful information from the entire KG for inference. To address the limitations of existing KG link prediction frameworks, we propose a novel retrieve-and-read framework, which first retrieves a relevant subgraph context for the query and then jointly reasons over the context and the query with a high-capacity reader. As part of our exemplar instantiation for the new framework, we propose a novel Transformer-based GNN as the reader, which incorporates graph-based attention structure and cross-attention between query and context for deep fusion. This design enables the model to focus on salient context information relevant to the query. Empirical results on two standard KG link prediction datasets demonstrate the competitive performance of the proposed method.

知识图，例如Wikidata，包括结构和文本知识，以表示知识。对于图形嵌入和语言模型的两种方式中的每种方法都可以学习预测新型结构知识的模式。很少有方法与模式结合学习和推断，而这些现有的方法只能部分利用结构和文本知识的相互作用。在我们的方法中，我们以单个方式的现有强烈表示为基础，并使用超复杂代数来表示（i），（i），单模式嵌入以及（ii），不同方式之间的相互作用及其互补的知识表示手段。更具体地说，我们建议4D超复合数的二脑和四个元素表示，以整合四个模态，即结构知识图形嵌入，单词级表示（例如\ word2vec，fastText，fastText），句子级表示（句子transformer）和文档级表示（句子级别）（句子级别）（句子级表示）（句子变压器，doc2vec）。我们的统一矢量表示通过汉密尔顿和二脑产物进行标记的边缘的合理性，从而对不同模态之间的成对相互作用进行建模。对标准基准数据集的广泛实验评估显示了我们两个新模型的优越性，除了稀疏的结构知识外，还可以提高链接预测任务中的性能。

The ability of knowledge graphs to represent complex relationships at scale has led to their adoption for various needs including knowledge representation, question-answering, fraud detection, and recommendation systems. Knowledge graphs are often incomplete in the information they represent, necessitating the need for knowledge graph completion tasks, such as link and relation prediction. Pre-trained and fine-tuned language models have shown promise in these tasks although these models ignore the intrinsic information encoded in the knowledge graph, namely the entity and relation types. In this work, we propose the Knowledge Graph Language Model (KGLM) architecture, where we introduce a new entity/relation embedding layer that learns to differentiate distinctive entity and relation types, therefore allowing the model to learn the structure of the knowledge graph. In this work, we show that further pre-training the language models with this additional embedding layer using the triples extracted from the knowledge graph, followed by the standard fine-tuning phase sets a new state-of-the-art performance for the link prediction task on the benchmark datasets.

在“知识图”（kgs）的表示领域中，超级关系的事实由主要三重和几个辅助属性描述组成，这被认为比基于三重的事实更全面，更具体。但是，由于代表实体之间的隶属关系的层次结构削弱，因此，单个视图中现有的超相关KG嵌入方法受到限制。为了打破这一限制，我们提出了一个双视性超相关kg（DH-kg）结构，该结构包含实体的超相关实例视图，以及对从实体到共同模型超相关的概念的超相关本体论视图和分层信息。在本文中，我们首先定义了DH-KG上的链接预测和实体键入任务，并根据医疗数据构建了两个DH-KG数据集，即从Wikidata和HTDM中提取的JW44K-6K。此外，我们根据Gran编码器，HGNN和联合学习提出了DH-KG嵌入模型DHGE。实验结果表明，DHGE在DH-KG上的表现优于基线模型。我们还提供了该技术在高血压药物领域中应用的示例。我们的模型和数据集公开可用。

最近，链接预测问题，也称为知识图完成，已经吸引了大量的研究。即使最近的型号很少试图通过在低维度中嵌入知识图表来实现相对良好的性能，即目前最先进的模型的最佳结果是以大大提高嵌入的维度的成本赚取的。然而，这导致在巨大知识库的情况下导致过度舒服和更重要的可扩展性问题。灵感灵感来自变压器模型的变体提供的深度学习的进步，因为它的自我关注机制，在本文中，我们提出了一种基于IT的模型来解决上述限制。在我们的模型中，自我关注是将查询依赖预测应用于实体和关系的关键，并捕获它们之间的相互信息，以获得来自低维嵌入的高度富有表现力的表现。两种标准链路预测数据集，FB15K-237和WN18RR的经验结果表明，我们的模型比我们三个最近最近期的最新竞争对手实现了相当的性能或更好的性能，其维度的重大减少了76.3％平均嵌入。

知识图（kgs）因其学习单一关系事实的表示能力而获得了突出。最近，研究重点是建模超级关系的事实，这些事实超出了单一关系事实的限制，使我们能够代表更复杂和现实的信息。但是，现有的超级关系中学习表征的方法主要集中于增强从预选赛到基础三元组的沟通，同时忽略了从基本三重限制者到资格赛的信息流。这可能会导致次级预选赛表示，尤其是在提出大量预选赛时。它促使我们设计一个利用多个聚合器来学习超级关系事实的表示框架：从基本三重的角度来看，一个框架从资格符的角度来看。实验证明了我们框架对多个数据集的超相关知识图完成的有效性。此外，我们进行了一项消融研究，以验证各个组件在我们的框架中的重要性。可以在\ url {https://github.com/harryshomer/quad}找到复制我们的结果的代码。

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

知识图（kg）及其本体论的变体已被广泛用于知识表示，并且已证明在增强零拍学习（ZSL）方面非常有效。但是，利用KGS的现有ZSL方法都忽略了KGS中代表的类间关系的内在复杂性。一个典型的功能是，一类通常与不同语义方面的其他类别有关。在本文中，我们专注于增强ZSL的本体，并建议学习以本体论属性为指导的解剖本体嵌入，以捕获和利用不同方面的更细粒度的类关系。我们还贡献了一个名为dozsl的新ZSL框架，该框架包含两个新的ZSL解决方案，分别基于生成模型和图形传播模型有效地利用了分解的本体学嵌入。已经对零摄像图分类（ZS-IMGC）和零射Hot KG完成（ZS-KGC）进行了五个基准测试进行了广泛的评估。 Dozsl通常比最先进的表现更好，并且通过消融研究和案例研究证实了其组成部分。我们的代码和数据集可在https://github.com/zjukg/dozsl上找到。

Knowledge base completion (KBC) aims to predict the missing links in knowledge graphs. Previous KBC tasks and approaches mainly focus on the setting where all test entities and relations have appeared in the training set. However, there has been limited research on the zero-shot KBC settings, where we need to deal with unseen entities and relations that emerge in a constantly growing knowledge base. In this work, we systematically examine different possible scenarios of zero-shot KBC and develop a comprehensive benchmark, ZeroKBC, that covers these scenarios with diverse types of knowledge sources. Our systematic analysis reveals several missing yet important zero-shot KBC settings. Experimental results show that canonical and state-of-the-art KBC systems cannot achieve satisfactory performance on this challenging benchmark. By analyzing the strength and weaknesses of these systems on solving ZeroKBC, we further present several important observations and promising future directions.

完成知识三胞胎的任务具有广泛的下游应用程序。结构和语义信息在知识图完成中起着重要作用。与以前依靠知识图的结构或语义的方法不同，我们建议将语义共同嵌入知识三胞胎的自然语言描述及其结构信息。我们的方法通过对概率结构化损失进行微调预训练的语言模型来嵌入完成任务的知识图，其中语言模型的正向通过捕获语义和损失重建结构。我们对各种知识图基准的广泛实验证明了我们方法的最新性能。我们还表明，由于语义的更好使用，我们的方法可以显着提高低资源制度的性能。代码和数据集可在https://github.com/pkusjh/lass上找到。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.