Existing knowledge graph (KG) embedding models have primarily focused on static KGs. However, real-world KGs do not remain static, but rather evolve and grow in tandem with the development of KG applications. Consequently, new facts and previously unseen entities and relations continually emerge, necessitating an embedding model that can quickly learn and transfer new knowledge through growth. Motivated by this, we delve into an expanding field of KG embedding in this paper, i.e., lifelong KG embedding. We consider knowledge transfer and retention of the learning on growing snapshots of a KG without having to learn embeddings from scratch. The proposed model includes a masked KG autoencoder for embedding learning and update, with an embedding transfer strategy to inject the learned knowledge into the new entity and relation embeddings, and an embedding regularization method to avoid catastrophic forgetting. To investigate the impacts of different aspects of KG growth, we construct four datasets to evaluate the performance of lifelong KG embedding. Experimental results show that the proposed model outperforms the state-of-the-art inductive and lifelong embedding baselines.

多年来，旨在从已知事实中推断出新结论的知识图（KGS）的推理主要集中在静态KG上。现实生活中知识的不断增长提出了使能够扩大KGS的归纳推理能力的必要性。现有的归纳工作假设新实体都在批处理中一次出现，这过度简化了新实体不断出现的实际情况。这项研究探讨了一个更现实，更具挑战性的环境，新实体分为多批次。我们提出了一个基于步行的归纳推理模型来解决新环境。具体而言，具有自适应关系聚合的图形卷积网络旨在使用其邻近关系编码和更新实体。为了捕捉不同的邻居的重要性，我们在聚合过程中采用了一种查询反馈注意机制。此外，为了减轻新实体的稀疏链接问题，我们提出了一种链接增强策略，以将可信赖的事实添加到KGS中。我们构建了三个新数据集，用于模拟此多批次出现方案。实验结果表明，我们所提出的模型优于基于最先进的基于嵌入的，基于步行的基于步行和基于规则的模型。

实体对齐是知识图（kg）集成中的基本且至关重要的技术。多年来，对实体一致性的研究一直存在于KG是静态的假设，该假设忽略了现实世界KG的生长本质。随着KG的成长，先前的一致性结果面临需要重新审视的，而新实体对齐等待被发现。在本文中，我们建议并深入研究现实但未开发的设置，称为持续实体对齐。为了避免在新实体和三元组来时对整个KGS进行整个模型，我们为此任务提供了一种持续的对齐方法。它基于实体邻接，重建实体的表示，使其能够使用其现有邻居快速而有归纳的新实体生成嵌入。它选择并重播部分预先对准的实体对，仅训练一部分KG，同时提取可信赖的知识对准知识增强。由于不可避免地要包含与以前的作品不同的不可匹配的实体，因此所提出的方法采用双向最近的邻居匹配来找到新的实体对齐并更新旧的对齐。此外，我们还通过模拟多语言dbpedia的增长来构建新数据集。广泛的实验表明，我们的持续比对方法比基于再培训或归纳学习的基准更有效。

虽然知识图表包含各种实体的丰富语义知识和它们之间的关系信息，但时间知识图（TKG）进一步表明实体随时间的相互作用。为了研究如何更好地模范TKG，自动时间知识图完成（TKGC）已经获得了很大的兴趣。最近的TKGC方法旨在整合先进的深度学习技术，例如注意机制和变压器，提高模型性能。然而，我们发现与采用各种复杂模块相比，更有利的是更好地利用沿时间轴的全部时间信息。在本文中，我们为TKGC提出了一个简单但强大的图形编码器Targcn。 targcn是参数效率，它广泛利用了整个时间上下文的信息。我们在三个基准数据集执行实验。与最先进的模型相比，我们的模型可以在GDELT数据集中实现42％以上的相对改善。同时，它优于ICEWS05-15数据集的最强大的基线，参数减少约为18.5％。

知识图（kgs）在许多应用程序中越来越重要的基础架构，同时患有不完整问题。 KG完成任务（KGC）自动根据不完整的KG预测缺失的事实。但是，现有方法在现实情况下表现不佳。一方面，他们的性能将巨大的降解，而kg的稀疏性越来越大。另一方面，预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型，将高阶推理组合到图形卷积网络中，即HOGRN。它不仅可以提高减轻信息不足问题的概括能力，而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先，高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则，以证明更广泛的事实是合理的。其次，更新组件的实体利用无重量的图形卷积网络（GCN）有效地模拟具有可解释性的KG结构。与常规方法不同，我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估，我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善（平均为9％的MRR增益）。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。

近年来，人们对少量知识图（FKGC）的兴趣日益增加，该图表旨在推断出关于该关系的一些参考三元组，从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示，可以反映查询和参考三元组共享的共同信息。为此，这些方法从头部和尾部实体的直接邻居中学习实体对表示，然后汇总参考实体对的表示。但是，只有从直接邻居那里学到的实体对代表可能具有较低的表现力，当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外，仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息，尤其是当它们具有多个关系时。为了解决这些问题，我们提出了一个特定于关系的上下文学习（RSCL）框架，该框架利用了三元组的图形上下文，以学习全球和本地关系特定的表示形式，以使其几乎没有相关关系。具体而言，我们首先提取每个三倍的图形上下文，这可以提供长期实体关系依赖性。为了编码提取的图形上下文，我们提出了一个分层注意网络，以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后，我们设计了一个混合注意聚合器，以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明，RSCL的表现优于最先进的FKGC方法。

Knowledge graph (KG) link prediction aims to infer new facts based on existing facts in the KG. Recent studies have shown that using the graph neighborhood of a node via graph neural networks (GNNs) provides more useful information compared to just using the query information. Conventional GNNs for KG link prediction follow the standard message-passing paradigm on the entire KG, which leads to over-smoothing of representations and also limits their scalability. On a large scale, it becomes computationally expensive to aggregate useful information from the entire KG for inference. To address the limitations of existing KG link prediction frameworks, we propose a novel retrieve-and-read framework, which first retrieves a relevant subgraph context for the query and then jointly reasons over the context and the query with a high-capacity reader. As part of our exemplar instantiation for the new framework, we propose a novel Transformer-based GNN as the reader, which incorporates graph-based attention structure and cross-attention between query and context for deep fusion. This design enables the model to focus on salient context information relevant to the query. Empirical results on two standard KG link prediction datasets demonstrate the competitive performance of the proposed method.

本文介绍了$ \ mu \ text {kg} $，一个开源python库，用于在知识图上进行表示。 $ \ mu \ text {kg} $支持通过多源知识图（以及单个知识图），多个深度学习库（Pytorch和Tensorflow2），多个嵌入任务（链接预​​测，实体对准，实体键入，实体键入），支持联合表示。 ，以及多源链接预测）以及多个并行计算模式（多进程和多GPU计算）。它目前实现26个流行知识图嵌入模型，并支持16个基准数据集。 $ \ mu \ text {kg} $提供了具有不同任务的简化管道的嵌入技术的高级实现。它还带有高质量的文档，以易于使用。 $ \ mu \ text {kg} $比现有的知识图嵌入库更全面。它对于对各种嵌入模型和任务进行彻底比较和分析非常有用。我们表明，共同学习的嵌入可以极大地帮助知识驱动的下游任务，例如多跳知识图形答案。我们将与相关字段中的最新发展保持一致，并将其纳入$ \ mu \ text {kg} $中。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

归纳链路预测（ILP）是考虑到新兴知识图（kgs）中未见实体的联系，考虑到KGS的发展性质。一个更具挑战性的场景是，新兴的kg仅由看不见的实体组成，被称为已断开新兴kgs（DEKGS）。 DEKGS的现有研究仅专注于预测封闭链接，即预测新兴KG内部的联系。到目前为止，先前的工作尚未对将进化信息从原始KG到DEKG进行进化信息。为了填补空白，我们提出了一个名为DEKG-ILP的新型模型（由以下两个组成部分组成的dekg-ilp（断开新兴知识图形的归纳链路预测）。 （1）模块CLRM（基于对比的关系特定特征特征建模）是为了提取基于全球关系的语义特征而开发的，它们在原始KGS和DEKGS之间以新颖的采样策略共享。 （2）提出了模块GSM（基于GNN的子图建模），以提取围绕KGS中每个链接的局部子图拓扑信息。在几个基准数据集上进行的广泛实验表明，与最新方法相比，DEKG-ILP具有明显的性能改进，用于封闭和桥接链路预测。源代码可在线获得。

由于知识图（kgs）的不完整，旨在预测kgs中未观察到的关系的零照片链接预测（ZSLP）引起了研究人员的最新兴趣。一个常见的解决方案是将关系的文本特征（例如表面名称或文本描述）用作辅助信息，以弥合所见关系和看不见的关系之间的差距。当前方法学习文本中每个单词令牌的嵌入。这些方法缺乏稳健性，因为它们遭受了量不足（OOV）的问题。同时，建立在字符n-grams上的模型具有为OOV单词生成表达式表示的能力。因此，在本文中，我们提出了一个为零链接预测（HNZSLP）的层次N-gram框架，该框架考虑了ZSLP的关系n-gram之间的依赖项。我们的方法通过首先在表面名称上构造层次n-gram图来进行起作用，以模拟导致表面名称的N-gram的组织结构。然后，将基于变压器的革兰amtransformer呈现，以建模层次n-gram图，以构建ZSLP的关系嵌入。实验结果表明，提出的HNZSLP在两个ZSLP数据集上实现了最先进的性能。

知识图的归纳链路预测旨在预测未见实体之间的缺失联系，而那些未在训练阶段显示的实体。大多数以前的作品都学习实体的特定实体嵌入，这些实体无法处理看不见的实体。最近的几种方法利用封闭子图来获得归纳能力。但是，所有这些作品仅在没有完整的邻近关系的情况下考虑子图的封闭部分，这导致了忽略部分邻近关系的问题，并且很难处理稀疏的子图。为了解决这个问题，我们提出了SNRI子图邻近关系Infomax，它足够从两个方面利用完整的相邻关系：节点特征的相邻关系特征和稀疏子图的相邻关系路径。为了进一步以全球方式建模邻近关系，我们对知识图进行创新的相互信息（MI）最大化。实验表明，SNRI在归纳链路预测任务上的大幅度优于现有的最新方法，并验证以全局方式探索完整的邻近关系的有效性，以表征节点特征和在稀疏子分类上的理由。

知识图（kgs）因其学习单一关系事实的表示能力而获得了突出。最近，研究重点是建模超级关系的事实，这些事实超出了单一关系事实的限制，使我们能够代表更复杂和现实的信息。但是，现有的超级关系中学习表征的方法主要集中于增强从预选赛到基础三元组的沟通，同时忽略了从基本三重限制者到资格赛的信息流。这可能会导致次级预选赛表示，尤其是在提出大量预选赛时。它促使我们设计一个利用多个聚合器来学习超级关系事实的表示框架：从基本三重的角度来看，一个框架从资格符的角度来看。实验证明了我们框架对多个数据集的超相关知识图完成的有效性。此外，我们进行了一项消融研究，以验证各个组件在我们的框架中的重要性。可以在\ url {https://github.com/harryshomer/quad}找到复制我们的结果的代码。

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

Graph learning is a popular approach for performing machine learning on graph-structured data. It has revolutionized the machine learning ability to model graph data to address downstream tasks. Its application is wide due to the availability of graph data ranging from all types of networks to information systems. Most graph learning methods assume that the graph is static and its complete structure is known during training. This limits their applicability since they cannot be applied to problems where the underlying graph grows over time and/or new tasks emerge incrementally. Such applications require a lifelong learning approach that can learn the graph continuously and accommodate new information whilst retaining previously learned knowledge. Lifelong learning methods that enable continuous learning in regular domains like images and text cannot be directly applied to continuously evolving graph data, due to its irregular structure. As a result, graph lifelong learning is gaining attention from the research community. This survey paper provides a comprehensive overview of recent advancements in graph lifelong learning, including the categorization of existing methods, and the discussions of potential applications and open research problems.

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

实体对齐（EA）的目的是在不同的知识图（kgs）中找到指代现实世界中同一对象的实体。最近的研究结合了时间信息，以增强KGS的表示。暂时KGS（TKG）之间的EA的现有方法利用时间感知的注意机制将关系和时间信息纳入实体嵌入中。该方法通过使用时间信息优于先前的方法。但是，我们认为，由于大多数TKG具有统一的时间表示，因此不必学习kgs中的时间信息的嵌入。因此，我们提出了一个简单的图形神经网络（GNN）模型，并结合了时间信息匹配机制，该模型以更少的时间和更少的参数实现了更好的性能。此外，由于对齐种子很难在现实世界应用中标记，因此我们还提出了一种通过TKG的时间信息生成无监督比对种子的方法。公共数据集的广泛实验表明，我们的监督方法显着优于先前的方法，而无监督的方法具有竞争性能。

预训练的语言模型（PLM）在各种自然语言理解任务上取得了巨大的成功。另一方面，对PLM的简单微调对于特定于领域的任务可能是次优的，因为它们不可能涵盖所有域中的知识。尽管PLM的自适应预培训可以帮助他们获得特定于领域的知识，但需要大量的培训成本。此外，自适应预训练可能会通过造成灾难性忘记其常识来损害PLM在下游任务上的表现。为了克服PLM适应性适应性预训练的这种局限性，我们提出了一个新颖的域名适应框架，用于将PLMS创造为知识增强语言模型适应性（KALA），该框架调节了PLM的中间隐藏表示与域中的中间隐藏表示，由实体和实体和实体和实体和实体构成他们的关系事实。我们验证了Kala在问题答案中的性能，并在各个域的多个数据集上命名实体识别任务。结果表明，尽管在计算上有效，但我们的Kala在很大程度上优于适应性预训练。代码可在以下网址获得：https：//github.com/nardien/kala/。

在“知识图”（kgs）的表示领域中，超级关系的事实由主要三重和几个辅助属性描述组成，这被认为比基于三重的事实更全面，更具体。但是，由于代表实体之间的隶属关系的层次结构削弱，因此，单个视图中现有的超相关KG嵌入方法受到限制。为了打破这一限制，我们提出了一个双视性超相关kg（DH-kg）结构，该结构包含实体的超相关实例视图，以及对从实体到共同模型超相关的概念的超相关本体论视图和分层信息。在本文中，我们首先定义了DH-KG上的链接预测和实体键入任务，并根据医疗数据构建了两个DH-KG数据集，即从Wikidata和HTDM中提取的JW44K-6K。此外，我们根据Gran编码器，HGNN和联合学习提出了DH-KG嵌入模型DHGE。实验结果表明，DHGE在DH-KG上的表现优于基线模型。我们还提供了该技术在高血压药物领域中应用的示例。我们的模型和数据集公开可用。