多模式知识图（MKG）不仅包括关系三重态，还包括相关的多模式辅助数据（即文本和图像），从而增强了知识的多样性。然而，自然的不完整严重阻碍了MKG的应用。为了解决该问题，现有研究采用基于嵌入的推理模型来融合多模式特征后推断缺失的知识。但是，由于以下问题，这些方法的推理性能受到限制：（1）多模式辅助特征的无效融合； （2）缺乏复杂的推理能力以及无法进行多跳的推理，该推理能够推断出更多的知识。为了克服这些问题，我们提出了一个名为MMKGR（多模式知识图推理）的新型模型。具体而言，该模型包含以下两个组件：（1）统一的栅极注意网络，旨在通过充分的注意力相互作用和降低噪声来生成有效的多模式互补特征； （2）一种补充特征感知的增强学习方法，该方法根据组件（1）中获得的特征，通过执行多跳的推理过程来预测丢失元素。实验结果表明，MMKGR在MKG推理任务中的最新方法优于最先进的方法。

基于强化学习（RL）的图表行走在导航代理人通过探索多跳关系路径来导航代理以通过不完整的知识图（kg）来自动完成各种推理任务。然而，现有的多跳推理方法仅在短路推理路径上工作，并且倾向于利用增加的路径长度错过目标实体。这对于实际情况中的许多理由任务是不可取的，其中连接源实体的短路不完整的公斤，因此，除非代理能够寻求更多的线索，否则推理性能急剧下降路径。为了解决上述挑战，在本文中，我们提出了一种双代理强化学习框架，该框架列举了两个代理（巨型和矮人），共同走过了公斤，并协同寻找答案。我们的方法通过将其中一个代理（巨型）进行了快速寻找群集路径并为另一代理（DWARF）提供阶段明智的提示来解决长途路径中的推理挑战。最后，对几千克推理基准测试的实验结果表明，我们的方法可以更准确，高效地搜索答案，并且优于大型余量的长路径查询的基于RL的基于RL的方法。

知识图（kgs）在许多应用程序中越来越重要的基础架构，同时患有不完整问题。 KG完成任务（KGC）自动根据不完整的KG预测缺失的事实。但是，现有方法在现实情况下表现不佳。一方面，他们的性能将巨大的降解，而kg的稀疏性越来越大。另一方面，预测的推理过程是一个不可信的黑匣子。本文提出了一个稀疏kgc的新型可解释模型，将高阶推理组合到图形卷积网络中，即HOGRN。它不仅可以提高减轻信息不足问题的概括能力，而且还可以在保持模型的有效性和效率的同时提供可解释性。有两个主要组件无缝集成以进行关节优化。首先，高阶推理成分通过捕获关系之间的内源性相关性来学习高质量的关系表示。这可以反映逻辑规则，以证明更广泛的事实是合理的。其次，更新组件的实体利用无重量的图形卷积网络（GCN）有效地模拟具有可解释性的KG结构。与常规方法不同，我们在没有其他参数的情况下在关系空间中进行实体聚合和基于设计组成的注意。轻巧的设计使HOGRN更适合稀疏设置。为了进行评估，我们进行了广泛的实验 - HOGRN对几个稀疏KG的结果表现出了令人印象深刻的改善（平均为9％的MRR增益）。进一步的消融和案例研究证明了主要成分的有效性。我们的代码将在接受后发布。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

Knowledge graph reasoning (KGR), aiming to deduce new facts from existing facts based on mined logic rules underlying knowledge graphs (KGs), has become a fast-growing research direction. It has been proven to significantly benefit the usage of KGs in many AI applications, such as question answering and recommendation systems, etc. According to the graph types, the existing KGR models can be roughly divided into three categories, \textit{i.e.,} static models, temporal models, and multi-modal models. The early works in this domain mainly focus on static KGR and tend to directly apply general knowledge graph embedding models to the reasoning task. However, these models are not suitable for more complex but practical tasks, such as inductive static KGR, temporal KGR, and multi-modal KGR. To this end, multiple works have been developed recently, but no survey papers and open-source repositories comprehensively summarize and discuss models in this important direction. To fill the gap, we conduct a survey for knowledge graph reasoning tracing from static to temporal and then to multi-modal KGs. Concretely, the preliminaries, summaries of KGR models, and typical datasets are introduced and discussed consequently. Moreover, we discuss the challenges and potential opportunities. The corresponding open-source repository is shared on GitHub: https://github.com/LIANGKE23/Awesome-Knowledge-Graph-Reasoning.

多年来，旨在从已知事实中推断出新结论的知识图（KGS）的推理主要集中在静态KG上。现实生活中知识的不断增长提出了使能够扩大KGS的归纳推理能力的必要性。现有的归纳工作假设新实体都在批处理中一次出现，这过度简化了新实体不断出现的实际情况。这项研究探讨了一个更现实，更具挑战性的环境，新实体分为多批次。我们提出了一个基于步行的归纳推理模型来解决新环境。具体而言，具有自适应关系聚合的图形卷积网络旨在使用其邻近关系编码和更新实体。为了捕捉不同的邻居的重要性，我们在聚合过程中采用了一种查询反馈注意机制。此外，为了减轻新实体的稀疏链接问题，我们提出了一种链接增强策略，以将可信赖的事实添加到KGS中。我们构建了三个新数据集，用于模拟此多批次出现方案。实验结果表明，我们所提出的模型优于基于最先进的基于嵌入的，基于步行的基于步行和基于规则的模型。

归纳链路预测（ILP）是考虑到新兴知识图（kgs）中未见实体的联系，考虑到KGS的发展性质。一个更具挑战性的场景是，新兴的kg仅由看不见的实体组成，被称为已断开新兴kgs（DEKGS）。 DEKGS的现有研究仅专注于预测封闭链接，即预测新兴KG内部的联系。到目前为止，先前的工作尚未对将进化信息从原始KG到DEKG进行进化信息。为了填补空白，我们提出了一个名为DEKG-ILP的新型模型（由以下两个组成部分组成的dekg-ilp（断开新兴知识图形的归纳链路预测）。 （1）模块CLRM（基于对比的关系特定特征特征建模）是为了提取基于全球关系的语义特征而开发的，它们在原始KGS和DEKGS之间以新颖的采样策略共享。 （2）提出了模块GSM（基于GNN的子图建模），以提取围绕KGS中每个链接的局部子图拓扑信息。在几个基准数据集上进行的广泛实验表明，与最新方法相比，DEKG-ILP具有明显的性能改进，用于封闭和桥接链路预测。源代码可在线获得。

本文研究了知识图的推荐系统，可以有效地解决数据稀疏和冷启动的问题。最近，已经为这个问题开发了各种方法，这通常试图根据其表示，学习用户和物品的有效陈述，然后根据其表示将项目匹配。虽然这些方法已经表现得非常有效，但它们缺乏良好的解释，这对推荐系统至关重要。在本文中，我们采取了不同的路线，并提出通过从用户到项目的有意义路径来创造建议。具体地，我们将问题作为顺序决策过程，其中目标用户被定义为初始状态，并且图中的边缘被定义为动作。我们根据现有的最先进方法塑造奖励，然后使用策略梯度方法培训策略函数。三个现实世界数据集的实验结果表明，我们的提出方法不仅提供有效的建议，还提供了良好的解释。

Recent years have witnessed the resurgence of knowledge engineering which is featured by the fast growth of knowledge graphs. However, most of existing knowledge graphs are represented with pure symbols, which hurts the machine's capability to understand the real world. The multi-modalization of knowledge graphs is an inevitable key step towards the realization of human-level machine intelligence. The results of this endeavor are Multi-modal Knowledge Graphs (MMKGs). In this survey on MMKGs constructed by texts and images, we first give definitions of MMKGs, followed with the preliminaries on multi-modal tasks and techniques. We then systematically review the challenges, progresses and opportunities on the construction and application of MMKGs respectively, with detailed analyses of the strength and weakness of different solutions. We finalize this survey with open research problems relevant to MMKGs.

近年来，人们对少量知识图（FKGC）的兴趣日益增加，该图表旨在推断出关于该关系的一些参考三元组，从而推断出不见了的查询三倍。现有FKGC方法的主要重点在于学习关系表示，可以反映查询和参考三元组共享的共同信息。为此，这些方法从头部和尾部实体的直接邻居中学习实体对表示，然后汇总参考实体对的表示。但是，只有从直接邻居那里学到的实体对代表可能具有较低的表现力，当参与实体稀疏直接邻居或与其他实体共享一个共同的当地社区。此外，仅仅对头部和尾部实体的语义信息进行建模不足以准确推断其关系信息，尤其是当它们具有多个关系时。为了解决这些问题，我们提出了一个特定于关系的上下文学习（RSCL）框架，该框架利用了三元组的图形上下文，以学习全球和本地关系特定的表示形式，以使其几乎没有相关关系。具体而言，我们首先提取每个三倍的图形上下文，这可以提供长期实体关系依赖性。为了编码提取的图形上下文，我们提出了一个分层注意网络，以捕获三元组的上下文信息并突出显示实体的有价值的本地邻里信息。最后，我们设计了一个混合注意聚合器，以评估全球和本地级别的查询三元组的可能性。两个公共数据集的实验结果表明，RSCL的表现优于最先进的FKGC方法。

在知识图上回答自然语言问题（KGQA）仍然是通过多跳推理理解复杂问题的巨大挑战。以前的努力通常利用与实体相关的文本语料库或知识图（kg）嵌入作为辅助信息来促进答案选择。但是，实体之间隐含的富裕语义远未得到很好的探索。本文提议通过利用关系路径的混合语义来改善多跳kgqa。具体而言，我们基于新颖的旋转和规模的实体链接链接预测框架，集成了关系路径的明确文本信息和隐式kg结构特征。在三个KGQA数据集上进行的广泛实验证明了我们方法的优势，尤其是在多跳场景中。进一步的调查证实了我们方法在问题和关系路径之间的系统协调，以识别答案实体。

多模式实体对齐旨在确定两个不同的多模式知识图之间的等效实体，这些实体由与实体相关的结构三元组和图像组成。大多数先前的作品都集中在如何利用和编码不同模式中的信息，而由于模态异质性，因此在实体对齐中利用多模式知识并不是微不足道的。在本文中，我们提出了基于多模式对比度学习的实体比对模型McLea，以获得多模式实体对准的有效联合表示。与以前的工作不同，麦克莱尔（McLea）考虑了面向任务的模式，并为每个实体表示形式建模模式间关系。特别是，麦克莱（McLea）首先从多种模式中学习多个单独的表示，然后进行对比学习以共同对模式内和模式间相互作用进行建模。广泛的实验结果表明，在受监督和无监督的设置下，MCLEA在公共数据集上优于公共数据集的最先进的基线。

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

Graph mining tasks arise from many different application domains, ranging from social networks, transportation to E-commerce, etc., which have been receiving great attention from the theoretical and algorithmic design communities in recent years, and there has been some pioneering work employing the research-rich Reinforcement Learning (RL) techniques to address graph data mining tasks. However, these graph mining methods and RL models are dispersed in different research areas, which makes it hard to compare them. In this survey, we provide a comprehensive overview of RL and graph mining methods and generalize these methods to Graph Reinforcement Learning (GRL) as a unified formulation. We further discuss the applications of GRL methods across various domains and summarize the method descriptions, open-source codes, and benchmark datasets of GRL methods. Furthermore, we propose important directions and challenges to be solved in the future. As far as we know, this is the latest work on a comprehensive survey of GRL, this work provides a global view and a learning resource for scholars. In addition, we create an online open-source for both interested scholars who want to enter this rapidly developing domain and experts who would like to compare GRL methods.

场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。

大型知识图（KGS）提供人类知识的结构化表示。然而，由于不可能包含所有知识，KGs通常不完整。基于现有事实的推理铺平了一种发现缺失事实的方法。在本文中，我们研究了了解完成缺失事实三胞胎的知识图表的推理的学习逻辑规则问题。学习逻辑规则将具有很强的解释性的模型以及概括到类似任务的能力。我们提出了一种称为MPLR的模型，可以改进现有模型以完全使用培训数据，并且考虑多目标方案。此外，考虑到缺乏评估模型表现和开采规则的质量，我们进一步提出了两名新颖的指标来帮助解决问题。实验结果证明我们的MPLR模型在五个基准数据集中优于最先进的方法。结果还证明了指标的有效性。

Image-text retrieval (ITR) is a challenging task in the field of multimodal information processing due to the semantic gap between different modalities. In recent years, researchers have made great progress in exploring the accurate alignment between image and text. However, existing works mainly focus on the fine-grained alignment between image regions and sentence fragments, which ignores the guiding significance of context background information. Actually, integrating the local fine-grained information and global context background information can provide more semantic clues for retrieval. In this paper, we propose a novel Hierarchical Graph Alignment Network (HGAN) for image-text retrieval. First, to capture the comprehensive multimodal features, we construct the feature graphs for the image and text modality respectively. Then, a multi-granularity shared space is established with a designed Multi-granularity Feature Aggregation and Rearrangement (MFAR) module, which enhances the semantic corresponding relations between the local and global information, and obtains more accurate feature representations for the image and text modalities. Finally, the ultimate image and text features are further refined through three-level similarity functions to achieve the hierarchical alignment. To justify the proposed model, we perform extensive experiments on MS-COCO and Flickr30K datasets. Experimental results show that the proposed HGAN outperforms the state-of-the-art methods on both datasets, which demonstrates the effectiveness and superiority of our model.

由于知识图表提供的丰富信息，基于路径的可解释的推荐系统的最新进展引起了更大的关注。最现有的可解释的建议仅利用静态知识图表并忽略动态用户项演进，导致不太令人信服和不准确的解释。虽然有一些作品，但意识到建模用户的时间顺序行为可以提高推荐器系统的性能和解释性，其中大多数只关注用户在路径内的顺序交互或独立和单独的推荐机制。在本文中，我们提出了一种新颖的时间元路径指导可解释的推荐利用加强学习（TMER-RL），它利用了连续项目之间的加强项 - 项目路径建模，其注意机制在动态知识图上顺序模拟动态用户项演进用于解释的建议。与使用繁重的经常性神经网络模拟时间信息的现有作品相比，我们提出了简单但有效的神经网络，以捕获用户的历史项目功能和基于路径的上下文，以表征下一个购买的项目。与最近的强大基线相比，两个真实数据集的TMMER广泛评估显示了最先进的表现。

反事实解释通过探索项目或用户的最小变化如何影响建议决策，解释了建议机制。现有的反事实解释方法面临巨大的搜索空间，其解释是基于操作的（例如，用户点击）或基于方面的（即项目描述）。我们认为，基于项目属性的解释对用户来说更直观和有说服力，因为他们通过细粒度的项目人口统计特征（例如品牌）来解释。此外，反事实解释可以通过滤除负面项目来增强建议。在这项工作中，我们提出了一种新颖的反事实解释建议（CEREC），以生成基于项目属性的反事实解释，同时提高建议性能。我们的CEREC优化了一项在强化学习环境中统一搜索候选人反事实的解释政策。我们通过使用给定知识图的丰富上下文信息使用自适应路径采样器来减少巨大的搜索空间。我们还将解释政策部署到建议模型中以增强建议。广泛的解释性和建议评估表明，CEREC提供与用户偏好一致并维持改进建议的解释的能力。我们在https://github.com/chrystalii/cerec上发布代码。

如今，知识图（KGS）一直在AI相关的应用中发挥关键作用。尽管尺寸大，但现有的公斤远非完全和全面。为了不断丰富KG，通常使用自动知识结构和更新机制，这不可避免地带来充足的噪音。然而，大多数现有知识图形嵌入（KGE）方法假设KGS中的所有三重事实都是正确的，并且在不考虑噪声和知识冲突的情况下将实体和关系投入到低维空间。这将导致kgs的低质量和不可靠的表示。为此，本文提出了一般的多任务加固学习框架，这可以大大缓解嘈杂的数据问题。在我们的框架中，我们利用强化学习来选择高质量的知识三分石，同时过滤出嘈杂的。此外，为了充分利用语义类似的关系之间的相关性，在具有多任务学习的集体方式中训练了类似关系的三重选择过程。此外，我们扩展了流行的KGE Models Transe，Distmult，与所提出的框架耦合和旋转。最后，实验验证表明，我们的方法能够增强现有的KGE模型，可以在嘈杂的情景中提供更强大的KGS表示。