本文研究了知识图的推荐系统，可以有效地解决数据稀疏和冷启动的问题。最近，已经为这个问题开发了各种方法，这通常试图根据其表示，学习用户和物品的有效陈述，然后根据其表示将项目匹配。虽然这些方法已经表现得非常有效，但它们缺乏良好的解释，这对推荐系统至关重要。在本文中，我们采取了不同的路线，并提出通过从用户到项目的有意义路径来创造建议。具体地，我们将问题作为顺序决策过程，其中目标用户被定义为初始状态，并且图中的边缘被定义为动作。我们根据现有的最先进方法塑造奖励，然后使用策略梯度方法培训策略函数。三个现实世界数据集的实验结果表明，我们的提出方法不仅提供有效的建议，还提供了良好的解释。

由于知识图表提供的丰富信息，基于路径的可解释的推荐系统的最新进展引起了更大的关注。最现有的可解释的建议仅利用静态知识图表并忽略动态用户项演进，导致不太令人信服和不准确的解释。虽然有一些作品，但意识到建模用户的时间顺序行为可以提高推荐器系统的性能和解释性，其中大多数只关注用户在路径内的顺序交互或独立和单独的推荐机制。在本文中，我们提出了一种新颖的时间元路径指导可解释的推荐利用加强学习（TMER-RL），它利用了连续项目之间的加强项 - 项目路径建模，其注意机制在动态知识图上顺序模拟动态用户项演进用于解释的建议。与使用繁重的经常性神经网络模拟时间信息的现有作品相比，我们提出了简单但有效的神经网络，以捕获用户的历史项目功能和基于路径的上下文，以表征下一个购买的项目。与最近的强大基线相比，两个真实数据集的TMMER广泛评估显示了最先进的表现。

反事实解释通过探索项目或用户的最小变化如何影响建议决策，解释了建议机制。现有的反事实解释方法面临巨大的搜索空间，其解释是基于操作的（例如，用户点击）或基于方面的（即项目描述）。我们认为，基于项目属性的解释对用户来说更直观和有说服力，因为他们通过细粒度的项目人口统计特征（例如品牌）来解释。此外，反事实解释可以通过滤除负面项目来增强建议。在这项工作中，我们提出了一种新颖的反事实解释建议（CEREC），以生成基于项目属性的反事实解释，同时提高建议性能。我们的CEREC优化了一项在强化学习环境中统一搜索候选人反事实的解释政策。我们通过使用给定知识图的丰富上下文信息使用自适应路径采样器来减少巨大的搜索空间。我们还将解释政策部署到建议模型中以增强建议。广泛的解释性和建议评估表明，CEREC提供与用户偏好一致并维持改进建议的解释的能力。我们在https://github.com/chrystalii/cerec上发布代码。

知识图表通常掺入到推荐系统，以提高整体性能。由于知识图的推广和规模，大多数知识的关系是不是目标用户项预测有帮助。要利用知识图在推荐系统捕捉目标具体知识的关系，我们需要提炼知识图，以保留有用的信息和完善的知识来捕捉用户的喜好。为了解决这个问题，我们提出了知识感知条件注意网络（KCAN），这是一个终端到终端的模式纳入知识图形转换为推荐系统。具体来说，我们使用一个知识感知注意传播方式，以获得所述节点表示第一，其捕获用户 - 项目网络和知识图表对全球语义相似度。然后给出一个目标，即用户 - 项对，我们会自动提炼出知识图到基于知识感知关注的具体目标子。随后，通过在应用子有条件的注意力聚集，我们细化知识图，以获得特定目标节点表示。因此，我们可以得到两个表示性和个性化，以实现整体性能。现实世界的数据集实验结果表明，我们对国家的最先进的算法框架的有效性。

异构信息网络（HIN）捕获各种实体之间的复杂关系，并已广泛用于提高各种数据挖掘任务的有效性，例如在推荐系统中。许多现有的文欣推荐算法利用手工制作的元路径来提取来自网络的语义信息。这些算法依赖于广泛的域知识，可以选择最佳的元路径集。对于HIN与众多节点和链路类型高度复杂的应用程序，手工制作方法的方法太繁琐，并且容易出错。为了解决这个问题，我们提出了基于加强学习的元路径选择（RMS）框架，以选择有效的元路径，并将它们包含在现有的基于元路径的推荐中。为了识别高质量的元路径，RMS列举了基于加强学习（RL）的策略网络（代理），从而从下游推荐任务的性能获取奖励。我们设计一个基于HIN的推荐模型，HREC，有效地使用元路径信息。我们将HREC与RMS进行了整合并导出了我们的推荐解决方案，RMS-HREC，它自动使用有效的元路径。实验对实时数据集表明，我们的算法通过自动捕获重要元路径，可以显着提高推荐模型的性能。

Incorporating knowledge graph as side information has become a new trend in recommendation systems. Recent studies regard items as entities of a knowledge graph and leverage graph neural networks to assist item encoding, yet by considering each relation type individually. However, relation types are often too many and sometimes one relation type involves too few entities. We argue that it is not efficient nor effective to use every relation type for item encoding. In this paper, we propose a VRKG4Rec model (Virtual Relational Knowledge Graphs for Recommendation), which explicitly distinguish the influence of different relations for item representation learning. We first construct virtual relational graphs (VRKGs) by an unsupervised learning scheme. We also design a local weighted smoothing (LWS) mechanism for encoding nodes, which iteratively updates a node embedding only depending on the embedding of its own and its neighbors, but involve no additional training parameters. We also employ the LWS mechanism on a user-item bipartite graph for user representation learning, which utilizes encodings of items with relational knowledge to help training representations of users. Experiment results on two public datasets validate that our VRKG4Rec model outperforms the state-of-the-art methods. The implementations are available at https://github.com/lulu0913/VRKG4Rec.

最近的研究表明，基于神经网络的深度推荐系统容易受到对抗性攻击的影响，攻击者可以将精心制作的虚假用户配置文件（即，伪造用户与之互动的一组项目）注入目标推荐系统，以实现恶意目的，例如促进或降低一组目标项目。由于安全性和隐私问题，在黑框设置下执行对抗性攻击更为实用，在黑框设置下，攻击者无法轻松访问目标系统的体系结构/参数和培训数据。但是，在Black-Box设置下生成高质量的假用户配置文件，对于目标系统的资源有限，这是一项挑战。为了应对这一挑战，在这项工作中，我们通过利用项目的属性信息（即项目知识图）引入了一种新颖的策略，这些信息可以公开访问并提供丰富的辅助知识来增强伪造用户配置文件的产生。更具体地说，我们提出了一项知识增强的黑框攻击框架（KGATTACK），以通过深度强化学习技术有效地学习攻击政策，其中知识图无缝集成到层次结构策略网络中，以生成伪造的用户配置文件，以表演对抗性黑色 - 黑色 - - 黑色 - 黑色 - 盒子攻击。在各种现实世界数据集上进行的全面实验证明了在黑框设置下提出的攻击框架的有效性。

神经网络嵌入的成功使人们对使用知识图进行各种机器学习和信息检索任务产生了重新兴趣。特别是，基于图形嵌入的当前建议方法已显示出最新的性能。这些方法通常编码潜在的评级模式和内容功能。与以前的工作不同，在本文中，我们建议利用从图表中提取的嵌入，这些嵌入结合了从评分中的信息和文本评论中表达的基于方面的意见。然后，我们根据亚马逊和Yelp评论在六个域上生成的图表调整和评估最新的图形嵌入技术，优于基线推荐器。我们的方法具有提供解释的优势，该解释利用了用户对推荐项目的基于方面的意见。此外，我们还提供了使用方面意见作为可视化仪表板中的解释的建议的适用性的示例，该说明允许获取有关从输入图的嵌入中获得的有关类似用户的最喜欢和最不喜欢的方面的信息。

基于强化学习（RL）的图表行走在导航代理人通过探索多跳关系路径来导航代理以通过不完整的知识图（kg）来自动完成各种推理任务。然而，现有的多跳推理方法仅在短路推理路径上工作，并且倾向于利用增加的路径长度错过目标实体。这对于实际情况中的许多理由任务是不可取的，其中连接源实体的短路不完整的公斤，因此，除非代理能够寻求更多的线索，否则推理性能急剧下降路径。为了解决上述挑战，在本文中，我们提出了一种双代理强化学习框架，该框架列举了两个代理（巨型和矮人），共同走过了公斤，并协同寻找答案。我们的方法通过将其中一个代理（巨型）进行了快速寻找群集路径并为另一代理（DWARF）提供阶段明智的提示来解决长途路径中的推理挑战。最后，对几千克推理基准测试的实验结果表明，我们的方法可以更准确，高效地搜索答案，并且优于大型余量的长路径查询的基于RL的基于RL的方法。

在本文中，我们重点介绍了在流中为在线POI推荐的动态地球人类相互作用建模的问题。具体而言，我们将式的地球人类相互作用建模问题提出到一个新颖的深层交互式增强学习框架中，在该框架中，代理是推荐的，而动作是下一个要访问的POI。我们将强化学习环境独特地建模为用户和地理空间环境（POI，POI类别，功能区）的联合组成和连接的组成。用户在流中访问POI的事件更新了用户和地理空间环境的状态；代理商认为更新的环境状态可以提出在线建议。具体而言，我们通过将所有用户，访问和地理空间上下文统一为动态知识图流来对混合用户事件流进行建模，以模拟人类，地理 - 人类，地理geo互动的建模。我们设计了一种解决过期信息挑战的退出机制，设计了一种元路径方法来应对推荐候选人的生成挑战，并开发了一种新的深层政策网络结构来应对不同的行动空间挑战，最后提出有效的对抗性优化的培训方法。最后，我们提出了广泛的实验，以证明方法的增强性能。

为了减轻传统推荐系统（RSS）的数据稀疏和冷启动问题，将知识图（KGS）纳入补充辅助信息，最近引起了相当大的关注。然而，简单地整合了基于KG的RS模型的KGS，这不一定是提高推荐性能的保证，甚至可能削弱整体模型能力。这是因为这些KG的构建与历史用户项相互作用的集合无关;因此，这些KG的信息可能并不总是有助于推荐给所有用户。在本文中，我们提出了具有个性化推荐的协作指导的细心知识意识的图表卷积网络（CG-KGR）。 CG-KGR是一种新颖的知识意识推荐模型，通过我们提出的协作指导机制，可以实现高度和相干的KG和用户项目交互的学习。具体而言，CG-KGR首先封装与交互式信息摘要的历史相互作用。然后CG-kgr利用它作为提取kgs的信息的指导，最终提供更精确的个性化推荐。我们在两个推荐任务中对四个现实数据集进行了广泛的实验，即TOP-K推荐和点击率（CTR）预测。实验结果表明，CG-KGR模型在Top-K推荐的召回度量方面，最近最初的最先进模型明显优于1.4-27.0％。

神经网络嵌入的成功使人们对使用知识图进行各种机器学习和信息检索任务产生了重新兴趣。特别是，基于图嵌入的最新建议方法显示了最先进的性能。通常，这些方法编码潜在评级模式和内容功能。与以前的工作不同，在本文中，我们建议利用从图表中提取的嵌入，这些嵌入结合了从评分中的信息和文本评论中表达的基于方面的意见。然后，我们根据亚马逊和Yelp评论在六个域上生成的图表调整和评估最新的图形嵌入技术，优于基线推荐器。此外，我们的方法具有提供解释的优势，该解释涉及用户对推荐项目的基于方面意见的报道。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

会话推荐系统（CRS）已成为一个新兴的研究主题，试图通过交互式对话进行建议，这些对话通常由发电和建议模块组成。 CRS的先前工作倾向于将更多的外部和领域特定知识纳入项目评论，以提高性能。尽管事实的收集和注释特定于外部领域的信息需要大量的人类努力并脱离了普遍性，但过多的额外知识在它们之间带来了更大的困难。因此，我们建议从上下文中充分发现和提取内部知识。我们将实体级别和上下文级别的表示形式捕获为对建议的共同模拟用户的偏好，在这种情况下，时间吸引的注意力旨在强调实体级表示中最近出现的项目。我们进一步使用预训练的巴特来初始化生成模块，以减轻数据稀缺性并增强上下文建模。除了在流行数据集（REDIAIL）上进行实验外，我们还包括一个多域数据集（OpenDialKg）来显示我们模型的有效性。两个数据集的实验都表明，我们的模型在大多数评估指标上都具有更好的性能，其外部知识较少，并且可以很好地推广到其他领域。对建议和生成任务的其他分析证明了我们在不同情况下模型的有效性。

Graph mining tasks arise from many different application domains, ranging from social networks, transportation to E-commerce, etc., which have been receiving great attention from the theoretical and algorithmic design communities in recent years, and there has been some pioneering work employing the research-rich Reinforcement Learning (RL) techniques to address graph data mining tasks. However, these graph mining methods and RL models are dispersed in different research areas, which makes it hard to compare them. In this survey, we provide a comprehensive overview of RL and graph mining methods and generalize these methods to Graph Reinforcement Learning (GRL) as a unified formulation. We further discuss the applications of GRL methods across various domains and summarize the method descriptions, open-source codes, and benchmark datasets of GRL methods. Furthermore, we propose important directions and challenges to be solved in the future. As far as we know, this is the latest work on a comprehensive survey of GRL, this work provides a global view and a learning resource for scholars. In addition, we create an online open-source for both interested scholars who want to enter this rapidly developing domain and experts who would like to compare GRL methods.

Human conversations of recommendation naturally involve the shift of interests which can align the recommendation actions and conversation process to make accurate recommendations with rich explanations. However, existing conversational recommendation systems (CRS) ignore the advantage of user interest shift in connecting recommendation and conversation, which leads to an ineffective loose coupling structure of CRS. To address this issue, by modeling the recommendation actions as recommendation paths in a knowledge graph (KG), we propose DICR (Dual Imitation for Conversational Recommendation), which designs a dual imitation to explicitly align the recommendation paths and user interest shift paths in a recommendation module and a conversation module, respectively. By exchanging alignment signals, DICR achieves bidirectional promotion between recommendation and conversation modules and generates high-quality responses with accurate recommendations and coherent explanations. Experiments demonstrate that DICR outperforms the state-of-the-art models on recommendation and conversation performance with automatic, human, and novel explainability metrics.

共享符合跨域顺序推荐（SCSR）是一项新兴而又具有挑战性的任务，在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络（RNN）和图神经网络（GNN），但他们忽略了一个事实，尽管多个用户共享一个帐户，但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，尽管现有的作品降低了较低的权重与无关紧要的相互作用，但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题，我们提出了一种基于增强学习的解决方案，即RL-ISN，该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言，要在“共享”方案中对帐户表示形式进行建模，基本推荐人首先将用户作为潜在用户的混合行为群，然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响，我们将域过滤器作为层次强化学习任务，在该任务中，使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能，我们对两个现实世界数据集进行了广泛的实验，并且实验结果证明了与最先进的建议方法相比，我们的RL-ISN方法的优越性。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

多模式知识图（MKG）不仅包括关系三重态，还包括相关的多模式辅助数据（即文本和图像），从而增强了知识的多样性。然而，自然的不完整严重阻碍了MKG的应用。为了解决该问题，现有研究采用基于嵌入的推理模型来融合多模式特征后推断缺失的知识。但是，由于以下问题，这些方法的推理性能受到限制：（1）多模式辅助特征的无效融合； （2）缺乏复杂的推理能力以及无法进行多跳的推理，该推理能够推断出更多的知识。为了克服这些问题，我们提出了一个名为MMKGR（多模式知识图推理）的新型模型。具体而言，该模型包含以下两个组件：（1）统一的栅极注意网络，旨在通过充分的注意力相互作用和降低噪声来生成有效的多模式互补特征； （2）一种补充特征感知的增强学习方法，该方法根据组件（1）中获得的特征，通过执行多跳的推理过程来预测丢失元素。实验结果表明，MMKGR在MKG推理任务中的最新方法优于最先进的方法。

跨域推荐（CDR）可以帮助客户在不同域中找到更多令人满意的项目。现有的CDR模型主要使用普通用户或映射功能作为域之间的桥梁，但在充分利用跨域的额外知识方面的探索非常有限。在本文中，我们建议将CDR的知识图（kg）纳入，这使不同领域中的项目能够共享知识。为此，我们首先从Freebase KG构建了一个新的数据集AmazonKG4CDR和Amazon评论数据的一个子集（两个域对：电影音乐，电影书籍）。这个新的数据集有助于将知识与CDR内部和跨域项目桥接。然后，我们提出了一个新的框架，KG感知的神经集体矩阵分解（KG-NEUCMF），利用KG来丰富项目表示。它首先通过图形卷积自动编码器学习项目嵌入，以从kg中的相邻和高阶邻居中捕获域特异性和域一般知识。然后，我们最大程度地提高了从kg和用户项目矩阵中学到的项目嵌入之间的共同信息，以建立跨域关系以获得更好的CDR。最后，我们对新建的数据集进行了广泛的实验，并证明我们的模型明显优于表现最佳的基线。