我们研究推荐项目到偶尔群体的问题（A.K.A.冷启动群体），偶尔群体形成ad-hoc，并且有很少或没有历史互动的物品。由于偶尔群体的极端稀疏问题，偶尔与物品的互动，很难为这些偶尔群体学习高质量的嵌入。尽管图表神经网络（GNN）的最近进步包括高阶协作信号来缓解问题，但在GNN的图表卷积期间未明确考虑高阶冷启动邻居。本文提出了一个自我监督的图表学习范式，该图解范例共同列举了骨干GNN模型来重建元学习环境下的群体/用户/项目嵌入，使得它可以直接提高嵌入质量，并且可以轻松调整新偶尔群体。为了进一步减少来自冷启动邻居的影响，我们纳入了一种基于自我关注的元聚合器，以增强每个图卷积步骤的聚合能力。此外，我们添加了对比学习（CL）适配器，明确地考虑组和非组成员之间的相关性。三个公共推荐数据集的实验结果表明我们拟议模型的优势，以防止最先进的集团推荐方法。

冷启动问题是推荐任务的根本挑战。最近的自我监督学习（SSL）图形神经网络（GNNS）模型，PT-GNN，预先列出GNN模型以重建冷启动嵌入，并为冷启动推荐表示了很大的潜力。然而，由于过平滑的问题，PT-GNN只能捕获多达3阶关系，这不能提供许多有用的辅助信息来描绘目标冷启动用户或项目。此外，嵌入重建任务仅考虑用户和项目的子图内的相关性，同时忽略不同子图之间的相关间。为解决上述挑战，我们提出了一种基于多策略的冷启动推荐（MPT）的预训练方法，它从模型架构和借口任务的角度扩展了PT-GNN，以提高冷启动推荐性能。具体地，在模型架构方面，除了由GNN编码器捕获的用户和项目的短程依赖性之外，我们还引入变压器编码器以捕获远程依赖性。在借口任务方面，除了通过嵌入重建任务考虑用户和项目的相关性，我们还添加了嵌入对比学习任务以捕获用户和项目的相关性。我们在元学习设置下培训GNN和变压器编码，在这些借口任务下，以模拟真实的冷启动方案，使模型轻松迅速，适应新的冷启动用户和项目。三个公共推荐数据集的实验显示了对Vanilla GNN模型的提议MPT模型的优势，预先培训了用户/项目嵌入推断和推荐任务的GNN模型。

图表神经网络（GNNS）已广泛应用于推荐任务，并获得了非常吸引人的性能。然而，大多数基于GNN的推荐方法在实践中遭受数据稀疏问题。同时，预训练技术在减轻了各个领域（如自然语言处理（NLP）和计算机视觉（CV）等域中的数据稀疏而取得了巨大成功。因此，图形预培训具有扩大基于GNN的建议的数据稀疏的巨大潜力。但是，预先培训GNN，建议面临独特的挑战。例如，不同推荐任务中的用户项交互图具有不同的用户和项目集，并且它们通常存在不同的属性。因此，在NLP和CV中常用的成功机制将知识从预训练任务转移到下游任务，例如共享所学习的嵌入式或特征提取器，而不是直接适用于现有的基于GNN的推荐模型。为了解决这些挑战，我们精致地设计了一个自适应图形预训练框架，用于本地化协作滤波（适应）。它不需要传输用户/项目嵌入式，并且能够跨越不同图的共同知识和每个图形的唯一性。广泛的实验结果表明了适应的有效性和优越性。

社会建议利用社会关系来增强建议的代表性学习。大多数社会推荐模型都将用户互动（协作领域）和社会关系（社会领域）的用户表示统一。但是，这种方法可能无法模拟用户在两个域中的异质行为模式，从而损害了用户表示的表现力。在这项工作中，为了解决这种局限性，我们为社会建议提出了一个新颖的截面对比度学习框架DCREC。更具体地说，我们建议从项目和社会域中学习分开的用户表示。此外，分离的对比度学习旨在在分散的用户表示之间进行社交建议之间的知识转移。各种现实世界数据集的全面实验证明了我们提出的模型的优势。

To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.

图形神经网络（GNN）已显示为与用户项目交互图建模的协作过滤（CF）的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息，以完善编码的嵌入。然而，尽管它们有效，但当前的大多数推荐模型都依赖于足够和高质量的培训数据，因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂，并且表现出偏斜的分布，这可能会导致基于GNN的模型中的次优表示性能。在本文中，我们提出了SHT，这是一种新颖的自我监视的超盖变压器框架（SHT），该框架（SHT）通过以明确的方式探索全球协作关系来增强用户表示。具体而言，我们首先赋予图形神经CF范式，以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中，提出了一个跨视图生成的自我监督学习组件，用于对用户项目交互图的数据增强，以增强推荐系统的鲁棒性。广泛的实验表明，SHT可以显着改善各种最新基线的性能。进一步的消融研究表明，我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得：https：//github.com/akaxlh/sht。

建议中的用户项交互可以自然地将其作为用户项二分钟图。鉴于图形表示学习中图形神经网络（GNN）的成功，已提出基于GNN的C方法来推进推荐系统。这些方法通常根据学习的用户和项目嵌入式提出建议。但是，我们发现它们不会在真实建议中表现出很常见的稀疏稀疏用户项目图。因此，在这项工作中，我们介绍了一种新颖的视角，以建立基于GNN的CF方法，了解建议的框架局部图协作滤波（LGCF）。 LGCF的一个关键优势在于它不需要为每个用户和项目学习嵌入，这在稀疏方案中具有挑战性。或者，LGCF旨在将有用的CF信息编码为本地化的图表并基于这些图形提出建议。关于各种数据集的广泛实验验证了LGCF的有效性，尤其是稀疏场景。此外，经验结果表明LGCF为基于嵌入的CF模型提供了互补信息，该模型可用于提高推荐性能。

在大多数现实世界中的推荐方案中，多种行为（例如，单击，添加到购物车，采购等）的多类型，这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性，因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是，不同的行为可能反映了用户偏好的不同方面，这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性，我们向多行为建议介绍了多功能学习。更具体地说，我们提出了一种新颖的粗到五个知识增强的多功能学习（CKML）框架，以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块，即粗粒兴趣提取（CIE）和细粒度的行为相关性（FBC），它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案，以在兴趣之间进一步分配每个行为。此外，我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。

图形神经网络（GNN）已通过隐式捕获协作效应的消息通知成功地采用了推荐系统。然而，大多数现有的推荐消息机制是直接从GNN继承的，而无需仔细检查捕获的协作效果是否会受益于用户偏好的预测。在本文中，我们首先分析了消息传播如何捕获协作效应，并提出了面向建议的拓扑指标，共同的相互作用比率（CIR），该比例（CIR）衡量了节点的特定邻居与其其余邻居之间的相互作用水平。在证明了利用邻居与高级CIR合作的好处之后，我们提出了一项推荐销售的GNN，协作意识图形卷积网络（CAGCN），它超出了1-Weisfeiler-Lehman（1-WL）测试，以区分非优质 - 图形图形。六个基准数据集的实验表明，最佳CAGCN变体的表现优于最具代表性的基于GNN的建议模型LightGCN，在Recess@20中的近10％，并且达到了80 \％的加速。我们的代码可在https://github.com/yuwvandy/cagcn上公开获取。

Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems. Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user's (or an item's) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes. We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect.In this work, we propose to integrate the user-item interactionsmore specifically the bipartite graph structure -into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the useritem graph structure by propagating embeddings on it. This leads to the expressive modeling of high-order connectivity in useritem graph, effectively injecting the collaborative signal into the embedding process in an explicit manner. We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOP-Rec [40] and Collaborative Memory Network [5]. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF. Codes are available at https://github.com/ xiangwang1223/neural_graph_collaborative_filtering. CCS CONCEPTS• Information systems → Recommender systems. * In the version published in ACM Digital Library, we find some small bugs; the bugs do not change the comparison results and the empirical findings. In this latest version, we update and correct the experimental results (i.e., the preprocessing of Yelp2018 dataset and the ndcg metric). All updates are highlighted in footnotes.

近年来，多媒体推荐的兴趣日益增长，旨在预测用户是否会与具有多模式内容的项目进行交互。以前的研究侧重于建模用户项目与包含作为侧面信息的多模式特征的交互。但是，该方案并不适用于多媒体推荐。首先，只有通过高阶项 - 用户项共同发生隐含地建模协作项目 - 项目关系。我们认为这些多模式内容的潜在语义项 - 项目结构可以有利于学习更好的项目表示，并协助推荐模型全面发现候选项目。其次，以前的研究忽视了细粒度的多峰融合。虽然访问多种方式可能允许我们捕获丰富的信息，但我们认为以前的工作中的线性组合或连接的简单粗粒融合不足以完全理解内容信息和项目关系。在此结束时，我们提出了一个潜在的结构采用对比模型融合方法（微型简洁性）。具体而言，我们设计了一种新型的模态感知结构学习模块，它为每个模态学习项目项目关系。基于学习的模态感知潜在项目关系，我们执行明确地将物品关联的图形卷评进行了模当感知的项目表示。然后，我们设计一种新颖的对比方法来保险熔断多模峰特征。这些丰富的项目表示可以插入现有的协作过滤方法，以便更准确的建议。关于现实世界数据集的广泛实验证明了我们在最先进的基线上的方法的优越性。

包括传统浅层模型和深图神经网络（GNN）在内的图形嵌入方法已导致有希望的应用。然而，由于其优化范式，浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足，在堆叠过多的层时很容易引起过度平滑的问题，这可能会恶化低度（长尾）项目的建议，从而限制了表现力和可伸缩性。在本文中，我们提出了一个新颖的框架SAC，即空间自动回归编码，以统一的方式解决上述问题。为了充分利用邻居接近和高级信息，我们设计了一种新型的空间自回旋范式。具体而言，我们首先随机掩盖了多跳的邻居，并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后，我们加强模型，通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码，并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余，我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。

为了减轻传统推荐系统（RSS）的数据稀疏和冷启动问题，将知识图（KGS）纳入补充辅助信息，最近引起了相当大的关注。然而，简单地整合了基于KG的RS模型的KGS，这不一定是提高推荐性能的保证，甚至可能削弱整体模型能力。这是因为这些KG的构建与历史用户项相互作用的集合无关;因此，这些KG的信息可能并不总是有助于推荐给所有用户。在本文中，我们提出了具有个性化推荐的协作指导的细心知识意识的图表卷积网络（CG-KGR）。 CG-KGR是一种新颖的知识意识推荐模型，通过我们提出的协作指导机制，可以实现高度和相干的KG和用户项目交互的学习。具体而言，CG-KGR首先封装与交互式信息摘要的历史相互作用。然后CG-kgr利用它作为提取kgs的信息的指导，最终提供更精确的个性化推荐。我们在两个推荐任务中对四个现实数据集进行了广泛的实验，即TOP-K推荐和点击率（CTR）预测。实验结果表明，CG-KGR模型在Top-K推荐的召回度量方面，最近最初的最先进模型明显优于1.4-27.0％。

对于许多在线平台（例如，视频共享网站，电子商务系统），学习动态用户的偏好已成为越来越重要的组成部分，以提出顺序建议。先前的工作已经做出了许多努力，以基于各种体系结构（例如，经常性的神经网络和自我注意机制）对用户交互序列进行建模项目项目过渡。最近出现的图形神经网络还用作有用的骨干模型，可在顺序推荐方案中捕获项目依赖性。尽管它们有效，但现有的方法却远远集中在具有单一相互作用类型的项目序列表示上，因此仅限于捕获用户和项目之间的动态异质关系结构（例如，页面视图，添加最佳选择，购买，购买）。为了应对这一挑战，我们设计了多行为超毛力增强的变压器框架（MBHT），以捕获短期和长期跨型行为依赖性。具体而言，多尺度变压器配备了低级别的自我注意力，可从细粒度和粗粒水平的共同编码行为感知的顺序模式。此外，我们将全局多行为依赖性纳入HyperGraph神经体系结构中，以自定义的方式捕获层次长期项目相关性。实验结果证明了我们MBHT在不同环境中的各种最新推荐解决方案的优势。进一步的消融研究证明了我们的模型设计和新MBHT框架的好处的有效性。我们的实施代码在以下网址发布：https：//github.com/yuh-yang/mbht-kdd22。

Graph Convolution Network (GCN) has become new state-ofthe-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are not well understood. Existing work that adapts GCN to recommendation lacks thorough ablation analyses on GCN, which is originally designed for graph classification tasks and equipped with many neural network operations. However, we empirically find that the two most common designs in GCNs -feature transformation and nonlinear activation -contribute little to the performance of collaborative filtering. Even worse, including them adds to the difficulty of training and degrades recommendation performance.In this work, we aim to simplify the design of GCN to make it more concise and appropriate for recommendation. We propose a new model named LightGCN, including only the most essential component in GCN -neighborhood aggregation -for collaborative filtering. Specifically, LightGCN learns user and item embeddings by linearly propagating them on the user-item interaction graph, and uses the weighted sum of the embeddings learned at all layers as the final embedding. Such simple, linear, and neat model is much easier to implement and train, exhibiting substantial improvements (about 16.0% relative improvement on average) over Neural Graph Collaborative Filtering (NGCF) -a state-of-the-art GCN-based recommender model -under exactly the same experimental setting. Further analyses are provided towards the rationality of the simple LightGCN from both analytical and empirical perspectives. Our implementations are available in both TensorFlow

近年来，由于图表代表学习的出色表现，图形神经网络（GNN）技术在许多真实情景中获得了相当大的兴趣，例如推荐系统和社交网络。在推荐系统中，主要挑战是从其互动中学习有效的用户/项目表示。但是，由于它们对数据集和评估度量的差异，比较使用GNNS用于推荐系统的GNN的许多出版物。此外，其中许多只提供了一个演示，以对小型数据集进行实验，这很远可在现实世界推荐系统中应用。为了解决这个问题，我们介绍了Graph4Rec，这是一个Universal Toolkit，它统一地将GNN模型培训到以下部分：图表输入，随机步行生成，自我图形生成，对生成和GNNS选择。从这个训练管道，可以通过一些配置轻松建立自己的GNN模型。此外，我们开发了一个大规模的图形引擎和参数服务器，以支持分布式GNN培训。我们进行系统和全面的实验，以比较不同GNN模型在不同规模中的若干场景中的性能。证明了广泛的实验以识别GNN的关键组分。我们还尝试弄清楚稀疏和密集的参数如何影响GNN的性能。最后，我们研究了包括负面采样，自我图形建设顺序和温暖开始策略的方法，以找到更有效和高效的GNNS在推荐系统上做法。我们的工具包基于PGL HTTPS://github.com/paddlePaddle/pgl，并且在https://github.com/paddlepaddle/pgl/tree/main/apps/graph4rec中打开代码。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

推荐系统预测用户在项目中的潜在兴趣，其中核心是学习用户/项目嵌入品。然而，它遭受了数据稀疏问题，跨域推荐可以缓解。但是，大多数事先有效共同学习源域和目标域模型，或者需要侧面特征。然而，由于学习的嵌入由包含偏置信息的源域主导，共同训练和侧面特征将影响目标域上的预测。受到当代艺术在图形表示学习的预训练中的启发，我们提出了一种用于跨域推荐的预先训练和微调图。我们设计了一种用于跨域推荐（PCREC）的新型预训练图神经网络，其采用了图形编码器的对比自我监督的预训练。然后，我们传输预先训练的图形编码器以初始化目标域上的节点嵌入，这有益于目标域上的单个域推荐系统的微调。实验结果表明了PCRec的优越性。详细分析验证了PCRec在传输信息中的优越性，同时避免来自源域的偏差。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。