图表神经网络(GNNS)已广泛应用于推荐任务,并获得了非常吸引人的性能。然而,大多数基于GNN的推荐方法在实践中遭受数据稀疏问题。同时,预训练技术在减轻了各个领域(如自然语言处理(NLP)和计算机视觉(CV)等域中的数据稀疏而取得了巨大成功。因此,图形预培训具有扩大基于GNN的建议的数据稀疏的巨大潜力。但是,预先培训GNN,建议面临独特的挑战。例如,不同推荐任务中的用户项交互图具有不同的用户和项目集,并且它们通常存在不同的属性。因此,在NLP和CV中常用的成功机制将知识从预训练任务转移到下游任务,例如共享所学习的嵌入式或特征提取器,而不是直接适用于现有的基于GNN的推荐模型。为了解决这些挑战,我们精致地设计了一个自适应图形预训练框架,用于本地化协作滤波(适应)。它不需要传输用户/项目嵌入式,并且能够跨越不同图的共同知识和每个图形的唯一性。广泛的实验结果表明了适应的有效性和优越性。
translated by 谷歌翻译
建议中的用户项交互可以自然地将其作为用户项二分钟图。鉴于图形表示学习中图形神经网络(GNN)的成功,已提出基于GNN的C方法来推进推荐系统。这些方法通常根据学习的用户和项目嵌入式提出建议。但是,我们发现它们不会在真实建议中表现出很常见的稀疏稀疏用户项目图。因此,在这项工作中,我们介绍了一种新颖的视角,以建立基于GNN的CF方法,了解建议的框架局部图协作滤波(LGCF)。 LGCF的一个关键优势在于它不需要为每个用户和项目学习嵌入,这在稀疏方案中具有挑战性。或者,LGCF旨在将有用的CF信息编码为本地化的图表并基于这些图形提出建议。关于各种数据集的广泛实验验证了LGCF的有效性,尤其是稀疏场景。此外,经验结果表明LGCF为基于嵌入的CF模型提供了互补信息,该模型可用于提高推荐性能。
translated by 谷歌翻译
图形神经网络(GNN)已显示为与用户项目交互图建模的协作过滤(CF)的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息,以完善编码的嵌入。然而,尽管它们有效,但当前的大多数推荐模型都依赖于足够和高质量的培训数据,因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂,并且表现出偏斜的分布,这可能会导致基于GNN的模型中的次优表示性能。在本文中,我们提出了SHT,这是一种新颖的自我监视的超盖变压器框架(SHT),该框架(SHT)通过以明确的方式探索全球协作关系来增强用户表示。具体而言,我们首先赋予图形神经CF范式,以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中,提出了一个跨视图生成的自我监督学习组件,用于对用户项目交互图的数据增强,以增强推荐系统的鲁棒性。广泛的实验表明,SHT可以显着改善各种最新基线的性能。进一步的消融研究表明,我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得:https://github.com/akaxlh/sht。
translated by 谷歌翻译
Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems. Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user's (or an item's) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes. We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect.In this work, we propose to integrate the user-item interactionsmore specifically the bipartite graph structure -into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the useritem graph structure by propagating embeddings on it. This leads to the expressive modeling of high-order connectivity in useritem graph, effectively injecting the collaborative signal into the embedding process in an explicit manner. We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOP-Rec [40] and Collaborative Memory Network [5]. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF. Codes are available at https://github.com/ xiangwang1223/neural_graph_collaborative_filtering. CCS CONCEPTS• Information systems → Recommender systems. * In the version published in ACM Digital Library, we find some small bugs; the bugs do not change the comparison results and the empirical findings. In this latest version, we update and correct the experimental results (i.e., the preprocessing of Yelp2018 dataset and the ndcg metric). All updates are highlighted in footnotes.
translated by 谷歌翻译
我们研究推荐项目到偶尔群体的问题(A.K.A.冷启动群体),偶尔群体形成ad-hoc,并且有很少或没有历史互动的物品。由于偶尔群体的极端稀疏问题,偶尔与物品的互动,很难为这些偶尔群体学习高质量的嵌入。尽管图表神经网络(GNN)的最近进步包括高阶协作信号来缓解问题,但在GNN的图表卷积期间未明确考虑高阶冷启动邻居。本文提出了一个自我监督的图表学习范式,该图解范例共同列举了骨干GNN模型来重建元学习环境下的群体/用户/项目嵌入,使得它可以直接提高嵌入质量,并且可以轻松调整新偶尔群体。为了进一步减少来自冷启动邻居的影响,我们纳入了一种基于自我关注的元聚合器,以增强每个图卷积步骤的聚合能力。此外,我们添加了对比学习(CL)适配器,明确地考虑组和非组成员之间的相关性。三个公共推荐数据集的实验结果表明我们拟议模型的优势,以防止最先进的集团推荐方法。
translated by 谷歌翻译
In recent years, Graph Neural Networks (GNNs), which can naturally integrate node information and topological structure, have been demonstrated to be powerful in learning on graph data. These advantages of GNNs provide great potential to advance social recommendation since data in social recommender systems can be represented as user-user social graph and user-item graph; and learning latent factors of users and items is the key. However, building social recommender systems based on GNNs faces challenges. For example, the user-item graph encodes both interactions and their associated opinions; social relations have heterogeneous strengths; users involve in two graphs (e.g., the useruser social graph and the user-item graph). To address the three aforementioned challenges simultaneously, in this paper, we present a novel graph neural network framework (GraphRec) for social recommendations. In particular, we provide a principled approach to jointly capture interactions and opinions in the user-item graph and propose the framework GraphRec, which coherently models two graphs and heterogeneous strengths. Extensive experiments on two real-world datasets demonstrate the effectiveness of the proposed framework GraphRec.
translated by 谷歌翻译
最近,图形神经网络(GNNS)大大提高了图形分类的任务。通常,我们首先在给定的训练集中使用图形构建一个统一的GNN模型,然后使用该统一模型来预测测试集中所有看不见图的标签。然而,相同数据集中的图形通常具有显着的结构,这表明统一模型可以给定单独的图形。因此,在本文中,我们的目标是开发用于图形分类的定制图形神经网络。具体而言,我们提出了一种新颖的定制图形神经网络框架,即定制-GNN。鉴于图表样本,定制-GNN可以基于其结构为该图产生特定于样的模型。同时,所提出的框架非常一般,可以应用于许多现有图形神经网络模型。各种图形分类基准的综合实验证明了拟议框架的有效性。
translated by 谷歌翻译
冷启动问题是推荐任务的根本挑战。最近的自我监督学习(SSL)图形神经网络(GNNS)模型,PT-GNN,预先列出GNN模型以重建冷启动嵌入,并为冷启动推荐表示了很大的潜力。然而,由于过平滑的问题,PT-GNN只能捕获多达3阶关系,这不能提供许多有用的辅助信息来描绘目标冷启动用户或项目。此外,嵌入重建任务仅考虑用户和项目的子图内的相关性,同时忽略不同子图之间的相关间。为解决上述挑战,我们提出了一种基于多策略的冷启动推荐(MPT)的预训练方法,它从模型架构和借口任务的角度扩展了PT-GNN,以提高冷启动推荐性能。具体地,在模型架构方面,除了由GNN编码器捕获的用户和项目的短程依赖性之外,我们还引入变压器编码器以捕获远程依赖性。在借口任务方面,除了通过嵌入重建任务考虑用户和项目的相关性,我们还添加了嵌入对比学习任务以捕获用户和项目的相关性。我们在元学习设置下培训GNN和变压器编码,在这些借口任务下,以模拟真实的冷启动方案,使模型轻松迅速,适应新的冷启动用户和项目。三个公共推荐数据集的实验显示了对Vanilla GNN模型的提议MPT模型的优势,预先培训了用户/项目嵌入推断和推荐任务的GNN模型。
translated by 谷歌翻译
图表卷积网络(GCN)已广泛应用于推荐系统,以其在用户和项目嵌入物上的表示学习功能。然而,由于其递归消息传播机制,GCN容易受到现实世界中常见的噪声和不完整的图表。在文献中,一些工作建议在消息传播期间删除功能转换,但是使其无法有效地捕获图形结构特征。此外,它们在欧几里德空间中的用户和项目模拟了欧几里德空间中的项目,该空间已经在建模复杂的图表时具有高失真,进一步降低了捕获图形结构特征并导致次优性能的能力。为此,在本文中,我们提出了一个简单而有效的四元数图卷积网络(QGCN)推荐模型。在所提出的模型中,我们利用超复杂的四元数空间来学习用户和项目表示,并进行功能转换,以提高性能和鲁棒性。具体来说,我们首先将所有用户和项目嵌入到四元数空间中。然后,我们将eMaterNion嵌入传播层与四元数特征转换介绍以执行消息传播。最后,我们将在每层生成的嵌入物结合在一起,平均汇集策略以获得最终嵌入的推荐。在三个公共基准数据集上进行了广泛的实验表明,我们提出的QGCN模型优于大幅度的基线方法。
translated by 谷歌翻译
推荐系统预测用户在项目中的潜在兴趣,其中核心是学习用户/项目嵌入品。然而,它遭受了数据稀疏问题,跨域推荐可以缓解。但是,大多数事先有效共同学习源域和目标域模型,或者需要侧面特征。然而,由于学习的嵌入由包含偏置信息的源域主导,共同训练和侧面特征将影响目标域上的预测。受到当代艺术在图形表示学习的预训练中的启发,我们提出了一种用于跨域推荐的预先训练和微调图。我们设计了一种用于跨域推荐(PCREC)的新型预训练图神经网络,其采用了图形编码器的对比自我监督的预训练。然后,我们传输预先训练的图形编码器以初始化目标域上的节点嵌入,这有益于目标域上的单个域推荐系统的微调。实验结果表明了PCRec的优越性。详细分析验证了PCRec在传输信息中的优越性,同时避免来自源域的偏差。
translated by 谷歌翻译
异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎,从链接预测到节点分类。但是,大多数现有作品都忽略了多型节点之间的多重网络的关系异质性,而在元路径中,元素嵌入中关系的重要性不同,这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战,这项工作提出了用于异质网络嵌入的多重异质图卷积网络(MHGCN)。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外,我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中,并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明,根据所有评估指标,MHGCN与最先进的嵌入基线的优势。
translated by 谷歌翻译
在大多数现实世界中的推荐方案中,多种行为(例如,单击,添加到购物车,采购等)的多类型,这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性,因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是,不同的行为可能反映了用户偏好的不同方面,这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性,我们向多行为建议介绍了多功能学习。更具体地说,我们提出了一种新颖的粗到五个知识增强的多功能学习(CKML)框架,以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块,即粗粒兴趣提取(CIE)和细粒度的行为相关性(FBC),它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案,以在兴趣之间进一步分配每个行为。此外,我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。
translated by 谷歌翻译
许多以前的研究旨在增加具有深度神经网络技术的协同过滤,以实现更好的推荐性能。但是,大多数现有的基于深度学习的推荐系统专为建模单数类型的用户项目交互行为而设计,这几乎无法蒸馏用户和项目之间的异构关系。在实际推荐方案中,存在多重的用户行为,例如浏览和购买。由于用户的多行为模式在不同的项目上俯视,现有推荐方法不足以捕获来自用户多行为数据的异构协作信号。灵感灵感来自图形神经网络的结构化数据建模,这项工作提出了一个图形神经多行为增强建议(GNMR)框架,其明确地模拟了基于图形的消息传递体系结构下不同类型的用户项目交互之间的依赖性。 GNMR向关系聚合网络设计为模拟交互异质性,并且通过用户项交互图递归地执行相邻节点之间的嵌入传播。实体世界推荐数据集的实验表明,我们的GNMR始终如一地优于最先进的方法。源代码可在https://github.com/akaxlh/gnmr中获得。
translated by 谷歌翻译
受到计算机愿景和语言理解的深度学习的巨大成功的影响,建议的研究已经转移到发明基于神经网络的新推荐模型。近年来,我们在开发神经推荐模型方面目睹了显着进展,这概括和超越了传统的推荐模型,由于神经网络的强烈代表性。在本调查论文中,我们从建议建模与准确性目标的角度进行了系统审查,旨在总结该领域,促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用,我们将工作划分为协作过滤和信息丰富的建议:1)协作滤波,其利用用户项目交互数据的关键来源; 2)内容丰富的建议,其另外利用与用户和项目相关的侧面信息,如用户配置文件和项目知识图; 3)时间/顺序推荐,其考虑与交互相关的上下文信息,例如时间,位置和过去的交互。在为每种类型审查代表性工作后,我们终于讨论了这一领域的一些有希望的方向。
translated by 谷歌翻译
包括传统浅层模型和深图神经网络(GNN)在内的图形嵌入方法已导致有希望的应用。然而,由于其优化范式,浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足,在堆叠过多的层时很容易引起过度平滑的问题,这可能会恶化低度(长尾)项目的建议,从而限制了表现力和可伸缩性。在本文中,我们提出了一个新颖的框架SAC,即空间自动回归编码,以统一的方式解决上述问题。为了充分利用邻居接近和高级信息,我们设计了一种新型的空间自回旋范式。具体而言,我们首先随机掩盖了多跳的邻居,并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后,我们加强模型,通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码,并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余,我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。
translated by 谷歌翻译
近年来,由于图表代表学习的出色表现,图形神经网络(GNN)技术在许多真实情景中获得了相当大的兴趣,例如推荐系统和社交网络。在推荐系统中,主要挑战是从其互动中学习有效的用户/项目表示。但是,由于它们对数据集和评估度量的差异,比较使用GNNS用于推荐系统的GNN的许多出版物。此外,其中许多只提供了一个演示,以对小型数据集进行实验,这很远可在现实世界推荐系统中应用。为了解决这个问题,我们介绍了Graph4Rec,这是一个Universal Toolkit,它统一地将GNN模型培训到以下部分:图表输入,随机步行生成,自我图形生成,对生成和GNNS选择。从这个训练管道,可以通过一些配置轻松建立自己的GNN模型。此外,我们开发了一个大规模的图形引擎和参数服务器,以支持分布式GNN培训。我们进行系统和全面的实验,以比较不同GNN模型在不同规模中的若干场景中的性能。证明了广泛的实验以识别GNN的关键组分。我们还尝试弄清楚稀疏和密集的参数如何影响GNN的性能。最后,我们研究了包括负面采样,自我图形建设顺序和温暖开始策略的方法,以找到更有效和高效的GNNS在推荐系统上做法。我们的工具包基于PGL HTTPS://github.com/paddlePaddle/pgl,并且在https://github.com/paddlepaddle/pgl/tree/main/apps/graph4rec中打开代码。
translated by 谷歌翻译
近年来,多媒体推荐的兴趣日益增长,旨在预测用户是否会与具有多模式内容的项目进行交互。以前的研究侧重于建模用户项目与包含作为侧面信息的多模式特征的交互。但是,该方案并不适用于多媒体推荐。首先,只有通过高阶项 - 用户项共同发生隐含地建模协作项目 - 项目关系。我们认为这些多模式内容的潜在语义项 - 项目结构可以有利于学习更好的项目表示,并协助推荐模型全面发现候选项目。其次,以前的研究忽视了细粒度的多峰融合。虽然访问多种方式可能允许我们捕获丰富的信息,但我们认为以前的工作中的线性组合或连接的简单粗粒融合不足以完全理解内容信息和项目关系。在此结束时,我们提出了一个潜在的结构采用对比模型融合方法(微型简洁性)。具体而言,我们设计了一种新型的模态感知结构学习模块,它为每个模态学习项目项目关系。基于学习的模态感知潜在项目关系,我们执行明确地将物品关联的图形卷评进行了模当感知的项目表示。然后,我们设计一种新颖的对比方法来保险熔断多模峰特征。这些丰富的项目表示可以插入现有的协作过滤方法,以便更准确的建议。关于现实世界数据集的广泛实验证明了我们在最先进的基线上的方法的优越性。
translated by 谷歌翻译
To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.
translated by 谷歌翻译
预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式,并在建模用户偏好时忽略用户历史会话的影响,这通常会导致非个性化推荐。此外,基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项,而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题,我们提出了一种新颖的异构全球图形神经网络(HG-GNN)以以微妙的方式利用所有会话的物品过渡,以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换,我们提出了一种新的异构全局图,该图包含会话,用户项交互和全局共同发生项目的项目转换。此外,为了综合地从会话中捕获用户偏好,我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地,我们在异构全球图上设计一种新的异构图形神经网络(HGNN),以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN,我们提出了当前偏好编码器和历史偏好编码器,分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议,我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明,我们的模型优于其他最先进的方法。
translated by 谷歌翻译
标签感建议是通过标记行为预测用户个性化项目的任务。对于具有Last.FM或Movielens等标记功能的许多应用程序至关重要。最近,许多努力致力于通过图形卷积网络(GCN)改进引人注目的推荐系统(TRS),这已成为一般建议的新最新技术。但是,某些解决方案是直接从GCN继承而没有理由的,这很难缓解标签引入的稀疏性,模棱两可和冗余问题,从而增加了培训和退化建议性能的困难。在这项工作中,我们旨在简化GCN的设计,以使其更简洁。我们提出了一个新颖的标签推荐模型,名为Light Folksonomy图协作滤波(LFGCF),该模型仅包括必需的GCN组件。具体而言,LFGCF首先从用户分配标签和项目标记的用户记录中构造了人们图形。然后,我们利用汇总的简单设计来学习人们对人物学图的高级表示形式,并使用在多个层中学习的嵌入的加权总和进行信息更新。我们共享标签嵌入,以弥合用户和项目之间的信息差距。此外,提出了一个名为Transrt的正规化功能,以更好地描述用户的偏好和项目功能。对三个现实世界数据集的广泛超参数实验和消融研究表明,LFGCF使用的参数较少,并且显着优于大多数基线的Tag-Aware Top-N建议。
translated by 谷歌翻译