我们研究了数据集采样策略对推荐算法的排名性能的实际后果。通常在较大数据集的样本上进行培训和评估推荐系统。样品通常以幼稚或ad-hoc时尚服用:例如通过随机抽样数据集或通过选择具有许多交互的用户或项目。正如我们所示,常用的数据采样方案可能对算法性能产生重大后果。在此观察中,本文提出了三个主要贡献:(1)表征采样对算法性能的影响,就算法和数据集特征(例如稀疏性特征,顺序动态等); (2)设计SVP-CF,这是一种数据特定的采样策略,旨在保留采样后模型的相对性能,特别适用于长尾交互数据; (3)开发Oracle,数据Genie,它可以提出最有可能为给定数据集保留模型性能的采样方案。 Data-Genie的主要好处是它将允许推荐系统从业者快速原型并比较各种方法,同时保持对算法将保留算法性能,一旦算法在完整数据上进行了验证并部署。详细实验表明,使用数据Genie,我们可以丢弃比具有相同性能水平的采样策略更多的数据。
translated by 谷歌翻译
历史互动是推荐模型培训的默认选择,通常表现出高稀疏性,即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本,并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式,在训练过程中不可避免地会误标记一些潜在的互动,这将损害模型的保真度,阻碍模型回忆起错误标签的项目,尤其是长尾尾。在这项工作中,我们从新的不确定性的新角度研究了标签的问题,该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性,并接受了不确定性建模。为此,我们提出了一个新的不确定性不确定性建议(AUR)框架,该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论,我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力,因此AUR根据不确定性提出了建议,该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR:来自主流模型体系结构的矩阵分解(MF),LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果,尤其是在长尾项目上。
translated by 谷歌翻译
最近,在推荐系统领域中,一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此,这会导致不可再生的评估和不公平的比较。因此,我们从实践理论和实验的角度进行研究,目的是为严格的评估做出基准建议。关于理论研究,一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后,我们将它们分类为独立于模型和模型依赖性的超因子,并相应地定义和讨论了不同的严格评估模式。在实验研究中,我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库,从而进行了整体经验研究,以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下,我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准,以作为以后研究的参考。总体而言,我们的工作阐明了建议评估中的问题,为严格的评估提供了潜在的解决方案,并为进一步调查提供了基础。
translated by 谷歌翻译
为了成功推荐(SR)成功,最近的作品着重于设计有效的顺序编码器,融合侧面信息以及挖掘额外的积极的自我实施信号。在每个时间步骤中对负面项目进行采样的策略较少探索。由于用户在培训过程中的兴趣和模型更新的动态,因此考虑用户的非相互作用项目的随机抽样项目作为负面的项目可能是不明智的。结果,该模型将不准确地了解用户对项目的偏好。识别信息性负面因素是具有挑战性的,因为内容的负面项目与动态变化的兴趣和模型参数相关(并且抽样过程也应该是有效的)。为此,我们建议为SR(Genni)生成负样本(项目)。根据当前SR模型对项目的学习用户偏好,在每个时间步骤中都采样了负项目。提出了有效的实施,以进一步加速生成过程,使其可扩展到大规模推荐任务。在四个公共数据集上进行的广泛实验验证了为SR提供高质量的负样本的重要性,并证明了Genni的有效性和效率。
translated by 谷歌翻译
With information systems becoming larger scale, recommendation systems are a topic of growing interest in machine learning research and industry. Even though progress on improving model design has been rapid in research, we argue that many advances fail to translate into practice because of two limiting assumptions. First, most approaches focus on a transductive learning setting which cannot handle unseen users or items and second, many existing methods are developed for static settings that cannot incorporate new data as it becomes available. We argue that these are largely impractical assumptions on real-world platforms where new user interactions happen in real time. In this survey paper, we formalize both concepts and contextualize recommender systems work from the last six years. We then discuss why and how future work should move towards inductive learning and incremental updates for recommendation model design and evaluation. In addition, we present best practices and fundamental open challenges for future research.
translated by 谷歌翻译
In recent years, deep neural networks have yielded immense success on speech recognition, computer vision and natural language processing. However, the exploration of deep neural networks on recommender systems has received relatively less scrutiny. In this work, we strive to develop techniques based on neural networks to tackle the key problem in recommendation -collaborative filtering -on the basis of implicit feedback.Although some recent work has employed deep learning for recommendation, they primarily used it to model auxiliary information, such as textual descriptions of items and acoustic features of musics. When it comes to model the key factor in collaborative filtering -the interaction between user and item features, they still resorted to matrix factorization and applied an inner product on the latent features of users and items.By replacing the inner product with a neural architecture that can learn an arbitrary function from data, we present a general framework named NCF, short for Neural networkbased Collaborative Filtering. NCF is generic and can express and generalize matrix factorization under its framework. To supercharge NCF modelling with non-linearities, we propose to leverage a multi-layer perceptron to learn the user-item interaction function. Extensive experiments on two real-world datasets show significant improvements of our proposed NCF framework over the state-of-the-art methods. Empirical evidence shows that using deeper layers of neural networks offers better recommendation performance.
translated by 谷歌翻译
矩阵分解(MF)已广泛应用于建议系统中的协作过滤。它的贝叶斯变体可以得出用户和项目嵌入的后验分布,并且对稀疏评分更强大。但是,贝叶斯方法受到其后验参数的更新规则的限制,这是由于先验和可能性的结合。变量自动编码器(VAE)可以通过捕获后验参数和数据之间的复杂映射来解决此问题。但是,当前对合作过滤的VAE的研究仅根据明确的数据信息考虑映射,而隐含嵌入信息则被忽略了。在本文中,我们首先从两个观点(以用户为导向和面向项目的观点)得出了贝叶斯MF模型的贝叶斯MF模型的较低界限(ELBO)。根据肘部,我们提出了一个基于VAE的贝叶斯MF框架。它不仅利用数据,还利用嵌入信息来近似用户项目联合分布。正如肘部所建议的那样,近似是迭代的,用户和项目嵌入彼此的编码器的交叉反馈。更具体地说,在上一个迭代中采样的用户嵌入被馈送到项目端编码器中,以估计当前迭代处的项目嵌入的后验参数,反之亦然。该估计还可以关注交叉食品的嵌入式,以进一步利用有用的信息。然后,解码器通过当前重新采样的用户和项目嵌入方式通过矩阵分解重建数据。
translated by 谷歌翻译
推荐系统是机器学习系统的子类,它们采用复杂的信息过滤策略来减少搜索时间,并向任何特定用户建议最相关的项目。混合建议系统以不同的方式结合了多种建议策略,以从其互补的优势中受益。一些混合推荐系统已经结合了协作过滤和基于内容的方法来构建更强大的系统。在本文中,我们提出了一个混合推荐系统,该系统将基于最小二乘(ALS)的交替正方(ALS)的协作过滤与深度学习结合在一起,以增强建议性能,并克服与协作过滤方法相关的限制,尤其是关于其冷启动问题。本质上,我们使用ALS(协作过滤)的输出来影响深度神经网络(DNN)的建议,该建议结合了大数据处理框架中的特征,上下文,结构和顺序信息。我们已经进行了几项实验,以测试拟议混合体架构向潜在客户推荐智能手机的功效,并将其性能与其他开源推荐人进行比较。结果表明,所提出的系统的表现优于几个现有的混合推荐系统。
translated by 谷歌翻译
包括传统浅层模型和深图神经网络(GNN)在内的图形嵌入方法已导致有希望的应用。然而,由于其优化范式,浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足,在堆叠过多的层时很容易引起过度平滑的问题,这可能会恶化低度(长尾)项目的建议,从而限制了表现力和可伸缩性。在本文中,我们提出了一个新颖的框架SAC,即空间自动回归编码,以统一的方式解决上述问题。为了充分利用邻居接近和高级信息,我们设计了一种新型的空间自回旋范式。具体而言,我们首先随机掩盖了多跳的邻居,并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后,我们加强模型,通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码,并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余,我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。
translated by 谷歌翻译
图形神经网络(GNN)已显示为与用户项目交互图建模的协作过滤(CF)的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息,以完善编码的嵌入。然而,尽管它们有效,但当前的大多数推荐模型都依赖于足够和高质量的培训数据,因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂,并且表现出偏斜的分布,这可能会导致基于GNN的模型中的次优表示性能。在本文中,我们提出了SHT,这是一种新颖的自我监视的超盖变压器框架(SHT),该框架(SHT)通过以明确的方式探索全球协作关系来增强用户表示。具体而言,我们首先赋予图形神经CF范式,以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中,提出了一个跨视图生成的自我监督学习组件,用于对用户项目交互图的数据增强,以增强推荐系统的鲁棒性。广泛的实验表明,SHT可以显着改善各种最新基线的性能。进一步的消融研究表明,我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得:https://github.com/akaxlh/sht。
translated by 谷歌翻译
隐式反馈经常用于开发个性化的推荐服务,因为其无处不在和现实世界中的可访问性。为了有效地利用此类信息,大多数研究都采用成对排名方法对构建的培训三胞胎(用户,正面项目,负项目),并旨在区分每个用户的正面项目和负面项目。但是,这些方法中的大多数都同样对待所有训练三胞胎,这忽略了不同的正或负项目之间的微妙差异。另一方面,即使其他一些作品利用用户行为的辅助信息(例如,停留时间)来捕获这种微妙的差异,但很难获得这样的辅助信息。为了减轻上述问题,我们提出了一个名为Triplet重要性学习(TIL)的新型培训框架,该框架可以自适应地学习训练三胞胎的重要性得分。我们为重要性得分生成的两种策略设计了两种策略,并将整个过程作为双层优化,这不需要任何基于规则的设计。我们将提出的训练程序与基于图形神经网络(GNN)基于图形的推荐模型的几个矩阵分解(MF)集成在一起,证明了我们的框架的兼容性。通过使用与许多最先进方法的三个现实世界数据集进行比较,我们表明我们所提出的方法在top-k推荐方面的召回@k方面优于3-21 \%的最佳现有模型。
translated by 谷歌翻译
Graph Convolution Network (GCN) has become new state-ofthe-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are not well understood. Existing work that adapts GCN to recommendation lacks thorough ablation analyses on GCN, which is originally designed for graph classification tasks and equipped with many neural network operations. However, we empirically find that the two most common designs in GCNs -feature transformation and nonlinear activation -contribute little to the performance of collaborative filtering. Even worse, including them adds to the difficulty of training and degrades recommendation performance.In this work, we aim to simplify the design of GCN to make it more concise and appropriate for recommendation. We propose a new model named LightGCN, including only the most essential component in GCN -neighborhood aggregation -for collaborative filtering. Specifically, LightGCN learns user and item embeddings by linearly propagating them on the user-item interaction graph, and uses the weighted sum of the embeddings learned at all layers as the final embedding. Such simple, linear, and neat model is much easier to implement and train, exhibiting substantial improvements (about 16.0% relative improvement on average) over Neural Graph Collaborative Filtering (NGCF) -a state-of-the-art GCN-based recommender model -under exactly the same experimental setting. Further analyses are provided towards the rationality of the simple LightGCN from both analytical and empirical perspectives. Our implementations are available in both TensorFlow
translated by 谷歌翻译
Building a successful recommender system depends on understanding both the dimensions of people's preferences as well as their dynamics. In certain domains, such as fashion, modeling such preferences can be incredibly difficult, due to the need to simultaneously model the visual appearance of products as well as their evolution over time. The subtle semantics and non-linear dynamics of fashion evolution raise unique challenges especially considering the sparsity and large scale of the underlying datasets. In this paper we build novel models for the One-Class Collaborative Filtering setting, where our goal is to estimate users' fashion-aware personalized ranking functions based on their past feedback. To uncover the complex and evolving visual factors that people consider when evaluating products, our method combines high-level visual features extracted from a deep convolutional neural network, users' past feedback, as well as evolving trends within the community. Experimentally we evaluate our method on two large real-world datasets from Amazon.com, where we show it to outperform stateof-the-art personalized ranking measures, and also use it to visualize the high-level fashion trends across the 11-year span of our dataset.
translated by 谷歌翻译
如何从未标记的数据中采样高质量的负面实例,即负抽样,对于培训隐式协作过滤和对比度学习模型很重要。尽管以前的研究提出了一些样本信息实例的方法,但很少有用于将假阴性与无偏见的负面抽样区分开。根据我们对否定分数的订单关系分析,我们首先得出了真正的负面阴性的阶级有条件密度。接下来,我们为负分类设计了贝叶斯分类器,从中定义了一个模型 - 不合稳定后验概率估计值,即实例为真为负面作为定量负信号度量。我们还提出了一项贝叶斯最佳抽样规则,以采样高质量的负面因素。提出的贝叶斯阴性采样(BNS)算法具有线性时间复杂性。实验研究以更好的采样质量和更好的建议性能来验证BNS优于同龄人的优势。
translated by 谷歌翻译
建议中的用户项交互可以自然地将其作为用户项二分钟图。鉴于图形表示学习中图形神经网络(GNN)的成功,已提出基于GNN的C方法来推进推荐系统。这些方法通常根据学习的用户和项目嵌入式提出建议。但是,我们发现它们不会在真实建议中表现出很常见的稀疏稀疏用户项目图。因此,在这项工作中,我们介绍了一种新颖的视角,以建立基于GNN的CF方法,了解建议的框架局部图协作滤波(LGCF)。 LGCF的一个关键优势在于它不需要为每个用户和项目学习嵌入,这在稀疏方案中具有挑战性。或者,LGCF旨在将有用的CF信息编码为本地化的图表并基于这些图形提出建议。关于各种数据集的广泛实验验证了LGCF的有效性,尤其是稀疏场景。此外,经验结果表明LGCF为基于嵌入的CF模型提供了互补信息,该模型可用于提高推荐性能。
translated by 谷歌翻译
考虑到用户项目网络中幂律分布的流行率,双曲线空间最近引起了人们的关注,并在推荐系统中获得了令人印象深刻的性能。双曲线推荐的优点在于,其指数增加的能力非常适合描述幂律分布式用户项目网络,而欧几里得等效的不足。尽管如此,尚不清楚双曲模型可以有效地推荐哪些项目,哪些项目不能。为了解决上述问题,我们采用最基本的建议技术,将协作过滤作为一种媒介,以研究双曲线和欧几里得建议模型的行为。结果表明,(1)尾部在双曲线空间中比在欧几里得空间中更重点,但是仍然有足够的改进空间。 (2)头部物品在双曲线空间中受到适度的关注,这可以大大改善; (3)尽管如此,双曲线模型比欧几里得模型表现出更具竞争力的性能。在上述观察结果的驱动下,我们设计了一种新颖的学习方法,称为双曲线信息合作过滤(HICF),旨在弥补头部项目的建议有效性,同时提高尾部项目的性能。主要的想法是调整双曲线的排名学习,使其拉力和推动程序几何了解,并为学习头和尾部的学习提供信息指导。广泛的实验备份了分析结果,还显示了该方法的有效性。这项工作对于个性化的建议很有价值,因为它揭示了双曲线空间有助于建模尾部项目,这通常代表用户定制的偏好或新产品。
translated by 谷歌翻译
尽管机器学习的其他领域越来越多地自动化,但设计高性能的推荐系统仍然需要高水平的人力努力。此外,最近的工作表明,现代推荐系统算法并不总是比调整良好的基线改进。一个自然的后续问题是:“我们如何为新数据集和性能指标选择正确的算法?”在这项工作中,我们首先要通过比较85个数据集和315个指标的18算法和100组超参数的大规模研究。我们发现,最好的算法和超参数高度依赖于数据集和性能指标,但是,每种算法的性能与数据集的各种元元功能之间也存在很强的相关性。在这些发现的激励下,我们创建了Reczilla,这是一种推荐系统的元学习方法,该方法使用模型来预测新的,看不见的数据集的最佳算法和超参数。通过使用比先前的工作更多的元培训数据,Reczilla可以大大降低面对新推荐系统应用时人类参与水平。我们不仅发布了我们的代码和预处理的Reczilla模型,而且还发布了所有原始的实验结果,因此从业者可以为其所需的性能指标训练Reczilla模型:https://github.com/naszilla/reczilla。
translated by 谷歌翻译
To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.
translated by 谷歌翻译
在推荐系统中,一个普遍的挑战是冷门问题,在系统中,相互作用非常有限。为了应对这一挑战,最近,许多作品将元优化的想法介绍到建议方案中,即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数,并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识,以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是,以前的作品表明,推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能,但公平性问题在很大程度上被忽略了。在本文中,我们提出了一个名为Clover的全面的公平元学习框架,以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平,反事实公平和推荐系统中的群体公平,并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式,适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明,三叶草可以实现全面的公平性,而不会恶化整体的冷淡建议性能。
translated by 谷歌翻译
随着深度学习技术扩展到现实世界推荐任务,已经开发出许多深度神经网络的协作滤波(CF)模型基于各种神经结构,例如多层的神经架构将用户项目交互项目投影到潜伏特征空间中Perceptron,自动编码器和图形神经网络。然而,大多数现有的协作过滤系统不充分设计用于处理缺失的数据。特别是,为了在训练阶段注入负信号,这些解决方案很大程度上依赖于未观察到的用户项交互,并且简单地将它们视为负实例,这带来了推荐性能下降。为了解决问题,我们开发了一个协作反射增强的AutoEncoder网络(Cranet),它能够探索从观察到和未观察的用户项交互的可转移知识。 Cranet的网络架构由具有反射接收器网络的集成结构和信息融合自动统计器模块形成,其推荐框架具有在互动和非互动项目上编码隐式用户的成对偏好的能力。另外,基于参数正规化的捆绑重量方案旨在对两级颅骨模型进行鲁棒联合训练。我们终于在对应于两个推荐任务的四个不同基准数据集上进行了实验验证了Cranet,以表明,与各种最先进的推荐技术相比,脱叠用户项交互的负信号提高了性能。我们的源代码可在https://github.com/akaxlh/cranet上获得。
translated by 谷歌翻译