历史互动是推荐模型培训的默认选择,通常表现出高稀疏性,即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本,并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式,在训练过程中不可避免地会误标记一些潜在的互动,这将损害模型的保真度,阻碍模型回忆起错误标签的项目,尤其是长尾尾。在这项工作中,我们从新的不确定性的新角度研究了标签的问题,该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性,并接受了不确定性建模。为此,我们提出了一个新的不确定性不确定性建议(AUR)框架,该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论,我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力,因此AUR根据不确定性提出了建议,该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR:来自主流模型体系结构的矩阵分解(MF),LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果,尤其是在长尾项目上。
translated by 谷歌翻译
推荐系统通常会从各种用户行为中学习用户兴趣,包括点击和点击后行为(例如,喜欢和喜欢)。但是,这些行为不可避免地表现出受欢迎程度的偏见,从而导致一些不公平的问题:1)对于具有相似质量,更受欢迎的物品的物品会获得更多的曝光; 2)更糟糕的是,受欢迎程度较低的流行物品可能会获得更多的曝光率。现有关于缓解流行偏见的工作会盲目消除偏见,通常忽略项目质量的影响。我们认为,不同用户行为(例如,转换率)之间的关系实际上反映了项目质量。因此,为了处理不公平的问题,我们建议通过考虑多种用户行为来减轻流行性偏见。在这项工作中,我们研究了多行为推荐中相互作用生成过程背后的因果关系。具体来说,我们发现:1)项目受欢迎程度是暴露的项目和用户的点击交互之间的混杂因素,导致第一个不公平; 2)一些隐藏的混杂因素(例如,项目生产者的声誉)影响了项目的流行和质量,导致第二次不公平。为了减轻这些混杂问题,我们提出了一个因果框架来估计因果效应,该因果效应利用后门调整以阻止混杂因素引起的后门路径。在推论阶段,我们消除了受欢迎程度的负面影响,并利用质量的良好效果进行推荐。在两个现实世界数据集上的实验验证了我们提出的框架的有效性,这在不牺牲建议准确性的情况下增强了公平性。
translated by 谷歌翻译
传统的推荐系统旨在根据观察到的群体的评级估算用户对物品的评级。与所有观察性研究一样,隐藏的混乱,这是影响物品曝光和用户评级的因素,导致估计系统偏差。因此,推荐制度研究的新趋势是否定混杂者对因果视角的影响。观察到建议中的混淆通常是在物品中共享的,因此是多原因混淆,我们将推荐模拟为多原因多结果(MCMO)推理问题。具体而言,为了解决混淆偏见,我们估计渲染项目曝光独立伯努利试验的用户特定的潜变量。生成分布由具有分解逻辑似然性的DNN参数化,并且通过变分推理估计难治性后续。控制这些因素作为替代混淆,在温和的假设下,可以消除多因素混淆所产生的偏差。此外,我们表明MCMO建模可能导致由于与高维因果空间相关的稀缺观察而导致高方差。幸运的是,我们理论上证明了作为预处理变量的推出用户特征可以大大提高样本效率并减轻过度装箱。模拟和现实世界数据集的实证研究表明,建议的深度因果额外推荐者比艺术最先进的因果推荐人员对未观察到的混乱更具稳健性。代码和数据集在https://github.com/yaochenzhu/deep-deconf发布。
translated by 谷歌翻译
考虑到用户项目网络中幂律分布的流行率,双曲线空间最近引起了人们的关注,并在推荐系统中获得了令人印象深刻的性能。双曲线推荐的优点在于,其指数增加的能力非常适合描述幂律分布式用户项目网络,而欧几里得等效的不足。尽管如此,尚不清楚双曲模型可以有效地推荐哪些项目,哪些项目不能。为了解决上述问题,我们采用最基本的建议技术,将协作过滤作为一种媒介,以研究双曲线和欧几里得建议模型的行为。结果表明,(1)尾部在双曲线空间中比在欧几里得空间中更重点,但是仍然有足够的改进空间。 (2)头部物品在双曲线空间中受到适度的关注,这可以大大改善; (3)尽管如此,双曲线模型比欧几里得模型表现出更具竞争力的性能。在上述观察结果的驱动下,我们设计了一种新颖的学习方法,称为双曲线信息合作过滤(HICF),旨在弥补头部项目的建议有效性,同时提高尾部项目的性能。主要的想法是调整双曲线的排名学习,使其拉力和推动程序几何了解,并为学习头和尾部的学习提供信息指导。广泛的实验备份了分析结果,还显示了该方法的有效性。这项工作对于个性化的建议很有价值,因为它揭示了双曲线空间有助于建模尾部项目,这通常代表用户定制的偏好或新产品。
translated by 谷歌翻译
隐式反馈已被广泛用于构建商业推荐系统。由于观察到的反馈代表用户的点击日志,因此真实相关性和观察到的反馈之间存在语义差距。更重要的是,观察到的反馈通常偏向流行项目,从而高估了流行项目的实际相关性。尽管现有的研究使用反向倾向加权(IPW)或因果推理开发了公正的学习方法,但它们仅专注于消除项目的流行偏见。在本文中,我们提出了一种新颖的无偏建议学习模型,即双边自我非偏置推荐剂(Biser),以消除推荐模型引起的项目的暴露偏见。具体而言,双方由两个关键组成部分组成:(i)自我内向倾向加权(SIPW)逐渐减轻项目的偏见而不会产生高计算成本; (ii)双边无偏学习(BU),以弥合模型预测中两个互补模型之间的差距,即基于用户和项目的自动编码器,从而减轻了SIPW的较高差异。广泛的实验表明,Biser在几个数据集上始终优于最先进的无偏建议型号,包括外套,Yahoo! R3,Movielens和Citeulike。
translated by 谷歌翻译
隐式反馈的无处不是建立推荐系统不可或缺的反馈。但是,它实际上并没有反映用户的实际满意度。例如,在电子商务中,一大部分点击不转化为购买,许多购买结束了否定审查。因此,考虑隐性反馈中的不可避免的噪声是重要的。但是,建议的一点工作已经考虑了隐性反馈的嘈杂性。在这项工作中,我们探讨了向建议学习的识别隐含反馈的中心主题,包括培训和推论。通过观察正常推荐培训的过程,我们发现嘈杂的反馈通常在早期阶段中具有大的损失值。灵感来自这一观察,我们提出了一种新的培训策略,称为自适应去噪培训(ADT),其自适应地修剪了两个范式的嘈杂相互作用(即截断损失和重新减免)。此外,我们考虑额外的反馈(例如,评级)作为辅助信号,提出三种策略,将额外的反馈纳入ADT:FineTuning,预热训练和碰撞推断。我们在广泛使用的二进制交叉熵丢失上实例化了两个范式,并在三个代表推荐模型上测试它们。在三个基准测试中的广泛实验表明ADT在不使用额外反馈的情况下显着提高了正常培训的建议质量。此外,提出的三种策略用于使用额外反馈的主要原因是增强ADT的去噪能力。
translated by 谷歌翻译
隐式反馈经常用于开发个性化的推荐服务,因为其无处不在和现实世界中的可访问性。为了有效地利用此类信息,大多数研究都采用成对排名方法对构建的培训三胞胎(用户,正面项目,负项目),并旨在区分每个用户的正面项目和负面项目。但是,这些方法中的大多数都同样对待所有训练三胞胎,这忽略了不同的正或负项目之间的微妙差异。另一方面,即使其他一些作品利用用户行为的辅助信息(例如,停留时间)来捕获这种微妙的差异,但很难获得这样的辅助信息。为了减轻上述问题,我们提出了一个名为Triplet重要性学习(TIL)的新型培训框架,该框架可以自适应地学习训练三胞胎的重要性得分。我们为重要性得分生成的两种策略设计了两种策略,并将整个过程作为双层优化,这不需要任何基于规则的设计。我们将提出的训练程序与基于图形神经网络(GNN)基于图形的推荐模型的几个矩阵分解(MF)集成在一起,证明了我们的框架的兼容性。通过使用与许多最先进方法的三个现实世界数据集进行比较,我们表明我们所提出的方法在top-k推荐方面的召回@k方面优于3-21 \%的最佳现有模型。
translated by 谷歌翻译
Graph Convolution Network (GCN) has become new state-ofthe-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are not well understood. Existing work that adapts GCN to recommendation lacks thorough ablation analyses on GCN, which is originally designed for graph classification tasks and equipped with many neural network operations. However, we empirically find that the two most common designs in GCNs -feature transformation and nonlinear activation -contribute little to the performance of collaborative filtering. Even worse, including them adds to the difficulty of training and degrades recommendation performance.In this work, we aim to simplify the design of GCN to make it more concise and appropriate for recommendation. We propose a new model named LightGCN, including only the most essential component in GCN -neighborhood aggregation -for collaborative filtering. Specifically, LightGCN learns user and item embeddings by linearly propagating them on the user-item interaction graph, and uses the weighted sum of the embeddings learned at all layers as the final embedding. Such simple, linear, and neat model is much easier to implement and train, exhibiting substantial improvements (about 16.0% relative improvement on average) over Neural Graph Collaborative Filtering (NGCF) -a state-of-the-art GCN-based recommender model -under exactly the same experimental setting. Further analyses are provided towards the rationality of the simple LightGCN from both analytical and empirical perspectives. Our implementations are available in both TensorFlow
translated by 谷歌翻译
Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems. Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user's (or an item's) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes. We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect.In this work, we propose to integrate the user-item interactionsmore specifically the bipartite graph structure -into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the useritem graph structure by propagating embeddings on it. This leads to the expressive modeling of high-order connectivity in useritem graph, effectively injecting the collaborative signal into the embedding process in an explicit manner. We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOP-Rec [40] and Collaborative Memory Network [5]. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF. Codes are available at https://github.com/ xiangwang1223/neural_graph_collaborative_filtering. CCS CONCEPTS• Information systems → Recommender systems. * In the version published in ACM Digital Library, we find some small bugs; the bugs do not change the comparison results and the empirical findings. In this latest version, we update and correct the experimental results (i.e., the preprocessing of Yelp2018 dataset and the ndcg metric). All updates are highlighted in footnotes.
translated by 谷歌翻译
推荐系统的目标是通过用户项目的交互历史记录对每个用户和每个项目之间的相关性进行建模,以便最大程度地提高样本得分并最大程度地减少负面样本。当前,两个流行的损失功能被广泛用于优化推荐系统:点心和成对。尽管这些损失功能被广泛使用,但是有两个问题。 (1)这些传统损失功能不适合推荐系统的目标,并充分利用了先验知识信息。 (2)这些传统损失功能的缓慢收敛速度使各种建议模型的实际应用变得困难。为了解决这些问题,我们根据先验知识提出了一个名为“监督个性化排名”(SPR)的新型损失函数。提出的方法通过利用原始数据中每个用户或项目的相互作用历史记录的先验知识来改善BPR损失。与BPR不同,而不是构建<用户,正面项目,负面项目>三元组,而是拟议的SPR构造<用户,相似的用户,正面项目,负面项目,否定项目> Quadruples。尽管SPR非常简单,但非常有效。广泛的实验表明,我们提出的SPR不仅取得了更好的建议性能,而且还可以显着加速收敛速度,从而大大减少所需的训练时间。
translated by 谷歌翻译
因果图作为因果建模的有效和强大的工具,通常被假定为有向的无环图(DAG)。但是,推荐系统通常涉及反馈循环,该反馈循环定义为推荐项目的循环过程,将用户反馈纳入模型更新以及重复该过程。结果,重要的是将循环纳入因果图中,以准确地对推荐系统进行动态和迭代数据生成过程。但是,反馈回路并不总是有益的,因为随着时间的流逝,它们可能会鼓励越来越狭窄的内容暴露,如果无人看管的话,可能会导致回声室。结果,重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中,我们设计了一个带有循环的因果图,以描述推荐的动态过程。然后,我们采取马尔可夫工艺来分析回声室的数学特性,例如导致回声腔的条件。受理论分析的启发,我们提出了一个动态的因果协作过滤($ \ partial $ ccf)模型,该模型估算了用户基于后门调整的项目的干预后偏好,并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验,结果表明,我们的框架可以比其他最先进的框架更好地减轻回声室,同时通过基本建议模型实现可比的建议性能。
translated by 谷歌翻译
建议中的用户项交互可以自然地将其作为用户项二分钟图。鉴于图形表示学习中图形神经网络(GNN)的成功,已提出基于GNN的C方法来推进推荐系统。这些方法通常根据学习的用户和项目嵌入式提出建议。但是,我们发现它们不会在真实建议中表现出很常见的稀疏稀疏用户项目图。因此,在这项工作中,我们介绍了一种新颖的视角,以建立基于GNN的CF方法,了解建议的框架局部图协作滤波(LGCF)。 LGCF的一个关键优势在于它不需要为每个用户和项目学习嵌入,这在稀疏方案中具有挑战性。或者,LGCF旨在将有用的CF信息编码为本地化的图表并基于这些图形提出建议。关于各种数据集的广泛实验验证了LGCF的有效性,尤其是稀疏场景。此外,经验结果表明LGCF为基于嵌入的CF模型提供了互补信息,该模型可用于提高推荐性能。
translated by 谷歌翻译
最近,在推荐系统领域中,一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此,这会导致不可再生的评估和不公平的比较。因此,我们从实践理论和实验的角度进行研究,目的是为严格的评估做出基准建议。关于理论研究,一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后,我们将它们分类为独立于模型和模型依赖性的超因子,并相应地定义和讨论了不同的严格评估模式。在实验研究中,我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库,从而进行了整体经验研究,以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下,我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准,以作为以后研究的参考。总体而言,我们的工作阐明了建议评估中的问题,为严格的评估提供了潜在的解决方案,并为进一步调查提供了基础。
translated by 谷歌翻译
从隐式反馈建模推荐系统的核心目标是最大化正样品分数$ S_P $,并最大限度地减少负面样本评分$ S_N $,其通常可以汇总为两个范式:一定点和成对的。点接近符合其标签的每个样本,其在级别的加权和采样中是灵活的,但忽略固有的排名属性。通过定性最大限度地减少相对分数$ S_N - S_P $,成对方法自然地捕获样品的排名,而是遭受培训效率。此外,这两种方法都很难明确提供个性化决策边界,以确定用户是否对查看的项目感兴趣。要解决这些问题,我们创新地向每个用户创新介绍了辅助分数$ B_U $代表用户兴趣边界(UIB),并单独惩罚将边界与成对范例交叉的示例,即分数低于$ B_U的正示例$和分数高于$ b_u $的否定样本。通过这种方式,我们的方法成功地实现了一定点的混合损失,并且成对将两者的优点结合在一起。在分析上,我们表明我们的方法可以提供个性化决策边界,并在没有任何特殊的采样策略的情况下显着提高培训效率。广泛的结果表明,我们的方法不仅可以显着改进,不仅是经典的点或成对模型,还可以实现具有复杂损耗功能和复杂特征编码的最先进模型。
translated by 谷歌翻译
最近提出的协作度量学习(CML)范式由于其简单性和有效性引起了人们对推荐系统(RS)领域的广泛兴趣。通常,CML的现有文献在很大程度上取决于\ textit {负抽样}策略,以减轻成对计算的耗时负担。但是,在这项工作中,通过进行理论分析,我们发现负抽样会导致对概括误差的偏差估计。具体而言,我们表明,基于抽样的CML将在概括性结合中引入一个偏差项,该术语是由per-use \ textit {total方差}(TV)量化的,在负面采样和地面真相分布引起的分布之间。这表明,即使有足够大的训练数据,优化基于采样的CML损耗函数也不能确保小概括误差。此外,我们表明偏见术语将消失,而无需负面抽样策略。在此激励的情况下,我们提出了一种有效的替代方案,而没有对CML进行负面采样的cml,name \ textit {无抽样协作度量学习}(SFCML),以消除实际意义上的采样偏见。最后,超过七个基准数据集的全面实验表达了所提出的算法的优势。
translated by 谷歌翻译
在推荐系统中,一个普遍的挑战是冷门问题,在系统中,相互作用非常有限。为了应对这一挑战,最近,许多作品将元优化的想法介绍到建议方案中,即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数,并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识,以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是,以前的作品表明,推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能,但公平性问题在很大程度上被忽略了。在本文中,我们提出了一个名为Clover的全面的公平元学习框架,以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平,反事实公平和推荐系统中的群体公平,并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式,适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明,三叶草可以实现全面的公平性,而不会恶化整体的冷淡建议性能。
translated by 谷歌翻译
Top-K建议是推荐系统中的一个基本任务,通常通过比较积极和负对对学习。对比损失(CL)是最近受到更多关注的对比学习的关键,我们发现它非常适合Top-K建议。但是,这是一个问题,即CL处理正面和阴性样本的重要性。一方面,CL面向一个正样品的不平衡问题和许多阴性样品。另一方面,稀疏的数据集中很少有稀疏项目应该强调他们的重要性。此外,其他重要问题是稀疏正项目仍然没有充分利用建议。因此,我们通过使用CL损耗功能同时使用多个正项目(或样本)来提出新的数据增强方法。因此,我们提出了一种基于多样的对比损失(MSCL)功能,通过平衡正面和负样本和数据增强的重要性来解决两个问题。基于图表卷积网络(GCN)方法,实验结果表明了MSCL的最先进的性能。所提出的MSCL很简单,可以在许多方法中应用。我们将在验收时发布GitHub上的代码。
translated by 谷歌翻译
这项工作研究了针对推荐系统的有偏见反馈中学习无偏算法的问题。我们从理论和算法的角度解决了这个问题。无偏学习的最新著作通过各种技术(例如元学习,知识蒸馏和信息瓶颈)推进了最新技术。尽管取得了经验成功,但大多数人缺乏理论保证,在理论和最近的算法之间形成了不可忽略的差距。为此,我们首先从分配转移的角度查看无偏见的推荐问题。我们理论上分析了公正学习的概括界限,并提出了它们与最近无偏学习目标的密切关系。基于理论分析,我们进一步提出了一个原则性的框架,对抗性自我训练(AST),以无偏见。对现实世界和半合成数据集的经验评估证明了拟议的AST的有效性。
translated by 谷歌翻译
建议制度,依靠历史观察数据来模仿用户和物品之间的复杂关系,取得了巨大的成功,在现实世界中取得了巨大的成功。选择偏见是现有的现有观测数据基于方法的最重要问题之一,其实际上是由多种类型的不观察室的暴露策略引起的(例如促销和假期效应)。虽然已经提出了各种方法来解决这个问题,但它们主要依赖于隐含的脱叠技术,但没有明确建立未观察的曝光策略。通过明确重建曝光策略(简称休息),我们将推荐问题正式化为反事实推理,并提出了脱叠的社会推荐方法。在休息时,我们假设项目的曝光由潜在曝光策略,用户和项目控制。基于上述生成过程,首先通过识别分析提供我们方法的理论保证。其次,在社交网络和项目的帮助下,我们采用了变分自动编码器来重建潜在的曝光策略。第三,我们通过利用回收的曝光策略制定基于反事实推理的建议算法。四个现实世界数据集的实验,包括三个已发布的数据集和一个私人微信官方帐户数据集,展示了几种最先进的方法的显着改进。
translated by 谷歌翻译
In recent years, deep neural networks have yielded immense success on speech recognition, computer vision and natural language processing. However, the exploration of deep neural networks on recommender systems has received relatively less scrutiny. In this work, we strive to develop techniques based on neural networks to tackle the key problem in recommendation -collaborative filtering -on the basis of implicit feedback.Although some recent work has employed deep learning for recommendation, they primarily used it to model auxiliary information, such as textual descriptions of items and acoustic features of musics. When it comes to model the key factor in collaborative filtering -the interaction between user and item features, they still resorted to matrix factorization and applied an inner product on the latent features of users and items.By replacing the inner product with a neural architecture that can learn an arbitrary function from data, we present a general framework named NCF, short for Neural networkbased Collaborative Filtering. NCF is generic and can express and generalize matrix factorization under its framework. To supercharge NCF modelling with non-linearities, we propose to leverage a multi-layer perceptron to learn the user-item interaction function. Extensive experiments on two real-world datasets show significant improvements of our proposed NCF framework over the state-of-the-art methods. Empirical evidence shows that using deeper layers of neural networks offers better recommendation performance.
translated by 谷歌翻译