Increasing research interests focus on sequential recommender systems, aiming to model dynamic sequence representation precisely. However, the most commonly used loss function in state-of-the-art sequential recommendation models has essential limitations. To name a few, Bayesian Personalized Ranking (BPR) loss suffers the vanishing gradient problem from numerous negative sampling and predictionbiases; Binary Cross-Entropy (BCE) loss subjects to negative sampling numbers, thereby it is likely to ignore valuable negative examples and reduce the training efficiency; Cross-Entropy (CE) loss only focuses on the last timestamp of the training sequence, which causes low utilization of sequence information and results in inferior user sequence representation. To avoid these limitations, in this paper, we propose to calculate Cumulative Cross-Entropy (CCE) loss over the sequence. CCE is simple and direct, which enjoys the virtues of painless deployment, no negative sampling, and effective and efficient training. We conduct extensive experiments on five benchmark datasets to demonstrate the effectiveness and efficiency of CCE. The results show that employing CCE loss on three state-of-the-art models GRU4Rec, SASRec, and S3-Rec can reach 125.63%, 69.90%, and 33.24% average improvement of full ranking NDCG@5, respectively. Using CCE, the performance curve of the models on the test data increases rapidly with the wall clock time, and is superior to that of other loss functions in almost the whole process of model training.
translated by 谷歌翻译
为了成功推荐(SR)成功,最近的作品着重于设计有效的顺序编码器,融合侧面信息以及挖掘额外的积极的自我实施信号。在每个时间步骤中对负面项目进行采样的策略较少探索。由于用户在培训过程中的兴趣和模型更新的动态,因此考虑用户的非相互作用项目的随机抽样项目作为负面的项目可能是不明智的。结果,该模型将不准确地了解用户对项目的偏好。识别信息性负面因素是具有挑战性的,因为内容的负面项目与动态变化的兴趣和模型参数相关(并且抽样过程也应该是有效的)。为此,我们建议为SR(Genni)生成负样本(项目)。根据当前SR模型对项目的学习用户偏好,在每个时间步骤中都采样了负项目。提出了有效的实施,以进一步加速生成过程,使其可扩展到大规模推荐任务。在四个公共数据集上进行的广泛实验验证了为SR提供高质量的负样本的重要性,并证明了Genni的有效性和效率。
translated by 谷歌翻译
最近,深度学习模型已在工业推荐系统中广泛传播,并提高了建议质量。尽管取得了杰出的成功,但任务吸引推荐系统的设计通常需要域专家的手动功能工程和建筑工程。为了减轻人类的努力,我们探索了神经体系结构搜索(NAS)的潜力,并在推荐系统中引入了自动行为建模,互动探索和多层感知器(MLP)研究的AMEIR。 Ameir的核心贡献是三阶段的搜索空间和量身定制的三步搜索管道。具体而言,Ameir将完整的建议模型分为行为建模,交互探索,MLP聚合的三个阶段,并引入了一个新颖的搜索空间,其中包含三个量身定制的子空间,这些子空间涵盖了大多数现有方法,从而允许搜索更好的模型。为了有效,有效地找到理想的体系结构,Ameir在三个阶段逐渐推荐中实现了一次弹奏随机搜索,并将搜索结果组装为最终结果。进一步的分析表明,Ameir的搜索空间可以涵盖大多数代表性推荐模型,这证明了我们设计的普遍性。在各种情况下进行的广泛实验表明,AMEIR的表现优于精心制作的手动设计的竞争基准和领先的算法复杂的NAS方法,具有较低的模型复杂性和可比的时间成本,表明所提出的方法的效率,效率和鲁棒性。
translated by 谷歌翻译
许多现代的顺序推荐系统使用深层神经网络,可以有效地估计项目的相关性,但需要大量时间进行训练。慢速培训增加了费用,阻碍了产品开发时间表,并防止该模型定期更新以适应不断变化的用户偏好。培训这样的顺序模型涉及对过去的用户互动进行适当采样以创建现实的培训目标。现有的培训目标有局限性。例如,下一个项目预测永远不会将序列的开头用作学习目标,从而可能丢弃有价值的数据。另一方面,Bert4Rec使用的项目掩盖仅与顺序建议的目标无关。因此,它需要更多的时间来获得有效的模型。因此,我们提出了一个基于新颖的序列训练目标采样,以解决这两个局限性。我们将我们的方法应用于最近和最新的模型架构,例如Gru4Rec,Caser和Sasrec。我们表明,通过我们的方法增强的模型可以实现超过或非常接近bert4rec的状态的性能,但训练时间却少得多。
translated by 谷歌翻译
现代推荐系统需要适应用户偏好和项目人气的变化。这种问题被称为时间动态问题,它是推荐系统建模中的主要挑战之一。与流行的反复建模方法不同,我们通过使用基于轨迹的元学习来模型依赖性将一个名为LeNprec的新解决方案提出了一个名为LeNprec的新解决方案。 Leaprec通过命名为全局时间Leap(GTL)的两个补充组件来表征时间动态,并订购时间Leap(OTL)。通过设计,GTL通过找到无序时间数据的最短学习路径来学习长期模式。协同地,OTL通过考虑时间数据的顺序性质来学习短期模式。我们的实验结果表明,LeNPrec在几个数据集和推荐指标上始终如一地优于最先进的方法。此外,我们提供了GTL和OTL之间的相互作用的实证研究,显示了长期和短期建模的影响。
translated by 谷歌翻译
预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式,并在建模用户偏好时忽略用户历史会话的影响,这通常会导致非个性化推荐。此外,基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项,而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题,我们提出了一种新颖的异构全球图形神经网络(HG-GNN)以以微妙的方式利用所有会话的物品过渡,以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换,我们提出了一种新的异构全局图,该图包含会话,用户项交互和全局共同发生项目的项目转换。此外,为了综合地从会话中捕获用户偏好,我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地,我们在异构全球图上设计一种新的异构图形神经网络(HGNN),以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN,我们提出了当前偏好编码器和历史偏好编码器,分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议,我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明,我们的模型优于其他最先进的方法。
translated by 谷歌翻译
顺序建议通常被视为一项生成任务,即训练顺序编码器,以根据其历史互动项目生成用户兴趣的下一项。尽管这些方法普遍存在,但这些方法通常需要使用更有意义的样本进行培训才能有效,否则将导致训练有素的模型。在这项工作中,我们建议将顺序推荐人培训为歧视者,而不是发电机。我们的方法没有预测下一个项目,而是训练一个歧视器,以区分采样项目是否为“真实”目标项目。作为辅助模型的发电机与判别器共同训练,以取样合理的替代方案,并将在训练后抛弃。训练有素的判别器被视为最终的SR模型,并将其称为\ modelname。在四个数据集上进行的实验证明了拟议方法的有效性和效率。
translated by 谷歌翻译
顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而,这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上,这种影响在序列推荐中发挥着重要作用,因为用户的行为容易受其他人的影响。因此,期望聚合用户行为和用户之间的影响,这些用户在时间上演化并涉及用户和项目的异构图。在本文中,我们纳入了动态用户项异构图,提出了一种新的顺序推荐框架。结果,可以考虑历史行为以及用户之间的影响。为此,我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后,我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计,并采用伪似然方法来得出易行目标函数。最后,我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性,而且还提供了一些关于顺序推荐的有洞察力的发现。
translated by 谷歌翻译
基于多利息框架的顺序推荐将用户最近的交互序列模拟到多个不同的兴趣向量中,因为单个低维向量不能完全代表用户兴趣的分集。然而,大多数现有模型只拦截用户最近的交互行为作为训练数据,丢弃大量的历史相互作用序列。这可能会提出两个问题。一方面,缺少反映用户多重兴趣的数据;另一方面,历史用户项交互中的项目之间的共同发生不会完全探索。为了解决这两个问题,本文提出了一种名为“全局交互感知多息框架的新型顺序推荐模型,用于顺序推荐(Gimirec)”。具体地,首先提出了一种全局上下文提取模块而不引入任何外部信息,该外部信息基于每个项目对的受约束的共生发生号码和它们的时间间隔从所有用户的历史交互序列的时间间隔计算加权共生发生矩阵通过使用简化的图形卷积获得每个项目的全局上下文嵌入。其次,捕获每个项目对最近的每个用户的交互序列的时间间隔并与全局上下文项嵌入以获取个性化项目嵌入的全局上下文项。最后,应用了一种基于自我关注的多息框架来学习用户对顺序推荐的不同兴趣。在亚马逊书籍的三个现实世界数据集上进行了广泛的实验,淘宝买和亚马逊 - 混合动力表明,Gimirec在召回,NDCG和命中率指标上的表现明显优于最先进的方法。此外,所提出的全局上下文提取模块可以很容易地移植到大多数顺序推荐模型。
translated by 谷歌翻译
在大数据时代,推荐系统在我们日常生活中的关键信息过滤表现出了杰出的成功。近年来,推荐系统的技术发展,从感知学习到认知推理,这些认知推理将推荐任务作为逻辑推理的过程,并取得了重大改进。但是,推理中的逻辑陈述隐含地承认有序无关紧要,甚至没有考虑在许多建议任务中起重要作用的时间信息。此外,与时间上下文合并的建议模型往往是自我集中的,即自动更加(少)将相关性(不相关)分别集中在相关性上。为了解决这些问题,在本文中,我们提出了一种基于神经协作推理(TISANCR)的推荐模型的时间感知自我注意力,该模型将时间模式和自我注意机制集成到基于推理的建议中。特别是,以相对时间为代表的时间模式,提供上下文和辅助信息来表征用户在建议方面的偏好,而自我注意力则是利用自我注意力来提炼信息的模式并抑制无关紧要的。因此,自我煽动的时间信息的融合提供了对用户偏好的更深入表示。基准数据集的广泛实验表明,所提出的Tisancr取得了重大改进,并始终优于最先进的建议方法。
translated by 谷歌翻译
BERT4REC是基于变压器体系结构的顺序推荐的有效模型。在原始出版物中,Bert4Rec声称比其他可用的顺序推荐方法优越(例如Sasrec),现在经常将其用作顺序建议的最先进的基线。但是,并非所有随后的出版物都证实了这一结果,并提出了其他模型,这些模型被证明在有效性方面表现优于Bert4Rec。在本文中,我们会系统地回顾所有将Bert4Rec与另一个受欢迎的基于变压器的模型(即Sasrec)进行比较的出版物,并表明BERT4REC结果在这些出版物中不一致。为了了解这种不一致的原因,我们分析了BERT4REC的可用实现,并表明我们在使用默认配置参数时未能重现原始Bert4Rec出版物的结果。但是,与默认配置相比,如果训练更长的时间(最高30倍),我们可以用原始代码复制报告的结果。我们还根据拥抱面孔变压器库提出了自己的BERT4REC实施,我们证明了在3个OUT 4数据集中重复了最初报告的结果,同时需要减少95%的培训时间来收敛。总体而言,从我们的系统审查和详细的实验中,我们得出结论,Bert4Rec确实确实表现出了序列建议的最新有效性,但只有在经过足够的时间进行培训时。此外,我们表明,我们的实现可以通过调整拥抱面孔库中可用的其他变压器体系结构(例如,使用Deberta提供的散布注意力或更大的隐藏层大小参见Albert)。
translated by 谷歌翻译
推荐兴趣点是一个困难的问题,需要从基于位置的社交媒体平台中提取精确的位置信息。对于这种位置感知的推荐系统而言,另一个具有挑战性和关键的问题是根据用户的历史行为对用户的偏好进行建模。我们建议使用Transformers的双向编码器表示的位置感知建议系统,以便为用户提供基于位置的建议。提出的模型包含位置数据和用户偏好。与在序列中预测每个位置的下一项(位置)相比,我们的模型可以为用户提供更相关的结果。基准数据集上的广泛实验表明,我们的模型始终优于各种最新的顺序模型。
translated by 谷歌翻译
共享符合跨域顺序推荐(SCSR)是一项新兴而又具有挑战性的任务,在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络(RNN)和图神经网络(GNN),但他们忽略了一个事实,尽管多个用户共享一个帐户,但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外,尽管现有的作品降低了较低的权重与无关紧要的相互作用,但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题,我们提出了一种基于增强学习的解决方案,即RL-ISN,该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言,要在“共享”方案中对帐户表示形式进行建模,基本推荐人首先将用户作为潜在用户的混合行为群,然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响,我们将域过滤器作为层次强化学习任务,在该任务中,使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能,我们对两个现实世界数据集进行了广泛的实验,并且实验结果证明了与最先进的建议方法相比,我们的RL-ISN方法的优越性。
translated by 谷歌翻译
顺序推荐(SR)通过对用户在项目之间的过境方式进行建模来表征用户行为不断发展的模式。但是,简短的交互序列限制了现有SR的性能。为了解决这个问题,我们专注于本文中的跨域顺序推荐(CDSR),该建议旨在利用其他域中的信息来提高单个域的顺序建议性能。解决CDSR具有挑战性。一方面,如何保留单个领域的偏好以及整合跨域影响仍然是一个基本问题。另一方面,由于合并序列的长度有限,因此仅利用来自其他域的知识来完全解决数据稀疏问题。为了应对挑战,我们提出了DDGHM,这是CDSR问题的新型框架,其中包括两个主要模块,即双动态图形建模和混合度量训练。前者通过动态构造两级图,即局部图和全局图,捕获内域和域间顺序跃迁,并将它们与融合的细心门控机制结合在一起。后者通过采用混合度量学习来增强用户和项目表示形式,包括实现保持一致性和对比度度量的协作指标,以确保均匀性,以进一步减轻数据稀少性问题并提高预测准确性。我们在两个基准数据集上进行实验,结果证明了DDHMG的有效性。
translated by 谷歌翻译
作为加强学习(RL)通过奖励信号铸造的基于会议或顺序推荐是一个有前途的研究方向,旨在最大化累积利润的推荐系统(RS)。然而,由于违规培训,巨大的动作空间和缺乏足够的奖励信号,RL算法中的RL算法直接使用RL算法是不切实际的。最近的RL用于RS试图通过结合RL和(自我)监督的连续学习来解决这些挑战的方法,但仍然遭受某些限制。例如,由于缺少负奖励信号,Q值的估计趋于向正值偏置。此外,Q值也大量取决于序列的特定时间戳。为了解决上述问题,我们提出了培训RL组件的负面采样策略,并将其与监督顺序学习结合起来。我们称这种方法监督负面Q-Learning(SNQN)。基于采样(否定)动作(项目),我们可以计算平均案例的积极动作的“优势”,这可以进一步用于学习监督的顺序部分的标准化重量。这导致了另一个学习框架:监督优势演员 - 评论家(SA2C)。我们使用四个最先进的顺序推荐模型实例化SNQN和SA2C,并在两个现实世界数据集中进行实验。实验结果表明,拟议的方法比最先进的监督方法和现有的自我监督的RL方法达到明显更好的性能。代码将是开放的。
translated by 谷歌翻译
跨域建议可以帮助缓解传统的连续推荐系统中的数据稀疏问题。在本文中,我们提出了Recguru算法框架,以在顺序推荐中生成包含跨域的用户信息的广义用户表示,即使在两个域中的最小或没有公共用户时也是如此。我们提出了一种自我细心的AutoEncoder来导出潜在用户表示,以及域鉴别器,其旨在预测所产生的潜在表示的原点域。我们提出了一种新的逆势学习方法来训练两个模块,以使从不同域生成的用户嵌入到每个用户的单个全局Gur。学习的Gur捕获了用户的整体偏好和特征,因此可以用于增强行为数据并改进在涉及用户的任何单个域中的推荐。在两个公共交叉域推荐数据集以及从现实世界应用程序收集的大型数据集进行了广泛的实验。结果表明,Recguru提高了性能,优于各种最先进的顺序推荐和跨域推荐方法。收集的数据将被释放以促进未来的研究。
translated by 谷歌翻译
Aiming at exploiting the rich information in user behaviour sequences, sequential recommendation has been widely adopted in real-world recommender systems. However, current methods suffer from the following issues: 1) sparsity of user-item interactions, 2) uncertainty of sequential records, 3) long-tail items. In this paper, we propose to incorporate contrastive learning into the framework of Variational AutoEncoders to address these challenges simultaneously. Firstly, we introduce ContrastELBO, a novel training objective that extends the conventional single-view ELBO to two-view case and theoretically builds a connection between VAE and contrastive learning from a two-view perspective. Then we propose Contrastive Variational AutoEncoder (ContrastVAE in short), a two-branched VAE model with contrastive regularization as an embodiment of ContrastELBO for sequential recommendation. We further introduce two simple yet effective augmentation strategies named model augmentation and variational augmentation to create a second view of a sequence and thus making contrastive learning possible. Experiments on four benchmark datasets demonstrate the effectiveness of ContrastVAE and the proposed augmentation methods. Codes are available at https://github.com/YuWang-1024/ContrastVAE
translated by 谷歌翻译
我们的目标是为阿里巴巴业务的每个用户和每个产品项目建立一般代表性(嵌入),包括淘宝和Tmall,这是世界上最大的电子商务网站之一。用户和项目的代表性在各种下游应用程序中发挥着关键作用,包括建议系统,搜索,营销,需求预测等。受到自然语言处理(NLP)域中的BERT模型的启发,我们提出了GUIM(与代表的混合物混合在一起)的GUIM(一般用户项目),以实现大量,结构化的多模式数据,包括数亿美元的相互作用用户和项目。我们利用表示(MOR)的混合物作为一种新颖的表示形式来建模每个用户的各种兴趣。此外,我们使用对比度学习中的Infonce,以避免由于众多词汇的大小(令牌)词汇大小,因此避免了棘手的计算成本。最后,我们建议一组代表性的下游任务作为标准基准,以评估学到的用户和/或项目嵌入的质量,类似于NLP域中的胶合基准。我们在这些下游任务中的实验结果清楚地表明了从GUIM模型中学到的嵌入的比较价值。
translated by 谷歌翻译
从隐式反馈建模推荐系统的核心目标是最大化正样品分数$ S_P $,并最大限度地减少负面样本评分$ S_N $,其通常可以汇总为两个范式:一定点和成对的。点接近符合其标签的每个样本,其在级别的加权和采样中是灵活的,但忽略固有的排名属性。通过定性最大限度地减少相对分数$ S_N - S_P $,成对方法自然地捕获样品的排名,而是遭受培训效率。此外,这两种方法都很难明确提供个性化决策边界,以确定用户是否对查看的项目感兴趣。要解决这些问题,我们创新地向每个用户创新介绍了辅助分数$ B_U $代表用户兴趣边界(UIB),并单独惩罚将边界与成对范例交叉的示例,即分数低于$ B_U的正示例$和分数高于$ b_u $的否定样本。通过这种方式,我们的方法成功地实现了一定点的混合损失,并且成对将两者的优点结合在一起。在分析上,我们表明我们的方法可以提供个性化决策边界,并在没有任何特殊的采样策略的情况下显着提高培训效率。广泛的结果表明,我们的方法不仅可以显着改进,不仅是经典的点或成对模型,还可以实现具有复杂损耗功能和复杂特征编码的最先进模型。
translated by 谷歌翻译
为了开发有效的顺序推荐人,提出了一系列序列表示学习(SRL)方法来模拟历史用户行为。大多数现有的SRL方法都依赖于开发序列模型以更好地捕获用户偏好的明确项目ID。尽管在某种程度上有效,但由于通过明确建模项目ID的限制,这些方法很难转移到新的建议方案。为了解决这个问题,我们提出了一种新颖的通用序列表示方法,名为UNISREC。提出的方法利用项目的文本在不同的建议方案中学习可转移表示形式。为了学习通用项目表示形式,我们设计了一个基于参数美白和Experts的混合物增强的适配器的轻巧项目编码体系结构。为了学习通用序列表示,我们通过抽样多域负面因素介绍了两个对比的预训练任务。借助预训练的通用序列表示模型,我们的方法可以在电感或跨传导设置下以参数有效的方式有效地传输到新的推荐域或平台。在现实世界数据集上进行的广泛实验证明了该方法的有效性。尤其是,我们的方法还导致跨平台环境中的性能提高,显示了所提出的通用SRL方法的强可传递性。代码和预培训模型可在以下网址获得:https://github.com/rucaibox/unisrec。
translated by 谷歌翻译