与淘宝和亚马逊等大型平台不同,由于严重的数据分配波动(DDF)问题,在小规模推荐方案中开发CVR模型是更具挑战性的。 DDF防止现有的CVR模型自生效以来,因为1)需要几个月的数据需要足够小的场景训练CVR模型,导致培训和在线服务之间的相当大的分布差异; 2)电子商务促销对小型情景产生了更大的影响,导致即将到期的时间段的不确定性。在这项工作中,我们提出了一种名为MetacVR的新型CVR方法,从Meta学习的角度解决了DDF问题。首先,由特征表示网络(FRN)和输出层组成的基础CVR模型是精心设计和培训的,在几个月内与样品充分设计和培训。然后,我们将不同数据分布的时间段视为不同的场合,并使用相应的样本和预先训练的FRN获得每个场合的正面和负原型。随后,设计了距离度量网络(DMN)以计算每个样本和所有原型之间的距离度量,以便于减轻分布不确定性。最后,我们开发了一个集合预测网络(EPN),该网络(EPN)包含FRN和DMN的输出以进行最终的CVR预测。在这个阶段,我们冻结了FRN并用最近一段时间的样品训练DMN和EPN,因此有效地缓解了分布差异。据我们所知,这是在小规模推荐方案中针对DDF问题的CVR预测第一次研究。实验结果对现实世界数据集验证了我们的MetacVR和Online A / B测试的优越性也表明我们的模型在PCVR上实现了11.92%的令人印象深刻的收益和GMV的8.64%。
translated by 谷歌翻译
在点击率(CTR)预测方案中,用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而,尽管正在广泛研究,但这些顺序方法仍然存在三个限制。首先,现有方法主要利用对用户行为的注意,这并不总是适用于CTR预测,因为用户经常点击与任何历史行为无关的新产品。其次,在真实场景中,很久以前存在许多具有运营的用户,但最近的次数相对不活跃。因此,难以通过早期行为精确地捕获用户的当前偏好。第三,不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题,我们提出了一种多互动关注网络(Mian),全面提取各种细粒度特征之间的潜在关系(例如,性别,年龄和用户档案)。具体而言,MIAN包含多交互式层(MIL),其集成了三个本地交互模块,通过顺序行为捕获用户偏好的多个表示,并同时利用细粒度的用户特定的以及上下文信息。此外,我们设计了一个全局交互模块(GIM)来学习高阶交互,平衡多个功能的不同影响。最后,脱机实验结果来自三个数据集,以及在大型推荐系统中的在线A / B测试,展示了我们提出的方法的有效性。
translated by 谷歌翻译
传统的工业推荐人通常在单一的业务领域培训,然后为此域名服务。但是,在大型商业平台中,通常情况下,推荐人需要为多个业务域提供点击率(CTR)预测。不同的域具有重叠的用户组和项目。因此,存在共性。由于特定用户组具有差异,并且用户行为可能在各种商业域中改变,因此还存在区别。区别导致特定于域的数据分布,使单个共享模型很难在所有域上运行良好。要学习一个有效且高效的CTR模型,可以同时处理多个域,我们呈现明星拓扑自适应推荐(Star)。具体而言,STAR具有星形拓扑,由共享中心参数和特定于域的参数组成。共享参数用于学习所有域的共性,以及域特定参数捕获域区分以进行更精细的预测。给定来自不同商业域的请求,Star可以根据域特征调节其参数。生产数据的实验结果验证了所提出的明星模型的优越性。自2020年以来,STAR已部署在阿里巴巴的显示广告系统中,从RPM获得平均8.0%的改进和6.0%(每米尔勒收入)。
translated by 谷歌翻译
受到计算机愿景和语言理解的深度学习的巨大成功的影响,建议的研究已经转移到发明基于神经网络的新推荐模型。近年来,我们在开发神经推荐模型方面目睹了显着进展,这概括和超越了传统的推荐模型,由于神经网络的强烈代表性。在本调查论文中,我们从建议建模与准确性目标的角度进行了系统审查,旨在总结该领域,促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用,我们将工作划分为协作过滤和信息丰富的建议:1)协作滤波,其利用用户项目交互数据的关键来源; 2)内容丰富的建议,其另外利用与用户和项目相关的侧面信息,如用户配置文件和项目知识图; 3)时间/顺序推荐,其考虑与交互相关的上下文信息,例如时间,位置和过去的交互。在为每种类型审查代表性工作后,我们终于讨论了这一领域的一些有希望的方向。
translated by 谷歌翻译
学习捕获特征关系有效,有效地是现代推荐系统的点击率(CTR)预测的必要条件。大多数现有的CTR预测方法通过繁琐的手动设计的低阶交互或通过不灵活和低效的高阶交互来模型这样的关系,这两者都需要额外的DNN模块进行隐式交互建模。在本文中,我们提出了一种新颖的插件操作,动态参数化操作(DPO),以便明智地学习显式和隐式交互实例。我们认为DPO进入DNN模块和注意力模块可以分别有利于CTR预测中的两个主要任务,增强了基于特征的建模和改进用户行为建模的适应性与实例 - 方向性。我们的动态参数化网络在公共数据集和现实世界生产数据集的离线实验中显着优于最先进的方法,以及在线A / B测试。此外,建议的动态参数化网络已经在世界上最大的电子商务公司之一的排名系统中部署,服务于数亿个活跃用户的主要流量。
translated by 谷歌翻译
在隐性反馈推荐中,将短期偏好纳入推荐系统近年来引起了不断的关注。但是,在历史交互中的意外行为,如偶然点击一些物品,也不能反映用户固有的偏好。现有研究未能模拟意外行为的影响,从而实现劣等的推荐性能。在本文中,我们提出了一种多偏好模型(MPM)来消除意外行为的影响。 MPM首先通过细粒度的偏好模块从最近的历史交互中提取用户的即时偏好。然后,培训意外行为检测器以判断这些即时偏好是否由意外行为偏置。我们还将用户的一般偏好集成在MPM中。最后,执行输出模块以消除意外行为的影响,并集成所有信息以进行最终推荐。我们在电影的两个数据集和电子零售中进行广泛的实验,展示了我们在最先进的方法上的模型的显着改进。实验结果表明,MPM在HR @ 10和NDCG @ 10中获得了大规模的改善,平均与斯trec模型相比相对增加了3.643%和4.107%。我们在https://github.com/chenjie04/mpm/发布我们的代码。
translated by 谷歌翻译
跨域冷启动推荐是推荐系统越来越新兴的问题。现有的作品主要专注于解决跨域用户推荐或冷启动内容推荐。但是,当新域在早期发展时,它具有类似于源域的潜在用户,但互动较少。从源域中学习用户的偏好并将其转移到目标域中是至关重要的,特别是在具有有限用户反馈的新到达内容上。为了弥合这一差距,我们提出了一个自训练的跨域用户偏好学习(夫妻)框架,针对具有各种语义标签的冷启动推荐,例如视频的项目或视频类型。更具体地,我们考虑三个级别的偏好,包括用户历史,用户内容和用户组提供可靠的推荐。利用由域感知顺序模型表示的用户历史,将频率编码器应用于用于用户内容偏好学习的底层标记。然后,建议具有正交节点表示的分层存储器树以进一步概括域域的用户组偏好。整个框架以一种对比的方式更新,以先进先出(FIFO)队列获得更具独特的表示。两个数据集的广泛实验展示了用户和内容冷启动情况的夫妇效率。通过部署在线A / B一周测试,我们表明夫妇的点击率(CTR)优于淘宝应用程序的其他基线。现在该方法在线为跨域冷微视频推荐服务。
translated by 谷歌翻译
预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式,并在建模用户偏好时忽略用户历史会话的影响,这通常会导致非个性化推荐。此外,基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项,而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题,我们提出了一种新颖的异构全球图形神经网络(HG-GNN)以以微妙的方式利用所有会话的物品过渡,以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换,我们提出了一种新的异构全局图,该图包含会话,用户项交互和全局共同发生项目的项目转换。此外,为了综合地从会话中捕获用户偏好,我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地,我们在异构全球图上设计一种新的异构图形神经网络(HGNN),以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN,我们提出了当前偏好编码器和历史偏好编码器,分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议,我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明,我们的模型优于其他最先进的方法。
translated by 谷歌翻译
由于知识图表提供的丰富信息,基于路径的可解释的推荐系统的最新进展引起了更大的关注。最现有的可解释的建议仅利用静态知识图表并忽略动态用户项演进,导致不太令人信服和不准确的解释。虽然有一些作品,但意识到建模用户的时间顺序行为可以提高推荐器系统的性能和解释性,其中大多数只关注用户在路径内的顺序交互或独立和单独的推荐机制。在本文中,我们提出了一种新颖的时间元路径指导可解释的推荐利用加强学习(TMER-RL),它利用了连续项目之间的加强项 - 项目路径建模,其注意机制在动态知识图上顺序模拟动态用户项演进用于解释的建议。与使用繁重的经常性神经网络模拟时间信息的现有作品相比,我们提出了简单但有效的神经网络,以捕获用户的历史项目功能和基于路径的上下文,以表征下一个购买的项目。与最近的强大基线相比,两个真实数据集的TMMER广泛评估显示了最先进的表现。
translated by 谷歌翻译
在本文中,我们考虑点击率(CTR)预测问题。因子化机器及其变体考虑配对特征交互,但通常我们不会由于高时间复杂度而使用FM进行高阶功能交互。鉴于许多领域的深度神经网络(DNN)的成功,研究人员提出了几种基于DNN的模型来学习高阶功能交互。已广泛用于从功能嵌入到最终登录的功能嵌入的可靠映射,从而广泛使用多层。在本文中,我们的目标是更多地探索这些高阶功能的交互。然而,高阶特征互动值得更加关注和进一步发展。灵感来自计算机愿景中密集连接的卷积网络(DENSENET)的巨大成就,我们提出了一种新颖的模型,称为殷勤基于DENENET的分解机(ADNFM)。 ADNFM可以通过使用前馈神经网络的所有隐藏层作为隐式的高阶功能来提取更全面的深度功能,然后通过注意机制选择主导特征。此外,使用DNN的隐式方式的高阶交互比以明确的方式更具成本效益,例如在FM中。两个真实数据集的广泛实验表明,所提出的模型可以有效地提高CTR预测的性能。
translated by 谷歌翻译
顺序推荐是推荐系统的广泛流行的主题。现有的作品有助于提高基于各种方法的顺序推荐系统的预测能力,例如经常性网络和自我关注机制。然而,他们未能发现和区分项目之间的各种关系,这可能是激励用户行为的潜在因素。在本文中,我们提出了一个边缘增强的全面解散图神经网络(EGD-GNN)模型,以捕获全局项目表示和本地用户意图学习项目之间的关系信息。在全球级别,我们通过所有序列构建全局链接图来模拟项目关系。然后,频道感知的解缠绕学习层被设计成将边缘信息分解为不同的信道,这可以聚合以将目标项从其邻居表示。在本地层面,我们应用一个变化的自动编码器框架来学习用户在当前序列上的意图。我们在三个现实世界数据集中评估我们提出的方法。实验结果表明,我们的模型可以通过最先进的基线获得至关重要的改进,能够区分项目特征。
translated by 谷歌翻译
跨域建议可以帮助缓解传统的连续推荐系统中的数据稀疏问题。在本文中,我们提出了Recguru算法框架,以在顺序推荐中生成包含跨域的用户信息的广义用户表示,即使在两个域中的最小或没有公共用户时也是如此。我们提出了一种自我细心的AutoEncoder来导出潜在用户表示,以及域鉴别器,其旨在预测所产生的潜在表示的原点域。我们提出了一种新的逆势学习方法来训练两个模块,以使从不同域生成的用户嵌入到每个用户的单个全局Gur。学习的Gur捕获了用户的整体偏好和特征,因此可以用于增强行为数据并改进在涉及用户的任何单个域中的推荐。在两个公共交叉域推荐数据集以及从现实世界应用程序收集的大型数据集进行了广泛的实验。结果表明,Recguru提高了性能,优于各种最先进的顺序推荐和跨域推荐方法。收集的数据将被释放以促进未来的研究。
translated by 谷歌翻译
顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而,这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上,这种影响在序列推荐中发挥着重要作用,因为用户的行为容易受其他人的影响。因此,期望聚合用户行为和用户之间的影响,这些用户在时间上演化并涉及用户和项目的异构图。在本文中,我们纳入了动态用户项异构图,提出了一种新的顺序推荐框架。结果,可以考虑历史行为以及用户之间的影响。为此,我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后,我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计,并采用伪似然方法来得出易行目标函数。最后,我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性,而且还提供了一些关于顺序推荐的有洞察力的发现。
translated by 谷歌翻译
点击率预测是商业推荐系统中的核心任务之一。它旨在预测用户点击给定用户和项目特征的特定项目的概率。随着特征相互作用引入非线性,它们被广泛采用以提高CTR预测模型的性能。因此,有效的建模特征互动在研究和工业领域引起了很多关注。目前的方法通常可以分为三类:(1)NA \“IVE方法,它不会模拟特征交互,只使用原始特征;(2)记忆方法,通过显式将其视为新功能而记住功能交互。分配可培训嵌入式;(3)分解方法,学习原始特征的潜在矢量和通过分解功能的隐式模型相互作用。研究表明,由于不同特征相互作用的独特特征,这些方法之一的建模特征交互是次优。为了解决这个问题,我们首先提出一个称为OptInter的一般框架,该框架可以找到每个功能交互的最合适的建模方法。可以将不同的最先进的深度CTR模型视为optinter的实例。实现功能Optinter,我们还介绍了一种自动搜索最佳建模方法的学习算法。W e在四个大型数据集中进行广泛的实验。我们的实验表明,Optinter可提高最佳的最先进的基线深度CTR模型,高达2.21%。与回忆的方法相比,这也优于基线,我们减少了高达91%的参数。此外,我们进行了几项消融研究,以研究Optinter不同组分的影响。最后,我们提供关于替代替代品结果的可解释讨论。
translated by 谷歌翻译
许多以前的研究旨在增加具有深度神经网络技术的协同过滤,以实现更好的推荐性能。但是,大多数现有的基于深度学习的推荐系统专为建模单数类型的用户项目交互行为而设计,这几乎无法蒸馏用户和项目之间的异构关系。在实际推荐方案中,存在多重的用户行为,例如浏览和购买。由于用户的多行为模式在不同的项目上俯视,现有推荐方法不足以捕获来自用户多行为数据的异构协作信号。灵感灵感来自图形神经网络的结构化数据建模,这项工作提出了一个图形神经多行为增强建议(GNMR)框架,其明确地模拟了基于图形的消息传递体系结构下不同类型的用户项目交互之间的依赖性。 GNMR向关系聚合网络设计为模拟交互异质性,并且通过用户项交互图递归地执行相邻节点之间的嵌入传播。实体世界推荐数据集的实验表明,我们的GNMR始终如一地优于最先进的方法。源代码可在https://github.com/akaxlh/gnmr中获得。
translated by 谷歌翻译
预测用户肯定响应(例如,购买和点击)概率是Web应用程序中的关键任务。为了识别原始数据的预测特征,最先进的极端深层分解机模型(XDEEPFM)引入了新的交互网络,以明确地利用矢量方面的特征交互。然而,由于交互网络中的每个隐藏层是特征映射的集合,因此它可以基本上作为不同特征映射的集合来观看。在这种情况下,仅使用单个目标来最小化预测损失可能导致过度拟合并产生相关的错误。在本文中,提出了一种集合分集增强的极端深度分解机模型(DEXDEEPFM),其设计了每个隐藏层中的集合多样性度量,并在客观函数中考虑集合多样性和预测精度。此外,还引入了注意机制,以区分集合多样性措施与不同的特征互动令的重要性。对三次公共实时数据集进行了广泛的实验,以展示所提出的模型的有效性。
translated by 谷歌翻译
新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型,但它们主要以静态方式捕获文件级上的用户新交互。然而,在现实世界的情景中,新闻可以很复杂和多样化,盲目地将所有内容挤压到嵌入式矢量中,在提取与用户的个性化偏好兼容的信息中可以不太有效。此外,新闻推荐方案中的用户偏好可以是高度动态的,并且应该设计定制的动态机制以获得更好的推荐性能。在本文中,我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容,我们利用注意机制分别代表了从句子,元素和文档级别的消息。为了捕获用户的动态偏好,连续时间信息无缝地结合到关注权重的计算中。更具体地,我们设计了一个分层关注网络,其中下层学习不同句子和元素的重要性,并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符,我们首先通过结合绝对和相对时间信息来增强传统的关注机制,然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验,以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。
translated by 谷歌翻译
为了减轻传统推荐系统(RSS)的数据稀疏和冷启动问题,将知识图(KGS)纳入补充辅助信息,最近引起了相当大的关注。然而,简单地整合了基于KG的RS模型的KGS,这不一定是提高推荐性能的保证,甚至可能削弱整体模型能力。这是因为这些KG的构建与历史用户项相互作用的集合无关;因此,这些KG的信息可能并不总是有助于推荐给所有用户。在本文中,我们提出了具有个性化推荐的协作指导的细心知识意识的图表卷积网络(CG-KGR)。 CG-KGR是一种新颖的知识意识推荐模型,通过我们提出的协作指导机制,可以实现高度和相干的KG和用户项目交互的学习。具体而言,CG-KGR首先封装与交互式信息摘要的历史相互作用。然后CG-kgr利用它作为提取kgs的信息的指导,最终提供更精确的个性化推荐。我们在两个推荐任务中对四个现实数据集进行了广泛的实验,即TOP-K推荐和点击率(CTR)预测。实验结果表明,CG-KGR模型在Top-K推荐的召回度量方面,最近最初的最先进模型明显优于1.4-27.0%。
translated by 谷歌翻译
图表神经网络(GNNS)已广泛应用于推荐任务,并获得了非常吸引人的性能。然而,大多数基于GNN的推荐方法在实践中遭受数据稀疏问题。同时,预训练技术在减轻了各个领域(如自然语言处理(NLP)和计算机视觉(CV)等域中的数据稀疏而取得了巨大成功。因此,图形预培训具有扩大基于GNN的建议的数据稀疏的巨大潜力。但是,预先培训GNN,建议面临独特的挑战。例如,不同推荐任务中的用户项交互图具有不同的用户和项目集,并且它们通常存在不同的属性。因此,在NLP和CV中常用的成功机制将知识从预训练任务转移到下游任务,例如共享所学习的嵌入式或特征提取器,而不是直接适用于现有的基于GNN的推荐模型。为了解决这些挑战,我们精致地设计了一个自适应图形预训练框架,用于本地化协作滤波(适应)。它不需要传输用户/项目嵌入式,并且能够跨越不同图的共同知识和每个图形的唯一性。广泛的实验结果表明了适应的有效性和优越性。
translated by 谷歌翻译
点击率(CTR)预测是许多应用程序的关键任务,因为它的准确性对用户体验和平台收入有直接影响。近年来,CTR预测已在学术界和工业中广泛研究,导致各种各样的CTR预测模型。不幸的是,仍然缺乏标准化的基准和CTR预测研究的统一评估协议。这导致现有研究中的不可重复或甚至不一致的实验结果,这在很大程度上限制了他们研究的实用价值和潜在影响。在这项工作中,我们的目标是对CTR预测进行开放基准测试,并以可重复的方式表现不同模型的严格比较。为此,我们运行{超过7,000多个实验,总共超过12,000 GPU小时,在多个数据集设置上重新评估24个现有型号}。令人惊讶的是,我们的实验表明,具有足够的超参数搜索和模型调整,许多深层模型的差异比预期较小。结果还表明,在CTR预测的建模上取得实际进展确实是一个非常具有挑战性的研究任务。我们相信,我们的基准工作不仅可以让研究人员可以方便地衡量新型模型的有效性,而且还使他们与艺术的国家相当相提并论。我们公开发布了我们工作的基准工具,评估协议和实验环境,以促进该领域的可重复研究。
translated by 谷歌翻译