传统的工业推荐人通常在单一的业务领域培训,然后为此域名服务。但是,在大型商业平台中,通常情况下,推荐人需要为多个业务域提供点击率(CTR)预测。不同的域具有重叠的用户组和项目。因此,存在共性。由于特定用户组具有差异,并且用户行为可能在各种商业域中改变,因此还存在区别。区别导致特定于域的数据分布,使单个共享模型很难在所有域上运行良好。要学习一个有效且高效的CTR模型,可以同时处理多个域,我们呈现明星拓扑自适应推荐(Star)。具体而言,STAR具有星形拓扑,由共享中心参数和特定于域的参数组成。共享参数用于学习所有域的共性,以及域特定参数捕获域区分以进行更精细的预测。给定来自不同商业域的请求,Star可以根据域特征调节其参数。生产数据的实验结果验证了所提出的明星模型的优越性。自2020年以来,STAR已部署在阿里巴巴的显示广告系统中,从RPM获得平均8.0%的改进和6.0%(每米尔勒收入)。
translated by 谷歌翻译
工业推荐系统通常提出包含来自多个子系统的结果的混合列表。实际上,每个子系统都使用自己的反馈数据进行了优化,以避免不同子系统之间的干扰。但是,我们认为,由于\ textit {数据稀疏},此类数据使用可能会导致次优的在线性能。为了减轻此问题,我们建议从包含网络尺度和长期印象数据的\ textit {super-domain}中提取知识,并进一步协助在线推荐任务(下游任务)。为此,我们提出了一个新颖的工业\ textbf {k} nowl \ textbf {e} dge \ textbf {e} xtraction和\ textbf {p} lugging(\ textbf {keep})框架,这是一个两阶段的框架其中包括1)超级域上有监督的预训练知识提取模块,以及2)将提取的知识纳入下游模型的插件网络。这使得对在线推荐的逐步培训变得友好。此外,我们设计了一种有效的经验方法,用于在大规模工业系统中实施Keep时保持和介绍我们的动手经验。在两个现实世界数据集上进行的实验表明,保持可以实现有希望的结果。值得注意的是,Keep也已部署在阿里巴巴的展示广告系统上,带来了$+5.4 \%$ CTR和$+4.7 \%\%$ rpm的提升。
translated by 谷歌翻译
在多种方案中,多幕科建议专门为用户检索相关项目,这在工业推荐系统中无处不在。这些方案享有用户和项目中的一部分重叠,而不同方案的分布则不同。多阶段建模的关键点是有效地最大程度地利用全幕纳罗来信息,并在多种情况下为用户和项目生成适应性表示。我们总结了三个实用挑战,这些挑战无法很好地解决多幕科建模:(1)在多种情况下缺乏细粒度和脱钩的信息传输控制。 (2)整个空间样品的开发不足。 (3)项目的多幕科代表性分解问题。在本文中,我们提出了一种情景自适应和自我监督(SASS)模型,以解决上述三个挑战。具体而言,我们使用场景自适应门单元设计了多层场景自适应转移(ML-SAT)模块,以相当细粒度且脱钩的方式选择并融合从整个场景到单个场景的有效传输信息。为了充分利用整个空间样品的功能,引入了包括预训练和微调在内的两阶段训练过程。预训练阶段是基于场景监督的对比学习任务,并从标记和未标记的数据空间中绘制的培训样本。该模型是在用户端和项目方面对称创建的,因此我们可以在不同情况下获得项目的区分表示。公共和工业数据集的广泛实验结果证明了SASS模型比最先进的方法的优越性。该模型还可以在在线A/B测试中平均每位用户的观看时间提高8.0%以上。
translated by 谷歌翻译
促销活动在电子商务平台上变得更加重要和普遍,以吸引客户和提升销售。但是,推荐系统中的点击率(CTR)预测方法无法处理此类情况,因为:1)他们无法概括为服务,因为在线数据分布是不确定的,因为可能正在推出的促销潜在的促销; 2)在不够重视方案信号的情况下,它们无法学习在每个场景中共存的不同特征表示模式。在这项工作中,我们提出了方案自适应混合的专家(相同),这是一个简单而有效的模型,用于促销和正常情况。从技术上讲,它通过采用多个专家来学习专家来遵循专家混合的想法,这些特征表示通过注意机制通过特征门控网络(FGN)进行调制。为了获得高质量的表示,我们设计了一个堆叠的并行关注单元(SPAU),以帮助每个专家更好地处理用户行为序列。为了解决分布不确定性,从时间序列预测的角度精确地设计了一组场景信号,并馈入FGN,其输出与来自每个专家的特征表示连接,以学会注意。因此,特征表示的混合是自适应的场景和用于最终的CTR预测。通过这种方式,每个专家都可以学习鉴别的表示模式。据我们所知,这是第一次推广感知CTR预测的研究。实验结果对现实世界数据集验证了同一的优势。在线A / B测试也表现出同样的促销期间在CTR上的显着增益和5.94%的IPV,分别在正常日内为3.93%和6.57%。
translated by 谷歌翻译
特征交互已被识别为机器学习中的一个重要问题,这对于点击率(CTR)预测任务也是非常重要的。近年来,深度神经网络(DNN)可以自动从原始稀疏功能中学习隐式非线性交互,因此已广泛用于工业CTR预测任务。然而,在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量(例如,笛卡尔产品)而不会损失。例如,简单地尝试学习特征A和特征B <A,B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型,包括基于分解机(FM)的模型及其变体。在本文中,我们提出了一个共同行动网络(CAN),以近似于显式成对特征交互,而不会引入太多的附加参数。更具体地,给出特征A及其相关的特征B,通过学习两组参数来建模它们的特征交互:1)嵌入特征A和2)以表示特征B的多层Perceptron(MLP)。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作,并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明,可以优于最先进的CTR模型和笛卡尔产品方法。此外,可以在阿里巴巴的显示广告系统中部署,获得12 \%的CTR和8 \%关于每个Mille(RPM)的收入,这是对业务的巨大改进。
translated by 谷歌翻译
在点击率(CTR)预测方案中,用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而,尽管正在广泛研究,但这些顺序方法仍然存在三个限制。首先,现有方法主要利用对用户行为的注意,这并不总是适用于CTR预测,因为用户经常点击与任何历史行为无关的新产品。其次,在真实场景中,很久以前存在许多具有运营的用户,但最近的次数相对不活跃。因此,难以通过早期行为精确地捕获用户的当前偏好。第三,不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题,我们提出了一种多互动关注网络(Mian),全面提取各种细粒度特征之间的潜在关系(例如,性别,年龄和用户档案)。具体而言,MIAN包含多交互式层(MIL),其集成了三个本地交互模块,通过顺序行为捕获用户偏好的多个表示,并同时利用细粒度的用户特定的以及上下文信息。此外,我们设计了一个全局交互模块(GIM)来学习高阶交互,平衡多个功能的不同影响。最后,脱机实验结果来自三个数据集,以及在大型推荐系统中的在线A / B测试,展示了我们提出的方法的有效性。
translated by 谷歌翻译
与淘宝和亚马逊等大型平台不同,由于严重的数据分配波动(DDF)问题,在小规模推荐方案中开发CVR模型是更具挑战性的。 DDF防止现有的CVR模型自生效以来,因为1)需要几个月的数据需要足够小的场景训练CVR模型,导致培训和在线服务之间的相当大的分布差异; 2)电子商务促销对小型情景产生了更大的影响,导致即将到期的时间段的不确定性。在这项工作中,我们提出了一种名为MetacVR的新型CVR方法,从Meta学习的角度解决了DDF问题。首先,由特征表示网络(FRN)和输出层组成的基础CVR模型是精心设计和培训的,在几个月内与样品充分设计和培训。然后,我们将不同数据分布的时间段视为不同的场合,并使用相应的样本和预先训练的FRN获得每个场合的正面和负原型。随后,设计了距离度量网络(DMN)以计算每个样本和所有原型之间的距离度量,以便于减轻分布不确定性。最后,我们开发了一个集合预测网络(EPN),该网络(EPN)包含FRN和DMN的输出以进行最终的CVR预测。在这个阶段,我们冻结了FRN并用最近一段时间的样品训练DMN和EPN,因此有效地缓解了分布差异。据我们所知,这是在小规模推荐方案中针对DDF问题的CVR预测第一次研究。实验结果对现实世界数据集验证了我们的MetacVR和Online A / B测试的优越性也表明我们的模型在PCVR上实现了11.92%的令人印象深刻的收益和GMV的8.64%。
translated by 谷歌翻译
为了开发有效的顺序推荐人,提出了一系列序列表示学习(SRL)方法来模拟历史用户行为。大多数现有的SRL方法都依赖于开发序列模型以更好地捕获用户偏好的明确项目ID。尽管在某种程度上有效,但由于通过明确建模项目ID的限制,这些方法很难转移到新的建议方案。为了解决这个问题,我们提出了一种新颖的通用序列表示方法,名为UNISREC。提出的方法利用项目的文本在不同的建议方案中学习可转移表示形式。为了学习通用项目表示形式,我们设计了一个基于参数美白和Experts的混合物增强的适配器的轻巧项目编码体系结构。为了学习通用序列表示,我们通过抽样多域负面因素介绍了两个对比的预训练任务。借助预训练的通用序列表示模型,我们的方法可以在电感或跨传导设置下以参数有效的方式有效地传输到新的推荐域或平台。在现实世界数据集上进行的广泛实验证明了该方法的有效性。尤其是,我们的方法还导致跨平台环境中的性能提高,显示了所提出的通用SRL方法的强可传递性。代码和预培训模型可在以下网址获得:https://github.com/rucaibox/unisrec。
translated by 谷歌翻译
在过去的几年中,短视频在淘宝等电子商务平台上见证了迅速的增长。为了确保内容的新鲜感,平台需要每天发布大量新视频,从而使传统的点击率(CTR)预测方法遇到了该项目冷启动问题。在本文中,我们提出了一种有效的图形引导功能传输系统的礼物,以完全利用加热视频的丰富信息,以补偿冷启动的视频。具体而言,我们建立了一个异质图,其中包含物理和语义链接,以指导从热视频到冷启动视频的功能传输过程。物理链接代表明确的关系,而语义链接衡量了两个视频的多模式表示的接近性。我们精心设计功能传输功能,以使图表上不同Metapaths的不同类型的转移功能(例如,ID表示和历史统计)。我们在大型现实世界数据集上进行了广泛的实验,结果表明,我们的礼品系统的表现明显优于SOTA方法,并在TAOBAO APP的主页上为CTR带来了6.82%的提升。
translated by 谷歌翻译
在信息爆炸的时代,推荐系统通过促进内容探索在人们的日常生活中起着重要作用。众所周知,用户的活动性,即行为数量,倾向于遵循长尾分布,大多数用户的积极性低。在实践中,我们观察到,在联合培训后,尾巴用户的质量推荐率明显低于首席用户。我们进一步确定,由于数据有限,因此在尾巴用户上训练的模型仍然取得了较低的结果。尽管长尾分布在推荐系统中无处不在,但在研究和行业中,提高尾巴用户的推荐性能仍然仍然是挑战。直接应用长尾分配的相关方法可能有可能伤害首席用户的经验,这是不起作用的,因为一小部分具有高积极性的首席用户贡献了平台收入的一部分。在本文中,我们提出了一种新颖的方法,可以显着提高尾巴用户的建议性能,同时至少在基本模型上为首席用户提供至少可比的性能。这种方法的本质是一种新颖的梯度聚合技术,该技术将所有用户共享的常识知识分为主干模型,然后为Head用户和Tail用户个性化提供单独的插件预测网络。至于常识学习,我们利用因果关系理论的向后调整来消除梯度估计,从而掩盖了混杂因素的骨干训练,即用户的积极性。我们对两个公共建议基准数据集和一个从支撑台平台收集的大规模工业数据集进行了广泛的实验。实证研究验证了我们方法的合理性和有效性。
translated by 谷歌翻译
学习捕获特征关系有效,有效地是现代推荐系统的点击率(CTR)预测的必要条件。大多数现有的CTR预测方法通过繁琐的手动设计的低阶交互或通过不灵活和低效的高阶交互来模型这样的关系,这两者都需要额外的DNN模块进行隐式交互建模。在本文中,我们提出了一种新颖的插件操作,动态参数化操作(DPO),以便明智地学习显式和隐式交互实例。我们认为DPO进入DNN模块和注意力模块可以分别有利于CTR预测中的两个主要任务,增强了基于特征的建模和改进用户行为建模的适应性与实例 - 方向性。我们的动态参数化网络在公共数据集和现实世界生产数据集的离线实验中显着优于最先进的方法,以及在线A / B测试。此外,建议的动态参数化网络已经在世界上最大的电子商务公司之一的排名系统中部署,服务于数亿个活跃用户的主要流量。
translated by 谷歌翻译
关于点击率(CTR)预测的最新研究通过对更长的用户行为序列进行建模,已达到新的水平。除其他外,两阶段的方法是用于工业应用的最先进的解决方案(SOTA)。两阶段方法首先训练检索模型,以事先截断长行为序列,然后使用截短序列训练CTR模型。但是,检索模型和CTR模型是分别训练的。因此,CTR模型中检索到的子序列不准确,它降低了最终性能。在本文中,我们提出了一个端到端范式来建模长行为序列,与现有模型相比,该序列能够实现卓越的性能以及出色的成本效益。我们的贡献是三倍:首先,我们提出了一个名为ETA-NET的基于哈希的有效目标(TA)网络,以基于低成本的位置操作来启用端到端的用户行为检索。提出的ETA-NET可以通过顺序数据建模的数量级来降低标准TA的复杂性。其次,我们建议将通用系统体系结构作为一种可行的解决方案,用于在工业系统上部署ETA-NET。特别是,与SOTA两阶段方法相比,ETA-NET已部署在TAOBAO的推荐系统上,并在CTR上带来了1.8%的升降机和3.1%的升降机(GMV)。第三,我们在离线数据集和在线A/B测试上进行了广泛的实验。结果证明,在CTR预测性能和在线成本效益方面,所提出的模型大大优于现有的CTR模型。 ETA-NET现在为TAOBAO的主要流量提供服务,每天为数亿用户提供服务。
translated by 谷歌翻译
点击率(CTR)预测的目标是预测用户单击项目的可能性,在推荐系统中变得越来越重要。最近,一些具有自动从他/她的行为中提取用户兴趣的深度学习模型取得了巨大的成功。在这些工作中,注意机制用于选择用户在历史行为中感兴趣的项目,从而提高CTR预测指标的性能。通常,这些细心的模块可以通过使用梯度下降与基本预测变量共同训练。在本文中,我们将用户兴趣建模视为特征选择问题,我们称之为用户兴趣选择。对于这样一个问题,我们在包装法的框架下提出了一种新颖的方法,该方法被称为Meta-wrapper。更具体地说,我们使用可区分的模块作为包装运算符,然后将其学习问题重新提出为连续的二元优化。此外,我们使用元学习算法来求解优化并理论上证明其收敛性。同时,我们还提供了理论分析,以表明我们提出的方法1)效率基于包装器的特征选择,而2)可以更好地抵抗过度拟合。最后,在三个公共数据集上进行的广泛实验表明了我们方法在提高CTR预测的性能方面的优势。
translated by 谷歌翻译
共享符合跨域顺序推荐(SCSR)是一项新兴而又具有挑战性的任务,在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络(RNN)和图神经网络(GNN),但他们忽略了一个事实,尽管多个用户共享一个帐户,但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外,尽管现有的作品降低了较低的权重与无关紧要的相互作用,但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题,我们提出了一种基于增强学习的解决方案,即RL-ISN,该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言,要在“共享”方案中对帐户表示形式进行建模,基本推荐人首先将用户作为潜在用户的混合行为群,然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响,我们将域过滤器作为层次强化学习任务,在该任务中,使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能,我们对两个现实世界数据集进行了广泛的实验,并且实验结果证明了与最先进的建议方法相比,我们的RL-ISN方法的优越性。
translated by 谷歌翻译
共享符号跨域顺序推荐(SCSR)任务旨在通过利用多个域中的混合用户行为推荐下一个项目。随着越来越多的用户倾向于在不同的平台上注册并与他人共享访问特定于域的服务,它正在引起极大的研究关注。现有关于SCSR的作品主要依赖于基于复发的神经网络(RNN)模型的采矿顺序模式,这些模型受到以下局限性:1)基于RNN的方法,基于RNN的方法绝大多数目标是发现单用户行为中的顺序依赖性。它们的表现不足以捕获SCSR中多个实体之间的关系。 2)所有现有方法通过潜在空间中的知识转移桥接两个域,并忽略显式的跨域图结构。 3)没有现有研究考虑项目之间的时间间隔信息,这对于表征不同项目和学习判别性表示的顺序建议至关重要。在这项工作中,我们提出了一种新的基于图的解决方案,即TIDA-GCN,以应对上述挑战。具体来说,我们首先将每个域中的用户和项目链接为图。然后,我们设计了一个域感知图形卷积网络,以学习用户特异性节点表示。为了充分说明用户对项目的域特异性偏好,进一步开发了两个有效的注意机制,以选择性地指导消息传递过程。此外,为了进一步增强项目和帐户级的表示学习,我们将时间间隔纳入消息传递中,并为学习项目的交互式特征设计一个帐户意识的自我发项模块。实验证明了我们提出的方法从各个方面的优越性。
translated by 谷歌翻译
事实证明,丰富的用户行为数据对于点击率(CTR)预测应用程序具有很高的价值,尤其是在工业推荐,搜索或广告系统中。但是,由于在线服务时间的严格要求,现实世界系统不仅可以充分利用长期用户行为。大多数以前的作品都采用基于检索的策略,在此策略中,首先检索了少数用户行为以进行后续注意。但是,基于检索的方法是最佳的,会造成或多或少的信息损失,并且很难平衡检索算法的有效性和效率。在本文中,我们提出了SDIM(基于采样的深度兴趣建模),这是一种简单但有效的基于采样的端到端方法,用于建模长期用户行为。我们从多个哈希功能中采样,以生成候选项目和用户行为序列中的每个项目的哈希签名,并通过直接收集与具有相同哈希签名的候选项目相关的行为项来获得用户兴趣。我们在理论上和实验上表明,所提出的方法在基于标准的基于注意力的模型上对长期用户行为进行建模,同时更快。我们还介绍了系统中SDIM的部署。具体而言,我们通过设计一个名为BSE(行为序列编码)的单独模块(行为序列编码),将行为序列哈希(这是最耗时的部分)解脱出最耗时的部分。 BSE对于CTR服务器是无延迟的,使我们能够建模极长的用户行为。进行离线和在线实验,以证明SDIM的有效性。 SDIM现在已在线部署在Meituan应用程序的搜索系统中。
translated by 谷歌翻译
在许多Web应用程序中,基于深度学习的CTR预测模型(简短的CTR模型)被广泛采用。传统的深入CTR模型以静态方式学习模式,即,在所有实例中,网络参数都是相同的。但是,这种方式几乎无法表征可能具有不同基础分布的每个实例。它实际上限制了深CTR模型的表示功能,从而导致了次优结果。在本文中,我们提出了一个高效,有效和通用的模块,称为自适应参数生成网络(APG),该模块可以根据不同实例动态地生成深层CTR模型的参数。广泛的实验评估结果表明,APG可以应用于各种深CTR模型,并显着提高其性能。同时,与常规的Deep CTR模型相比,APG可以将时间成本降低38.7 \%,并且内存使用率减少96.6 \%。我们已经在工业赞助的搜索系统中部署了APG,并分别获得了3 \%CTR增益和1 \%RPM增益。
translated by 谷歌翻译
跨域建议可以帮助缓解传统的连续推荐系统中的数据稀疏问题。在本文中,我们提出了Recguru算法框架,以在顺序推荐中生成包含跨域的用户信息的广义用户表示,即使在两个域中的最小或没有公共用户时也是如此。我们提出了一种自我细心的AutoEncoder来导出潜在用户表示,以及域鉴别器,其旨在预测所产生的潜在表示的原点域。我们提出了一种新的逆势学习方法来训练两个模块,以使从不同域生成的用户嵌入到每个用户的单个全局Gur。学习的Gur捕获了用户的整体偏好和特征,因此可以用于增强行为数据并改进在涉及用户的任何单个域中的推荐。在两个公共交叉域推荐数据集以及从现实世界应用程序收集的大型数据集进行了广泛的实验。结果表明,Recguru提高了性能,优于各种最先进的顺序推荐和跨域推荐方法。收集的数据将被释放以促进未来的研究。
translated by 谷歌翻译
随着电子商务行业的爆炸性增长,检测现实世界应用中的在线交易欺诈对电子商务平台的发展越来越重要。用户的顺序行为历史提供有用的信息,以区分从常规支付的欺诈性付款。最近,已经提出了一些方法来解决基于序列的欺诈检测问题。然而,这些方法通常遭受两个问题:预测结果难以解释,并且对行为的内部信息的利用不足。为了解决上述两个问题,我们提出了一个分层可解释的网络(母鸡)来模拟用户的行为序列,这不仅可以提高欺诈检测的性能,还可以使推理过程解释。同时,随着电子商务业务扩展到新域名,例如新的国家或新市场,在欺诈检测系统中建模用户行为的一个主要问题是数据收集的限制,例如,非常少的数据/标签。因此,在本文中,我们进一步提出了一种转移框架来解决跨域欺诈检测问题,其旨在从现有域(源域)的知识传输足够的域(源域),以提高新域中的性能(目标域)。我们所提出的方法是一般的转移框架,不仅可以应用于母鸡而且可以在嵌入和MLP范例中应用各种现有模型。基于90个转移任务实验,我们还表明,我们的转移框架不仅可以促进母鸡的跨域欺诈检测任务,而且对于各种现有模型也是普遍的和可扩展的。
translated by 谷歌翻译
最近,深度学习模型已在工业推荐系统中广泛传播,并提高了建议质量。尽管取得了杰出的成功,但任务吸引推荐系统的设计通常需要域专家的手动功能工程和建筑工程。为了减轻人类的努力,我们探索了神经体系结构搜索(NAS)的潜力,并在推荐系统中引入了自动行为建模,互动探索和多层感知器(MLP)研究的AMEIR。 Ameir的核心贡献是三阶段的搜索空间和量身定制的三步搜索管道。具体而言,Ameir将完整的建议模型分为行为建模,交互探索,MLP聚合的三个阶段,并引入了一个新颖的搜索空间,其中包含三个量身定制的子空间,这些子空间涵盖了大多数现有方法,从而允许搜索更好的模型。为了有效,有效地找到理想的体系结构,Ameir在三个阶段逐渐推荐中实现了一次弹奏随机搜索,并将搜索结果组装为最终结果。进一步的分析表明,Ameir的搜索空间可以涵盖大多数代表性推荐模型,这证明了我们设计的普遍性。在各种情况下进行的广泛实验表明,AMEIR的表现优于精心制作的手动设计的竞争基准和领先的算法复杂的NAS方法,具有较低的模型复杂性和可比的时间成本,表明所提出的方法的效率,效率和鲁棒性。
translated by 谷歌翻译