在过去的几年中，短视频在淘宝等电子商务平台上见证了迅速的增长。为了确保内容的新鲜感，平台需要每天发布大量新视频，从而使传统的点击率（CTR）预测方法遇到了该项目冷启动问题。在本文中，我们提出了一种有效的图形引导功能传输系统的礼物，以完全利用加热视频的丰富信息，以补偿冷启动的视频。具体而言，我们建立了一个异质图，其中包含物理和语义链接，以指导从热视频到冷启动视频的功能传输过程。物理链接代表明确的关系，而语义链接衡量了两个视频的多模式表示的接近性。我们精心设计功能传输功能，以使图表上不同Metapaths的不同类型的转移功能（例如，ID表示和历史统计）。我们在大型现实世界数据集上进行了广泛的实验，结果表明，我们的礼品系统的表现明显优于SOTA方法，并在TAOBAO APP的主页上为CTR带来了6.82％的提升。

工业推荐系统通常提出包含来自多个子系统的结果的混合列表。实际上，每个子系统都使用自己的反馈数据进行了优化，以避免不同子系统之间的干扰。但是，我们认为，由于\ textit {数据稀疏}，此类数据使用可能会导致次优的在线性能。为了减轻此问题，我们建议从包含网络尺度和长期印象数据的\ textit {super-domain}中提取知识，并进一步协助在线推荐任务（下游任务）。为此，我们提出了一个新颖的工业\ textbf {k} nowl \ textbf {e} dge \ textbf {e} xtraction和\ textbf {p} lugging（\ textbf {keep}）框架，这是一个两阶段的框架其中包括1）超级域上有监督的预训练知识提取模块，以及2）将提取的知识纳入下游模型的插件网络。这使得对在线推荐的逐步培训变得友好。此外，我们设计了一种有效的经验方法，用于在大规模工业系统中实施Keep时保持和介绍我们的动手经验。在两个现实世界数据集上进行的实验表明，保持可以实现有希望的结果。值得注意的是，Keep也已部署在阿里巴巴的展示广告系统上，带来了$+5.4 \％$ CTR和$+4.7 \％\％$ rpm的提升。

跨域冷启动推荐是推荐系统越来越新兴的问题。现有的作品主要专注于解决跨域用户推荐或冷启动内容推荐。但是，当新域在早期发展时，它具有类似于源域的潜在用户，但互动较少。从源域中学习用户的偏好并将其转移到目标域中是至关重要的，特别是在具有有限用户反馈的新到达内容上。为了弥合这一差距，我们提出了一个自训练的跨域用户偏好学习（夫妻）框架，针对具有各种语义标签的冷启动推荐，例如视频的项目或视频类型。更具体地，我们考虑三个级别的偏好，包括用户历史，用户内容和用户组提供可靠的推荐。利用由域感知顺序模型表示的用户历史，将频率编码器应用于用于用户内容偏好学习的底层标记。然后，建议具有正交节点表示的分层存储器树以进一步概括域域的用户组偏好。整个框架以一种对比的方式更新，以先进先出（FIFO）队列获得更具独特的表示。两个数据集的广泛实验展示了用户和内容冷启动情况的夫妇效率。通过部署在线A / B一周测试，我们表明夫妇的点击率（CTR）优于淘宝应用程序的其他基线。现在该方法在线为跨域冷微视频推荐服务。

点击率（CTR）预测旨在估算用户单击项目的可能性，是在线广告的重要组成部分。现有方法主要尝试从用户的历史行为中挖掘用户兴趣，这些行为包含用户直接交互的项目。尽管这些方法取得了长足的进步，但通常会受到推荐系统的直接曝光和不活动相互作用的限制，因此无法挖掘所有潜在的用户利益。为了解决这些问题，我们提出了基于邻居相互作用的CTR预测（NI-CTR），该预测在异质信息网络（HIN）设置下考虑此任务。简而言之，基于邻居相互作用的CTR预测涉及HIN目标用户项目对的本地邻域以预测其链接。为了指导当地社区的表示形式，我们从显式和隐性的角度考虑了本地邻里节点之间的不同类型的相互作用，并提出了一种新颖的图形掩盖变压器（GMT），以有效地将这些类型的交互结合到为目标用户项目对生成高度代表性的嵌入。此外，为了提高针对邻居采样的模型鲁棒性，我们在嵌入邻里的嵌入式上执行了一致性正规化损失。我们对数百万个实例进行了两个现实世界数据集进行了广泛的实验，实验结果表明，我们所提出的方法的表现明显优于最先进的CTR模型。同时，全面的消融研究验证了我们模型每个组成部分的有效性。此外，我们已经在具有数十亿用户的微信官方帐户平台上部署了此框架。在线A/B测试表明，针对所有在线基线的平均CTR改进为21.9。

关于点击率（CTR）预测的最新研究通过对更长的用户行为序列进行建模，已达到新的水平。除其他外，两阶段的方法是用于工业应用的最先进的解决方案（SOTA）。两阶段方法首先训练检索模型，以事先截断长行为序列，然后使用截短序列训练CTR模型。但是，检索模型和CTR模型是分别训练的。因此，CTR模型中检索到的子序列不准确，它降低了最终性能。在本文中，我们提出了一个端到端范式来建模长行为序列，与现有模型相比，该序列能够实现卓越的性能以及出色的成本效益。我们的贡献是三倍：首先，我们提出了一个名为ETA-NET的基于哈希的有效目标（TA）网络，以基于低成本的位置操作来启用端到端的用户行为检索。提出的ETA-NET可以通过顺序数据建模的数量级来降低标准TA的复杂性。其次，我们建议将通用系统体系结构作为一种可行的解决方案，用于在工业系统上部署ETA-NET。特别是，与SOTA两阶段方法相比，ETA-NET已部署在TAOBAO的推荐系统上，并在CTR上带来了1.8％的升降机和3.1％的升降机（GMV）。第三，我们在离线数据集和在线A/B测试上进行了广泛的实验。结果证明，在CTR预测性能和在线成本效益方面，所提出的模型大大优于现有的CTR模型。 ETA-NET现在为TAOBAO的主要流量提供服务，每天为数亿用户提供服务。

事实证明，丰富的用户行为数据对于点击率（CTR）预测应用程序具有很高的价值，尤其是在工业推荐，搜索或广告系统中。但是，由于在线服务时间的严格要求，现实世界系统不仅可以充分利用长期用户行为。大多数以前的作品都采用基于检索的策略，在此策略中，首先检索了少数用户行为以进行后续注意。但是，基于检索的方法是最佳的，会造成或多或少的信息损失，并且很难平衡检索算法的有效性和效率。在本文中，我们提出了SDIM（基于采样的深度兴趣建模），这是一种简单但有效的基于采样的端到端方法，用于建模长期用户行为。我们从多个哈希功能中采样，以生成候选项目和用户行为序列中的每个项目的哈希签名，并通过直接收集与具有相同哈希签名的候选项目相关的行为项来获得用户兴趣。我们在理论上和实验上表明，所提出的方法在基于标准的基于注意力的模型上对长期用户行为进行建模，同时更快。我们还介绍了系统中SDIM的部署。具体而言，我们通过设计一个名为BSE（行为序列编码）的单独模块（行为序列编码），将行为序列哈希（这是最耗时的部分）解脱出最耗时的部分。 BSE对于CTR服务器是无延迟的，使我们能够建模极长的用户行为。进行离线和在线实验，以证明SDIM的有效性。 SDIM现在已在线部署在Meituan应用程序的搜索系统中。

共享符号跨域顺序推荐（SCSR）任务旨在通过利用多个域中的混合用户行为推荐下一个项目。随着越来越多的用户倾向于在不同的平台上注册并与他人共享访问特定于域的服务，它正在引起极大的研究关注。现有关于SCSR的作品主要依赖于基于复发的神经网络（RNN）模型的采矿顺序模式，这些模型受到以下局限性：1）基于RNN的方法，基于RNN的方法绝大多数目标是发现单用户行为中的顺序依赖性。它们的表现不足以捕获SCSR中多个实体之间的关系。 2）所有现有方法通过潜在空间中的知识转移桥接两个域，并忽略显式的跨域图结构。 3）没有现有研究考虑项目之间的时间间隔信息，这对于表征不同项目和学习判别性表示的顺序建议至关重要。在这项工作中，我们提出了一种新的基于图的解决方案，即TIDA-GCN，以应对上述挑战。具体来说，我们首先将每个域中的用户和项目链接为图。然后，我们设计了一个域感知图形卷积网络，以学习用户特异性节点表示。为了充分说明用户对项目的域特异性偏好，进一步开发了两个有效的注意机制，以选择性地指导消息传递过程。此外，为了进一步增强项目和帐户级的表示学习，我们将时间间隔纳入消息传递中，并为学习项目的交互式特征设计一个帐户意识的自我发项模块。实验证明了我们提出的方法从各个方面的优越性。

特征交互已被识别为机器学习中的一个重要问题，这对于点击率（CTR）预测任务也是非常重要的。近年来，深度神经网络（DNN）可以自动从原始稀疏功能中学习隐式非线性交互，因此已广泛用于工业CTR预测任务。然而，在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量（例如，笛卡尔产品）而不会损失。例如，简单地尝试学习特征A和特征B <A，B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型，包括基于分解机（FM）的模型及其变体。在本文中，我们提出了一个共同行动网络（CAN），以近似于显式成对特征交互，而不会引入太多的附加参数。更具体地，给出特征A及其相关的特征B，通过学习两组参数来建模它们的特征交互：1）嵌入特征A和2）以表示特征B的多层Perceptron（MLP）。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作，并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明，可以优于最先进的CTR模型和笛卡尔产品方法。此外，可以在阿里巴巴的显示广告系统中部署，获得12 \％的CTR和8 \％关于每个Mille（RPM）的收入，这是对业务的巨大改进。

包括传统浅层模型和深图神经网络（GNN）在内的图形嵌入方法已导致有希望的应用。然而，由于其优化范式，浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足，在堆叠过多的层时很容易引起过度平滑的问题，这可能会恶化低度（长尾）项目的建议，从而限制了表现力和可伸缩性。在本文中，我们提出了一个新颖的框架SAC，即空间自动回归编码，以统一的方式解决上述问题。为了充分利用邻居接近和高级信息，我们设计了一种新型的空间自回旋范式。具体而言，我们首先随机掩盖了多跳的邻居，并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后，我们加强模型，通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码，并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余，我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。

图表神经网络（GNNS）已广泛应用于推荐任务，并获得了非常吸引人的性能。然而，大多数基于GNN的推荐方法在实践中遭受数据稀疏问题。同时，预训练技术在减轻了各个领域（如自然语言处理（NLP）和计算机视觉（CV）等域中的数据稀疏而取得了巨大成功。因此，图形预培训具有扩大基于GNN的建议的数据稀疏的巨大潜力。但是，预先培训GNN，建议面临独特的挑战。例如，不同推荐任务中的用户项交互图具有不同的用户和项目集，并且它们通常存在不同的属性。因此，在NLP和CV中常用的成功机制将知识从预训练任务转移到下游任务，例如共享所学习的嵌入式或特征提取器，而不是直接适用于现有的基于GNN的推荐模型。为了解决这些挑战，我们精致地设计了一个自适应图形预训练框架，用于本地化协作滤波（适应）。它不需要传输用户/项目嵌入式，并且能够跨越不同图的共同知识和每个图形的唯一性。广泛的实验结果表明了适应的有效性和优越性。

传统的推荐系统面临两个长期存在的障碍，即数据稀疏性和冷启动问题，这些问题促进了跨域建议（CDR）的出现和发展。 CDR的核心思想是利用从其他领域收集的信息来减轻一个域中的两个问题。在过去的十年中，许多努力进行了跨域建议。最近，随着深度学习和神经网络的发展，出现了许多方法。但是，关于CDR的系统调查数量有限，尤其是关于最新提出的方法以及他们解决的建议方案和建议任务。在本调查文件中，我们首先提出了跨域建议的两级分类法，该分类法对不同的建议方案和建议任务进行了分类。然后，我们以结构化的方式介绍并总结了不同建议方案下的现有跨域推荐方法。我们还组织了常用的数据集。我们通过提供有关该领域的几个潜在研究方向来结束这项调查。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

跨域建议可以帮助缓解传统的连续推荐系统中的数据稀疏问题。在本文中，我们提出了Recguru算法框架，以在顺序推荐中生成包含跨域的用户信息的广义用户表示，即使在两个域中的最小或没有公共用户时也是如此。我们提出了一种自我细心的AutoEncoder来导出潜在用户表示，以及域鉴别器，其旨在预测所产生的潜在表示的原点域。我们提出了一种新的逆势学习方法来训练两个模块，以使从不同域生成的用户嵌入到每个用户的单个全局Gur。学习的Gur捕获了用户的整体偏好和特征，因此可以用于增强行为数据并改进在涉及用户的任何单个域中的推荐。在两个公共交叉域推荐数据集以及从现实世界应用程序收集的大型数据集进行了广泛的实验。结果表明，Recguru提高了性能，优于各种最先进的顺序推荐和跨域推荐方法。收集的数据将被释放以促进未来的研究。

瀑布推荐系统（RS）是移动应用程序中RS的流行形式，是推荐的项目流，这些项目由连续页面组成，可以通过滚动浏览。在Waterfall RS中，当用户完成浏览页面时，Edge（例如，手机）将向Cloud Server发送请求，以获取新的建议页面，称为分页请求机制。 RSS通常将大量项目放入一页中，以减少众多分页请求中的过度资源消耗，但是，这将降低RSS根据用户的实时兴趣及时续订建议的能力，并导致贫穷的用户。经验。直观地，在页面内插入其他请求以更新频率的建议可以减轻问题。但是，以前的尝试，包括非自适应策略（例如，统一插入请求）最终会导致资源过度消费。为此，我们设想了一项名为智能请求策略设计（IRSD）的Edge Intelligence的新学习任务。它旨在通过根据用户的实时意图确定请求插入的适当情况来提高瀑布RSS的有效性。此外，我们提出了一种新的自适应请求插入策略的范式，名为基于Uplift的On-Ending Smart请求框架（AdareQuest）。 AdareQuest 1）通过将实时行为与基于基于注意力的神经网络相匹配的历史兴趣来捕获用户意图的动态变化。 2）估计根据因果推理插入的请求带来的用户购买的反事实提升。 3）通过在在线资源约束下最大化效用功能来确定最终请求插入策略。我们在离线数据集和在线A/B测试上进行了广泛的实验，以验证AdareQuest的有效性。

与淘宝和亚马逊等大型平台不同，由于严重的数据分配波动（DDF）问题，在小规模推荐方案中开发CVR模型是更具挑战性的。 DDF防止现有的CVR模型自生效以来，因为1）需要几个月的数据需要足够小的场景训练CVR模型，导致培训和在线服务之间的相当大的分布差异; 2）电子商务促销对小型情景产生了更大的影响，导致即将到期的时间段的不确定性。在这项工作中，我们提出了一种名为MetacVR的新型CVR方法，从Meta学习的角度解决了DDF问题。首先，由特征表示网络（FRN）和输出层组成的基础CVR模型是精心设计和培训的，在几个月内与样品充分设计和培训。然后，我们将不同数据分布的时间段视为不同的场合，并使用相应的样本和预先训练的FRN获得每个场合的正面和负原型。随后，设计了距离度量网络（DMN）以计算每个样本和所有原型之间的距离度量，以便于减轻分布不确定性。最后，我们开发了一个集合预测网络（EPN），该网络（EPN）包含FRN和DMN的输出以进行最终的CVR预测。在这个阶段，我们冻结了FRN并用最近一段时间的样品训练DMN和EPN，因此有效地缓解了分布差异。据我们所知，这是在小规模推荐方案中针对DDF问题的CVR预测第一次研究。实验结果对现实世界数据集验证了我们的MetacVR和Online A / B测试的优越性也表明我们的模型在PCVR上实现了11.92％的令人印象深刻的收益和GMV的8.64％。

共享符合跨域顺序推荐（SCSR）是一项新兴而又具有挑战性的任务，在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络（RNN）和图神经网络（GNN），但他们忽略了一个事实，尽管多个用户共享一个帐户，但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，尽管现有的作品降低了较低的权重与无关紧要的相互作用，但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题，我们提出了一种基于增强学习的解决方案，即RL-ISN，该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言，要在“共享”方案中对帐户表示形式进行建模，基本推荐人首先将用户作为潜在用户的混合行为群，然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响，我们将域过滤器作为层次强化学习任务，在该任务中，使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能，我们对两个现实世界数据集进行了广泛的实验，并且实验结果证明了与最先进的建议方法相比，我们的RL-ISN方法的优越性。

Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems. Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user's (or an item's) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes. We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect.In this work, we propose to integrate the user-item interactionsmore specifically the bipartite graph structure -into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the useritem graph structure by propagating embeddings on it. This leads to the expressive modeling of high-order connectivity in useritem graph, effectively injecting the collaborative signal into the embedding process in an explicit manner. We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOP-Rec [40] and Collaborative Memory Network [5]. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF. Codes are available at https://github.com/ xiangwang1223/neural_graph_collaborative_filtering. CCS CONCEPTS• Information systems → Recommender systems. * In the version published in ACM Digital Library, we find some small bugs; the bugs do not change the comparison results and the empirical findings. In this latest version, we update and correct the experimental results (i.e., the preprocessing of Yelp2018 dataset and the ndcg metric). All updates are highlighted in footnotes.

在多种方案中，多幕科建议专门为用户检索相关项目，这在工业推荐系统中无处不在。这些方案享有用户和项目中的一部分重叠，而不同方案的分布则不同。多阶段建模的关键点是有效地最大程度地利用全幕纳罗来信息，并在多种情况下为用户和项目生成适应性表示。我们总结了三个实用挑战，这些挑战无法很好地解决多幕科建模：（1）在多种情况下缺乏细粒度和脱钩的信息传输控制。 （2）整个空间样品的开发不足。 （3）项目的多幕科代表性分解问题。在本文中，我们提出了一种情景自适应和自我监督（SASS）模型，以解决上述三个挑战。具体而言，我们使用场景自适应门单元设计了多层场景自适应转移（ML-SAT）模块，以相当细粒度且脱钩的方式选择并融合从整个场景到单个场景的有效传输信息。为了充分利用整个空间样品的功能，引入了包括预训练和微调在内的两阶段训练过程。预训练阶段是基于场景监督的对比学习任务，并从标记和未标记的数据空间中绘制的培训样本。该模型是在用户端和项目方面对称创建的，因此我们可以在不同情况下获得项目的区分表示。公共和工业数据集的广泛实验结果证明了SASS模型比最先进的方法的优越性。该模型还可以在在线A/B测试中平均每位用户的观看时间提高8.0％以上。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art performance on recommender system benchmarks. However, making these methods practical and scalable to web-scale recommendation tasks with billions of items and hundreds of millions of users remains a challenge.Here we describe a large-scale deep recommendation engine that we developed and deployed at Pinterest. We develop a dataefficient Graph Convolutional Network (GCN) algorithm PinSage, which combines efficient random walks and graph convolutions to generate embeddings of nodes (i.e., items) that incorporate both graph structure as well as node feature information. Compared to prior GCN approaches, we develop a novel method based on highly efficient random walks to structure the convolutions and design a novel training strategy that relies on harder-and-harder training examples to improve robustness and convergence of the model.We deploy PinSage at Pinterest and train it on 7.5 billion examples on a graph with 3 billion nodes representing pins and boards, and 18 billion edges. According to offline metrics, user studies and A/B tests, PinSage generates higher-quality recommendations than comparable deep learning and graph-based alternatives. To our knowledge, this is the largest application of deep graph embeddings to date and paves the way for a new generation of web-scale recommender systems based on graph convolutional architectures.