在多种方案中，多幕科建议专门为用户检索相关项目，这在工业推荐系统中无处不在。这些方案享有用户和项目中的一部分重叠，而不同方案的分布则不同。多阶段建模的关键点是有效地最大程度地利用全幕纳罗来信息，并在多种情况下为用户和项目生成适应性表示。我们总结了三个实用挑战，这些挑战无法很好地解决多幕科建模：（1）在多种情况下缺乏细粒度和脱钩的信息传输控制。 （2）整个空间样品的开发不足。 （3）项目的多幕科代表性分解问题。在本文中，我们提出了一种情景自适应和自我监督（SASS）模型，以解决上述三个挑战。具体而言，我们使用场景自适应门单元设计了多层场景自适应转移（ML-SAT）模块，以相当细粒度且脱钩的方式选择并融合从整个场景到单个场景的有效传输信息。为了充分利用整个空间样品的功能，引入了包括预训练和微调在内的两阶段训练过程。预训练阶段是基于场景监督的对比学习任务，并从标记和未标记的数据空间中绘制的培训样本。该模型是在用户端和项目方面对称创建的，因此我们可以在不同情况下获得项目的区分表示。公共和工业数据集的广泛实验结果证明了SASS模型比最先进的方法的优越性。该模型还可以在在线A/B测试中平均每位用户的观看时间提高8.0％以上。

工业推荐系统通常提出包含来自多个子系统的结果的混合列表。实际上，每个子系统都使用自己的反馈数据进行了优化，以避免不同子系统之间的干扰。但是，我们认为，由于\ textit {数据稀疏}，此类数据使用可能会导致次优的在线性能。为了减轻此问题，我们建议从包含网络尺度和长期印象数据的\ textit {super-domain}中提取知识，并进一步协助在线推荐任务（下游任务）。为此，我们提出了一个新颖的工业\ textbf {k} nowl \ textbf {e} dge \ textbf {e} xtraction和\ textbf {p} lugging（\ textbf {keep}）框架，这是一个两阶段的框架其中包括1）超级域上有监督的预训练知识提取模块，以及2）将提取的知识纳入下游模型的插件网络。这使得对在线推荐的逐步培训变得友好。此外，我们设计了一种有效的经验方法，用于在大规模工业系统中实施Keep时保持和介绍我们的动手经验。在两个现实世界数据集上进行的实验表明，保持可以实现有希望的结果。值得注意的是，Keep也已部署在阿里巴巴的展示广告系统上，带来了$+5.4 \％$ CTR和$+4.7 \％\％$ rpm的提升。

为了开发有效的顺序推荐人，提出了一系列序列表示学习（SRL）方法来模拟历史用户行为。大多数现有的SRL方法都依赖于开发序列模型以更好地捕获用户偏好的明确项目ID。尽管在某种程度上有效，但由于通过明确建模项目ID的限制，这些方法很难转移到新的建议方案。为了解决这个问题，我们提出了一种新颖的通用序列表示方法，名为UNISREC。提出的方法利用项目的文本在不同的建议方案中学习可转移表示形式。为了学习通用项目表示形式，我们设计了一个基于参数美白和Experts的混合物增强的适配器的轻巧项目编码体系结构。为了学习通用序列表示，我们通过抽样多域负面因素介绍了两个对比的预训练任务。借助预训练的通用序列表示模型，我们的方法可以在电感或跨传导设置下以参数有效的方式有效地传输到新的推荐域或平台。在现实世界数据集上进行的广泛实验证明了该方法的有效性。尤其是，我们的方法还导致跨平台环境中的性能提高，显示了所提出的通用SRL方法的强可传递性。代码和预培训模型可在以下网址获得：https：//github.com/rucaibox/unisrec。

传统的工业推荐人通常在单一的业务领域培训，然后为此域名服务。但是，在大型商业平台中，通常情况下，推荐人需要为多个业务域提供点击率（CTR）预测。不同的域具有重叠的用户组和项目。因此，存在共性。由于特定用户组具有差异，并且用户行为可能在各种商业域中改变，因此还存在区别。区别导致特定于域的数据分布，使单个共享模型很难在所有域上运行良好。要学习一个有效且高效的CTR模型，可以同时处理多个域，我们呈现明星拓扑自适应推荐（Star）。具体而言，STAR具有星形拓扑，由共享中心参数和特定于域的参数组成。共享参数用于学习所有域的共性，以及域特定参数捕获域区分以进行更精细的预测。给定来自不同商业域的请求，Star可以根据域特征调节其参数。生产数据的实验结果验证了所提出的明星模型的优越性。自2020年以来，STAR已部署在阿里巴巴的显示广告系统中，从RPM获得平均8.0％的改进和6.0％（每米尔勒收入）。

与淘宝和亚马逊等大型平台不同，由于严重的数据分配波动（DDF）问题，在小规模推荐方案中开发CVR模型是更具挑战性的。 DDF防止现有的CVR模型自生效以来，因为1）需要几个月的数据需要足够小的场景训练CVR模型，导致培训和在线服务之间的相当大的分布差异; 2）电子商务促销对小型情景产生了更大的影响，导致即将到期的时间段的不确定性。在这项工作中，我们提出了一种名为MetacVR的新型CVR方法，从Meta学习的角度解决了DDF问题。首先，由特征表示网络（FRN）和输出层组成的基础CVR模型是精心设计和培训的，在几个月内与样品充分设计和培训。然后，我们将不同数据分布的时间段视为不同的场合，并使用相应的样本和预先训练的FRN获得每个场合的正面和负原型。随后，设计了距离度量网络（DMN）以计算每个样本和所有原型之间的距离度量，以便于减轻分布不确定性。最后，我们开发了一个集合预测网络（EPN），该网络（EPN）包含FRN和DMN的输出以进行最终的CVR预测。在这个阶段，我们冻结了FRN并用最近一段时间的样品训练DMN和EPN，因此有效地缓解了分布差异。据我们所知，这是在小规模推荐方案中针对DDF问题的CVR预测第一次研究。实验结果对现实世界数据集验证了我们的MetacVR和Online A / B测试的优越性也表明我们的模型在PCVR上实现了11.92％的令人印象深刻的收益和GMV的8.64％。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

跨域冷启动推荐是推荐系统越来越新兴的问题。现有的作品主要专注于解决跨域用户推荐或冷启动内容推荐。但是，当新域在早期发展时，它具有类似于源域的潜在用户，但互动较少。从源域中学习用户的偏好并将其转移到目标域中是至关重要的，特别是在具有有限用户反馈的新到达内容上。为了弥合这一差距，我们提出了一个自训练的跨域用户偏好学习（夫妻）框架，针对具有各种语义标签的冷启动推荐，例如视频的项目或视频类型。更具体地，我们考虑三个级别的偏好，包括用户历史，用户内容和用户组提供可靠的推荐。利用由域感知顺序模型表示的用户历史，将频率编码器应用于用于用户内容偏好学习的底层标记。然后，建议具有正交节点表示的分层存储器树以进一步概括域域的用户组偏好。整个框架以一种对比的方式更新，以先进先出（FIFO）队列获得更具独特的表示。两个数据集的广泛实验展示了用户和内容冷启动情况的夫妇效率。通过部署在线A / B一周测试，我们表明夫妇的点击率（CTR）优于淘宝应用程序的其他基线。现在该方法在线为跨域冷微视频推荐服务。

跨域建议可以帮助缓解传统的连续推荐系统中的数据稀疏问题。在本文中，我们提出了Recguru算法框架，以在顺序推荐中生成包含跨域的用户信息的广义用户表示，即使在两个域中的最小或没有公共用户时也是如此。我们提出了一种自我细心的AutoEncoder来导出潜在用户表示，以及域鉴别器，其旨在预测所产生的潜在表示的原点域。我们提出了一种新的逆势学习方法来训练两个模块，以使从不同域生成的用户嵌入到每个用户的单个全局Gur。学习的Gur捕获了用户的整体偏好和特征，因此可以用于增强行为数据并改进在涉及用户的任何单个域中的推荐。在两个公共交叉域推荐数据集以及从现实世界应用程序收集的大型数据集进行了广泛的实验。结果表明，Recguru提高了性能，优于各种最先进的顺序推荐和跨域推荐方法。收集的数据将被释放以促进未来的研究。

顺序推荐（SR）通过对用户在项目之间的过境方式进行建模来表征用户行为不断发展的模式。但是，简短的交互序列限制了现有SR的性能。为了解决这个问题，我们专注于本文中的跨域顺序推荐（CDSR），该建议旨在利用其他域中的信息来提高单个域的顺序建议性能。解决CDSR具有挑战性。一方面，如何保留单个领域的偏好以及整合跨域影响仍然是一个基本问题。另一方面，由于合并序列的长度有限，因此仅利用来自其他域的知识来完全解决数据稀疏问题。为了应对挑战，我们提出了DDGHM，这是CDSR问题的新型框架，其中包括两个主要模块，即双动态图形建模和混合度量训练。前者通过动态构造两级图，即局部图和全局图，捕获内域和域间顺序跃迁，并将它们与融合的细心门控机制结合在一起。后者通过采用混合度量学习来增强用户和项目表示形式，包括实现保持一致性和对比度度量的协作指标，以确保均匀性，以进一步减轻数据稀少性问题并提高预测准确性。我们在两个基准数据集上进行实验，结果证明了DDHMG的有效性。

在大多数现实世界中的推荐方案中，多种行为（例如，单击，添加到购物车，采购等）的多类型，这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性，因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是，不同的行为可能反映了用户偏好的不同方面，这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性，我们向多行为建议介绍了多功能学习。更具体地说，我们提出了一种新颖的粗到五个知识增强的多功能学习（CKML）框架，以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块，即粗粒兴趣提取（CIE）和细粒度的行为相关性（FBC），它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案，以在兴趣之间进一步分配每个行为。此外，我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。

促销活动在电子商务平台上变得更加重要和普遍，以吸引客户和提升销售。但是，推荐系统中的点击率（CTR）预测方法无法处理此类情况，因为：1）他们无法概括为服务，因为在线数据分布是不确定的，因为可能正在推出的促销潜在的促销; 2）在不够重视方案信号的情况下，它们无法学习在每个场景中共存的不同特征表示模式。在这项工作中，我们提出了方案自适应混合的专家（相同），这是一个简单而有效的模型，用于促销和正常情况。从技术上讲，它通过采用多个专家来学习专家来遵循专家混合的想法，这些特征表示通过注意机制通过特征门控网络（FGN）进行调制。为了获得高质量的表示，我们设计了一个堆叠的并行关注单元（SPAU），以帮助每个专家更好地处理用户行为序列。为了解决分布不确定性，从时间序列预测的角度精确地设计了一组场景信号，并馈入FGN，其输出与来自每个专家的特征表示连接，以学会注意。因此，特征表示的混合是自适应的场景和用于最终的CTR预测。通过这种方式，每个专家都可以学习鉴别的表示模式。据我们所知，这是第一次推广感知CTR预测的研究。实验结果对现实世界数据集验证了同一的优势。在线A / B测试也表现出同样的促销期间在CTR上的显着增益和5.94％的IPV，分别在正常日内为3.93％和6.57％。

社会建议利用社会关系来增强建议的代表性学习。大多数社会推荐模型都将用户互动（协作领域）和社会关系（社会领域）的用户表示统一。但是，这种方法可能无法模拟用户在两个域中的异质行为模式，从而损害了用户表示的表现力。在这项工作中，为了解决这种局限性，我们为社会建议提出了一个新颖的截面对比度学习框架DCREC。更具体地说，我们建议从项目和社会域中学习分开的用户表示。此外，分离的对比度学习旨在在分散的用户表示之间进行社交建议之间的知识转移。各种现实世界数据集的全面实验证明了我们提出的模型的优势。

在过去的几年中，短视频在淘宝等电子商务平台上见证了迅速的增长。为了确保内容的新鲜感，平台需要每天发布大量新视频，从而使传统的点击率（CTR）预测方法遇到了该项目冷启动问题。在本文中，我们提出了一种有效的图形引导功能传输系统的礼物，以完全利用加热视频的丰富信息，以补偿冷启动的视频。具体而言，我们建立了一个异质图，其中包含物理和语义链接，以指导从热视频到冷启动视频的功能传输过程。物理链接代表明确的关系，而语义链接衡量了两个视频的多模式表示的接近性。我们精心设计功能传输功能，以使图表上不同Metapaths的不同类型的转移功能（例如，ID表示和历史统计）。我们在大型现实世界数据集上进行了广泛的实验，结果表明，我们的礼品系统的表现明显优于SOTA方法，并在TAOBAO APP的主页上为CTR带来了6.82％的提升。

共享符号跨域顺序推荐（SCSR）任务旨在通过利用多个域中的混合用户行为推荐下一个项目。随着越来越多的用户倾向于在不同的平台上注册并与他人共享访问特定于域的服务，它正在引起极大的研究关注。现有关于SCSR的作品主要依赖于基于复发的神经网络（RNN）模型的采矿顺序模式，这些模型受到以下局限性：1）基于RNN的方法，基于RNN的方法绝大多数目标是发现单用户行为中的顺序依赖性。它们的表现不足以捕获SCSR中多个实体之间的关系。 2）所有现有方法通过潜在空间中的知识转移桥接两个域，并忽略显式的跨域图结构。 3）没有现有研究考虑项目之间的时间间隔信息，这对于表征不同项目和学习判别性表示的顺序建议至关重要。在这项工作中，我们提出了一种新的基于图的解决方案，即TIDA-GCN，以应对上述挑战。具体来说，我们首先将每个域中的用户和项目链接为图。然后，我们设计了一个域感知图形卷积网络，以学习用户特异性节点表示。为了充分说明用户对项目的域特异性偏好，进一步开发了两个有效的注意机制，以选择性地指导消息传递过程。此外，为了进一步增强项目和帐户级的表示学习，我们将时间间隔纳入消息传递中，并为学习项目的交互式特征设计一个帐户意识的自我发项模块。实验证明了我们提出的方法从各个方面的优越性。

图表神经网络（GNNS）已广泛应用于推荐任务，并获得了非常吸引人的性能。然而，大多数基于GNN的推荐方法在实践中遭受数据稀疏问题。同时，预训练技术在减轻了各个领域（如自然语言处理（NLP）和计算机视觉（CV）等域中的数据稀疏而取得了巨大成功。因此，图形预培训具有扩大基于GNN的建议的数据稀疏的巨大潜力。但是，预先培训GNN，建议面临独特的挑战。例如，不同推荐任务中的用户项交互图具有不同的用户和项目集，并且它们通常存在不同的属性。因此，在NLP和CV中常用的成功机制将知识从预训练任务转移到下游任务，例如共享所学习的嵌入式或特征提取器，而不是直接适用于现有的基于GNN的推荐模型。为了解决这些挑战，我们精致地设计了一个自适应图形预训练框架，用于本地化协作滤波（适应）。它不需要传输用户/项目嵌入式，并且能够跨越不同图的共同知识和每个图形的唯一性。广泛的实验结果表明了适应的有效性和优越性。

与传统的协作过滤方法相比，图表卷积网络可以明确地模拟用户 - 项目二分类图的节点之间的交互，并有效地使用高阶邻居，这使得图形神经网络能够获得更有效的嵌入品以获得推荐，例如推荐作为ngcf和lightgcn。然而，其表示非常易于相互作用的噪音。在响应这个问题时，SGL探讨了用户项目图上的自我监督学习，以提高GCN的鲁棒性。虽然有效，但我们发现SGL直接适用SIMCLR的比较学习框架。此框架可能不会直接适用于推荐系统的场景，并且没有充分考虑用户项交互的不确定性。在这项工作中，我们的目标是考虑充分建议制度的情景中对比学习的应用，使其更适合推荐任务。我们提出了一个监督的对比学习框架来预先列出用户项目二分钟图，然后微调图形卷积神经网络。具体而言，我们将在数据预处理期间比较用户和项目之间的相似性，然后在应用对比学习时，不仅将增强视图视为正样本，而且还将被视为正样品的一定数量的类似样品。 ，这与SIMCLR不同，他们以批量作为阴性样品处理其他样本。我们将这种学习方法术语定期为监督对比学习（SCL）并将其应用于最先进的LightGCN。另外，为了考虑节点交互的不确定性，我们还提出了一种新的数据增强方法，称为节点复制。

To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.

共享符合跨域顺序推荐（SCSR）是一项新兴而又具有挑战性的任务，在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络（RNN）和图神经网络（GNN），但他们忽略了一个事实，尽管多个用户共享一个帐户，但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，尽管现有的作品降低了较低的权重与无关紧要的相互作用，但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题，我们提出了一种基于增强学习的解决方案，即RL-ISN，该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言，要在“共享”方案中对帐户表示形式进行建模，基本推荐人首先将用户作为潜在用户的混合行为群，然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响，我们将域过滤器作为层次强化学习任务，在该任务中，使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能，我们对两个现实世界数据集进行了广泛的实验，并且实验结果证明了与最先进的建议方法相比，我们的RL-ISN方法的优越性。

学习用户序列行为嵌入非常复杂且充满挑战，因为随着时间的推移和用户功能的高尺寸，功能相互作用复杂。最近的新兴基金会模型，例如伯特及其变体，鼓励大量研究人员在该领域进行调查。但是，与自然语言处理（NLP）任务不同，用户行为模型的参数主要来自用户嵌入层，这使得大多数现有作品在训练大规模的通用用户嵌入中失败。此外，从多个下游任务中学到了用户表示，并且过去的研究工作无法解决Seesaw现象。在本文中，我们提出了SuperMoe，这是一个通用框架，旨在从多个任务中获取高质量的用户表示。具体而言，用户行为序列是由MOE Transformer编码的，因此我们可以将模型容量提高到数十亿个参数，甚至可以将模型能力提高到数万亿个参数。为了在跨多个任务学习时处理Seesaw现象，我们使用任务指标设计了新的损失功能。我们在公共数据集和私人现实世界业务方案上进行了广泛的离线实验。我们的方法在最新模型上取得了最佳性能，结果证明了我们框架的有效性。

推荐系统预测用户在项目中的潜在兴趣，其中核心是学习用户/项目嵌入品。然而，它遭受了数据稀疏问题，跨域推荐可以缓解。但是，大多数事先有效共同学习源域和目标域模型，或者需要侧面特征。然而，由于学习的嵌入由包含偏置信息的源域主导，共同训练和侧面特征将影响目标域上的预测。受到当代艺术在图形表示学习的预训练中的启发，我们提出了一种用于跨域推荐的预先训练和微调图。我们设计了一种用于跨域推荐（PCREC）的新型预训练图神经网络，其采用了图形编码器的对比自我监督的预训练。然后，我们传输预先训练的图形编码器以初始化目标域上的节点嵌入，这有益于目标域上的单个域推荐系统的微调。实验结果表明了PCRec的优越性。详细分析验证了PCRec在传输信息中的优越性，同时避免来自源域的偏差。