在匹配阶段和排名阶段，用户建模在匹配阶段和排名阶段，在客户体验和商业收入方面起着基本作用。如何从其历史行为序列有效地提取用户的多息，以改善推荐结果的相关性和个性化仍然是用户建模的开放问题。最多的现有深度基于深度学习的方法利用项目ID和类别ID，但忽略了罚款 - 粗糙的特点，如颜色和伴侣，其妨碍了模拟了用户兴趣的细粒度。在此文件中，我们提出了多种兴趣和精细粒度净工作（MFN），该净值（MFN）解决了用户的多种和细粒度的兴趣和构建来自相似关系的模型和用户的多重兴趣之间的组合关系。特殊地，用于对相似关系进行建模，我们利用两组嵌入式，其中一个是从预先训练的型号（例如手套）的固定嵌入注意重量和另一个是一起使用MFN培训的可锻炼嵌入。为模拟组合关系，自闭门层S被利用以构建不同兴趣表现的高阶组合。在网络的构建中，我们使用注意机制设计一个兴趣提取模块，以捕获来自用户历史行为序列的多个兴趣表现，并利用辅助损失来提高利益表示的区别。然后应用分层网络以模拟不同粒度和目标项的多息媒体矢量之间的关注关系。我们评估公共和工业数据集的MFNON。实验结果表明，所提出的MFN实现的性能优于其他存在的代表方法。

在大多数现实世界中的推荐方案中，多种行为（例如，单击，添加到购物车，采购等）的多类型，这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性，因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是，不同的行为可能反映了用户偏好的不同方面，这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性，我们向多行为建议介绍了多功能学习。更具体地说，我们提出了一种新颖的粗到五个知识增强的多功能学习（CKML）框架，以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块，即粗粒兴趣提取（CIE）和细粒度的行为相关性（FBC），它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案，以在兴趣之间进一步分配每个行为。此外，我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

事实证明，丰富的用户行为数据对于点击率（CTR）预测应用程序具有很高的价值，尤其是在工业推荐，搜索或广告系统中。但是，由于在线服务时间的严格要求，现实世界系统不仅可以充分利用长期用户行为。大多数以前的作品都采用基于检索的策略，在此策略中，首先检索了少数用户行为以进行后续注意。但是，基于检索的方法是最佳的，会造成或多或少的信息损失，并且很难平衡检索算法的有效性和效率。在本文中，我们提出了SDIM（基于采样的深度兴趣建模），这是一种简单但有效的基于采样的端到端方法，用于建模长期用户行为。我们从多个哈希功能中采样，以生成候选项目和用户行为序列中的每个项目的哈希签名，并通过直接收集与具有相同哈希签名的候选项目相关的行为项来获得用户兴趣。我们在理论上和实验上表明，所提出的方法在基于标准的基于注意力的模型上对长期用户行为进行建模，同时更快。我们还介绍了系统中SDIM的部署。具体而言，我们通过设计一个名为BSE（行为序列编码）的单独模块（行为序列编码），将行为序列哈希（这是最耗时的部分）解脱出最耗时的部分。 BSE对于CTR服务器是无延迟的，使我们能够建模极长的用户行为。进行离线和在线实验，以证明SDIM的有效性。 SDIM现在已在线部署在Meituan应用程序的搜索系统中。

关于点击率（CTR）预测的最新研究通过对更长的用户行为序列进行建模，已达到新的水平。除其他外，两阶段的方法是用于工业应用的最先进的解决方案（SOTA）。两阶段方法首先训练检索模型，以事先截断长行为序列，然后使用截短序列训练CTR模型。但是，检索模型和CTR模型是分别训练的。因此，CTR模型中检索到的子序列不准确，它降低了最终性能。在本文中，我们提出了一个端到端范式来建模长行为序列，与现有模型相比，该序列能够实现卓越的性能以及出色的成本效益。我们的贡献是三倍：首先，我们提出了一个名为ETA-NET的基于哈希的有效目标（TA）网络，以基于低成本的位置操作来启用端到端的用户行为检索。提出的ETA-NET可以通过顺序数据建模的数量级来降低标准TA的复杂性。其次，我们建议将通用系统体系结构作为一种可行的解决方案，用于在工业系统上部署ETA-NET。特别是，与SOTA两阶段方法相比，ETA-NET已部署在TAOBAO的推荐系统上，并在CTR上带来了1.8％的升降机和3.1％的升降机（GMV）。第三，我们在离线数据集和在线A/B测试上进行了广泛的实验。结果证明，在CTR预测性能和在线成本效益方面，所提出的模型大大优于现有的CTR模型。 ETA-NET现在为TAOBAO的主要流量提供服务，每天为数亿用户提供服务。

建模用户从历史行为中的动态偏好在于现代推荐系统的核心。由于用户兴趣的多样性，最近的进步建议多功能网络将历史行为编码为多个兴趣向量。在实际情况下，通常会一起检索相应的捕获兴趣项目，以获取曝光并收集到培训数据中，从而产生兴趣之间的依赖性。不幸的是，多息网络可能错误地集中在被捕获的利益之间的微妙依赖性上。被这些依赖性误导了，捕获了无关的利益和目标之间的虚假相关性，从而导致训练和测试分布不匹配时预测结果不稳定。在本文中，我们介绍了广泛使用的Hilbert-Schmidt独立标准（HSIC）来衡量被捕获的利益之间的独立性程度，并经验表明，HSIC的持续增加可能会损害模型性能。基于此，我们提出了一个新颖的多息网络，称为深稳定的多功能学习（Desmil），该网络试图通过学习权重以训练样本的学习权重消除捕获的兴趣中微妙的依赖性的影响因果关系。我们对公共建议数据集，大规模工业数据集和合成数据集进行了广泛的实验，这些数据集模拟了分布数据的数据集。实验结果表明，我们提出的Desmil的表现优于最先进的模型。此外，我们还进行了全面的模型分析，以揭示Desmil在一定程度上工作的原因。

促销活动在电子商务平台上变得更加重要和普遍，以吸引客户和提升销售。但是，推荐系统中的点击率（CTR）预测方法无法处理此类情况，因为：1）他们无法概括为服务，因为在线数据分布是不确定的，因为可能正在推出的促销潜在的促销; 2）在不够重视方案信号的情况下，它们无法学习在每个场景中共存的不同特征表示模式。在这项工作中，我们提出了方案自适应混合的专家（相同），这是一个简单而有效的模型，用于促销和正常情况。从技术上讲，它通过采用多个专家来学习专家来遵循专家混合的想法，这些特征表示通过注意机制通过特征门控网络（FGN）进行调制。为了获得高质量的表示，我们设计了一个堆叠的并行关注单元（SPAU），以帮助每个专家更好地处理用户行为序列。为了解决分布不确定性，从时间序列预测的角度精确地设计了一组场景信号，并馈入FGN，其输出与来自每个专家的特征表示连接，以学会注意。因此，特征表示的混合是自适应的场景和用于最终的CTR预测。通过这种方式，每个专家都可以学习鉴别的表示模式。据我们所知，这是第一次推广感知CTR预测的研究。实验结果对现实世界数据集验证了同一的优势。在线A / B测试也表现出同样的促销期间在CTR上的显着增益和5.94％的IPV，分别在正常日内为3.93％和6.57％。

点击率（CTR）预测旨在估算用户单击项目的可能性，是在线广告的重要组成部分。现有方法主要尝试从用户的历史行为中挖掘用户兴趣，这些行为包含用户直接交互的项目。尽管这些方法取得了长足的进步，但通常会受到推荐系统的直接曝光和不活动相互作用的限制，因此无法挖掘所有潜在的用户利益。为了解决这些问题，我们提出了基于邻居相互作用的CTR预测（NI-CTR），该预测在异质信息网络（HIN）设置下考虑此任务。简而言之，基于邻居相互作用的CTR预测涉及HIN目标用户项目对的本地邻域以预测其链接。为了指导当地社区的表示形式，我们从显式和隐性的角度考虑了本地邻里节点之间的不同类型的相互作用，并提出了一种新颖的图形掩盖变压器（GMT），以有效地将这些类型的交互结合到为目标用户项目对生成高度代表性的嵌入。此外，为了提高针对邻居采样的模型鲁棒性，我们在嵌入邻里的嵌入式上执行了一致性正规化损失。我们对数百万个实例进行了两个现实世界数据集进行了广泛的实验，实验结果表明，我们所提出的方法的表现明显优于最先进的CTR模型。同时，全面的消融研究验证了我们模型每个组成部分的有效性。此外，我们已经在具有数十亿用户的微信官方帐户平台上部署了此框架。在线A/B测试表明，针对所有在线基线的平均CTR改进为21.9。

用户嵌入（用户的矢量化表示）对于推荐系统至关重要。已经提出了许多方法来为用户构建代表性，以找到用于检索任务的类似项目，并且已被证明在工业推荐系统中也有效。最近，人们发现使用多个嵌入式代表用户的能力，希望每个嵌入代表用户对某个主题的兴趣。通过多息表示，重要的是要对用户对不同主题的喜好进行建模以及偏好如何随时间变化。但是，现有方法要么无法估算用户对每个利息的亲和力，要么不合理地假设每个用户的每一个利息随时间而逐渐消失，从而损害了候选人检索的召回。在本文中，我们提出了多功能偏好（MIP）模型，这种方法不仅可以通过更有效地使用用户的顺序参与来为用户产生多种利益因此，可以按比例地从每个利息中检索候选人。在各种工业规模的数据集上进行了广泛的实验，以证明我们方法的有效性。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

对于许多在线平台（例如，视频共享网站，电子商务系统），学习动态用户的偏好已成为越来越重要的组成部分，以提出顺序建议。先前的工作已经做出了许多努力，以基于各种体系结构（例如，经常性的神经网络和自我注意机制）对用户交互序列进行建模项目项目过渡。最近出现的图形神经网络还用作有用的骨干模型，可在顺序推荐方案中捕获项目依赖性。尽管它们有效，但现有的方法却远远集中在具有单一相互作用类型的项目序列表示上，因此仅限于捕获用户和项目之间的动态异质关系结构（例如，页面视图，添加最佳选择，购买，购买）。为了应对这一挑战，我们设计了多行为超毛力增强的变压器框架（MBHT），以捕获短期和长期跨型行为依赖性。具体而言，多尺度变压器配备了低级别的自我注意力，可从细粒度和粗粒水平的共同编码行为感知的顺序模式。此外，我们将全局多行为依赖性纳入HyperGraph神经体系结构中，以自定义的方式捕获层次长期项目相关性。实验结果证明了我们MBHT在不同环境中的各种最新推荐解决方案的优势。进一步的消融研究证明了我们的模型设计和新MBHT框架的好处的有效性。我们的实施代码在以下网址发布：https：//github.com/yuh-yang/mbht-kdd22。

在多种方案中，多幕科建议专门为用户检索相关项目，这在工业推荐系统中无处不在。这些方案享有用户和项目中的一部分重叠，而不同方案的分布则不同。多阶段建模的关键点是有效地最大程度地利用全幕纳罗来信息，并在多种情况下为用户和项目生成适应性表示。我们总结了三个实用挑战，这些挑战无法很好地解决多幕科建模：（1）在多种情况下缺乏细粒度和脱钩的信息传输控制。 （2）整个空间样品的开发不足。 （3）项目的多幕科代表性分解问题。在本文中，我们提出了一种情景自适应和自我监督（SASS）模型，以解决上述三个挑战。具体而言，我们使用场景自适应门单元设计了多层场景自适应转移（ML-SAT）模块，以相当细粒度且脱钩的方式选择并融合从整个场景到单个场景的有效传输信息。为了充分利用整个空间样品的功能，引入了包括预训练和微调在内的两阶段训练过程。预训练阶段是基于场景监督的对比学习任务，并从标记和未标记的数据空间中绘制的培训样本。该模型是在用户端和项目方面对称创建的，因此我们可以在不同情况下获得项目的区分表示。公共和工业数据集的广泛实验结果证明了SASS模型比最先进的方法的优越性。该模型还可以在在线A/B测试中平均每位用户的观看时间提高8.0％以上。

点击率（CTR）预测的目标是预测用户单击项目的可能性，在推荐系统中变得越来越重要。最近，一些具有自动从他/她的行为中提取用户兴趣的深度学习模型取得了巨大的成功。在这些工作中，注意机制用于选择用户在历史行为中感兴趣的项目，从而提高CTR预测指标的性能。通常，这些细心的模块可以通过使用梯度下降与基本预测变量共同训练。在本文中，我们将用户兴趣建模视为特征选择问题，我们称之为用户兴趣选择。对于这样一个问题，我们在包装法的框架下提出了一种新颖的方法，该方法被称为Meta-wrapper。更具体地说，我们使用可区分的模块作为包装运算符，然后将其学习问题重新提出为连续的二元优化。此外，我们使用元学习算法来求解优化并理论上证明其收敛性。同时，我们还提供了理论分析，以表明我们提出的方法1）效率基于包装器的特征选择，而2）可以更好地抵抗过度拟合。最后，在三个公共数据集上进行的广泛实验表明了我们方法在提高CTR预测的性能方面的优势。

特征交互已被识别为机器学习中的一个重要问题，这对于点击率（CTR）预测任务也是非常重要的。近年来，深度神经网络（DNN）可以自动从原始稀疏功能中学习隐式非线性交互，因此已广泛用于工业CTR预测任务。然而，在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量（例如，笛卡尔产品）而不会损失。例如，简单地尝试学习特征A和特征B <A，B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型，包括基于分解机（FM）的模型及其变体。在本文中，我们提出了一个共同行动网络（CAN），以近似于显式成对特征交互，而不会引入太多的附加参数。更具体地，给出特征A及其相关的特征B，通过学习两组参数来建模它们的特征交互：1）嵌入特征A和2）以表示特征B的多层Perceptron（MLP）。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作，并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明，可以优于最先进的CTR模型和笛卡尔产品方法。此外，可以在阿里巴巴的显示广告系统中部署，获得12 \％的CTR和8 \％关于每个Mille（RPM）的收入，这是对业务的巨大改进。

学习捕获特征关系有效，有效地是现代推荐系统的点击率（CTR）预测的必要条件。大多数现有的CTR预测方法通过繁琐的手动设计的低阶交互或通过不灵活和低效的高阶交互来模型这样的关系，这两者都需要额外的DNN模块进行隐式交互建模。在本文中，我们提出了一种新颖的插件操作，动态参数化操作（DPO），以便明智地学习显式和隐式交互实例。我们认为DPO进入DNN模块和注意力模块可以分别有利于CTR预测中的两个主要任务，增强了基于特征的建模和改进用户行为建模的适应性与实例 - 方向性。我们的动态参数化网络在公共数据集和现实世界生产数据集的离线实验中显着优于最先进的方法，以及在线A / B测试。此外，建议的动态参数化网络已经在世界上最大的电子商务公司之一的排名系统中部署，服务于数亿个活跃用户的主要流量。

A large number of empirical studies on applying self-attention models in the domain of recommender systems are based on offline evaluation and metrics computed on standardized datasets, without insights on how these models perform in real life scenarios. Moreover, many of them do not consider information such as item and customer metadata, although deep-learning recommenders live up to their full potential only when numerous features of heterogeneous types are included. Also, typically recommendation models are designed to serve well only a single use case, which increases modeling complexity and maintenance costs, and may lead to inconsistent customer experience. In this work, we present a reusable Attention-based Fashion Recommendation Algorithm (AFRA), that utilizes various interaction types with different fashion entities such as items (e.g., shirt), outfits and influencers, and their heterogeneous features. Moreover, we leverage temporal and contextual information to address both short and long-term customer preferences. We show its effectiveness on outfit recommendation use cases, in particular: 1) personalized ranked feed; 2) outfit recommendations by style; 3) similar item recommendation and 4) in-session recommendations inspired by most recent customer actions. We present both offline and online experimental results demonstrating substantial improvements in customer retention and engagement.

顺序推荐通过历史互动来预测用户的下一个行为。推荐更长的序列可以提高建议准确性并提高个性化程度。随着序列的延长，现有作品尚未解决以下两个主要挑战。首先，在序列长度增加时，很难对远程内部序列依赖性进行建模。其次，它需要有效的内存和计算速度。在本文中，我们提出了一个稀疏的细心内存（SAM）网络，以进行长顺序用户行为建模。 SAM支持对用户行为序列的有效培训和实时推断，其长度为数千。在SAM中，我们将目标项目建模为查询和长序列作为知识数据库，在该数据库中，前者从后者中持续传达相关信息。 SAM同时模拟了目标序列依赖性和远程内部依赖性，其复杂性和O（1）顺序更新数量，只能通过具有O（l^2）复杂性的自我注意机制来实现这一目标。广泛的经验结果表明，我们提出的解决方案不仅在长期用户行为建模中而且在短序列建模中也有效。 SAM按照长度为1000的序列实施，成功部署在最大的国际电子商务平台之一上。此推论时间在30毫秒内，在线A/B测试的点击率提高了7.30％。据我们所知，这是第一个端到端的长用户序列建模框架，它以上述效率程度对序列和目标序列依赖性进行建模，并成功地部署在大型实时工业建议上系统。

共享符号跨域顺序推荐（SCSR）任务旨在通过利用多个域中的混合用户行为推荐下一个项目。随着越来越多的用户倾向于在不同的平台上注册并与他人共享访问特定于域的服务，它正在引起极大的研究关注。现有关于SCSR的作品主要依赖于基于复发的神经网络（RNN）模型的采矿顺序模式，这些模型受到以下局限性：1）基于RNN的方法，基于RNN的方法绝大多数目标是发现单用户行为中的顺序依赖性。它们的表现不足以捕获SCSR中多个实体之间的关系。 2）所有现有方法通过潜在空间中的知识转移桥接两个域，并忽略显式的跨域图结构。 3）没有现有研究考虑项目之间的时间间隔信息，这对于表征不同项目和学习判别性表示的顺序建议至关重要。在这项工作中，我们提出了一种新的基于图的解决方案，即TIDA-GCN，以应对上述挑战。具体来说，我们首先将每个域中的用户和项目链接为图。然后，我们设计了一个域感知图形卷积网络，以学习用户特异性节点表示。为了充分说明用户对项目的域特异性偏好，进一步开发了两个有效的注意机制，以选择性地指导消息传递过程。此外，为了进一步增强项目和帐户级的表示学习，我们将时间间隔纳入消息传递中，并为学习项目的交互式特征设计一个帐户意识的自我发项模块。实验证明了我们提出的方法从各个方面的优越性。

瀑布推荐系统（RS）是移动应用程序中RS的流行形式，是推荐的项目流，这些项目由连续页面组成，可以通过滚动浏览。在Waterfall RS中，当用户完成浏览页面时，Edge（例如，手机）将向Cloud Server发送请求，以获取新的建议页面，称为分页请求机制。 RSS通常将大量项目放入一页中，以减少众多分页请求中的过度资源消耗，但是，这将降低RSS根据用户的实时兴趣及时续订建议的能力，并导致贫穷的用户。经验。直观地，在页面内插入其他请求以更新频率的建议可以减轻问题。但是，以前的尝试，包括非自适应策略（例如，统一插入请求）最终会导致资源过度消费。为此，我们设想了一项名为智能请求策略设计（IRSD）的Edge Intelligence的新学习任务。它旨在通过根据用户的实时意图确定请求插入的适当情况来提高瀑布RSS的有效性。此外，我们提出了一种新的自适应请求插入策略的范式，名为基于Uplift的On-Ending Smart请求框架（AdareQuest）。 AdareQuest 1）通过将实时行为与基于基于注意力的神经网络相匹配的历史兴趣来捕获用户意图的动态变化。 2）估计根据因果推理插入的请求带来的用户购买的反事实提升。 3）通过在在线资源约束下最大化效用功能来确定最终请求插入策略。我们在离线数据集和在线A/B测试上进行了广泛的实验，以验证AdareQuest的有效性。