在信息爆炸的时代，推荐系统通过促进内容探索在人们的日常生活中起着重要作用。众所周知，用户的活动性，即行为数量，倾向于遵循长尾分布，大多数用户的积极性低。在实践中，我们观察到，在联合培训后，尾巴用户的质量推荐率明显低于首席用户。我们进一步确定，由于数据有限，因此在尾巴用户上训练的模型仍然取得了较低的结果。尽管长尾分布在推荐系统中无处不在，但在研究和行业中，提高尾巴用户的推荐性能仍然仍然是挑战。直接应用长尾分配的相关方法可能有可能伤害首席用户的经验，这是不起作用的，因为一小部分具有高积极性的首席用户贡献了平台收入的一部分。在本文中，我们提出了一种新颖的方法，可以显着提高尾巴用户的建议性能，同时至少在基本模型上为首席用户提供至少可比的性能。这种方法的本质是一种新颖的梯度聚合技术，该技术将所有用户共享的常识知识分为主干模型，然后为Head用户和Tail用户个性化提供单独的插件预测网络。至于常识学习，我们利用因果关系理论的向后调整来消除梯度估计，从而掩盖了混杂因素的骨干训练，即用户的积极性。我们对两个公共建议基准数据集和一个从支撑台平台收集的大规模工业数据集进行了广泛的实验。实证研究验证了我们方法的合理性和有效性。

点击率（CTR）预测的目标是预测用户单击项目的可能性，在推荐系统中变得越来越重要。最近，一些具有自动从他/她的行为中提取用户兴趣的深度学习模型取得了巨大的成功。在这些工作中，注意机制用于选择用户在历史行为中感兴趣的项目，从而提高CTR预测指标的性能。通常，这些细心的模块可以通过使用梯度下降与基本预测变量共同训练。在本文中，我们将用户兴趣建模视为特征选择问题，我们称之为用户兴趣选择。对于这样一个问题，我们在包装法的框架下提出了一种新颖的方法，该方法被称为Meta-wrapper。更具体地说，我们使用可区分的模块作为包装运算符，然后将其学习问题重新提出为连续的二元优化。此外，我们使用元学习算法来求解优化并理论上证明其收敛性。同时，我们还提供了理论分析，以表明我们提出的方法1）效率基于包装器的特征选择，而2）可以更好地抵抗过度拟合。最后，在三个公共数据集上进行的广泛实验表明了我们方法在提高CTR预测的性能方面的优势。

历史互动是推荐模型培训的默认选择，通常表现出高稀疏性，即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本，并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式，在训练过程中不可避免地会误标记一些潜在的互动，这将损害模型的保真度，阻碍模型回忆起错误标签的项目，尤其是长尾尾。在这项工作中，我们从新的不确定性的新角度研究了标签的问题，该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性，并接受了不确定性建模。为此，我们提出了一个新的不确定性不确定性建议（AUR）框架，该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论，我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力，因此AUR根据不确定性提出了建议，该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR：来自主流模型体系结构的矩阵分解（MF），LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果，尤其是在长尾项目上。

在推荐系统中，一个普遍的挑战是冷门问题，在系统中，相互作用非常有限。为了应对这一挑战，最近，许多作品将元优化的想法介绍到建议方案中，即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数，并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识，以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是，以前的作品表明，推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能，但公平性问题在很大程度上被忽略了。在本文中，我们提出了一个名为Clover的全面的公平元学习框架，以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平，反事实公平和推荐系统中的群体公平，并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式，适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明，三叶草可以实现全面的公平性，而不会恶化整体的冷淡建议性能。

跨域冷启动推荐是推荐系统越来越新兴的问题。现有的作品主要专注于解决跨域用户推荐或冷启动内容推荐。但是，当新域在早期发展时，它具有类似于源域的潜在用户，但互动较少。从源域中学习用户的偏好并将其转移到目标域中是至关重要的，特别是在具有有限用户反馈的新到达内容上。为了弥合这一差距，我们提出了一个自训练的跨域用户偏好学习（夫妻）框架，针对具有各种语义标签的冷启动推荐，例如视频的项目或视频类型。更具体地，我们考虑三个级别的偏好，包括用户历史，用户内容和用户组提供可靠的推荐。利用由域感知顺序模型表示的用户历史，将频率编码器应用于用于用户内容偏好学习的底层标记。然后，建议具有正交节点表示的分层存储器树以进一步概括域域的用户组偏好。整个框架以一种对比的方式更新，以先进先出（FIFO）队列获得更具独特的表示。两个数据集的广泛实验展示了用户和内容冷启动情况的夫妇效率。通过部署在线A / B一周测试，我们表明夫妇的点击率（CTR）优于淘宝应用程序的其他基线。现在该方法在线为跨域冷微视频推荐服务。

建模用户从历史行为中的动态偏好在于现代推荐系统的核心。由于用户兴趣的多样性，最近的进步建议多功能网络将历史行为编码为多个兴趣向量。在实际情况下，通常会一起检索相应的捕获兴趣项目，以获取曝光并收集到培训数据中，从而产生兴趣之间的依赖性。不幸的是，多息网络可能错误地集中在被捕获的利益之间的微妙依赖性上。被这些依赖性误导了，捕获了无关的利益和目标之间的虚假相关性，从而导致训练和测试分布不匹配时预测结果不稳定。在本文中，我们介绍了广泛使用的Hilbert-Schmidt独立标准（HSIC）来衡量被捕获的利益之间的独立性程度，并经验表明，HSIC的持续增加可能会损害模型性能。基于此，我们提出了一个新颖的多息网络，称为深稳定的多功能学习（Desmil），该网络试图通过学习权重以训练样本的学习权重消除捕获的兴趣中微妙的依赖性的影响因果关系。我们对公共建议数据集，大规模工业数据集和合成数据集进行了广泛的实验，这些数据集模拟了分布数据的数据集。实验结果表明，我们提出的Desmil的表现优于最先进的模型。此外，我们还进行了全面的模型分析，以揭示Desmil在一定程度上工作的原因。

考虑到用户项目网络中幂律分布的流行率，双曲线空间最近引起了人们的关注，并在推荐系统中获得了令人印象深刻的性能。双曲线推荐的优点在于，其指数增加的能力非常适合描述幂律分布式用户项目网络，而欧几里得等效的不足。尽管如此，尚不清楚双曲模型可以有效地推荐哪些项目，哪些项目不能。为了解决上述问题，我们采用最基本的建议技术，将协作过滤作为一种媒介，以研究双曲线和欧几里得建议模型的行为。结果表明，（1）尾部在双曲线空间中比在欧几里得空间中更重点，但是仍然有足够的改进空间。 （2）头部物品在双曲线空间中受到适度的关注，这可以大大改善； （3）尽管如此，双曲线模型比欧几里得模型表现出更具竞争力的性能。在上述观察结果的驱动下，我们设计了一种新颖的学习方法，称为双曲线信息合作过滤（HICF），旨在弥补头部项目的建议有效性，同时提高尾部项目的性能。主要的想法是调整双曲线的排名学习，使其拉力和推动程序几何了解，并为学习头和尾部的学习提供信息指导。广泛的实验备份了分析结果，还显示了该方法的有效性。这项工作对于个性化的建议很有价值，因为它揭示了双曲线空间有助于建模尾部项目，这通常代表用户定制的偏好或新产品。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

因果图作为因果建模的有效和强大的工具，通常被假定为有向的无环图（DAG）。但是，推荐系统通常涉及反馈循环，该反馈循环定义为推荐项目的循环过程，将用户反馈纳入模型更新以及重复该过程。结果，重要的是将循环纳入因果图中，以准确地对推荐系统进行动态和迭代数据生成过程。但是，反馈回路并不总是有益的，因为随着时间的流逝，它们可能会鼓励越来越狭窄的内容暴露，如果无人看管的话，可能会导致回声室。结果，重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中，我们设计了一个带有循环的因果图，以描述推荐的动态过程。然后，我们采取马尔可夫工艺来分析回声室的数学特性，例如导致回声腔的条件。受理论分析的启发，我们提出了一个动态的因果协作过滤（$ \ partial $ ccf）模型，该模型估算了用户基于后门调整的项目的干预后偏好，并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验，结果表明，我们的框架可以比其他最先进的框架更好地减轻回声室，同时通过基本建议模型实现可比的建议性能。

To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.

推荐系统通常会从各种用户行为中学习用户兴趣，包括点击和点击后行为（例如，喜欢和喜欢）。但是，这些行为不可避免地表现出受欢迎程度的偏见，从而导致一些不公平的问题：1）对于具有相似质量，更受欢迎的物品的物品会获得更多的曝光； 2）更糟糕的是，受欢迎程度较低的流行物品可能会获得更多的曝光率。现有关于缓解流行偏见的工作会盲目消除偏见，通常忽略项目质量的影响。我们认为，不同用户行为（例如，转换率）之间的关系实际上反映了项目质量。因此，为了处理不公平的问题，我们建议通过考虑多种用户行为来减轻流行性偏见。在这项工作中，我们研究了多行为推荐中相互作用生成过程背后的因果关系。具体来说，我们发现：1）项目受欢迎程度是暴露的项目和用户的点击交互之间的混杂因素，导致第一个不公平； 2）一些隐藏的混杂因素（例如，项目生产者的声誉）影响了项目的流行和质量，导致第二次不公平。为了减轻这些混杂问题，我们提出了一个因果框架来估计因果效应，该因果效应利用后门调整以阻止混杂因素引起的后门路径。在推论阶段，我们消除了受欢迎程度的负面影响，并利用质量的良好效果进行推荐。在两个现实世界数据集上的实验验证了我们提出的框架的有效性，这在不牺牲建议准确性的情况下增强了公平性。

顺序推荐（SR）通过对用户在项目之间的过境方式进行建模来表征用户行为不断发展的模式。但是，简短的交互序列限制了现有SR的性能。为了解决这个问题，我们专注于本文中的跨域顺序推荐（CDSR），该建议旨在利用其他域中的信息来提高单个域的顺序建议性能。解决CDSR具有挑战性。一方面，如何保留单个领域的偏好以及整合跨域影响仍然是一个基本问题。另一方面，由于合并序列的长度有限，因此仅利用来自其他域的知识来完全解决数据稀疏问题。为了应对挑战，我们提出了DDGHM，这是CDSR问题的新型框架，其中包括两个主要模块，即双动态图形建模和混合度量训练。前者通过动态构造两级图，即局部图和全局图，捕获内域和域间顺序跃迁，并将它们与融合的细心门控机制结合在一起。后者通过采用混合度量学习来增强用户和项目表示形式，包括实现保持一致性和对比度度量的协作指标，以确保均匀性，以进一步减轻数据稀少性问题并提高预测准确性。我们在两个基准数据集上进行实验，结果证明了DDHMG的有效性。

隐式反馈经常用于开发个性化的推荐服务，因为其无处不在和现实世界中的可访问性。为了有效地利用此类信息，大多数研究都采用成对排名方法对构建的培训三胞胎（用户，正面项目，负项目），并旨在区分每个用户的正面项目和负面项目。但是，这些方法中的大多数都同样对待所有训练三胞胎，这忽略了不同的正或负项目之间的微妙差异。另一方面，即使其他一些作品利用用户行为的辅助信息（例如，停留时间）来捕获这种微妙的差异，但很难获得这样的辅助信息。为了减轻上述问题，我们提出了一个名为Triplet重要性学习（TIL）的新型培训框架，该框架可以自适应地学习训练三胞胎的重要性得分。我们为重要性得分生成的两种策略设计了两种策略，并将整个过程作为双层优化，这不需要任何基于规则的设计。我们将提出的训练程序与基于图形神经网络（GNN）基于图形的推荐模型的几个矩阵分解（MF）集成在一起，证明了我们的框架的兼容性。通过使用与许多最先进方法的三个现实世界数据集进行比较，我们表明我们所提出的方法在top-k推荐方面的召回@k方面优于3-21 \％的最佳现有模型。

在隐性反馈推荐中，将短期偏好纳入推荐系统近年来引起了不断的关注。但是，在历史交互中的意外行为，如偶然点击一些物品，也不能反映用户固有的偏好。现有研究未能模拟意外行为的影响，从而实现劣等的推荐性能。在本文中，我们提出了一种多偏好模型（MPM）来消除意外行为的影响。 MPM首先通过细粒度的偏好模块从最近的历史交互中提取用户的即时偏好。然后，培训意外行为检测器以判断这些即时偏好是否由意外行为偏置。我们还将用户的一般偏好集成在MPM中。最后，执行输出模块以消除意外行为的影响，并集成所有信息以进行最终推荐。我们在电影的两个数据集和电子零售中进行广泛的实验，展示了我们在最先进的方法上的模型的显着改进。实验结果表明，MPM在HR @ 10和NDCG @ 10中获得了大规模的改善，平均与斯trec模型相比相对增加了3.643％和4.107％。我们在https://github.com/chenjie04/mpm/发布我们的代码。

与淘宝和亚马逊等大型平台不同，由于严重的数据分配波动（DDF）问题，在小规模推荐方案中开发CVR模型是更具挑战性的。 DDF防止现有的CVR模型自生效以来，因为1）需要几个月的数据需要足够小的场景训练CVR模型，导致培训和在线服务之间的相当大的分布差异; 2）电子商务促销对小型情景产生了更大的影响，导致即将到期的时间段的不确定性。在这项工作中，我们提出了一种名为MetacVR的新型CVR方法，从Meta学习的角度解决了DDF问题。首先，由特征表示网络（FRN）和输出层组成的基础CVR模型是精心设计和培训的，在几个月内与样品充分设计和培训。然后，我们将不同数据分布的时间段视为不同的场合，并使用相应的样本和预先训练的FRN获得每个场合的正面和负原型。随后，设计了距离度量网络（DMN）以计算每个样本和所有原型之间的距离度量，以便于减轻分布不确定性。最后，我们开发了一个集合预测网络（EPN），该网络（EPN）包含FRN和DMN的输出以进行最终的CVR预测。在这个阶段，我们冻结了FRN并用最近一段时间的样品训练DMN和EPN，因此有效地缓解了分布差异。据我们所知，这是在小规模推荐方案中针对DDF问题的CVR预测第一次研究。实验结果对现实世界数据集验证了我们的MetacVR和Online A / B测试的优越性也表明我们的模型在PCVR上实现了11.92％的令人印象深刻的收益和GMV的8.64％。

隐式反馈的无处不是建立推荐系统不可或缺的反馈。但是，它实际上并没有反映用户的实际满意度。例如，在电子商务中，一大部分点击不转化为购买，许多购买结束了否定审查。因此，考虑隐性反馈中的不可避免的噪声是重要的。但是，建议的一点工作已经考虑了隐性反馈的嘈杂性。在这项工作中，我们探讨了向建议学习的识别隐含反馈的中心主题，包括培训和推论。通过观察正常推荐培训的过程，我们发现嘈杂的反馈通常在早期阶段中具有大的损失值。灵感来自这一观察，我们提出了一种新的培训策略，称为自适应去噪培训（ADT），其自适应地修剪了两个范式的嘈杂相互作用（即截断损失和重新减免）。此外，我们考虑额外的反馈（例如，评级）作为辅助信号，提出三种策略，将额外的反馈纳入ADT：FineTuning，预热训练和碰撞推断。我们在广泛使用的二进制交叉熵丢失上实例化了两个范式，并在三个代表推荐模型上测试它们。在三个基准测试中的广泛实验表明ADT在不使用额外反馈的情况下显着提高了正常培训的建议质量。此外，提出的三种策略用于使用额外反馈的主要原因是增强ADT的去噪能力。

冷启动问题在推荐系统中仍然是一个非常具有挑战性的问题。幸运的是，冷启动用户在辅助源域中的交互可以帮助目标域中的冷启动推荐。如何将用户的偏好从源域转移到目标域，是跨域推荐（CDR）中的关键问题，这是处理冷启动问题的有希望的解决方案。大多数现有方法模型用于传输所有用户的偏好。直观地，由于偏好因用户对用户而异，不同用户的偏好网桥应该是不同的。在这一行中，我们提出了一个名为个性化用户偏好的小说框架，用于跨域推荐（PTUPCDR）。具体地，学习了与用户特征嵌入的元网络，以生成个性化桥接功能以实现每个用户的个性化的偏好传送。要稳定地学习元网络，我们采用了面向任务的优化过程。利用元生成的个性化桥函数，用户在源域中的偏好嵌入可以转换为目标域，并且变换的用户偏好嵌入可以用作目标域中的冷启动用户的初始嵌入。使用大型现实数据集，我们进行广泛的实验，以评估PTUPCDR对冷启动和热启动阶段的有效性。代码已在https://github.com/easezyc/wsdm2022-ptupcdr中提供。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

特征交互已被识别为机器学习中的一个重要问题，这对于点击率（CTR）预测任务也是非常重要的。近年来，深度神经网络（DNN）可以自动从原始稀疏功能中学习隐式非线性交互，因此已广泛用于工业CTR预测任务。然而，在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量（例如，笛卡尔产品）而不会损失。例如，简单地尝试学习特征A和特征B <A，B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型，包括基于分解机（FM）的模型及其变体。在本文中，我们提出了一个共同行动网络（CAN），以近似于显式成对特征交互，而不会引入太多的附加参数。更具体地，给出特征A及其相关的特征B，通过学习两组参数来建模它们的特征交互：1）嵌入特征A和2）以表示特征B的多层Perceptron（MLP）。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作，并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明，可以优于最先进的CTR模型和笛卡尔产品方法。此外，可以在阿里巴巴的显示广告系统中部署，获得12 \％的CTR和8 \％关于每个Mille（RPM）的收入，这是对业务的巨大改进。

机上的机器学习使本地客户端推荐模型的轻量级部署可以减轻基于云的推荐人的负担，并同时结合了更多实时用户功能。然而，考虑到其强大的模型能力以及从十亿级项目库中产生的有效候选人，该行业的基于云的建议仍然非常重要。以前的尝试将两种范式的优点整合起来主要诉诸于顺序机制，该机制在基于云的建议之上构建了在设备上的推荐人。但是，当用户兴趣发生巨大变化时，这种设计是不灵活的：设备模型被有限的项目缓存粘住，而基于大型项目池的基于云的推荐则没有新的重新汇总反馈。为了克服这个问题，我们提出了一个元控制器，以动态管理推荐装置推荐人与基于云的推荐人之间的协作，并从因果角度引入一种新颖的有效样本构造，以解决元控制者的数据集缺失问题。在反事实样本和扩展培训的基础上，在工业推荐方案中进行的广泛实验显示了在设备云协作中Meta控制器的承诺。