检测有益特征交互在推荐系统中至关重要，现有方法通过检查所有可能的特征交互来实现这一目标。但是，检查所有可能的高阶特征相互作用的成本是过于良好的（随着阶的增加而呈指数增长）。因此，现有方法仅检测有限的顺序（例如，最多四个功能的组合）有益特征交互，这可能会错过高于限制的订单的有益特征相互作用。在本文中，我们提出了一个名为HIRS的高图神经网络模型。 HIRS是直接产生任意订单的有益特征相互作用并相应地进行建议预测的第一项工作。生成的特征交互的数量可以指定比所有可能的交互的数量小得多，因此我们的模型承认运行时间要低得多。为了获得有效的算法，我们利用了有益特征相互作用的三种特性，并提出了基于深入的Infomax的方法来指导相互作用的产生。我们的实验结果表明，就建议准确性而言，HIRS的效果优于最先进的算法。

因子化机器（FM）是在处理高维稀疏数据时建模成对（二阶）特征交互的普遍存在方法。然而，一方面，FM无法捕获患有组合扩展的高阶特征相互作用，另一方面，考虑每对特征之间的相互作用可能引入噪声和降低预测精度。为了解决问题，我们通过在图形结构中自然表示特征来提出一种新颖的方法图形因子分子机器（GraphFM）。特别地，设计了一种新颖的机制来选择有益特征相互作用，并将它们装配为特征之间的边缘。然后我们所提出的模型将FM的交互功能集成到图形神经网络（GNN）的特征聚合策略中，可以通过堆叠图层模拟图形结构特征上的任意顺序特征交互。关于若干现实世界数据集的实验结果表明了我们提出的方法的合理性和有效性。

图形神经网络（GNN）已显示为与用户项目交互图建模的协作过滤（CF）的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息，以完善编码的嵌入。然而，尽管它们有效，但当前的大多数推荐模型都依赖于足够和高质量的培训数据，因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂，并且表现出偏斜的分布，这可能会导致基于GNN的模型中的次优表示性能。在本文中，我们提出了SHT，这是一种新颖的自我监视的超盖变压器框架（SHT），该框架（SHT）通过以明确的方式探索全球协作关系来增强用户表示。具体而言，我们首先赋予图形神经CF范式，以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中，提出了一个跨视图生成的自我监督学习组件，用于对用户项目交互图的数据增强，以增强推荐系统的鲁棒性。广泛的实验表明，SHT可以显着改善各种最新基线的性能。进一步的消融研究表明，我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得：https：//github.com/akaxlh/sht。

预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的关键任务。为了识别原始数据的预测特征，最先进的极端深层分解机模型（XDEEPFM）引入了新的交互网络，以明确地利用矢量方面的特征交互。然而，由于交互网络中的每个隐藏层是特征映射的集合，因此它可以基本上作为不同特征映射的集合来观看。在这种情况下，仅使用单个目标来最小化预测损失可能导致过度拟合并产生相关的错误。在本文中，提出了一种集合分集增强的极端深度分解机模型（DEXDEEPFM），其设计了每个隐藏层中的集合多样性度量，并在客观函数中考虑集合多样性和预测精度。此外，还引入了注意机制，以区分集合多样性措施与不同的特征互动令的重要性。对三次公共实时数据集进行了广泛的实验，以展示所提出的模型的有效性。

顺序推荐是推荐系统的广泛流行的主题。现有的作品有助于提高基于各种方法的顺序推荐系统的预测能力，例如经常性网络和自我关注机制。然而，他们未能发现和区分项目之间的各种关系，这可能是激励用户行为的潜在因素。在本文中，我们提出了一个边缘增强的全面解散图神经网络（EGD-GNN）模型，以捕获全局项目表示和本地用户意图学习项目之间的关系信息。在全球级别，我们通过所有序列构建全局链接图来模拟项目关系。然后，频道感知的解缠绕学习层被设计成将边缘信息分解为不同的信道，这可以聚合以将目标项从其邻居表示。在本地层面，我们应用一个变化的自动编码器框架来学习用户在当前序列上的意图。我们在三个现实世界数据集中评估我们提出的方法。实验结果表明，我们的模型可以通过最先进的基线获得至关重要的改进，能够区分项目特征。

To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.

包括传统浅层模型和深图神经网络（GNN）在内的图形嵌入方法已导致有希望的应用。然而，由于其优化范式，浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足，在堆叠过多的层时很容易引起过度平滑的问题，这可能会恶化低度（长尾）项目的建议，从而限制了表现力和可伸缩性。在本文中，我们提出了一个新颖的框架SAC，即空间自动回归编码，以统一的方式解决上述问题。为了充分利用邻居接近和高级信息，我们设计了一种新型的空间自回旋范式。具体而言，我们首先随机掩盖了多跳的邻居，并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后，我们加强模型，通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码，并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余，我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。

最近关于图表卷积网络（GCN）的研究表明，初始节点表示（即，第一次图卷积前的节点表示）很大程度上影响最终的模型性能。但是，在学习节点的初始表示时，大多数现有工作线性地组合了节点特征的嵌入，而不考虑特征之间的交互（或特征嵌入）。我们认为，当节点特征是分类时，例如，在许多实际应用程序中，如用户分析和推荐系统，功能交互通常会对预测分析进行重要信号。忽略它们将导致次优初始节点表示，从而削弱后续图表卷积的有效性。在本文中，我们提出了一个名为CatGCN的新GCN模型，当节点功能是分类时，为图表学习量身定制。具体地，我们将显式交互建模的两种方式集成到初始节点表示的学习中，即在每对节点特征上的本地交互建模和人工特征图上的全局交互建模。然后，我们通过基于邻域聚合的图形卷积来优化增强的初始节点表示。我们以端到端的方式训练CatGCN，并在半监督节点分类上展示它。来自腾讯和阿里巴巴数据集的三个用户分析的三个任务（预测用户年龄，城市和购买级别）的大量实验验证了CatGCN的有效性，尤其是在图表卷积之前执行特征交互建模的积极效果。

点击率预测是商业推荐系统中的核心任务之一。它旨在预测用户点击给定用户和项目特征的特定项目的概率。随着特征相互作用引入非线性，它们被广泛采用以提高CTR预测模型的性能。因此，有效的建模特征互动在研究和工业领域引起了很多关注。目前的方法通常可以分为三类：（1）NA \“IVE方法，它不会模拟特征交互，只使用原始特征;（2）记忆方法，通过显式将其视为新功能而记住功能交互。分配可培训嵌入式;（3）分解方法，学习原始特征的潜在矢量和通过分解功能的隐式模型相互作用。研究表明，由于不同特征相互作用的独特特征，这些方法之一的建模特征交互是次优。为了解决这个问题，我们首先提出一个称为OptInter的一般框架，该框架可以找到每个功能交互的最合适的建模方法。可以将不同的最先进的深度CTR模型视为optinter的实例。实现功能Optinter，我们还介绍了一种自动搜索最佳建模方法的学习算法。W e在四个大型数据集中进行广泛的实验。我们的实验表明，Optinter可提高最佳的最先进的基线深度CTR模型，高达2.21％。与回忆的方法相比，这也优于基线，我们减少了高达91％的参数。此外，我们进行了几项消融研究，以研究Optinter不同组分的影响。最后，我们提供关于替代替代品结果的可解释讨论。

近年来，图形神经网络（GNNS）在许多现实世界中的应用（例如建议和药物发现）中取得了巨大的成功。尽管取得了成功，但已将过度厚度确定为限制GNN绩效的关键问题之一。这表明由于堆叠聚合器，学到的节点表示是无法区分的。在本文中，我们提出了一种新的观点，以研究深度GNN的性能降低，即特征过度相关。通过有关此问题的经验和理论研究，我们证明了更深层次的GNN中的特征过度相关的存在，并揭示了导致该问题的潜在原因。为了减少功能相关性，我们提出了一个通用框架，可以鼓励GNN编码较少的冗余信息。广泛的实验表明，Decorr可以帮助实现更深入的GNN，并与现有的技术相辅相成。

最近，最大化的互信息是一种强大的无监测图表表示学习的方法。现有方法通常有效地从拓扑视图中捕获信息但忽略特征视图。为了规避这个问题，我们通过利用功能和拓扑视图利用互信息最大化提出了一种新的方法。具体地，我们首先利用多视图表示学习模块来更好地捕获跨图形上的特征和拓扑视图的本地和全局信息内容。为了模拟由特征和拓扑空间共享的信息，我们使用相互信息最大化和重建损耗最小化开发公共表示学习模块。要明确鼓励图形表示之间的多样性在相同的视图中，我们还引入了一个分歧正则化，以扩大同一视图之间的表示之间的距离。合成和实际数据集的实验证明了集成功能和拓扑视图的有效性。特别是，与先前的监督方法相比，我们所提出的方法可以在无监督的代表和线性评估协议下实现可比或甚至更好的性能。

在本文中，我们考虑点击率（CTR）预测问题。因子化机器及其变体考虑配对特征交互，但通常我们不会由于高时间复杂度而使用FM进行高阶功能交互。鉴于许多领域的深度神经网络（DNN）的成功，研究人员提出了几种基于DNN的模型来学习高阶功能交互。已广泛用于从功能嵌入到最终登录的功能嵌入的可靠映射，从而广泛使用多层。在本文中，我们的目标是更多地探索这些高阶功能的交互。然而，高阶特征互动值得更加关注和进一步发展。灵感来自计算机愿景中密集连接的卷积网络（DENSENET）的巨大成就，我们提出了一种新颖的模型，称为殷勤基于DENENET的分解机（ADNFM）。 ADNFM可以通过使用前馈神经网络的所有隐藏层作为隐式的高阶功能来提取更全面的深度功能，然后通过注意机制选择主导特征。此外，使用DNN的隐式方式的高阶交互比以明确的方式更具成本效益，例如在FM中。两个真实数据集的广泛实验表明，所提出的模型可以有效地提高CTR预测的性能。

由于其适应性和从稀疏数据中学习的能力，分解机（FMS）被广泛用于推荐系统。但是，对于稀疏数据中无处不在的非相互作用特征，现有的FMS只能通过其嵌入的内部产物估算与这些特征相对应的参数。不可否认，他们无法学习这些功能的直接相互作用，这限制了模型的表现力。为此，我们首先提出了受混合启发的MixFM，以生成辅助培训数据以增强FMS。与需要人工成本和专业知识的现有增强策略不同，以收集其他信息，例如位置和领域，这些额外的数据仅由原始的数据组合而没有任何专业知识支持。更重要的是，如果要混合的父样本具有非相互作用的特征，则MixFM将建立其直接相互作用。其次，考虑到MixFM可能会产生冗余甚至有害实例，我们进一步提出了由显着性引导混合措施（称为SMFM）提供动力的新型分解机。在自定义显着性的指导下，SMFM可以生成更具翔实的邻居数据。通过理论分析，我们证明所提出的方法最大程度地减少了概括误差的上限，这对增强FMS具有有益的效果。值得注意的是，我们给出了FM的第一个概括结构，这意味着概括需要更多的数据，并且在足够的表示能力下需要较小的嵌入大小。最后，在五个数据集上进行的大量实验证实，我们的方法优于基准。此外，结果表明，“中毒”混合数据同样对FM变体有益。

Many Click-Through Rate (CTR) prediction works focused on designing advanced architectures to model complex feature interactions but neglected the importance of feature representation learning, e.g., adopting a plain embedding layer for each feature, which results in sub-optimal feature representations and thus inferior CTR prediction performance. For instance, low frequency features, which account for the majority of features in many CTR tasks, are less considered in standard supervised learning settings, leading to sub-optimal feature representations. In this paper, we introduce self-supervised learning to produce high-quality feature representations directly and propose a model-agnostic Contrastive Learning for CTR (CL4CTR) framework consisting of three self-supervised learning signals to regularize the feature representation learning: contrastive loss, feature alignment, and field uniformity. The contrastive module first constructs positive feature pairs by data augmentation and then minimizes the distance between the representations of each positive feature pair by the contrastive loss. The feature alignment constraint forces the representations of features from the same field to be close, and the field uniformity constraint forces the representations of features from different fields to be distant. Extensive experiments verify that CL4CTR achieves the best performance on four datasets and has excellent effectiveness and compatibility with various representative baselines.

Social recommender systems (SocialRS) simultaneously leverage user-to-item interactions as well as user-to-user social relations for the task of generating item recommendations to users. Additionally exploiting social relations is clearly effective in understanding users' tastes due to the effects of homophily and social influence. For this reason, SocialRS has increasingly attracted attention. In particular, with the advance of Graph Neural Networks (GNN), many GNN-based SocialRS methods have been developed recently. Therefore, we conduct a comprehensive and systematic review of the literature on GNN-based SocialRS. In this survey, we first identify 80 papers on GNN-based SocialRS after annotating 2151 papers by following the PRISMA framework (Preferred Reporting Items for Systematic Reviews and Meta-Analysis). Then, we comprehensively review them in terms of their inputs and architectures to propose a novel taxonomy: (1) input taxonomy includes 5 groups of input type notations and 7 groups of input representation notations; (2) architecture taxonomy includes 8 groups of GNN encoder, 2 groups of decoder, and 12 groups of loss function notations. We classify the GNN-based SocialRS methods into several categories as per the taxonomy and describe their details. Furthermore, we summarize the benchmark datasets and metrics widely used to evaluate the GNN-based SocialRS methods. Finally, we conclude this survey by presenting some future research directions.

标签感建议是通过标记行为预测用户个性化项目的任务。对于具有Last.FM或Movielens等标记功能的许多应用程序至关重要。最近，许多努力致力于通过图形卷积网络（GCN）改进引人注目的推荐系统（TRS），这已成为一般建议的新最新技术。但是，某些解决方案是直接从GCN继承而没有理由的，这很难缓解标签引入的稀疏性，模棱两可和冗余问题，从而增加了培训和退化建议性能的困难。在这项工作中，我们旨在简化GCN的设计，以使其更简洁。我们提出了一个新颖的标签推荐模型，名为Light Folksonomy图协作滤波（LFGCF），该模型仅包括必需的GCN组件。具体而言，LFGCF首先从用户分配标签和项目标记的用户记录中构造了人们图形。然后，我们利用汇总的简单设计来学习人们对人物学图的高级表示形式，并使用在多个层中学习的嵌入的加权总和进行信息更新。我们共享标签嵌入，以弥合用户和项目之间的信息差距。此外，提出了一个名为Transrt的正规化功能，以更好地描述用户的偏好和项目功能。对三个现实世界数据集的广泛超参数实验和消融研究表明，LFGCF使用的参数较少，并且显着优于大多数基线的Tag-Aware Top-N建议。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。