给定一系列集合，其中每个集合与时间戳关联并包含任意数量的元素，时间集的任务预测旨在预测后续集合中的元素。先前对时间集预测的研究主要通过从自己的序列中学习来捕获每个用户的进化偏好。尽管有见地，但我们认为：1）不同用户序列中潜在的协作信号是必不可少的，但尚未被利用； 2）用户还倾向于显示固定的偏好，而现有方法未能考虑。为此，我们提出了一个集成的学习框架，以对时间集预测的用户的进化和固定偏好进行建模，该预测首先通过按时间顺序排列所有用户群的交互来构建通用序列，然后在每个用户集中学习相互作用。特别是，对于每个用户集的交互，我们首先设计一个进化用户偏好建模组件，以跟踪用户的时间不断发展的偏好，并在不同用户之间利用潜在的协作信号。该组件维护一个存储库来存储相关用户和元素的记忆，并根据当前编码的消息和过去的记忆不断更新其记忆。然后，我们设计了一个固定的用户偏好模型模块，以根据历史序列来发现每个用户的个性化特征，该模块从双重角度自适应地汇总了以前相互作用的元素，并在用户和元素的嵌入方式的指导下。最后，我们开发了一种设定批次算法来提高模型效率，该算法可以提前创建时间一致的批次，并平均实现3.5倍的训练速度。现实世界数据集的实验证明了我们方法的有效性和良好的解释性。

共享符号跨域顺序推荐（SCSR）任务旨在通过利用多个域中的混合用户行为推荐下一个项目。随着越来越多的用户倾向于在不同的平台上注册并与他人共享访问特定于域的服务，它正在引起极大的研究关注。现有关于SCSR的作品主要依赖于基于复发的神经网络（RNN）模型的采矿顺序模式，这些模型受到以下局限性：1）基于RNN的方法，基于RNN的方法绝大多数目标是发现单用户行为中的顺序依赖性。它们的表现不足以捕获SCSR中多个实体之间的关系。 2）所有现有方法通过潜在空间中的知识转移桥接两个域，并忽略显式的跨域图结构。 3）没有现有研究考虑项目之间的时间间隔信息，这对于表征不同项目和学习判别性表示的顺序建议至关重要。在这项工作中，我们提出了一种新的基于图的解决方案，即TIDA-GCN，以应对上述挑战。具体来说，我们首先将每个域中的用户和项目链接为图。然后，我们设计了一个域感知图形卷积网络，以学习用户特异性节点表示。为了充分说明用户对项目的域特异性偏好，进一步开发了两个有效的注意机制，以选择性地指导消息传递过程。此外，为了进一步增强项目和帐户级的表示学习，我们将时间间隔纳入消息传递中，并为学习项目的交互式特征设计一个帐户意识的自我发项模块。实验证明了我们提出的方法从各个方面的优越性。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

对用户偏好的演变进行建模对于推荐系统至关重要。最近，已经研究并实现了基于图形的动态方法以供推荐使用，其中大多数侧重于用户稳定的长期偏好。但是，在实际情况下，用户的短期偏好会随着时间的流逝而动态发展。尽管存在试图捕获它的顺序方法，但是如何使用基于动态图的方法对短期偏好的演变进行建模尚未得到很好的认可。特别是：1）现有方法不会像顺序方法一样明确编码和捕获短期偏好的演变； 2）简单地使用最后几个交互不足以建模变化的趋势。在本文中，我们提出了连续时间顺序推荐（LSTSR）的长期短期偏好模型（LSTSR），以捕获动态图下短期偏好的演变。具体而言，我们明确编码短期优先偏好并通过内存机制进行优化，该内存机制具有三个关键操作：消息，汇总和更新。我们的内存机制不仅可以存储单跳信息，而且还可以通过在线新的交互触发。在五个公共数据集上进行的广泛实验表明，LSTSR始终优于各种线路上许多最先进的建议方法。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

对于许多在线平台（例如，视频共享网站，电子商务系统），学习动态用户的偏好已成为越来越重要的组成部分，以提出顺序建议。先前的工作已经做出了许多努力，以基于各种体系结构（例如，经常性的神经网络和自我注意机制）对用户交互序列进行建模项目项目过渡。最近出现的图形神经网络还用作有用的骨干模型，可在顺序推荐方案中捕获项目依赖性。尽管它们有效，但现有的方法却远远集中在具有单一相互作用类型的项目序列表示上，因此仅限于捕获用户和项目之间的动态异质关系结构（例如，页面视图，添加最佳选择，购买，购买）。为了应对这一挑战，我们设计了多行为超毛力增强的变压器框架（MBHT），以捕获短期和长期跨型行为依赖性。具体而言，多尺度变压器配备了低级别的自我注意力，可从细粒度和粗粒水平的共同编码行为感知的顺序模式。此外，我们将全局多行为依赖性纳入HyperGraph神经体系结构中，以自定义的方式捕获层次长期项目相关性。实验结果证明了我们MBHT在不同环境中的各种最新推荐解决方案的优势。进一步的消融研究证明了我们的模型设计和新MBHT框架的好处的有效性。我们的实施代码在以下网址发布：https：//github.com/yuh-yang/mbht-kdd22。

顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而，这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上，这种影响在序列推荐中发挥着重要作用，因为用户的行为容易受其他人的影响。因此，期望聚合用户行为和用户之间的影响，这些用户在时间上演化并涉及用户和项目的异构图。在本文中，我们纳入了动态用户项异构图，提出了一种新的顺序推荐框架。结果，可以考虑历史行为以及用户之间的影响。为此，我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后，我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计，并采用伪似然方法来得出易行目标函数。最后，我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性，而且还提供了一些关于顺序推荐的有洞察力的发现。

顺序推荐是推荐系统的广泛流行的主题。现有的作品有助于提高基于各种方法的顺序推荐系统的预测能力，例如经常性网络和自我关注机制。然而，他们未能发现和区分项目之间的各种关系，这可能是激励用户行为的潜在因素。在本文中，我们提出了一个边缘增强的全面解散图神经网络（EGD-GNN）模型，以捕获全局项目表示和本地用户意图学习项目之间的关系信息。在全球级别，我们通过所有序列构建全局链接图来模拟项目关系。然后，频道感知的解缠绕学习层被设计成将边缘信息分解为不同的信道，这可以聚合以将目标项从其邻居表示。在本地层面，我们应用一个变化的自动编码器框架来学习用户在当前序列上的意图。我们在三个现实世界数据集中评估我们提出的方法。实验结果表明，我们的模型可以通过最先进的基线获得至关重要的改进，能够区分项目特征。

顺序推荐（SR）通过对用户在项目之间的过境方式进行建模来表征用户行为不断发展的模式。但是，简短的交互序列限制了现有SR的性能。为了解决这个问题，我们专注于本文中的跨域顺序推荐（CDSR），该建议旨在利用其他域中的信息来提高单个域的顺序建议性能。解决CDSR具有挑战性。一方面，如何保留单个领域的偏好以及整合跨域影响仍然是一个基本问题。另一方面，由于合并序列的长度有限，因此仅利用来自其他域的知识来完全解决数据稀疏问题。为了应对挑战，我们提出了DDGHM，这是CDSR问题的新型框架，其中包括两个主要模块，即双动态图形建模和混合度量训练。前者通过动态构造两级图，即局部图和全局图，捕获内域和域间顺序跃迁，并将它们与融合的细心门控机制结合在一起。后者通过采用混合度量学习来增强用户和项目表示形式，包括实现保持一致性和对比度度量的协作指标，以确保均匀性，以进一步减轻数据稀少性问题并提高预测准确性。我们在两个基准数据集上进行实验，结果证明了DDHMG的有效性。

在大数据时代，推荐系统在我们日常生活中的关键信息过滤表现出了杰出的成功。近年来，推荐系统的技术发展，从感知学习到认知推理，这些认知推理将推荐任务作为逻辑推理的过程，并取得了重大改进。但是，推理中的逻辑陈述隐含地承认有序无关紧要，甚至没有考虑在许多建议任务中起重要作用的时间信息。此外，与时间上下文合并的建议模型往往是自我集中的，即自动更加（少）将相关性（不相关）分别集中在相关性上。为了解决这些问题，在本文中，我们提出了一种基于神经协作推理（TISANCR）的推荐模型的时间感知自我注意力，该模型将时间模式和自我注意机制集成到基于推理的建议中。特别是，以相对时间为代表的时间模式，提供上下文和辅助信息来表征用户在建议方面的偏好，而自我注意力则是利用自我注意力来提炼信息的模式并抑制无关紧要的。因此，自我煽动的时间信息的融合提供了对用户偏好的更深入表示。基准数据集的广泛实验表明，所提出的Tisancr取得了重大改进，并始终优于最先进的建议方法。

下一篮子推荐考虑将一组项目推荐到用户将作为一个整体购买的下一个篮子。在本文中，我们为下一个篮子推荐开发了一种具有偏好，普及和转换（M2）的新颖混合模型。该方法在下一个篮子生成过程中模拟了三个重要因素：1）用户在项目中的“全球偏好”，2）项目的“全球受欢迎者和3”的过渡模式。与现有的基于内部网络的方法不同，M2不使用复杂的网络来模拟项目之间的转换，或为用户生成嵌入品。相反，它具有基于简单的编码器解码器的方法（ED-Trans），以更好地模拟项目之间的转换模式。我们将M2与不同组合的组合进行了比较，其中有5个现有的下一篮子推荐方法在4个公共基准数据集上推荐第一个，第二和第三篮子。我们的实验结果表明，M2显着优于所有任务中所有数据集的最先进的方法，提高了高达22.1％。此外，我们的消融研究表明，在推荐性能方面，ED-Trans比经常性神经网络更有效。我们还对下一个篮子推荐评估进行了彻底讨论了各种实验协议和评估指标。

图形神经网络（GNN）已显示为与用户项目交互图建模的协作过滤（CF）的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息，以完善编码的嵌入。然而，尽管它们有效，但当前的大多数推荐模型都依赖于足够和高质量的培训数据，因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂，并且表现出偏斜的分布，这可能会导致基于GNN的模型中的次优表示性能。在本文中，我们提出了SHT，这是一种新颖的自我监视的超盖变压器框架（SHT），该框架（SHT）通过以明确的方式探索全球协作关系来增强用户表示。具体而言，我们首先赋予图形神经CF范式，以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中，提出了一个跨视图生成的自我监督学习组件，用于对用户项目交互图的数据增强，以增强推荐系统的鲁棒性。广泛的实验表明，SHT可以显着改善各种最新基线的性能。进一步的消融研究表明，我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得：https：//github.com/akaxlh/sht。

许多以前的研究旨在增加具有深度神经网络技术的协同过滤，以实现更好的推荐性能。但是，大多数现有的基于深度学习的推荐系统专为建模单数类型的用户项目交互行为而设计，这几乎无法蒸馏用户和项目之间的异构关系。在实际推荐方案中，存在多重的用户行为，例如浏览和购买。由于用户的多行为模式在不同的项目上俯视，现有推荐方法不足以捕获来自用户多行为数据的异构协作信号。灵感灵感来自图形神经网络的结构化数据建模，这项工作提出了一个图形神经多行为增强建议（GNMR）框架，其明确地模拟了基于图形的消息传递体系结构下不同类型的用户项目交互之间的依赖性。 GNMR向关系聚合网络设计为模拟交互异质性，并且通过用户项交互图递归地执行相邻节点之间的嵌入传播。实体世界推荐数据集的实验表明，我们的GNMR始终如一地优于最先进的方法。源代码可在https://github.com/akaxlh/gnmr中获得。

Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems. Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user's (or an item's) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes. We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect.In this work, we propose to integrate the user-item interactionsmore specifically the bipartite graph structure -into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the useritem graph structure by propagating embeddings on it. This leads to the expressive modeling of high-order connectivity in useritem graph, effectively injecting the collaborative signal into the embedding process in an explicit manner. We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOP-Rec [40] and Collaborative Memory Network [5]. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF. Codes are available at https://github.com/ xiangwang1223/neural_graph_collaborative_filtering. CCS CONCEPTS• Information systems → Recommender systems. * In the version published in ACM Digital Library, we find some small bugs; the bugs do not change the comparison results and the empirical findings. In this latest version, we update and correct the experimental results (i.e., the preprocessing of Yelp2018 dataset and the ndcg metric). All updates are highlighted in footnotes.

随着网络技术的快速发展和网络设备的快速增长，数据吞吐量也大大增加。为了解决蜂窝网络中回程瓶颈的问题并满足人们对延迟的要求，基于预测的结果，网络体系结构等网络体系结构旨在主动将有限的流行内容保持在网络边缘。同时，内容（例如，深度神经网络模型，与Wikipedia类似知识库）和用户之间的相互作用可以视为动态二分图。在本文中，为了最大程度地提高缓存命中率，我们利用有效的动态图神经网络（DGNN）共同学习嵌入了两部分图中的结构和时间模式。此外，为了更深入地了解不断发展的图表中的动态，我们提出了一个基于信息时代（AOI）的注意机制，以提取有价值的历史信息，同时避免消息陈旧的问题。结合了上述预测模型，我们还开发了一种缓存选择算法，以根据预测结果做出缓存决策。广泛的结果表明，与两个现实世界数据集中的其他最先进的方案相比，我们的模型可以获得更高的预测准确性。命中率的结果进一步验证了基于我们提出的模型而不是其他传统方式的缓存政策的优势。

用户嵌入（用户的矢量化表示）对于推荐系统至关重要。已经提出了许多方法来为用户构建代表性，以找到用于检索任务的类似项目，并且已被证明在工业推荐系统中也有效。最近，人们发现使用多个嵌入式代表用户的能力，希望每个嵌入代表用户对某个主题的兴趣。通过多息表示，重要的是要对用户对不同主题的喜好进行建模以及偏好如何随时间变化。但是，现有方法要么无法估算用户对每个利息的亲和力，要么不合理地假设每个用户的每一个利息随时间而逐渐消失，从而损害了候选人检索的召回。在本文中，我们提出了多功能偏好（MIP）模型，这种方法不仅可以通过更有效地使用用户的顺序参与来为用户产生多种利益因此，可以按比例地从每个利息中检索候选人。在各种工业规模的数据集上进行了广泛的实验，以证明我们方法的有效性。

深层神经网络预测交通需求已引起了学术界和行业社会的广泛兴趣。其中，成对来源点（OD）需求预测是一个有价值但具有挑战性的问题：（i）大量可能的OD对，（ii）空间依赖性的内在性和（iii）交通的复杂性状态。为了解决上述问题，本文提出了一种连续的时间和多级动态图表表示方法，用于原始用途需求预测（CMOD）。首先，构建了一个连续的动态图表示学习框架，该框架维护每个流量节点（地铁站或出租车区）的动态状态向量。国家向量保留历史交易信息，并根据最近发生的交易不断更新。其次，提出了多层结构学习模块，以模拟站点级节点的空间依赖性。它不仅可以从数据自适应地利用节点之间的关系，还可以通过集群级别和区域级虚拟节点共享消息和表示形式。最后，跨级融合模块旨在集成多级记忆并为最终预测生成综合节点表示。在北京地铁和纽约出租车的两个现实世界数据集上进行了广泛的实验，结果证明了我们的模型与最先进的方法相比。

Accurate activity location prediction is a crucial component of many mobility applications and is particularly required to develop personalized, sustainable transportation systems. Despite the widespread adoption of deep learning models, next location prediction models lack a comprehensive discussion and integration of mobility-related spatio-temporal contexts. Here, we utilize a multi-head self-attentional (MHSA) neural network that learns location transition patterns from historical location visits, their visit time and activity duration, as well as their surrounding land use functions, to infer an individual's next location. Specifically, we adopt point-of-interest data and latent Dirichlet allocation for representing locations' land use contexts at multiple spatial scales, generate embedding vectors of the spatio-temporal features, and learn to predict the next location with an MHSA network. Through experiments on two large-scale GNSS tracking datasets, we demonstrate that the proposed model outperforms other state-of-the-art prediction models, and reveal the contribution of various spatio-temporal contexts to the model's performance. Moreover, we find that the model trained on population data achieves higher prediction performance with fewer parameters than individual-level models due to learning from collective movement patterns. We also reveal mobility conducted in the recent past and one week before has the largest influence on the current prediction, showing that learning from a subset of the historical mobility is sufficient to obtain an accurate location prediction result. We believe that the proposed model is vital for context-aware mobility prediction. The gained insights will help to understand location prediction models and promote their implementation for mobility applications.

基于历史行为数据的行为预测具有实际的现实意义。它已在推荐，预测学习成绩等中应用。随着用户数据描述的完善，新功能的发展以及多个数据源的融合，包含多种行为的异质行为数据变得越来越普遍。在本文中，我们旨在纳入行为预测的异质用户行为和社会影响。为此，本文提出了一个长期术语内存（LSTM）的变体，该变体可以在对行为序列进行建模时考虑上下文信息，该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外，基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。

新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型，但它们主要以静态方式捕获文件级上的用户新交互。然而，在现实世界的情景中，新闻可以很复杂和多样化，盲目地将所有内容挤压到嵌入式矢量中，在提取与用户的个性化偏好兼容的信息中可以不太有效。此外，新闻推荐方案中的用户偏好可以是高度动态的，并且应该设计定制的动态机制以获得更好的推荐性能。在本文中，我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容，我们利用注意机制分别代表了从句子，元素和文档级别的消息。为了捕获用户的动态偏好，连续时间信息无缝地结合到关注权重的计算中。更具体地，我们设计了一个分层关注网络，其中下层学习不同句子和元素的重要性，并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符，我们首先通过结合绝对和相对时间信息来增强传统的关注机制，然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验，以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。