由于长期没有事件，处理动态数据时，陈旧问题是一个众所周知的问题。由于仅当节点参与事件时才更新节点的内存，因此其内存变为陈旧。通常，它是指缺乏社会帐户的时间停用等事件。为了克服内存的陈旧问题问题，除节点内存外，还来自节点邻居内存的信息。受此启发的启发，我们设计了一个更新的嵌入模块，该模块除节点邻居外还插入最相似的节点。我们的方法获得了与TGN相似的结果，并略有改进。这可能表明在微调我们的超参数后，尤其是时间阈值并使用可学习的相似度度量后，可能会有所改善。

图形结构化数据通常在自然界中具有动态字符，例如，在许多现实世界中，链接和节点的添加。近年来见证了对这种图形数据进行建模的动态图神经网络所支付的越来越多的注意力，几乎所有现有方法都假设，当建立新的链接时，应通过学习时间动态来传播邻居节点的嵌入。新的信息。但是，这种方法遭受了这样的限制，如果新连接引入的节点包含嘈杂的信息，那么将其知识传播到其他节点是不可靠的，甚至导致模型崩溃。在本文中，我们提出了Adanet：通过增强动态图神经网络的强化知识适应框架。与以前的方法相反，一旦添加了新链接，就立即更新邻居节点的嵌入方式，Adanet试图自适应地确定由于涉及的新链接而应更新哪些节点。考虑到是否更新一个邻居节点的嵌入的决定将对其他邻居节点产生很大的影响，因此，我们将节点更新的选择作为序列决策问题，并通过强化学习解决此问题。通过这种方式，我们可以将知识自适应地传播到其他节点，以学习健壮的节点嵌入表示。据我们所知，我们的方法构成了通过强化学习的动态图神经网络来探索强大知识适应的首次尝试。在三个基准数据集上进行的广泛实验表明，Adanet可以实现最新的性能。此外，我们通过在数据集中添加不同程度的噪声来执行实验，并定量和定性地说明ADANET的鲁棒性。

节点之间有序序列的动态图在现实世界的工业应用中普遍存在电子商务和社交平台中。然而，由于数据的时间和结构依赖性和不规则性，因此，对动态图表的表示学习已经提出了很大的计算挑战，防止这些模型部署到现实世界的应用程序。为了解决这一挑战，我们提出了一种有效的算法，有效的动态图学习（边缘），它通过训练丢失选择性地表达某些时间依赖性，以改善计算中的并行性。我们展示了边缘可以扩展到数百万节点的动态图形，数亿个时间事件，实现新的最先进的（SOTA）性能。

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。

许多现实世界图包含时域信息。时间图神经网络在生成的动态节点嵌入中捕获时间信息以及结构和上下文信息。研究人员表明，这些嵌入在许多不同的任务中实现了最先进的表现。在这项工作中，我们提出了TGL，这是一个用于大规模脱机时间图神经网络训练的统一框架，用户可以使用简单的配置文件组成各种时间图神经网络。 TGL包括五个主要组件，一个临时采样器，一个邮箱，节点内存模块，存储器更新程序和消息传递引擎。我们设计了临时CSR数据结构和平行采样器，以有效地对颞邻邻居进行制作微型批次。我们提出了一种新颖的随机块调度技术，该技术可以减轻大批量训练时过时的节点存储器的问题。为了解决仅在小规模数据集上评估当前TGNN的局限性，我们介绍了两个具有0.2亿和13亿个时间边缘的大型现实世界数据集。我们在四个具有单个GPU的小规模数据集上评估了TGL的性能，以及两个具有多个GPU的大数据集，用于链接预测和节点分类任务。我们将TGL与五种方法的开源代码进行了比较，并表明TGL平均达到13倍的速度可实现相似或更高的精度。与基准相比，我们的时间平行采样器在多核CPU上平均达到173倍加速。在4-GPU机器上，TGL可以在1-10小时内训练一个超过10亿个时间边缘的时期。据我们所知，这是第一项提出了一个关于多个GPU的大规模时间图神经网络培训的一般框架的工作。

签名的网络使我们能够对双方的关系和互动进行建模，例如朋友/敌人，支持/反对等。这些交互通常在真实数据集中是暂时的，在这些数据集中，节点和边缘会随时间出现。因此，学习签名网络的动态对于有效预测未来联系的符号和强度至关重要。现有的作品模型签名网络或动态网络，但并非都在一起。在这项工作中，我们研究了动态签名的网络，在这些网络中，链接都随时间签名和演变。我们的模型使用内存模块和平衡聚合（因此，名称SEMBA）学习了签名的链接的演变。每个节点都维护两个单独的内存编码，以实现正相互作用和负相互作用。在新边缘的到来时，每个交互节点汇总了此签名的信息，并利用平衡理论。节点嵌入是使用更新的内存生成的，然后将其用于训练多个下游任务，包括链接标志预测和链接权重预测。我们的结果表明，SEMBA的表现优于所有基准，即通过获得AUC增长8％，而FPR降低了50％。关于预测签名权重的任务的结果表明，SEMBA将平方误差降低了9％，同时降低了KL-Divergence对预测签名权重的分布的减少69％。

对用户偏好的演变进行建模对于推荐系统至关重要。最近，已经研究并实现了基于图形的动态方法以供推荐使用，其中大多数侧重于用户稳定的长期偏好。但是，在实际情况下，用户的短期偏好会随着时间的流逝而动态发展。尽管存在试图捕获它的顺序方法，但是如何使用基于动态图的方法对短期偏好的演变进行建模尚未得到很好的认可。特别是：1）现有方法不会像顺序方法一样明确编码和捕获短期偏好的演变； 2）简单地使用最后几个交互不足以建模变化的趋势。在本文中，我们提出了连续时间顺序推荐（LSTSR）的长期短期偏好模型（LSTSR），以捕获动态图下短期偏好的演变。具体而言，我们明确编码短期优先偏好并通过内存机制进行优化，该内存机制具有三个关键操作：消息，汇总和更新。我们的内存机制不仅可以存储单跳信息，而且还可以通过在线新的交互触发。在五个公共数据集上进行的广泛实验表明，LSTSR始终优于各种线路上许多最先进的建议方法。

随着网络技术的快速发展和网络设备的快速增长，数据吞吐量也大大增加。为了解决蜂窝网络中回程瓶颈的问题并满足人们对延迟的要求，基于预测的结果，网络体系结构等网络体系结构旨在主动将有限的流行内容保持在网络边缘。同时，内容（例如，深度神经网络模型，与Wikipedia类似知识库）和用户之间的相互作用可以视为动态二分图。在本文中，为了最大程度地提高缓存命中率，我们利用有效的动态图神经网络（DGNN）共同学习嵌入了两部分图中的结构和时间模式。此外，为了更深入地了解不断发展的图表中的动态，我们提出了一个基于信息时代（AOI）的注意机制，以提取有价值的历史信息，同时避免消息陈旧的问题。结合了上述预测模型，我们还开发了一种缓存选择算法，以根据预测结果做出缓存决策。广泛的结果表明，与两个现实世界数据集中的其他最先进的方案相比，我们的模型可以获得更高的预测准确性。命中率的结果进一步验证了基于我们提出的模型而不是其他传统方式的缓存政策的优势。

由于其独立性与标签及其稳健性的独立性，自我监督的学习最近引起了很多关注。目前关于本主题的研究主要使用诸如图形结构的静态信息，但不能很好地捕获诸如边缘时间戳的动态信息。现实图形通常是动态的，这意味着节点之间的交互发生在特定时间。本文提出了一种自我监督的动态图形表示学习框架（DYSUBC），其定义了一个时间子图对比学学习任务，以同时学习动态图的结构和进化特征。具体地，首先提出了一种新的时间子图采样策略，其将动态图的每个节点作为中心节点提出，并使用邻域结构和边缘时间戳来采样相应的时间子图。然后根据在编码每个子图中的节点之后，根据中心节点上的邻域节点的影响设计子图表示功能。最后，定义了结构和时间对比损失，以最大化节点表示和时间子图表示之间的互信息。五个现实数据集的实验表明（1）DySubc比下游链路预测任务中的两个图形对比学习模型和四个动态图形表示学习模型更好地表现出更好的相关基线，（2）使用时间信息不能使用只有更有效的子图，还可以通过时间对比损失来学习更好的表示。

Graphs are ubiquitous in nature and can therefore serve as models for many practical but also theoretical problems. For this purpose, they can be defined as many different types which suitably reflect the individual contexts of the represented problem. To address cutting-edge problems based on graph data, the research field of Graph Neural Networks (GNNs) has emerged. Despite the field's youth and the speed at which new models are developed, many recent surveys have been published to keep track of them. Nevertheless, it has not yet been gathered which GNN can process what kind of graph types. In this survey, we give a detailed overview of already existing GNNs and, unlike previous surveys, categorize them according to their ability to handle different graph types and properties. We consider GNNs operating on static and dynamic graphs of different structural constitutions, with or without node or edge attributes. Moreover, we distinguish between GNN models for discrete-time or continuous-time dynamic graphs and group the models according to their architecture. We find that there are still graph types that are not or only rarely covered by existing GNN models. We point out where models are missing and give potential reasons for their absence.

过去，现实世界中社交网络的图表错过了两个重要元素：连接的多重性和表示时间。为此，在本文中，我们为社交网络提供了一个新的动态异质图表示，其中包括图形的每个组件中的时间，即节点和边缘，每种捕获异质性的不同类型。我们通过提出四个与时间有关的查询和深度学习问题来说明这种表示的力量，这些查询和深度学习问题无法轻易在常规的均匀图表中处理。作为概念的证明，我们介绍了新的社交媒体平台（Steemit）的详细表示，我们用它来说明动态查询功能以及使用图形神经网络（GNNS）的预测任务。结果说明了动态异质图表示对社交网络的模型的力量。鉴于这是一个相对研究的领域，我们还说明了在查询优化方面的未来工作以及异质图结构的新动态预测任务的机会。

时间网络已被广泛用于建模现实世界中的复杂系统，例如金融系统和电子商务系统。在时间网络中，一组节点的联合邻居通常提供至关重要的结构信息，以预测它们是否可以在一定时间相互作用。但是，最新的时间网络的表示学习方法通​​常无法提取此类信息或取决于极具耗时的特征构建方法。为了解决该问题，这项工作提出了邻里感知的时间网络模型（NAT）。对于网络中的每个节点，NAT放弃了常用的基于单个矢量的表示，同时采用了新颖的词典型邻域表示。这样的词典表示记录了一组相邻节点作为键，并可以快速构建多个节点联合邻域的结构特征。我们还设计了称为N-CACHE的专用数据结构，以支持GPU上这些字典表示的并行访问和更新。 NAT在七个现实世界大规模的时间网络上进行了评估。 NAT不仅胜过所有尖端基线的平均分别为5.9％和6.0％，分别具有换电和电感链路预测准确性，而且还可以通过对采用联合结构特征和实现的基准的加速提高4.1-76.7来保持可扩展性。对基线无法采用这些功能的基线的加速1.6-4.0。代码的链接：https：//github.com/graph-com/neighborhood-aware-ware-temporal-network。

保持个人特征和复杂的关系，广泛利用和研究了图表数据。通过更新和聚合节点的表示，能够捕获结构信息，图形神经网络（GNN）模型正在获得普及。在财务背景下，该图是基于实际数据构建的，这导致复杂的图形结构，因此需要复杂的方法。在这项工作中，我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后，我们总结了每个地图类型的GNN方法，每个区域的应用，并提出一些潜在的研究领域。

顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而，这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上，这种影响在序列推荐中发挥着重要作用，因为用户的行为容易受其他人的影响。因此，期望聚合用户行为和用户之间的影响，这些用户在时间上演化并涉及用户和项目的异构图。在本文中，我们纳入了动态用户项异构图，提出了一种新的顺序推荐框架。结果，可以考虑历史行为以及用户之间的影响。为此，我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后，我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计，并采用伪似然方法来得出易行目标函数。最后，我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性，而且还提供了一些关于顺序推荐的有洞察力的发现。

最近，对从交互数据提取信息的大量兴趣。传统上，这是通过将其建模为动态网络中特定时间的配对交互来完成的。然而，真实世界的互动很少是对的;它们可以涉及超过两个节点。在文献中，这些类型的群组交互由HyperUredges /超链接建模。现有的HIFEBEGE建模工作仅关注静态网络，并且它们无法模拟节点的时间演变，因为它们与其他节点交互。此外，它们无法应答时间查询，如下一步以及发生交互时将发生的相互作用类型。为了解决这些限制，在本文中，我们开发了一种用于超链接预测的时间点过程模型。我们提出的模型使用用于节点的动态表示技术来模拟演化，并在神经点过程框架中使用该表示来制作推断。我们在五个现实世界交互数据上评估我们的模型，并显示我们的动态模型在静态模型上具有显着的性能增益。此外，我们还展示了我们在对双向交互建模技术上的技术的优势。

深层神经网络预测交通需求已引起了学术界和行业社会的广泛兴趣。其中，成对来源点（OD）需求预测是一个有价值但具有挑战性的问题：（i）大量可能的OD对，（ii）空间依赖性的内在性和（iii）交通的复杂性状态。为了解决上述问题，本文提出了一种连续的时间和多级动态图表表示方法，用于原始用途需求预测（CMOD）。首先，构建了一个连续的动态图表示学习框架，该框架维护每个流量节点（地铁站或出租车区）的动态状态向量。国家向量保留历史交易信息，并根据最近发生的交易不断更新。其次，提出了多层结构学习模块，以模拟站点级节点的空间依赖性。它不仅可以从数据自适应地利用节点之间的关系，还可以通过集群级别和区域级虚拟节点共享消息和表示形式。最后，跨级融合模块旨在集成多级记忆并为最终预测生成综合节点表示。在北京地铁和纽约出租车的两个现实世界数据集上进行了广泛的实验，结果证明了我们的模型与最先进的方法相比。

时间图神经网络（时间GNN）已被广泛研究，在多个预测任务上达到了最新的结果。大多数先前作品采用的一种常见方法是应用一个层，该图层汇总了节点历史邻居的信息。朝着不同的研究方向迈进，在这项工作中，我们提出了TBDFS - 一种新颖的时间GNN架构。 TBDF应用一个层，该图层有效地将信息从时间路径聚集到图中的给定（目标）节点。对于每个给定的节点，将聚集分为两个阶段：（1）在该节点中结束的每个时间路径的单个表示，并且（2）所有路径表示都汇总为最终节点表示。总体而言，我们的目标不是在节点中添加新信息，而是从新角度观察相同的确切信息。这使我们的模型可以直接观察到面向路径的模式，而不是面向邻里的模式。与以前的作品中应用的流行呼吸优先搜索（BFS）遍历相比，这可以认为是时间图上的深度优先搜索（DFS）遍历。我们通过多个链接预测任务评估了TBDF，并显示出与最先进的基线相比的表现。据我们所知，我们是第一个应用Perimal-DFS神经网络的人。

静态图形神经网络已广泛用于图形结构数据的建模和表示学习。但是，许多现实世界问题，例如社交网络，金融交易，推荐系统等，是动态的，即节点和边缘随时间添加或删除。因此，近年来，动态图形神经网络从研究人员收到了越来越多的关注。在这项工作中，我们提出了一种新颖的动态图形神经网络，高效。它自适应地将时间信息与等量的时间拓扑结构相等地编码成一系列贴片。因此，在避免使用快照来引起信息丢失的同时，它还实现了更精细的时间粒度，这接近连续网络可以提供的。此外，我们还设计了一种轻量级模块，稀疏的时间变压器，通过结构街区和时间动态来计算节点表示。由于简化了完全连接的注意力，因此计算成本远低于当前最先进的。链路预测实验在连续和离散图数据集中进行。通过比较嵌入基线的几个最先进的图表，实验结果表明，效率达到了竞争性能的推理速度更快。

In recent years, Graph Neural Networks (GNNs), which can naturally integrate node information and topological structure, have been demonstrated to be powerful in learning on graph data. These advantages of GNNs provide great potential to advance social recommendation since data in social recommender systems can be represented as user-user social graph and user-item graph; and learning latent factors of users and items is the key. However, building social recommender systems based on GNNs faces challenges. For example, the user-item graph encodes both interactions and their associated opinions; social relations have heterogeneous strengths; users involve in two graphs (e.g., the useruser social graph and the user-item graph). To address the three aforementioned challenges simultaneously, in this paper, we present a novel graph neural network framework (GraphRec) for social recommendations. In particular, we provide a principled approach to jointly capture interactions and opinions in the user-item graph and propose the framework GraphRec, which coherently models two graphs and heterogeneous strengths. Extensive experiments on two real-world datasets demonstrate the effectiveness of the proposed framework GraphRec.

近年来，由于图表代表学习的出色表现，图形神经网络（GNN）技术在许多真实情景中获得了相当大的兴趣，例如推荐系统和社交网络。在推荐系统中，主要挑战是从其互动中学习有效的用户/项目表示。但是，由于它们对数据集和评估度量的差异，比较使用GNNS用于推荐系统的GNN的许多出版物。此外，其中许多只提供了一个演示，以对小型数据集进行实验，这很远可在现实世界推荐系统中应用。为了解决这个问题，我们介绍了Graph4Rec，这是一个Universal Toolkit，它统一地将GNN模型培训到以下部分：图表输入，随机步行生成，自我图形生成，对生成和GNNS选择。从这个训练管道，可以通过一些配置轻松建立自己的GNN模型。此外，我们开发了一个大规模的图形引擎和参数服务器，以支持分布式GNN培训。我们进行系统和全面的实验，以比较不同GNN模型在不同规模中的若干场景中的性能。证明了广泛的实验以识别GNN的关键组分。我们还尝试弄清楚稀疏和密集的参数如何影响GNN的性能。最后，我们研究了包括负面采样，自我图形建设顺序和温暖开始策略的方法，以找到更有效和高效的GNNS在推荐系统上做法。我们的工具包基于PGL HTTPS://github.com/paddlePaddle/pgl，并且在https://github.com/paddlepaddle/pgl/tree/main/apps/graph4rec中打开代码。