图神经网络（GNN）已成功应用于许多真实世界静态图。但是，由于模型设计，评估设置和训练策略的局限性，静态图的成功尚未完全转化为动态图。具体而言，现有的动态GNN并不包含静态GNN的最新设计，从而限制了其性能。动态GNN的当前评估设置不能完全反映动态图的不断发展的性质。最后，用于动态GNN的常用训练方法是不可扩展的。在这里，我们提出了Roland，这是现实世界动态图的有效图表学习框架。 Roland框架的核心可以帮助研究人员轻松地将任何静态GNN重新用于动态图。我们的见解是将不同GNN层的节点嵌入视为分层节点状态，然后随着时间的推移将其反复更新。然后，我们为动态图引入了实时更高的评估设置，该设置模仿了现实世界中的用例，其中GNN正在做出预测并在滚动基础上进行更新。最后，我们通过增量训练和元学习提出了一种可扩展有效的训练方法，以动态GNN。我们在未来链接预测任务上对八个不同的动态图数据集进行了实验。在三个数据集的标准评估设置下，使用Roland框架建立的模型平均相对平均互惠等级（MRR）的平均相对平均值（MRR）改进。我们发现对较大数据集的最先进的基线经历了不可存储的错误，而Roland可以轻松地扩展到5600万个边缘的动态图。在使用ROLAND训练策略重新实现这些基准线后，Roland模型平均相对于基线相对相对改善了15.5％。

动态图中的表示学习是一个具有挑战性的问题，因为图形和节点功能的拓扑在不同的时间内变化。这要求模型能够有效地捕获图形拓扑信息和时间信息。大多数现有的作品都是基于经常性神经网络（RNN）的作品，用于确切的动态图形的时间信息，因此它们继承了RNN的相同缺点。在本文中，我们提出了在动态图表（LEDG）上的发展 - 一种新的算法，共同学习图信息和时间信息。具体而言，我们的方法利用基于梯度的元学习来学习更新的策略，这些策略与快照上的RNN具有更好的泛化能力。它是模型 - 不可知的，因此可以在动态图表上培训基于图形神经网络（GNN）的任何消息。为了增强代表性权力，我们将嵌入的嵌入嵌入到时间嵌入和图形内在嵌入。我们对各种数据集和下游任务进行实验，实验结果验证了我们方法的有效性。

许多实际关系系统，如社交网络和生物系统，包含动态相互作用。在学习动态图形表示时，必须采用连续的时间信息和几何结构。主流工作通过消息传递网络（例如，GCN，GAT）实现拓扑嵌入。另一方面，时间演进通常通过在栅极机构中具有方便信息过滤的存储单元（例如，LSTM或GU）来表达。但是，由于过度复杂的编码，这种设计可以防止大规模的输入序列。这项工作从自我关注的哲学中学习，并提出了一种高效的基于频谱的神经单元，采用信息的远程时间交互。发达的频谱窗口单元（SWINIT）模型预测了具有保证效率的可扩展动态图形。该架构与一些构成随机SVD，MLP和图形帧卷积的一些简单的有效计算块组装。 SVD加MLP模块编码动态图事件的长期特征演进。帧卷积中的快速帧图形变换嵌入了结构动态。两种策略都提高了模型对可扩展分析的能力。特别地，迭代的SVD近似度将注意力的计算复杂性缩小到具有n个边缘和D边缘特征的动态图形的关注的计算复杂性，并且帧卷积的多尺度变换允许在网络训练中具有足够的可扩展性。我们的Swinit在各种在线连续时间动态图表学习任务中实现了最先进的性能，而与基线方法相比，可学习参数的数量可达七倍。

签名的网络使我们能够对双方的关系和互动进行建模，例如朋友/敌人，支持/反对等。这些交互通常在真实数据集中是暂时的，在这些数据集中，节点和边缘会随时间出现。因此，学习签名网络的动态对于有效预测未来联系的符号和强度至关重要。现有的作品模型签名网络或动态网络，但并非都在一起。在这项工作中，我们研究了动态签名的网络，在这些网络中，链接都随时间签名和演变。我们的模型使用内存模块和平衡聚合（因此，名称SEMBA）学习了签名的链接的演变。每个节点都维护两个单独的内存编码，以实现正相互作用和负相互作用。在新边缘的到来时，每个交互节点汇总了此签名的信息，并利用平衡理论。节点嵌入是使用更新的内存生成的，然后将其用于训练多个下游任务，包括链接标志预测和链接权重预测。我们的结果表明，SEMBA的表现优于所有基准，即通过获得AUC增长8％，而FPR降低了50％。关于预测签名权重的任务的结果表明，SEMBA将平方误差降低了9％，同时降低了KL-Divergence对预测签名权重的分布的减少69％。

许多现实世界图包含时域信息。时间图神经网络在生成的动态节点嵌入中捕获时间信息以及结构和上下文信息。研究人员表明，这些嵌入在许多不同的任务中实现了最先进的表现。在这项工作中，我们提出了TGL，这是一个用于大规模脱机时间图神经网络训练的统一框架，用户可以使用简单的配置文件组成各种时间图神经网络。 TGL包括五个主要组件，一个临时采样器，一个邮箱，节点内存模块，存储器更新程序和消息传递引擎。我们设计了临时CSR数据结构和平行采样器，以有效地对颞邻邻居进行制作微型批次。我们提出了一种新颖的随机块调度技术，该技术可以减轻大批量训练时过时的节点存储器的问题。为了解决仅在小规模数据集上评估当前TGNN的局限性，我们介绍了两个具有0.2亿和13亿个时间边缘的大型现实世界数据集。我们在四个具有单个GPU的小规模数据集上评估了TGL的性能，以及两个具有多个GPU的大数据集，用于链接预测和节点分类任务。我们将TGL与五种方法的开源代码进行了比较，并表明TGL平均达到13倍的速度可实现相似或更高的精度。与基准相比，我们的时间平行采样器在多核CPU上平均达到173倍加速。在4-GPU机器上，TGL可以在1-10小时内训练一个超过10亿个时间边缘的时期。据我们所知，这是第一项提出了一个关于多个GPU的大规模时间图神经网络培训的一般框架的工作。

Graphs are ubiquitous in nature and can therefore serve as models for many practical but also theoretical problems. For this purpose, they can be defined as many different types which suitably reflect the individual contexts of the represented problem. To address cutting-edge problems based on graph data, the research field of Graph Neural Networks (GNNs) has emerged. Despite the field's youth and the speed at which new models are developed, many recent surveys have been published to keep track of them. Nevertheless, it has not yet been gathered which GNN can process what kind of graph types. In this survey, we give a detailed overview of already existing GNNs and, unlike previous surveys, categorize them according to their ability to handle different graph types and properties. We consider GNNs operating on static and dynamic graphs of different structural constitutions, with or without node or edge attributes. Moreover, we distinguish between GNN models for discrete-time or continuous-time dynamic graphs and group the models according to their architecture. We find that there are still graph types that are not or only rarely covered by existing GNN models. We point out where models are missing and give potential reasons for their absence.

时间网络已被广泛用于建模现实世界中的复杂系统，例如金融系统和电子商务系统。在时间网络中，一组节点的联合邻居通常提供至关重要的结构信息，以预测它们是否可以在一定时间相互作用。但是，最新的时间网络的表示学习方法通​​常无法提取此类信息或取决于极具耗时的特征构建方法。为了解决该问题，这项工作提出了邻里感知的时间网络模型（NAT）。对于网络中的每个节点，NAT放弃了常用的基于单个矢量的表示，同时采用了新颖的词典型邻域表示。这样的词典表示记录了一组相邻节点作为键，并可以快速构建多个节点联合邻域的结构特征。我们还设计了称为N-CACHE的专用数据结构，以支持GPU上这些字典表示的并行访问和更新。 NAT在七个现实世界大规模的时间网络上进行了评估。 NAT不仅胜过所有尖端基线的平均分别为5.9％和6.0％，分别具有换电和电感链路预测准确性，而且还可以通过对采用联合结构特征和实现的基准的加速提高4.1-76.7来保持可扩展性。对基线无法采用这些功能的基线的加速1.6-4.0。代码的链接：https：//github.com/graph-com/neighborhood-aware-ware-temporal-network。

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。

图形神经网络（GNN）已被密切应用于各种基于图的应用程序。尽管他们成功了，但手动设计行为良好的GNN需要巨大的人类专业知识。因此，发现潜在的最佳数据特异性GNN体系结构效率低下。本文提出了DFG-NAS，这是一种新的神经体系结构搜索（NAS）方法，可自动搜索非常深入且灵活的GNN体系结构。与大多数专注于微构造的方法不同，DFG-NAS突出了另一个设计级别：搜索有关原子传播的宏观构造（\ TextBf {\ Textbf {\ Texttt {p}}}）和转换（\ texttt {\ textttt {\ texttt {\ texttt {\ texttt { T}}）的操作被整合并组织到GNN中。为此，DFG-NAS为\ textbf {\ texttt {p-t}}}的排列和组合提出了一个新颖的搜索空间，该搜索空间是基于消息传播的散布，定义了四个自定义设计的宏观架构突变，并采用了进化性algorithm to to the Evolutionary algorithm进行有效的搜索。关于四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手动设计和GNN的NAS方法。

Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for modeling Web-scale heterogeneous graphs. To model heterogeneity, we design node-and edge-type dependent parameters to characterize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we introduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the heterogeneous mini-batch graph sampling algorithm-HGSampling-for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%-21% on various downstream tasks. The dataset and source code of HGT are publicly available at https://github.com/acbull/pyHGT.

动态类型的语言如JavaScript和Python已成为最受欢迎的使用中的使用中。重要的优势可以从动态类型的程序中的类型注释累积。逐渐键入的这种方法是由Querecript编程系统示例，允许程序员指定部分键入的程序，然后使用静态分析来推断剩余类型。然而，通常，静态类型推断的有效性受到限制，取决于程序结构和初始注释的复杂性。结果，对于可以在动态类型的程序中可以在静态预测类型中推进本领域的新​​方法的强大动机，并且该具有可接受的性能用于交互式编程环境。以前的工作表明了使用深度学习的概率类型推断的承诺。在本文中，我们通过引入一系列图形的神经网络（GNN）模型来推进过去的工作，该模型在新型流程图（TFG）表示上运行。 TFG表示输入程序的元素，作为与语法边缘和数据流边缘连接的图表节点，并且我们的GNN模型训练以预测给定输入程序的TFG中的类型标签。我们为我们的评估数据集中的100种最常见类型的GNN模型研究了不同的设计选择，并显示了我们最佳的准确性的两个GNN配置，分别实现了87.76％和86.89％的前1个精度，优于两个最密切相关的深度学习型推断从过去的工作 - 矮人的前进剂，顶级1的精度为84.62％，兰丹特精确为79.45％。此外，这两种配置的平均推理吞吐量为353.8和1,303.9文件/秒，而DeepTyper的186.7个文件/秒和LambDanet的1,050.3文件/秒。

图形神经网络（GNNS）已被广泛用于许多域，在这些领域中，数据被表示为图，包括社交网络，推荐系统，生物学，化学等。最近，GNNS的表现力引起了人们的兴趣。已经表明，尽管GNNS在许多应用中取得了有希望的经验结果，但GNN中存在一些局限性，阻碍了他们对某些任务的绩效。例如，由于GNNS更新节点功能主要基于本地信息，因此它们在捕获图中节点之间的长距离依赖性方面具有有限的表达能力。为了解决GNN的一些局限性，最近的几项工作开始探索增强的GNN，并记忆以提高其在相关任务中的表现力。在本文中，我们对现有的记忆启发性GNN的现有文献进行了全面综述。我们通过心理学和神经科学的角度回顾了这些作品，后者已经在生物学大脑中建立了多种记忆系统和机制。我们提出了记忆GNN作品的分类法，以及比较记忆机制的一组标准。我们还提供有关这些作品局限性的重要讨论。最后，我们讨论了该领域的挑战和未来方向。

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

Learning node embeddings that capture a node's position within the broader graph structure is crucial for many prediction tasks on graphs. However, existing Graph Neural Network (GNN) architectures have limited power in capturing the position/location of a given node with respect to all other nodes of the graph. Here we propose Position-aware Graph Neural Networks (P-GNNs), a new class of GNNs for computing position-aware node embeddings. P-GNN first samples sets of anchor nodes, computes the distance of a given target node to each anchor-set, and then learns a non-linear distance-weighted aggregation scheme over the anchor-sets. This way P-GNNs can capture positions/locations of nodes with respect to the anchor nodes. P-GNNs have several advantages: they are inductive, scalable, and can incorporate node feature information. We apply P-GNNs to multiple prediction tasks including link prediction and community detection. We show that P-GNNs consistently outperform state of the art GNNs, with up to 66% improvement in terms of the ROC AUC score.Node embedding methods can be categorized into Graph Neural Networks (GNNs) approaches (Scarselli et al., 2009),

How can we augment a dynamic graph for improving the performance of dynamic graph neural networks? Graph augmentation has been widely utilized to boost the learning performance of GNN-based models. However, most existing approaches only enhance spatial structure within an input static graph by transforming the graph, and do not consider dynamics caused by time such as temporal locality, i.e., recent edges are more influential than earlier ones, which remains challenging for dynamic graph augmentation. In this work, we propose TiaRa (Time-aware Random Walk Diffusion), a novel diffusion-based method for augmenting a dynamic graph represented as a discrete-time sequence of graph snapshots. For this purpose, we first design a time-aware random walk proximity so that a surfer can walk along the time dimension as well as edges, resulting in spatially and temporally localized scores. We then derive our diffusion matrices based on the time-aware random walk, and show they become enhanced adjacency matrices that both spatial and temporal localities are augmented. Throughout extensive experiments, we demonstrate that TiaRa effectively augments a given dynamic graph, and leads to significant improvements in dynamic GNN models for various graph datasets and tasks.

本文旨在统一非欧几里得空间中的空间依赖性和时间依赖性，同时捕获流量数据的内部空间依赖性。对于具有拓扑结构的时空属性实体，时空是连续的和统一的，而每个节点的当前状态都受到每个邻居的变异时期的邻居的过去状态的影响。大多数用于流量预测研究的空间依赖性和时间相关性的空间神经网络在处理中分别损害了时空完整性，而忽略了邻居节点的时间依赖期可以延迟和动态的事实。为了建模这种实际条件，我们提出了一种新型的空间 - 周期性图神经网络，将空间和时间视为不可分割的整体，以挖掘时空图，同时通过消息传播机制利用每个节点的发展时空依赖性。进行消融和参数研究的实验已经验证了拟议的遍及术的有效性，并且可以从https://github.com/nnzhan/traversenet中找到详细的实现。

图形结构化数据通常在自然界中具有动态字符，例如，在许多现实世界中，链接和节点的添加。近年来见证了对这种图形数据进行建模的动态图神经网络所支付的越来越多的注意力，几乎所有现有方法都假设，当建立新的链接时，应通过学习时间动态来传播邻居节点的嵌入。新的信息。但是，这种方法遭受了这样的限制，如果新连接引入的节点包含嘈杂的信息，那么将其知识传播到其他节点是不可靠的，甚至导致模型崩溃。在本文中，我们提出了Adanet：通过增强动态图神经网络的强化知识适应框架。与以前的方法相反，一旦添加了新链接，就立即更新邻居节点的嵌入方式，Adanet试图自适应地确定由于涉及的新链接而应更新哪些节点。考虑到是否更新一个邻居节点的嵌入的决定将对其他邻居节点产生很大的影响，因此，我们将节点更新的选择作为序列决策问题，并通过强化学习解决此问题。通过这种方式，我们可以将知识自适应地传播到其他节点，以学习健壮的节点嵌入表示。据我们所知，我们的方法构成了通过强化学习的动态图神经网络来探索强大知识适应的首次尝试。在三个基准数据集上进行的广泛实验表明，Adanet可以实现最新的性能。此外，我们通过在数据集中添加不同程度的噪声来执行实验，并定量和定性地说明ADANET的鲁棒性。

近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。

Classical graph algorithms work well for combinatorial problems that can be thoroughly formalized and abstracted. Once the algorithm is derived, it generalizes to instances of any size. However, developing an algorithm that handles complex structures and interactions in the real world can be challenging. Rather than specifying the algorithm, we can try to learn it from the graph-structured data. Graph Neural Networks (GNNs) are inherently capable of working on graph structures; however, they struggle to generalize well, and learning on larger instances is challenging. In order to scale, we focus on a recurrent architecture design that can learn simple graph problems end to end on smaller graphs and then extrapolate to larger instances. As our main contribution, we identify three essential techniques for recurrent GNNs to scale. By using (i) skip connections, (ii) state regularization, and (iii) edge convolutions, we can guide GNNs toward extrapolation. This allows us to train on small graphs and apply the same model to much larger graphs during inference. Moreover, we empirically validate the extrapolation capabilities of our GNNs on algorithmic datasets.

学术界和工业广泛研究了图形机器学习。然而，作为图表学习繁荣的文献，具有大量的新兴方法和技术，它越来越难以手动设计用于不同的图形相关任务的最佳机器学习算法。为了解决挑战，自动化图形机器学习，目的是在没有手动设计的不同图表任务/数据中发现最好的图形任务/数据的最佳超参数和神经架构配置，正在增加研究界的越来越多的关注。在本文中，我们广泛地讨论了自动化图形机方法，涵盖了用于图形机学习的超参数优化（HPO）和神经架构搜索（NAS）。我们简要概述了专为Traph Machine学习或自动化机器学习而设计的现有库，进一步深入介绍AutoGL，我们的专用和世界上第一个用于自动图形机器学习的开放源库。最后但并非最不重要的是，我们分享了对自动图形机学习的未来研究方向的见解。本文是对自动图形机学习的方法，图书馆以及方向的第一个系统和全面讨论。