许多实际关系系统，如社交网络和生物系统，包含动态相互作用。在学习动态图形表示时，必须采用连续的时间信息和几何结构。主流工作通过消息传递网络（例如，GCN，GAT）实现拓扑嵌入。另一方面，时间演进通常通过在栅极机构中具有方便信息过滤的存储单元（例如，LSTM或GU）来表达。但是，由于过度复杂的编码，这种设计可以防止大规模的输入序列。这项工作从自我关注的哲学中学习，并提出了一种高效的基于频谱的神经单元，采用信息的远程时间交互。发达的频谱窗口单元（SWINIT）模型预测了具有保证效率的可扩展动态图形。该架构与一些构成随机SVD，MLP和图形帧卷积的一些简单的有效计算块组装。 SVD加MLP模块编码动态图事件的长期特征演进。帧卷积中的快速帧图形变换嵌入了结构动态。两种策略都提高了模型对可扩展分析的能力。特别地，迭代的SVD近似度将注意力的计算复杂性缩小到具有n个边缘和D边缘特征的动态图形的关注的计算复杂性，并且帧卷积的多尺度变换允许在网络训练中具有足够的可扩展性。我们的Swinit在各种在线连续时间动态图表学习任务中实现了最先进的性能，而与基线方法相比，可学习参数的数量可达七倍。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

随着从现实世界所收集的图形数据仅仅是无噪声，图形的实际表示应该是强大的噪声。现有的研究通常侧重于特征平滑，但留下几何结构不受影响。此外，大多数工作需要L2-Norm，追求全局平滑度，这限制了图形神经网络的表现。本文根据特征和结构噪声裁定图表数据的常规程序，其中目标函数用乘法器（ADMM）的交替方向方法有效地解决。该方案允许采用多个层，而无需过平滑的关注，并且保证对最佳解决方案的收敛性。实证研究证明，即使在重大污染的情况下，我们的模型也与流行的图表卷积相比具有明显更好的性能。

Graphs are ubiquitous in nature and can therefore serve as models for many practical but also theoretical problems. For this purpose, they can be defined as many different types which suitably reflect the individual contexts of the represented problem. To address cutting-edge problems based on graph data, the research field of Graph Neural Networks (GNNs) has emerged. Despite the field's youth and the speed at which new models are developed, many recent surveys have been published to keep track of them. Nevertheless, it has not yet been gathered which GNN can process what kind of graph types. In this survey, we give a detailed overview of already existing GNNs and, unlike previous surveys, categorize them according to their ability to handle different graph types and properties. We consider GNNs operating on static and dynamic graphs of different structural constitutions, with or without node or edge attributes. Moreover, we distinguish between GNN models for discrete-time or continuous-time dynamic graphs and group the models according to their architecture. We find that there are still graph types that are not or only rarely covered by existing GNN models. We point out where models are missing and give potential reasons for their absence.

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图表神经网络（GNNS）最近在人工智能（AI）领域的普及，这是由于它们作为输入数据相对非结构化数据类型的独特能力。尽管GNN架构的一些元素在概念上类似于传统神经网络（以及神经网络变体）的操作中，但是其他元件代表了传统深度学习技术的偏离。本教程通过整理和呈现有关GNN最常见和性能变种的动机，概念，数学和应用的细节，将GNN的权力和新颖性暴露给AI从业者。重要的是，我们简明扼要地向实际示例提出了本教程，从而为GNN的主题提供了实用和可访问的教程。

静态图形神经网络已广泛用于图形结构数据的建模和表示学习。但是，许多现实世界问题，例如社交网络，金融交易，推荐系统等，是动态的，即节点和边缘随时间添加或删除。因此，近年来，动态图形神经网络从研究人员收到了越来越多的关注。在这项工作中，我们提出了一种新颖的动态图形神经网络，高效。它自适应地将时间信息与等量的时间拓扑结构相等地编码成一系列贴片。因此，在避免使用快照来引起信息丢失的同时，它还实现了更精细的时间粒度，这接近连续网络可以提供的。此外，我们还设计了一种轻量级模块，稀疏的时间变压器，通过结构街区和时间动态来计算节点表示。由于简化了完全连接的注意力，因此计算成本远低于当前最先进的。链路预测实验在连续和离散图数据集中进行。通过比较嵌入基线的几个最先进的图表，实验结果表明，效率达到了竞争性能的推理速度更快。

动态图形表示学习是具有广泛应用程序的重要任务。以前关于动态图形学习的方法通常对嘈杂的图形信息（如缺失或虚假连接）敏感，可以产生退化的性能和泛化。为了克服这一挑战，我们提出了一种基于变换器的动态图表学习方法，命名为动态图形变换器（DGT），带有空间 - 时间编码，以有效地学习图形拓扑并捕获隐式链接。为了提高泛化能力，我们介绍了两个补充自我监督的预训练任务，并表明共同优化了两种预训练任务，通过信息理论分析导致较小的贝叶斯错误率。我们还提出了一个时间联盟图形结构和目标 - 上下文节点采样策略，用于高效和可扩展的培训。与现实世界数据集的广泛实验说明了与几个最先进的基线相比，DGT呈现出优异的性能。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

近年来，图表表示学习越来越多地引起了越来越长的关注，特别是为了在节点和图表水平上学习对分类和建议任务的低维嵌入。为了能够在现实世界中的大规模图形数据上学习表示，许多研究专注于开发不同的抽样策略，以方便培训过程。这里，我们提出了一种自适应图策略驱动的采样模型（GPS），其中通过自适应相关计算实现了本地邻域中每个节点的影响。具体地，邻居的选择是由自适应策略算法指导的，直接贡献到消息聚合，节点嵌入更新和图级读出步骤。然后，我们从各种角度对图表分类任务进行全面的实验。我们所提出的模型在几个重要的基准测试中优于现有的3％-8％，实现了现实世界数据集的最先进的性能。

图神经网络（GNN）已成功应用于许多真实世界静态图。但是，由于模型设计，评估设置和训练策略的局限性，静态图的成功尚未完全转化为动态图。具体而言，现有的动态GNN并不包含静态GNN的最新设计，从而限制了其性能。动态GNN的当前评估设置不能完全反映动态图的不断发展的性质。最后，用于动态GNN的常用训练方法是不可扩展的。在这里，我们提出了Roland，这是现实世界动态图的有效图表学习框架。 Roland框架的核心可以帮助研究人员轻松地将任何静态GNN重新用于动态图。我们的见解是将不同GNN层的节点嵌入视为分层节点状态，然后随着时间的推移将其反复更新。然后，我们为动态图引入了实时更高的评估设置，该设置模仿了现实世界中的用例，其中GNN正在做出预测并在滚动基础上进行更新。最后，我们通过增量训练和元学习提出了一种可扩展有效的训练方法，以动态GNN。我们在未来链接预测任务上对八个不同的动态图数据集进行了实验。在三个数据集的标准评估设置下，使用Roland框架建立的模型平均相对平均互惠等级（MRR）的平均相对平均值（MRR）改进。我们发现对较大数据集的最先进的基线经历了不可存储的错误，而Roland可以轻松地扩展到5600万个边缘的动态图。在使用ROLAND训练策略重新实现这些基准线后，Roland模型平均相对于基线相对相对改善了15.5％。

许多现实世界图包含时域信息。时间图神经网络在生成的动态节点嵌入中捕获时间信息以及结构和上下文信息。研究人员表明，这些嵌入在许多不同的任务中实现了最先进的表现。在这项工作中，我们提出了TGL，这是一个用于大规模脱机时间图神经网络训练的统一框架，用户可以使用简单的配置文件组成各种时间图神经网络。 TGL包括五个主要组件，一个临时采样器，一个邮箱，节点内存模块，存储器更新程序和消息传递引擎。我们设计了临时CSR数据结构和平行采样器，以有效地对颞邻邻居进行制作微型批次。我们提出了一种新颖的随机块调度技术，该技术可以减轻大批量训练时过时的节点存储器的问题。为了解决仅在小规模数据集上评估当前TGNN的局限性，我们介绍了两个具有0.2亿和13亿个时间边缘的大型现实世界数据集。我们在四个具有单个GPU的小规模数据集上评估了TGL的性能，以及两个具有多个GPU的大数据集，用于链接预测和节点分类任务。我们将TGL与五种方法的开源代码进行了比较，并表明TGL平均达到13倍的速度可实现相似或更高的精度。与基准相比，我们的时间平行采样器在多核CPU上平均达到173倍加速。在4-GPU机器上，TGL可以在1-10小时内训练一个超过10亿个时间边缘的时期。据我们所知，这是第一项提出了一个关于多个GPU的大规模时间图神经网络培训的一般框架的工作。

最近的研究表明，在将图神经网络应用于多元时间序列预测中，其中时间序列的相互作用被描述为图形结构，并且变量表示为图节点。沿着这一行，现有方法通常假定确定图神经网络的聚合方式的图形结构（或邻接矩阵）是根据定义或自学来固定的。但是，变量的相互作用在现实情况下可以是动态的和进化的。此外，如果在不同的时间尺度上观察到时间序列的相互作用序列的相互作用大不相同。为了使图形神经网络具有灵活而实用的图结构，在本文中，我们研究了如何对时间序列的进化和多尺度相互作用进行建模。特别是，我们首先提供与扩张的卷积配合的层次图结构，以捕获时间序列之间的比例特定相关性。然后，以经常性的方式构建了一系列邻接矩阵，以表示每一层的不断发展的相关性。此外，提供了一个统一的神经网络来集成上述组件以获得最终预测。这样，我们可以同时捕获成对的相关性和时间依赖性。最后，对单步和多步骤预测任务的实验证明了我们方法比最新方法的优越性。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

图形神经网络（GNNS）已被广泛用于许多域，在这些领域中，数据被表示为图，包括社交网络，推荐系统，生物学，化学等。最近，GNNS的表现力引起了人们的兴趣。已经表明，尽管GNNS在许多应用中取得了有希望的经验结果，但GNN中存在一些局限性，阻碍了他们对某些任务的绩效。例如，由于GNNS更新节点功能主要基于本地信息，因此它们在捕获图中节点之间的长距离依赖性方面具有有限的表达能力。为了解决GNN的一些局限性，最近的几项工作开始探索增强的GNN，并记忆以提高其在相关任务中的表现力。在本文中，我们对现有的记忆启发性GNN的现有文献进行了全面综述。我们通过心理学和神经科学的角度回顾了这些作品，后者已经在生物学大脑中建立了多种记忆系统和机制。我们提出了记忆GNN作品的分类法，以及比较记忆机制的一组标准。我们还提供有关这些作品局限性的重要讨论。最后，我们讨论了该领域的挑战和未来方向。

时间网络已被广泛用于建模现实世界中的复杂系统，例如金融系统和电子商务系统。在时间网络中，一组节点的联合邻居通常提供至关重要的结构信息，以预测它们是否可以在一定时间相互作用。但是，最新的时间网络的表示学习方法通​​常无法提取此类信息或取决于极具耗时的特征构建方法。为了解决该问题，这项工作提出了邻里感知的时间网络模型（NAT）。对于网络中的每个节点，NAT放弃了常用的基于单个矢量的表示，同时采用了新颖的词典型邻域表示。这样的词典表示记录了一组相邻节点作为键，并可以快速构建多个节点联合邻域的结构特征。我们还设计了称为N-CACHE的专用数据结构，以支持GPU上这些字典表示的并行访问和更新。 NAT在七个现实世界大规模的时间网络上进行了评估。 NAT不仅胜过所有尖端基线的平均分别为5.9％和6.0％，分别具有换电和电感链路预测准确性，而且还可以通过对采用联合结构特征和实现的基准的加速提高4.1-76.7来保持可扩展性。对基线无法采用这些功能的基线的加速1.6-4.0。代码的链接：https：//github.com/graph-com/neighborhood-aware-ware-temporal-network。

链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得