为时空网络数据设计和分析学习模型对于包括预测，异常检测和多机构协调等任务非常重要。图形卷积神经网络（GCNN）是一种从时间不变的网络数据中学习的既定方法。图卷积操作提供了一种原则方法来汇总多分辨率信息。但是，将卷积原则性学习和各自的分析扩展到时空结构域是具有挑战性的，因为时空数据具有更多的固有依赖性。因此，需要更高的灵活性来捕获空间和时间依赖性以学习有意义的高阶表示。在这里，我们利用产品图来表示数据中的时空依赖性，并引入图表时间卷积神经网络（GTCNN）作为有原则的体系结构来帮助学习。提出的方法可以与任何类型的产品图一起使用，我们还引入了参数产品图，以学习时空耦合。卷积原理进一步允许与GCNN相似的数学障碍。特别是，稳定性结果表明GTCNN在空间扰动上是稳定的，但是在可区分性和鲁棒性之间存在隐含的权衡。即，模型越复杂，稳定较小。基准数据集的广泛数值结果证实了我们的发现，并显示GTCNN与最先进的解决方案相比有利。我们预计，GTCNN将成为更复杂的模型的起点，这些模型可以实现良好的性能，但从根本上讲是基础的。

Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it's fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information. CCS CONCEPTS• Computing methodologies → Neural networks; Artificial intelligence.

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

大规模结构化数据的有效表示，进攻，分析和可视化在图形上引起了很多关注。到目前为止，大多数文献都集中在实现的信号上。但是，信号通常在傅立叶域中稀疏，并且可以使用其光谱组件的复杂信封来获得更多信息和紧凑的表示形式，而不是原始的真实价值信号。出于这一事实的激励，在这项工作中，我们将图形卷积神经网络（GCN）推广到复杂域，从而得出了允许将复杂值的图形移位运算符（GSO）纳入图形过滤器（GF）和过程的理论。复杂值图形信号（GS）。开发的理论可以处理时空复杂的网络过程。我们证明，相对于基础图支持的扰动，传输误差的界限以及通过乘积层传播的界限，复合物值GCN是稳定的。然后，我们将复杂的GCN应用于电网状态预测，电网网络攻击检测和定位。

Spatiotemporal forecasting has various applications in neuroscience, climate and transportation domain. Traffic forecasting is one canonical example of such learning task. The task is challenging due to (1) complex spatial dependency on road networks, (2) non-linear temporal dynamics with changing road conditions and (3) inherent difficulty of long-term forecasting. To address these challenges, we propose to model the traffic flow as a diffusion process on a directed graph and introduce Diffusion Convolutional Recurrent Neural Network (DCRNN), a deep learning framework for traffic forecasting that incorporates both spatial and temporal dependency in the traffic flow. Specifically, DCRNN captures the spatial dependency using bidirectional random walks on the graph, and the temporal dependency using the encoder-decoder architecture with scheduled sampling. We evaluate the framework on two real-world large scale road network traffic datasets and observe consistent improvement of 12% -15% over state-of-the-art baselines.

图形神经网络（GNNS）是由图形卷积和叉指非线性组成的层组成的深度卷积架构。由于其不变性和稳定性属性，GNN在网络数据的学习陈述中被证明是成功的。但是，训练它们需要矩阵计算，这对于大图可能是昂贵的。为了解决这个限制，我们研究了GNN横跨图形转移的能力。我们考虑图形，这是加权和随机图形的图形限制和生成模型，以定义图形卷积和GNNS - Graphon卷曲和Graphon神经网络（WNNS）的限制对象 - 我们用作图形卷曲的生成模型和GNNS。我们表明，这些石墨源区和WNN可以通过图形滤波器和来自加权和随机图中的它们采样的GNN来近似。使用这些结果，我们将导出误差界限，用于跨越此类图形传输图形过滤器和GNN。这些界限表明，可转换性随着图尺寸的增加而增加，并且揭示了在GNN中的可转换性和光谱分辨率之间的折衷，其被点亮的非线性缓解。这些发现经验在电影推荐和分散机器人控制中的数值实验中进行了经验验证。

在本文中，我们为基于非交换代数的代数神经网络（ALGNN）提供稳定性结果。 ALGNN是堆叠的分层结构，每个层都与代数信号模型（ASM）相关联，由代数，矢量空间和同态性。信号被建模为矢量空间的元素，过滤器是代数中的元素，而同态则可以实现过滤器作为混凝土操作员。我们研究了代数过滤器在非交换代数对同态扰动中的稳定性，并提供了保证稳定性的条件。我们表明，轮班运算符和偏移和扰动之间的换向性不会影响稳定体系结构的属性。这提供了一个问题，即转移不变性是否是保证稳定性的卷积体系结构的必要属性。此外，我们表明，尽管非交换代数中过滤器的频率响应在交换代数中与过滤器相对于过滤器表现出很大的差异，但它们的稳定过滤器的衍生物具有相似的行为。

Outstanding achievements of graph neural networks for spatiotemporal time series analysis show that relational constraints introduce an effective inductive bias into neural forecasting architectures. Often, however, the relational information characterizing the underlying data-generating process is unavailable and the practitioner is left with the problem of inferring from data which relational graph to use in the subsequent processing stages. We propose novel, principled - yet practical - probabilistic score-based methods that learn the relational dependencies as distributions over graphs while maximizing end-to-end the performance at task. The proposed graph learning framework is based on consolidated variance reduction techniques for Monte Carlo score-based gradient estimation, is theoretically grounded, and, as we show, effective in practice. In this paper, we focus on the time series forecasting problem and show that, by tailoring the gradient estimators to the graph learning problem, we are able to achieve state-of-the-art performance while controlling the sparsity of the learned graph and the computational scalability. We empirically assess the effectiveness of the proposed method on synthetic and real-world benchmarks, showing that the proposed solution can be used as a stand-alone graph identification procedure as well as a graph learning component of an end-to-end forecasting architecture.

图表神经网络（GNNS）最近在人工智能（AI）领域的普及，这是由于它们作为输入数据相对非结构化数据类型的独特能力。尽管GNN架构的一些元素在概念上类似于传统神经网络（以及神经网络变体）的操作中，但是其他元件代表了传统深度学习技术的偏离。本教程通过整理和呈现有关GNN最常见和性能变种的动机，概念，数学和应用的细节，将GNN的权力和新颖性暴露给AI从业者。重要的是，我们简明扼要地向实际示例提出了本教程，从而为GNN的主题提供了实用和可访问的教程。

随机图神经网络（SGNN）是信息处理体系结构，可从随机图中学习表示表示。 SGNN受到预期性能的培训，这不能保证围绕最佳期望的特定输出实现的偏差。为了克服这个问题，我们为SGNN提出了一个方差约束优化问题，平衡了预期的性能和随机偏差。通过使用梯度下降和梯度上升的双变量更新SGNN参数，进行了交替的原始双偶学习过程，该过程通过更新SGNN参数来解决问题。为了表征方差约束学习的明确效应，我们对SGNN输出方差进行理论分析，并确定随机鲁棒性和歧视能力之间的权衡。我们进一步分析了方差约束优化问题的二元性差距以及原始双重学习过程的融合行为。前者表示双重变换引起的最优性损失，后者是迭代算法的限制误差，这两者都保证了方差约束学习的性能。通过数值模拟，我们证实了我们的理论发现，并观察到具有可控标准偏差的强劲预期性能。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

我们研究了以模型为简单络合物的抽象拓扑空间支撑的处理信号的线性过滤器，可以解释为解释节点，边缘，三角形面的图形的概括等，以处理此类信号，我们开发了定义为Matrix polynomials的简单卷积过滤器下霍德·拉普拉斯人的下部和上部。首先，我们研究了这些过滤器的特性，并表明它们是线性和转移不变的，以及置换和定向等效的。这些过滤器也可以以低计算复杂性的分布式方式实现，因为它们仅涉及（多个回合）上层和下相邻简单之间的简单转移。其次，着眼于边缘流，我们研究了这些过滤器的频率响应，并研究了如何使用Hodge分类来描述梯度，卷曲和谐波频率。我们讨论了这些频率如何对应于霍德拉普拉斯（Hodge laplacian）的下部和上等耦合以及上的核心，并且可以通过我们的滤波器设计独立调整。第三，我们研究设计简单卷积过滤器并讨论其相对优势的不同程序。最后，我们在几种应用中证实了简单过滤器：提取简单信号的不同频率组件，以denoise边缘流量以及分析金融市场和交通网络。

We introduce an architecture for processing signals supported on hypergraphs via graph neural networks (GNNs), which we call a Hyper-graph Expansion Neural Network (HENN), and provide the first bounds on the stability and transferability error of a hypergraph signal processing model. To do so, we provide a framework for bounding the stability and transferability error of GNNs across arbitrary graphs via spectral similarity. By bounding the difference between two graph shift operators (GSOs) in the positive semi-definite sense via their eigenvalue spectrum, we show that this error depends only on the properties of the GNN and the magnitude of spectral similarity of the GSOs. Moreover, we show that existing transferability results that assume the graphs are small perturbations of one another, or that the graphs are random and drawn from the same distribution or sampled from the same graphon can be recovered using our approach. Thus, both GNNs and our HENNs (trained using normalized Laplacians as graph shift operators) will be increasingly stable and transferable as the graphs become larger. Experimental results illustrate the importance of considering multiple graph representations in HENN, and show its superior performance when transferability is desired.

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

近年来，图形神经网络（GNN）与复发性神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于流量预测，GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构，以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性，以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列，并随着编码层的增量增加，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同，城市路段是循环的，其特征是复杂的空间依赖性。与基线方法相比，一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7％以上，同时将计算资源要求提高了一半以上竞争方法。

流量预测是智能交通系统中时空学习任务的规范示例。现有方法在图形卷积神经操作员中使用预定的矩阵捕获空间依赖性。但是，显式的图形结构损失了节点之间关系的一些隐藏表示形式。此外，传统的图形卷积神经操作员无法在图上汇总远程节点。为了克服这些限制，我们提出了一个新型的网络，空间 - 周期性自适应图卷积，并通过注意力网络（Staan）进行交通预测。首先，我们采用自适应依赖性矩阵，而不是在GCN处理过程中使用预定义的矩阵来推断节点之间的相互依存关系。其次，我们集成了基于图形注意力网络的PW注意，该图形是为全局依赖性设计的，而GCN作为空间块。更重要的是，在我们的时间块中采用了堆叠的散布的1D卷积，具有长期预测的效率，用于捕获不同的时间序列。我们在两个现实世界数据集上评估了我们的Staan，并且实验验证了我们的模型优于最先进的基线。

时空时间序列的神经预测推动了几个相关应用领域的研究和工业创新。图神经网络（GNN）通常是预测体系结构的核心组成部分。但是，在大多数时空gnns中，计算复杂度比序列时间长度缩放到二次因子，图中链接的数量是图中的链接数，因此阻碍了这些模型在大图和长时间序列中的应用。尽管在静态图的背景下提出了提高可伸缩性的方法，但很少有研究工作专门用于时空情况。为了填补这一空白，我们提出了一个可扩展的体系结构，该体系结构利用了时间和空间动力学的有效编码。特别是，我们使用一个随机的复发神经网络将输入时间序列的历史嵌入到包括多尺度时间动力学的高维状态表示中。然后，使用图形邻接矩阵的不同功率沿空间维度沿空间维度传播，以生成以富含时空特征池的特征的节点嵌入。可以在不监督的方式中有效地预先计算所得的节点嵌入，然后将其馈送到馈送前向解码器，该解码器学会映射多尺度时空表示形式为预测。然后，可以通过对节点的嵌入而无需破坏任何依赖性，从而使训练过程在节点方面并行化，从而可以对大型网络进行可扩展性。相关数据集的经验结果表明，我们的方法可以与最新技术的状态竞争，同时大大减轻了计算负担。

最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。

多变量时间序列预测是一个具有挑战性的任务，因为数据涉及长期和短期模式的混合，具有变量之间的动态时空依赖性。现有图形神经网络（GNN）通常与预定义的空间图或学习的固定邻接图模拟多变量关系。它限制了GNN的应用，并且无法处理上述挑战。在本文中，我们提出了一种新颖的框架，即静态和动态图形学习 - 神经网络（SDGL）。该模型分别从数据获取静态和动态图形矩阵分别为模型长期和短期模式。开发静态Matric以通过节点嵌入捕获固定的长期关联模式，并利用图规律性来控制学习静态图的质量。为了捕获变量之间的动态依赖性，我们提出了基于改变节点特征和静态节点Embeddings生成时变矩阵的动态图。在该方法中，我们将学习的静态图信息作为感应偏置集成为诱导动态图和局部时空模式更好。广泛的实验是在两个交通数据集中进行，具有额外的结构信息和四个时间序列数据集，这表明我们的方法在几乎所有数据集上实现了最先进的性能。如果纸张被接受，我将在GitHub上打开源代码。

多变量时间序列预测，分析历史时序序列以预测未来趋势，可以有效地帮助决策。 MTS中变量之间的复杂关系，包括静态，动态，可预测和潜在的关系，使得可以挖掘MTS的更多功能。建模复杂关系不仅是表征潜在依赖性的必要条件以及建模时间依赖性，而且在MTS预测任务中也带来了极大的挑战。然而，现有方法主要关注模拟MTS变量之间的某些关系。在本文中，我们提出了一种新的端到端深度学习模型，通过异构图形神经网络（MTHETGNN）称为多变量时间序列预测。为了表征变量之间的复杂关系，在MTHETGNN中设计了一个关系嵌入模块，其中每个变量被视为图形节点，并且每种类型的边缘表示特定的静态或动态关系。同时，引入了时间嵌入模块的时间序列特征提取，其中涉及具有不同感知尺度的卷积神经网络（CNN）滤波器。最后，采用异质图形嵌入模块来处理由两个模块产生的复杂结构信息。来自现实世界的三个基准数据集用于评估所提出的MTHETGNN。综合实验表明，MTHETGNN在MTS预测任务中实现了最先进的结果。