时空预测是归因于时间动态的高非线性以及空间域中的复杂位置表征模式，尤其是天气预报等领域。图表卷积通常用于对气象中的空间依赖性进行建模，以处理传感器空间位置的不规则分布。在这项工作中，提出了一种用于模仿气象流动的基于图的基于图的卷积，以捕获局部空间模式。基于位置表征模式的平滑度的假设，我们提出了条件本地卷积，其共享内核在节点的局部空间上近似通过前馈网络近似，具有通过地平线所获得的坐标的本地表示作为其输入。既定的联合标准的本地坐标系保留了地理位置的方向。我们进一步提出了距离和方向缩放术语，以减少不规则空间分布的影响。卷积嵌入到经常性的神经网络架构中以模拟时间动态，导致条件本地卷积复制网络（CLCRN）。我们的模型是在真实世界的天气基准数据集上进行评估，实现了最先进的性能，具有明显的改进。我们对本地模式可视化，模型的框架选择，地平线地图等的优势进行进一步分析。

Solving partial differential equations is difficult. Recently proposed neural resolution-invariant models, despite their effectiveness and efficiency, usually require equispaced spatial points of data. However, sampling in spatial domain is sometimes inevitably non-equispaced in real-world systems, limiting their applicability. In this paper, we propose a Non-equispaced Fourier PDE Solver (\textsc{NFS}) with adaptive interpolation on resampled equispaced points and a variant of Fourier Neural Operators as its components. Experimental results on complex PDEs demonstrate its advantages in accuracy and efficiency. Compared with the spatially-equispaced benchmark methods, it achieves superior performance with $42.85\%$ improvements on MAE, and is able to handle non-equispaced data with a tiny loss of accuracy. Besides, to our best knowledge, \textsc{NFS} is the first ML-based method with mesh invariant inference ability to successfully model turbulent flows in non-equispaced scenarios, with a minor deviation of the error on unseen spatial points.

天气预报是一项有吸引力的挑战性任务，因为它对人类生活和大气运动的复杂性的影响。在大量历史观察到的时间序列数据的支持下，该任务适用于数据驱动的方法，尤其是深层神经网络。最近，基于图神经网络（GNN）方法在时空预测方面取得了出色的性能。但是，基于规范的GNNS方法仅分别对每个站的气象变量的局部图或整个车站的全局图进行建模，从而缺乏不同站点的气象变量之间的信息相互作用。在本文中，我们提出了一种新型的层次时空图形神经网络（Histgnn），以模拟多个站点气象变量之间的跨区域时空相关性。自适应图学习层和空间图卷积用于构建自学习图，并研究可变级别和站点级别图的节点之间的隐藏依赖性。为了捕获时间模式，扩张的成立为GATE时间卷积的主干旨在对长而各种气象趋势进行建模。此外，提出了动态的交互学习来构建在层次图中传递的双向信息。三个现实世界中的气象数据集的实验结果表明，史基元超过7个基准的卓越性能，并且将误差降低了4.2％至11.6％，尤其是与最先进的天气预测方法相比。

本文旨在统一非欧几里得空间中的空间依赖性和时间依赖性，同时捕获流量数据的内部空间依赖性。对于具有拓扑结构的时空属性实体，时空是连续的和统一的，而每个节点的当前状态都受到每个邻居的变异时期的邻居的过去状态的影响。大多数用于流量预测研究的空间依赖性和时间相关性的空间神经网络在处理中分别损害了时空完整性，而忽略了邻居节点的时间依赖期可以延迟和动态的事实。为了建模这种实际条件，我们提出了一种新型的空间 - 周期性图神经网络，将空间和时间视为不可分割的整体，以挖掘时空图，同时通过消息传播机制利用每个节点的发展时空依赖性。进行消融和参数研究的实验已经验证了拟议的遍及术的有效性，并且可以从https://github.com/nnzhan/traversenet中找到详细的实现。

交通预测是智能交通系统的问题（ITS），并为个人和公共机构是至关重要的。因此，研究高度重视应对准确预报交通系统的复杂的时空相关性。但是，有两个挑战：1）大多数流量预测研究主要集中在造型相邻传感器的相关性，而忽略远程传感器，例如，商务区有类似的时空模式的相关性; 2）使用静态邻接矩阵中曲线图的卷积网络（GCNs）的现有方法不足以反映在交通系统中的动态空间依赖性。此外，它采用自注意所有的传感器模型动态关联细粒度方法忽略道路网络分层信息，并有二次计算复杂性。在本文中，我们提出了一种新动态多图形卷积递归网络（DMGCRN），以解决上述问题，可以同时距离的空间相关性，结构的空间相关性，和所述时间相关性进行建模。那么，只使用基于距离的曲线图来捕获空间信息从节点是接近距离也构建了一个新潜曲线图，其编码的道路之间的相关性的结构来捕获空间信息从节点在结构上相似。此外，我们在不同的时间将每个传感器的邻居到粗粒区域，并且动态地分配不同的权重的每个区域。同时，我们整合动态多图卷积网络到门控重复单元（GRU）来捕获时间依赖性。三个真实世界的交通数据集大量的实验证明，我们提出的算法优于国家的最先进的基线。

最近的研究表明，在将图神经网络应用于多元时间序列预测中，其中时间序列的相互作用被描述为图形结构，并且变量表示为图节点。沿着这一行，现有方法通常假定确定图神经网络的聚合方式的图形结构（或邻接矩阵）是根据定义或自学来固定的。但是，变量的相互作用在现实情况下可以是动态的和进化的。此外，如果在不同的时间尺度上观察到时间序列的相互作用序列的相互作用大不相同。为了使图形神经网络具有灵活而实用的图结构，在本文中，我们研究了如何对时间序列的进化和多尺度相互作用进行建模。特别是，我们首先提供与扩张的卷积配合的层次图结构，以捕获时间序列之间的比例特定相关性。然后，以经常性的方式构建了一系列邻接矩阵，以表示每一层的不断发展的相关性。此外，提供了一个统一的神经网络来集成上述组件以获得最终预测。这样，我们可以同时捕获成对的相关性和时间依赖性。最后，对单步和多步骤预测任务的实验证明了我们方法比最新方法的优越性。

Traffic forecasting as a canonical task of multivariate time series forecasting has been a significant research topic in AI community. To address the spatio-temporal heterogeneity and non-stationarity implied in the traffic stream, in this study, we propose Spatio-Temporal Meta-Graph Learning as a novel Graph Structure Learning mechanism on spatio-temporal data. Specifically, we implement this idea into Meta-Graph Convolutional Recurrent Network (MegaCRN) by plugging the Meta-Graph Learner powered by a Meta-Node Bank into GCRN encoder-decoder. We conduct a comprehensive evaluation on two benchmark datasets (METR-LA and PEMS-BAY) and a new large-scale traffic speed dataset in which traffic incident information is contained. Our model outperformed the state-of-the-arts to a large degree on all three datasets (over 27% MAE and 34% RMSE). Besides, through a series of qualitative evaluations, we demonstrate that our model can explicitly disentangle the road links and time slots with different patterns and be robustly adaptive to any anomalous traffic situations. Codes and datasets are available at https://github.com/deepkashiwa20/MegaCRN.

由于动态和复杂的时空依赖性，交通预测具有挑战性。但是，现有方法仍然受到两个关键局限性。首先，许多方法通常使用静态预定义或自适应的空间图来捕获流量系统中动态的时空依赖性，这限制了灵活性，并且仅捕获了整个时间的共享模式，从而导致了次优性能。此外，大多数方法在每个时间步骤中都单独和独立地考虑地面真理与预测之间的绝对误差，这无法维持整体时间序列的全球属性和统计数据，并导致地面真相和预测之间的趋势差异。为此，在本文中，我们提出了一个动态自适应和对抗图卷积网络（DAAGCN），该网络将图形卷积网络（GCN）与生成的对抗网络（GANS）结合在一起，以进行流量预测。具体而言，DAAGCN利用带栅极模块的通用范式将时间变化的嵌入与节点嵌入集成在一起，以生成动态自适应图，以在每个时间步骤中推断空间 - 周期依赖性。然后，设计了两个歧视因子，以维持预测时间序列的全局属性的一致性，并在序列和图形级别上具有地面真相。在四个基准数据集上进行的广泛实验表明，DAAGCN的表现平均比最新的5.05％，3.80％和5.27％在MAE，RMSE和MAPE方面，同时加快收敛性高达9倍。代码可从https://github.com/juyongjiang/daagcn获得。

Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it's fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information. CCS CONCEPTS• Computing methodologies → Neural networks; Artificial intelligence.

最近的研究侧重于制定流量预测作为一种时空图形建模问题。它们通常在每个时间步骤构造静态空间图，然后将每个节点连接在相邻时间步骤之间以构造时空图形。在这样的图形中，不同时间步骤的不同节点之间的相关性未明确地反映，这可以限制图形神经网络的学习能力。同时，这些模型在不同时间步骤中使用相同的邻接矩阵时，忽略节点之间的动态时空相关性。为了克服这些限制，我们提出了一种时空关节图卷积网络（StJGCN），用于交通预测在公路网络上的几个时间上限。具体地，我们在任何两个时间步长之间构造预定的和自适应时空关节图（STJG），这代表了全面和动态的时空相关性。我们进一步设计了STJG上的扩张因果时空关节图卷积层，以捕获与多个范围不同的视角的时空依赖关系。提出了一种多范围注意机制来聚合不同范围的信息。四个公共交通数据集的实验表明，STJGCN是计算的高效和优于11个最先进的基线方法。

多变量时间序列预测是一个具有挑战性的任务，因为数据涉及长期和短期模式的混合，具有变量之间的动态时空依赖性。现有图形神经网络（GNN）通常与预定义的空间图或学习的固定邻接图模拟多变量关系。它限制了GNN的应用，并且无法处理上述挑战。在本文中，我们提出了一种新颖的框架，即静态和动态图形学习 - 神经网络（SDGL）。该模型分别从数据获取静态和动态图形矩阵分别为模型长期和短期模式。开发静态Matric以通过节点嵌入捕获固定的长期关联模式，并利用图规律性来控制学习静态图的质量。为了捕获变量之间的动态依赖性，我们提出了基于改变节点特征和静态节点Embeddings生成时变矩阵的动态图。在该方法中，我们将学习的静态图信息作为感应偏置集成为诱导动态图和局部时空模式更好。广泛的实验是在两个交通数据集中进行，具有额外的结构信息和四个时间序列数据集，这表明我们的方法在几乎所有数据集上实现了最先进的性能。如果纸张被接受，我将在GitHub上打开源代码。

Spatiotemporal forecasting has various applications in neuroscience, climate and transportation domain. Traffic forecasting is one canonical example of such learning task. The task is challenging due to (1) complex spatial dependency on road networks, (2) non-linear temporal dynamics with changing road conditions and (3) inherent difficulty of long-term forecasting. To address these challenges, we propose to model the traffic flow as a diffusion process on a directed graph and introduce Diffusion Convolutional Recurrent Neural Network (DCRNN), a deep learning framework for traffic forecasting that incorporates both spatial and temporal dependency in the traffic flow. Specifically, DCRNN captures the spatial dependency using bidirectional random walks on the graph, and the temporal dependency using the encoder-decoder architecture with scheduled sampling. We evaluate the framework on two real-world large scale road network traffic datasets and observe consistent improvement of 12% -15% over state-of-the-art baselines.

Traffic forecasting has attracted widespread attention recently. In reality, traffic data usually contains missing values due to sensor or communication errors. The Spatio-temporal feature in traffic data brings more challenges for processing such missing values, for which the classic techniques (e.g., data imputations) are limited: 1) in temporal axis, the values can be randomly or consecutively missing; 2) in spatial axis, the missing values can happen on one single sensor or on multiple sensors simultaneously. Recent models powered by Graph Neural Networks achieved satisfying performance on traffic forecasting tasks. However, few of them are applicable to such a complex missing-value context. To this end, we propose GCN-M, a Graph Convolutional Network model with the ability to handle the complex missing values in the Spatio-temporal context. Particularly, we jointly model the missing value processing and traffic forecasting tasks, considering both local Spatio-temporal features and global historical patterns in an attention-based memory network. We propose as well a dynamic graph learning module based on the learned local-global features. The experimental results on real-life datasets show the reliability of our proposed method.

交通预测在智能交通系统中很重要，有利于交通安全，但由于现实世界交通系统中的复杂和动态的时空依赖性，这是非常具有挑战性的。先前的方法使用预定义或学习的静态图来提取空间相关性。但是，基于静态图形的方法无法挖掘交通网络的演变。研究人员随后为每次切片生成动态图形以反映空间相关性的变化，但它们遵循独立建模的时空依赖性的范例，忽略了串行空间影响。在本文中，我们提出了一种新的基于跨时动态图形的深度学习模型，名为CDGNet，用于交通预测。该模型能够通过利用横行动态图来有效地捕获每个时切片和其历史时片之间的串联空间依赖性。同时，我们设计了稀疏横行动态图的浇注机制，符合现实世界中的稀疏空间相关性。此外，我们提出了一种新颖的编码器解码器架构，用于结合基于交叉时间动态图形的GCN，用于多步行量预测。三个现实世界公共交通数据集的实验结果表明CDGNET优于最先进的基线。我们还提供了一种定性研究来分析我们建筑的有效性。

Spatio-temporal modeling as a canonical task of multivariate time series forecasting has been a significant research topic in AI community. To address the underlying heterogeneity and non-stationarity implied in the graph streams, in this study, we propose Spatio-Temporal Meta-Graph Learning as a novel Graph Structure Learning mechanism on spatio-temporal data. Specifically, we implement this idea into Meta-Graph Convolutional Recurrent Network (MegaCRN) by plugging the Meta-Graph Learner powered by a Meta-Node Bank into GCRN encoder-decoder. We conduct a comprehensive evaluation on two benchmark datasets (METR-LA and PEMS-BAY) and a large-scale spatio-temporal dataset that contains a variaty of non-stationary phenomena. Our model outperformed the state-of-the-arts to a large degree on all three datasets (over 27% MAE and 34% RMSE). Besides, through a series of qualitative evaluations, we demonstrate that our model can explicitly disentangle locations and time slots with different patterns and be robustly adaptive to different anomalous situations. Codes and datasets are available at https://github.com/deepkashiwa20/MegaCRN.

使用图形卷积网络（GCN）构建时空网络已成为预测交通信号的最流行方法之一。但是，当使用GCN进行交通速度预测时，常规方法通常将传感器之间的关系作为均匀图，并使用传感器累积的数据来学习邻接矩阵。但是，传感器之间的空间相关性并未指定为一个，而是从各种观点方面定义不同。为此，我们旨在研究流量信号数据中固有的异质特征，以以各种方式学习传感器之间的隐藏关系。具体而言，我们设计了一种方法来通过将传感器之间的空间关系分为静态和动态模块来构造每个模块的异质图。我们提出了一个基于网络分散注意力的基于异质性 - 感知图形卷积网络（HAGCN）方法，该方法通过在异质图中考虑每个通道的重要性来汇总相邻节点的隐藏状态。实际流量数据集的实验结果验证了所提出的方法的有效性，比现有模型取得了6.35％的改善，并实现了最先进的预测性能。

由于运输网络中复杂的时空依赖性，准确的交通预测是智能运输系统中一项艰巨的任务。许多现有的作品利用复杂的时间建模方法与图形卷积网络（GCN）合并，以捕获短期和长期时空依赖性。但是，这些具有复杂设计的分离模块可以限制时空表示学习的有效性和效率。此外，大多数以前的作品都采用固定的图形构造方法来表征全局时空关系，这限制了模型在不同时间段甚至不同的数据方案中的学习能力。为了克服这些局限性，我们提出了一个自动扩张的时空同步图网络，称为Auto-DSTSGN用于流量预测。具体而言，我们设计了自动扩张的时空同步图（自动-DSTSG）模块，以捕获短期和长期时空相关性，通过在增加顺序的扩张因子中堆叠更深的层。此外，我们提出了一种图形结构搜索方法，以自动构建可以适应不同数据方案的时空同步图。在四个现实世界数据集上进行的广泛实验表明，与最先进的方法相比，我们的模型可以取得约10％的改善。源代码可在https://github.com/jinguangyin/auto-dstsgn上找到。

交通流量预测是智能运输系统的重要组成部分，从而受到了研究人员的关注。但是，交通道路之间的复杂空间和时间依赖性使交通流量的预测具有挑战性。现有方法通常是基于图形神经网络，使用交通网络的预定义空间邻接图来建模空间依赖性，而忽略了道路节点之间关系的动态相关性。此外，他们通常使用独立的时空组件来捕获时空依赖性，并且不会有效地对全局时空依赖性进行建模。本文提出了一个新的时空因果图形注意网络（STCGAT），以解决上述挑战。在STCGAT中，我们使用一种节点嵌入方法，可以在每个时间步骤中自适应生成空间邻接子图，而无需先验地理知识和对不同时间步骤动态生成图的拓扑的精细颗粒建模。同时，我们提出了一个有效的因果时间相关成分，其中包含节点自适应学习，图形卷积以及局部和全局因果关系卷积模块，以共同学习局部和全局时空依赖性。在四个真正的大型流量数据集上进行的广泛实验表明，我们的模型始终优于所有基线模型。

高性能的交通流量预测模型设计是一种智能运输系统的核心技术，是工业和学术社区的长期挑战，但仍然具有挑战性。物理原理和数据驱动模型之间缺乏整合是限制该领域发展的重要原因。在文献中，基于物理学的方法通常可以清楚地解释交通流系统的动态过程，但准确性有限，而数据驱动的方法，尤其是使用黑色盒子结构的深度学习，可以提高性能，但不能由于缺乏合理的身体依据，因此要完全信任。为了弥合纯粹数据驱动和物理驱动的方法之间的差距，我们提出了一个物理学引导的深度学习模型，名为时空微分方程网络（STDEN），该模型将交通流动器的物理机理投入到深度神经网络框架中。具体而言，我们假设道路网络上的交通流量是由潜在势能场驱动的（例如水流是由重力场驱动的），并将势能场的时空动态过程作为微分方程网络进行建模。 Stden吸收了数据驱动模型的性能优势和基于物理模型的可解释性，因此被命名为物理指导的预测模型。北京三个现实世界流量数据集的实验表明，我们的模型的表现优于最先进的基线。案例研究进一步验证了stden可以捕获城市交通机制，并具有物理含义的准确预测。提出的微分方程网络建模的框架也可能会阐明其他类似的应用程序。

Spatial-temporal graph modeling is an important task to analyze the spatial relations and temporal trends of components in a system. Existing approaches mostly capture the spatial dependency on a fixed graph structure, assuming that the underlying relation between entities is pre-determined. However, the explicit graph structure (relation) does not necessarily reflect the true dependency and genuine relation may be missing due to the incomplete connections in the data. Furthermore, existing methods are ineffective to capture the temporal trends as the RNNs or CNNs employed in these methods cannot capture long-range temporal sequences. To overcome these limitations, we propose in this paper a novel graph neural network architecture, Graph WaveNet, for spatial-temporal graph modeling. By developing a novel adaptive dependency matrix and learn it through node embedding, our model can precisely capture the hidden spatial dependency in the data. With a stacked dilated 1D convolution component whose receptive field grows exponentially as the number of layers increases, Graph WaveNet is able to handle very long sequences. These two components are integrated seamlessly in a unified framework and the whole framework is learned in an end-to-end manner. Experimental results on two public traffic network datasets, METR-LA and PEMS-BAY, demonstrate the superior performance of our algorithm.