在各种下游机器学习任务中，多元时间序列的可靠和有效表示至关重要。在多元时间序列预测中，每个变量都取决于其历史值，并且变量之间也存在相互依存关系。必须设计模型以捕获时间序列之间的内部和相互关系。为了朝着这一目标迈进，我们提出了时间序列注意变压器（TSAT），以进行多元时间序列表示学习。使用TSAT，我们以边缘增强动态图来表示多元时间序列的时间信息和相互依赖性。在动态图中的节点表示，串行中的相关性表示。修改了一种自我注意力的机制，以使用超经验模式分解（SMD）模块捕获序列间的相关性。我们将嵌入式动态图应用于时代序列预测问题，包括两个现实世界数据集和两个基准数据集。广泛的实验表明，TSAT显然在各种预测范围内使用六种最先进的基线方法。我们进一步可视化嵌入式动态图，以说明TSAT的图形表示功能。我们在https://github.com/radiantresearch/tsat上共享代码。

多变量时间序列预测，分析历史时序序列以预测未来趋势，可以有效地帮助决策。 MTS中变量之间的复杂关系，包括静态，动态，可预测和潜在的关系，使得可以挖掘MTS的更多功能。建模复杂关系不仅是表征潜在依赖性的必要条件以及建模时间依赖性，而且在MTS预测任务中也带来了极大的挑战。然而，现有方法主要关注模拟MTS变量之间的某些关系。在本文中，我们提出了一种新的端到端深度学习模型，通过异构图形神经网络（MTHETGNN）称为多变量时间序列预测。为了表征变量之间的复杂关系，在MTHETGNN中设计了一个关系嵌入模块，其中每个变量被视为图形节点，并且每种类型的边缘表示特定的静态或动态关系。同时，引入了时间嵌入模块的时间序列特征提取，其中涉及具有不同感知尺度的卷积神经网络（CNN）滤波器。最后，采用异质图形嵌入模块来处理由两个模块产生的复杂结构信息。来自现实世界的三个基准数据集用于评估所提出的MTHETGNN。综合实验表明，MTHETGNN在MTS预测任务中实现了最先进的结果。

多变量时间序列预测是一个具有挑战性的任务，因为数据涉及长期和短期模式的混合，具有变量之间的动态时空依赖性。现有图形神经网络（GNN）通常与预定义的空间图或学习的固定邻接图模拟多变量关系。它限制了GNN的应用，并且无法处理上述挑战。在本文中，我们提出了一种新颖的框架，即静态和动态图形学习 - 神经网络（SDGL）。该模型分别从数据获取静态和动态图形矩阵分别为模型长期和短期模式。开发静态Matric以通过节点嵌入捕获固定的长期关联模式，并利用图规律性来控制学习静态图的质量。为了捕获变量之间的动态依赖性，我们提出了基于改变节点特征和静态节点Embeddings生成时变矩阵的动态图。在该方法中，我们将学习的静态图信息作为感应偏置集成为诱导动态图和局部时空模式更好。广泛的实验是在两个交通数据集中进行，具有额外的结构信息和四个时间序列数据集，这表明我们的方法在几乎所有数据集上实现了最先进的性能。如果纸张被接受，我将在GitHub上打开源代码。

Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it's fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information. CCS CONCEPTS• Computing methodologies → Neural networks; Artificial intelligence.

最近的研究表明，在将图神经网络应用于多元时间序列预测中，其中时间序列的相互作用被描述为图形结构，并且变量表示为图节点。沿着这一行，现有方法通常假定确定图神经网络的聚合方式的图形结构（或邻接矩阵）是根据定义或自学来固定的。但是，变量的相互作用在现实情况下可以是动态的和进化的。此外，如果在不同的时间尺度上观察到时间序列的相互作用序列的相互作用大不相同。为了使图形神经网络具有灵活而实用的图结构，在本文中，我们研究了如何对时间序列的进化和多尺度相互作用进行建模。特别是，我们首先提供与扩张的卷积配合的层次图结构，以捕获时间序列之间的比例特定相关性。然后，以经常性的方式构建了一系列邻接矩阵，以表示每一层的不断发展的相关性。此外，提供了一个统一的神经网络来集成上述组件以获得最终预测。这样，我们可以同时捕获成对的相关性和时间依赖性。最后，对单步和多步骤预测任务的实验证明了我们方法比最新方法的优越性。

交通预测在智能交通系统中很重要，有利于交通安全，但由于现实世界交通系统中的复杂和动态的时空依赖性，这是非常具有挑战性的。先前的方法使用预定义或学习的静态图来提取空间相关性。但是，基于静态图形的方法无法挖掘交通网络的演变。研究人员随后为每次切片生成动态图形以反映空间相关性的变化，但它们遵循独立建模的时空依赖性的范例，忽略了串行空间影响。在本文中，我们提出了一种新的基于跨时动态图形的深度学习模型，名为CDGNet，用于交通预测。该模型能够通过利用横行动态图来有效地捕获每个时切片和其历史时片之间的串联空间依赖性。同时，我们设计了稀疏横行动态图的浇注机制，符合现实世界中的稀疏空间相关性。此外，我们提出了一种新颖的编码器解码器架构，用于结合基于交叉时间动态图形的GCN，用于多步行量预测。三个现实世界公共交通数据集的实验结果表明CDGNET优于最先进的基线。我们还提供了一种定性研究来分析我们建筑的有效性。

多变量时间序列（MTS）预测在智能应用的自动化和优化中起着重要作用。这是一个具有挑战性的任务，因为我们需要考虑复杂的变量依赖关系和可变间依赖关系。现有的作品仅在单个可变依赖项的帮助下学习时间模式。然而，许多真实世界MTS中有多种时间模式。单个可变间依赖项使模型更倾向于学习一种类型的突出和共享的时间模式。在本文中，我们提出了一个多尺度自适应图形神经网络（MOLDN）来解决上述问题。 MOLDN利用多尺度金字塔网络，以在不同的时间尺度上保留潜在的时间依赖关系。由于可变间依赖关系可以在不同的时间尺度下不同，所以自适应图学习模块被设计为在没有预先定义的前沿的情况下推断规模特定的可变依赖关系。鉴于多尺度特征表示和规模特定的可变间依赖关系，引入了一个多尺度的时间图神经网络，以共同模拟帧内依赖性和可变间依赖性。之后，我们开发一个尺度明智的融合模块，以在不同时间尺度上有效地促进协作，并自动捕获贡献的时间模式的重要性。四个真实数据集的实验表明，Magnn在各种设置上表明了最先进的方法。

交通流量的技术预测在智能运输系统中起着重要作用。基于图形神经网络和注意机制，大多数先前的作品都利用变压器结构来发现时空依赖性和动态关系。但是，他们尚未彻底考虑时空序列之间的相关信息。在本文中，基于最大信息系数，我们提出了两种详尽的时空表示，空间相关信息（SCORR）和时间相关信息（TCORR）。使用SCORR，我们提出了一个基于相关信息的时空网络（CORRSTN），该网络包括一个动态图神经网络组件，可有效地将相关信息整合到空间结构中，以及一个多头注意力组件，以准确地对动态时间依赖性进行建模。利用TCORR，我们探索了不同周期数据之间的相关模式，以识别最相关的数据，然后设计有效的数据选择方案以进一步增强模型性能。公路交通流量（PEMS07和PEMS08）和地铁人群流（HZME流入和流出）数据集的实验结果表明，Corrstn在预测性能方面表现出了最先进的方法。特别是，在HZME（流出）数据集上，与ASTGNN模型相比，我们的模型在MAE，RMSE和MAPE的指标中分别提高了12.7％，14.4％和27.4％。

多变量时间序列（MTS）预测在许多智能应用中引起了很多关注。它不是一个琐碎的任务，因为我们需要考虑一个可变的依赖关系和可变间依赖关系。但是，现有的作品是针对特定场景设计的，需要很多域知识和专家努力，这难以在不同的场景之间传输。在本文中，我们提出了一种尺度意识的神经结构，用于MTS预测（SNAS4MTF）的搜索框架。多尺度分解模块将原始时间序列转换为多尺度子系列，可以保留多尺度的时间模式。自适应图形学习模块在没有任何先前知识的情况下，在不同的时间尺度下递送不同的变量间依赖关系。对于MTS预测，搜索空间旨在在每次尺度上捕获可变的可变依赖性和可变间依赖关系。在端到端框架中共同学习多尺度分解，自适应图学习和神经架构搜索模块。两个现实世界数据集的大量实验表明，与最先进的方法相比，SNAS4MTF实现了有希望的性能。

图表上的交通流量预测在许多字段（例如运输系统和计算机网络）中具有现实世界应用。由于复杂的时空相关性和非线性交通模式，交通预测可能是高度挑战的。现有的作品主要是通过分别考虑空间相关性和时间相关性来模拟此类时空依赖性的模型，并且无法对直接的时空相关性进行建模。受到图形域中变形金刚最近成功的启发，在本文中，我们建议使用局部多头自我攻击直接建模时空图上的跨空间相关性。为了降低时间的复杂性，我们将注意力接收场设置为空间相邻的节点，还引入了自适应图以捕获隐藏的空间范围依赖性。基于这些注意机制，我们提出了一种新型的自适应图形时空变压器网络（ASTTN），该网络堆叠了多个时空注意层以在输入图上应用自我注意力，然后是线性层进行预测。公共交通网络数据集，Metr-La PEMS-Bay，PEMSD4和PEMSD7的实验结果证明了我们模型的出色性能。

多变量时间序列（MTS）预测是许多领域的重要问题。准确的预测结果可以有效地帮助决策。迄今为止，已经提出了许多MTS预测方法并广泛应用。但是，这些方法假设单个变量的预测值受到所有其他变量的影响，这忽略了变量之间的因果关系。为了解决上述问题，我们提出了一种新的端到端深度学习模式，称为本文的神经格兰特因果关系图形神经网络（CAUGNN）。要在变量间的因果信息中表征，我们在模型中介绍了神经格子因果关系图。每个变量被视为图形节点，每个边缘表示变量之间的随意关系。另外，具有不同感知尺度的卷积神经网络（CNN）过滤器用于时间序列特征提取，其用于生成每个节点的特征。最后，采用图形神经网络（GNN）来解决MTS产生的图形结构的预测问题。来自现实世界的三个基准数据集用于评估提议的Caugnn。综合实验表明，该方法在MTS预测任务中实现了最先进的结果。

准确的交通预测对于智能城市实现交通控制，路线计划和流动检测至关重要。尽管目前提出了许多时空方法，但这些方法在同步捕获流量数据的时空依赖性方面缺陷。此外，大多数方法忽略了随着流量数据的变化而产生的道路网络节点之间的动态变化相关性。我们建议基于神经网络的时空交互式动态图卷积网络（STIDGCN），以应对上述流量预测的挑战。具体而言，我们提出了一个交互式动态图卷积结构，该结构将序列划分为间隔，并通过交互式学习策略同步捕获流量数据的时空依赖性。交互式学习策略使StidGCN有效地预测。我们还提出了一个新颖的动态图卷积模块，以捕获由图生成器和融合图卷积组成的流量网络中动态变化的相关性。动态图卷积模块可以使用输入流量数据和预定义的图形结构来生成图形结构。然后将其与定义的自适应邻接矩阵融合，以生成动态邻接矩阵，该矩阵填充了预定义的图形结构，并模拟了道路网络中节点之间的动态关联的产生。在四个现实世界流量流数据集上进行的广泛实验表明，StidGCN的表现优于最先进的基线。

由于流量大数据的增加，交通预测逐渐引起了研究人员的注意力。因此，如何在交通数据中挖掘复杂的时空相关性以预测交通状况更准确地成为难题。以前的作品组合图形卷积网络（GCNS）和具有深度序列模型的自我关注机制（例如，复发性神经网络），分别捕获时空相关性，忽略时间和空间的关系。此外，GCNS受到过平滑问题的限制，自我关注受到二次问题的限制，导致GCN缺乏全局代表能力，自我注意力效率低下捕获全球空间依赖性。在本文中，我们提出了一种新颖的交通预测深入学习模型，命名为多语境意识的时空关节线性关注（STJLA），其对时空关节图应用线性关注以捕获所有时空之间的全球依赖性节点有效。更具体地，STJLA利用静态结构上下文和动态语义上下文来提高模型性能。基于Node2VEC和单热编码的静态结构上下文丰富了时空位置信息。此外，基于多头扩散卷积网络的动态空间上下文增强了局部空间感知能力，并且基于GRU的动态时间上下文分别稳定了线性关注的序列位置信息。在两个现实世界交通数据集，英格兰和PEMSD7上的实验表明，我们的Stjla可以获得高达9.83％和3.08％，在最先进的基线上的衡量标准的准确性提高。

天气预报是一项有吸引力的挑战性任务，因为它对人类生活和大气运动的复杂性的影响。在大量历史观察到的时间序列数据的支持下，该任务适用于数据驱动的方法，尤其是深层神经网络。最近，基于图神经网络（GNN）方法在时空预测方面取得了出色的性能。但是，基于规范的GNNS方法仅分别对每个站的气象变量的局部图或整个车站的全局图进行建模，从而缺乏不同站点的气象变量之间的信息相互作用。在本文中，我们提出了一种新型的层次时空图形神经网络（Histgnn），以模拟多个站点气象变量之间的跨区域时空相关性。自适应图学习层和空间图卷积用于构建自学习图，并研究可变级别和站点级别图的节点之间的隐藏依赖性。为了捕获时间模式，扩张的成立为GATE时间卷积的主干旨在对长而各种气象趋势进行建模。此外，提出了动态的交互学习来构建在层次图中传递的双向信息。三个现实世界中的气象数据集的实验结果表明，史基元超过7个基准的卓越性能，并且将误差降低了4.2％至11.6％，尤其是与最先进的天气预测方法相比。

交通预测是智能交通系统的问题（ITS），并为个人和公共机构是至关重要的。因此，研究高度重视应对准确预报交通系统的复杂的时空相关性。但是，有两个挑战：1）大多数流量预测研究主要集中在造型相邻传感器的相关性，而忽略远程传感器，例如，商务区有类似的时空模式的相关性; 2）使用静态邻接矩阵中曲线图的卷积网络（GCNs）的现有方法不足以反映在交通系统中的动态空间依赖性。此外，它采用自注意所有的传感器模型动态关联细粒度方法忽略道路网络分层信息，并有二次计算复杂性。在本文中，我们提出了一种新动态多图形卷积递归网络（DMGCRN），以解决上述问题，可以同时距离的空间相关性，结构的空间相关性，和所述时间相关性进行建模。那么，只使用基于距离的曲线图来捕获空间信息从节点是接近距离也构建了一个新潜曲线图，其编码的道路之间的相关性的结构来捕获空间信息从节点在结构上相似。此外，我们在不同的时间将每个传感器的邻居到粗粒区域，并且动态地分配不同的权重的每个区域。同时，我们整合动态多图卷积网络到门控重复单元（GRU）来捕获时间依赖性。三个真实世界的交通数据集大量的实验证明，我们提出的算法优于国家的最先进的基线。

本文旨在统一非欧几里得空间中的空间依赖性和时间依赖性，同时捕获流量数据的内部空间依赖性。对于具有拓扑结构的时空属性实体，时空是连续的和统一的，而每个节点的当前状态都受到每个邻居的变异时期的邻居的过去状态的影响。大多数用于流量预测研究的空间依赖性和时间相关性的空间神经网络在处理中分别损害了时空完整性，而忽略了邻居节点的时间依赖期可以延迟和动态的事实。为了建模这种实际条件，我们提出了一种新型的空间 - 周期性图神经网络，将空间和时间视为不可分割的整体，以挖掘时空图，同时通过消息传播机制利用每个节点的发展时空依赖性。进行消融和参数研究的实验已经验证了拟议的遍及术的有效性，并且可以从https://github.com/nnzhan/traversenet中找到详细的实现。

随着传感技术的进步，多元时间序列分类（MTSC）最近受到了相当大的关注。基于深度学习的MTSC技术主要依赖于卷积或经常性神经网络，主要涉及单时间序列的时间依赖性。结果，他们努力直接在多变量变量中表达成对依赖性。此外，基于图形神经网络（GNNS）的当前空间 - 时间建模（例如，图形分类）方法本质上是平的，并且不能以分层方式聚合集线器数据。为了解决这些限制，我们提出了一种基于新的图形汇集框架MTPOOL，以获得MTS的表现力全球表示。我们首先通过采用通过图形结构学习模块的相互作用来将MTS切片转换为曲线图，并通过时间卷积模块获得空间 - 时间图节点特征。为了获得全局图形级表示，我们设计了基于“编码器 - 解码器”的变形图池池模块，用于为群集分配创建自适应质心。然后我们将GNN和我们所提出的变分图层汇集层组合用于联合图表示学习和图形粗糙化，之后该图逐渐赋予一个节点。最后，可差异化的分类器将此粗糙的表示来获取最终预测的类。 10个基准数据集的实验表明MTPOOL优于MTSC任务中最先进的策略。

最近的研究侧重于制定流量预测作为一种时空图形建模问题。它们通常在每个时间步骤构造静态空间图，然后将每个节点连接在相邻时间步骤之间以构造时空图形。在这样的图形中，不同时间步骤的不同节点之间的相关性未明确地反映，这可以限制图形神经网络的学习能力。同时，这些模型在不同时间步骤中使用相同的邻接矩阵时，忽略节点之间的动态时空相关性。为了克服这些限制，我们提出了一种时空关节图卷积网络（StJGCN），用于交通预测在公路网络上的几个时间上限。具体地，我们在任何两个时间步长之间构造预定的和自适应时空关节图（STJG），这代表了全面和动态的时空相关性。我们进一步设计了STJG上的扩张因果时空关节图卷积层，以捕获与多个范围不同的视角的时空依赖关系。提出了一种多范围注意机制来聚合不同范围的信息。四个公共交通数据集的实验表明，STJGCN是计算的高效和优于11个最先进的基线方法。

我们都取决于流动性，车辆运输会影响我们大多数人的日常生活。因此，预测道路网络中流量状态的能力是一项重要的功能和具有挑战性的任务。流量数据通常是从部署在道路网络中的传感器获得的。关于时空图神经网络的最新建议通过将流量数据建模为扩散过程，在交通数据中建模复杂的时空相关性方面取得了巨大进展。但是，直观地，流量数据包含两种不同类型的隐藏时间序列信号，即扩散信号和固有信号。不幸的是，几乎所有以前的作品都将交通信号完全视为扩散的结果，同时忽略了固有的信号，这会对模型性能产生负面影响。为了提高建模性能，我们提出了一种新型的脱钩时空框架（DSTF），该框架以数据驱动的方式将扩散和固有的交通信息分开，其中包含独特的估计门和残差分解机制。分离的信号随后可以通过扩散和固有模块分别处理。此外，我们提出了DSTF的实例化，分离的动态时空图神经网络（D2STGNN），可捕获时空相关性，还具有动态图学习模块，该模块针对学习流量网络动态特征的学习。使用四个现实世界流量数据集进行的广泛实验表明，该框架能够推进最先进的框架。

由于动态和复杂的时空依赖性，交通预测具有挑战性。但是，现有方法仍然受到两个关键局限性。首先，许多方法通常使用静态预定义或自适应的空间图来捕获流量系统中动态的时空依赖性，这限制了灵活性，并且仅捕获了整个时间的共享模式，从而导致了次优性能。此外，大多数方法在每个时间步骤中都单独和独立地考虑地面真理与预测之间的绝对误差，这无法维持整体时间序列的全球属性和统计数据，并导致地面真相和预测之间的趋势差异。为此，在本文中，我们提出了一个动态自适应和对抗图卷积网络（DAAGCN），该网络将图形卷积网络（GCN）与生成的对抗网络（GANS）结合在一起，以进行流量预测。具体而言，DAAGCN利用带栅极模块的通用范式将时间变化的嵌入与节点嵌入集成在一起，以生成动态自适应图，以在每个时间步骤中推断空间 - 周期依赖性。然后，设计了两个歧视因子，以维持预测时间序列的全局属性的一致性，并在序列和图形级别上具有地面真相。在四个基准数据集上进行的广泛实验表明，DAAGCN的表现平均比最新的5.05％，3.80％和5.27％在MAE，RMSE和MAPE方面，同时加快收敛性高达9倍。代码可从https://github.com/juyongjiang/daagcn获得。