多变量时间序列（MTS）预测在许多智能应用中引起了很多关注。它不是一个琐碎的任务，因为我们需要考虑一个可变的依赖关系和可变间依赖关系。但是，现有的作品是针对特定场景设计的，需要很多域知识和专家努力，这难以在不同的场景之间传输。在本文中，我们提出了一种尺度意识的神经结构，用于MTS预测（SNAS4MTF）的搜索框架。多尺度分解模块将原始时间序列转换为多尺度子系列，可以保留多尺度的时间模式。自适应图形学习模块在没有任何先前知识的情况下，在不同的时间尺度下递送不同的变量间依赖关系。对于MTS预测，搜索空间旨在在每次尺度上捕获可变的可变依赖性和可变间依赖关系。在端到端框架中共同学习多尺度分解，自适应图学习和神经架构搜索模块。两个现实世界数据集的大量实验表明，与最先进的方法相比，SNAS4MTF实现了有希望的性能。
translated by 谷歌翻译
多变量时间序列预测，分析历史时序序列以预测未来趋势，可以有效地帮助决策。 MTS中变量之间的复杂关系，包括静态，动态，可预测和潜在的关系，使得可以挖掘MTS的更多功能。建模复杂关系不仅是表征潜在依赖性的必要条件以及建模时间依赖性，而且在MTS预测任务中也带来了极大的挑战。然而，现有方法主要关注模拟MTS变量之间的某些关系。在本文中，我们提出了一种新的端到端深度学习模型，通过异构图形神经网络（MTHETGNN）称为多变量时间序列预测。为了表征变量之间的复杂关系，在MTHETGNN中设计了一个关系嵌入模块，其中每个变量被视为图形节点，并且每种类型的边缘表示特定的静态或动态关系。同时，引入了时间嵌入模块的时间序列特征提取，其中涉及具有不同感知尺度的卷积神经网络（CNN）滤波器。最后，采用异质图形嵌入模块来处理由两个模块产生的复杂结构信息。来自现实世界的三个基准数据集用于评估所提出的MTHETGNN。综合实验表明，MTHETGNN在MTS预测任务中实现了最先进的结果。
translated by 谷歌翻译
多变量时间序列预测是一个具有挑战性的任务，因为数据涉及长期和短期模式的混合，具有变量之间的动态时空依赖性。现有图形神经网络（GNN）通常与预定义的空间图或学习的固定邻接图模拟多变量关系。它限制了GNN的应用，并且无法处理上述挑战。在本文中，我们提出了一种新颖的框架，即静态和动态图形学习 - 神经网络（SDGL）。该模型分别从数据获取静态和动态图形矩阵分别为模型长期和短期模式。开发静态Matric以通过节点嵌入捕获固定的长期关联模式，并利用图规律性来控制学习静态图的质量。为了捕获变量之间的动态依赖性，我们提出了基于改变节点特征和静态节点Embeddings生成时变矩阵的动态图。在该方法中，我们将学习的静态图信息作为感应偏置集成为诱导动态图和局部时空模式更好。广泛的实验是在两个交通数据集中进行，具有额外的结构信息和四个时间序列数据集，这表明我们的方法在几乎所有数据集上实现了最先进的性能。如果纸张被接受，我将在GitHub上打开源代码。
translated by 谷歌翻译
多变量时间序列（MTS）预测是许多领域的重要问题。准确的预测结果可以有效地帮助决策。迄今为止，已经提出了许多MTS预测方法并广泛应用。但是，这些方法假设单个变量的预测值受到所有其他变量的影响，这忽略了变量之间的因果关系。为了解决上述问题，我们提出了一种新的端到端深度学习模式，称为本文的神经格兰特因果关系图形神经网络（CAUGNN）。要在变量间的因果信息中表征，我们在模型中介绍了神经格子因果关系图。每个变量被视为图形节点，每个边缘表示变量之间的随意关系。另外，具有不同感知尺度的卷积神经网络（CNN）过滤器用于时间序列特征提取，其用于生成每个节点的特征。最后，采用图形神经网络（GNN）来解决MTS产生的图形结构的预测问题。来自现实世界的三个基准数据集用于评估提议的Caugnn。综合实验表明，该方法在MTS预测任务中实现了最先进的结果。
translated by 谷歌翻译
最近的研究侧重于制定流量预测作为一种时空图形建模问题。它们通常在每个时间步骤构造静态空间图，然后将每个节点连接在相邻时间步骤之间以构造时空图形。在这样的图形中，不同时间步骤的不同节点之间的相关性未明确地反映，这可以限制图形神经网络的学习能力。同时，这些模型在不同时间步骤中使用相同的邻接矩阵时，忽略节点之间的动态时空相关性。为了克服这些限制，我们提出了一种时空关节图卷积网络（StJGCN），用于交通预测在公路网络上的几个时间上限。具体地，我们在任何两个时间步长之间构造预定的和自适应时空关节图（STJG），这代表了全面和动态的时空相关性。我们进一步设计了STJG上的扩张因果时空关节图卷积层，以捕获与多个范围不同的视角的时空依赖关系。提出了一种多范围注意机制来聚合不同范围的信息。四个公共交通数据集的实验表明，STJGCN是计算的高效和优于11个最先进的基线方法。
translated by 谷歌翻译
交通预测是智能交通系统的问题（ITS），并为个人和公共机构是至关重要的。因此，研究高度重视应对准确预报交通系统的复杂的时空相关性。但是，有两个挑战：1）大多数流量预测研究主要集中在造型相邻传感器的相关性，而忽略远程传感器，例如，商务区有类似的时空模式的相关性; 2）使用静态邻接矩阵中曲线图的卷积网络（GCNs）的现有方法不足以反映在交通系统中的动态空间依赖性。此外，它采用自注意所有的传感器模型动态关联细粒度方法忽略道路网络分层信息，并有二次计算复杂性。在本文中，我们提出了一种新动态多图形卷积递归网络（DMGCRN），以解决上述问题，可以同时距离的空间相关性，结构的空间相关性，和所述时间相关性进行建模。那么，只使用基于距离的曲线图来捕获空间信息从节点是接近距离也构建了一个新潜曲线图，其编码的道路之间的相关性的结构来捕获空间信息从节点在结构上相似。此外，我们在不同的时间将每个传感器的邻居到粗粒区域，并且动态地分配不同的权重的每个区域。同时，我们整合动态多图卷积网络到门控重复单元（GRU）来捕获时间依赖性。三个真实世界的交通数据集大量的实验证明，我们提出的算法优于国家的最先进的基线。
translated by 谷歌翻译
由于流量大数据的增加，交通预测逐渐引起了研究人员的注意力。因此，如何在交通数据中挖掘复杂的时空相关性以预测交通状况更准确地成为难题。以前的作品组合图形卷积网络（GCNS）和具有深度序列模型的自我关注机制（例如，复发性神经网络），分别捕获时空相关性，忽略时间和空间的关系。此外，GCNS受到过平滑问题的限制，自我关注受到二次问题的限制，导致GCN缺乏全局代表能力，自我注意力效率低下捕获全球空间依赖性。在本文中，我们提出了一种新颖的交通预测深入学习模型，命名为多语境意识的时空关节线性关注（STJLA），其对时空关节图应用线性关注以捕获所有时空之间的全球依赖性节点有效。更具体地，STJLA利用静态结构上下文和动态语义上下文来提高模型性能。基于Node2VEC和单热编码的静态结构上下文丰富了时空位置信息。此外，基于多头扩散卷积网络的动态空间上下文增强了局部空间感知能力，并且基于GRU的动态时间上下文分别稳定了线性关注的序列位置信息。在两个现实世界交通数据集，英格兰和PEMSD7上的实验表明，我们的Stjla可以获得高达9.83％和3.08％，在最先进的基线上的衡量标准的准确性提高。
translated by 谷歌翻译
移动网络流量预测是日常网络操作中的关键功能之一。商业移动网络大，异质，复杂，动态。这些内在特征使得移动网络流量预测远离诸如最近的高级算法，例如基于Graph卷积网络的预测方法和各种关注机制，也已经证明是在车辆交通预测中成功的。在本文中，我们将问题作为空间序列预测任务。我们提出了一种新的深度学习网络架构，自适应多接收领域空间 - 时间图卷积网络（AMF-STGCN），以模拟移动基站的交通动态。 AMF-STGCN扩展了GCN（1）在移动网络中联合建模的复杂空间 - 时间依赖性，（2）应用注意机制捕获异构基站的各种接收领域，（3）基于完全连接的额外解码器引入额外的解码器深网络以多阶段预测征服错误传播挑战。来自两个不同域的四个真实数据集的实验一致地显示AMF-STGCN优于最先进的方法。
translated by 谷歌翻译
时间序列预测是许多应用中的重大问题，例如，金融预测和业务优化。现代数据集可以具有多个相关时间序列，这些时间往往是通过全局（共享）规律和本地（特定）动态生成的。在本文中，我们寻求与DeepdGL的这种预测问题进行解决，这是一种深入预测模型，将动态与全球和局部时间模式脱颖而出。 DeepdGL采用编码器解码器架构，包括两个编码器，分别学习全局和本地时间模式，以及解码器以进行多步预测。具体地，为了模拟复杂的全局模式，引入了矢量量化（VQ）模块，允许全局特征编码器在所有时间序列中学习共享码本。为了模型多样化和异质局部模式，提出了一种由对比多地位编码（CMC）增强的自适应参数生成模块，以为每个单独的时间序列产生本地特征编码器的参数，这使得串联之间的相互信息最大化 - 具体的上下文变量和相应时间序列的长/短期表示。我们对几个现实世界数据集的实验表明DeepdGL优于现有的最先进的模型。
translated by 谷歌翻译
交通预测在智能交通系统中很重要，有利于交通安全，但由于现实世界交通系统中的复杂和动态的时空依赖性，这是非常具有挑战性的。先前的方法使用预定义或学习的静态图来提取空间相关性。但是，基于静态图形的方法无法挖掘交通网络的演变。研究人员随后为每次切片生成动态图形以反映空间相关性的变化，但它们遵循独立建模的时空依赖性的范例，忽略了串行空间影响。在本文中，我们提出了一种新的基于跨时动态图形的深度学习模型，名为CDGNet，用于交通预测。该模型能够通过利用横行动态图来有效地捕获每个时切片和其历史时片之间的串联空间依赖性。同时，我们设计了稀疏横行动态图的浇注机制，符合现实世界中的稀疏空间相关性。此外，我们提出了一种新颖的编码器解码器架构，用于结合基于交叉时间动态图形的GCN，用于多步行量预测。三个现实世界公共交通数据集的实验结果表明CDGNET优于最先进的基线。我们还提供了一种定性研究来分析我们建筑的有效性。
translated by 谷歌翻译
随着传感技术的进步，多元时间序列分类（MTSC）最近受到了相当大的关注。基于深度学习的MTSC技术主要依赖于卷积或经常性神经网络，主要涉及单时间序列的时间依赖性。结果，他们努力直接在多变量变量中表达成对依赖性。此外，基于图形神经网络（GNNS）的当前空间 - 时间建模（例如，图形分类）方法本质上是平的，并且不能以分层方式聚合集线器数据。为了解决这些限制，我们提出了一种基于新的图形汇集框架MTPOOL，以获得MTS的表现力全球表示。我们首先通过采用通过图形结构学习模块的相互作用来将MTS切片转换为曲线图，并通过时间卷积模块获得空间 - 时间图节点特征。为了获得全局图形级表示，我们设计了基于“编码器 - 解码器”的变形图池池模块，用于为群集分配创建自适应质心。然后我们将GNN和我们所提出的变分图层汇集层组合用于联合图表示学习和图形粗糙化，之后该图逐渐赋予一个节点。最后，可差异化的分类器将此粗糙的表示来获取最终预测的类。 10个基准数据集的实验表明MTPOOL优于MTSC任务中最先进的策略。
translated by 谷歌翻译
动态需求预测对于城市交通系统有效运行和管理至关重要。在单模需求预测上进行了广泛的研究，忽略了不同运输模式的需求可以彼此相关。尽管最近的一些努力，现有的多式化需求预测方法通常不够灵活，以便在不同模式下具有不同的空间单元和异质时空相关性的多路复用网络。为了解决这些问题，本研究提出了一种多重峰需求预测的多关系时空图神经网络（ST-MRGNN）。具体地，跨模式的空间依赖性被多个内部和模态关系图编码。引入多关系图神经网络（MRGNN）以捕获跨模式异构空间依赖性，包括广义图卷积网络，以了解关系图中的消息传递机制和基于关注的聚合模块，以总结不同的关系。我们进一步将MRGNN与时间门控卷积层相结合，共同模拟异质时滞的相关性。广泛的实验是使用真实的地铁和来自纽约市的乘车数据集进行的实验，结果验证了我们提出的方法对模式的现有方法的提高性能。需求稀疏位置的改进特别大。进一步分析ST-MRGNN的注意机制还表明了对理解跨模式相互作用的良好解释性。
translated by 谷歌翻译
人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。
translated by 谷歌翻译
我们研究了具有动态，可能的周期性的流量的预测问题和区域之间的关节空间依赖关系。鉴于从时隙0到T-1的城市中区的聚合流入和流出流量，我们预测了任何区域的时间t的流量。该地区的现有技术通常以脱钩的方式考虑空间和时间依赖性，或者在具有大量超参数曲调的训练中是相当的计算密集。我们提出了ST-TIS，一种新颖，轻巧和准确的空间变压器，具有信息融合和区域采样进行交通预测。 ST-TIS将规范变压器与信息融合和区域采样延伸。信息融合模块捕获区域之间的复杂空间依赖关系。该区域采样模块是提高效率和预测精度，将计算复杂性切割为依赖性学习从$ O（n ^ 2）$到$ O（n \ sqrt {n}）$，其中n是区域的数量。比最先进的模型的参数较少，我们模型的离线培训在调整和计算方面明显更快（培训时间和网络参数减少高达90±90 \％）。尽管存在这种培训效率，但大量实验表明，ST-TIS在网上预测中大幅度更准确，而不是最先进的方法（平均改善高达11 \％$ 11 \％$ ON MAPE上的$ 14 \％$ 14 \％$ 14 \％$ ON MAPE） 。
translated by 谷歌翻译
人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。
translated by 谷歌翻译
交通预测在智能运输系统中起着不可或缺的作用，使每日旅行更方便和更安全。然而，时空相关的动态演化使得准确的流量预测非常困难。现有工作主要采用图形神经NetWroks（GNNS）和深度时间序列模型（例如，复发性神经网络），以捕获动态交通系统中的复杂时空模式。对于空间模式，GNN难以在道路网络中提取全局空间信息，即远程传感器信息。虽然我们可以使用自我关注来提取全球空间信息，如前面的工作中，它也伴随着巨大的资源消耗。对于时间模式，交通数据不仅易于识别每日和每周趋势，而且难以识别由事故引起的短期噪音（例如，汽车事故和雷暴）。现有交通模型难以在时间序列中区分复杂的时间模式，因此难以实现准确的时间依赖。为了解决上述问题，我们提出了一种新颖的噪声感知高效时空变压器架构，用于准确的交通预测，名为StFormer。 Stformer由两个组件组成，这是噪声感知的时间自我关注（NATSA）和基于图形的稀疏空间自我关注（GBS3A）。 NATSA将高频分量和低频分量与时间序列分开以消除噪声并分别通过学习滤波器和时间自我关注捕获稳定的时间依赖性。 GBS3A以基于图形的稀疏查询替换vanilla自我关注的完整查询，以减少时间和内存使用情况。四个现实世界交通数据集的实验表明，履带器优于较低的计算成本的最先进的基线。
translated by 谷歌翻译
骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。
translated by 谷歌翻译
相关时间序列（CTS）预测在许多网络物理系统中起着重要作用，其中多个传感器发出捕获互连过程的时间序列。基于深度学习的解决方案，即提供最先进的CTS预测性能，采用各种时空（ST）块，能够在时间序列之间模拟时间依赖性和空间相关性。但是，仍然存在两个挑战。首先，ST-Blocks手动设计，这是耗时和昂贵的。其次，现有预测模型只需多次堆叠相同的ST块，这限制了模型潜力。为了解决这些挑战，我们提出了能够自动识别高竞争力的ST-Blocks以及使用不同拓扑连接的异构ST-Block的预测模型，而不是使用简单堆叠连接的相同的ST-Block。具体而言，我们设计微型和宏搜索空间，以模拟ST-Blocks的架构和异构ST-Block之间的连接，并且我们提供了一种能够共同探索搜索空间来识别最佳预测模型的搜索策略。关于八个常用CTS预测基准数据集的广泛实验可以证明我们的设计选择，并证明AutoCTS能够自动发现智能现有人设计型号的预测模型。这是“AutoCTS：自动相关时间序列预测”“的扩展版本，以显示在PVLDB 2022中。
translated by 谷歌翻译
准确性和可解释性是犯罪预测模型的两个基本属性。由于犯罪可能对人类生命，经济和安全的不利影响，我们需要一个可以尽可能准确地预测未来犯罪的模型，以便可以采取早期步骤来避免犯罪。另一方面，可解释的模型揭示了模型预测背后的原因，确保其透明度并允许我们相应地规划预防犯罪步骤。开发模型的关键挑战是捕获特定犯罪类别的非线性空间依赖和时间模式，同时保持模型的底层结构可解释。在本文中，我们开发AIST，一种用于犯罪预测的注意力的可解释的时空时间网络。基于过去的犯罪发生，外部特征（例如，流量流量和兴趣点（POI）信息）和犯罪趋势，AICT模拟了犯罪类别的动态时空相关性。广泛的实验在使用真实数据集的准确性和解释性方面表现出我们模型的优越性。
translated by 谷歌翻译
对于电网操作，具有精细时间和空间分辨率的太阳能发电准确预测对于电网的操作至关重要。然而，与数值天气预报（NWP）结合机器学习的最先进方法具有粗略分辨率。在本文中，我们采用曲线图信号处理透视和型号的多网站光伏（PV）生产时间序列作为图表上的信号，以捕获它们的时空依赖性并实现更高的空间和时间分辨率预测。我们提出了两种新颖的图形神经网络模型，用于确定性多站点PV预测，被称为图形 - 卷积的长期内存（GCLSTM）和图形 - 卷积变压器（GCTRAFO）模型。这些方法仅依赖于生产数据并利用PV系统提供密集的虚拟气象站网络的直觉。所提出的方法是在整整一年的两组数据集中评估：1）来自304个真实光伏系统的生产数据，以及2）模拟生产1000个PV系统，包括瑞士分布。该拟议的模型优于最先进的多站点预测方法，用于预测前方6小时的预测视野。此外，所提出的模型以NWP优于最先进的单站点方法，如前方的视野上的输入。
translated by 谷歌翻译