为了提高风能生产的安全性和可靠性,短期预测已成为最重要的。这项研究的重点是挪威大陆架的多步时时空风速预测。图形神经网络(GNN)体系结构用于提取空间依赖性,具有不同的更新功能以学习时间相关性。这些更新功能是使用不同的神经网络体系结构实现的。近年来,一种这样的架构,即变压器,在序列建模中变得越来越流行。已经提出了对原始体系结构的各种改动,以更好地促进时间序列预测,本研究的重点是告密者Logsparse Transformer和AutoFormer。这是第一次将logsparse变压器和自动形态应用于风预测,并且第一次以任何一种或告密者的形式在时空设置以进行风向预测。通过比较时空长的短期记忆(LSTM)和多层感知器(MLP)模型,该研究表明,使用改变的变压器体系结构作为GNN中更新功能的模型能够超越这些功能。此外,我们提出了快速的傅立叶变压器(FFTRANSFORMER),该变压器是基于信号分解的新型变压器体系结构,由两个单独的流组成,分别分析趋势和周期性成分。发现FFTRANSFORMER和自动成型器可在10分钟和1小时的预测中取得优异的结果,而FFTRANSFORMER显着优于所有其他模型的4小时预测。最后,通过改变图表表示的连通性程度,该研究明确说明了所有模型如何利用空间依赖性来改善局部短期风速预测。
translated by 谷歌翻译
随着风能的渗透到电网,能够预测大型风电场的预期电力生产变得越来越重要。深度学习(DL)模型可以在数据中学习复杂的模式,并在预测唤醒损失和预期的电力生产方面找到了广泛的成功。本文提出了一种基于关注的图形神经网络(GNN)的模块化框架,其中可以应用于图形块的任何所需组件。结果表明,该模型显着优于多层的Perceptron(MLP)和双向LSTM(BLSTM)模型,同时通过Vanilla GNN模型提供性能。此外,我们认为,所提出的图表架构可以通过为要使用的所需注意操作提供灵活性来轻松适应不同的应用,这可能取决于特定应用。通过分析注意力的重量,据表明,采用基于关注的GNN可以提供洞察模型学习的内容。特别是,注意网络似乎意识到与唤醒损失的一些物理直觉对齐的涡轮机依赖性。
translated by 谷歌翻译
对于电网操作,具有精细时间和空间分辨率的太阳能发电准确预测对于电网的操作至关重要。然而,与数值天气预报(NWP)结合机器学习的最先进方法具有粗略分辨率。在本文中,我们采用曲线图信号处理透视和型号的多网站光伏(PV)生产时间序列作为图表上的信号,以捕获它们的时空依赖性并实现更高的空间和时间分辨率预测。我们提出了两种新颖的图形神经网络模型,用于确定性多站点PV预测,被称为图形 - 卷积的长期内存(GCLSTM)和图形 - 卷积变压器(GCTRAFO)模型。这些方法仅依赖于生产数据并利用PV系统提供密集的虚拟气象站网络的直觉。所提出的方法是在整整一年的两组数据集中评估:1)来自304个真实光伏系统的生产数据,以及2)模拟生产1000个PV系统,包括瑞士分布。该拟议的模型优于最先进的多站点预测方法,用于预测前方6小时的预测视野。此外,所提出的模型以NWP优于最先进的单站点方法,如前方的视野上的输入。
translated by 谷歌翻译
Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.
translated by 谷歌翻译
基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法,通常通常优于其他方法。因此,在过去的几年中,这些方法现在在大规模的工业预测应用中无处不在,并且一直在预测竞赛(例如M4和M5)中排名最佳。这种实践上的成功进一步提高了学术兴趣,以理解和改善深厚的预测方法。在本文中,我们提供了该领域的介绍和概述:我们为深入预测的重要构建块提出了一定深度的深入预测;随后,我们使用这些构建块,调查了最近的深度预测文献的广度。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
最近的研究侧重于制定流量预测作为一种时空图形建模问题。它们通常在每个时间步骤构造静态空间图,然后将每个节点连接在相邻时间步骤之间以构造时空图形。在这样的图形中,不同时间步骤的不同节点之间的相关性未明确地反映,这可以限制图形神经网络的学习能力。同时,这些模型在不同时间步骤中使用相同的邻接矩阵时,忽略节点之间的动态时空相关性。为了克服这些限制,我们提出了一种时空关节图卷积网络(StJGCN),用于交通预测在公路网络上的几个时间上限。具体地,我们在任何两个时间步长之间构造预定的和自适应时空关节图(STJG),这代表了全面和动态的时空相关性。我们进一步设计了STJG上的扩张因果时空关节图卷积层,以捕获与多个范围不同的视角的时空依赖关系。提出了一种多范围注意机制来聚合不同范围的信息。四个公共交通数据集的实验表明,STJGCN是计算的高效和优于11个最先进的基线方法。
translated by 谷歌翻译
在各种下游机器学习任务中,多元时间序列的可靠和有效表示至关重要。在多元时间序列预测中,每个变量都取决于其历史值,并且变量之间也存在相互依存关系。必须设计模型以捕获时间序列之间的内部和相互关系。为了朝着这一目标迈进,我们提出了时间序列注意变压器(TSAT),以进行多元时间序列表示学习。使用TSAT,我们以边缘增强动态图来表示多元时间序列的时间信息和相互依赖性。在动态图中的节点表示,串行中的相关性表示。修改了一种自我注意力的机制,以使用超经验模式分解(SMD)模块捕获序列间的相关性。我们将嵌入式动态图应用于时代序列预测问题,包括两个现实世界数据集和两个基准数据集。广泛的实验表明,TSAT显然在各种预测范围内使用六种最先进的基线方法。我们进一步可视化嵌入式动态图,以说明TSAT的图形表示功能。我们在https://github.com/radiantresearch/tsat上共享代码。
translated by 谷歌翻译
尽管基于变压器的方法已显着改善了长期序列预测的最新结果,但它们不仅在计算上昂贵,而且更重要的是,无法捕获全球时间序列的观点(例如,整体趋势)。为了解决这些问题,我们建议将变压器与季节性趋势分解方法相结合,在这种方法中,分解方法捕获了时间序列的全局概况,而变形金刚捕获了更详细的结构。为了进一步提高变压器的长期预测性能,我们利用了以下事实:大多数时间序列倾向于在诸如傅立叶变换之类的知名基础上具有稀疏的表示形式,并开发出频率增强的变压器。除了更有效外,所提出的方法被称为频率增强分解变压器({\ bf fedFormer}),比标准变压器更有效,具有线性复杂性对序列长度。我们对六个基准数据集的实证研究表明,与最先进的方法相比,FedFormer可以将预测错误降低14.8 \%$ $和$ 22.6 \%\%\%\%$ $,分别为多变量和单变量时间序列。代码可在https://github.com/maziqing/fedformer上公开获取。
translated by 谷歌翻译
近年来,图形神经网络(GNN)与复发性神经网络(RNN)的变体相结合,在时空预测任务中达到了最先进的性能。对于流量预测,GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构,以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性,以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列,并随着编码层的增量增加,使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同,城市路段是循环的,其特征是复杂的空间依赖性。与基线方法相比,一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7%以上,同时将计算资源要求提高了一半以上竞争方法。
translated by 谷歌翻译
Traffic state prediction in a transportation network is paramount for effective traffic operations and management, as well as informed user and system-level decision-making. However, long-term traffic prediction (beyond 30 minutes into the future) remains challenging in current research. In this work, we integrate the spatio-temporal dependencies in the transportation network from network modeling, together with the graph convolutional network (GCN) and graph attention network (GAT). To further tackle the dramatic computation and memory cost caused by the giant model size (i.e., number of weights) caused by multiple cascaded layers, we propose sparse training to mitigate the training cost, while preserving the prediction accuracy. It is a process of training using a fixed number of nonzero weights in each layer in each iteration. We consider the problem of long-term traffic speed forecasting for a real large-scale transportation network data from the California Department of Transportation (Caltrans) Performance Measurement System (PeMS). Experimental results show that the proposed GCN-STGT and GAT-STGT models achieve low prediction errors on short-, mid- and long-term prediction horizons, of 15, 30 and 45 minutes in duration, respectively. Using our sparse training, we could train from scratch with high sparsity (e.g., up to 90%), equivalent to 10 times floating point operations per second (FLOPs) reduction on computational cost using the same epochs as dense training, and arrive at a model with very small accuracy loss compared with the original dense training
translated by 谷歌翻译
最近,对于长期时间序列预测(LTSF)任务,基于变压器的解决方案激增。尽管过去几年的表现正在增长,但我们质疑这项研究中这一研究的有效性。具体而言,可以说,变形金刚是最成功的解决方案,是在长序列中提取元素之间的语义相关性。但是,在时间序列建模中,我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时,有助于保留某些订购信息,但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张,我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型,以进行比较。在九个现实生活数据集上的实验结果表明,LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型,并且通常要大幅度较大。此外,我们进行了全面的经验研究,以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务(例如,异常检测)的有效性。代码可在:\ url {https://github.com/cure-lab/ltsf-linear}中获得。
translated by 谷歌翻译
随着高级数字技术的蓬勃发展,用户以及能源分销商有可能获得有关家庭用电的详细信息。这些技术也可以用来预测家庭用电量(又称负载)。在本文中,我们研究了变分模式分解和深度学习技术的使用,以提高负载预测问题的准确性。尽管在文献中已经研究了这个问题,但选择适当的分解水平和提供更好预测性能的深度学习技术的关注较少。这项研究通过研究六个分解水平和五个不同的深度学习网络的影响来弥合这一差距。首先,使用变分模式分解将原始负载轮廓分解为固有模式函数,以减轻其非平稳方面。然后,白天,小时和过去的电力消耗数据作为三维输入序列馈送到四级小波分解网络模型。最后,将与不同固有模式函数相关的预测序列组合在一起以形成聚合预测序列。使用摩洛哥建筑物的电力消耗数据集(MORED)的五个摩洛哥家庭的负载曲线评估了该方法,并根据最新的时间序列模型和基线持久性模型进行了基准测试。
translated by 谷歌翻译
延长预测时间是对真实应用的危急需求,例如极端天气预警和长期能源消耗规划。本文研究了时间序列的长期预测问题。基于现有的变压器的模型采用各种自我关注机制来发现远程依赖性。然而,长期未来的复杂时间模式禁止模型找到可靠的依赖项。此外,变压器必须采用长期级效率的稀疏版本的点明显自我关注,从而导致信息利用瓶颈。超越变形金刚,我们将自动运气设计为具有自动相关机制的新型分解架构。我们突破了序列分解的预处理公约,并将其翻新为深层模型的基本内部。这种设计为复杂的时间序列具有渐进式分解容量的自动成形。此外,由随机过程理论的启发,我们基于串联周期性设计自相关机制,这在子系列级别进行了依赖关系发现和表示聚合。自动相关性效率和准确性的自我关注。在长期预测中,自动成形器产生最先进的准确性,六个基准测试中的相对改善38%,涵盖了五种实际应用:能源,交通,经济,天气和疾病。此存储库中可用的代码:\ url {https://github.com/thuml/autoformer}。
translated by 谷歌翻译
我们提出了一种新颖的基于变压器的架构,用于3D人类运动的生成建模任务。以前的工作通常依赖于基于RNN的模型,考虑到更短的预测视野迅速达到静止和通常难以置信的状态。最近的研究表明,频域中的隐式时间表示也是有效地制定预定地平线的预测。我们的重点是学习自向学习时空陈述,从而在短期和长期生成合理的未来发展。该模型学习骨骼关节的高尺寸嵌入,以及如何通过去耦的时间和空间自我关注机制来组成时间相干的姿势。我们的双重关注概念允许模型直接访问电流和过去信息,并明确捕获结构和时间依赖项。我们凭经验显示,这有效地了解潜在的运动动态,并减少自动回归模型中观察到的误差累积。我们的模型能够在长视程中产生准确的短期预测和产生合理的运动序列。我们在HTTPS://github.com/eth-Ation-Transformer中公开公开提供我们的代码。
translated by 谷歌翻译
天气预报是一项有吸引力的挑战性任务,因为它对人类生活和大气运动的复杂性的影响。在大量历史观察到的时间序列数据的支持下,该任务适用于数据驱动的方法,尤其是深层神经网络。最近,基于图神经网络(GNN)方法在时空预测方面取得了出色的性能。但是,基于规范的GNNS方法仅分别对每个站的气象变量的局部图或整个车站的全局图进行建模,从而缺乏不同站点的气象变量之间的信息相互作用。在本文中,我们提出了一种新型的层次时空图形神经网络(Histgnn),以模拟多个站点气象变量之间的跨区域时空相关性。自适应图学习层和空间图卷积用于构建自学习图,并研究可变级别和站点级别图的节点之间的隐藏依赖性。为了捕获时间模式,扩张的成立为GATE时间卷积的主干旨在对长而各种气象趋势进行建模。此外,提出了动态的交互学习来构建在层次图中传递的双向信息。三个现实世界中的气象数据集的实验结果表明,史基元超过7个基准的卓越性能,并且将误差降低了4.2%至11.6%,尤其是与最先进的天气预测方法相比。
translated by 谷歌翻译
由于流量大数据的增加,交通预测逐渐引起了研究人员的注意力。因此,如何在交通数据中挖掘复杂的时空相关性以预测交通状况更准确地成为难题。以前的作品组合图形卷积网络(GCNS)和具有深度序列模型的自我关注机制(例如,复发性神经网络),分别捕获时空相关性,忽略时间和空间的关系。此外,GCNS受到过平滑问题的限制,自我关注受到二次问题的限制,导致GCN缺乏全局代表能力,自我注意力效率低下捕获全球空间依赖性。在本文中,我们提出了一种新颖的交通预测深入学习模型,命名为多语境意识的时空关节线性关注(STJLA),其对时空关节图应用线性关注以捕获所有时空之间的全球依赖性节点有效。更具体地,STJLA利用静态结构上下文和动态语义上下文来提高模型性能。基于Node2VEC和单热编码的静态结构上下文丰富了时空位置信息。此外,基于多头扩散卷积网络的动态空间上下文增强了局部空间感知能力,并且基于GRU的动态时间上下文分别稳定了线性关注的序列位置信息。在两个现实世界交通数据集,英格兰和PEMSD7上的实验表明,我们的Stjla可以获得高达9.83%和3.08%,在最先进的基线上的衡量标准的准确性提高。
translated by 谷歌翻译
交通预测在智能运输系统中起着不可或缺的作用,使每日旅行更方便和更安全。然而,时空相关的动态演化使得准确的流量预测非常困难。现有工作主要采用图形神经NetWroks(GNNS)和深度时间序列模型(例如,复发性神经网络),以捕获动态交通系统中的复杂时空模式。对于空间模式,GNN难以在道路网络中提取全局空间信息,即远程传感器信息。虽然我们可以使用自我关注来提取全球空间信息,如前面的工作中,它也伴随着巨大的资源消耗。对于时间模式,交通数据不仅易于识别每日和每周趋势,而且难以识别由事故引起的短期噪音(例如,汽车事故和雷暴)。现有交通模型难以在时间序列中区分复杂的时间模式,因此难以实现准确的时间依赖。为了解决上述问题,我们提出了一种新颖的噪声感知高效时空变压器架构,用于准确的交通预测,名为StFormer。 Stformer由两个组件组成,这是噪声感知的时间自我关注(NATSA)和基于图形的稀疏空间自我关注(GBS3A)。 NATSA将高频分量和低频分量与时间序列分开以消除噪声并分别通过学习滤波器和时间自我关注捕获稳定的时间依赖性。 GBS3A以基于图形的稀疏查询替换vanilla自我关注的完整查询,以减少时间和内存使用情况。四个现实世界交通数据集的实验表明,履带器优于较低的计算成本的最先进的基线。
translated by 谷歌翻译
研究人员通常会采用数值方法来理解和预测海洋动力学,这是掌握环境现象的关键任务。在地形图很复杂,有关基础过程的知识不完整或应用程序至关重要的情况下,此类方法可能不适合。另一方面,如果观察到海洋动力学,则可以通过最近的机器学习方法来利用它们。在本文中,我们描述了一种数据驱动的方法,可以预测环境变量,例如巴西东南海岸的Santos-Sao Vicente-Bertioga estuarine系统的当前速度和海面高度。我们的模型通过连接最新的序列模型(LSTM和Transformers)以及关系模型(图神经网络)来利用时间和空间归纳偏见,以学习时间特征和空间特征,观察站点之间共享的关系。我们将结果与桑托斯运营预测系统(SOFS)进行比较。实验表明,我们的模型可以实现更好的结果,同时保持灵活性和很少的领域知识依赖性。
translated by 谷歌翻译
准确的交通预测对于智能运输系统至关重要。尽管许多深度学习模型已经达到了最新的1小时交通预测,但长期交通预测跨越多小时仍然是一个重大挑战。此外,大多数现有的深度学习流量预测模型都是黑匣子,提出了与解释性和解释性有关的其他挑战。我们开发了图形金字塔自动构造(X-GPA),这是一种基于注意力的空间 - 速率图神经网络,使用了新型金字塔自相关注意机制。它可以从图表上的长时间序列中学习,并提高长期流量预测准确性。与几种最先进的方法相比,我们的模型可以实现高达35%的长期流量预测准确性。 X-GPA模型的基于注意力的分数提供了基于交通动态的空间和时间解释,这些解释会改变正常与高峰时段的流量以及工作日与周末流量的变化。
translated by 谷歌翻译