Forecasts by the European Centre for Medium-Range Weather Forecasts (ECMWF; EC for short) can provide a basis for the establishment of maritime-disaster warning systems, but they contain some systematic biases.The fifth-generation EC atmospheric reanalysis (ERA5) data have high accuracy, but are delayed by about 5 days. To overcome this issue, a spatiotemporal deep-learning method could be used for nonlinear mapping between EC and ERA5 data, which would improve the quality of EC wind forecast data in real time. In this study, we developed the Multi-Task-Double Encoder Trajectory Gated Recurrent Unit (MT-DETrajGRU) model, which uses an improved double-encoder forecaster architecture to model the spatiotemporal sequence of the U and V components of the wind field; we designed a multi-task learning loss function to correct wind speed and wind direction simultaneously using only one model. The study area was the western North Pacific (WNP), and real-time rolling bias corrections were made for 10-day wind-field forecasts released by the EC between December 2020 and November 2021, divided into four seasons. Compared with the original EC forecasts, after correction using the MT-DETrajGRU model the wind speed and wind direction biases in the four seasons were reduced by 8-11% and 9-14%, respectively. In addition, the proposed method modelled the data uniformly under different weather conditions. The correction performance under normal and typhoon conditions was comparable, indicating that the data-driven mode constructed here is robust and generalizable.
translated by 谷歌翻译
日本气象学机构经营着网格的温度指导,以预测二维降雪量和降水类型,例如雨雪,因为表面温度是预测它们的关键元素之一。操作温度引导基于卡尔曼滤波器,该滤波器使用温度观察和数值天气预报(NWP)仅在观察部位周围输出。当NWP模型错误地预测前部的位置或观察到的温度非常冷或热时,纠正温度场。在这项研究中,已经提出了一种基于编码器的解码器的卷积神经网络,以预测日本的康托地区周围的表面上的包装温度。验证结果表明,该模型大大提高了运营指导,可以纠正NWP模型偏差,如前方和极端温度的位置误差。
translated by 谷歌翻译
Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.
translated by 谷歌翻译
We introduce a machine-learning (ML)-based weather simulator--called "GraphCast"--which outperforms the most accurate deterministic operational medium-range weather forecasting system in the world, as well as all previous ML baselines. GraphCast is an autoregressive model, based on graph neural networks and a novel high-resolution multi-scale mesh representation, which we trained on historical weather data from the European Centre for Medium-Range Weather Forecasts (ECMWF)'s ERA5 reanalysis archive. It can make 10-day forecasts, at 6-hour time intervals, of five surface variables and six atmospheric variables, each at 37 vertical pressure levels, on a 0.25-degree latitude-longitude grid, which corresponds to roughly 25 x 25 kilometer resolution at the equator. Our results show GraphCast is more accurate than ECMWF's deterministic operational forecasting system, HRES, on 90.0% of the 2760 variable and lead time combinations we evaluated. GraphCast also outperforms the most accurate previous ML-based weather forecasting model on 99.2% of the 252 targets it reported. GraphCast can generate a 10-day forecast (35 gigabytes of data) in under 60 seconds on Cloud TPU v4 hardware. Unlike traditional forecasting methods, ML-based forecasting scales well with data: by training on bigger, higher quality, and more recent data, the skill of the forecasts can improve. Together these results represent a key step forward in complementing and improving weather modeling with ML, open new opportunities for fast, accurate forecasting, and help realize the promise of ML-based simulation in the physical sciences.
translated by 谷歌翻译
到2021年底,全球电力容量的可再生能源份额达到38.3%,新设施以风能和太阳能为主,分别显示全球增长12.7%和18.5%。但是,风能和光伏能源都是高度挥发性的,使得对网格操作员的计划很难,因此对相应天气变量的准确预测对于可靠的电力预测至关重要。天气预测中最先进的方法是合奏方法,它为概率预测打开了大门。尽管合奏预测通常不足,并且会遭受系统的偏见。因此,它们需要某种形式的统计后处理,其中参数模型提供了手头天气变量的完整预测分布。我们提出了一种基于两步机的一般学习方法,用于校准集合天气预报,在第一步中,生成了改进点的预测,然后将其与各种合奏统计数据一起作为神经网络的输入特征,估计估计的参数。预测分布。在两个案例研究中,基于100m风速和全球水平辐照度预测匈牙利气象服务的操作集合词典系统,将这种新颖方法的预测性能与原始合奏的预测技能进行了比较ART参数方法。两种案例研究都证实,至少高达48H统计后处理可实质上改善了所有被考虑的预测范围的原始合奏的预测性能。所提出的两步方法的研究变体在其竞争对手方面优于技能,建议的新方法非常适用于不同的天气数量和广泛的预测分布。
translated by 谷歌翻译
我们基于技能评分,对确定性太阳预测进行了首次全面的荟萃分析,筛选了Google Scholar的1,447篇论文,并审查了320篇论文的全文以进行数据提取。用多元自适应回归样条模型,部分依赖图和线性回归构建和分析了4,758点的数据库。值得注意的是,分析说明了数据中最重要的非线性关系和交互项。我们量化了对重要变量的预测准确性的影响,例如预测范围,分辨率,气候条件,区域的年度太阳辐照度水平,电力系统大小和容量,预测模型,火车和测试集以及使用不同的技术和投入。通过控制预测之间的关键差异,包括位置变量,可以在全球应用分析的发现。还提供了该领域科学进步的概述。
translated by 谷歌翻译
后处理整体预测系统可以改善天气预报,尤其是对于极端事件预测。近年来,已经开发出不同的机器学习模型来提高后处理步骤的质量。但是,这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集,由十个合奏成员组成,分布在20年中(1998-2017)。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态,ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务,这实质上是通过消除合奏成员的偏见来改善预测质量。为此,ENS-10为预测交货时间t = 0、24和48小时(每周两个数据点)提供了天气变量。我们在ENS-10上为此任务提供了一组基线,并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际(CC By 4.0)许可下获得。
translated by 谷歌翻译
自行车分享系统(BSSS)在全球越来越受欢迎,并引起了广泛的研究兴趣。本文研究了BSSS中的需求预测问题。空间和时间特征对于BSSS的需求预测至关重要,但提取了时尚动态的需求是挑战性的。另一个挑战是捕捉时空动力学和外部因素之间的关系,例如天气,一周和一天时间。为了解决这些挑战,我们提出了一个名为MSTF-Net的多个时空融合网络。 MSTF-Net由多个时空块组成:3D卷积网络(3D-CNN)块,Eidetic 3D卷积长短短期存储网络(E3D-LSTM)块,以及完全连接的(FC)块。具体地,3D-CNN嵌段突出显示在每个片段中提取短期时空依赖(即,亲近,期间和趋势); E3D-LSTM块进一步提取对所有碎片的长期时空依赖; FC块提取外部因素的非线性相关性。最后,融合E3D-LSTM和FC块的潜在表示以获得最终预测。对于两个现实世界数据集,显示MSTF-Net优于七种最先进的模型。
translated by 谷歌翻译
太阳能现在是历史上最便宜的电力形式。不幸的是,由于其变异性,显着提高栅格的太阳能的一部分仍然具有挑战性,这使得电力的供需平衡更加困难。虽然热发电机坡度 - 它们可以改变输出的最高速率 - 是有限的,太阳能的坡度基本上是无限的。因此,准确的近期太阳能预测或垂圈,对于提供预警来调整热发电机输出,以响应于太阳能变化来调整热发电机,以确保平衡供需。为了解决问题,本文开发了使用自我监督学习的丰富和易于使用的多光谱卫星数据的太阳能垂圈的一般模型。具体而言,我们使用卷积神经网络(CNN)和长短期内存网络(LSTM)开发深度自动回归模型,这些模型在多个位置训练全球培训,以预测最近推出的最近收集的时空数据的未来观察-R系列卫星。我们的模型估计了基于卫星观测的未来的太阳辐照度,我们向较小的场地特定的太阳能数据培训的回归模型提供,以提供近期太阳能光伏(PV)预测,其考虑了现场特征的特征。我们评估了我们在25个太阳能场所的不同覆盖区域和预测视野的方法,并表明我们的方法利用地面真理观察结果产生靠近模型的错误。
translated by 谷歌翻译
为了提高风能生产的安全性和可靠性,短期预测已成为最重要的。这项研究的重点是挪威大陆架的多步时时空风速预测。图形神经网络(GNN)体系结构用于提取空间依赖性,具有不同的更新功能以学习时间相关性。这些更新功能是使用不同的神经网络体系结构实现的。近年来,一种这样的架构,即变压器,在序列建模中变得越来越流行。已经提出了对原始体系结构的各种改动,以更好地促进时间序列预测,本研究的重点是告密者Logsparse Transformer和AutoFormer。这是第一次将logsparse变压器和自动形态应用于风预测,并且第一次以任何一种或告密者的形式在时空设置以进行风向预测。通过比较时空长的短期记忆(LSTM)和多层感知器(MLP)模型,该研究表明,使用改变的变压器体系结构作为GNN中更新功能的模型能够超越这些功能。此外,我们提出了快速的傅立叶变压器(FFTRANSFORMER),该变压器是基于信号分解的新型变压器体系结构,由两个单独的流组成,分别分析趋势和周期性成分。发现FFTRANSFORMER和自动成型器可在10分钟和1小时的预测中取得优异的结果,而FFTRANSFORMER显着优于所有其他模型的4小时预测。最后,通过改变图表表示的连通性程度,该研究明确说明了所有模型如何利用空间依赖性来改善局部短期风速预测。
translated by 谷歌翻译
本文描述了一个新颖的机器学习(ML)框架,用于热带气旋强度和轨道预测,结合了多种ML技术并利用了多种数据源。我们的多模式框架(称为Hurricast)有效地结合了时空数据和统计数据,通过提取具有深度学习的编码器编码器体系结构的特征,并通过梯度增强的树进行预测。我们在2016 - 2019年在北大西洋和东太平洋盆地进行了24小时的提前时间和强度预测,评估我们的模型,并表明它们在秒内计算时达到了当前操作预测模型的可比平均绝对误差和技能。此外,将飓风纳入运营预测的共识模型可以改善国家飓风中心的官方预测,从而通过现有方法突出显示互补物业。总而言之,我们的工作表明,利用机器学习技术结合不同的数据源可以带来热带气旋预测的新机会。
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
分布式的小型太阳能光伏(PV)系统正在以快速增加的速度安装。这可能会对分销网络和能源市场产生重大影响。结果,在不同时间分辨率和视野中,非常需要改善对这些系统发电的预测。但是,预测模型的性能取决于分辨率和地平线。在这种情况下,将多个模型的预测结合到单个预测中的预测组合(合奏)可能是鲁棒的。因此,在本文中,我们提供了对五个最先进的预测模型的性能以及在多个分辨率和视野下的现有预测组合的比较和见解。我们提出了一种基于粒子群优化(PSO)的预测组合方法,该方法将通过加权单个模型产生的预测来使预报掌握能够为手头的任务产生准确的预测。此外,我们将提出的组合方法的性能与现有的预测组合方法进行了比较。使用现实世界中的PV电源数据集进行了全面的评估,该数据集在美国三个位置的25个房屋中测得。在四种不同的分辨率和四个不同视野之间的结果表明,基于PSO的预测组合方法的表现优于使用任何单独的预测模型和其他预测组合的使用,而平均平均绝对规模误差降低了3.81%,而最佳性能则最佳性能单个个人模型。我们的方法使太阳预报员能够为其应用产生准确的预测,而不管预测分辨率或视野如何。
translated by 谷歌翻译
流量预测在智能运输系统中交通控制和调度任务的实现中起着重要作用。随着数据源的多元化,合理地使用丰富的流量数据来对流量流中复杂的时空依赖性和非线性特征进行建模是智能运输系统的关键挑战。此外,清楚地评估从不同数据中提取的时空特征的重要性成为一个挑战。提出了双层 - 空间时间特征提取和评估(DL -STFEE)模型。 DL-STFEE的下层是时空特征提取层。流量数据中的空间和时间特征是通过多画图卷积和注意机制提取的,并生成了空间和时间特征的不同组合。 DL-STFEE的上层是时空特征评估层。通过高维自我注意力发项机制产生的注意力评分矩阵,空间特征组合被融合和评估,以便获得不同组合对预测效应的影响。在实际的流量数据集上进行了三组实验,以表明DL-STFEE可以有效地捕获时空特征并评估不同时空特征组合的重要性。
translated by 谷歌翻译
由于其对人类生命,运输,粮食生产和能源管理的高度影响,因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学,并使用超级计算机来模拟大气预测,提前预测数小时和日期。更好的基于物理的预测需要改进模型本身,这可能是一个实质性的科学挑战,以及潜在的分辨率的改进,可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变:模型学习来自数据的所需变换,而不是依赖于手工编码的物理,并计算效率。然而,对于神经模型,每个额外的辐射时间都会构成大量挑战,因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中,我们提出了一个神经网络,能够提前十二小时的大规模降水预测,并且从相同的大气状态开始,该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。
translated by 谷歌翻译
In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.
translated by 谷歌翻译
Machine learning models are frequently employed to perform either purely physics-free or hybrid downscaling of climate data. However, the majority of these implementations operate over relatively small downscaling factors of about 4--6x. This study examines the ability of convolutional neural networks (CNN) to downscale surface wind speed data from three different coarse resolutions (25km, 48km, and 100km side-length grid cells) to 3km and additionally focuses on the ability to recover subgrid-scale variability. Within each downscaling factor, namely 8x, 16x, and 32x, we consider models that produce fine-scale wind speed predictions as functions of different input features: coarse wind fields only; coarse wind and fine-scale topography; and coarse wind, topography, and temporal information in the form of a timestamp. Furthermore, we train one model at 25km to 3km resolution whose fine-scale outputs are probability density function parameters through which sample wind speeds can be generated. All CNN predictions performed on one out-of-sample data outperform classical interpolation. Models with coarse wind and fine topography are shown to exhibit the best performance compared to other models operating across the same downscaling factor. Our timestamp encoding results in lower out-of-sample generalizability compared to other input configurations. Overall, the downscaling factor plays the largest role in model performance.
translated by 谷歌翻译
海洋是令人印象深刻的复杂数据混合的来源,可用于发现尚未发现的关系。此类数据来自海洋及其表面,例如用于跟踪血管轨迹的自动识别系统(AIS)消息。 AIS消息以理想的定期时间间隔通过无线电或卫星传输,但随着时间的流逝而变化不规则。因此,本文旨在通过神经网络对AIS消息传输行为进行建模,以预测即将到来的AIS消息的内容,尤其是在同时方法的情况下,尽管消息的时间不规则性作为异常值。我们提出了一组实验,其中包含用于预测任务的多种算法,其长度不同。深度学习模型(例如,神经网络)表明自己可以充分地保留血管的空间意识,而不管时间不规则。我们展示了如何通过共同努力来改善此类任务的卷积层,进料网络和反复的神经网络。尝试短,中和大型消息序列,我们的模型达到了相对百分比差异的36/37/38% - 越低,越好,而我们在Elman的RNN上观察到92/45/96%,51 /52/40%的GRU,LSTM的129/98/61%。这些结果支持我们的模型作为驱动器,以改善在时间噪声数据下同时分析多个分歧类型的血管时,可以改善船舶路线的预测。
translated by 谷歌翻译
交通速度预测是许多有价值应用程序的关键,由于其各种影响因素,它也是一项具有挑战性的任务。最近的工作试图通过各种混合模型获得更多信息,从而提高了预测准确性。但是,这些方法的空间信息采集方案存在两级分化问题。建模很简单,但包含很少的空间信息,或者建模是完整的,但缺乏灵活性。为了基于确保灵活性引入更多空间信息,本文提出了IRNET(可转让的交叉点重建网络)。首先,本文将相交重建为与相同结构的虚拟交集,从而简化了道路网络的拓扑结构。然后,将空间信息细分为交叉信息和交通流向的序列信息,并通过各种模型获得时空特征。第三,一种自我发项机制用于融合时空特征以进行预测。在与基线的比较实验中,不仅预测效应,而且转移性能具有明显的优势。
translated by 谷歌翻译
降水预测是一项重要的科学挑战,对社会产生广泛影响。从历史上看,这项挑战是使用数值天气预测(NWP)模型解决的,该模型基于基于物理的模拟。最近,许多作品提出了一种替代方法,使用端到端深度学习(DL)模型来替代基于物理的NWP。尽管这些DL方法显示出提高的性能和计算效率,但它们在长期预测中表现出局限性,并且缺乏NWP模型的解释性。在这项工作中,我们提出了一个混合NWP-DL工作流程,以填补独立NWP和DL方法之间的空白。在此工作流程下,NWP输出被馈入深层模型,该模型后处理数据以产生精致的降水预测。使用自动气象站(AWS)观测值作为地面真相标签,对深层模型进行了监督训练。这可以实现两全其美,甚至可以从NWP技术的未来改进中受益。为了促进朝这个方向进行研究,我们提出了一个专注于朝鲜半岛的新型数据集,该数据集称为KOMET(KOMEN(KOREA气象数据集),由NWP预测和AWS观察组成。对于NWP,我们使用全局数据同化和预测系统-KOREA集成模型(GDAPS-KIM)。
translated by 谷歌翻译