熟练的水流预测可以为水政策和管理各个领域的决策提供信息。我们集成了数值天气预测集合和分布式水文模型,以在中范围的交货时间(1-7天)下生成集合流量预测。我们展示了一项用于在美国东部的Susquehanna河流盆地的后处理过程中进行机器学习应用的案例研究。为了进行预测验证,我们使用不同的指标,例如技能得分和可靠性图,以提前时间,流量阈值和季节为条件。验证结果表明,机器学习后处理器可以改善相对于低复杂性预测(例如气候和时间持久性)以及确定性和原始集合预测的水流预测。与原始合奏相比,与较短的交货时间相比,在中等时间表的相对增益在后期时间表通常更高。与低压流相比,高流量和与凉爽的流量相比。总体而言,我们的结果突出了机器学习在许多方面的好处,以提高流量预测的技能和可靠性。
translated by 谷歌翻译
我们基准了一个简单学习模型的亚季节预测工具包,该工具包优于操作实践和最先进的机器学习和深度学习方法。这些模型,由Mouatadid等人引入。 (2022),包括(a)气候++,这是气候学的一种适应性替代品,对于降水而言,准确性9%,比美国运营气候预测系统(CFSV2)高9%,熟练250%; (b)CFSV2 ++,一种学习的CFSV2校正,可将温度和降水精度提高7-8%,技能提高50-275%; (c)持久性++是一种增强的持久性模型,将CFSV2预测与滞后测量相结合,以将温度和降水精度提高6-9%,技能提高40-130%。在整个美国,气候++,CFSV2 ++和持久性++工具包始终优于标准气象基准,最先进的机器和深度学习方法,以及欧洲中等范围的天气预报集合中心。
translated by 谷歌翻译
生产精确的天气预报和不确定的不确定性的可靠量化是一个开放的科学挑战。到目前为止,集团预测是最成功的方法,以产生相关预测的方法以及估计其不确定性。集合预测的主要局限性是高计算成本,难以捕获和量化不同的不确定性来源,特别是与模型误差相关的源。在这项工作中,进行概念证据模型实验,以检查培训的ANN的性能,以预测系统的校正状态和使用单个确定性预测作为输入的状态不确定性。我们比较不同的培训策略:一个基于使用集合预测的平均值和传播作为目标的直接培训,另一个依赖于使用确定性预测作为目标的决定性预测,其中来自数据隐含地学习不确定性。对于最后一种方法,提出和评估了两个替代损失函数,基于数据观察似然和基于误差的本地估计来评估另一个丢失功能。在不同的交货时间和方案中检查网络的性能,在没有模型错误的情况下。使用Lorenz'96模型的实验表明,ANNS能够模拟集合预测的一些属性,如最不可预测模式的过滤和预测不确定性的状态相关量化。此外,ANNS提供了在模型误差存在下的预测不确定性的可靠估计。
translated by 谷歌翻译
季节预测$ \ unicode {x2013} $预测温度和降水量为2至6周$ \ unicode {x2013} $,对于有效的水分配,野火管理,干旱和缓解洪水至关重要。最近的国际研究工作提高了操作动力学模型的亚季节能力,但是温度和降水预测技能仍然很差,部分原因是代表动态模型内大气动力学和物理学的顽固错误。为了应对这些错误,我们引入了一种自适应偏置校正(ABC)方法,该方法将最新的动力学预测与使用机器学习的观察结合在一起。当应用于欧洲中等天气预测中心(ECMWF)的领先的亚季节模型时,ABC将温度预测技能提高了60-90%,在美国的连续美国,降水预测技能提高了40-69%基于Shapley队列的实用工作流程,用于解释ABC技能的提高并根据特定的气候条件识别机遇的高技能窗口。
translated by 谷歌翻译
预测基金绩效对投资者和基金经理都是有益的,但这是一项艰巨的任务。在本文中,我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估,该比例代表了风险调整的绩效,以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率,该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现,经过现代贝叶斯优化训练的长期短期记忆(LSTM)和封闭式复发单元(GRUS)深度学习方法比传统统计量相比,预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法,可以实现所有模型的最佳性能。有证据表明,深度学习和结合能提供有希望的解决方案,以应对基金绩效预测的挑战。
translated by 谷歌翻译
随着Covid-19影响每个国家的全球和改变日常生活,预测疾病的传播的能力比任何先前的流行病更重要。常规的疾病 - 展开建模方法,隔间模型,基于对病毒的扩散的时空均匀性的假设,这可能导致预测到欠低,特别是在高空间分辨率下。本文采用替代技术 - 时空机器学习方法。我们提出了Covid-LSTM,一种基于长期短期内存深度学习架构的数据驱动模型,用于预测Covid-19在美国县级的发病率。我们使用每周数量的新阳性案例作为时间输入,以及来自Facebook运动和连通数据集的手工工程空间特征,以捕捉时间和空间的疾病的传播。 Covid-LSTM在我们的17周的评估期间优于Covid-19预测集线器集合模型(CovidHub-Ensemble),使其首先比一个或多个预测期更准确的模型。在4周的预测地平线上,我们的型号平均每县平均50例比CovidHub-Ensemble更准确。我们强调,在Covid-19之前,在Covid-19之前的数据驱动预测的未充分利用疾病传播的预测可能是由于以前疾病缺乏足够的数据,除了最近的时尚预测方法的机器学习方法的进步。我们讨论了更广泛的数据驱动预测的障碍,以及将来将使用更多的基于学习的模型。
translated by 谷歌翻译
由于其对人类生命,运输,粮食生产和能源管理的高度影响,因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学,并使用超级计算机来模拟大气预测,提前预测数小时和日期。更好的基于物理的预测需要改进模型本身,这可能是一个实质性的科学挑战,以及潜在的分辨率的改进,可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变:模型学习来自数据的所需变换,而不是依赖于手工编码的物理,并计算效率。然而,对于神经模型,每个额外的辐射时间都会构成大量挑战,因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中,我们提出了一个神经网络,能够提前十二小时的大规模降水预测,并且从相同的大气状态开始,该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。
translated by 谷歌翻译
谷歌的运营洪水预测系统是制定的,为机构和公众提供准确的实时洪水警告,重点是河流洪水在大型潮流的河流中。它在2018年开始运作,自从地理位置扩展以来。该预测系统由四个子系统组成:数据验证,阶段预测,淹没建模和警报分配。机器学习用于两个子系统。阶段预测采用长短期内存(LSTM)网络和线性模型进行建模。使用阈值和歧管模型计算洪水淹没,前者计算淹没程度,后者计算淹没程度和深度。本文首次提供的歧管模型提供了一种机器学习替代洪水淹没的液压建模。在评估历史数据时,所有型号都可以实现可操作使用的足够高的度量指标。 LSTM表现出比线性模型更高的技能,而阈值和歧管模型达到了类似的性能度量,以便在淹没程度上进行建模。在2021年的季风季节期间,洪水预警系统在印度和孟加拉国运营,覆盖河流的洪水区,总面积287,000平方公里,拥有350多万人。超过100米的洪水警报被发送给受影响的人口,相关当局以及紧急组织。系统上的当前和未来的工作包括将覆盖范围扩展到额外的洪水易发位置,以及提高建模能力和准确性。
translated by 谷歌翻译
Producing high-quality forecasts of key climate variables such as temperature and precipitation on subseasonal time scales has long been a gap in operational forecasting. Recent studies have shown promising results using machine learning (ML) models to advance subseasonal forecasting (SSF), but several open questions remain. First, several past approaches use the average of an ensemble of physics-based forecasts as an input feature of these models. However, ensemble forecasts contain information that can aid prediction beyond only the ensemble mean. Second, past methods have focused on average performance, whereas forecasts of extreme events are far more important for planning and mitigation purposes. Third, climate forecasts correspond to a spatially-varying collection of forecasts, and different methods account for spatial variability in the response differently. Trade-offs between different approaches may be mitigated with model stacking. This paper describes the application of a variety of ML methods used to predict monthly average precipitation and two meter temperature using physics-based predictions (ensemble forecasts) and observational data such as relative humidity, pressure at sea level, or geopotential height, two weeks in advance for the whole continental United States. Regression, quantile regression, and tercile classification tasks using linear models, random forests, convolutional neural networks, and stacked models are considered. The proposed models outperform common baselines such as historical averages (or quantiles) and ensemble averages (or quantiles). This paper further includes an investigation of feature importance, trade-offs between using the full ensemble or only the ensemble average, and different modes of accounting for spatial variability.
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响,风险评估,适应和保护生物的关键。在这项工作中,我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络,对极长的8,000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的,因此我们强调概率预测和验证。我们证明,深度神经网络适用于法国持续持续14天的热浪,快速动态驱动器提前15天(500 hpa地球电位高度场),并且在慢速较长的交货时间内,慢速物理时间驱动器(土壤水分)。该方法很容易实现和通用。我们发现,深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现,当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时,2米温度场不包含任何新的有用统计信息。主要的科学信息是,训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点,例如罕见的事件模拟,以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译
With the evolution of power systems as it is becoming more intelligent and interactive system while increasing in flexibility with a larger penetration of renewable energy sources, demand prediction on a short-term resolution will inevitably become more and more crucial in designing and managing the future grid, especially when it comes to an individual household level. Projecting the demand for electricity for a single energy user, as opposed to the aggregated power consumption of residential load on a wide scale, is difficult because of a considerable number of volatile and uncertain factors. This paper proposes a customized GRU (Gated Recurrent Unit) and Long Short-Term Memory (LSTM) architecture to address this challenging problem. LSTM and GRU are comparatively newer and among the most well-adopted deep learning approaches. The electricity consumption datasets were obtained from individual household smart meters. The comparison shows that the LSTM model performs better for home-level forecasting than alternative prediction techniques-GRU in this case. To compare the NN-based models with contrast to the conventional statistical technique-based model, ARIMA based model was also developed and benchmarked with LSTM and GRU model outcomes in this study to show the performance of the proposed model on the collected time series data.
translated by 谷歌翻译
太阳能无线电通量以及地磁指数是太阳能活动的重要指标及其效果。耀斑和地磁风暴等极端太阳能事件可能对低地轨道中的卫星的空间环境产生负面影响。因此,预测这些空间天气指数在太空运营和科学方面具有重要意义。在这项研究中,我们提出了一种基于长期短期内存神经网络的模型,以了解时间序列数据的分布,以便使用时间序列以及太阳能图像提供空间天气指标的同时多元27天预测数据。我们展示了30-40 \%的根均方误差改进了,而仅包括使用时间序列数据的太阳能图像数据,而单独使用时间序列数据。与训练有素的深神经网络模型相比,诸如持久性和运行平均预测之类的简单基线也将与训练有素的深神经网络模型进行比较。我们还使用模型集合量化我们预测中的不确定性。
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
对极端事件的风险评估需要准确估算超出历史观察范围的高分位数。当风险取决于观察到的预测因子的值时,回归技术用于在预测器空间中插值。我们提出的EQRN模型将来自神经网络和极值理论的工具结合到能够在存在复杂预测依赖性的情况下外推的方法中。神经网络自然可以在数据中融合其他结构。我们开发了EQRN的经常性版本,该版本能够在时间序列中捕获复杂的顺序依赖性。我们将这种方法应用于瑞士AARE集水区中洪水风险的预测。它利用从时空和时间上的多个协变量中利用信息,以提供对回报水平和超出概率的一日预测。该输出从传统的极值分析中补充了静态返回水平,并且预测能够适应不断变化的气候中经历的分配变化。我们的模型可以帮助当局更有效地管理洪水,并通过预警系统最大程度地减少其灾难性影响。
translated by 谷歌翻译
最近实现了更准确的短期预测的数据驱动的空气质量预测。尽管取得了成功,但大多数目前的数据驱动解决方案都缺乏适当的模型不确定性的量化,以传达信任预测的程度。最近,在概率深度学习中已经制定了几种估计不确定性的实用工具。但是,在空气质量预测领域的域中没有经验应用和广泛的比较这些工具。因此,这项工作在空气质量预测的真实环境中应用了最先进的不确定性量化。通过广泛的实验,我们描述了培训概率模型,并根据经验性能,信心可靠性,置信度估计和实际适用性评估其预测性不确定性。我们还使用空气质量数据中固有的“自由”对抗培训和利用时间和空间相关性提出改善这些模型。我们的实验表明,所提出的模型比以前的工作更好地在量化数据驱动空气质量预测中的不确定性方面表现出。总体而言,贝叶斯神经网络提供了更可靠的不确定性估计,但可能挑战实施和规模。其他可扩展方法,如深合奏,蒙特卡罗(MC)辍学和随机重量平均-Gaussian(SWAG)可以执行良好,如果正确应用,但具有不同的权衡和性能度量的轻微变化。最后,我们的结果表明了不确定性估计的实际影响,并证明了,实际上,概率模型更适合提出知情决策。代码和数据集可用于\ url {https:/github.com/abdulmajid-murad/deep_probabilistic_forecast}
translated by 谷歌翻译
We introduce a machine-learning (ML)-based weather simulator--called "GraphCast"--which outperforms the most accurate deterministic operational medium-range weather forecasting system in the world, as well as all previous ML baselines. GraphCast is an autoregressive model, based on graph neural networks and a novel high-resolution multi-scale mesh representation, which we trained on historical weather data from the European Centre for Medium-Range Weather Forecasts (ECMWF)'s ERA5 reanalysis archive. It can make 10-day forecasts, at 6-hour time intervals, of five surface variables and six atmospheric variables, each at 37 vertical pressure levels, on a 0.25-degree latitude-longitude grid, which corresponds to roughly 25 x 25 kilometer resolution at the equator. Our results show GraphCast is more accurate than ECMWF's deterministic operational forecasting system, HRES, on 90.0% of the 2760 variable and lead time combinations we evaluated. GraphCast also outperforms the most accurate previous ML-based weather forecasting model on 99.2% of the 252 targets it reported. GraphCast can generate a 10-day forecast (35 gigabytes of data) in under 60 seconds on Cloud TPU v4 hardware. Unlike traditional forecasting methods, ML-based forecasting scales well with data: by training on bigger, higher quality, and more recent data, the skill of the forecasts can improve. Together these results represent a key step forward in complementing and improving weather modeling with ML, open new opportunities for fast, accurate forecasting, and help realize the promise of ML-based simulation in the physical sciences.
translated by 谷歌翻译
后处理整体预测系统可以改善天气预报,尤其是对于极端事件预测。近年来,已经开发出不同的机器学习模型来提高后处理步骤的质量。但是,这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集,由十个合奏成员组成,分布在20年中(1998-2017)。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态,ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务,这实质上是通过消除合奏成员的偏见来改善预测质量。为此,ENS-10为预测交货时间t = 0、24和48小时(每周两个数据点)提供了天气变量。我们在ENS-10上为此任务提供了一组基线,并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际(CC By 4.0)许可下获得。
translated by 谷歌翻译
The geospace environment is volatile and highly driven. Space weather has effects on Earth's magnetosphere that cause a dynamic and enigmatic response in the thermosphere, particularly on the evolution of neutral mass density. Many models exist that use space weather drivers to produce a density response, but these models are typically computationally expensive or inaccurate for certain space weather conditions. In response, this work aims to employ a probabilistic machine learning (ML) method to create an efficient surrogate for the Thermosphere Ionosphere Electrodynamics General Circulation Model (TIE-GCM), a physics-based thermosphere model. Our method leverages principal component analysis to reduce the dimensionality of TIE-GCM and recurrent neural networks to model the dynamic behavior of the thermosphere much quicker than the numerical model. The newly developed reduced order probabilistic emulator (ROPE) uses Long-Short Term Memory neural networks to perform time-series forecasting in the reduced state and provide distributions for future density. We show that across the available data, TIE-GCM ROPE has similar error to previous linear approaches while improving storm-time modeling. We also conduct a satellite propagation study for the significant November 2003 storm which shows that TIE-GCM ROPE can capture the position resulting from TIE-GCM density with < 5 km bias. Simultaneously, linear approaches provide point estimates that can result in biases of 7 - 18 km.
translated by 谷歌翻译
太阳能现在是历史上最便宜的电力形式。不幸的是,由于其变异性,显着提高栅格的太阳能的一部分仍然具有挑战性,这使得电力的供需平衡更加困难。虽然热发电机坡度 - 它们可以改变输出的最高速率 - 是有限的,太阳能的坡度基本上是无限的。因此,准确的近期太阳能预测或垂圈,对于提供预警来调整热发电机输出,以响应于太阳能变化来调整热发电机,以确保平衡供需。为了解决问题,本文开发了使用自我监督学习的丰富和易于使用的多光谱卫星数据的太阳能垂圈的一般模型。具体而言,我们使用卷积神经网络(CNN)和长短期内存网络(LSTM)开发深度自动回归模型,这些模型在多个位置训练全球培训,以预测最近推出的最近收集的时空数据的未来观察-R系列卫星。我们的模型估计了基于卫星观测的未来的太阳辐照度,我们向较小的场地特定的太阳能数据培训的回归模型提供,以提供近期太阳能光伏(PV)预测,其考虑了现场特征的特征。我们评估了我们在25个太阳能场所的不同覆盖区域和预测视野的方法,并表明我们的方法利用地面真理观察结果产生靠近模型的错误。
translated by 谷歌翻译
将间歇性可再生能源集成到大量的电网中是具有挑战性的。旨在解决这一困难的建立良好的方法涉及即将到来的能源供应可变性以适应电网的响应。在太阳能中,可以在全天空摄像机(前方30分钟)和卫星观测(提前6小时)的不同时间尺度上预测由遮挡云引起的短期变化。在这项研究中,我们将这两种互补的观点集成到单个机器学习框架中的云覆盖物上,以改善时间内(最高60分钟)的辐照度预测。确定性和概率预测均在不同的天气条件(晴朗,多云,阴天)以及不同的输入配置(天空图像,卫星观测和/或过去的辐照度值)中进行评估。我们的结果表明,混合模型在晴朗的条件下有益于预测,并改善了长期预测。这项研究为将来的新颖方法奠定了基础,即在单个学习框架中将天空图像和卫星观测结合起来,以推动太阳现象。
translated by 谷歌翻译