Machine learning models are frequently employed to perform either purely physics-free or hybrid downscaling of climate data. However, the majority of these implementations operate over relatively small downscaling factors of about 4--6x. This study examines the ability of convolutional neural networks (CNN) to downscale surface wind speed data from three different coarse resolutions (25km, 48km, and 100km side-length grid cells) to 3km and additionally focuses on the ability to recover subgrid-scale variability. Within each downscaling factor, namely 8x, 16x, and 32x, we consider models that produce fine-scale wind speed predictions as functions of different input features: coarse wind fields only; coarse wind and fine-scale topography; and coarse wind, topography, and temporal information in the form of a timestamp. Furthermore, we train one model at 25km to 3km resolution whose fine-scale outputs are probability density function parameters through which sample wind speeds can be generated. All CNN predictions performed on one out-of-sample data outperform classical interpolation. Models with coarse wind and fine topography are shown to exhibit the best performance compared to other models operating across the same downscaling factor. Our timestamp encoding results in lower out-of-sample generalizability compared to other input configurations. Overall, the downscaling factor plays the largest role in model performance.
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
在许多环境环境中的风险管理需要了解驱动极端事件的机制。量化这种风险的有用指标是响应变量的极端分位数,该变量是基于描述气候,生物圈和环境状态的预测变量的。通常,这些分位数位于可观察数据的范围之内,因此,为了估算,需要在回归框架内规范参数极值模型。在这种情况下,经典方法利用预测变量和响应变量之间的线性或加性关系,并在其预测能力或计算效率中受苦;此外,它们的简单性不太可能捕获导致极端野火创造的真正复杂结构。在本文中,我们提出了一个新的方法学框架,用于使用人工中性网络执行极端分位回归,该网络能够捕获复杂的非线性关系并很好地扩展到高维数据。神经网络的“黑匣子”性质意味着它们缺乏从业者通常会喜欢的可解释性的理想特征。因此,我们将线性和加法模型的各个方面与深度学习相结合,以创建可解释的神经网络,这些神经网络可用于统计推断,但保留了高预测准确性。为了补充这种方法,我们进一步提出了一个新颖的点过程模型,以克服与广义极值分布类别相关的有限的下端问题。我们的统一框架的功效在具有高维预测器集的美国野火数据上说明了,我们说明了基于线性和基于样条的回归技术的预测性能的大幅改进。
translated by 谷歌翻译
有希望的方法来改善气候模型中的云参数化,因此气候预测是使用深度学习与来自Storm-解析模型(SRM)模拟的培训数据结合使用。 ICOSAHEDRAL非静水压(图标)建模框架允许模拟从数值天气预报到气候投影,使其成为开发基于神经网络(NN)的子网比例过程的参数化的理想目标。在图标框架内,我们通过基于逼真的区域和全局图标SRM模拟培训基于NN的云覆盖参数化。我们设置了三种不同类型的NNS,其垂直局部程度不同,它们假设从粗粒粒度大气状态变量诊断云盖。 NNS精确地从粗粒数据中估计子网格尺度云覆盖,该数据具有与其训练数据相似的地理特征。此外,全球培训的NNS可以再现区域SRM仿真的子网格级云覆盖。使用基于游戏理论的可解释性库福芙添加剂解释,我们识别特定湿度和云冰上的过分传播,以及我们基于列的NN不能从全局到区域粗粒度SRM数据完全概括的原因。该解释工具还有助于可视化区域和全球训练的基于列的NNS之间的特征重要性的相似性和差异,并在其云覆盖预测和热力学环境之间揭示了本地关系。我们的结果表明,深度学习的潜力从全球SRMS获得准确但可解释的云覆盖参数化,并表明基于邻域的模型可能是精度和概括性之间的良好折衷。
translated by 谷歌翻译
超级解决全球气候模拟的粗略产出,称为缩减,对于需要长期气候变化预测的系统做出政治和社会决策至关重要。但是,现有的快速超分辨率技术尚未保留气候数据的空间相关性,这在我们以空间扩展(例如运输基础设施的开发)处理系统时尤其重要。本文中,我们展示了基于对抗性的网络的机器学习,使我们能够在降尺度中正确重建区域间空间相关性,并高达五十,同时保持像素统计的一致性。与测量的温度和降水分布的气象数据的直接比较表明,整合气候上重要的物理信息对于准确的缩减至关重要,这促使我们称我们的方法称为$ \ pi $ srgan(物理学知情的超级分辨率生成生成的对手网络)。本方法对气候变化影响的区域间一致评估具有潜在的应用。
translated by 谷歌翻译
Different machine learning (ML) models are trained on SCADA and meteorological data collected at an onshore wind farm and then assessed in terms of fidelity and accuracy for predictions of wind speed, turbulence intensity, and power capture at the turbine and wind farm levels for different wind and atmospheric conditions. ML methods for data quality control and pre-processing are applied to the data set under investigation and found to outperform standard statistical methods. A hybrid model, comprised of a linear interpolation model, Gaussian process, deep neural network (DNN), and support vector machine, paired with a DNN filter, is found to achieve high accuracy for modeling wind turbine power capture. Modifications of the incoming freestream wind speed and turbulence intensity, $TI$, due to the evolution of the wind field over the wind farm and effects associated with operating turbines are also captured using DNN models. Thus, turbine-level modeling is achieved using models for predicting power capture while farm-level modeling is achieved by combining models predicting wind speed and $TI$ at each turbine location from freestream conditions with models predicting power capture. Combining these models provides results consistent with expected power capture performance and holds promise for future endeavors in wind farm modeling and diagnostics. Though training ML models is computationally expensive, using the trained models to simulate the entire wind farm takes only a few seconds on a typical modern laptop computer, and the total computational cost is still lower than other available mid-fidelity simulation approaches.
translated by 谷歌翻译
在过去的几十年中,风产能的增长表明,风能可以促进世界许多地区的能源过渡。对于模型的高度可变和复杂,对风能的时空变化和相关的不确定性的定量与能源计划者高度相关。机器学习已成为执行风速和功率预测的流行工具。但是,现有方法有几个局限性。其中包括(i)在风速数据中不足以考虑时空相关性,(ii)缺乏量化风速预测不确定性及其对风能估算的不确定性的现有方法,以及(iii)焦点在少于小时的频率上。为了克服这些局限性,我们引入了一个框架,以从不规则分布的风速测量值中的常规网格上重建时空场。将数据分解为时间引用的基础函数及其相应的空间分布系数后,后者是使用极端学习机对空间建模的。然后,对模型和预测不确定性的估计及其在风速转化为风能后的传播的估计值,然后将提供对数据分布模式的任何假设。该方法适用于研究瑞士100米轮毂高度的250 x 250平方米的小时风能潜力,为该国提供了其类型的第一个数据集。潜在的风力发电与风力涡轮机安装的可用区域相结合,以估算瑞士风力发电的技术潜力。此处介绍的风力估算代表了计划人员的重要意见,以支持风力发电增加的未来能源系统的设计。
translated by 谷歌翻译
In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.
translated by 谷歌翻译
由于其对人类生命,运输,粮食生产和能源管理的高度影响,因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学,并使用超级计算机来模拟大气预测,提前预测数小时和日期。更好的基于物理的预测需要改进模型本身,这可能是一个实质性的科学挑战,以及潜在的分辨率的改进,可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变:模型学习来自数据的所需变换,而不是依赖于手工编码的物理,并计算效率。然而,对于神经模型,每个额外的辐射时间都会构成大量挑战,因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中,我们提出了一个神经网络,能够提前十二小时的大规模降水预测,并且从相同的大气状态开始,该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响,风险评估,适应和保护生物的关键。在这项工作中,我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络,对极长的8,000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的,因此我们强调概率预测和验证。我们证明,深度神经网络适用于法国持续持续14天的热浪,快速动态驱动器提前15天(500 hpa地球电位高度场),并且在慢速较长的交货时间内,慢速物理时间驱动器(土壤水分)。该方法很容易实现和通用。我们发现,深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现,当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时,2米温度场不包含任何新的有用统计信息。主要的科学信息是,训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点,例如罕见的事件模拟,以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译
Modeling the risk of extreme weather events in a changing climate is essential for developing effective adaptation and mitigation strategies. Although the available low-resolution climate models capture different scenarios, accurate risk assessment for mitigation and adaption often demands detail that they typically cannot resolve. Here, we develop a dynamic data-driven downscaling (super-resolution) method that incorporates physics and statistics in a generative framework to learn the fine-scale spatial details of rainfall. Our method transforms coarse-resolution ($0.25^{\circ} \times 0.25^{\circ}$) climate model outputs into high-resolution ($0.01^{\circ} \times 0.01^{\circ}$) rainfall fields while efficaciously quantifying uncertainty. Results indicate that the downscaled rainfall fields closely match observed spatial fields and their risk distributions.
translated by 谷歌翻译
我们开发了多种深入学习(DL)模型,用于推进全局极光粒子沉淀的最先进预测。我们使用来自电子能量通量的低地球轨道航天器的观测来开发一种改善加速颗粒的全球漫游(观察时的预测)的模型。比较多机学习(ML)建模方法,包括一种新的多任务模型,具有基于尾和分配的损耗功能的模型,以及时空稀疏的2D卷积模型。我们详细介绍了数据准备过程以及模型开发,将在太空天气和域中的许多类似时间序列全球回归问题中说明。我们的ML改进是三倍:1)损失函数工程; 2)多任务学习; 3)将任务从时间序列预测转换为时空预测。值得注意的是,ML模型改善了极端事件的预测,历史上顽固地顽固,准确规范,并表明ML创新提供的表现力增加可以解决太空天气科学的大挑战。
translated by 谷歌翻译
Forecasts by the European Centre for Medium-Range Weather Forecasts (ECMWF; EC for short) can provide a basis for the establishment of maritime-disaster warning systems, but they contain some systematic biases.The fifth-generation EC atmospheric reanalysis (ERA5) data have high accuracy, but are delayed by about 5 days. To overcome this issue, a spatiotemporal deep-learning method could be used for nonlinear mapping between EC and ERA5 data, which would improve the quality of EC wind forecast data in real time. In this study, we developed the Multi-Task-Double Encoder Trajectory Gated Recurrent Unit (MT-DETrajGRU) model, which uses an improved double-encoder forecaster architecture to model the spatiotemporal sequence of the U and V components of the wind field; we designed a multi-task learning loss function to correct wind speed and wind direction simultaneously using only one model. The study area was the western North Pacific (WNP), and real-time rolling bias corrections were made for 10-day wind-field forecasts released by the EC between December 2020 and November 2021, divided into four seasons. Compared with the original EC forecasts, after correction using the MT-DETrajGRU model the wind speed and wind direction biases in the four seasons were reduced by 8-11% and 9-14%, respectively. In addition, the proposed method modelled the data uniformly under different weather conditions. The correction performance under normal and typhoon conditions was comparable, indicating that the data-driven mode constructed here is robust and generalizable.
translated by 谷歌翻译
许多工程问题需要预测实现实现变异性或建模量的精致描述。在这种情况下,有必要采用未知高维空间的元素,其中可能具有数百万自由度。虽然存在能够具有具有已知形状的概率密度函数(PDF)的方法的方法,但是当分布未知时需要进行若干近似。在本文中,基础分布的采样方法以及底层分布的推动都是用一种称为生成对抗网络(GaN)的数据驱动方法,该方法列举了两个竞争的神经网络来生产可以有效地产生样本的网络从训练集分发。在实践中,通常需要从条件分布中绘制样品。当条件变量是连续的时,可以仅可用对应于调节变量的特定值的一个(如果有)数据点,这不足以估计条件分布。使用PDF的条件时刻的先验估计,处理此问题。这里比较两种方法,随机估计和外部神经网络,用于计算这些时刻;但是,可以使用任何优选的方法。在过滤的湍流流场的解构的情况下,证明了算法。结果表明,与最先进的方法相比,所提出的算法的所有版本有效地对目标条件分布进行了最小的影响,对样品的质量的影响最小。另外,该过程可以用作由连续变量的条件GaN(CGAN)产生的样本的分集的度量。
translated by 谷歌翻译
野火传播的计算模拟通常在各种条件下(例如地形,燃料类型,天气)采用经验分布计算。条件下的小扰动通常会导致火灾传播(例如速度和方向)的显着变化,因此需要进行计算昂贵的大型模拟以量化不确定性。模型仿真寻求使用机器学习的物理模型的替代表示,旨在提供更有效和/或简化的替代模型。我们提出了一个专用时空神经网络,用于模型仿真,能够捕获火灾传播模型的复杂行为。所提出的方法可以在基于神经网络的方法通常具有挑战性的空间和时间分辨率上进行近似预测。此外,由于新的数据增强方法,即使使用小型训练集,提出的方法也是可靠的。经验实验表明,模拟和模拟的火山之间的良好一致性,平均Jaccard得分为0.76。
translated by 谷歌翻译
映射近场污染物的浓度对于跟踪城市地区意外有毒羽状分散体至关重要。通过求解大部分湍流谱,大型模拟(LES)具有准确表示污染物浓度空间变异性的潜力。找到一种合成大量信息的方法,以提高低保真操作模型的准确性(例如,提供更好的湍流封闭条款)特别有吸引力。这是一个挑战,在多质量环境中,LES的部署成本高昂,以了解羽流和示踪剂分散如何随着各种大气和源参数的变化。为了克服这个问题,我们提出了一个合并正交分解(POD)和高斯过程回归(GPR)的非侵入性降低阶模型,以预测与示踪剂浓度相关的LES现场统计。通过最大的后验(MAP)过程,GPR HyperParameter是通过POD告知的最大后验(MAP)过程来优化组件的。我们在二维案例研究上提供了详细的分析,该案例研究对应于表面安装的障碍物上的湍流大气边界层流。我们表明,障碍物上游的近源浓度异质性需要大量的POD模式才能得到充分捕获。我们还表明,逐组分的优化允许捕获POD模式中的空间尺度范围,尤其是高阶模式中较短的浓度模式。如果学习数据库由至少五十至100个LES快照制成,则可以首先估算所需的预算,以朝着更逼真的大气分散应用程序迈进,因此减少订单模型的预测仍然可以接受。
translated by 谷歌翻译
在各种机器学习应用中,表示学习已被证明是一种强大的方法。然而,对于大气动力学,迄今为止尚未考虑它,这可以说是由于缺乏可用于培训的大型,标记的数据集。在这项工作中,我们表明困难是良性的,并引入了一项自我监督的学习任务,该任务定义了各种未标记的大气数据集的绝对损失。具体而言,我们在简单而复杂的任务上训练神经网络,即预测与不同但附近的大气场之间的时间距离。我们证明,对ERA5重新分析进行此任务的培训会导致内部表示,从而捕获了大气动态的内在方面。我们通过为大气状态引入数据驱动的距离度量来做到这一点。当在其他机器学习应用程序中用作损失功能时,与经典$ \ ell_2 $ -loss相比,该ATMODIST距离会改善结果。例如,对于缩小缩放,一个人获得了更高的分辨率字段,该字段比以前的方法更接近真正的统计信息,而对于缺失或遮挡数据的插值,ATMODIST距离导致的结果导致包含更真实的精细规模特征的结果。由于它来自观察数据,因此Atmodist还提供了关于大气可预测性的新观点。
translated by 谷歌翻译
Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.
translated by 谷歌翻译
基于物理学的数值模型代表了地球系统建模中的最先进,包括我们的最佳工具,用于产生洞察和预测。尽管计算能力快速增长,但对更高模型分辨率的感知需求压倒了最新一代电脑,降低了建模者为理解参数敏感性和表征变异性和不确定性而产生模拟的能力。因此,通常开发了代理模型以捕获全吹制数值的基本属性。最近的机器学习方法的成功,尤其是深度学习,跨越许多学科提供了复杂的非线性连接者表示可能能够捕获地球系统中的底层复杂结构和非线性过程的可能性。基于深度学习的仿真的难度测试,这是指数值模型的近似,是为了了解它们是否可以在计算效率方面与传统形式的代理模型相当,同时再现模型以可靠的方式再现模型。可以预期通过该测试的深度学习仿真,而不是捕获复杂进程和时空依赖性的简单模型来表现更好。在这里,我们检查了基于卫星的遥感的案例研究,深度学习方法可以可靠地代表来自代理模型的模拟,具有可比的计算效率。我们的结果令人鼓舞的是,深度学习仿真以可接受的准确性再现结果,并且往往更快的性能。我们阐明了我们对深度学习的高性能实现的改进步伐的更广泛的影响以及地球科学中更高分辨率模拟的渴望。
translated by 谷歌翻译
美国宇航局的全球生态系统动力学调查(GEDI)是一个关键的气候使命,其目标是推进我们对森林在全球碳循环中的作用的理解。虽然GEDI是第一个基于空间的激光器,明确优化,以测量地上生物质的垂直森林结构预测,这对广泛的观测和环境条件的大量波形数据的准确解释是具有挑战性的。在这里,我们提出了一种新颖的监督机器学习方法来解释GEDI波形和全球标注冠层顶部高度。我们提出了一种基于深度卷积神经网络(CNN)集合的概率深度学习方法,以避免未知效果的显式建模,例如大气噪声。该模型学会提取概括地理区域的强大特征,此外,产生可靠的预测性不确定性估计。最终,我们模型产生的全球顶棚顶部高度估计估计的预期RMSE为2.7米,低偏差。
translated by 谷歌翻译