In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.

We introduce a machine-learning (ML)-based weather simulator--called "GraphCast"--which outperforms the most accurate deterministic operational medium-range weather forecasting system in the world, as well as all previous ML baselines. GraphCast is an autoregressive model, based on graph neural networks and a novel high-resolution multi-scale mesh representation, which we trained on historical weather data from the European Centre for Medium-Range Weather Forecasts (ECMWF)'s ERA5 reanalysis archive. It can make 10-day forecasts, at 6-hour time intervals, of five surface variables and six atmospheric variables, each at 37 vertical pressure levels, on a 0.25-degree latitude-longitude grid, which corresponds to roughly 25 x 25 kilometer resolution at the equator. Our results show GraphCast is more accurate than ECMWF's deterministic operational forecasting system, HRES, on 90.0% of the 2760 variable and lead time combinations we evaluated. GraphCast also outperforms the most accurate previous ML-based weather forecasting model on 99.2% of the 252 targets it reported. GraphCast can generate a 10-day forecast (35 gigabytes of data) in under 60 seconds on Cloud TPU v4 hardware. Unlike traditional forecasting methods, ML-based forecasting scales well with data: by training on bigger, higher quality, and more recent data, the skill of the forecasts can improve. Together these results represent a key step forward in complementing and improving weather modeling with ML, open new opportunities for fast, accurate forecasting, and help realize the promise of ML-based simulation in the physical sciences.

由于其对人类生命，运输，粮食生产和能源管理的高度影响，因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学，并使用超级计算机来模拟大气预测，提前预测数小时和日期。更好的基于物理的预测需要改进模型本身，这可能是一个实质性的科学挑战，以及潜在的分辨率的改进，可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变：模型学习来自数据的所需变换，而不是依赖于手工编码的物理，并计算效率。然而，对于神经模型，每个额外的辐射时间都会构成大量挑战，因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中，我们提出了一个神经网络，能够提前十二小时的大规模降水预测，并且从相同的大气状态开始，该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。

后处理整体预测系统可以改善天气预报，尤其是对于极端事件预测。近年来，已经开发出不同的机器学习模型来提高后处理步骤的质量。但是，这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集，由十个合奏成员组成，分布在20年中（1998-2017）。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态，ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务，这实质上是通过消除合奏成员的偏见来改善预测质量。为此，ENS-10为预测交货时间t = 0、24和48小时（每周两个数据点）提供了天气变量。我们在ENS-10上为此任务提供了一组基线，并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际（CC By 4.0）许可下获得。

降水预测是一项重要的科学挑战，对社会产生广泛影响。从历史上看，这项挑战是使用数值天气预测（NWP）模型解决的，该模型基于基于物理的模拟。最近，许多作品提出了一种替代方法，使用端到端深度学习（DL）模型来替代基于物理的NWP。尽管这些DL方法显示出提高的性能和计算效率，但它们在长期预测中表现出局限性，并且缺乏NWP模型的解释性。在这项工作中，我们提出了一个混合NWP-DL工作流程，以填补独立NWP和DL方法之间的空白。在此工作流程下，NWP输出被馈入深层模型，该模型后处理数据以产生精致的降水预测。使用自动气象站（AWS）观测值作为地面真相标签，对深层模型进行了监督训练。这可以实现两全其美，甚至可以从NWP技术的未来改进中受益。为了促进朝这个方向进行研究，我们提出了一个专注于朝鲜半岛的新型数据集，该数据集称为KOMET（KOMEN（KOREA气象数据集），由NWP预测和AWS观察组成。对于NWP，我们使用全局数据同化和预测系统-KOREA集成模型（GDAPS-KIM）。

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。

了解极端事件及其可能性是研究气候变化影响，风险评估，适应和保护生物的关键。在这项工作中，我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络，对极长的8，000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的，因此我们强调概率预测和验证。我们证明，深度神经网络适用于法国持续持续14天的热浪，快速动态驱动器提前15天（500 hpa地球电位高度场），并且在慢速较长的交货时间内，慢速物理时间驱动器（土壤水分）。该方法很容易实现和通用。我们发现，深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现，当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时，2米温度场不包含任何新的有用统计信息。主要的科学信息是，训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点，例如罕见的事件模拟，以及转移学习如何在后一种任务中发挥作用。

尽管有持续的改进，但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是，几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络（GAN）在超分辨率问题上取得了成功，即学习为粗图像添加精细的结构。 Leinonen等。 （2020年）先前使用GAN来产生重建的高分辨率大气场的集合，并给定较粗糙的输入数据。在本文中，我们证明了这种方法可以扩展到更具挑战性的问题，即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构，同时考虑不可忽略的预测错误。我们表明，甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时，可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数，功率谱信息和等级直方图（用于评估校准）的最佳现有缩减方法。我们测试了我们的模型，并表明它们在各种场景中的表现，包括大雨。

气候变化所扩大的极端天气正在造成全球日益毁灭性的影响。由于高计算成本和严格的时间到解决方案限制，目前基于物理的数值天气预测（NWP）的使用限制了精度。我们报告说，数据驱动的深度学习地球系统模拟器Fourcastnet可以预测全球天气，并在接近最先进的准确性的同时，比NWP更快地产生五个量子的预测。四个超级计算系统（Selene，Perlmutter和Juwels Booster高达3,808 nvidia a100 GPU）在三个超级计算系统上进行了优化，并有效地缩放，并在混合精度中获得140.8 PETAFLOPS（该规模的峰值为11.9％）。在3,072GPU上在Juwels Booster上测量的训练四界的时间到达的时间为67.4分钟，相对于最新的NWP，在推理中，相对于最先进的NWP的时间更快。 Fourcastnet提前一周可产生准确的瞬时天气预测，使巨大的合奏更好地捕捉了极端天气，并支持更高的全球预测决议。

将间歇性可再生能源集成到大量的电网中是具有挑战性的。旨在解决这一困难的建立良好的方法涉及即将到来的能源供应可变性以适应电网的响应。在太阳能中，可以在全天空摄像机（前方30分钟）和卫星观测（提前6小时）的不同时间尺度上预测由遮挡云引起的短期变化。在这项研究中，我们将这两种互补的观点集成到单个机器学习框架中的云覆盖物上，以改善时间内（最高60分钟）的辐照度预测。确定性和概率预测均在不同的天气条件（晴朗，多云，阴天）以及不同的输入配置（天空图像，卫星观测和/或过去的辐照度值）中进行评估。我们的结果表明，混合模型在晴朗的条件下有益于预测，并改善了长期预测。这项研究为将来的新颖方法奠定了基础，即在单个学习框架中将天空图像和卫星观测结合起来，以推动太阳现象。

在概述中，引入了通用数学对象（映射），并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习（ML）工具。ML的应用在模拟现有参数化，开发新的参数化，确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。

我们基于技能评分，对确定性太阳预测进行了首次全面的荟萃分析，筛选了Google Scholar的1,447篇论文，并审查了320篇论文的全文以进行数据提取。用多元自适应回归样条模型，部分依赖图和线性回归构建和分析了4,758点的数据库。值得注意的是，分析说明了数据中最重要的非线性关系和交互项。我们量化了对重要变量的预测准确性的影响，例如预测范围，分辨率，气候条件，区域的年度太阳辐照度水平，电力系统大小和容量，预测模型，火车和测试集以及使用不同的技术和投入。通过控制预测之间的关键差异，包括位置变量，可以在全球应用分析的发现。还提供了该领域科学进步的概述。

日本气象学机构经营着网格的温度指导，以预测二维降雪量和降水类型，例如雨雪，因为表面温度是预测它们的关键元素之一。操作温度引导基于卡尔曼滤波器，该滤波器使用温度观察和数值天气预报（NWP）仅在观察部位周围输出。当NWP模型错误地预测前部的位置或观察到的温度非常冷或热时，纠正温度场。在这项研究中，已经提出了一种基于编码器的解码器的卷积神经网络，以预测日本的康托地区周围的表面上的包装温度。验证结果表明，该模型大大提高了运营指导，可以纠正NWP模型偏差，如前方和极端温度的位置误差。

A well-performing prediction model is vital for a recommendation system suggesting actions for energy-efficient consumer behavior. However, reliable and accurate predictions depend on informative features and a suitable model design to perform well and robustly across different households and appliances. Moreover, customers' unjustifiably high expectations of accurate predictions may discourage them from using the system in the long term. In this paper, we design a three-step forecasting framework to assess predictability, engineering features, and deep learning architectures to forecast 24 hourly load values. First, our predictability analysis provides a tool for expectation management to cushion customers' anticipations. Second, we design several new weather-, time- and appliance-related parameters for the modeling procedure and test their contribution to the model's prediction performance. Third, we examine six deep learning techniques and compare them to tree- and support vector regression benchmarks. We develop a robust and accurate model for the appliance-level load prediction based on four datasets from four different regions (US, UK, Austria, and Canada) with an equal set of appliances. The empirical results show that cyclical encoding of time features and weather indicators alongside a long-short term memory (LSTM) model offer the optimal performance.

基于随机差分方程（SDE）的挥发性可再生能源（RESS）的随机过程模型共同捕获了连续时间的不断变化的概率分布和时间相关性。它已经使最近的研究能够显着提高动力系统动态不确定性量化和优化的性能。然而，考虑到PV的非同质随机过程性质，仍然存在一个具有挑战性的问题：如何获得用于光伏电源的现实和准确的SDE模型，以反映其在线操作中的天气不确定性，特别是在高分辨率数值时天气预报（NWP）对于许多分布式工厂不可用？为了填补这个差距，本文发现，只有使用来自低分辨率公共天气报告的廉价数据，可以构建精确的PV电源SDE模型。具体地，构建每小时参数化的Jacobi扩散过程以在一天内重新创建PV挥发性的时间模式。它的参数使用极端学习机（ELM）的集合来映射到公共天气报告，以反映不同的天气状况。 SDE模型共同捕捉盘流道和陷阱。基于澳门收集的现实数据的统计检验表明，所提出的方法优于一系列最先进的深度学习的时间系列预测方法。

Algorithms that involve both forecasting and optimization are at the core of solutions to many difficult real-world problems, such as in supply chains (inventory optimization), traffic, and in the transition towards carbon-free energy generation in battery/load/production scheduling in sustainable energy systems. Typically, in these scenarios we want to solve an optimization problem that depends on unknown future values, which therefore need to be forecast. As both forecasting and optimization are difficult problems in their own right, relatively few research has been done in this area. This paper presents the findings of the ``IEEE-CIS Technical Challenge on Predict+Optimize for Renewable Energy Scheduling," held in 2021. We present a comparison and evaluation of the seven highest-ranked solutions in the competition, to provide researchers with a benchmark problem and to establish the state of the art for this benchmark, with the aim to foster and facilitate research in this area. The competition used data from the Monash Microgrid, as well as weather data and energy market data. It then focused on two main challenges: forecasting renewable energy production and demand, and obtaining an optimal schedule for the activities (lectures) and on-site batteries that lead to the lowest cost of energy. The most accurate forecasts were obtained by gradient-boosted tree and random forest models, and optimization was mostly performed using mixed integer linear and quadratic programming. The winning method predicted different scenarios and optimized over all scenarios jointly using a sample average approximation method.

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

提出了一种使用天气数据实时太阳生成预测的新方法，同时提出了既有空间结构依赖性的依赖。随着时间的推移，观察到的网络被预测到较低维度的表示，在该表示的情况下，在推理阶段使用天气预报时，使用各种天气测量来训练结构化回归模型。从国家太阳辐射数据库获得的德克萨斯州圣安东尼奥地区的288个地点进行了实验。该模型预测具有良好精度的太阳辐照度（夏季R2 0.91，冬季为0.85，全球模型为0.89）。随机森林回归者获得了最佳准确性。进行了多个实验来表征缺失数据的影响和不同的时间范围的影响，这些范围提供了证据表明，新算法不仅在随机的情况下，而且在机制是空间和时间上都丢失的数据是可靠的。

PV power forecasting models are predominantly based on machine learning algorithms which do not provide any insight into or explanation about their predictions (black boxes). Therefore, their direct implementation in environments where transparency is required, and the trust associated with their predictions may be questioned. To this end, we propose a two stage probabilistic forecasting framework able to generate highly accurate, reliable, and sharp forecasts yet offering full transparency on both the point forecasts and the prediction intervals (PIs). In the first stage, we exploit natural gradient boosting (NGBoost) for yielding probabilistic forecasts, while in the second stage, we calculate the Shapley additive explanation (SHAP) values in order to fully comprehend why a prediction was made. To highlight the performance and the applicability of the proposed framework, real data from two PV parks located in Southern Germany are employed. Comparative results with two state-of-the-art algorithms, namely Gaussian process and lower upper bound estimation, manifest a significant increase in the point forecast accuracy and in the overall probabilistic performance. Most importantly, a detailed analysis of the model's complex nonlinear relationships and interaction effects between the various features is presented. This allows interpreting the model, identifying some learned physical properties, explaining individual predictions, reducing the computational requirements for the training without jeopardizing the model accuracy, detecting possible bugs, and gaining trust in the model. Finally, we conclude that the model was able to develop complex nonlinear relationships which follow known physical properties as well as human logic and intuition.

本文描述了一个新颖的机器学习（ML）框架，用于热带气旋强度和轨道预测，结合了多种ML技术并利用了多种数据源。我们的多模式框架（称为Hurricast）有效地结合了时空数据和统计数据，通过提取具有深度学习的编码器编码器体系结构的特征，并通过梯度增强的树进行预测。我们在2016 - 2019年在北大西洋和东太平洋盆地进行了24小时的提前时间和强度预测，评估我们的模型，并表明它们在秒内计算时达到了当前操作预测模型的可比平均绝对误差和技能。此外，将飓风纳入运营预测的共识模型可以改善国家飓风中心的官方预测，从而通过现有方法突出显示互补物业。总而言之，我们的工作表明，利用机器学习技术结合不同的数据源可以带来热带气旋预测的新机会。