Producing high-quality forecasts of key climate variables such as temperature and precipitation on subseasonal time scales has long been a gap in operational forecasting. Recent studies have shown promising results using machine learning (ML) models to advance subseasonal forecasting (SSF), but several open questions remain. First, several past approaches use the average of an ensemble of physics-based forecasts as an input feature of these models. However, ensemble forecasts contain information that can aid prediction beyond only the ensemble mean. Second, past methods have focused on average performance, whereas forecasts of extreme events are far more important for planning and mitigation purposes. Third, climate forecasts correspond to a spatially-varying collection of forecasts, and different methods account for spatial variability in the response differently. Trade-offs between different approaches may be mitigated with model stacking. This paper describes the application of a variety of ML methods used to predict monthly average precipitation and two meter temperature using physics-based predictions (ensemble forecasts) and observational data such as relative humidity, pressure at sea level, or geopotential height, two weeks in advance for the whole continental United States. Regression, quantile regression, and tercile classification tasks using linear models, random forests, convolutional neural networks, and stacked models are considered. The proposed models outperform common baselines such as historical averages (or quantiles) and ensemble averages (or quantiles). This paper further includes an investigation of feature importance, trade-offs between using the full ensemble or only the ensemble average, and different modes of accounting for spatial variability.

我们基准了一个简单学习模型的亚季节预测工具包，该工具包优于操作实践和最先进的机器学习和深度学习方法。这些模型，由Mouatadid等人引入。 （2022），包括（a）气候++，这是气候学的一种适应性替代品，对于降水而言，准确性9％，比美国运营气候预测系统（CFSV2）高9％，熟练250％； （b）CFSV2 ++，一种学习的CFSV2校正，可将温度和降水精度提高7-8％，技能提高50-275％； （c）持久性++是一种增强的持久性模型，将CFSV2预测与滞后测量相结合，以将温度和降水精度提高6-9％，技能提高40-130％。在整个美国，气候++，CFSV2 ++和持久性++工具包始终优于标准气象基准，最先进的机器和深度学习方法，以及欧洲中等范围的天气预报集合中心。

近期不同尺度电力消耗的丰富数据开辟了新的挑战，并强调了新技术的需求，以利用更精细的尺度提供的信息，以便改善更广泛的尺度预测。在这项工作中，我们利用该分层预测问题与多尺度传输学习之间的相似性。我们分别开发了两种分层转移学习方法，分别基于广义添加剂模型和随机林的堆叠，以及专家聚合的使用。我们将这些方法应用于在第一种情况下使用智能仪表数据，以及第二种情况下的区域数据的智能仪表数据将这些方法应用于两种电力负荷预测。对于这两个useCases，我们将我们的方法的表现与基准算法的表演进行比较，我们使用可变重要性分析调查其行为。我们的结果表明了两种方法的兴趣，这导致预测的重大改善。

了解极端事件及其可能性是研究气候变化影响，风险评估，适应和保护生物的关键。在这项工作中，我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络，对极长的8，000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的，因此我们强调概率预测和验证。我们证明，深度神经网络适用于法国持续持续14天的热浪，快速动态驱动器提前15天（500 hpa地球电位高度场），并且在慢速较长的交货时间内，慢速物理时间驱动器（土壤水分）。该方法很容易实现和通用。我们发现，深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现，当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时，2米温度场不包含任何新的有用统计信息。主要的科学信息是，训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点，例如罕见的事件模拟，以及转移学习如何在后一种任务中发挥作用。

最近，在气象学中使用机器学习大大增加了。尽管许多机器学习方法并不是什么新鲜事物，但有关机器学习的大学课程在很大程度上是气象学专业的学生，​​不需要成为气象学家。缺乏正式的教学导致人们认为机器学习方法是“黑匣子”，因此最终用户不愿在每天的工作流程中应用机器学习方法。为了减少机器学习方法的不透明性，并降低了对气象学中机器学习的犹豫，本文对一些最常见的机器学习方法进行了调查。一个熟悉的气象示例用于将机器学习方法背景化，同时还使用普通语言讨论机器学习主题。证明了以下机器学习方法：线性回归；逻辑回归；决策树；随机森林；梯度增强了决策树；天真的贝叶斯；并支持向量机。除了讨论不同的方法外，本文还包含有关通用机器学习过程的讨论以及最佳实践，以使读者能够将机器学习应用于自己的数据集。此外，所有代码（以Jupyter笔记本电脑和Google Colaboratory Notebooks的形式）用于在论文中进行示例，以促进气象学中的机器学习使用。

本文介绍了一个集成预测方法，通过减少特征和模型选择假设来显示M4Competitiation数据集的强劲结果，称为甜甜圈（不利用人为假设）。我们的假设减少，主要由自动生成的功能和更多样化的集合模型组成，显着优于Montero-Manso等人的统计特征的集合方法FForma。 （2020）。此外，我们用长短期内存网络（LSTM）AutoEncoder调查特征提取，并发现此类特征包含传统统计特征方法未捕获的重要信息。合奏加权模型使用LSTM功能和统计功能准确地结合模型。特征重要性和交互的分析表明，单独的统计数据的LSTM特征略有优势。聚类分析表明，不同的基本LSTM功能与大多数统计特征不同。我们还发现，通过使用新模型增强合奏来增加加权模型的解决方案空间是加权模型学习使用的东西，解释了准确性的一部分。最后，我们为集合的最佳组合和选择提供了正式的前后事实分析，通过M4数据集的线性优化量化差异。我们还包括一个简短的证据，模型组合优于模型选择，后者。

We introduce a machine-learning (ML)-based weather simulator--called "GraphCast"--which outperforms the most accurate deterministic operational medium-range weather forecasting system in the world, as well as all previous ML baselines. GraphCast is an autoregressive model, based on graph neural networks and a novel high-resolution multi-scale mesh representation, which we trained on historical weather data from the European Centre for Medium-Range Weather Forecasts (ECMWF)'s ERA5 reanalysis archive. It can make 10-day forecasts, at 6-hour time intervals, of five surface variables and six atmospheric variables, each at 37 vertical pressure levels, on a 0.25-degree latitude-longitude grid, which corresponds to roughly 25 x 25 kilometer resolution at the equator. Our results show GraphCast is more accurate than ECMWF's deterministic operational forecasting system, HRES, on 90.0% of the 2760 variable and lead time combinations we evaluated. GraphCast also outperforms the most accurate previous ML-based weather forecasting model on 99.2% of the 252 targets it reported. GraphCast can generate a 10-day forecast (35 gigabytes of data) in under 60 seconds on Cloud TPU v4 hardware. Unlike traditional forecasting methods, ML-based forecasting scales well with data: by training on bigger, higher quality, and more recent data, the skill of the forecasts can improve. Together these results represent a key step forward in complementing and improving weather modeling with ML, open new opportunities for fast, accurate forecasting, and help realize the promise of ML-based simulation in the physical sciences.

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

后处理整体预测系统可以改善天气预报，尤其是对于极端事件预测。近年来，已经开发出不同的机器学习模型来提高后处理步骤的质量。但是，这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集，由十个合奏成员组成，分布在20年中（1998-2017）。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态，ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务，这实质上是通过消除合奏成员的偏见来改善预测质量。为此，ENS-10为预测交货时间t = 0、24和48小时（每周两个数据点）提供了天气变量。我们在ENS-10上为此任务提供了一组基线，并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际（CC By 4.0）许可下获得。

最近有兴趣在计算机视觉任务中使用模型中心（预训练模型的集合）。要使用模型中心，我们首先选择一个源模型，然后调整目标的模型以补偿差异。尽管对计算机视觉任务的模型选择和适应性的研究仍有有限的研究，但对于可再生能源领域而言，这甚至更多。同时，根据数值天气预测的天气特征，为对电力预测的需求不断增长提供预测是一个至关重要的挑战。我们通过进行第一个彻底的实验来弥合这些差距，以进行模型选择和适应性的适应性，以在可再生能力预测中转移学习，从而采用了六个数据集中计算机视觉领域的最新结果。我们根据不同季节的数据采用模型，并限制培训数据的量。作为当前最新状态的扩展，我们利用贝叶斯线性回归来预测基于从神经网络中提取的特征的响应。这种方法的表现仅超过基线，只有7天的培训数据。我们进一步展示了如何通过合奏组合多个模型可以显着改善模型选择和适应方法。实际上，有了超过30天的培训数据，两种提出的模型组合技术都取得了与经过一年的培训数据训练的模型相似的结果。

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

杂交和集合学习技术是改善预测方法的预测能力的流行模型融合技术。通过有限的研究，将这两种有前途的方法结合在一起，本文着重于不同合奏的基础模型池中指数平滑的旋转神经网络（ES-RNN）的实用性。我们将某些最先进的结合技术和算术模型平均作为基准进行比较。我们对M4预测数据集进行了100,000个时间序列，结果表明，基于特征的预测模型平均（FFORFORA）平均是与ES-RNN的晚期数据融合的最佳技术。但是，考虑到M4的每日数据子集，堆叠是处理所有基本模型性能相似的情况下唯一成功的合奏。我们的实验结果表明，与N-Beats作为基准相比，我们达到了艺术的预测结果。我们得出的结论是，模型平均比模型选择和堆叠策略更强大。此外，结果表明，提高梯度对于实施合奏学习策略是优越的。

熟练的水流预测可以为水政策和管理各个领域的决策提供信息。我们集成了数值天气预测集合和分布式水文模型，以在中范围的交货时间（1-7天）下生成集合流量预测。我们展示了一项用于在美国东部的Susquehanna河流盆地的后处理过程中进行机器学习应用的案例研究。为了进行预测验证，我们使用不同的指标，例如技能得分和可靠性图，以提前时间，流量阈值和季节为条件。验证结果表明，机器学习后处理器可以改善相对于低复杂性预测（例如气候和时间持久性）以及确定性和原始集合预测的水流预测。与原始合奏相比，与较短的交货时间相比，在中等时间表的相对增益在后期时间表通常更高。与低压流相比，高流量和与凉爽的流量相比。总体而言，我们的结果突出了机器学习在许多方面的好处，以提高流量预测的技能和可靠性。

分位数回归是统计学习中的一个基本问题，这是由于需要量化预测中的不确定性或对多样化的人群建模而不过分减少的统计学习。例如，流行病学预测，成本估算和收入预测都可以准确地量化可能的值的范围。因此，在计量经济学，统计和机器学习的多年研究中，已经为这个问题开发了许多模型。而不是提出另一种（新的）算法用于分位数回归，而是采用元观点：我们研究用于汇总任意数量的有条件分位模型的方法，以提高准确性和鲁棒性。我们考虑加权合奏，其中权重不仅可能因单个模型，而且要多于分位数和特征值而变化。我们在本文中考虑的所有模型都可以使用现代深度学习工具包适合，因此可以广泛访问（从实现的角度）和可扩展。为了提高预测分位数的准确性（或等效地，预测间隔），我们开发了确保分位数保持单调排序的工具，并采用保形校准方法。可以使用这些，而无需对原始模型的原始库进行任何修改。我们还回顾了一些围绕分数聚集和相关评分规则的基本理论，并为该文献做出了一些新的结果（例如，在分类或等渗后回归只能提高加权间隔得分的事实）。最后，我们提供了来自两个不同基准存储库的34个数据集的广泛的经验比较套件。

由于其对人类生命，运输，粮食生产和能源管理的高度影响，因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学，并使用超级计算机来模拟大气预测，提前预测数小时和日期。更好的基于物理的预测需要改进模型本身，这可能是一个实质性的科学挑战，以及潜在的分辨率的改进，可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变：模型学习来自数据的所需变换，而不是依赖于手工编码的物理，并计算效率。然而，对于神经模型，每个额外的辐射时间都会构成大量挑战，因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中，我们提出了一个神经网络，能够提前十二小时的大规模降水预测，并且从相同的大气状态开始，该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。

本文描述了一个新颖的机器学习（ML）框架，用于热带气旋强度和轨道预测，结合了多种ML技术并利用了多种数据源。我们的多模式框架（称为Hurricast）有效地结合了时空数据和统计数据，通过提取具有深度学习的编码器编码器体系结构的特征，并通过梯度增强的树进行预测。我们在2016 - 2019年在北大西洋和东太平洋盆地进行了24小时的提前时间和强度预测，评估我们的模型，并表明它们在秒内计算时达到了当前操作预测模型的可比平均绝对误差和技能。此外，将飓风纳入运营预测的共识模型可以改善国家飓风中心的官方预测，从而通过现有方法突出显示互补物业。总而言之，我们的工作表明，利用机器学习技术结合不同的数据源可以带来热带气旋预测的新机会。

Algorithms that involve both forecasting and optimization are at the core of solutions to many difficult real-world problems, such as in supply chains (inventory optimization), traffic, and in the transition towards carbon-free energy generation in battery/load/production scheduling in sustainable energy systems. Typically, in these scenarios we want to solve an optimization problem that depends on unknown future values, which therefore need to be forecast. As both forecasting and optimization are difficult problems in their own right, relatively few research has been done in this area. This paper presents the findings of the ``IEEE-CIS Technical Challenge on Predict+Optimize for Renewable Energy Scheduling," held in 2021. We present a comparison and evaluation of the seven highest-ranked solutions in the competition, to provide researchers with a benchmark problem and to establish the state of the art for this benchmark, with the aim to foster and facilitate research in this area. The competition used data from the Monash Microgrid, as well as weather data and energy market data. It then focused on two main challenges: forecasting renewable energy production and demand, and obtaining an optimal schedule for the activities (lectures) and on-site batteries that lead to the lowest cost of energy. The most accurate forecasts were obtained by gradient-boosted tree and random forest models, and optimization was mostly performed using mixed integer linear and quadratic programming. The winning method predicted different scenarios and optimized over all scenarios jointly using a sample average approximation method.

生产精确的天气预报和不确定的不确定性的可靠量化是一个开放的科学挑战。到目前为止，集团预测是最成功的方法，以产生相关预测的方法以及估计其不确定性。集合预测的主要局限性是高计算成本，难以捕获和量化不同的不确定性来源，特别是与模型误差相关的源。在这项工作中，进行概念证据模型实验，以检查培训的ANN的性能，以预测系统的校正状态和使用单个确定性预测作为输入的状态不确定性。我们比较不同的培训策略：一个基于使用集合预测的平均值和传播作为目标的直接培训，另一个依赖于使用确定性预测作为目标的决定性预测，其中来自数据隐含地学习不确定性。对于最后一种方法，提出和评估了两个替代损失函数，基于数据观察似然和基于误差的本地估计来评估另一个丢失功能。在不同的交货时间和方案中检查网络的性能，在没有模型错误的情况下。使用Lorenz'96模型的实验表明，ANNS能够模拟集合预测的一些属性，如最不可预测模式的过滤和预测不确定性的状态相关量化。此外，ANNS提供了在模型误差存在下的预测不确定性的可靠估计。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

预测洪水损害缓解的大坝流入是重要的。水文照片提供关键信息，例如开始时间，峰值等级和体积。特别是，大坝管理需要基于未来水文的大坝流入预测的6小时递送时间。作者提出了新的目标流入权重，以产生从分析的海面图像中提取的海洋特征向量。我们在预训练的VGG16网络的FC6层中提取了尺寸向量的4,096个元素。随后，我们将其减少到T-SNE的三个维度。此外，我们使用PCA创建了海温重量的主要成分。我们发现这些重量有助于通过数值实验的预测性重要性的稳定性。作为基础回归模型，我们通过核心扩展进行校准最小二乘性，定量随机森林最小化袋误差，以及与多项式内核的支持向量回归。当我们计算预测的重要性时，我们可视化我们所提出的权重引入的每个变量重要性的稳定性，与其他没有重量的结果相比。我们将我们的方法应用于日本的Kanto地区的大坝，专注于2007年至2018年的训练有素的术语，从6月到10月有一个有限的洪水期限。我们在2019年的洪水期间测试准确性。最后，我们展示了应用的结果和进一步的统计学习，对未知的洪水预测。