地球天气和气候的数值模拟需要大量的计算。这导致替换替换具有在推理时间快速的近似机器学习（ml）方法的子程序来替换的子程序感兴趣。在天气和气候模型中，大气辐射转移（RT）计算特别昂贵。这使他们成为了基于神经网络的仿真器的流行目标。然而，由于缺乏缺乏全面的数据集和ML基准测试的标准化最佳实践，事先工作难以比较。为了填补这个差距，我们建立一个大型数据集，比加拿大地球系统模型为基础的大型数据集，高于\ emph {1000万个样本，未来的气候条件}。 Climart为ML社区带来了几种方法论挑战，例如多次分发试验集，底层域物理学和准确性和推广速度之间的权衡。我们还提出了几种新颖的基线，这些基线表示现有工作中使用的数据集和网络架构的缺点。下载说明，基准和代码可提供：https：//github.com/rolnicklab/climart

在概述中，引入了通用数学对象（映射），并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习（ML）工具。ML的应用在模拟现有参数化，开发新的参数化，确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。

We introduce a machine-learning (ML)-based weather simulator--called "GraphCast"--which outperforms the most accurate deterministic operational medium-range weather forecasting system in the world, as well as all previous ML baselines. GraphCast is an autoregressive model, based on graph neural networks and a novel high-resolution multi-scale mesh representation, which we trained on historical weather data from the European Centre for Medium-Range Weather Forecasts (ECMWF)'s ERA5 reanalysis archive. It can make 10-day forecasts, at 6-hour time intervals, of five surface variables and six atmospheric variables, each at 37 vertical pressure levels, on a 0.25-degree latitude-longitude grid, which corresponds to roughly 25 x 25 kilometer resolution at the equator. Our results show GraphCast is more accurate than ECMWF's deterministic operational forecasting system, HRES, on 90.0% of the 2760 variable and lead time combinations we evaluated. GraphCast also outperforms the most accurate previous ML-based weather forecasting model on 99.2% of the 252 targets it reported. GraphCast can generate a 10-day forecast (35 gigabytes of data) in under 60 seconds on Cloud TPU v4 hardware. Unlike traditional forecasting methods, ML-based forecasting scales well with data: by training on bigger, higher quality, and more recent data, the skill of the forecasts can improve. Together these results represent a key step forward in complementing and improving weather modeling with ML, open new opportunities for fast, accurate forecasting, and help realize the promise of ML-based simulation in the physical sciences.

有希望的方法来改善气候模型中的云参数化，因此气候预测是使用深度学习与来自Storm-解析模型（SRM）模拟的培训数据结合使用。 ICOSAHEDRAL非静水压（图标）建模框架允许模拟从数值天气预报到气候投影，使其成为开发基于神经网络（NN）的子网比例过程的参数化的理想目标。在图标框架内，我们通过基于逼真的区域和全局图标SRM模拟培训基于NN的云覆盖参数化。我们设置了三种不同类型的NNS，其垂直局部程度不同，它们假设从粗粒粒度大气状态变量诊断云盖。 NNS精确地从粗粒数据中估计子网格尺度云覆盖，该数据具有与其训练数据相似的地理特征。此外，全球培训的NNS可以再现区域SRM仿真的子网格级云覆盖。使用基于游戏理论的可解释性库福芙添加剂解释，我们识别特定湿度和云冰上的过分传播，以及我们基于列的NN不能从全局到区域粗粒度SRM数据完全概括的原因。该解释工具还有助于可视化区域和全球训练的基于列的NNS之间的特征重要性的相似性和差异，并在其云覆盖预测和热力学环境之间揭示了本地关系。我们的结果表明，深度学习的潜力从全球SRMS获得准确但可解释的云覆盖参数化，并表明基于邻域的模型可能是精度和概括性之间的良好折衷。

在数值天气和气候模型中的云结构的处理通常很大程度上是大大简化的，以使它们计算得起价格实惠。在这里，我们建议使用计算廉价的神经网络来纠正欧洲的中等天气预报1D辐射方案ECRAD，用于3D云效应。 3D云效应被学习为ECRAD快速1D Tripleclouds疏忽它们的差异及其3D Spartacus（通过云侧辐射传输的快速算法），其中包括它们的求解器，但大约是计算昂贵的五倍。在3D信号的20到30％之间的典型误差，神经网络的准确性提高了运行时增加约1％。因此，而不是模仿整个斯巴达斯，我们将Tripleclouds保持不变的气氛的无云部分和在其他地方的3D矫正它。如果我们假设两者的相似的信噪比，则对相对小的3D校正而不是整个信号的焦点允许显着提高预测。

气候变化所扩大的极端天气正在造成全球日益毁灭性的影响。由于高计算成本和严格的时间到解决方案限制，目前基于物理的数值天气预测（NWP）的使用限制了精度。我们报告说，数据驱动的深度学习地球系统模拟器Fourcastnet可以预测全球天气，并在接近最先进的准确性的同时，比NWP更快地产生五个量子的预测。四个超级计算系统（Selene，Perlmutter和Juwels Booster高达3,808 nvidia a100 GPU）在三个超级计算系统上进行了优化，并有效地缩放，并在混合精度中获得140.8 PETAFLOPS（该规模的峰值为11.9％）。在3,072GPU上在Juwels Booster上测量的训练四界的时间到达的时间为67.4分钟，相对于最新的NWP，在推理中，相对于最先进的NWP的时间更快。 Fourcastnet提前一周可产生准确的瞬时天气预测，使巨大的合奏更好地捕捉了极端天气，并支持更高的全球预测决议。

数据驱动算法，特别是神经网络，可以在高分辨率模拟数据训练时模拟粗辨率气候模型中未解决的过程的影响;然而，当在没有接受培训的条件下评估时，它们通常会进行大规模的概括误差。在这里，我们建议在物理上重新归类机器学习算法的输入和输出，以帮助他们推广到看不见的气候。在三个不同的气候模型中应用了划分级热力学的离线参数化，我们展示了重新划分的或“气候不变”神经网络，使测试气候的准确预测比其培训气候更温暖。此外，“气候不变”神经网络促进了Aquaplanet和地球模拟之间的泛化。通过可视化和归因方法，我们表明与标准机器学习模型相比，“气候不变”算法学到了风暴规模对流，辐射和其天气热力学环境之间的更多地方和强大的关系。总的来说，这些结果表明，将物理知识纳入地球系统过程的数据驱动模型可以提高其在气候制度上概括的一致性和能力。

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

后处理整体预测系统可以改善天气预报，尤其是对于极端事件预测。近年来，已经开发出不同的机器学习模型来提高后处理步骤的质量。但是，这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集，由十个合奏成员组成，分布在20年中（1998-2017）。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态，ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务，这实质上是通过消除合奏成员的偏见来改善预测质量。为此，ENS-10为预测交货时间t = 0、24和48小时（每周两个数据点）提供了天气变量。我们在ENS-10上为此任务提供了一组基线，并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际（CC By 4.0）许可下获得。

了解极端事件及其可能性是研究气候变化影响，风险评估，适应和保护生物的关键。在这项工作中，我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络，对极长的8，000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的，因此我们强调概率预测和验证。我们证明，深度神经网络适用于法国持续持续14天的热浪，快速动态驱动器提前15天（500 hpa地球电位高度场），并且在慢速较长的交货时间内，慢速物理时间驱动器（土壤水分）。该方法很容易实现和通用。我们发现，深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现，当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时，2米温度场不包含任何新的有用统计信息。主要的科学信息是，训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点，例如罕见的事件模拟，以及转移学习如何在后一种任务中发挥作用。

Exploring the climate impacts of various anthropogenic emissions scenarios is key to making informed decisions for climate change mitigation and adaptation. State-of-the-art Earth system models can provide detailed insight into these impacts, but have a large associated computational cost on a per-scenario basis. This large computational burden has driven recent interest in developing cheap machine learning models for the task of climate model emulation. In this manuscript, we explore the efficacy of randomly wired neural networks for this task. We describe how they can be constructed and compare them to their standard feedforward counterparts using the ClimateBench dataset. Specifically, we replace the serially connected dense layers in multilayer perceptrons, convolutional neural networks, and convolutional long short-term memory networks with randomly wired dense layers and assess the impact on model performance for models with 1 million and 10 million parameters. We find average performance improvements of 4.2% across model complexities and prediction tasks, with substantial performance improvements of up to 16.4% in some cases. Furthermore, we find no significant difference in prediction speed between networks with standard feedforward dense layers and those with randomly wired layers. These findings indicate that randomly wired neural networks may be suitable direct replacements for traditional dense layers in many standard models.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

从设计架构材料到跨尺度的机械行为，计算建模是固体力学中的关键工具。最近，人们对使用机器学习来降低基于物理的模拟的计算成本越来越兴趣。值得注意的是，尽管依赖图神经网络（GNN）的机器学习方法在学习机制方面表现出了成功，但GNN的性能尚未针对无数的固体力学问题进行研究。在这项工作中，我们研究了GNN预测机械驱动的紧急行为的基本方面的能力：柱的几何结构与其弯曲方向之间的联系。为此，我们介绍了不对称屈曲柱（ABC）数据集，该数据集由三个不对称和异质列的几个子数据集组成不稳定。由于局部几何形状，实现标准卷积神经网络元模型所需的“图像样”数据表示不是理想的，因此激发了GNN的使用。除了研究GNN模型体系结构外，我们还研究了不同输入数据表示方法，数据增强和将多个模型结合在一起的效果。虽然我们能够获得良好的结果，但我们还表明，预测基于固体力学的新兴行为是非平凡的。因为我们的模型实施和数据集都在开源许可下分配，所以我们希望未来的研究人员可以在我们的工作基础上建立创建增强的机械师特定机器的机器学习管道，以捕获复杂的几何结构的行为。

Here we present a machine learning framework and model implementation that can learn to simulate a wide variety of challenging physical domains, involving fluids, rigid solids, and deformable materials interacting with one another. Our framework-which we term "Graph Network-based Simulators" (GNS)-represents the state of a physical system with particles, expressed as nodes in a graph, and computes dynamics via learned message-passing. Our results show that our model can generalize from single-timestep predictions with thousands of particles during training, to different initial conditions, thousands of timesteps, and at least an order of magnitude more particles at test time. Our model was robust to hyperparameter choices across various evaluation metrics: the main determinants of long-term performance were the number of message-passing steps, and mitigating the accumulation of error by corrupting the training data with noise. Our GNS framework advances the state-of-the-art in learned physical simulation, and holds promise for solving a wide range of complex forward and inverse problems.

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

气候变化对作物相关的疑虑构成了新的挑战，包括粮食不安全，供应稳定和经济规划。作为中央挑战之一，作物产量预测已成为机器学习领域的按压任务。尽管重要的是，预测任务是特别的复杂性，因为作物产量取决于天气，陆地，土壤质量等各种因素，以及它们的相互作用。近年来，在该域中成功应用了机器学习模型。然而，这些模型要么将他们的任务限制为相对较小的区域，或者只在单个或几年内进行研究，这使得它们难以在空间和时间上概括。在本文中，我们介绍了一种用于作物产量预测的新型图形的复发性神经网络，以纳入模型中的地理和时间知识，进一步提升预测力。我们的方法是在美国大陆的41个州的2000年历史上进行培训，验证和测试，从1981年到2019年覆盖了几年。据我们所知，这是第一种机器学习方法，可在作物产量预测中嵌入地理知识预测全国县级的作物产量。我们还通过应用众所周知的线性模型，基于树的模型，深度学习方法以及比较它们的性能来对与其他机器学习基线进行稳固的基础。实验表明，我们的提出方法始终如一地优于各种指标上现有的现有方法，验证地理空间和时间信息的有效性。

太阳能现在是历史上最便宜的电力形式。不幸的是，由于其变异性，显着提高栅格的太阳能的一部分仍然具有挑战性，这使得电力的供需平衡更加困难。虽然热发电机坡度 - 它们可以改变输出的最高速率 - 是有限的，太阳能的坡度基本上是无限的。因此，准确的近期太阳能预测或垂圈，对于提供预警来调整热发电机输出，以响应于太阳能变化来调整热发电机，以确保平衡供需。为了解决问题，本文开发了使用自我监督学习的丰富和易于使用的多光谱卫星数据的太阳能垂圈的一般模型。具体而言，我们使用卷积神经网络（CNN）和长短期内存网络（LSTM）开发深度自动回归模型，这些模型在多个位置训练全球培训，以预测最近推出的最近收集的时空数据的未来观察-R系列卫星。我们的模型估计了基于卫星观测的未来的太阳辐照度，我们向较小的场地特定的太阳能数据培训的回归模型提供，以提供近期太阳能光伏（PV）预测，其考虑了现场特征的特征。我们评估了我们在25个太阳能场所的不同覆盖区域和预测视野的方法，并表明我们的方法利用地面真理观察结果产生靠近模型的错误。

Surrogate models are necessary to optimize meaningful quantities in physical dynamics as their recursive numerical resolutions are often prohibitively expensive. It is mainly the case for fluid dynamics and the resolution of Navier-Stokes equations. However, despite the fast-growing field of data-driven models for physical systems, reference datasets representing real-world phenomena are lacking. In this work, we develop AirfRANS, a dataset for studying the two-dimensional incompressible steady-state Reynolds-Averaged Navier-Stokes equations over airfoils at a subsonic regime and for different angles of attacks. We also introduce metrics on the stress forces at the surface of geometries and visualization of boundary layers to assess the capabilities of models to accurately predict the meaningful information of the problem. Finally, we propose deep learning baselines on four machine learning tasks to study AirfRANS under different constraints for generalization considerations: big and scarce data regime, Reynolds number, and angle of attack extrapolation.

传统上，基于标度律维模型已被用于参数对流换热岩类地行星像地球，火星，水星和金星的内部，以解决二维或三维高保真前插的计算瓶颈。然而，这些在物理它们可以建模（例如深度取决于材料特性），并预测只平均量的量的限制，例如平均温度地幔。我们最近发现，前馈神经网络（FNN），使用了大量的二维模拟可以克服这个限制和可靠地预测整个1D横向平均温度分布的演变，及时为复杂的模型训练。我们现在扩展该方法以预测的完整2D温度字段，它包含在对流结构如热羽状和冷downwellings的形式的信息。使用的地幔热演化的10,525二维模拟数据集火星般的星球，我们表明，深度学习技术能够产生可靠的参数代理人（即代理人即预测仅基于参数状态变量，如温度）底层偏微分方程。我们首先使用卷积自动编码由142倍以压缩温度场，然后使用FNN和长短期存储器网络（LSTM）来预测所述压缩字段。平均起来，FNN预测是99.30％，并且LSTM预测是准确相对于看不见模拟99.22％。在LSTM和FNN预测显示，尽管较低的绝对平均相对精度，LSTMs捕捉血流动力学优于FNNS适当的正交分解（POD）。当求和，从FNN预测和从LSTM预测量至96.51％，相对97.66％到原始模拟的系数，分别与POD系数。