气溶胶颗粒通过吸收和散射辐射并影响云特性在气候系统中起重要作用。它们也是气候建模的最大不确定性来源之一。由于计算限制,许多气候模型不包括足够详细的气溶胶。为了表示关键过程,必须考虑气雾微物理特性和过程。这是在使用M7 Microphysics的Echam-Ham全球气候气溶胶模型中完成的,但是高计算成本使得以更精细的分辨率或更长的时间运行非常昂贵。我们的目标是使用机器学习以足够的准确性模仿微物理学模型,并通过在推理时间快速降低计算成本。原始M7模型用于生成输入输出对的数据以训练其上的神经网络。我们能够学习变量的平均$ r^2 $得分为$ 77.1 \%$ $。我们进一步探讨了用物理知识为神经网络提供信息和限制的方法,以减少群众侵犯并实施质量积极性。与原始型号相比,在GPU上,我们达到了高达64倍的加速。
translated by 谷歌翻译
有希望的方法来改善气候模型中的云参数化,因此气候预测是使用深度学习与来自Storm-解析模型(SRM)模拟的培训数据结合使用。 ICOSAHEDRAL非静水压(图标)建模框架允许模拟从数值天气预报到气候投影,使其成为开发基于神经网络(NN)的子网比例过程的参数化的理想目标。在图标框架内,我们通过基于逼真的区域和全局图标SRM模拟培训基于NN的云覆盖参数化。我们设置了三种不同类型的NNS,其垂直局部程度不同,它们假设从粗粒粒度大气状态变量诊断云盖。 NNS精确地从粗粒数据中估计子网格尺度云覆盖,该数据具有与其训练数据相似的地理特征。此外,全球培训的NNS可以再现区域SRM仿真的子网格级云覆盖。使用基于游戏理论的可解释性库福芙添加剂解释,我们识别特定湿度和云冰上的过分传播,以及我们基于列的NN不能从全局到区域粗粒度SRM数据完全概括的原因。该解释工具还有助于可视化区域和全球训练的基于列的NNS之间的特征重要性的相似性和差异,并在其云覆盖预测和热力学环境之间揭示了本地关系。我们的结果表明,深度学习的潜力从全球SRMS获得准确但可解释的云覆盖参数化,并表明基于邻域的模型可能是精度和概括性之间的良好折衷。
translated by 谷歌翻译
在概述中,引入了通用数学对象(映射),并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习(ML)工具。ML的应用在模拟现有参数化,开发新的参数化,确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。
translated by 谷歌翻译
可靠,高分辨率气候和天气数据的可用性对于为气候适应和缓解的长期决策提供了重要的意见,并指导对极端事件的快速响应。预测模型受到计算成本的限制,因此通常以粗空间分辨率预测数量。统计降尺度可以提供高采样低分辨率数据的有效方法。在这个领域,经常使用计算机视觉中超分辨率域中的方法成功地应用了深度学习。尽管经常取得令人信服的结果,但这种模型在预测物理变量时通常会违反保护法。为了节省重要的物理量,我们开发的方法可以通过深层缩减模型来确保物理约束,同时还根据传统指标提高其性能。我们介绍了约束网络的两种方法:添加到神经网络末尾的重新归一化层,并连续的方法随着增加的采样因子的增加而扩展。我们使用ERE5重新分析数据显示了我们在不同流行架构和更高采样因子上的方法的适用性。
translated by 谷歌翻译
Weather forecasting centers currently rely on statistical postprocessing methods to minimize forecast error. This improves skill but can lead to predictions that violate physical principles or disregard dependencies between variables, which can be problematic for downstream applications and for the trustworthiness of postprocessing models, especially when they are based on new machine learning approaches. Building on recent advances in physics-informed machine learning, we propose to achieve physical consistency in deep learning-based postprocessing models by integrating meteorological expertise in the form of analytic equations. Applied to the post-processing of surface weather in Switzerland, we find that constraining a neural network to enforce thermodynamic state equations yields physically-consistent predictions of temperature and humidity without compromising performance. Our approach is especially advantageous when data is scarce, and our findings suggest that incorporating domain expertise into postprocessing models allows to optimize weather forecast information while satisfying application-specific requirements.
translated by 谷歌翻译
数据驱动算法,特别是神经网络,可以在高分辨率模拟数据训练时模拟粗辨率气候模型中未解决的过程的影响;然而,当在没有接受培训的条件下评估时,它们通常会进行大规模的概括误差。在这里,我们建议在物理上重新归类机器学习算法的输入和输出,以帮助他们推广到看不见的气候。在三个不同的气候模型中应用了划分级热力学的离线参数化,我们展示了重新划分的或“气候不变”神经网络,使测试气候的准确预测比其培训气候更温暖。此外,“气候不变”神经网络促进了Aquaplanet和地球模拟之间的泛化。通过可视化和归因方法,我们表明与标准机器学习模型相比,“气候不变”算法学到了风暴规模对流,辐射和其天气热力学环境之间的更多地方和强大的关系。总的来说,这些结果表明,将物理知识纳入地球系统过程的数据驱动模型可以提高其在气候制度上概括的一致性和能力。
translated by 谷歌翻译
在数值天气和气候模型中的云结构的处理通常很大程度上是大大简化的,以使它们计算得起价格实惠。在这里,我们建议使用计算廉价的神经网络来纠正欧洲的中等天气预报1D辐射方案ECRAD,用于3D云效应。 3D云效应被学习为ECRAD快速1D Tripleclouds疏忽它们的差异及其3D Spartacus(通过云侧辐射传输的快速算法),其中包括它们的求解器,但大约是计算昂贵的五倍。在3D信号的20到30%之间的典型误差,神经网络的准确性提高了运行时增加约1%。因此,而不是模仿整个斯巴达斯,我们将Tripleclouds保持不变的气氛的无云部分和在其他地方的3D矫正它。如果我们假设两者的相似的信噪比,则对相对小的3D校正而不是整个信号的焦点允许显着提高预测。
translated by 谷歌翻译
Producing high-quality forecasts of key climate variables such as temperature and precipitation on subseasonal time scales has long been a gap in operational forecasting. Recent studies have shown promising results using machine learning (ML) models to advance subseasonal forecasting (SSF), but several open questions remain. First, several past approaches use the average of an ensemble of physics-based forecasts as an input feature of these models. However, ensemble forecasts contain information that can aid prediction beyond only the ensemble mean. Second, past methods have focused on average performance, whereas forecasts of extreme events are far more important for planning and mitigation purposes. Third, climate forecasts correspond to a spatially-varying collection of forecasts, and different methods account for spatial variability in the response differently. Trade-offs between different approaches may be mitigated with model stacking. This paper describes the application of a variety of ML methods used to predict monthly average precipitation and two meter temperature using physics-based predictions (ensemble forecasts) and observational data such as relative humidity, pressure at sea level, or geopotential height, two weeks in advance for the whole continental United States. Regression, quantile regression, and tercile classification tasks using linear models, random forests, convolutional neural networks, and stacked models are considered. The proposed models outperform common baselines such as historical averages (or quantiles) and ensemble averages (or quantiles). This paper further includes an investigation of feature importance, trade-offs between using the full ensemble or only the ensemble average, and different modes of accounting for spatial variability.
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响,风险评估,适应和保护生物的关键。在这项工作中,我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络,对极长的8,000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的,因此我们强调概率预测和验证。我们证明,深度神经网络适用于法国持续持续14天的热浪,快速动态驱动器提前15天(500 hpa地球电位高度场),并且在慢速较长的交货时间内,慢速物理时间驱动器(土壤水分)。该方法很容易实现和通用。我们发现,深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现,当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时,2米温度场不包含任何新的有用统计信息。主要的科学信息是,训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点,例如罕见的事件模拟,以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译
目前,由精确的径向速度(RV)观察结果受到恒星活性引入的虚假RV信号的限制。我们表明,诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号(由于星形/张图引起的)。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号(例如Haywood等人,2014年)。取而代之的是,我们仅使用对光谱线平均形状的更改进行系统地删除活动信号,也没有有关收集观测值的信息。我们对模拟数据(使用SOAP 2.0软件生成; Dumusque等人,2014年生成)和从Harps-N太阳能望远镜(Dumusque等,2015; Phillips等人2015; 2016; Collier训练)培训了机器学习模型。 Cameron等人2019)。我们发现,这些技术可以从模拟数据(将RV散射从82 cm/s提高到3 cm/s)以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动(将RV散射从82 cm/s提高到3 cm/s)。 (将RV散射从1.753 m/s提高到1.039 m/s,提高了约1.7倍)。将来,这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号,并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。
translated by 谷歌翻译
通过边界估计可以显着简化求解约束优化问题(COP),即提供成本函数的紧密边界。通过使用由已知边界的数据组成的数据以及COMPS提取的特征来馈送监督机器学习(ML)模型,可以训练模型以估计新COP实例的边界。在本文中,我们首先概述了来自问题实例的约束编程(CP)的ML的现有知识体系。其次,我们介绍了应用于支持CP解算器的工具的边界估计框架。在该框架内,讨论并评估了不同的ML模型,并评估其对边界估计的适用性,并避免避免求解器找到最佳解决方案的不可行估计的对策。第三,我们在七个警察中提出了一种实验研究,与不同的CP溶剂。我们的结果表明,可以仅限于这些警察的近似最佳边界。这些估计的边界将客观域大小减少60-88%,可以帮助求解器在搜索期间提前找到近乎最佳解决方案。
translated by 谷歌翻译
天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要,因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力,然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术,使用回归分类层次模型来检测天然气管道中的泄漏,其中智能模型充当回归器,并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型(梯度提升,决策树,随机森林,支持向量机和人工神经网络)。结果表明,虽然支持向量机和人工神经网络比其他网络更好,但由于其内部复杂性和所使用的数据量,它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的,因为它们可以在大约2小时内检测到标称流量的0.1%的泄漏。所有智能模型在测试阶段中具有高可靠性,错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明,智能模型在泄漏检测问题中的表现相对较好。该结果表明,可以与实时瞬态模型一起使用智能模型,以显着改善泄漏检测结果。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
地球天气和气候的数值模拟需要大量的计算。这导致替换替换具有在推理时间快速的近似机器学习(ml)方法的子程序来替换的子程序感兴趣。在天气和气候模型中,大气辐射转移(RT)计算特别昂贵。这使他们成为了基于神经网络的仿真器的流行目标。然而,由于缺乏缺乏全面的数据集和ML基准测试的标准化最佳实践,事先工作难以比较。为了填补这个差距,我们建立一个大型数据集,比加拿大地球系统模型为基础的大型数据集,高于\ emph {1000万个样本,未来的气候条件}。 Climart为ML社区带来了几种方法论挑战,例如多次分发试验集,底层域物理学和准确性和推广速度之间的权衡。我们还提出了几种新颖的基线,这些基线表示现有工作中使用的数据集和网络架构的缺点。下载说明,基准和代码可提供:https://github.com/rolnicklab/climart
translated by 谷歌翻译
收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率,我们研究了活跃的学习方法,这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架,用于从(与网络相关的)基础内核,内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外,我们建议用草图的有限宽度神经切线核代替常用的最后层特征,并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法,我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法,缩放到大数据集,并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码,包括所有内核,内核转换和选择方法的有效实现,并可用于复制我们的结果。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
在2015年和2019年之间,地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”,研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用,并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人,仍然在测试阶段,承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中,在研究和开发的那些中,最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
目标变量的日志和平方根变换通常用于预测模型中,以预测未来的销售。这些转换通常会导致更好的性能模型。但是,他们还引入了系统的负面偏见(遗产不足)。在本文中,我们证明了这种偏见的存在,深入研究其根本原因,并引入了两种方法以纠正偏见。我们得出的结论是,提出的偏差校正方法提高了模型性能(最多可提高50%),并为将偏置校正纳入建模工作流程而提高。我们还尝试了“ Tweedie”成本功能家族,这些功能通过直接建模销售来规避转换偏见问题。我们得出的结论是,Tweedie回归在建模销售时迄今为止提供了最佳性能,使其成为使用变换的目标变量的强大替代方案。
translated by 谷歌翻译
在本文中,我们对数值模拟的加速感兴趣。我们专注于高超音速行星再入问题,该问题涉及耦合流体动力学和化学反应。模拟化学反应需要大部分计算时间,但另一方面,无法避免获得准确的预测。我们面临成本效率和准确性之间的权衡:模拟代码必须足够有效地在操作环境中使用,但必须足够准确,以忠实地预测现象。为了解决这个权衡,我们设计了一个混合模拟代码,将传统的流体动态求解器与近似化学反应的神经网络耦合。当在大数据上下文中应用以及它们源于其矩阵矢量结构的效率时,我们依靠它们的力量来实现重要的加速因子($ \ tims 10 $至$ \ times 18.6 $)。本文旨在解释我们如何在实践中设计这种具有成本效益的混合模拟代码。最重要的是,我们描述了确保准确性保证的方法论,使我们能够超越传统的替代建模,并将这些代码用作参考。
translated by 谷歌翻译
我们提出了TABPFN,这是一种与小型表格数据集上的最新技术竞争性的自动化方法,而更快的速度超过1,000美元。我们的方法非常简单:它完全符合单个神经网络的权重,而单个正向通行证直接产生了对新数据集的预测。我们的AutoML方法是使用基于变压器的先验数据拟合网络(PFN)体系结构进行元学习的,并近似贝叶斯推断,其先验是基于简单性和因果结构的假设。先验包含庞大的结构性因果模型和贝叶斯神经网络,其偏见是小体系结构,因此复杂性较低。此外,我们扩展了PFN方法以在实际数据上校准Prior的超参数。通过这样做,我们将抽象先前的假设与对真实数据的启发式校准分开。之后,修复了校准的超参数,并在按钮按钮时可以将TABPFN应用于任何新的表格数据集。最后,在OpenML-CC18套件的30个数据集上,我们表明我们的方法优于树木,并与复杂的最新Automl系统相同,并且在不到一秒钟内产生的预测。我们在补充材料中提供所有代码和最终训练的TABPFN。
translated by 谷歌翻译