We demonstrate the use of a probabilistic machine learning technique to develop stochastic parameterizations of atmospheric column-physics. After suitable preprocessing of NASA's Modern-Era Retrospective analysis for Research and Applications, version 2 (MERRA2) data to minimize the effects of high-frequency, high-wavenumber component of MERRA2 estimate of vertical velocity, we use generative adversarial networks to learn the probability distribution of vertical profiles of diabatic sources conditioned on vertical profiles of temperature and humidity. This may be viewed as an improvement over previous similar but deterministic approaches that seek to alleviate both, shortcomings of human-designed physics parameterizations, and the computational demand of the "physics" step in climate models.
translated by 谷歌翻译
放射造影通常用于探测动态系统中的复杂,不断发展的密度字段,以便在潜在的物理学中实现进入洞察力。该技术已用于许多领域,包括材料科学,休克物理,惯性监禁融合和其他国家安全应用。然而,在许多这些应用中,噪声,散射,复杂光束动力学等的并发症防止了密度的重建足以足以识别具有足够置信度的底层物理。因此,来自静态/动态射线照相的密度重建通常限于在许多这些应用中识别诸如裂缝和空隙的不连续特征。在这项工作中,我们提出了一种从基本上重建密度的基本上新的射线照片序列的密度。仅使用射线照相识别的稳健特征,我们将它们与使用机器学习方法的底层流体动力方程组合,即条件生成对冲网络(CGAN),以从射线照片的动态序列确定密度字段。接下来,我们寻求通过参数估计和投影的过程进一步提高ML的密度重建的流体动力学一致性,并进入流体动力歧管。在这种情况下,我们注意到,训练数据给出的流体动力歧管在被认为的参数空间中给出的测试数据是用于预测的稳定性的诊断,并用于增强培训数据库,期望后者将进一步降低未来的密度重建错误。最后,我们展示了这种方法优于传统的射线照相重建在捕获允许的流体动力学路径中的能力,即使存在相对少量的散射。
translated by 谷歌翻译
逆问题本质上是普遍存在的,几乎在科学和工程的几乎所有领域都出现,从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法,通过将逆问题提出为统计框架。但是,当推断具有大幅度的离散表示的字段(所谓的“维度的诅咒”)和/或仅以先前获取的解决方案的形式可用时。在这项工作中,我们提出了一种新的方法,可以使用深层生成模型进行有效,准确的贝叶斯反转。具体而言,我们证明了如何使用生成对抗网络(GAN)在贝叶斯更新中学到的近似分布,并在GAN的低维度潜在空间中重新解决所得的推断问题,从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学,并且被证明可以通过可靠的不确定性估计得出准确的结果,即使没有有关基础噪声模型的信息,这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性,包括合成和实验观察到的数据。
translated by 谷歌翻译
在概述中,引入了通用数学对象(映射),并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习(ML)工具。ML的应用在模拟现有参数化,开发新的参数化,确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。
translated by 谷歌翻译
有希望的方法来改善气候模型中的云参数化,因此气候预测是使用深度学习与来自Storm-解析模型(SRM)模拟的培训数据结合使用。 ICOSAHEDRAL非静水压(图标)建模框架允许模拟从数值天气预报到气候投影,使其成为开发基于神经网络(NN)的子网比例过程的参数化的理想目标。在图标框架内,我们通过基于逼真的区域和全局图标SRM模拟培训基于NN的云覆盖参数化。我们设置了三种不同类型的NNS,其垂直局部程度不同,它们假设从粗粒粒度大气状态变量诊断云盖。 NNS精确地从粗粒数据中估计子网格尺度云覆盖,该数据具有与其训练数据相似的地理特征。此外,全球培训的NNS可以再现区域SRM仿真的子网格级云覆盖。使用基于游戏理论的可解释性库福芙添加剂解释,我们识别特定湿度和云冰上的过分传播,以及我们基于列的NN不能从全局到区域粗粒度SRM数据完全概括的原因。该解释工具还有助于可视化区域和全球训练的基于列的NNS之间的特征重要性的相似性和差异,并在其云覆盖预测和热力学环境之间揭示了本地关系。我们的结果表明,深度学习的潜力从全球SRMS获得准确但可解释的云覆盖参数化,并表明基于邻域的模型可能是精度和概括性之间的良好折衷。
translated by 谷歌翻译
机器学习中的半监管可用于搜索信号加背景区域未标记的新物理学。这强烈降低了搜索标准模型的信号的模型依赖性。这种方法显示了过度拟合可以产生假信号的缺点。折腾玩具蒙特卡罗(MC)事件可用于通过频繁推断估计相应的试验因子。但是,基于完全检测器模拟的MC事件是资源密集型的。生成的对抗网络(GANS)可用于模拟MC发生器。 GANS是强大的生成模型,但经常遭受培训不稳定。今后我们展示了对GAN的审查。我们倡导使用Wassersein Gan(Wan)的重量剪裁和渐变刑罚(Wan-GP),批评评论者的渐变率是对其投入的惩罚。在多Lepton异常的出现之后,我们在LHC的$ B $ -Quark结合时使用GANS为Di-Leptons最终状态。找到MC和Wgan-GP生成的事件之间的良好一致性,用于研究中选择的可观察结果。
translated by 谷歌翻译
传统上,基于标度律维模型已被用于参数对流换热岩类地行星像地球,火星,水星和金星的内部,以解决二维或三维高保真前插的计算瓶颈。然而,这些在物理它们可以建模(例如深度取决于材料特性),并预测只平均量的量的限制,例如平均温度地幔。我们最近发现,前馈神经网络(FNN),使用了大量的二维模拟可以克服这个限制和可靠地预测整个1D横向平均温度分布的演变,及时为复杂的模型训练。我们现在扩展该方法以预测的完整2D温度字段,它包含在对流结构如热羽状和冷downwellings的形式的信息。使用的地幔热演化的10,525二维模拟数据集火星般的星球,我们表明,深度学习技术能够产生可靠的参数代理人(即代理人即预测仅基于参数状态变量,如温度)底层偏微分方程。我们首先使用卷积自动编码由142倍以压缩温度场,然后使用FNN和长短期存储器网络(LSTM)来预测所述压缩字段。平均起来,FNN预测是99.30%,并且LSTM预测是准确相对于看不见模拟99.22%。在LSTM和FNN预测显示,尽管较低的绝对平均相对精度,LSTMs捕捉血流动力学优于FNNS适当的正交分解(POD)。当求和,从FNN预测和从LSTM预测量至96.51%,相对97.66%到原始模拟的系数,分别与POD系数。
translated by 谷歌翻译
我们使用生成的对抗网络(GaN)展示了一种数学上良好的湍流模型的合成建模方法。基于对遍历性的混沌,确定性系统的分析,我们概述了一个数学证据,即GaN实际上可以学习采样状态快照,从而形成混沌系统的不变度量。基于该分析,我们研究了从Lorenz吸引子开始的混沌系统的层次,然后继续与GaN的湍流模拟。作为培训数据,我们使用从大型涡流模拟(LES)获得的速度波动领域。详细研究了两种建筑:我们使用深卷积的GaN(DCGAN)来合成圆柱周围的湍流。我们还使用PIX2PIXHD架构模拟低压涡轮定子围绕的流量,用于条件DCGAN在定子前方的旋转唤醒位置上调节。解释了对抗性培训的设置和使用特定GAN架构的影响。从而表明,GaN在技术上挑战流动问题的基础上的训练日期是有效的模拟湍流。与经典的数值方法,特别是LES相比,GaN训练和推理时间显着下降,同时仍然在高分辨率下提供湍流流动。
translated by 谷歌翻译
在从蛋白质折叠到材料发现的许多领域中,采样分子系统的相空间 - 更普遍地是通过随机微分方程有效建模的复杂系统的相位空间。这些问题本质上通常是多尺度的:可以用少数“慢速”反应坐标参数参数的低维有效自由能表面来描述它们;其余的“快速”自由度填充了反应坐标值的平衡度量。有关此类问题的抽样程序用于估计有效的自由能差以及相对于条件平衡分布的合奏平均值;后者平均值导致有效减少动态模型的关闭。多年来,已经开发了增强的采样技术与分子模拟。引人入胜的类比是与机器学习领域(ML)产生的,在该领域中,生成的对抗网络可以从低维概率分布中产生高维样品。该样本生成从有关其低维表示的信息中返回模型状态的合理高维空间实现。在这项工作中,我们提出了一种方法,该方法将基于物理学的模拟和偏置方法与基于ML的条件生成对抗网络对条件分布进行采样,以实现相同的任务。我们调节精细规模实现的“粗糙描述符”可以先验地知道,也可以通过非线性维度降低来学习。我们建议这可能会带来两种方法的最佳功能:我们证明,夫妻CGAN具有基于物理学的增强采样技术的框架可以改善多尺度SDE动力学系统采样,甚至显示出对增加复杂性系统的希望。
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响,风险评估,适应和保护生物的关键。在这项工作中,我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络,对极长的8,000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的,因此我们强调概率预测和验证。我们证明,深度神经网络适用于法国持续持续14天的热浪,快速动态驱动器提前15天(500 hpa地球电位高度场),并且在慢速较长的交货时间内,慢速物理时间驱动器(土壤水分)。该方法很容易实现和通用。我们发现,深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现,当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时,2米温度场不包含任何新的有用统计信息。主要的科学信息是,训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点,例如罕见的事件模拟,以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
小规模过程的建模是气候模型中的主要误差来源,阻碍了低成本模型的准确性,必须通过参数化近似此类过程。红噪声对于许多操作参数化方案至关重要,有助于建模时间相关性。我们通过将随机性的已知好处与机器学习相结合,展示了如何基于红噪声的成功。这是在概率框架内使用物理信息的复发性神经网络完成的。当应用于Lorenz 96大气模拟时,我们的模型具有竞争力,通常优于定制基线和现有的概率机器学习方法(GAN)。这是由于其与标准一阶自回旋方案相比,它具有较高的时间模式的能力。这也是看不见的场景。我们评估了文献中的许多指标,还讨论了使用持有可能性的概率度量的好处。
translated by 谷歌翻译
在各种机器学习应用中,表示学习已被证明是一种强大的方法。然而,对于大气动力学,迄今为止尚未考虑它,这可以说是由于缺乏可用于培训的大型,标记的数据集。在这项工作中,我们表明困难是良性的,并引入了一项自我监督的学习任务,该任务定义了各种未标记的大气数据集的绝对损失。具体而言,我们在简单而复杂的任务上训练神经网络,即预测与不同但附近的大气场之间的时间距离。我们证明,对ERA5重新分析进行此任务的培训会导致内部表示,从而捕获了大气动态的内在方面。我们通过为大气状态引入数据驱动的距离度量来做到这一点。当在其他机器学习应用程序中用作损失功能时,与经典$ \ ell_2 $ -loss相比,该ATMODIST距离会改善结果。例如,对于缩小缩放,一个人获得了更高的分辨率字段,该字段比以前的方法更接近真正的统计信息,而对于缺失或遮挡数据的插值,ATMODIST距离导致的结果导致包含更真实的精细规模特征的结果。由于它来自观察数据,因此Atmodist还提供了关于大气可预测性的新观点。
translated by 谷歌翻译
与CNN的分类,分割或对象检测相比,生成网络的目标和方法根本不同。最初,它们不是作为图像分析工具,而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法,并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络(GAN)的动机进行了基本介绍,并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法,也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan,但对抗性训练范式本身并非特定于图像,并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前,将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点,但也可以对gans有好处。
translated by 谷歌翻译
Modeling the risk of extreme weather events in a changing climate is essential for developing effective adaptation and mitigation strategies. Although the available low-resolution climate models capture different scenarios, accurate risk assessment for mitigation and adaption often demands detail that they typically cannot resolve. Here, we develop a dynamic data-driven downscaling (super-resolution) method that incorporates physics and statistics in a generative framework to learn the fine-scale spatial details of rainfall. Our method transforms coarse-resolution ($0.25^{\circ} \times 0.25^{\circ}$) climate model outputs into high-resolution ($0.01^{\circ} \times 0.01^{\circ}$) rainfall fields while efficaciously quantifying uncertainty. Results indicate that the downscaled rainfall fields closely match observed spatial fields and their risk distributions.
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
Quantum machine learning (QML) has received increasing attention due to its potential to outperform classical machine learning methods in various problems. A subclass of QML methods is quantum generative adversarial networks (QGANs) which have been studied as a quantum counterpart of classical GANs widely used in image manipulation and generation tasks. The existing work on QGANs is still limited to small-scale proof-of-concept examples based on images with significant down-scaling. Here we integrate classical and quantum techniques to propose a new hybrid quantum-classical GAN framework. We demonstrate its superior learning capabilities by generating $28 \times 28$ pixels grey-scale images without dimensionality reduction or classical pre/post-processing on multiple classes of the standard MNIST and Fashion MNIST datasets, which achieves comparable results to classical frameworks with 3 orders of magnitude less trainable generator parameters. To gain further insight into the working of our hybrid approach, we systematically explore the impact of its parameter space by varying the number of qubits, the size of image patches, the number of layers in the generator, the shape of the patches and the choice of prior distribution. Our results show that increasing the quantum generator size generally improves the learning capability of the network. The developed framework provides a foundation for future design of QGANs with optimal parameter set tailored for complex image generation tasks.
translated by 谷歌翻译
银河系的半分析模型(SAM)的关键要素是晕光的质量组装历史,该历史是在树结构中编码的。构建光环合并历史的最常用方法是基于高分辨率,计算密集的N体模拟的结果。我们显示机器学习(ML)技术,特别是生成的对抗网络(GAN),是一种有希望的新工具,可以通过适度的计算成本解决此问题,并保留模拟中合并树的最佳功能。我们通过使用两个Halo Finder-Tree-Tree Builder算法构建的星系及其环境(EAGLE)模拟套件的有限的合并树样品来训练我们的GAN模型:Subfind-D-D-Trees和Rockstar-Consistentrees。我们的GAN模型成功地学习了具有高时间分辨率的结构良好的合并树结构,并在考虑训练过程中最多三个变量时,重现用于训练的合并树样品的统计特征。这些输入(我们的GAN模型)也学到了其表示,是光环祖细胞的质量和最终的后代,祖细胞类型(主晕或卫星)以及祖细胞与主分支中的祖先的距离。后两个输入的包含大大改善了对光环质量生长历史的最终学识,尤其是对于子发现样的ML树。当将ML合并树的同等大小的样本与Eagle模拟的样品进行比较时,我们发现了与子发现样的ML树的更好一致性。最后,我们的基于GAN的框架可用于构建低和中间质量光环的合并历史,这是宇宙学模拟中最丰富的。
translated by 谷歌翻译
数据驱动算法,特别是神经网络,可以在高分辨率模拟数据训练时模拟粗辨率气候模型中未解决的过程的影响;然而,当在没有接受培训的条件下评估时,它们通常会进行大规模的概括误差。在这里,我们建议在物理上重新归类机器学习算法的输入和输出,以帮助他们推广到看不见的气候。在三个不同的气候模型中应用了划分级热力学的离线参数化,我们展示了重新划分的或“气候不变”神经网络,使测试气候的准确预测比其培训气候更温暖。此外,“气候不变”神经网络促进了Aquaplanet和地球模拟之间的泛化。通过可视化和归因方法,我们表明与标准机器学习模型相比,“气候不变”算法学到了风暴规模对流,辐射和其天气热力学环境之间的更多地方和强大的关系。总的来说,这些结果表明,将物理知识纳入地球系统过程的数据驱动模型可以提高其在气候制度上概括的一致性和能力。
translated by 谷歌翻译