In recent years, Machine learning (ML) techniques developed for Natural Language Processing (NLP) have permeated into developing better computer vision algorithms. In this work, we use such NLP-inspired techniques to improve the accuracy, robustness and generalizability of ML models for simulating transient dynamics. We introduce teacher forcing and curriculum learning based training mechanics to model vortical flows and show an enhancement in accuracy for ML models, such as FNO and UNet by more than 50%.
translated by 谷歌翻译
傅里叶神经运营商(FNO)是一种基于学习的方法,用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商(F-FNO),允许与更深的网络更好地推广。通过仔细组合傅里叶分解,跨所有层,Markov属性和残差连接的共享内核积分运算符,F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2%的错误率,同时仍然比数值求解器更快地运行幅度,即使问题设置扩展到包括诸如粘度和时变力的附加上下文,也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。
translated by 谷歌翻译
最近在科学机器学习的工作已经开发出所谓的物理信息的神经网络(Pinn)模型。典型方法是将物理域知识纳入经验丢失功能的软限制,并使用现有的机器学习方法来培训模型。我们展示了,虽然现有的Pinn方法可以学习良好的模型,但它们可以轻松地未能学习相关的物理现象,甚至更复杂的问题。特别是,我们分析了众多不同的普遍物理兴趣的情况,包括使用对流,反应和扩散运营商学习微分方程。我们提供了证据表明Pinns中的软正规化,涉及基于PDE的差分运营商,可以引入许多微妙的问题,包括使问题更加不良。重要的是,我们表明,这些可能的失败模式不是由于NN架构中缺乏富有效力,但Pinn的设置使得损失景观很难优化。然后,我们描述了两个有希望的解决方案来解决这些故障模式。第一种方法是使用课程正则化,其中Pinn的丢失项从简单的PDE正则化开始,并且随着NN训练而变得逐渐变得更加复杂。第二种方法是将问题构成为序列到序列的学习任务,而不是学习一次性地预测整个时空。广泛的测试表明,与常规Pinn训练相比,我们可以通过这些方法实现最多1-2个数量级。
translated by 谷歌翻译
尽管在整个科学和工程中都无处不在,但只有少数部分微分方程(PDE)具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作,最近,对数据驱动技术的研究旋转了机器学习(ML)。最近的一项工作表明,与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中,我们表明,在纳入基于物理学的先验时,数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础,这些光谱方法比其他数值方案要高得多,以模拟使用平滑且周期性解决方案的PDE。具体而言,我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器,从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则,用于将机器学习和用于解决PDE的数值方法结合使用。
translated by 谷歌翻译
数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法,该方法将已知的物理学与机器学习结合起来,以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题,用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型,这些模型在后验损失函数上结合了不同程度的物理假设,以测试模型在一系列系统参数(包括粘度,时间和网格分辨率)上的疗效。我们发现,以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率,准确和可推广的模型,并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性,可能为封闭建模的未来提供了垫脚石。
translated by 谷歌翻译
事实证明,神经操作员是无限维函数空间之间非线性算子的强大近似值,在加速偏微分方程(PDE)的溶液方面是有希望的。但是,它需要大量的模拟数据,这些数据可能成本高昂,从而导致鸡肉 - 蛋的困境并限制其在求解PDE中的使用。为了摆脱困境,我们提出了一个无数据的范式,其中神经网络直接从由离散的PDE构成的平方平方残留(MSR)损失中学习物理。我们研究了MSR损失中的物理信息,并确定神经网络必须具有对PDE空间域中的远距离纠缠建模的挑战,PDE的空间域中的模式在不同的PDE中有所不同。因此,我们提出了低级分解网络(Lordnet),该网络可调节,并且也有效地建模各种纠缠。具体而言,Lordnet通过简单的完全连接的层学习了与全球纠缠的低级别近似值,从而以降低的计算成本来提取主要模式。关于解决泊松方程和纳维尔 - 长方式方程的实验表明,MSR损失的物理约束可以提高神经网络的精确度和泛化能力。此外,Lordnet在PDE中的其他现代神经网络体系结构都优于最少的参数和最快的推理速度。对于Navier-Stokes方程式,学习的运算符的速度比具有相同计算资源的有限差异解决方案快50倍。
translated by 谷歌翻译
相位场建模是一种有效但计算昂贵的方法,用于捕获材料中的中尺度形态和微观结构演化。因此,需要快速且可推广的替代模型来减轻计算征税流程的成本,例如在材料的优化和设计中。尖锐相边界的存在所产生的物理现象的固有不连续性使替代模型的训练繁琐。我们开发了一个框架,该框架将卷积自动编码器架构与深神经操作员(DeepOnet)集成在一起,以了解两相混合物的动态演化,并加速预测微结构演变的时间。我们利用卷积自动编码器在低维的潜在空间中提供微观结构数据的紧凑表示。 DeepOnet由两个子网络组成,一个用于编码固定数量的传感器位置(分支网)的输入函数,另一个用于编码输出功能的位置(TRUNK NET),了解微观结构Evolution的中尺度动力学从自动编码器潜在空间。然后,卷积自动编码器的解码器部分从deponet预测中重建了时间进化的微结构。然后,可以使用训练有素的DeepOnet架构来替换插值任务中的高保真相位数值求解器或在外推任务中加速数值求解器。
translated by 谷歌翻译
Data-driven modeling has become a key building block in computational science and engineering. However, data that are available in science and engineering are typically scarce, often polluted with noise and affected by measurement errors and other perturbations, which makes learning the dynamics of systems challenging. In this work, we propose to combine data-driven modeling via operator inference with the dynamic training via roll outs of neural ordinary differential equations. Operator inference with roll outs inherits interpretability, scalability, and structure preservation of traditional operator inference while leveraging the dynamic training via roll outs over multiple time steps to increase stability and robustness for learning from low-quality and noisy data. Numerical experiments with data describing shallow water waves and surface quasi-geostrophic dynamics demonstrate that operator inference with roll outs provides predictive models from training trajectories even if data are sampled sparsely in time and polluted with noise of up to 10%.
translated by 谷歌翻译
机器学习方法最近在求解部分微分方程(PDE)中的承诺。它们可以分为两种广泛类别:近似解决方案功能并学习解决方案操作员。物理知识的神经网络(PINN)是前者的示例,而傅里叶神经操作员(FNO)是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性,易于发生故障,尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题,因为它在给定的数据集上执行了监督学习,但获取此类数据可能太昂贵或无法使用。在这项工作中,我们提出了物理知识的神经运营商(Pino),在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段,Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段,Pino优化预先训练的操作员ANSATZ,用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法,同时保留与求解器相比FNO的非凡速度。特别是,Pino准确地解决了挑战的长时间瞬态流量,而其他基线ML方法无法收敛的Kolmogorov流程。
translated by 谷歌翻译
标准的神经网络可以近似一般的非线性操作员,要么通过数学运算符的组合(例如,在对流 - 扩散反应部分微分方程中)的组合,要么仅仅是黑匣子,例如黑匣子,例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络(DeepOnet)。从那时起,已经发布了其他一些较少的一般操作员,例如,基于图神经网络或傅立叶变换。对于黑匣子系统,对神经操作员的培训仅是数据驱动的,但是如果知道管理方程式可以在培训期间将其纳入损失功能,以开发物理知识的神经操作员。神经操作员可以用作设计问题,不确定性量化,自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外,通过将它们与相对轻的训练耦合,可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里,我们介绍了Deponet,傅立叶神经操作员和图神经操作员的评论,以及适当的扩展功能扩展,并突出显示它们在计算机械师中的各种应用中的实用性,包括多孔媒体,流体力学和固体机制, 。
translated by 谷歌翻译
在本文中,我们提出了一种深度学习技术,用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络(AB-CRAN)。为了构建波传播数据的低维表示,我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型,用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架,用于波传播的低维学习。为了证明AB-Cran模型的有效性,我们考虑了三个基准问题,即一维线性对流,非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集,可以准确捕获波幅度,并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比,基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差,并提高了参数空间中的概括能力。
translated by 谷歌翻译
Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.
translated by 谷歌翻译
复杂物理动态的建模和控制在真实问题中是必不可少的。我们提出了一种新颖的框架,通常适用于通过用特殊校正器引入PDE解决方案操作员的代理模型来解决PDE受约束的最佳控制问题。所提出的框架的过程分为两个阶段:解决PDE约束(阶段1)的解决方案操作员学习并搜索最佳控制(阶段2)。一旦替代模型在阶段1训练,就可以在没有密集计算的阶段2中推断出最佳控制。我们的框架可以应用于数据驱动和数据的案例。我们展示了我们对不同控制变量的各种最优控制问题的成功应用,从泊松方程到汉堡方程的不同PDE约束。
translated by 谷歌翻译
在本文中,我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器,该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的,这些模型在训练过程中展开了更多求解器步骤。此外,我们基于湍流物理学引入损失项,以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景,一种均匀的腐烂湍流案例,一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比,我们的模型在长期A-posterii统计数据方面取得了重大改进,而无需将这些统计数据直接包含在学习目标中。在推论时,我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。
translated by 谷歌翻译
Recurrent Neural Networks can be trained to produce sequences of tokens given some input, as exemplified by recent results in machine translation and image captioning. The current approach to training them consists of maximizing the likelihood of each token in the sequence given the current (recurrent) state and the previous token. At inference, the unknown previous token is then replaced by a token generated by the model itself. This discrepancy between training and inference can yield errors that can accumulate quickly along the generated sequence. We propose a curriculum learning strategy to gently change the training process from a fully guided scheme using the true previous token, towards a less guided scheme which mostly uses the generated token instead. Experiments on several sequence prediction tasks show that this approach yields significant improvements. Moreover, it was used successfully in our winning entry to the MSCOCO image captioning challenge, 2015.
translated by 谷歌翻译
数值模拟中信息丢失可能来自各种来源,同时求解离散的部分微分方程。特别地,与等效的64位模拟相比,使用低精确的16位浮点算术进行模拟时,与精度相关的错误可能会积累在关注量中。在这里,低精度计算所需的资源要比高精度计算要低得多。最近提出的几种机器学习(ML)技术已成功纠正空间离散化引起的错误。在这项工作中,我们扩展了这些技术,以改善使用低数值精度进行的计算流体动力学(CFD)模拟。我们首先量化了在Kolmogorov强制湍流测试案例中累积的精度相关误差。随后,我们采用了卷积神经网络以及执行16位算术的完全可区分的数值求解器,以学习紧密耦合的ML-CFD混合求解器。与16位求解器相比,我们证明了ML-CFD混合求解器在减少速度场中的误差积累并在较高频率下改善动能光谱的功效。
translated by 谷歌翻译
背景:洪水是世界上最常见的自然灾害,影响数亿岁的生活。因此,洪水预测是一项重要的重要努力,通常使用物理水流模拟实现,依赖于准确的地形升降映射。然而,这种基于求解部分微分方程的这种模拟是在大规模上计算上的禁止。这种可扩展性问题通常使用高程地图的粗网格表示,尽管这种表示可能扭曲了至关重要的地形细节,导致模拟中的显着不准确。贡献:我们训练一个深度神经网络,以执行地形地图的物理信息信息:我们优化地形地图的粗网格表示,以便洪水预测将匹配细网解决方案。对于成功的学习过程,我们专门为此任务配置数据集。我们证明,通过这种方法,可以实现计算成本的显着降低,同时保持准确的解决方案。参考实施伴随着该文件以及数据集再现的文档和代码。
translated by 谷歌翻译
具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里,我们以低空间和时间分辨率培训学习模拟器,以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底,能够以低分辨率学习一系列挑战性的混乱和动态动态,包括最先进的雅典娜++发动机产生的轨迹。我们表明,我们的更简单,通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说,我们看到学习的模拟器产生不稳定的轨迹;但是,我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现,虽然超出培训分配的泛化是学习模型,训练噪声,卷积架构以及增加损失约束的挑战。广泛地,我们得出的结论是,我们所知的模拟器优于传统的求解器在较粗糙的网格上运行,并强调简单的设计选择可以提供稳定性和鲁棒的泛化。
translated by 谷歌翻译
This work presents a physics-informed deep learning-based super-resolution framework to enhance the spatio-temporal resolution of the solution of time-dependent partial differential equations (PDE). Prior works on deep learning-based super-resolution models have shown promise in accelerating engineering design by reducing the computational expense of traditional numerical schemes. However, these models heavily rely on the availability of high-resolution (HR) labeled data needed during training. In this work, we propose a physics-informed deep learning-based framework to enhance the spatial and temporal resolution of coarse-scale (both in space and time) PDE solutions without requiring any HR data. The framework consists of two trainable modules independently super-resolving the PDE solution, first in spatial and then in temporal direction. The physics based losses are implemented in a novel way to ensure tight coupling between the spatio-temporally refined outputs at different times and improve framework accuracy. We analyze the capability of the developed framework by investigating its performance on an elastodynamics problem. It is observed that the proposed framework can successfully super-resolve (both in space and time) the low-resolution PDE solutions while satisfying physics-based constraints and yielding high accuracy. Furthermore, the analysis and obtained speed-up show that the proposed framework is well-suited for integration with traditional numerical methods to reduce computational complexity during engineering design.
translated by 谷歌翻译
We present an end-to-end framework to learn partial differential equations that brings together initial data production, selection of boundary conditions, and the use of physics-informed neural operators to solve partial differential equations that are ubiquitous in the study and modeling of physics phenomena. We first demonstrate that our methods reproduce the accuracy and performance of other neural operators published elsewhere in the literature to learn the 1D wave equation and the 1D Burgers equation. Thereafter, we apply our physics-informed neural operators to learn new types of equations, including the 2D Burgers equation in the scalar, inviscid and vector types. Finally, we show that our approach is also applicable to learn the physics of the 2D linear and nonlinear shallow water equations, which involve three coupled partial differential equations. We release our artificial intelligence surrogates and scientific software to produce initial data and boundary conditions to study a broad range of physically motivated scenarios. We provide the source code, an interactive website to visualize the predictions of our physics informed neural operators, and a tutorial for their use at the Data and Learning Hub for Science.
translated by 谷歌翻译