在这项工作中,我们介绍,证明并展示了纠正源期限方法(Costa) - 一种新的混合分析和建模(火腿)的新方法。 HAM的目标是将基于物理的建模(PBM)和数据驱动的建模(DDM)组合,以创建概括,值得信赖,准确,计算高效和自我不断发展的模型。 Costa通过使用深神经网络产生的纠正源期限增强PBM模型的控制方程来实现这一目标。在一系列关于一维热扩散的数值实验中,发现CostA在精度方面优于相当的DDM和PBM模型 - 通常通过几个数量级降低预测误差 - 同时也比纯DDM更好地概括。由于其灵活而稳定的理论基础,Costa提供了一种模块化框架,用于利用PBM和DDM中的新颖开发。其理论基础还确保了哥斯达队可以用来模拟由(确定性)部分微分方程所控制的任何系统。此外,Costa有助于在PBM的背景下解释DNN生成的源术语,这导致DNN的解释性改善。这些因素使哥斯达成为数据驱动技术的潜在门开启者,以进入先前为纯PBM保留的高赌注应用。
translated by 谷歌翻译
即将到来的技术,例如涉及安全至关重要应用的数字双胞胎,自主和人工智能系统,需要准确,可解释,计算上有效且可推广的模型。不幸的是,两种最常用的建模方法,基于物理学的建模(PBM)和数据驱动的建模(DDM)无法满足所有这些要求。在当前的工作中,我们演示了将最佳PBM和DDM结合的混合方法如何导致模型可以胜过两者的模型。我们这样做是通过基于第一原则与黑匣子DDM相结合的偏微分方程,在这种情况下,深度神经网络模型补偿了未知物理。首先,我们提出了一个数学论点,说明为什么这种方法应该起作用,然后将混合方法应用于未知的源项模拟二维热扩散问题。结果证明了该方法在准确性和概括性方面的出色性能。此外,它显示了如何在混合框架中解释DDM部分以使整体方法可靠。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
随着数据的不断增加,将现代机器学习方法应用于建模和控制等领域的兴趣爆炸。但是,尽管这种黑盒模型具有灵活性和令人惊讶的准确性,但仍然很难信任它们。结合两种方法的最新努力旨在开发灵活的模型,这些模型仍然可以很好地推广。我们称为混合分析和建模(HAM)的范式。在这项工作中,我们调查了使用数据驱动模型纠正基于错误的物理模型的纠正源术语方法(COSTA)。这使我们能够开发出可以进行准确预测的模型,即使问题的基本物理学尚未得到充分理解。我们将Costa应用于铝电解电池中的Hall-H \'Eroult工艺。我们证明该方法提高了准确性和预测稳定性,从而产生了总体可信赖的模型。
translated by 谷歌翻译
Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.
translated by 谷歌翻译
标准的神经网络可以近似一般的非线性操作员,要么通过数学运算符的组合(例如,在对流 - 扩散反应部分微分方程中)的组合,要么仅仅是黑匣子,例如黑匣子,例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络(DeepOnet)。从那时起,已经发布了其他一些较少的一般操作员,例如,基于图神经网络或傅立叶变换。对于黑匣子系统,对神经操作员的培训仅是数据驱动的,但是如果知道管理方程式可以在培训期间将其纳入损失功能,以开发物理知识的神经操作员。神经操作员可以用作设计问题,不确定性量化,自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外,通过将它们与相对轻的训练耦合,可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里,我们介绍了Deponet,傅立叶神经操作员和图神经操作员的评论,以及适当的扩展功能扩展,并突出显示它们在计算机械师中的各种应用中的实用性,包括多孔媒体,流体力学和固体机制, 。
translated by 谷歌翻译
动态系统参见在物理,生物学,化学等自然科学中广泛使用,以及电路分析,计算流体动力学和控制等工程学科。对于简单的系统,可以通过应用基本物理法来导出管理动态的微分方程。然而,对于更复杂的系统,这种方法变得非常困难。数据驱动建模是一种替代范式,可以使用真实系统的观察来了解系统的动态的近似值。近年来,对数据驱动的建模技术的兴趣增加,特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外,我们还审查了相关的文献,概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战,我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
在概述中,引入了通用数学对象(映射),并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习(ML)工具。ML的应用在模拟现有参数化,开发新的参数化,确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
在科学的背景下,众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中,我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息,并使用数据驱动的机器学习方法。我们描述了一个数学对象,我们表示通用微分方程(UDE),作为连接生态系统的统一框架。我们展示了各种各样的应用程序,从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制,可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性,以处理随机性,延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集,这些训练机构高度优化,稳定硬化方程,并与分布式并行性和GPU加速器兼容。
translated by 谷歌翻译
科学和工程学中的一个基本问题是设计最佳的控制政策,这些政策将给定的系统转向预期的结果。这项工作提出了同时求解给定系统状态和最佳控制信号的控制物理信息的神经网络(控制PINNS),在符合基础物理定律的一个阶段框架中。先前的方法使用两个阶段的框架,该框架首先建模然后按顺序控制系统。相比之下,控制PINN将所需的最佳条件纳入其体系结构和损耗函数中。通过解决以下开环的最佳控制问题来证明控制PINN的成功:(i)一个分析问题,(ii)一维热方程,以及(iii)二维捕食者捕食者问题。
translated by 谷歌翻译
深度学习(DL),尤其是深神经网络(DNN),默认情况下纯粹是数据驱动的,通常不需要物理。这是DL的优势,但在应用于科学和工程问题时,它的主要局限性之一就是必不可少的物理特性和所需的准确性。其原始形式的DL方法也无法尊重基本的数学模型或即使在大数据制度中也可以达到所需的准确性。但是,许多数据驱动的科学和工程问题(例如反问题)通常具有有限的实验或观察数据,而在这种情况下,DL会过分拟合数据。我们认为,利用基础数学模型中编码的信息,不仅可以补偿低数据制度中缺少的信息,而且还提供了将DL方法与基础物理学配备的机会,从而促进了更好的概括。本文开发了一种模型受限的深度学习方法及其变体TNET,该方法能够学习隐藏在培训数据和基础数学模型中的信息,以解决由部分微分方程控制的反问题。我们为提出的方法提供了构造和一些理论结果。我们表明,数据随机化可以增强网络的平滑度及其概括。全面的数值结果不仅确认了理论发现,而且还表明,即使仅20个训练数据样本,一维卷积的训练数据样本,50次反向2D热电导率问题,100和50对于时间依赖的2D汉堡方程和逆初始条件和50 2D Navier-Stokes方程。 TNET溶液可以像Tikhonov溶液一样准确,同时几个数量级。由于模型受限项,复制和随机化,这可能是可能的。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.
translated by 谷歌翻译
物理知识的神经网络(PINN)在解决涉及部分微分方程的前进和反问题方面表现出了希望。尽管最近在扩展PINN可以解决的问题类别方面取得了进展,但大多数现有用例都涉及简单的几何域。迄今为止,还没有明确的方法来告知Pinns有关解决问题的域拓扑。在这项工作中,我们提出了一种基于拉普拉斯 - 贝特拉米操作员的特征函数的PINN的新型位置编码机制。该技术允许为代表给定对象几何形状的神经网络创建一个输入空间。我们近似具有有限元素的偏微分方程的特征函数以及涉及的操作员。我们对所提出的方法进行了广泛的测试和比较,以复杂形状(例如线圈,散热器和兔子),具有不同的物理学,例如二基核方程和传热。我们还研究了我们方法对所使用的本征函数数量的敏感性,以及用于本征函数和基础操作员的离散化。我们的结果表明,在传统的PINN无法产生有意义的解决方案的情况下,与地面真相数据非常吻合。我们设想这种新技术将扩大PINNS的有效性,以更现实的应用。
translated by 谷歌翻译
深度学习方法的应用加快了挑战性电流问题的分辨率,最近显示出令人鼓舞的结果。但是,电力系统动力学不是快照,稳态操作。必须考虑这些动力学,以确保这些模型提供的最佳解决方案遵守实用的动力约束,避免频率波动和网格不稳定性。不幸的是,由于其高计算成本,基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战,本文介绍了一种机器学习方法,以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络(GPINNS),并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力,以及不确定的参数,例如惯性和阻尼,以展示其在一系列电力系统应用中的潜力。
translated by 谷歌翻译
Physics-Informed Neural Networks (PINN) are algorithms from deep learning leveraging physical laws by including partial differential equations together with a respective set of boundary and initial conditions as penalty terms into their loss function. In this work, we observe the significant role of correctly weighting the combination of multiple competitive loss functions for training PINNs effectively. To this end, we implement and evaluate different methods aiming at balancing the contributions of multiple terms of the PINNs loss function and their gradients. After reviewing of three existing loss scaling approaches (Learning Rate Annealing, GradNorm and SoftAdapt), we propose a novel self-adaptive loss balancing scheme for PINNs named \emph{ReLoBRaLo} (Relative Loss Balancing with Random Lookback). We extensively evaluate the performance of the aforementioned balancing schemes by solving both forward as well as inverse problems on three benchmark PDEs for PINNs: Burgers' equation, Kirchhoff's plate bending equation and Helmholtz's equation. The results show that ReLoBRaLo is able to consistently outperform the baseline of existing scaling methods in terms of accuracy, while also inducing significantly less computational overhead.
translated by 谷歌翻译
深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具,具有近似功能的高度灵活性。在本工作中,设计具有所需属性的功能,以近似PDE的解决方案。我们的方法基于后验误差估计,其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法,以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计,然后使用神经网络计算原始和伴随解决方案。本研究表明,即使具有相对较少的训练数据,这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点,并且还呈现了收敛增强技术
translated by 谷歌翻译