光谱方法是求解部分微分方程(PDE)的科学计算的武器的重要组成部分。然而,它们的适用性和有效性在很大程度上取决于用于扩展PDE溶液的基础函数的选择。过去十年已经看到,在提供复杂职能的有效陈述方面,深入学习的出现是强烈的竞争者。在目前的工作中,我们提出了一种用谱方法结合深神经网络来解决PDE的方法。特别是,我们使用称为深度操作系统网络(DeepOnet)的深度学习技术,以识别扩展PDE解决方案的候选功能。我们已经设计了一种方法,该方法使用DeepOnet提供的候选功能作为构建具有以下属性的一组功能的起点:i)它们构成基础,2)它们是正常的,3)它们是等级的,类似于傅里叶系列或正交多项式。我们利用了我们定制的基础函数的有利属性,以研究其近似能力,并使用它们来扩展线性和非线性时间依赖性PDE的解决方案。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
Deep operator network (DeepONet) has demonstrated great success in various learning tasks, including learning solution operators of partial differential equations. In particular, it provides an efficient approach to predict the evolution equations in a finite time horizon. Nevertheless, the vanilla DeepONet suffers from the issue of stability degradation in the long-time prediction. This paper proposes a {\em transfer-learning} aided DeepONet to enhance the stability. Our idea is to use transfer learning to sequentially update the DeepONets as the surrogates for propagators learned in different time frames. The evolving DeepONets can better track the varying complexities of the evolution equations, while only need to be updated by efficient training of a tiny fraction of the operator networks. Through systematic experiments, we show that the proposed method not only improves the long-time accuracy of DeepONet while maintaining similar computational cost but also substantially reduces the sample size of the training set.
translated by 谷歌翻译
标准的神经网络可以近似一般的非线性操作员,要么通过数学运算符的组合(例如,在对流 - 扩散反应部分微分方程中)的组合,要么仅仅是黑匣子,例如黑匣子,例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络(DeepOnet)。从那时起,已经发布了其他一些较少的一般操作员,例如,基于图神经网络或傅立叶变换。对于黑匣子系统,对神经操作员的培训仅是数据驱动的,但是如果知道管理方程式可以在培训期间将其纳入损失功能,以开发物理知识的神经操作员。神经操作员可以用作设计问题,不确定性量化,自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外,通过将它们与相对轻的训练耦合,可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里,我们介绍了Deponet,傅立叶神经操作员和图神经操作员的评论,以及适当的扩展功能扩展,并突出显示它们在计算机械师中的各种应用中的实用性,包括多孔媒体,流体力学和固体机制, 。
translated by 谷歌翻译
高维偏微分方程(PDE)是一种流行的数学建模工具,其应用从财务到计算化学不等。但是,用于解决这些PDE的标准数值技术通常受维度的诅咒影响。在这项工作中,我们应对这一挑战,同时着重于在具有周期性边界条件的高维域上定义的固定扩散方程。受到高维度稀疏功能近似进展的启发,我们提出了一种称为压缩傅立叶搭配的新方法。结合了压缩感应和光谱搭配的想法,我们的方法取代了结构化置式网格用蒙特卡洛采样的使用,并采用了稀疏的恢复技术,例如正交匹配的追踪和$ \ ell^1 $最小化,以近似PDE的傅立叶系数解决方案。我们进行了严格的理论分析,表明所提出的方法的近似误差与最佳$ s $ term近似(相对于傅立叶基础)与解决方案相当。我们的分析使用了最近引入的随机采样框架,我们的分析表明,在足够条件下,根据扩散系数的规律性,压缩傅立叶搭配方法相对于搭配点的数量减轻了维数的诅咒。我们还提出了数值实验,以说明稀疏和可压缩溶液近似方法的准确性和稳定性。
translated by 谷歌翻译
Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.
translated by 谷歌翻译
神经操作员是科学机器学习中一种流行的技术,可以从数据中学习未知物理系统行为的数学模型。当数值求解器不可用或对基础物理学的理解不佳时,神经运算符对于学习与局部微分方程(PDE)相关的解决方案运算符特别有用。在这项工作中,我们试图提供理论基础,以了解学习时间依赖性PDE所需的培训数据量。从任何空间尺寸$ n \ geq 1 $中的抛物线PDE中给定输入输出对,我们得出了学习相关解决方案运算符的第一个理论上严格的方案,该方案采取了带有绿色功能$ g $的卷积的形式。到目前为止,严格学习与时间相关PDE相关的Green的功能一直是科学机器学习领域的主要挑战。通过将$ g $的层次低级结构与随机数字线性代数结合在一起,我们构建了$ g $的近似值,该$ g $实现了$ \ smash {\ smash {\ smashcal {\ mathcal {o}(\ gamma_ \ epsilon^epsilon^{ - 1/2} \ epsilon)}} $在$ l^1 $ -NORM中具有高概率,最多可以使用$ \ smash {\ MathCal {\ Mathcal {o}(\ Epsilon^{ - \ frac {n+2} {2} {2} {2} {2} {2} {2} } \ log(1/\ epsilon))}} $输入输出培训对,其中$ \ gamma_ \ epsilon $是衡量学习$ g $的培训数据集质量的量度,而$ \ epsilon> 0 $就足够了小的。
translated by 谷歌翻译
机器学习方法最近已用于求解微分方程和动态系统。这些方法已发展为一个新型的研究领域,称为科学机器学习,其中深层神经网络和统计学习等技术应用于应用数学的经典问题。由于神经网络提供了近似能力,因此在求解各种偏微分方程(PDE)时,通过机器学习和优化方法通过机器学习和优化方法实现了明显的性能。在本文中,我们开发了一种新颖的数值算法,该算法结合了机器学习和人工智能来解决PDE。特别是,我们基于Legendre-Galerkin神经网络提出了一种无监督的机器学习算法,以找到与不同类型PDE的解决方案的准确近似值。提出的神经网络应用于一般的1D和2D PDE,以及具有边界层行为的奇异扰动PDE。
translated by 谷歌翻译
运营商网络已成为有希望的深度学习工具,用于近似偏微分方程(PDE)的解决方案。这些网络绘制了描述材料属性,迫使函数和边界数据的输入函数到PDE解决方案。这项工作描述了一种针对操作员网络的新体系结构,该架构模仿了从问题的变异公式或弱公式中获得的数值解决方案的形式。这些想法在通用椭圆的PDE中的应用导致变异模拟操作员网络(Varmion)。像常规的深层操作员网络(DeepOnet)一样,Varmion也由一个子网络组成,该子网络构建了输出的基础函数,另一个构造了这些基础函数系数的基本功能。但是,与deponet相反,在Varmion中,这些网络的体系结构是精确确定的。对Varmion解决方案中误差的分析表明,它包含训练数据中的误差,训练错误,抽样输入中的正交误差和输出功能的贡献,以及测量测试输入功能之间距离的“覆盖错误”以及培训数据集中最近的功能。这也取决于确切网络及其varmion近似的稳定性常数。 Varmion在规范椭圆形PDE中的应用表明,对于大约相同数量的网络参数,平均而言,Varmion的误差比标准DeepOnet较小。此外,其性能对于输入函数的变化,用于采样输入和输出功能的技术,用于构建基本函数的技术以及输入函数的数量更为强大。
translated by 谷歌翻译
众所周知,混乱的系统对预测的挑战是挑战,因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为,但对于许多耗散系统,长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题,即使状态空间是无限的维度,该集合是有限维度的。对于马尔可夫系统,长期轨迹的统计特性由解决方案操作员唯一确定,该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中,我们提出了一个机器学习框架,以学习耗散混沌系统的基础解决方案操作员,这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架,我们能够预测湍流Kolmogorov流动动力学的各种统计数据,雷诺数为5000。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.
translated by 谷歌翻译
部分微分方程通常用于模拟各种物理现象,例如热扩散,波传播,流体动力学,弹性,电动力学和图像处理,并且已经开发了许多分析方法或传统的数值方法并广泛用于其溶液。受深度学习对科学和工程研究的迅速影响的启发,在本文中,我们提出了一个新型的神经网络GF-NET,以无监督的方式学习绿色的线性反应扩散方程的功能。所提出的方法克服了通过使用物理信息的方法和绿色功能的对称性来查找任意域上方程函数的挑战。结果,它尤其导致了在不同边界条件和来源下解决目标方程的有效方法。我们还通过正方形,环形和L形域中的实验证明了所提出的方法的有效性。
translated by 谷歌翻译
本文提出了一个无网格的计算框架和机器学习理论,用于在未知的歧管上求解椭圆形PDE,并根据扩散地图(DM)和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的,以解决最小二乘回归问题,该问题施加了近似PDE的代数方程(如果适用)。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵,该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中,当假设空间由具有无限宽度或深度的神经网络组成时,我们表明,经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时,我们表明,对于足够大的宽度,梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性,范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明,所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案,这些误差几乎与训练错误相同,从而取代了基于Nystrom的插值方法。
translated by 谷歌翻译
在本文中,我们介绍了一种基于距离场的新方法,以确保物理知识的深神经网络中的边界条件。众所周知,满足网状紫外线和颗粒方法中的Dirichlet边界条件的挑战是众所周知的。该问题在物理信息的开发中也是相关的,用于解决部分微分方程的解。我们在人工神经网络中介绍几何意识的试验功能,以改善偏微分方程的深度学习培训。为此,我们使用来自建设性的实体几何(R函数)和广义的等级坐标(平均值潜在字段)的概念来构建$ \ phi $,对域边界的近似距离函数。要恰好施加均匀的Dirichlet边界条件,试验函数乘以\ PHI $乘以PINN近似,并且通过Transfinite插值的泛化用于先验满足的不均匀Dirichlet(必要),Neumann(自然)和Robin边界复杂几何形状的条件。在这样做时,我们消除了与搭配方法中的边界条件满意相关的建模误差,并确保以ritz方法点点到运动可视性。我们在具有仿射和弯曲边界的域上的线性和非线性边值问题的数值解。 1D中的基准问题,用于线性弹性,平面扩散和光束弯曲;考虑了泊松方程的2D,考虑了双音态方程和非线性欧克隆方程。该方法延伸到更高的尺寸,并通过在4D超立方套上解决彼此与均匀的Dirichlet边界条件求泊松问题来展示其使用。该研究提供了用于网眼分析的途径,以在没有域离散化的情况下在确切的几何图形上进行。
translated by 谷歌翻译
High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.
translated by 谷歌翻译
在科学计算中,在科学计算中的许多应用中出现了从样本点近似平滑,多元功能的问题,在科学和工程的计算不确定性量化(UQ)中。在这些应用中,目标函数可以代表参数化部分微分方程(PDE)的所需量。由于解决此类问题的成本很高,在解决每个样本中通过求解PDE计算,样本效率是有关这些应用的关键。最近,越来越多地关注深度神经网络(DNN)和深度学习(DL)从数据中学习此类功能。在这项工作中,我们提出了一种自适应抽样策略,CAS4DL(基督佛尔自适应采样用于深度学习),以提高DL的样本效率用于多元功能近似。我们的新方法基于将DNN的第二至最后一层解释为该层上节点定义的函数词典。从这个角度来看,我们定义了一种自适应采样策略,该策略是由最近提出的线性近似方案提出的自适应采样方案激励的,其中该词典跨越的子空间的基督教词函数随机绘制了样品。我们提出了比较CAS4DL与标准蒙特卡洛(MC)采样的数值实验。我们的结果表明,CAS4DL通常可以在达到给定准确性所需的样品数量中节省大量,尤其是在平滑激活功能的情况下,与MC相比,它显示出更好的稳定性。因此,这些结果是将DL完全适应科学计算应用的有希望的一步。
translated by 谷歌翻译
在科学的背景下,众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中,我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息,并使用数据驱动的机器学习方法。我们描述了一个数学对象,我们表示通用微分方程(UDE),作为连接生态系统的统一框架。我们展示了各种各样的应用程序,从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制,可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性,以处理随机性,延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集,这些训练机构高度优化,稳定硬化方程,并与分布式并行性和GPU加速器兼容。
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译