在本文中,我们介绍了一种基于距离场的新方法,以确保物理知识的深神经网络中的边界条件。众所周知,满足网状紫外线和颗粒方法中的Dirichlet边界条件的挑战是众所周知的。该问题在物理信息的开发中也是相关的,用于解决部分微分方程的解。我们在人工神经网络中介绍几何意识的试验功能,以改善偏微分方程的深度学习培训。为此,我们使用来自建设性的实体几何(R函数)和广义的等级坐标(平均值潜在字段)的概念来构建$ \ phi $,对域边界的近似距离函数。要恰好施加均匀的Dirichlet边界条件,试验函数乘以\ PHI $乘以PINN近似,并且通过Transfinite插值的泛化用于先验满足的不均匀Dirichlet(必要),Neumann(自然)和Robin边界复杂几何形状的条件。在这样做时,我们消除了与搭配方法中的边界条件满意相关的建模误差,并确保以ritz方法点点到运动可视性。我们在具有仿射和弯曲边界的域上的线性和非线性边值问题的数值解。 1D中的基准问题,用于线性弹性,平面扩散和光束弯曲;考虑了泊松方程的2D,考虑了双音态方程和非线性欧克隆方程。该方法延伸到更高的尺寸,并通过在4D超立方套上解决彼此与均匀的Dirichlet边界条件求泊松问题来展示其使用。该研究提供了用于网眼分析的途径,以在没有域离散化的情况下在确切的几何图形上进行。
translated by 谷歌翻译
我们提出了一种基于物理知识的随机投影神经网络的数值方法,用于解决常微分方程(ODES)的初始值问题(IVPS)的解决方案,重点是僵硬的问题。我们使用具有径向基函数的单个隐藏层来解决一个极端学习机,其具有宽度均匀分布的随机变量,而输入和隐藏层之间的权重的值设置为等于1。通过构造非线性代数方程的系统来获得IVPS的数值解决方案,该系统由高斯-Nythto方法通过Gauss-Newton方法解决了输出权重,以调整集成时间间隔的简单自适应方案。为了评估其性能,我们应用了四个基准僵硬IVPS解决方案的提议方法,即预热罗宾逊,梵德,罗伯和雇用问题。我们的方法与基于Dormand-Prince对的自适应跳动-Kutta方法进行比较,以及基于数值差分公式的可变步骤可变序列多步解算器,如\ texttt {ode45}和\ texttt {ode15s}所实现的MATLAB功能分别。我们表明所提出的方案产生良好的近似精度,从而优于\ texttt {ode45}和\ texttt {ode15s},尤其是在出现陡峭梯度的情况下。此外,我们的方法的计算时间与两种Matlab溶剂的计算时间用于实际目的。
translated by 谷歌翻译
深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具,具有近似功能的高度灵活性。在本工作中,设计具有所需属性的功能,以近似PDE的解决方案。我们的方法基于后验误差估计,其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法,以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计,然后使用神经网络计算原始和伴随解决方案。本研究表明,即使具有相对较少的训练数据,这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点,并且还呈现了收敛增强技术
translated by 谷歌翻译
在本文中,开发了用于求解具有delta功能奇异源的椭圆方程的浅丽兹型神经网络。目前的工作中有三个新颖的功能。即,(i)Delta函数奇异性自然删除,(ii)级别集合函数作为功能输入引入,(iii)它完全浅,仅包含一个隐藏层。我们首先介绍问题的能量功能,然后转换奇异源对沿界面的常规表面积分的贡献。以这种方式,可以自然删除三角洲函数,而无需引入传统正规化方法(例如众所周知的沉浸式边界方法)中常用的函数。然后将最初的问题重新重新审议为最小化问题。我们提出了一个带有一个隐藏层的浅丽兹型神经网络,以近似能量功能的全局最小化器。结果,通过最大程度地减少能源的离散版本的损耗函数来训练网络。此外,我们将界面的级别设置函数作为网络的功能输入,并发现它可以显着提高训练效率和准确性。我们执行一系列数值测试,以显示本方法的准确性及其在不规则域和较高维度中问题的能力。
translated by 谷歌翻译
在本文中,开发了一种新的不连续性捕获浅神经网络(DCSNN),以近似于$ d $ d $二维的分段连续功能和解决椭圆界面问题。当前网络中有三个新颖的功能。即,(i)跳跃不连续性被准确捕获,(ii)它完全浅,仅包含一个隐藏层,(iii)它完全无网格,用于求解部分微分方程。这里的关键想法是,可以将$ d $维的分段连续函数扩展到$(d+1)$ - 尺寸空间中定义的连续函数,其中增强坐标变量标记每个子域的零件。然后,我们构建一个浅神经网络来表达这一新功能。由于仅使用一个隐藏层,因此训练参数(权重和偏见)的数量与隐藏层中使用的维度和神经元线性缩放。为了解决椭圆界面问题,通过最大程度地减少由管理方程式,边界条件和接口跳跃条件组成的均方误差损失来训练网络。我们执行一系列数值测试以证明本网络的准确性。我们的DCSNN模型由于仅需要训练的参数数量中等(在所有数值示例中使用了几百个参数),因此很有效,结果表明准确性良好。与传统的基于网格的浸入界面方法(IIM)获得的结果相比,该方法专门针对椭圆界面问题而设计,我们的网络模型比IIM表现出更好的精度。我们通过解决一个六维问题来结论,以证明本网络在高维应用中的能力。
translated by 谷歌翻译
Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.
translated by 谷歌翻译
用于求解微分方程的几种神经网络方法采用前馈神经网络采用试用解决方案。存在不同的方法来纳入结​​构中的试验解决方案,例如可以将它们直接包括在成本函数中。在相应的神经网络中使用,试验解决方案定义所谓的神经形式。这种神经形式代表一般,灵活的工具,通过该工具可以解决各种微分方程。在本文中,我们考虑时间依赖的初始值问题,需要充分设置神经表单框架。现在在文献中呈现的神经形式可以被认为是第一阶多项式。在这项工作中,我们建议延长神经形式的多项式顺序。新型搭配型结构包括几个前馈神经网络,每个馈电是每个订单的。此外,我们提出计算域的碎片到子域名。神经形式求解在每个子域上,而接口网格点重叠以便在整个碎片上提供初始值。我们在实验中说明了凸起神经形式的搭配和域碎片的组合允许在具有高精度和可靠性的大型域上解决初始值问题。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
从经典动力学系统到量子力学的许多领域,在许多领域的进步核心,有效,准确地求解微分方程。人们对使用物理知识的神经网络(PINN)来解决此类问题,这引起了人们的兴趣,因为它们比传统的数值方法提供了许多好处。尽管它们在求解微分方程方面的潜在好处,但仍在探索转移学习。在这项研究中,我们提出了转移学习PINN的一般框架,该框架对普通和部分微分方程的线性系统进行了单次推断。这意味着,可以在不重新培训整个网络的情况下即时获得许多未知微分方程的方法。我们通过解决了几个现实世界中的问题,例如一阶线性普通方程,泊松方程以及时间依赖时间依赖的schrodinger复合物配合物部分差分方程来证明拟议的深度学习方法的功效。
translated by 谷歌翻译
前馈神经网络提供了一种用于求解微分方程的有希望的方法。然而,近似的可靠性和准确性仍然代表了当前文献中没有完全解决的细微问题。计算方法一般高度依赖于各种计算参数以及优化方法的选择,这一点必须与成本函数的结构一起看。本文的目的是迈出解决这些公开问题的一步。为此,我们在这里研究了一种简单但基本的常见常见微分方程建模阻尼系统的解决方案。我们考虑通过神经形式求解微分方程的两种计算方法。这些是定义成本函数的经典但仍然是实际的试验解决方案方法,以及最近直接建设与试验解决方案方法相关的成本函数。让我们注意到我们学习的设置可以很容易地应用,包括偏微分方程的解。通过一个非常详细的计算研究,我们表明可以识别用于参数和方法的优选选择。我们还照亮了神经网络模拟中可观察到的一些有趣的效果。总的来说,我们通过展示通过神经网络方法获得可靠和准确的结果来实现现场的当前文献。通过这样做,我们说明了仔细选择计算设置的重要性。
translated by 谷歌翻译
部分微分方程通常用于模拟各种物理现象,例如热扩散,波传播,流体动力学,弹性,电动力学和图像处理,并且已经开发了许多分析方法或传统的数值方法并广泛用于其溶液。受深度学习对科学和工程研究的迅速影响的启发,在本文中,我们提出了一个新型的神经网络GF-NET,以无监督的方式学习绿色的线性反应扩散方程的功能。所提出的方法克服了通过使用物理信息的方法和绿色功能的对称性来查找任意域上方程函数的挑战。结果,它尤其导致了在不同边界条件和来源下解决目标方程的有效方法。我们还通过正方形,环形和L形域中的实验证明了所提出的方法的有效性。
translated by 谷歌翻译
已经提出了物理信息神经网络(PINN)来学习偏微分方程(PDE)的解决方案。在PINN中,感兴趣的PDE及其边界条件的残余形式被归为复合目标函数,作为软惩罚。在这里,我们表明,将目标函数制定的这种特定方式是应用于不同种类PDE的PINN方法中严重限制的来源。为了解决这些局限性,我们提出了一个基于约束优化问题公式的多功能框架,在该框架中,我们使用增强的拉格朗日方法(ALM)来限制PDE的解决方案,并具有其边界条件和任何可能可用的高保真数据。我们的方法擅长于具有多保真数据融合的转发和反问题。我们通过将其应用于涉及多维PDE的几个远期和反向问题来证明物理和相等性约束深度学习框架的功效和多功能性。您的框架与最先进的框架相比,与最先进的框架提高了幅度的提高顺序。 ART物理信息的神经网络。
translated by 谷歌翻译
机器学习方法最近已用于求解微分方程和动态系统。这些方法已发展为一个新型的研究领域,称为科学机器学习,其中深层神经网络和统计学习等技术应用于应用数学的经典问题。由于神经网络提供了近似能力,因此在求解各种偏微分方程(PDE)时,通过机器学习和优化方法通过机器学习和优化方法实现了明显的性能。在本文中,我们开发了一种新颖的数值算法,该算法结合了机器学习和人工智能来解决PDE。特别是,我们基于Legendre-Galerkin神经网络提出了一种无监督的机器学习算法,以找到与不同类型PDE的解决方案的准确近似值。提出的神经网络应用于一般的1D和2D PDE,以及具有边界层行为的奇异扰动PDE。
translated by 谷歌翻译
Physics-informed neural networks (PINNs) have lately received significant attention as a representative deep learning-based technique for solving partial differential equations (PDEs). Most fully connected network-based PINNs use automatic differentiation to construct loss functions that suffer from slow convergence and difficult boundary enforcement. In addition, although convolutional neural network (CNN)-based PINNs can significantly improve training efficiency, CNNs have difficulty in dealing with irregular geometries with unstructured meshes. Therefore, we propose a novel framework based on graph neural networks (GNNs) and radial basis function finite difference (RBF-FD). We introduce GNNs into physics-informed learning to better handle irregular domains with unstructured meshes. RBF-FD is used to construct a high-precision difference format of the differential equations to guide model training. Finally, we perform numerical experiments on Poisson and wave equations on irregular domains. We illustrate the generalizability, accuracy, and efficiency of the proposed algorithms on different PDE parameters, numbers of collection points, and several types of RBFs.
translated by 谷歌翻译
在这项工作中,我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络(VPINN)的收敛速率,同时解决椭圆边界边界值问题,如何影响变异物理学知情神经网络(VPINN)的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架,我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明,以某种方式违反直觉,对于平滑解决方案,实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面,同时使用适当高精度的正交公式。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
物理信息神经网络(PINN)能够找到给定边界值问题的解决方案。我们使用有限元方法(FEM)的几个想法来增强工程问题中现有的PINN的性能。当前工作的主要贡献是促进使用主要变量的空间梯度作为分离神经网络的输出。后来,具有较高衍生物的强形式应用于主要变量的空间梯度作为物理约束。此外,该问题的所谓能量形式被应用于主要变量,作为训练的附加约束。所提出的方法仅需要一阶导数来构建物理损失函数。我们讨论了为什么通过不同模型之间的各种比较,这一点是有益的。基于配方混合的PINN和FE方法具有一些相似之处。前者利用神经网络的复杂非线性插值将PDE及其能量形式最小化及其能量形式,而后者则在元素节点借助Shape函数在元素节点上使用相同。我们专注于异质固体,以显示深学习在不同边界条件下在复杂环境中预测解决方案的能力。针对FEM的解决方案对两个原型问题的解决方案进行了检查:弹性和泊松方程(稳态扩散问题)。我们得出的结论是,通过正确设计PINN中的网络体系结构,深度学习模型有可能在没有其他来源的任何可用初始数据中解决异质域中的未知数。最后,关于Pinn和FEM的组合进行了讨论,以在未来的开发中快速准确地设计复合材料。
translated by 谷歌翻译
We present a unified hard-constraint framework for solving geometrically complex PDEs with neural networks, where the most commonly used Dirichlet, Neumann, and Robin boundary conditions (BCs) are considered. Specifically, we first introduce the "extra fields" from the mixed finite element method to reformulate the PDEs so as to equivalently transform the three types of BCs into linear forms. Based on the reformulation, we derive the general solutions of the BCs analytically, which are employed to construct an ansatz that automatically satisfies the BCs. With such a framework, we can train the neural networks without adding extra loss terms and thus efficiently handle geometrically complex PDEs, alleviating the unbalanced competition between the loss terms corresponding to the BCs and PDEs. We theoretically demonstrate that the "extra fields" can stabilize the training process. Experimental results on real-world geometrically complex PDEs showcase the effectiveness of our method compared with state-of-the-art baselines.
translated by 谷歌翻译
本文涉及以下重要的研究问题。传统上,神经网络采用与线性操作员连接的非线性激活功能,以近似给定的物理现象。它们与激活功能的级联“填充空间”,并调整它们的系数以近似物理现象。我们声称,更好地“填充空间”,具有由异常分析所用的平滑高阶B样条基础功能的线性组合,并利用神经网络来调整线性组合的系数。换句话说,评估使用神经网络用于近似B样条曲线基本功能的系数的可能性以及直接逼近解决方案。 Maziar Raissi等人提出了用神经网络解决微分方程。 2017年通过引入物理信息的神经网络(PINN),自然地将底层物理法编码为先前信息。使用函数的系数近似值用作输入利用神经网络的众所周知的能力是通用函数近似器。实质上,在Pinn方法中,网络近似于给定点的给定场的值。我们呈现一种替代方法,其中水平量被近似为平滑B样条基函数的线性组合,并且神经网络近似于B样条的系数。该研究将DNN的结果与近似B样条函数的线性组合系数进行比较,DNN直接逼近溶液。我们表明,当近似平滑的物理领域时,我们的方法更便宜,更准确。
translated by 谷歌翻译