在本文中，我们通过模型 - 操作员数据网络（Mod-Net）提出了一种机器学习方法，用于解决PDE。 Mod-net由模型驱动，以基于操作员表示从数据的正则化求解PDE。对于线性PDE，我们使用DNN来参数化绿色的功能，并获得神经运营商根据绿色的方法近似解。为了训练DNN，经验风险由具有最小方形配方的平均平方损失或控制方程和边界条件的变分制。对于复杂的问题，经验风险还包括一些标签，这些标签在具有廉价计算成本的粗网点上计算，并显着提高了模型精度。直观地，除模型约束外，标记的数据集还可作为正则化。 Mod-Net解决了一个PDE系列，而不是特定的PDE，并且比原始神经运营商更有效，因为需要少量昂贵的标签。我们在求解泊松方程和一维辐射传输方程方面显示Mod-Net非常有效。对于非线性PDE，非线性MOD-NET可以类似地用作ansatz来求解非线性PDE，通过求解几个非线性PDE问题，例如汉堡方程。

在本文中，开发了用于求解具有delta功能奇异源的椭圆方程的浅丽兹型神经网络。目前的工作中有三个新颖的功能。即，（i）Delta函数奇异性自然删除，（ii）级别集合函数作为功能输入引入，（iii）它完全浅，仅包含一个隐藏层。我们首先介绍问题的能量功能，然后转换奇异源对沿界面的常规表面积分的贡献。以这种方式，可以自然删除三角洲函数，而无需引入传统正规化方法（例如众所周知的沉浸式边界方法）中常用的函数。然后将最初的问题重新重新审议为最小化问题。我们提出了一个带有一个隐藏层的浅丽兹型神经网络，以近似能量功能的全局最小化器。结果，通过最大程度地减少能源的离散版本的损耗函数来训练网络。此外，我们将界面的级别设置函数作为网络的功能输入，并发现它可以显着提高训练效率和准确性。我们执行一系列数值测试，以显示本方法的准确性及其在不规则域和较高维度中问题的能力。

部分微分方程通常用于模拟各种物理现象，例如热扩散，波传播，流体动力学，弹性，电动力学和图像处理，并且已经开发了许多分析方法或传统的数值方法并广泛用于其溶液。受深度学习对科学和工程研究的迅速影响的启发，在本文中，我们提出了一个新型的神经网络GF-NET，以无监督的方式学习绿色的线性反应扩散方程的功能。所提出的方法克服了通过使用物理信息的方法和绿色功能的对称性来查找任意域上方程函数的挑战。结果，它尤其导致了在不同边界条件和来源下解决目标方程的有效方法。我们还通过正方形，环形和L形域中的实验证明了所提出的方法的有效性。

We propose, Monte Carlo Nonlocal physics-informed neural networks (MC-Nonlocal-PINNs), which is a generalization of MC-fPINNs in \cite{guo2022monte}, for solving general nonlocal models such as integral equations and nonlocal PDEs. Similar as in MC-fPINNs, our MC-Nonlocal-PINNs handle the nonlocal operators in a Monte Carlo way, resulting in a very stable approach for high dimensional problems. We present a variety of test problems, including high dimensional Volterra type integral equations, hypersingular integral equations and nonlocal PDEs, to demonstrate the effectiveness of our approach.

虽然深入学习算法在科学计算中表现出巨大的潜力，但其对多种问题的应用仍然是一个很大的挑战。这表明了神经网络倾向于首先学习低频分量的“频率原理”。提出了多种深度神经网络（MSCALEDNN）等新颖架构，以在一定程度上缓解此问题。在本文中，我们通过组合传统的数值分析思路和MscaledNN算法来构建基于子空间分解的DNN（被称为SD $ ^ 2 $ NN）架构。所提出的架构包括一个低频正常DNN子模块，以及一个（或几个）高频Mscalednn子模块，其旨在分别捕获多尺度解决方案的平滑部分和振荡部分。此外，在SD $ ^ 2 $ NN模型中包含了一种新的三角激活函数。我们通过常规或不规则几何域中的几个基准多尺度问题展示SD $ ^ 2 $ NN架构的性能。数值结果表明，SD $ ^ 2 $ NN模型优于现有的现有型号，如MSCALEDNN。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

This paper proposes Friedrichs learning as a novel deep learning methodology that can learn the weak solutions of PDEs via a minmax formulation, which transforms the PDE problem into a minimax optimization problem to identify weak solutions. The name "Friedrichs learning" is for highlighting the close relationship between our learning strategy and Friedrichs theory on symmetric systems of PDEs. The weak solution and the test function in the weak formulation are parameterized as deep neural networks in a mesh-free manner, which are alternately updated to approach the optimal solution networks approximating the weak solution and the optimal test function, respectively. Extensive numerical results indicate that our mesh-free method can provide reasonably good solutions to a wide range of PDEs defined on regular and irregular domains in various dimensions, where classical numerical methods such as finite difference methods and finite element methods may be tedious or difficult to be applied.

概率密度演化的推导提供了对许多随机系统及其性能的行为的宝贵洞察力。但是，对于大多数实时应用程序，对概率密度演变的数值确定是一项艰巨的任务。后者是由于所需的时间和空间离散方案引起的，这些方案使大多数计算解决方案过于效率和不切实际。在这方面，有效的计算替代模型的开发至关重要。关于物理受限网络的最新研究表明，可以通过编码对深神经网络的物理洞察力来实现合适的替代物。为此，目前的工作介绍了Deeppdem，它利用物理信息网络的概念通过提出深度学习方法来解决概率密度的演变。 Deeppdem了解随机结构的一般密度演化方程（GDEE）。这种方法为无网格学习方法铺平了道路，该方法可以通过以前的模拟数据解决密度演化问题。此外，它还可以作为优化方案或实时应用程序中任何其他时空点的溶液的有效替代物。为了证明所提出的框架的潜在适用性，研究了两个具有不同激活功能的网络体系结构以及两个优化器。关于三个不同问题的数值实施验证了所提出方法的准确性和功效。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

在本文中，我们提出了一种无网格的方法来解决完整的Stokes方程，该方程用非线性流变学模拟了冰川运动。我们的方法是受[12]中提出的深里兹方法的启发。我们首先将非牛顿冰流模型的解决方案提出到具有边界约束的变分积分的最小化器中。然后，通过一个深神经网络近似溶液，该网络的损失函数是变异积分加上混合边界条件的软约束。我们的方法不需要引入网格网格或基础函数来评估损失函数，而只需要统一的域和边界采样器。为了解决现实世界缩放中的不稳定性，我们将网络的输入重新归一致，并平衡每个单独边界的正则化因子。最后，我们通过几个数值实验说明了我们方法的性能，包括具有分析解决方案的2D模型，具有真实缩放的Arolla Glacier模型和具有周期性边界条件的3D模型。数值结果表明，我们提出的方法有效地解决了通过非线性流变学引起的冰川建模引起的非牛顿力学。

部分微分方程（PDES）在科学和工程的许多学科中都是普遍的，难以解决。通常，PDE的闭合形式溶液不可用，数值近似方法是计算昂贵的。 PDE的参数在许多应用中是可变的，例如逆问题，控制和优化，风险评估和不确定性量化。在这些应用程序中，我们的目标是解决参数PDE而不是其中一个实例。我们所提出的方法，称为元 - 自动解码器（MAD），将参数PDES作为元学习问题求解，并利用\ Cite {Park2019DeepsDF}中的自动解码器结构来处理不同的任务/ PDE。从PDE管理方程和边界条件诱导的物理知识损失被用作不同任务的培训损失。疯狂的目标是学习一个良好的模型初始化，可以概括不同的任务，最终使未能学习的任务能够更快地学习。疯狂的灵感来自于（猜想）参数PDE解决方案的低维结构，并从流形学习的角度解释了我们的方法。最后，我们展示了疯狂的力量，虽然广泛的数值研究，包括汉堡等式，拉普尔斯方程和时域麦克斯韦方程。与其他深度学习方法相比，MAD表现出更快的收敛速度而不会失去准确性。

近年来，深入学习技术已被用来解决部分微分方程（PDE），其中物理信息的神经网络（PINNS）出现是解决前向和反向PDE问题的有希望的方法。具有点源的PDE，其表示为管理方程中的DIRAC DELTA函数是许多物理过程的数学模型。然而，由于DIRAC DELTA功能所带来的奇点，它们不能直接通过传统的PINNS方法来解决。我们提出了一种普遍的解决方案，以用三种新颖的技术解决这个问题。首先，DIRAC DELTA功能被建模为连续概率密度函数以消除奇点;其次，提出了下限约束的不确定性加权算法，以平衡点源区和其他区域之间的Pinns损失;第三，使用具有周期性激活功能的多尺度深度神经网络来提高PinnS方法的准确性和收敛速度。我们评估了三种代表性PDE的提出方法，实验结果表明，我们的方法优于基于深度学习的方法，涉及准确性，效率和多功能性。

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

在本文中，开发了一种新的不连续性捕获浅神经网络（DCSNN），以近似于$ d $ d $二维的分段连续功能和解决椭圆界面问题。当前网络中有三个新颖的功能。即，（i）跳跃不连续性被准确捕获，（ii）它完全浅，仅包含一个隐藏层，（iii）它完全无网格，用于求解部分微分方程。这里的关键想法是，可以将$ d $维的分段连续函数扩展到$（d+1）$ - 尺寸空间中定义的连续函数，其中增强坐标变量标记每个子域的零件。然后，我们构建一个浅神经网络来表达这一新功能。由于仅使用一个隐藏层，因此训练参数（权重和偏见）的数量与隐藏层中使用的维度和神经元线性缩放。为了解决椭圆界面问题，通过最大程度地减少由管理方程式，边界条件和接口跳跃条件组成的均方误差损失来训练网络。我们执行一系列数值测试以证明本网络的准确性。我们的DCSNN模型由于仅需要训练的参数数量中等（在所有数值示例中使用了几百个参数），因此很有效，结果表明准确性良好。与传统的基于网格的浸入界面方法（IIM）获得的结果相比，该方法专门针对椭圆界面问题而设计，我们的网络模型比IIM表现出更好的精度。我们通过解决一个六维问题来结论，以证明本网络在高维应用中的能力。

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

部分微分方程（PDE）在研究大量科学和工程问题方面发挥着至关重要的作用。数值求解的非线性和/或高维PDE通常是一个具有挑战性的任务。灵感来自传统有限差分和有限元的方法和机器学习的新兴进步，我们提出了一个名为神经PDE的序列深度学习框架，这允许通过使用双向来自动学习从现有数据的任何时间依赖于现有数据的管理规则LSTM编码器，并预测下一个时间步长数据。我们所提出的框架的一个关键特征是，神经PDE能够同时学习和模拟多尺度变量。我们通过一维PDE的一系列示例测试神经PDE到高维和非线性复杂流体模型。结果表明，神经PDE能够学习初始条件，边界条件和差分运营商，而不知道PDE系统的特定形式。在我们的实验中，神经PDE可以有效地提取20个时期训练内的动态，并产生准确的预测。此外，与在学习PDE中的传统机器学习方法不同，例如CNN和MLP，这需要用于模型精度的巨大参数，神经PDE在所有时间步骤中共享参数，从而显着降低了计算复杂性并导致快速学习算法。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Physics-informed neural networks (PINNs) have lately received significant attention as a representative deep learning-based technique for solving partial differential equations (PDEs). Most fully connected network-based PINNs use automatic differentiation to construct loss functions that suffer from slow convergence and difficult boundary enforcement. In addition, although convolutional neural network (CNN)-based PINNs can significantly improve training efficiency, CNNs have difficulty in dealing with irregular geometries with unstructured meshes. Therefore, we propose a novel framework based on graph neural networks (GNNs) and radial basis function finite difference (RBF-FD). We introduce GNNs into physics-informed learning to better handle irregular domains with unstructured meshes. RBF-FD is used to construct a high-precision difference format of the differential equations to guide model training. Finally, we perform numerical experiments on Poisson and wave equations on irregular domains. We illustrate the generalizability, accuracy, and efficiency of the proposed algorithms on different PDE parameters, numbers of collection points, and several types of RBFs.

Discovering governing equations of a physical system, represented by partial differential equations (PDEs), from data is a central challenge in a variety of areas of science and engineering. Current methods require either some prior knowledge (e.g., candidate PDE terms) to discover the PDE form, or a large dataset to learn a surrogate model of the PDE solution operator. Here, we propose the first solution operator learning method that only needs one PDE solution, i.e., one-shot learning. We first decompose the entire computational domain into small domains, where we learn a local solution operator, and then we find the coupled solution via either mesh-based fixed-point iteration or meshfree local-solution-operator informed neural networks. We demonstrate the effectiveness of our method on different PDEs, and our method exhibits a strong generalization property.

我们提出了一种基于具有子域（CENN）的神经网络的保守能量方法，其中允许通过径向基函数（RBF），特定解决方案神经网络和通用神经网络构成满足没有边界惩罚的基本边界条件的可允许功能。与具有子域的强形式Pinn相比，接口处的损耗术语具有较低的阶数。所提出的方法的优点是效率更高，更准确，更小的近双达，而不是具有子域的强形式Pinn。所提出的方法的另一个优点是它可以基于可允许功能的特殊结构适用于复杂的几何形状。为了分析其性能，所提出的方法宫殿用于模拟代表性PDE，这些实施例包括强不连续性，奇异性，复杂边界，非线性和异质问题。此外，在处理异质问题时，它优于其他方法。