This paper proposes Friedrichs learning as a novel deep learning methodology that can learn the weak solutions of PDEs via a minmax formulation, which transforms the PDE problem into a minimax optimization problem to identify weak solutions. The name "Friedrichs learning" is for highlighting the close relationship between our learning strategy and Friedrichs theory on symmetric systems of PDEs. The weak solution and the test function in the weak formulation are parameterized as deep neural networks in a mesh-free manner, which are alternately updated to approach the optimal solution networks approximating the weak solution and the optimal test function, respectively. Extensive numerical results indicate that our mesh-free method can provide reasonably good solutions to a wide range of PDEs defined on regular and irregular domains in various dimensions, where classical numerical methods such as finite difference methods and finite element methods may be tedious or difficult to be applied.

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

在这项工作中，我们开发了一个有效的求解器，该求解器基于泊松方程的深神经网络，具有可变系数和由Dirac Delta函数$ \ delta（\ Mathbf {x}）$表示的可变系数和单数来源。这类问题涵盖了一般点源，线路源和点线组合，并且具有广泛的实际应用。所提出的方法是基于将真实溶液分解为一个单一部分，该部分使用拉普拉斯方程的基本解决方案在分析上以分析性的方式，以及一个正常零件，该零件满足适合的椭圆形PDE，并使用更平滑的来源，然后使用深层求解常规零件，然后使用深层零件来求解。丽兹法。建议提出遵守路径遵循的策略来选择罚款参数以惩罚Dirichlet边界条件。提出了具有点源，线源或其组合的两维空间和多维空间中的广泛数值实验，以说明所提出的方法的效率，并提供了一些现有方法的比较研究，这清楚地表明了其竞争力的竞争力具体的问题类别。此外，我们简要讨论该方法的误差分析。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

在本文中，我们提出了一种无网格的方法来解决完整的Stokes方程，该方程用非线性流变学模拟了冰川运动。我们的方法是受[12]中提出的深里兹方法的启发。我们首先将非牛顿冰流模型的解决方案提出到具有边界约束的变分积分的最小化器中。然后，通过一个深神经网络近似溶液，该网络的损失函数是变异积分加上混合边界条件的软约束。我们的方法不需要引入网格网格或基础函数来评估损失函数，而只需要统一的域和边界采样器。为了解决现实世界缩放中的不稳定性，我们将网络的输入重新归一致，并平衡每个单独边界的正则化因子。最后，我们通过几个数值实验说明了我们方法的性能，包括具有分析解决方案的2D模型，具有真实缩放的Arolla Glacier模型和具有周期性边界条件的3D模型。数值结果表明，我们提出的方法有效地解决了通过非线性流变学引起的冰川建模引起的非牛顿力学。

在本文中，开发了用于求解具有delta功能奇异源的椭圆方程的浅丽兹型神经网络。目前的工作中有三个新颖的功能。即，（i）Delta函数奇异性自然删除，（ii）级别集合函数作为功能输入引入，（iii）它完全浅，仅包含一个隐藏层。我们首先介绍问题的能量功能，然后转换奇异源对沿界面的常规表面积分的贡献。以这种方式，可以自然删除三角洲函数，而无需引入传统正规化方法（例如众所周知的沉浸式边界方法）中常用的函数。然后将最初的问题重新重新审议为最小化问题。我们提出了一个带有一个隐藏层的浅丽兹型神经网络，以近似能量功能的全局最小化器。结果，通过最大程度地减少能源的离散版本的损耗函数来训练网络。此外，我们将界面的级别设置函数作为网络的功能输入，并发现它可以显着提高训练效率和准确性。我们执行一系列数值测试，以显示本方法的准确性及其在不规则域和较高维度中问题的能力。

在本文中，我们提出了一种求解高维椭圆局部微分方程（PDE）的半群方法和基于神经网络的相关特征值问题。对于PDE问题，我们在半群运营商的帮助下将原始方程式重构为变分问题，然后解决神经网络（NN）参数化的变分问题。主要优点是在随机梯度下降训练期间不需要混合的二阶衍生计算，并且由半群运算符自动考虑边界条件。与Pinn \ Cite {Raissi2019physics}和DeepRitz \ Cite {Weinan2018Deep}不同的流行方法，其中仅通过惩罚功能强制执行，因此改变了真实解决方案，所提出的方法能够解决没有惩罚功能的边界条件它即使添加了惩罚功能，它也会给出正确的真实解决方案，感谢semigoup运算符。对于特征值问题，提出了一种原始方法，有效地解析了简单的标量双变量的约束，并与BSDE求解器\ Cite {Han202020Solving}相比，诸如与线性相关的特征值问题之类的问题相比，算法更快地算法SCHR \“Odinger操作员。提供了数值结果以证明所提出的方法的性能。

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

设计高维偏微分方程（PDE）的高效和准确的数值求解器仍然是计算科学和工程中的一个具有挑战性且重要的主题，这主要是由于“设计数字方案”在设计中的“维度诅咒”。一种新方法，在具有有限的分析表达式的功能空间中寻求近似PDE解决方案，因此，该方法被命名为有限的表达方法（FEX）。在近似理论中证明，FEX可以避免维克斯的诅咒。作为概念的证明，提出了一种深入的增强学习方法，以在不同维度上为各种高维PDE实施FEX，以在维度和可依式的时间复杂性中具有内存复杂性多项式的高度甚至机器的精度。具有有限解决方案的近似解决方案分析表达式还提供了对地面真相PDE解决方案的可解释见解，这可以进一步帮助提高对物理系统的理解，并为精制解决方案设计后处理技术。

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

物理知情的神经网络（PINN）要求定期的基础PDE解决方案，以确保准确的近似值。因此，它们可能会在近似PDE的不连续溶液（例如非线性双曲方程）的情况下失败。为了改善这一点，我们提出了一种新颖的PINN变体，称为弱PINN（WPINNS），以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案，以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限，并通过数值实验说明了它们的性能，以证明WPINN可以准确地近似熵解决方案。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

在这项工作中，我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络（VPINN）的收敛速率，同时解决椭圆边界边界值问题，如何影响变异物理学知情神经网络（VPINN）的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架，我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明，以某种方式违反直觉，对于平滑解决方案，实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面，同时使用适当高精度的正交公式。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

部分微分方程通常用于模拟各种物理现象，例如热扩散，波传播，流体动力学，弹性，电动力学和图像处理，并且已经开发了许多分析方法或传统的数值方法并广泛用于其溶液。受深度学习对科学和工程研究的迅速影响的启发，在本文中，我们提出了一个新型的神经网络GF-NET，以无监督的方式学习绿色的线性反应扩散方程的功能。所提出的方法克服了通过使用物理信息的方法和绿色功能的对称性来查找任意域上方程函数的挑战。结果，它尤其导致了在不同边界条件和来源下解决目标方程的有效方法。我们还通过正方形，环形和L形域中的实验证明了所提出的方法的有效性。

我们建立了对椭圆形问题的误差对空间中的椭圆状况的误差，以及不同的边界条件。对于Dirichlet边界条件，我们在通过边界损失方法中大致强制强制执行边界值时估计错误。我们的结果适用于任意和一般非线性类$ v \ subseteq h ^ 1（\ omega）$的ansatz函数，并估算依赖优化精度，ansatz类的近似能力和 - 在案例中Dirichlet边界值 - 惩罚强度$ \ lambda $。对于非基本边界条件，RITZ方法的误差与ansatz类的近似率相同的速率。对于基本边界条件，鉴于$ H ^ 1（\ OMEGA）$的近似率和$ l ^ 2（\ partial \ omega）$的$ l ^ 2（\ partial \ omega）$的近似率，最佳衰减率的估计错误是$ \ min（s / 2，r）$，通过选择$ \ lambda_n \ sim n ^ {s} $来实现。我们讨论了通过Relu网络给出的Ansatz类的影响以及与有限元函数的现有估计的关系。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

Neural network-based approaches for solving partial differential equations (PDEs) have recently received special attention. However, the large majority of neural PDE solvers only apply to rectilinear domains, and do not systematically address the imposition of Dirichlet/Neumann boundary conditions over irregular domain boundaries. In this paper, we present a framework to neurally solve partial differential equations over domains with irregularly shaped (non-rectilinear) geometric boundaries. Our network takes in the shape of the domain as an input (represented using an unstructured point cloud, or any other parametric representation such as Non-Uniform Rational B-Splines) and is able to generalize to novel (unseen) irregular domains; the key technical ingredient to realizing this model is a novel approach for identifying the interior and exterior of the computational grid in a differentiable manner. We also perform a careful error analysis which reveals theoretical insights into several sources of error incurred in the model-building process. Finally, we showcase a wide variety of applications, along with favorable comparisons with ground truth solutions.

在这项工作中，我们提出了一种深度自适应采样（DAS）方法，用于求解部分微分方程（PDE），其中利用深神经网络近似PDE和深生成模型的解决方案，用于生成改进训练集的新的搭配点。 DAS的整体过程由两个组件组成：通过最小化训练集中的搭配点上的剩余损失来解决PDE，并生成新的训练集，以进一步提高电流近似解的准确性。特别地，我们将残差作为概率密度函数进行处理，并用一个被称为Krnet的深生成模型近似它。来自Krnet的新样品与残留物诱导的分布一致，即，更多样品位于大残留的区域中，并且较少的样品位于小残余区域中。类似于经典的自适应方法，例如自适应有限元，Krnet作为引导训练集的改进的错误指示器。与用均匀分布的搭配点获得的神经网络近似相比，发达的算法可以显着提高精度，特别是对于低规律性和高维问题。我们展示了一个理论分析，表明所提出的DAS方法可以减少误差并展示其与数值实验的有效性。