线性系统的迭代求解器是部分微分方程（PDE）的数值解的关键组件。过去几十年来一直进行了深入的研究，例如雅各比，高斯 - 塞德尔，共轭梯度，跨部方法及其更高级的变体，但仍有迫切需要开发更快，更强大和更可靠的求解器。基于操作员回归的科学深度学习的最新进展，我们提出了一种提示，即用于微分方程的混合，迭代，数值和可转移的求解器。提示结合了标准放松方法和深层操作员网络（DeepOnet）。与标准数值求解器相比，提示能够为宽类微分方程提供更快的解决方案，同时保留接近机器零的精度。通过本本征分析，我们发现提示中的单个求解器靶向本征谱系中的不同区域，从而导致均匀的收敛速率，从而使混合求解器的整体表现出色。此外，提示适用于多维方程，并且在计算域和可转移到不同离散化方面具有灵活性。

在过去的十年中，在许多工程领域，包括自动驾驶汽车，医疗诊断和搜索引擎，甚至在艺术创作中，神经网络（NNS）已被证明是极有效的工具。确实，NN通常果断地超过传统算法。直到最近才引起重大兴趣的一个领域是使用NNS设计数值求解器，尤其是用于离散的偏微分方程。最近的几篇论文考虑使用NNS来开发多机方法，这些方法是解决离散的偏微分方程和其他稀疏矩阵问题的领先计算工具。我们扩展了这些新想法，重点关注所谓的放松操作员（也称为Smoothers），这是Multigrid算法的重要组成部分，在这种情况下尚未受到很多关注。我们探索了一种使用NNS学习带有随机系数的扩散算子的放松参数的方法，用于雅各比类型的Smoothers和4Color Gaussseidel Smoothers。后者的产量异常高效且易于使连续的放松（SOR）SmoOthors平行。此外，这项工作表明，使用两个网格方法在相对较小的网格上学习放松参数，而Gelfand的公式可以轻松实现。这些方法有效地产生了几乎最佳的参数，从而显着提高了大网格上的Multigrid算法的收敛速率。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

在科学和工程应用中，通常需要反复解决类似的计算问题。在这种情况下，我们可以利用先前解决的问题实例中的数据来提高查找后续解决方案的效率。这提供了一个独特的机会，可以将机器学习（尤其是元学习）和科学计算相结合。迄今为止，文献中已经提出了各种此类域特异性方法，但是设计这些方法的通用方法仍然不足。在本文中，我们通过制定一个通用框架来描述这些问题，并提出一种基于梯度的算法来以统一的方式解决这些问题。作为这种方法的说明，我们研究了迭代求解器的适应性参数的自适应生成，以加速微分方程的溶液。我们通过理论分析和数值实验来证明我们方法的性能和多功能性，包括应用于不可压缩流量模拟的应用以及参数估计的逆问题。

基于神经网络的求解部分微分方程的方法由于其简单性和灵活性来表示偏微分方程的解决方案而引起了相当大的关注。在训练神经网络时，网络倾向于学习与低频分量相对应的全局特征，而高频分量以较慢的速率（F原理）近似。对于解决方案包含广泛尺度的一类等式，由于无法捕获高频分量，网络训练过程可能会遭受缓慢的收敛性和低精度。在这项工作中，我们提出了一种分层方法来提高神经网络解决方案的收敛速率和准确性。所提出的方法包括多训练水平，其中引导新引入的神经网络来学习先前级别近似的残余。通过神经网络训练过程的性​​质，高级校正倾向于捕获高频分量。我们通过一套线性和非线性部分微分方程验证所提出的分层方法的效率和稳健性。

机器学习领域的最新进展打开了高性能计算的新时代。机器学习算法在开发复杂问题的准确和成本效益的替代物中的应用已经引起了科学家的主要关注。尽管具有强大的近似功能，但代理人仍无法为问题产生“精确”解决方案。为了解决此问题，本文利用了最新的ML工具，并提供了线性方程系统的自定义迭代求解器，能够在任何所需的准确性级别求解大规模参数化问题。具体而言，建议的方法包括以下两个步骤。首先，进行了一组减少的模型评估集，并使用相应的解决方案用于建立从问题的参数空间到其解决方案空间的近似映射，并使用深层馈电神经网络和卷积自动编码器。该映射是一种手段，可以以微不足道的计算成本来获得对系统对新查询点的响应的非常准确的初始预测。随后，开发了一种受代数多机方法启发的迭代求解器与适当的正交分解（称为pod-2g）相结合的迭代求解器，该迭代求解器被开发为依次完善对确切系统解决方案的初始预测。在大规模系统的几个数值示例中，证明了POD-2G作为独立求解器或作为预处理梯度方法的预处理，结果表明其优于常规迭代溶液方案。

泊松方程至关重要，以获得用于霍尔效应推进器和炉射线放电的等离子体流体模拟中的自我一致的解决方案，因为泊松解决方案看起来是不稳定的非线性流动方程的源期。作为第一步，使用多尺度架构研究了使用深神经网络的零小小的边界条件的求解2D泊松方程，以分支机构，深度和接收领域的数量定义。一个关键目标是更好地了解神经网络如何学习泊松解决方案，并提供指导方针来实现最佳网络配置，特别是当耦合到具有等离子体源术语的时变欧拉方程时。这里，发现接收领域对于正确捕获场的大拓扑结构至关重要。对多种架构，损失和封锁的调查提供了最佳的网络来准确解决稳定的泊松问题。然后在具有越来越多的节点的网格上监测称为Plasmanet的最佳神经网络求解器的性能，并与经典平行的线性溶剂进行比较。接下来，在电子等离子体振荡测试盒的上下文中，Plasmanet与不稳定的欧拉等离子体流体方程求解器联接。在这一时间不断发展的问题中，需要物理损失来产生稳定的模拟。最终测试了涉及化学和平流的更复杂的放电繁殖案例。应用了先前部分中建立的指导方针，以构建CNN，以解决具有不同边界条件的圆柱形坐标中的相同泊松方程。结果揭示了良好的CNN预测，并利用现代GPU的硬件铺平了新的计算策略，以预测涉及泊松方程的不稳定问题。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

物理知识的神经网络（PINN）在解决涉及部分微分方程的前进和反问题方面表现出了希望。尽管最近在扩展PINN可以解决的问题类别方面取得了进展，但大多数现有用例都涉及简单的几何域。迄今为止，还没有明确的方法来告知Pinns有关解决问题的域拓扑。在这项工作中，我们提出了一种基于拉普拉斯 - 贝特拉米操作员的特征函数的PINN的新型位置编码机制。该技术允许为代表给定对象几何形状的神经网络创建一个输入空间。我们近似具有有限元素的偏微分方程的特征函数以及涉及的操作员。我们对所提出的方法进行了广泛的测试和比较，以复杂形状（例如线圈，散热器和兔子），具有不同的物理学，例如二基核方程和传热。我们还研究了我们方法对所使用的本征函数数量的敏感性，以及用于本征函数和基础操作员的离散化。我们的结果表明，在传统的PINN无法产生有意义的解决方案的情况下，与地面真相数据非常吻合。我们设想这种新技术将扩大PINNS的有效性，以更现实的应用。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

Neural network-based approaches for solving partial differential equations (PDEs) have recently received special attention. However, the large majority of neural PDE solvers only apply to rectilinear domains, and do not systematically address the imposition of Dirichlet/Neumann boundary conditions over irregular domain boundaries. In this paper, we present a framework to neurally solve partial differential equations over domains with irregularly shaped (non-rectilinear) geometric boundaries. Our network takes in the shape of the domain as an input (represented using an unstructured point cloud, or any other parametric representation such as Non-Uniform Rational B-Splines) and is able to generalize to novel (unseen) irregular domains; the key technical ingredient to realizing this model is a novel approach for identifying the interior and exterior of the computational grid in a differentiable manner. We also perform a careful error analysis which reveals theoretical insights into several sources of error incurred in the model-building process. Finally, we showcase a wide variety of applications, along with favorable comparisons with ground truth solutions.

A new and efficient neural-network and finite-difference hybrid method is developed for solving Poisson equation in a regular domain with jump discontinuities on embedded irregular interfaces. Since the solution has low regularity across the interface, when applying finite difference discretization to this problem, an additional treatment accounting for the jump discontinuities must be employed. Here, we aim to elevate such an extra effort to ease our implementation by machine learning methodology. The key idea is to decompose the solution into singular and regular parts. The neural network learning machinery incorporating the given jump conditions finds the singular solution, while the standard finite difference method is used to obtain the regular solution with associated boundary conditions. Regardless of the interface geometry, these two tasks only require supervised learning for function approximation and a fast direct solver for Poisson equation, making the hybrid method easy to implement and efficient. The two- and three-dimensional numerical results show that the present hybrid method preserves second-order accuracy for the solution and its derivatives, and it is comparable with the traditional immersed interface method in the literature. As an application, we solve the Stokes equations with singular forces to demonstrate the robustness of the present method.

在这项工作中，我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络（VPINN）的收敛速率，同时解决椭圆边界边界值问题，如何影响变异物理学知情神经网络（VPINN）的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架，我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明，以某种方式违反直觉，对于平滑解决方案，实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面，同时使用适当高精度的正交公式。

我们提出了一种使用一组我们称为神经基函数（NBF）的神经网络来求解部分微分方程（PDE）的方法。这个NBF框架是POD DeepOnet操作方法的一种新颖的变化，我们将一组神经网络回归到降低的阶正合成分解（POD）基础上。然后将这些网络与分支网络结合使用，该分支网络摄入规定的PDE的参数以计算降低的订单近似值。该方法适用于高速流条件的稳态EULER方程（Mach 10-30），在该方程式中，我们考虑了围绕圆柱体的2D流，从而形成了冲击条件。然后，我们将NBF预测用作高保真计算流体动力学（CFD）求解器（CFD ++）的初始条件，以显示更快的收敛性。还将介绍用于培训和实施该算法的经验教训。

运营商网络已成为有希望的深度学习工具，用于近似偏微分方程（PDE）的解决方案。这些网络绘制了描述材料属性，迫使函数和边界数据的输入函数到PDE解决方案。这项工作描述了一种针对操作员网络的新体系结构，该架构模仿了从问题的变异公式或弱公式中获得的数值解决方案的形式。这些想法在通用椭圆的PDE中的应用导致变异模拟操作员网络（Varmion）。像常规的深层操作员网络（DeepOnet）一样，Varmion也由一个子网络组成，该子网络构建了输出的基础函数，另一个构造了这些基础函数系数的基本功能。但是，与deponet相反，在Varmion中，这些网络的体系结构是精确确定的。对Varmion解决方案中误差的分析表明，它包含训练数据中的误差，训练错误，抽样输入中的正交误差和输出功能的贡献，以及测量测试输入功能之间距离的“覆盖错误”以及培训数据集中最近的功能。这也取决于确切网络及其varmion近似的稳定性常数。 Varmion在规范椭圆形PDE中的应用表明，对于大约相同数量的网络参数，平均而言，Varmion的误差比标准DeepOnet较小。此外，其性能对于输入函数的变化，用于采样输入和输出功能的技术，用于构建基本函数的技术以及输入函数的数量更为强大。

傅里叶神经运营商（FNO）是一种基于学习的方法，用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商（F-FNO），允许与更深的网络更好地推广。通过仔细组合傅里叶分解，跨所有层，Markov属性和残差连接的共享内核积分运算符，F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2％的错误率，同时仍然比数值求解器更快地运行幅度，即使问题设置扩展到包括诸如粘度和时变力的附加上下文，也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。