机器学习方法最近已用于求解微分方程和动态系统。这些方法已发展为一个新型的研究领域，称为科学机器学习，其中深层神经网络和统计学习等技术应用于应用数学的经典问题。由于神经网络提供了近似能力，因此在求解各种偏微分方程（PDE）时，通过机器学习和优化方法通过机器学习和优化方法实现了明显的性能。在本文中，我们开发了一种新颖的数值算法，该算法结合了机器学习和人工智能来解决PDE。特别是，我们基于Legendre-Galerkin神经网络提出了一种无监督的机器学习算法，以找到与不同类型PDE的解决方案的准确近似值。提出的神经网络应用于一般的1D和2D PDE，以及具有边界层行为的奇异扰动PDE。

我们提出了一个新的半分析物理知情网络（PINN），以解决奇异的边界价值问题。 PINN是一个科学的机器学习框架，为找到部分微分方程的数值解决方案提供了有希望的观点。 PINN在求解各种微分方程方面表现出令人印象深刻的性能，包括与域复杂几何相关的时间依赖性和多维方程。但是，当考虑僵硬的微分方程时，由于光谱偏置，神经网络通常无法捕获溶液的急剧过渡。为了解决此问题，我们在这里开发了半分析的PINN方法，通过使用从边界层分析获得的所谓校正器函数丰富。我们的新富集的PINN准确地预测了奇异扰动问题的数值解。数值实验包括各种类型的奇异扰动线性和非线性微分方程。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

基于神经网络的求解部分微分方程的方法由于其简单性和灵活性来表示偏微分方程的解决方案而引起了相当大的关注。在训练神经网络时，网络倾向于学习与低频分量相对应的全局特征，而高频分量以较慢的速率（F原理）近似。对于解决方案包含广泛尺度的一类等式，由于无法捕获高频分量，网络训练过程可能会遭受缓慢的收敛性和低精度。在这项工作中，我们提出了一种分层方法来提高神经网络解决方案的收敛速率和准确性。所提出的方法包括多训练水平，其中引导新引入的神经网络来学习先前级别近似的残余。通过神经网络训练过程的性​​质，高级校正倾向于捕获高频分量。我们通过一套线性和非线性部分微分方程验证所提出的分层方法的效率和稳健性。

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

部分微分方程通常用于模拟各种物理现象，例如热扩散，波传播，流体动力学，弹性，电动力学和图像处理，并且已经开发了许多分析方法或传统的数值方法并广泛用于其溶液。受深度学习对科学和工程研究的迅速影响的启发，在本文中，我们提出了一个新型的神经网络GF-NET，以无监督的方式学习绿色的线性反应扩散方程的功能。所提出的方法克服了通过使用物理信息的方法和绿色功能的对称性来查找任意域上方程函数的挑战。结果，它尤其导致了在不同边界条件和来源下解决目标方程的有效方法。我们还通过正方形，环形和L形域中的实验证明了所提出的方法的有效性。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

随着计算能力的增加和机器学习的进步，基于数据驱动的学习方法在解决PDE方面引起了极大的关注。物理知识的神经网络（PINN）最近出现并成功地在各种前进和逆PDES问题中取得了成功，其优异的特性，例如灵活性，无网格解决方案和无监督的培训。但是，它们的收敛速度较慢和相对不准确的解决方案通常会限制其在许多科学和工程领域中的更广泛适用性。本文提出了一种新型的数据驱动的PDES求解器，物理知识的细胞表示（Pixel），优雅地结合了经典数值方法和基于学习的方法。我们采用来自数值方法的网格结构，以提高准确性和收敛速度并克服PINN中呈现的光谱偏差。此外，所提出的方法在PINN中具有相同的好处，例如，使用相同的优化框架来解决前进和逆PDE问题，并很容易通过现代自动分化技术强制执行PDE约束。我们为原始Pinn所努力的各种具有挑战性的PDE提供了实验结果，并表明像素达到了快速收敛速度和高精度。

在本文中，我们提出了用于求解非线性微分方程（NDE）的神经网络的物理知情训练（PIAT）。众所周知，神经网络的标准培训会导致非平滑函数。对抗训练（AT）是针对对抗攻击的既定防御机制，这也可能有助于使解决方案平滑。 AT包括通过扰动增强训练迷你批量，使网络输出不匹配所需的输出对手。与正式AT仅依靠培训数据不同，在这里，我们使用对抗网络体系结构中的自动差异来以非线性微分方程的形式编码管理物理定律。我们将PIAT与PIAT进行了比较，以指示我们方法在求解多达10个维度方面的有效性。此外，我们提出了重量衰减和高斯平滑，以证明PIAT的优势。代码存储库可从https://github.com/rohban-lab/piat获得。

深入学习被证明是通过物理信息的神经网络（PINNS）求解部分微分方程（PDE）的有效工具。 Pinns将PDE残差嵌入到神经网络的损耗功能中，已成功用于解决各种前向和逆PDE问题。然而，第一代Pinns的一个缺点是它们通常具有许多训练点即使具有有限的准确性。在这里，我们提出了一种新的方法，梯度增强的物理信息的神经网络（GPInns），用于提高Pinns的准确性和培训效率。 GPInns利用PDE残差的梯度信息，并将梯度嵌入损耗功能。我们广泛地测试了GPinns，并证明了GPInns在前进和反向PDE问题中的有效性。我们的数值结果表明，GPInn比贴图更好地表现出较少的训练点。此外，我们将GPIn与基于残留的自适应细化（RAR）的方法组合，一种用于在训练期间自适应地改善训练点分布的方法，以进一步提高GPInn的性能，尤其是具有陡峭梯度的溶液的PDE。

物理知情的神经网络（PINN）要求定期的基础PDE解决方案，以确保准确的近似值。因此，它们可能会在近似PDE的不连续溶液（例如非线性双曲方程）的情况下失败。为了改善这一点，我们提出了一种新颖的PINN变体，称为弱PINN（WPINNS），以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案，以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限，并通过数值实验说明了它们的性能，以证明WPINN可以准确地近似熵解决方案。

在本文中，我们介绍了一种基于距离场的新方法，以确保物理知识的深神经网络中的边界条件。众所周知，满足网状紫外线和颗粒方法中的Dirichlet边界条件的挑战是众所周知的。该问题在物理信息的开发中也是相关的，用于解决部分微分方程的解。我们在人工神经网络中介绍几何意识的试验功能，以改善偏微分方程的深度学习培训。为此，我们使用来自建设性的实体几何（R函数）和广义的等级坐标（平均值潜在字段）的概念来构建$ \ phi $，对域边界的近似距离函数。要恰好施加均匀的Dirichlet边界条件，试验函数乘以\ PHI $乘以PINN近似，并且通过Transfinite插值的泛化用于先验满足的不均匀Dirichlet（必要），Neumann（自然）和Robin边界复杂几何形状的条件。在这样做时，我们消除了与搭配方法中的边界条件满意相关的建模误差，并确保以ritz方法点点到运动可视性。我们在具有仿射和弯曲边界的域上的线性和非线性边值问题的数值解。 1D中的基准问题，用于线性弹性，平面扩散和光束弯曲;考虑了泊松方程的2D，考虑了双音态方程和非线性欧克隆方程。该方法延伸到更高的尺寸，并通过在4D超立方套上解决彼此与均匀的Dirichlet边界条件求泊松问题来展示其使用。该研究提供了用于网眼分析的途径，以在没有域离散化的情况下在确切的几何图形上进行。

已经提出了物理信息神经网络（PINN）来学习偏微分方程（PDE）的解决方案。在PINN中，感兴趣的PDE及其边界条件的残余形式被归为复合目标函数，作为软惩罚。在这里，我们表明，将目标函数制定的这种特定方式是应用于不同种类PDE的PINN方法中严重限制的来源。为了解决这些局限性，我们提出了一个基于约束优化问题公式的多功能框架，在该框架中，我们使用增强的拉格朗日方法（ALM）来限制PDE的解决方案，并具有其边界条件和任何可能可用的高保真数据。我们的方法擅长于具有多保真数据融合的转发和反问题。我们通过将其应用于涉及多维PDE的几个远期和反向问题来证明物理和相等性约束深度学习框架的功效和多功能性。您的框架与最先进的框架相比，与最先进的框架提高了幅度的提高顺序。 ART物理信息的神经网络。

在本文中，我们演示并调查了一些挑战，这些挑战阻碍了使用物理知识的神经网络解决复杂问题的方式。特别是，我们可视化受过训练的模型的损失景观，并在存在物理学的情况下对反向传播梯度进行灵敏度分析。我们的发现表明，现有的方法产生了难以导航的高度非凸损失景观。此外，高阶PDE污染了可能阻碍或防止收敛的反向传播梯度。然后，我们提出了一种新的方法，该方法绕过了高阶PDE操作员的计算并减轻反向传播梯度的污染。为此，我们降低了解决方案搜索空间的维度，并通过非平滑解决方案促进学习问题。我们的配方还提供了一种反馈机制，可帮助我们的模型适应地专注于难以学习的领域的复杂区域。然后，我们通过调整Lagrange乘数方法来提出一个无约束的二重问题。我们运用我们的方法来解决由线性和非线性PDE控制的几个具有挑战性的基准问题。

光谱方法是求解部分微分方程（PDE）的科学计算的武器的重要组成部分。然而，它们的适用性和有效性在很大程度上取决于用于扩展PDE溶液的基础函数的选择。过去十年已经看到，在提供复杂职能的有效陈述方面，深入学习的出现是强烈的竞争者。在目前的工作中，我们提出了一种用谱方法结合深神经网络来解决PDE的方法。特别是，我们使用称为深度操作系统网络（DeepOnet）的深度学习技术，以识别扩展PDE解决方案的候选功能。我们已经设计了一种方法，该方法使用DeepOnet提供的候选功能作为构建具有以下属性的一组功能的起点：i）它们构成基础，2）它们是正常的，3）它们是等级的，类似于傅里叶系列或正交多项式。我们利用了我们定制的基础函数的有利属性，以研究其近似能力，并使用它们来扩展线性和非线性时间依赖性PDE的解决方案。

We propose, Monte Carlo Nonlocal physics-informed neural networks (MC-Nonlocal-PINNs), which is a generalization of MC-fPINNs in \cite{guo2022monte}, for solving general nonlocal models such as integral equations and nonlocal PDEs. Similar as in MC-fPINNs, our MC-Nonlocal-PINNs handle the nonlocal operators in a Monte Carlo way, resulting in a very stable approach for high dimensional problems. We present a variety of test problems, including high dimensional Volterra type integral equations, hypersingular integral equations and nonlocal PDEs, to demonstrate the effectiveness of our approach.

本文涉及以下重要的研究问题。传统上，神经网络采用与线性操作员连接的非线性激活功能，以近似给定的物理现象。它们与激活功能的级联“填充空间”，并调整它们的系数以近似物理现象。我们声称，更好地“填充空间”，具有由异常分析所用的平滑高阶B样条基础功能的线性组合，并利用神经网络来调整线性组合的系数。换句话说，评估使用神经网络用于近似B样条曲线基本功能的系数的可能性以及直接逼近解决方案。 Maziar Raissi等人提出了用神经网络解决微分方程。 2017年通过引入物理信息的神经网络（PINN），自然地将底层物理法编码为先前信息。使用函数的系数近似值用作输入利用神经网络的众所周知的能力是通用函数近似器。实质上，在Pinn方法中，网络近似于给定点的给定场的值。我们呈现一种替代方法，其中水平量被近似为平滑B样条基函数的线性组合，并且神经网络近似于B样条的系数。该研究将DNN的结果与近似B样条函数的线性组合系数进行比较，DNN直接逼近溶液。我们表明，当近似平滑的物理领域时，我们的方法更便宜，更准确。

我们制定了一类由物理驱动的深层变量模型（PDDLVM），以学习参数偏微分方程（PDES）的参数到解决方案（正向）和解决方案到参数（逆）图。我们的公式利用有限元方法（FEM），深神经网络和概率建模来组装一个深层概率框架，在该框架中，向前和逆图通过连贯的不确定性量化近似。我们的概率模型明确合并了基于参数PDE的密度和可训练的解决方案到参数网络，而引入的摊销变异家庭假定参数到解决方案网络，所有这些网络均经过联合培训。此外，所提出的方法不需要任何昂贵的PDE解决方案，并且仅在训练时间内对物理信息进行了信息，该方法允许PDE的实时仿真和培训后的逆问题解决方案的产生，绕开了对FEM操作的需求，以相当的准确性，以便于FEM解决方案。提出的框架进一步允许无缝集成观察到的数据，以解决反问题和构建生成模型。我们证明了方法对非线性泊松问题，具有复杂3D几何形状的弹性壳以及整合通用物理信息信息的神经网络（PINN）体系结构的有效性。与传统的FEM求解器相比，训练后，我们最多达到了三个数量级的速度，同时输出连贯的不确定性估计值。

Deep operator network (DeepONet) has demonstrated great success in various learning tasks, including learning solution operators of partial differential equations. In particular, it provides an efficient approach to predict the evolution equations in a finite time horizon. Nevertheless, the vanilla DeepONet suffers from the issue of stability degradation in the long-time prediction. This paper proposes a {\em transfer-learning} aided DeepONet to enhance the stability. Our idea is to use transfer learning to sequentially update the DeepONets as the surrogates for propagators learned in different time frames. The evolving DeepONets can better track the varying complexities of the evolution equations, while only need to be updated by efficient training of a tiny fraction of the operator networks. Through systematic experiments, we show that the proposed method not only improves the long-time accuracy of DeepONet while maintaining similar computational cost but also substantially reduces the sample size of the training set.

我们提出了一种基于具有子域（CENN）的神经网络的保守能量方法，其中允许通过径向基函数（RBF），特定解决方案神经网络和通用神经网络构成满足没有边界惩罚的基本边界条件的可允许功能。与具有子域的强形式Pinn相比，接口处的损耗术语具有较低的阶数。所提出的方法的优点是效率更高，更准确，更小的近双达，而不是具有子域的强形式Pinn。所提出的方法的另一个优点是它可以基于可允许功能的特殊结构适用于复杂的几何形状。为了分析其性能，所提出的方法宫殿用于模拟代表性PDE，这些实施例包括强不连续性，奇异性，复杂边界，非线性和异质问题。此外，在处理异质问题时，它优于其他方法。