物理知识的神经网络（PINNS）最近由于解决前进和反向问题的能力而受到了很多关注。为了训练与PINN相关的深层神经网络，通常会使用不同损失项的加权总和构建总损耗函数，然后尝试将其最小化。这种方法通常会成为解决刚性方程式的问题，因为它不能考虑自适应增量。许多研究报告说，PINN的性能不佳及其在模拟僵硬的普通差分条件（ODE）条件下模拟僵硬的化学活动问题方面的挑战。研究表明，刚度是PINN在模拟刚性动力学系统中失败的主要原因。在这里，我们通过提出减少损失函数的弱形式来解决这个问题，这导致了新的PINN结构（进一步称为还原Pinn），该结构利用降低的集成方法来使Pinn能够求解僵硬的化学动力学。所提出的还原细菌可以应用于涉及僵硬动力学的各种反应扩散系统。为此，我们将初始价值问题（IVP）转换为它们的等效积分形式，并使用物理知识的神经网络求解所得的积分方程。在我们派生的基于积分的优化过程中，只有一个术语，而没有明确合并与普通微分方程（ODE）和初始条件（ICS）相关的损失项。为了说明减少细菌的功能，我们用它来模拟多个僵硬/轻度的二阶频率。我们表明，还原的Pinn可准确捕获刚性标量颂歌的溶液。我们还针对线性ODES的硬质系统验证了还原的Pinn。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

Solute transport in porous media is relevant to a wide range of applications in hydrogeology, geothermal energy, underground CO2 storage, and a variety of chemical engineering systems. Due to the complexity of solute transport in heterogeneous porous media, traditional solvers require high resolution meshing and are therefore expensive computationally. This study explores the application of a mesh-free method based on deep learning to accelerate the simulation of solute transport. We employ Physics-informed Neural Networks (PiNN) to solve solute transport problems in homogeneous and heterogeneous porous media governed by the advection-dispersion equation. Unlike traditional neural networks that learn from large training datasets, PiNNs only leverage the strong form mathematical models to simultaneously solve for multiple dependent or independent field variables (e.g., pressure and solute concentration fields). In this study, we construct PiNN using a periodic activation function to better represent the complex physical signals (i.e., pressure) and their derivatives (i.e., velocity). Several case studies are designed with the intention of investigating the proposed PiNN's capability to handle different degrees of complexity. A manual hyperparameter tuning method is used to find the best PiNN architecture for each test case. Point-wise error and mean square error (MSE) measures are employed to assess the performance of PiNNs' predictions against the ground truth solutions obtained analytically or numerically using the finite element method. Our findings show that the predictions of PiNN are in good agreement with the ground truth solutions while reducing computational complexity and cost by, at least, three orders of magnitude.

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

科学和工程学中的一个基本问题是设计最佳的控制政策，这些政策将给定的系统转向预期的结果。这项工作提出了同时求解给定系统状态和最佳控制信号的控制物理信息的神经网络（控制PINNS），在符合基础物理定律的一个阶段框架中。先前的方法使用两个阶段的框架，该框架首先建模然后按顺序控制系统。相比之下，控制PINN将所需的最佳条件纳入其体系结构和损耗函数中。通过解决以下开环的最佳控制问题来证明控制PINN的成功：（i）一个分析问题，（ii）一维热方程，以及（iii）二维捕食者捕食者问题。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

深度学习方法的应用加快了挑战性电流问题的分辨率，最近显示出令人鼓舞的结果。但是，电力系统动力学不是快照，稳态操作。必须考虑这些动力学，以确保这些模型提供的最佳解决方案遵守实用的动力约束，避免频率波动和网格不稳定性。不幸的是，由于其高计算成本，基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战，本文介绍了一种机器学习方法，以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络（GPINNS），并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力，以及不确定的参数，例如惯性和阻尼，以展示其在一系列电力系统应用中的潜力。

在本文中，我们开发了一种物理知识的神经网络（PINN）模型，用于具有急剧干扰初始条件的抛物线问题。作为抛物线问题的一个示例，我们考虑具有点（高斯）源初始条件的对流 - 分散方程（ADE）。在$ d $维的ADE中，在初始条件衰减中的扰动随时间$ t $ as $ t^{ - d/2} $，这可能会在Pinn解决方案中造成较大的近似错误。 ADE溶液中的局部大梯度使该方程的残余效率低下的（PINN）拉丁高立方体采样（常见）。最后，抛物线方程的PINN解对损耗函数中的权重选择敏感。我们提出了一种归一化的ADE形式，其中溶液的初始扰动不会降低幅度，并证明该归一化显着降低了PINN近似误差。我们提出了与通过其他方法选择的权重相比，损耗函数中的权重标准更准确。最后，我们提出了一种自适应采样方案，该方案可显着减少相同数量的采样（残差）点的PINN溶液误差。我们证明了提出的PINN模型的前进，反向和向后ADE的准确性。

我们提出了一种基于物理知识的随机投影神经网络的数值方法，用于解决常微分方程（ODES）的初始值问题（IVPS）的解决方案，重点是僵硬的问题。我们使用具有径向基函数的单个隐藏层来解决一个极端学习机，其具有宽度均匀分布的随机变量，而输入和隐藏层之间的权重的值设置为等于1。通过构造非线性代数方程的系统来获得IVPS的数值解决方案，该系统由高斯-Nythto方法通过Gauss-Newton方法解决了输出权重，以调整集成时间间隔的简单自适应方案。为了评估其性能，我们应用了四个基准僵硬IVPS解决方案的提议方法，即预热罗宾逊，梵德，罗伯和雇用问题。我们的方法与基于Dormand-Prince对的自适应跳动-Kutta方法进行比较，以及基于数值差分公式的可变步骤可变序列多步解算器，如\ texttt {ode45}和\ texttt {ode15s}所实现的MATLAB功能分别。我们表明所提出的方案产生良好的近似精度，从而优于\ texttt {ode45}和\ texttt {ode15s}，尤其是在出现陡峭梯度的情况下。此外，我们的方法的计算时间与两种Matlab溶剂的计算时间用于实际目的。

We propose characteristic-informed neural networks (CINN), a simple and efficient machine learning approach for solving forward and inverse problems involving hyperbolic PDEs. Like physics-informed neural networks (PINN), CINN is a meshless machine learning solver with universal approximation capabilities. Unlike PINN, which enforces a PDE softly via a multi-part loss function, CINN encodes the characteristics of the PDE in a general-purpose deep neural network trained with the usual MSE data-fitting regression loss and standard deep learning optimization methods. This leads to faster training and can avoid well-known pathologies of gradient descent optimization of multi-part PINN loss functions. If the characteristic ODEs can be solved exactly, which is true in important cases, the output of a CINN is an exact solution of the PDE, even at initialization, preventing the occurrence of non-physical outputs. Otherwise, the ODEs must be solved approximately, but the CINN is still trained only using a data-fitting loss function. The performance of CINN is assessed empirically in forward and inverse linear hyperbolic problems. These preliminary results indicate that CINN is able to improve on the accuracy of the baseline PINN, while being nearly twice as fast to train and avoiding non-physical solutions. Future extensions to hyperbolic PDE systems and nonlinear PDEs are also briefly discussed.

Given ample experimental data from a system governed by differential equations, it is possible to use deep learning techniques to construct the underlying differential operators. In this work we perform symbolic discovery of differential operators in a situation where there is sparse experimental data. This small data regime in machine learning can be made tractable by providing our algorithms with prior information about the underlying dynamics. Physics Informed Neural Networks (PINNs) have been very successful in this regime (reconstructing entire ODE solutions using only a single point or entire PDE solutions with very few measurements of the initial condition). We modify the PINN approach by adding a neural network that learns a representation of unknown hidden terms in the differential equation. The algorithm yields both a surrogate solution to the differential equation and a black-box representation of the hidden terms. These hidden term neural networks can then be converted into symbolic equations using symbolic regression techniques like AI Feynman. In order to achieve convergence of these neural networks, we provide our algorithms with (noisy) measurements of both the initial condition as well as (synthetic) experimental data obtained at later times. We demonstrate strong performance of this approach even when provided with very few measurements of noisy data in both the ODE and PDE regime.

在本文中，我们利用了最近的物理信息神经网络（PINN）的进步，并开发了一种基于通用的Pinn的框架，以评估多状态系统（MSS）的可靠性。提议的方法包括两个主要步骤。在第一步中，我们将MS的可靠性评估作为使用Pinn框架的机器学习问题。构建具有两个单独损耗组的前馈神经网络以编码由MS中的常微分方程（ODES）管理的初始条件和状态转换。接下来，从多任务学习的角度来看，我们解决了Pinn中的背部传播梯度大小的高不平衡问题。特别是，我们将损失函数中的每个元素视为个别任务，采用名为Projecting冲突渐变（PCGRAD）的梯度手术方法，其中任务的渐变将投影到具有冲突梯度的任何其他任务的常规平面上。梯度投影操作显着降低了训练销时梯度干扰引起的有害影响，从而将PINN的收敛速度加速到高精度解决方案到MSS可靠性评估。通过提出的基于Pinn的框架，我们在几乎不受时间或依赖状态转换和系统尺度从小到介质时，研究其对MSS可靠性评估的应用程序的应用。结果表明，基于Pinn的框架在MSS可靠性评估中显示了通用和显着性能，并且Pinn中的PCGrad掺入了溶液质量和收敛速度的大量提高。

深入学习被证明是通过物理信息的神经网络（PINNS）求解部分微分方程（PDE）的有效工具。 Pinns将PDE残差嵌入到神经网络的损耗功能中，已成功用于解决各种前向和逆PDE问题。然而，第一代Pinns的一个缺点是它们通常具有许多训练点即使具有有限的准确性。在这里，我们提出了一种新的方法，梯度增强的物理信息的神经网络（GPInns），用于提高Pinns的准确性和培训效率。 GPInns利用PDE残差的梯度信息，并将梯度嵌入损耗功能。我们广泛地测试了GPinns，并证明了GPInns在前进和反向PDE问题中的有效性。我们的数值结果表明，GPInn比贴图更好地表现出较少的训练点。此外，我们将GPIn与基于残留的自适应细化（RAR）的方法组合，一种用于在训练期间自适应地改善训练点分布的方法，以进一步提高GPInn的性能，尤其是具有陡峭梯度的溶液的PDE。

本文涉及以下重要的研究问题。传统上，神经网络采用与线性操作员连接的非线性激活功能，以近似给定的物理现象。它们与激活功能的级联“填充空间”，并调整它们的系数以近似物理现象。我们声称，更好地“填充空间”，具有由异常分析所用的平滑高阶B样条基础功能的线性组合，并利用神经网络来调整线性组合的系数。换句话说，评估使用神经网络用于近似B样条曲线基本功能的系数的可能性以及直接逼近解决方案。 Maziar Raissi等人提出了用神经网络解决微分方程。 2017年通过引入物理信息的神经网络（PINN），自然地将底层物理法编码为先前信息。使用函数的系数近似值用作输入利用神经网络的众所周知的能力是通用函数近似器。实质上，在Pinn方法中，网络近似于给定点的给定场的值。我们呈现一种替代方法，其中水平量被近似为平滑B样条基函数的线性组合，并且神经网络近似于B样条的系数。该研究将DNN的结果与近似B样条函数的线性组合系数进行比较，DNN直接逼近溶液。我们表明，当近似平滑的物理领域时，我们的方法更便宜，更准确。

物理信息神经网络（PINN）能够找到给定边界值问题的解决方案。我们使用有限元方法（FEM）的几个想法来增强工程问题中现有的PINN的性能。当前工作的主要贡献是促进使用主要变量的空间梯度作为分离神经网络的输出。后来，具有较高衍生物的强形式应用于主要变量的空间梯度作为物理约束。此外，该问题的所谓能量形式被应用于主要变量，作为训练的附加约束。所提出的方法仅需要一阶导数来构建物理损失函数。我们讨论了为什么通过不同模型之间的各种比较，这一点是有益的。基于配方混合的PINN和FE方法具有一些相似之处。前者利用神经网络的复杂非线性插值将PDE及其能量形式最小化及其能量形式，而后者则在元素节点借助Shape函数在元素节点上使用相同。我们专注于异质固体，以显示深学习在不同边界条件下在复杂环境中预测解决方案的能力。针对FEM的解决方案对两个原型问题的解决方案进行了检查：弹性和泊松方程（稳态扩散问题）。我们得出的结论是，通过正确设计PINN中的网络体系结构，深度学习模型有可能在没有其他来源的任何可用初始数据中解决异质域中的未知数。最后，关于Pinn和FEM的组合进行了讨论，以在未来的开发中快速准确地设计复合材料。

科学机器学习（Sciml）的出现在思路科学领域开辟了一个新的领域，通过在基于物理和数据建模的界面的界面中开发方法。为此，近年来介绍了物理知识的神经网络（Pinns），通过在所谓的焊点上纳入物理知识来应对培训数据的稀缺。在这项工作中，我们研究了Pinns关于用于强制基于物理惩罚术语的配偶数量的预测性能。我们表明Pinns可能会失败，学习通过定义来满足物理惩罚术语的琐碎解决方案。我们制定了一种替代的采样方法和新的惩罚术语，使我们能够在具有竞争性结果的数据稀缺设置中纠正Pinns中的核心问题，同时减少最多80 \％的基准问题所需的搭配数量。

在科学和工程应用中，通常需要反复解决类似的计算问题。在这种情况下，我们可以利用先前解决的问题实例中的数据来提高查找后续解决方案的效率。这提供了一个独特的机会，可以将机器学习（尤其是元学习）和科学计算相结合。迄今为止，文献中已经提出了各种此类域特异性方法，但是设计这些方法的通用方法仍然不足。在本文中，我们通过制定一个通用框架来描述这些问题，并提出一种基于梯度的算法来以统一的方式解决这些问题。作为这种方法的说明，我们研究了迭代求解器的适应性参数的自适应生成，以加速微分方程的溶液。我们通过理论分析和数值实验来证明我们方法的性能和多功能性，包括应用于不可压缩流量模拟的应用以及参数估计的逆问题。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

Navier-Stokes方程是描述液体和空气等流体运动的重要部分微分方程。由于Navier-Stokes方程的重要性，有效的数值方案的发展对科学和工程师都很重要。最近，随着AI技术的开发，已经设计了几种方法来整合深层神经网络，以模拟和推断不可压缩的Navier-Stokes方程所控制的流体动力学，这些方程可以以无网状和可不同的方式加速模拟或推断过程。在本文中，我们指出，现有的深入Navier-Stokes知情方法的能力仅限于处理非平滑或分数方程，这在现实中是两种关键情况。为此，我们提出了\ emph {深入的随机涡流方法}（drvm），该方法将神经网络与随机涡流动力学系统相结合，等效于Navier-Stokes方程。具体而言，随机涡流动力学激发了用于训练神经网络的基于蒙特卡洛的损失函数，从而避免通过自动差异计算衍生物。因此，DRVM不仅可以有效地求解涉及粗糙路径，非差异初始条件和分数运算符的Navier-Stokes方程，而且还继承了基于深度学习的求解器的无网格和可区分优势。我们对凯奇问题，参数求解器学习以及2-D和3-D不可压缩的Navier-Stokes方程的逆问题进行实验。所提出的方法为Navier-Stokes方程的仿真和推断提供了准确的结果。特别是对于包括奇异初始条件的情况，DRVM明显胜过现有的PINN方法。

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。