We propose characteristic-informed neural networks (CINN), a simple and efficient machine learning approach for solving forward and inverse problems involving hyperbolic PDEs. Like physics-informed neural networks (PINN), CINN is a meshless machine learning solver with universal approximation capabilities. Unlike PINN, which enforces a PDE softly via a multi-part loss function, CINN encodes the characteristics of the PDE in a general-purpose deep neural network trained with the usual MSE data-fitting regression loss and standard deep learning optimization methods. This leads to faster training and can avoid well-known pathologies of gradient descent optimization of multi-part PINN loss functions. If the characteristic ODEs can be solved exactly, which is true in important cases, the output of a CINN is an exact solution of the PDE, even at initialization, preventing the occurrence of non-physical outputs. Otherwise, the ODEs must be solved approximately, but the CINN is still trained only using a data-fitting loss function. The performance of CINN is assessed empirically in forward and inverse linear hyperbolic problems. These preliminary results indicate that CINN is able to improve on the accuracy of the baseline PINN, while being nearly twice as fast to train and avoiding non-physical solutions. Future extensions to hyperbolic PDE systems and nonlinear PDEs are also briefly discussed.

两个不混溶的流体的位移是多孔介质中流体流动的常见问题。这种问题可以作为局部微分方程（PDE）构成通常被称为Buckley-Leverett（B-L）问题。 B-L问题是一种非线性双曲守护法，众所周知，使用传统的数值方法难以解决。在这里，我们使用物理信息的神经网络（Pinns）使用非凸版通量函数来解决前向双曲线B-L问题。本文的贡献是双重的。首先，我们通过将Oleinik熵条件嵌入神经网络残差来提出一种Pinn方法来解决双曲线B-L问题。我们不使用扩散术语（人工粘度）在残留损失中，但我们依靠PDE的强形式。其次，我们使用ADAM优化器与基于残留的自适应细化（RAR）算法，实现不加权的超低损耗。我们的解决方案方法可以精确地捕获冲击前并产生精确的整体解决方案。我们报告了一个2 x 10-2的L2验证误差和1x 10-6的L2损耗。所提出的方法不需要任何额外的正则化或加权损失以获得这种准确的解决方案。

深入学习被证明是通过物理信息的神经网络（PINNS）求解部分微分方程（PDE）的有效工具。 Pinns将PDE残差嵌入到神经网络的损耗功能中，已成功用于解决各种前向和逆PDE问题。然而，第一代Pinns的一个缺点是它们通常具有许多训练点即使具有有限的准确性。在这里，我们提出了一种新的方法，梯度增强的物理信息的神经网络（GPInns），用于提高Pinns的准确性和培训效率。 GPInns利用PDE残差的梯度信息，并将梯度嵌入损耗功能。我们广泛地测试了GPinns，并证明了GPInns在前进和反向PDE问题中的有效性。我们的数值结果表明，GPInn比贴图更好地表现出较少的训练点。此外，我们将GPIn与基于残留的自适应细化（RAR）的方法组合，一种用于在训练期间自适应地改善训练点分布的方法，以进一步提高GPInn的性能，尤其是具有陡峭梯度的溶液的PDE。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

Solute transport in porous media is relevant to a wide range of applications in hydrogeology, geothermal energy, underground CO2 storage, and a variety of chemical engineering systems. Due to the complexity of solute transport in heterogeneous porous media, traditional solvers require high resolution meshing and are therefore expensive computationally. This study explores the application of a mesh-free method based on deep learning to accelerate the simulation of solute transport. We employ Physics-informed Neural Networks (PiNN) to solve solute transport problems in homogeneous and heterogeneous porous media governed by the advection-dispersion equation. Unlike traditional neural networks that learn from large training datasets, PiNNs only leverage the strong form mathematical models to simultaneously solve for multiple dependent or independent field variables (e.g., pressure and solute concentration fields). In this study, we construct PiNN using a periodic activation function to better represent the complex physical signals (i.e., pressure) and their derivatives (i.e., velocity). Several case studies are designed with the intention of investigating the proposed PiNN's capability to handle different degrees of complexity. A manual hyperparameter tuning method is used to find the best PiNN architecture for each test case. Point-wise error and mean square error (MSE) measures are employed to assess the performance of PiNNs' predictions against the ground truth solutions obtained analytically or numerically using the finite element method. Our findings show that the predictions of PiNN are in good agreement with the ground truth solutions while reducing computational complexity and cost by, at least, three orders of magnitude.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

作为深度学习的典型{Application}，物理知识的神经网络（PINN）{已成功用于找到部分微分方程（PDES）的数值解决方案（PDES），但是如何提高有限准确性仍然是PINN的巨大挑战。 。在这项工作中，我们引入了一种新方法，对称性增强物理学知情的神经网络（SPINN），其中PDE的谎言对称性诱导的不变表面条件嵌入PINN的损失函数中，以提高PINN的准确性。我们分别通过两组十组独立数值实验来测试SPINN的有效性，分别用于热方程，Korteweg-De Vries（KDV）方程和潜在的汉堡{方程式}，这表明Spinn的性能比PINN更好，而PINN的训练点和更简单的结构都更好神经网络。此外，我们讨论了Spinn的计算开销，以PINN的相对计算成本，并表明Spinn的训练时间没有明显的增加，甚至在某些情况下还不是PINN。

在本文中，我们开发了一种物理知识的神经网络（PINN）模型，用于具有急剧干扰初始条件的抛物线问题。作为抛物线问题的一个示例，我们考虑具有点（高斯）源初始条件的对流 - 分散方程（ADE）。在$ d $维的ADE中，在初始条件衰减中的扰动随时间$ t $ as $ t^{ - d/2} $，这可能会在Pinn解决方案中造成较大的近似错误。 ADE溶液中的局部大梯度使该方程的残余效率低下的（PINN）拉丁高立方体采样（常见）。最后，抛物线方程的PINN解对损耗函数中的权重选择敏感。我们提出了一种归一化的ADE形式，其中溶液的初始扰动不会降低幅度，并证明该归一化显着降低了PINN近似误差。我们提出了与通过其他方法选择的权重相比，损耗函数中的权重标准更准确。最后，我们提出了一种自适应采样方案，该方案可显着减少相同数量的采样（残差）点的PINN溶液误差。我们证明了提出的PINN模型的前进，反向和向后ADE的准确性。

当通过差异模型研究流行动力学时，要了解现象并模拟预测场景所需的参数需要微妙的校准阶段，通常会因官方来源报告的稀缺性和不确定性而变得更加挑战。在这种情况下，通过嵌入控制物理现象在学习过程中的差异模型的知识，可以有效解决数据驱动的学习的逆问题，并解决相应的流行病问题，从而使物理知识的神经网络（PINN）（PINN）（PINN）（PINNS）。 。然而，在许多情况下，传染病的空间传播的特征是在多尺度PDE的不同尺度上的个体运动。这反映了与城市和邻近区域内动态有关的区域或领域的异质性。在存在多个量表的情况下，PINN的直接应用通常会导致由于神经网络损失函数中差异模型的多尺度性质而导致的结果差。为了使神经网络相对于小规模统一运行，希望神经网络满足学习过程中的渐近保护（AP）特性。为此，我们考虑了一类新的AP神经网络（APNNS），用于多尺度双曲线传输模型的流行病扩散模型，由于损失函数的适当配方，它能够在系统的不同尺度上均匀地工作。一系列针对不同流行病的数值测试证实了所提出的方法的有效性，在处理多尺度问题时，突出了AP在神经网络中的重要性，尤其是在存在稀疏和部分观察到的系统的情况下。

Navier-Stokes方程是描述液体和空气等流体运动的重要部分微分方程。由于Navier-Stokes方程的重要性，有效的数值方案的发展对科学和工程师都很重要。最近，随着AI技术的开发，已经设计了几种方法来整合深层神经网络，以模拟和推断不可压缩的Navier-Stokes方程所控制的流体动力学，这些方程可以以无网状和可不同的方式加速模拟或推断过程。在本文中，我们指出，现有的深入Navier-Stokes知情方法的能力仅限于处理非平滑或分数方程，这在现实中是两种关键情况。为此，我们提出了\ emph {深入的随机涡流方法}（drvm），该方法将神经网络与随机涡流动力学系统相结合，等效于Navier-Stokes方程。具体而言，随机涡流动力学激发了用于训练神经网络的基于蒙特卡洛的损失函数，从而避免通过自动差异计算衍生物。因此，DRVM不仅可以有效地求解涉及粗糙路径，非差异初始条件和分数运算符的Navier-Stokes方程，而且还继承了基于深度学习的求解器的无网格和可区分优势。我们对凯奇问题，参数求解器学习以及2-D和3-D不可压缩的Navier-Stokes方程的逆问题进行实验。所提出的方法为Navier-Stokes方程的仿真和推断提供了准确的结果。特别是对于包括奇异初始条件的情况，DRVM明显胜过现有的PINN方法。

物理知识的神经网络（PINN）最近成为基于部分微分方程模型的广泛工程和科学问题的有前途的深度学习应用。然而，有证据表明，梯度下降的PINN训练显示出病理和梯度流动动力学的刚度。在本文中，我们建议使用杂交粒子群优化和梯度下降方法来训练PINN。所得的PSO-PINN算法不仅减轻了经过标准梯度下降训练的PINN的不希望的行为，而且还为PINN提供了合奏方法，可以提供具有量化不确定性的强大预测的可能性。线性和非线性PDE模型的实验证明了所提出的方法的功效。

我们制定了一类由物理驱动的深层变量模型（PDDLVM），以学习参数偏微分方程（PDES）的参数到解决方案（正向）和解决方案到参数（逆）图。我们的公式利用有限元方法（FEM），深神经网络和概率建模来组装一个深层概率框架，在该框架中，向前和逆图通过连贯的不确定性量化近似。我们的概率模型明确合并了基于参数PDE的密度和可训练的解决方案到参数网络，而引入的摊销变异家庭假定参数到解决方案网络，所有这些网络均经过联合培训。此外，所提出的方法不需要任何昂贵的PDE解决方案，并且仅在训练时间内对物理信息进行了信息，该方法允许PDE的实时仿真和培训后的逆问题解决方案的产生，绕开了对FEM操作的需求，以相当的准确性，以便于FEM解决方案。提出的框架进一步允许无缝集成观察到的数据，以解决反问题和构建生成模型。我们证明了方法对非线性泊松问题，具有复杂3D几何形状的弹性壳以及整合通用物理信息信息的神经网络（PINN）体系结构的有效性。与传统的FEM求解器相比，训练后，我们最多达到了三个数量级的速度，同时输出连贯的不确定性估计值。

我们引入了一种实用方法，以实施由神经网络（NNS）定义的功能的线性偏微分方程（PDE）约束，直至所需的公差。通过将隐式函数定理的可区分物理和应用中的应用结合到NN模型中，我们开发了可区分的PDE受限的NN层。在培训期间，我们的模型学习了一个功能系列，每个功能都定义了从PDE参数到PDE解决方案的映射。在推理时，该模型通过解决PDE受限的优化问题来发现学到家族中功能的最佳线性组合。我们的方法提供了有关感兴趣领域的连续解决方案，这些解决方案完全满足了所需的物理约束。我们的结果表明，与对无约束目标的训练相比，将硬约束直接纳入NN体系结构的测试错误要低得多。

随着计算能力的增加和机器学习的进步，基于数据驱动的学习方法在解决PDE方面引起了极大的关注。物理知识的神经网络（PINN）最近出现并成功地在各种前进和逆PDES问题中取得了成功，其优异的特性，例如灵活性，无网格解决方案和无监督的培训。但是，它们的收敛速度较慢和相对不准确的解决方案通常会限制其在许多科学和工程领域中的更广泛适用性。本文提出了一种新型的数据驱动的PDES求解器，物理知识的细胞表示（Pixel），优雅地结合了经典数值方法和基于学习的方法。我们采用来自数值方法的网格结构，以提高准确性和收敛速度并克服PINN中呈现的光谱偏差。此外，所提出的方法在PINN中具有相同的好处，例如，使用相同的优化框架来解决前进和逆PDE问题，并很容易通过现代自动分化技术强制执行PDE约束。我们为原始Pinn所努力的各种具有挑战性的PDE提供了实验结果，并表明像素达到了快速收敛速度和高精度。

科学机器学习（Sciml）的出现在思路科学领域开辟了一个新的领域，通过在基于物理和数据建模的界面的界面中开发方法。为此，近年来介绍了物理知识的神经网络（Pinns），通过在所谓的焊点上纳入物理知识来应对培训数据的稀缺。在这项工作中，我们研究了Pinns关于用于强制基于物理惩罚术语的配偶数量的预测性能。我们表明Pinns可能会失败，学习通过定义来满足物理惩罚术语的琐碎解决方案。我们制定了一种替代的采样方法和新的惩罚术语，使我们能够在具有竞争性结果的数据稀缺设置中纠正Pinns中的核心问题，同时减少最多80 \％的基准问题所需的搭配数量。

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

在本文中，我们演示并调查了一些挑战，这些挑战阻碍了使用物理知识的神经网络解决复杂问题的方式。特别是，我们可视化受过训练的模型的损失景观，并在存在物理学的情况下对反向传播梯度进行灵敏度分析。我们的发现表明，现有的方法产生了难以导航的高度非凸损失景观。此外，高阶PDE污染了可能阻碍或防止收敛的反向传播梯度。然后，我们提出了一种新的方法，该方法绕过了高阶PDE操作员的计算并减轻反向传播梯度的污染。为此，我们降低了解决方案搜索空间的维度，并通过非平滑解决方案促进学习问题。我们的配方还提供了一种反馈机制，可帮助我们的模型适应地专注于难以学习的领域的复杂区域。然后，我们通过调整Lagrange乘数方法来提出一个无约束的二重问题。我们运用我们的方法来解决由线性和非线性PDE控制的几个具有挑战性的基准问题。

We investigate the parameterization of deep neural networks that by design satisfy the continuity equation, a fundamental conservation law. This is enabled by the observation that any solution of the continuity equation can be represented as a divergence-free vector field. We hence propose building divergence-free neural networks through the concept of differential forms, and with the aid of automatic differentiation, realize two practical constructions. As a result, we can parameterize pairs of densities and vector fields that always exactly satisfy the continuity equation, foregoing the need for extra penalty methods or expensive numerical simulation. Furthermore, we prove these models are universal and so can be used to represent any divergence-free vector field. Finally, we experimentally validate our approaches by computing neural network-based solutions to fluid equations, solving for the Hodge decomposition, and learning dynamical optimal transport maps.

神经网络可用作PDE模型的代理。它们可以通过惩罚潜在方程或在训练期间损失函数中的物理性质保护来进行物理意识。电流方法允许另外尊重来自培训过程中的数值模拟或实验的数据。然而，该数据经常昂贵，因此只能用于复杂模型。在这项工作中，我们调查了物理感知模型如何富有计算方式，而是来自其他代理模型的数据，如减少阶模型（ROM）。为了避免相信过于低保的代理解决方案，我们开发一种对不精确数据中的错误敏感的方法。作为概念证明，我们考虑一维波浪方程，并表明，当纳入来自ROM的不精确数据时，训练精度增加了两个数量级。