Physics-informed neural networks (PINNs) constitute a flexible approach to both finding solutions and identifying parameters of partial differential equations. Most works on the topic assume noiseless data, or data contaminated by weak Gaussian noise. We show that the standard PINN framework breaks down in case of non-Gaussian noise. We give a way of resolving this fundamental issue and we propose to jointly train an energy-based model (EBM) to learn the correct noise distribution. We illustrate the improved performance of our approach using multiple examples.

深入学习被证明是通过物理信息的神经网络（PINNS）求解部分微分方程（PDE）的有效工具。 Pinns将PDE残差嵌入到神经网络的损耗功能中，已成功用于解决各种前向和逆PDE问题。然而，第一代Pinns的一个缺点是它们通常具有许多训练点即使具有有限的准确性。在这里，我们提出了一种新的方法，梯度增强的物理信息的神经网络（GPInns），用于提高Pinns的准确性和培训效率。 GPInns利用PDE残差的梯度信息，并将梯度嵌入损耗功能。我们广泛地测试了GPinns，并证明了GPInns在前进和反向PDE问题中的有效性。我们的数值结果表明，GPInn比贴图更好地表现出较少的训练点。此外，我们将GPIn与基于残留的自适应细化（RAR）的方法组合，一种用于在训练期间自适应地改善训练点分布的方法，以进一步提高GPInn的性能，尤其是具有陡峭梯度的溶液的PDE。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

我们制定了一类由物理驱动的深层变量模型（PDDLVM），以学习参数偏微分方程（PDES）的参数到解决方案（正向）和解决方案到参数（逆）图。我们的公式利用有限元方法（FEM），深神经网络和概率建模来组装一个深层概率框架，在该框架中，向前和逆图通过连贯的不确定性量化近似。我们的概率模型明确合并了基于参数PDE的密度和可训练的解决方案到参数网络，而引入的摊销变异家庭假定参数到解决方案网络，所有这些网络均经过联合培训。此外，所提出的方法不需要任何昂贵的PDE解决方案，并且仅在训练时间内对物理信息进行了信息，该方法允许PDE的实时仿真和培训后的逆问题解决方案的产生，绕开了对FEM操作的需求，以相当的准确性，以便于FEM解决方案。提出的框架进一步允许无缝集成观察到的数据，以解决反问题和构建生成模型。我们证明了方法对非线性泊松问题，具有复杂3D几何形状的弹性壳以及整合通用物理信息信息的神经网络（PINN）体系结构的有效性。与传统的FEM求解器相比，训练后，我们最多达到了三个数量级的速度，同时输出连贯的不确定性估计值。

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

Given ample experimental data from a system governed by differential equations, it is possible to use deep learning techniques to construct the underlying differential operators. In this work we perform symbolic discovery of differential operators in a situation where there is sparse experimental data. This small data regime in machine learning can be made tractable by providing our algorithms with prior information about the underlying dynamics. Physics Informed Neural Networks (PINNs) have been very successful in this regime (reconstructing entire ODE solutions using only a single point or entire PDE solutions with very few measurements of the initial condition). We modify the PINN approach by adding a neural network that learns a representation of unknown hidden terms in the differential equation. The algorithm yields both a surrogate solution to the differential equation and a black-box representation of the hidden terms. These hidden term neural networks can then be converted into symbolic equations using symbolic regression techniques like AI Feynman. In order to achieve convergence of these neural networks, we provide our algorithms with (noisy) measurements of both the initial condition as well as (synthetic) experimental data obtained at later times. We demonstrate strong performance of this approach even when provided with very few measurements of noisy data in both the ODE and PDE regime.

We propose characteristic-informed neural networks (CINN), a simple and efficient machine learning approach for solving forward and inverse problems involving hyperbolic PDEs. Like physics-informed neural networks (PINN), CINN is a meshless machine learning solver with universal approximation capabilities. Unlike PINN, which enforces a PDE softly via a multi-part loss function, CINN encodes the characteristics of the PDE in a general-purpose deep neural network trained with the usual MSE data-fitting regression loss and standard deep learning optimization methods. This leads to faster training and can avoid well-known pathologies of gradient descent optimization of multi-part PINN loss functions. If the characteristic ODEs can be solved exactly, which is true in important cases, the output of a CINN is an exact solution of the PDE, even at initialization, preventing the occurrence of non-physical outputs. Otherwise, the ODEs must be solved approximately, but the CINN is still trained only using a data-fitting loss function. The performance of CINN is assessed empirically in forward and inverse linear hyperbolic problems. These preliminary results indicate that CINN is able to improve on the accuracy of the baseline PINN, while being nearly twice as fast to train and avoiding non-physical solutions. Future extensions to hyperbolic PDE systems and nonlinear PDEs are also briefly discussed.

科学机器学习（Sciml）的出现在思路科学领域开辟了一个新的领域，通过在基于物理和数据建模的界面的界面中开发方法。为此，近年来介绍了物理知识的神经网络（Pinns），通过在所谓的焊点上纳入物理知识来应对培训数据的稀缺。在这项工作中，我们研究了Pinns关于用于强制基于物理惩罚术语的配偶数量的预测性能。我们表明Pinns可能会失败，学习通过定义来满足物理惩罚术语的琐碎解决方案。我们制定了一种替代的采样方法和新的惩罚术语，使我们能够在具有竞争性结果的数据稀缺设置中纠正Pinns中的核心问题，同时减少最多80 \％的基准问题所需的搭配数量。

物理信息的神经网络（PINN）已证明是解决部分微分方程（PDE）的前进和反问题的有效工具。 PINN将PDE嵌入神经网络的丢失中，并在一组散射的残留点上评估该PDE损失。这些点的分布对于PINN的性能非常重要。但是，在现有的针对PINN的研究中，仅使用了一些简单的残留点抽样方法。在这里，我们介绍了两类采样的全面研究：非自适应均匀抽样和适应性非均匀抽样。我们考虑了六个均匀的采样，包括（1）稳定的均匀网格，（2）均匀随机采样，（3）拉丁语超立方体采样，（4）Halton序列，（5）Hammersley序列和（6）Sobol序列。我们还考虑了用于均匀抽样的重采样策略。为了提高采样效率和PINN的准确性，我们提出了两种新的基于残余的自适应抽样方法：基于残留的自适应分布（RAD）和基于残留的自适应改进，并具有分布（RAR-D），它们会动态地改善基于训练过程中PDE残差的剩余点。因此，我们总共考虑了10种不同的采样方法，包括6种非自适应均匀抽样，重采样的均匀抽样，两种提议的自适应抽样和现有的自适应抽样。我们广泛测试了这些抽样方法在许多设置中的四个正向问题和两个反问题的性能。我们在本研究中介绍的数值结果总结了6000多个PINN的模拟。我们表明，RAD和RAR-D的提议的自适应采样方法显着提高了PINN的准确性，其残留点较少。在这项研究中获得的结果也可以用作选择抽样方法的实用指南。

了解添加剂制造（AM）过程的热行为对于增强质量控制和实现定制过程设计至关重要。大多数纯粹基于物理的计算模型都有密集的计算成本，因此不适合在线控制和迭代设计应用程序。数据驱动的模型利用最新开发的计算工具可以作为更有效的替代品，但通常会在大量仿真数据上进行培训，并且通常无法有效使用小但高质量的实验数据。在这项工作中，我们使用物理知识的神经网络开发了AM过程的基于混合物理学的热建模方法。具体而言，通过红外摄像机测量的部分观察到的温度数据与物理定律结合在一起，以预测全场温度病史并发现未知的材料和过程参数。在数值和实验示例中，添加辅助训练数据并使用转移学习技术在训练效率和预测准确性方面的有效性，以及具有部分观察到的数据的未知参数的能力。结果表明，混合热模型可以有效地识别未知参数并准确捕获全田温度，因此它具有在AM的迭代过程设计和实时过程控制中的潜力。

神经网络可用作PDE模型的代理。它们可以通过惩罚潜在方程或在训练期间损失函数中的物理性质保护来进行物理意识。电流方法允许另外尊重来自培训过程中的数值模拟或实验的数据。然而，该数据经常昂贵，因此只能用于复杂模型。在这项工作中，我们调查了物理感知模型如何富有计算方式，而是来自其他代理模型的数据，如减少阶模型（ROM）。为了避免相信过于低保的代理解决方案，我们开发一种对不精确数据中的错误敏感的方法。作为概念证明，我们考虑一维波浪方程，并表明，当纳入来自ROM的不精确数据时，训练精度增加了两个数量级。

物理信息神经网络（PINN）的自适应训练方法需要专门的构造，以分配每个训练样本分配的权重分布。有效地寻求这种最佳的权重分布并不是一项简单的任务，大多数现有方法基于近似值的全部分布或最大值选择自适应权重。在本文中，我们表明，用于训练效率的样品自适应选择中的瓶颈是数值残差的尾巴分布的行为。因此，我们提出了剩余的定量调整（RQA）方法，可为每个训练样本提供更好的体重选择。最初将权重设置与剩余的$ p $ th功率成正比之后，我们的RQA方法重新分配了所有高于$ q $ - Quantile（例如$ 90 \％$）的所有权重，以便中位数，因此权重遵循分数 - 从残差得出的调整分布。借助迭代的重新加权技术，RQA也非常易于实现。实验结果表明，所提出的方法可以在各种偏微分方程（PDE）问题上胜过几种自适应方法。

Partial differential equations (PDEs) are important tools to model physical systems, and including them into machine learning models is an important way of incorporating physical knowledge. Given any system of linear PDEs with constant coefficients, we propose a family of Gaussian process (GP) priors, which we call EPGP, such that all realizations are exact solutions of this system. We apply the Ehrenpreis-Palamodov fundamental principle, which works like a non-linear Fourier transform, to construct GP kernels mirroring standard spectral methods for GPs. Our approach can infer probable solutions of linear PDE systems from any data such as noisy measurements, or initial and boundary conditions. Constructing EPGP-priors is algorithmic, generally applicable, and comes with a sparse version (S-EPGP) that learns the relevant spectral frequencies and works better for big data sets. We demonstrate our approach on three families of systems of PDE, the heat equation, wave equation, and Maxwell's equations, where we improve upon the state of the art in computation time and precision, in some experiments by several orders of magnitude.

We apply Physics Informed Neural Networks (PINNs) to the problem of wildfire fire-front modelling. The PINN is an approach that integrates a differential equation into the optimisation loss function of a neural network to guide the neural network to learn the physics of a problem. We apply the PINN to the level-set equation, which is a Hamilton-Jacobi partial differential equation that models a fire-front with the zero-level set. This results in a PINN that simulates a fire-front as it propagates through a spatio-temporal domain. We demonstrate the agility of the PINN to learn physical properties of a fire under extreme changes in external conditions (such as wind) and show that this approach encourages continuity of the PINN's solution across time. Furthermore, we demonstrate how data assimilation and uncertainty quantification can be incorporated into the PINN in the wildfire context. This is significant contribution to wildfire modelling as the level-set method -- which is a standard solver to the level-set equation -- does not naturally provide this capability.

在本文中，我们利用了最近的物理信息神经网络（PINN）的进步，并开发了一种基于通用的Pinn的框架，以评估多状态系统（MSS）的可靠性。提议的方法包括两个主要步骤。在第一步中，我们将MS的可靠性评估作为使用Pinn框架的机器学习问题。构建具有两个单独损耗组的前馈神经网络以编码由MS中的常微分方程（ODES）管理的初始条件和状态转换。接下来，从多任务学习的角度来看，我们解决了Pinn中的背部传播梯度大小的高不平衡问题。特别是，我们将损失函数中的每个元素视为个别任务，采用名为Projecting冲突渐变（PCGRAD）的梯度手术方法，其中任务的渐变将投影到具有冲突梯度的任何其他任务的常规平面上。梯度投影操作显着降低了训练销时梯度干扰引起的有害影响，从而将PINN的收敛速度加速到高精度解决方案到MSS可靠性评估。通过提出的基于Pinn的框架，我们在几乎不受时间或依赖状态转换和系统尺度从小到介质时，研究其对MSS可靠性评估的应用程序的应用。结果表明，基于Pinn的框架在MSS可靠性评估中显示了通用和显着性能，并且Pinn中的PCGrad掺入了溶液质量和收敛速度的大量提高。

随着计算能力的增加和机器学习的进步，基于数据驱动的学习方法在解决PDE方面引起了极大的关注。物理知识的神经网络（PINN）最近出现并成功地在各种前进和逆PDES问题中取得了成功，其优异的特性，例如灵活性，无网格解决方案和无监督的培训。但是，它们的收敛速度较慢和相对不准确的解决方案通常会限制其在许多科学和工程领域中的更广泛适用性。本文提出了一种新型的数据驱动的PDES求解器，物理知识的细胞表示（Pixel），优雅地结合了经典数值方法和基于学习的方法。我们采用来自数值方法的网格结构，以提高准确性和收敛速度并克服PINN中呈现的光谱偏差。此外，所提出的方法在PINN中具有相同的好处，例如，使用相同的优化框架来解决前进和逆PDE问题，并很容易通过现代自动分化技术强制执行PDE约束。我们为原始Pinn所努力的各种具有挑战性的PDE提供了实验结果，并表明像素达到了快速收敛速度和高精度。

科学和工程学中的一个基本问题是设计最佳的控制政策，这些政策将给定的系统转向预期的结果。这项工作提出了同时求解给定系统状态和最佳控制信号的控制物理信息的神经网络（控制PINNS），在符合基础物理定律的一个阶段框架中。先前的方法使用两个阶段的框架，该框架首先建模然后按顺序控制系统。相比之下，控制PINN将所需的最佳条件纳入其体系结构和损耗函数中。通过解决以下开环的最佳控制问题来证明控制PINN的成功：（i）一个分析问题，（ii）一维热方程，以及（iii）二维捕食者捕食者问题。

作为深度学习的典型{Application}，物理知识的神经网络（PINN）{已成功用于找到部分微分方程（PDES）的数值解决方案（PDES），但是如何提高有限准确性仍然是PINN的巨大挑战。 。在这项工作中，我们引入了一种新方法，对称性增强物理学知情的神经网络（SPINN），其中PDE的谎言对称性诱导的不变表面条件嵌入PINN的损失函数中，以提高PINN的准确性。我们分别通过两组十组独立数值实验来测试SPINN的有效性，分别用于热方程，Korteweg-De Vries（KDV）方程和潜在的汉堡{方程式}，这表明Spinn的性能比PINN更好，而PINN的训练点和更简单的结构都更好神经网络。此外，我们讨论了Spinn的计算开销，以PINN的相对计算成本，并表明Spinn的训练时间没有明显的增加，甚至在某些情况下还不是PINN。

深度学习方法的应用加快了挑战性电流问题的分辨率，最近显示出令人鼓舞的结果。但是，电力系统动力学不是快照，稳态操作。必须考虑这些动力学，以确保这些模型提供的最佳解决方案遵守实用的动力约束，避免频率波动和网格不稳定性。不幸的是，由于其高计算成本，基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战，本文介绍了一种机器学习方法，以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络（GPINNS），并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力，以及不确定的参数，例如惯性和阻尼，以展示其在一系列电力系统应用中的潜力。

数据驱动的PDE的发现最近取得了巨大进展，许多规范的PDE已成功地发现了概念验证。但是，在没有事先参考的情况下，确定最合适的PDE在实际应用方面仍然具有挑战性。在这项工作中，提出了物理信息的信息标准（PIC），以合成发现的PDE的简约和精度。所提出的PIC可在不同的物理场景中七个规范的PDE上获得最新的鲁棒性，并稀疏的数据，这证实了其处理困难情况的能力。该图片还用于从实际的物理场景中从微观模拟数据中发现未开采的宏观管理方程。结果表明，发现的宏观PDE精确且简约，并满足基础的对称性，从而有助于对物理过程的理解和模拟。 PIC的命题可以在发现更广泛的物理场景中发现未透视的管理方程式中PDE发现的实际应用。