科学机器学习已成功应用于计算物理中的逆问题和PDE发现。一个警告有关当前方法的需要是需要大量的（“清洁”）数据，以表征完整的系统响应并发现底层物理模型。贝叶斯方法可能特别有希望克服这些挑战，因为它们对稀疏和嘈杂数据的负面影响自然敏感。在本文中，我们建议使用贝叶斯神经网络（BNN），以便：1）从测量数据（例如，温度，速度场等）恢复完整的系统状态。我们使用Hamiltonian Monte-Carlo来对深层和致密的BNN的后部分布进行样本，并表明可以精确地捕获不同复杂性的物理学，而不会过度拟合。 2）恢复实例化管理物理系统的底层部分微分方程（PDE）的参数。使用训练的BNN作为系统响应的代理，我们生成可能包括控制观察到的系统的潜在PDE的衍生物的数据集，然后在空间和时间的连续衍生物之间执行顺序阈值贝叶斯线性回归（StBLR） ，恢复原始PDE参数。我们利用了BNN输出内的置信区间，并将空间衍生物累积方差引入了Stblr可能性，以减轻高度不确定的衍生数据点的影响;因此，允许更准确的参数发现。我们在应用物理和非线性动力学中逐渐展示了我们的方法。

Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.

In this paper, we introduce PDE-LEARN, a novel PDE discovery algorithm that can identify governing partial differential equations (PDEs) directly from noisy, limited measurements of a physical system of interest. PDE-LEARN uses a Rational Neural Network, $U$, to approximate the system response function and a sparse, trainable vector, $\xi$, to characterize the hidden PDE that the system response function satisfies. Our approach couples the training of $U$ and $\xi$ using a loss function that (1) makes $U$ approximate the system response function, (2) encapsulates the fact that $U$ satisfies a hidden PDE that $\xi$ characterizes, and (3) promotes sparsity in $\xi$ using ideas from iteratively reweighted least-squares. Further, PDE-LEARN can simultaneously learn from several data sets, allowing it to incorporate results from multiple experiments. This approach yields a robust algorithm to discover PDEs directly from realistic scientific data. We demonstrate the efficacy of PDE-LEARN by identifying several PDEs from noisy and limited measurements.

PDE发现显示了揭示复杂物理系统的预测模型，但在测量稀疏和嘈杂时难以困难。我们介绍了一种新方法，用于PDE发现，它使用两个合理的神经网络和原始的稀疏回归算法来识别管理系统响应的隐藏动态。第一网络了解系统响应函数，而第二个网络了解一个驱动系统演进的隐藏PDE。然后，我们使用无参数稀疏回归算法从第二网络中提取隐藏PDE的人类可读形式。我们在名为PDE-读取的开源库中实现了我们的方法。我们的方法成功地识别了热，汉堡和KorteDeg-de Vries方程，具有显着的一致性。我们表明，我们的方法对稀疏性和噪音都是前所未有的强大，因此适用于现实世界的观察数据。

在科学技术的许多领域中，从数据中提取理事物理学是一个关键挑战。方程发现的现有技术取决于输入和状态测量。但是，实际上，我们只能访问输出测量。我们在这里提出了一个新的框架，用于从输出测量中学习动态系统的物理学；这本质上将物理发现问题从确定性转移到随机域。提出的方法将输入模拟为随机过程，并将随机演算，稀疏学习算法和贝叶斯统计的概念融合在一起。特别是，我们将稀疏性结合起来，促进尖峰和平板先验，贝叶斯法和欧拉·马鲁山（Euler Maruyama）计划，以从数据中识别统治物理。最终的模型高效，可以进行稀疏，嘈杂和不完整的输出测量。在涉及完整状态测量和部分状态测量的几个数值示例中说明了所提出方法的功效和鲁棒性。获得的结果表明，拟议方法仅从产出测量中识别物理学的潜力。

We propose a novel model agnostic data-driven reliability analysis framework for time-dependent reliability analysis. The proposed approach -- referred to as MAntRA -- combines interpretable machine learning, Bayesian statistics, and identifying stochastic dynamic equation to evaluate reliability of stochastically-excited dynamical systems for which the governing physics is \textit{apriori} unknown. A two-stage approach is adopted: in the first stage, an efficient variational Bayesian equation discovery algorithm is developed to determine the governing physics of an underlying stochastic differential equation (SDE) from measured output data. The developed algorithm is efficient and accounts for epistemic uncertainty due to limited and noisy data, and aleatoric uncertainty because of environmental effect and external excitation. In the second stage, the discovered SDE is solved using a stochastic integration scheme and the probability failure is computed. The efficacy of the proposed approach is illustrated on three numerical examples. The results obtained indicate the possible application of the proposed approach for reliability analysis of in-situ and heritage structures from on-site measurements.

这项工作与发现物理系统的偏微分方程（PDE）有关。现有方法证明了有限观察结果的PDE识别，但未能保持令人满意的噪声性能，部分原因是由于次优估计衍生物并发现了PDE系数。我们通过引入噪音吸引物理学的机器学习（NPIML）框架来解决问题，以在任意分布后从数据中发现管理PDE。我们的建议是双重的。首先，我们提出了几个神经网络，即求解器和预选者，这些神经网络对隐藏的物理约束产生了可解释的神经表示。在经过联合训练之后，求解器网络将近似潜在的候选物，例如部分衍生物，然后将其馈送到稀疏的回归算法中，该算法最初公布了最有可能的PERSIMISIAL PDE，根据信息标准决定。其次，我们提出了基于离散的傅立叶变换（DFT）的Denoising物理信息信息网络（DPINNS），以提供一组最佳的鉴定PDE系数，以符合降低降噪变量。 Denoising Pinns的结构被划分为前沿投影网络和PINN，以前学到的求解器初始化。我们对五个规范PDE的广泛实验确认，该拟议框架为PDE发现提供了一种可靠，可解释的方法，适用于广泛的系统，可能会因噪声而复杂。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

我们制定了一类由物理驱动的深层变量模型（PDDLVM），以学习参数偏微分方程（PDES）的参数到解决方案（正向）和解决方案到参数（逆）图。我们的公式利用有限元方法（FEM），深神经网络和概率建模来组装一个深层概率框架，在该框架中，向前和逆图通过连贯的不确定性量化近似。我们的概率模型明确合并了基于参数PDE的密度和可训练的解决方案到参数网络，而引入的摊销变异家庭假定参数到解决方案网络，所有这些网络均经过联合培训。此外，所提出的方法不需要任何昂贵的PDE解决方案，并且仅在训练时间内对物理信息进行了信息，该方法允许PDE的实时仿真和培训后的逆问题解决方案的产生，绕开了对FEM操作的需求，以相当的准确性，以便于FEM解决方案。提出的框架进一步允许无缝集成观察到的数据，以解决反问题和构建生成模型。我们证明了方法对非线性泊松问题，具有复杂3D几何形状的弹性壳以及整合通用物理信息信息的神经网络（PINN）体系结构的有效性。与传统的FEM求解器相比，训练后，我们最多达到了三个数量级的速度，同时输出连贯的不确定性估计值。

基于神经网络的数据驱动操作员学习方案在计算力学中显示出巨大的潜力。 DeWonet是一种这样的神经网络体系结构，由于其出色的预测能力，它广泛赞赏。话虽如此，在确定性框架中设定的deponet架构面临过度拟合，概括不良和其不变形式的风险，因此无法量化与预测相关的不确定性。我们在本文中提出了一种用于操作员学习的跨贝叶斯迪维诺内特（VB-Deeponet），可以在很大程度上减轻deponet架构的这些局限性，并为用户提供有关预测阶段相关不确定性的更多信息。贝叶斯框架中设定的神经网络背后的关键思想是，神经网络的权重和偏见被视为概率分布而不是点估计，并且使用贝叶斯推理来更新其先前的分布。现在，为了管理与近似后验分布相关的计算成本，提出的VB-Deeponet使用\ textIt {变异推理}。与马尔可夫链蒙特卡洛方案不同，变异推理具有考虑高维后分布的能力，同时保持相关的计算成本较低。涵盖力学问题的不同示例，例如扩散反应，重力摆，对流扩散，以说明了所提出的VB-Deeponet的性能，并且在确定性框架中也对Deeponet集进行了比较。

机器学习中的不确定性量化（UQ）目前正在引起越来越多的研究兴趣，这是由于深度神经网络在不同领域的快速部署，例如计算机视觉，自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近，还开发了各种机器学习模型，以解决科学计算领域的问题，并适用于计算科学和工程（CSE）。物理知识的神经网络和深层操作员网络是两个这样的模型，用于求解部分微分方程和学习操作员映射。在这方面，[45]中提供了专门针对科学机器学习（SCIML）模型量身定制的UQ方法的全面研究。然而，尽管具有理论上的优点，但这些方法的实施并不简单，尤其是在大规模的CSE应用程序中，阻碍了他们在研究和行业环境中的广泛采用。在本文中，我们提出了一个开源python图书馆（https://github.com/crunch-uq4mi），称为Neuraluq，并伴有教育教程，用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的，都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程，并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程，随后在四个不同的示例中证明了其适用性和效率，涉及动态系统以及高维参数和时间依赖性PDE。

拟合科学数据的部分微分方程（PDE）可以用可解释的机制来代表各种以数学为导向的受试者的物理定律。从科学数据中发现PDE的数据驱动的发现蓬勃发展，作为对自然界中复杂现象进行建模的新尝试，但是当前实践的有效性通常受数据的稀缺性和现象的复杂性的限制。尤其是，从低质量数据中发现具有高度非线性系数的PDE在很大程度上已经不足。为了应对这一挑战，我们提出了一种新颖的物理学指导学习方法，该方法不仅可以编码观察知识，例如初始和边界条件，而且还包含了基本的物理原理和法律来指导模型优化。我们从经验上证明，所提出的方法对数据噪声和稀疏性更为强大，并且可以将估计误差较大。此外，我们第一次能够发现具有高度非线性系数的PDE。凭借有希望的性能，提出的方法推动了PDE的边界，这可以通过机器学习模型来进行科学发现。

Physics-informed neural networks (PINNs) constitute a flexible approach to both finding solutions and identifying parameters of partial differential equations. Most works on the topic assume noiseless data, or data contaminated by weak Gaussian noise. We show that the standard PINN framework breaks down in case of non-Gaussian noise. We give a way of resolving this fundamental issue and we propose to jointly train an energy-based model (EBM) to learn the correct noise distribution. We illustrate the improved performance of our approach using multiple examples.

量子计算有望加快科学和工程中的一些最具挑战性问题。已经提出了量子算法，显示了从化学到物流优化的应用中的理论优势。科学和工程中出现的许多问题可以作为一组微分方程重写。用于求解微分方程的量子算法已经示出了容错量计算制度中的可提供的优势，其中深宽的量子电路可用于求解局部微分方程（PDES）的大型线性系统。最近，提出了求解非线性PDE的变分方法也具有近术语量子器件。最有前途的一般方法之一是基于近期科学机器学习领域的发展来解决PDE。我们将近期量子计算机的适用性扩展到更一般的科学机器学习任务，包括从测量数据集发现微分方程。我们使用可分辨率量子电路（DQC）来解决由操作员库参数化的等式，并在数据和方程的组合上执行回归。我们的结果显示了普通模型发现（QMOD）的有希望的路径，在经典和量子机器学习方法之间的界面上。我们在不同系统上展示了成功的参数推断和方程发现，包括二阶，常微分方程和非线性部分微分方程。

数据驱动的PDE的发现最近取得了巨大进展，许多规范的PDE已成功地发现了概念验证。但是，在没有事先参考的情况下，确定最合适的PDE在实际应用方面仍然具有挑战性。在这项工作中，提出了物理信息的信息标准（PIC），以合成发现的PDE的简约和精度。所提出的PIC可在不同的物理场景中七个规范的PDE上获得最新的鲁棒性，并稀疏的数据，这证实了其处理困难情况的能力。该图片还用于从实际的物理场景中从微观模拟数据中发现未开采的宏观管理方程。结果表明，发现的宏观PDE精确且简约，并满足基础的对称性，从而有助于对物理过程的理解和模拟。 PIC的命题可以在发现更广泛的物理场景中发现未透视的管理方程式中PDE发现的实际应用。

Physics-Informed Neural Networks (PINNs) are gaining popularity as a method for solving differential equations. While being more feasible in some contexts than the classical numerical techniques, PINNs still lack credibility. A remedy for that can be found in Uncertainty Quantification (UQ) which is just beginning to emerge in the context of PINNs. Assessing how well the trained PINN complies with imposed differential equation is the key to tackling uncertainty, yet there is lack of comprehensive methodology for this task. We propose a framework for UQ in Bayesian PINNs (B-PINNs) that incorporates the discrepancy between the B-PINN solution and the unknown true solution. We exploit recent results on error bounds for PINNs on linear dynamical systems and demonstrate the predictive uncertainty on a class of linear ODEs.

Given ample experimental data from a system governed by differential equations, it is possible to use deep learning techniques to construct the underlying differential operators. In this work we perform symbolic discovery of differential operators in a situation where there is sparse experimental data. This small data regime in machine learning can be made tractable by providing our algorithms with prior information about the underlying dynamics. Physics Informed Neural Networks (PINNs) have been very successful in this regime (reconstructing entire ODE solutions using only a single point or entire PDE solutions with very few measurements of the initial condition). We modify the PINN approach by adding a neural network that learns a representation of unknown hidden terms in the differential equation. The algorithm yields both a surrogate solution to the differential equation and a black-box representation of the hidden terms. These hidden term neural networks can then be converted into symbolic equations using symbolic regression techniques like AI Feynman. In order to achieve convergence of these neural networks, we provide our algorithms with (noisy) measurements of both the initial condition as well as (synthetic) experimental data obtained at later times. We demonstrate strong performance of this approach even when provided with very few measurements of noisy data in both the ODE and PDE regime.

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

We apply Physics Informed Neural Networks (PINNs) to the problem of wildfire fire-front modelling. The PINN is an approach that integrates a differential equation into the optimisation loss function of a neural network to guide the neural network to learn the physics of a problem. We apply the PINN to the level-set equation, which is a Hamilton-Jacobi partial differential equation that models a fire-front with the zero-level set. This results in a PINN that simulates a fire-front as it propagates through a spatio-temporal domain. We demonstrate the agility of the PINN to learn physical properties of a fire under extreme changes in external conditions (such as wind) and show that this approach encourages continuity of the PINN's solution across time. Furthermore, we demonstrate how data assimilation and uncertainty quantification can be incorporated into the PINN in the wildfire context. This is significant contribution to wildfire modelling as the level-set method -- which is a standard solver to the level-set equation -- does not naturally provide this capability.

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.