Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

Linear partial differential equations (PDEs) are an important, widely applied class of mechanistic models, describing physical processes such as heat transfer, electromagnetism, and wave propagation. In practice, specialized numerical methods based on discretization are used to solve PDEs. They generally use an estimate of the unknown model parameters and, if available, physical measurements for initialization. Such solvers are often embedded into larger scientific models or analyses with a downstream application such that error quantification plays a key role. However, by entirely ignoring parameter and measurement uncertainty, classical PDE solvers may fail to produce consistent estimates of their inherent approximation error. In this work, we approach this problem in a principled fashion by interpreting solving linear PDEs as physics-informed Gaussian process (GP) regression. Our framework is based on a key generalization of a widely-applied theorem for conditioning GPs on a finite number of direct observations to observations made via an arbitrary bounded linear operator. Crucially, this probabilistic viewpoint allows to (1) quantify the inherent discretization error; (2) propagate uncertainty about the model parameters to the solution; and (3) condition on noisy measurements. Demonstrating the strength of this formulation, we prove that it strictly generalizes methods of weighted residuals, a central class of PDE solvers including collocation, finite volume, pseudospectral, and (generalized) Galerkin methods such as finite element and spectral methods. This class can thus be directly equipped with a structured error estimate and the capability to incorporate uncertain model parameters and observations. In summary, our results enable the seamless integration of mechanistic models as modular building blocks into probabilistic models.

我们制定了一类由物理驱动的深层变量模型（PDDLVM），以学习参数偏微分方程（PDES）的参数到解决方案（正向）和解决方案到参数（逆）图。我们的公式利用有限元方法（FEM），深神经网络和概率建模来组装一个深层概率框架，在该框架中，向前和逆图通过连贯的不确定性量化近似。我们的概率模型明确合并了基于参数PDE的密度和可训练的解决方案到参数网络，而引入的摊销变异家庭假定参数到解决方案网络，所有这些网络均经过联合培训。此外，所提出的方法不需要任何昂贵的PDE解决方案，并且仅在训练时间内对物理信息进行了信息，该方法允许PDE的实时仿真和培训后的逆问题解决方案的产生，绕开了对FEM操作的需求，以相当的准确性，以便于FEM解决方案。提出的框架进一步允许无缝集成观察到的数据，以解决反问题和构建生成模型。我们证明了方法对非线性泊松问题，具有复杂3D几何形状的弹性壳以及整合通用物理信息信息的神经网络（PINN）体系结构的有效性。与传统的FEM求解器相比，训练后，我们最多达到了三个数量级的速度，同时输出连贯的不确定性估计值。

最近的统计有限元方法（STATFEM）提供了一种相干统计框架，用于用观察到的数据合成有限元模型。通过嵌入控制方程内的不确定性，更新有限元解决方案以提供后部分布，该分布量化与模型相关的所有不确定性源。然而，为了纳入所有不确定性来源，必须整合与模型参数相关的不确定性，该不确定量的已知前向问题。在本文中，我们利用Langevin动力学来解决统计信息前进问题，研究了不调整的Langevin算法（ULA）的效用，是一种无马达罗夫的马尔可夫链蒙特卡罗采样器，以构建基于样品的特征，否则难以置化措施。由于STATFEM问题的结构，这些方法能够解决不明确的全PDE解决的前向问题，只需要稀疏的矩阵矢量产品。 ULA也是基于梯度的，因此提供了可扩展的方法，达到了高度自由度。利用基于Langevin的采样器背后的理论，我们提供了对采样器性能的理论保证，展示了在克洛拉 - 莱布勒分歧的先前和后后的收敛性，以及在Wassersein-2中，进一步得到了预处理的影响。对于先前和后部，还提供了数值实验，以证明采样器的功效，并且还包括Python封装。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

机器学习中的不确定性量化（UQ）目前正在引起越来越多的研究兴趣，这是由于深度神经网络在不同领域的快速部署，例如计算机视觉，自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近，还开发了各种机器学习模型，以解决科学计算领域的问题，并适用于计算科学和工程（CSE）。物理知识的神经网络和深层操作员网络是两个这样的模型，用于求解部分微分方程和学习操作员映射。在这方面，[45]中提供了专门针对科学机器学习（SCIML）模型量身定制的UQ方法的全面研究。然而，尽管具有理论上的优点，但这些方法的实施并不简单，尤其是在大规模的CSE应用程序中，阻碍了他们在研究和行业环境中的广泛采用。在本文中，我们提出了一个开源python图书馆（https://github.com/crunch-uq4mi），称为Neuraluq，并伴有教育教程，用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的，都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程，并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程，随后在四个不同的示例中证明了其适用性和效率，涉及动态系统以及高维参数和时间依赖性PDE。

我们考虑贝叶斯逆问题，其中假设未知状态是具有不连续结构的函数先验。介绍了基于具有重型重量的神经网络输出的一类现有分布，其具有关于这种网络的无限宽度限制的现有结果。理论上，即使网络宽度是有限的，我们也显示来自这种前导者的样本具有所需的不连续性，使得它们适合于边缘保留反转。在数值上，我们考虑在一个和二维空间域上定义的解卷积问题，以说明这些前景的有效性;地图估计，尺寸 - 鲁棒MCMC采样和基于集合的近似值用于探测后部分布。点估计的准确性显示出超过从非重尾前沿获得的那些，并且显示不确定性估计以提供更有用的定性信息。

This paper presents a surrogate modelling technique based on domain partitioning for Bayesian parameter inference of highly nonlinear engineering models. In order to alleviate the computational burden typically involved in Bayesian inference applications, a multielement Polynomial Chaos Expansion based Kriging metamodel is proposed. The developed surrogate model combines in a piecewise function an array of local Polynomial Chaos based Kriging metamodels constructed on a finite set of non-overlapping subdomains of the stochastic input space. Therewith, the presence of non-smoothness in the response of the forward model (e.g.~ nonlinearities and sparseness) can be reproduced by the proposed metamodel with minimum computational costs owing to its local adaptation capabilities. The model parameter inference is conducted through a Markov chain Monte Carlo approach comprising adaptive exploration and delayed rejection. The efficiency and accuracy of the proposed approach are validated through two case studies, including an analytical benchmark and a numerical case study. The latter relates the partial differential equation governing the hydrogen diffusion phenomenon of metallic materials in Thermal Desorption Spectroscopy tests.

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

我们开发了一种基于嘈杂观测值的时空动力学模型的完全贝叶斯学习和校准的方法。通过将观察到的数据与机械系统的模拟计算机实验融合信息来实现校准。联合融合使用高斯和非高斯州空间方法以及高斯工艺回归。假设动态系统受到有限的输入收集的控制，高斯过程回归通过许多训练运行来了解这些参数的效果，从而推动了时空状态空间组件的随机创新。这可以在空间和时间上对动态进行有效的建模。通过减少的高斯过程和共轭模型规范，我们的方法适用于大规模校准和反问题。我们的方法是一般，可扩展的，并且能够学习具有潜在模型错误指定的各种动力系统。我们通过解决普通和部分非线性微分方程的分析中产生的反问题来证明这种灵活性，此外，还可以在网络上生成时空动力学的黑盒计算机模型。

物理启发的潜力模型为纯粹的数据驱动工具提供可解释的替代品，用于动态系统的推断。它们携带微分方程的结构和高斯过程的灵活性，产生可解释的参数和动态施加的潜在功能。然而，与这些模型相关联的现有推理技术依赖于在分析形式中很少可用的后内核术语的精确计算。大多数与从业者相关的应用程序，例如Hill方程或扩散方程，因此是棘手的。在本文中，我们通过提出对一般类非线性和抛物面部分微分方程潜力模型的变分解决方案来克服这些计算问题。此外，我们表明，神经操作员方法可以将我们的模型扩展到数千个实例，实现快速，分布式计算。我们通过在几个任务中实现竞争性能，展示了我们框架的效力和灵活性，其中核的核心不同程度的遗传性。

逆问题本质上是普遍存在的，几乎在科学和工程的几乎所有领域都出现，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法，通过将逆问题提出为统计框架。但是，当推断具有大幅度的离散表示的字段（所谓的“维度的诅咒”）和/或仅以先前获取的解决方案的形式可用时。在这项工作中，我们提出了一种新的方法，可以使用深层生成模型进行有效，准确的贝叶斯反转。具体而言，我们证明了如何使用生成对抗网络（GAN）在贝叶斯更新中学到的近似分布，并在GAN的低维度潜在空间中重新解决所得的推断问题，从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学，并且被证明可以通过可靠的不确定性估计得出准确的结果，即使没有有关基础噪声模型的信息，这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性，包括合成和实验观察到的数据。

Partial differential equations (PDEs) are important tools to model physical systems, and including them into machine learning models is an important way of incorporating physical knowledge. Given any system of linear PDEs with constant coefficients, we propose a family of Gaussian process (GP) priors, which we call EPGP, such that all realizations are exact solutions of this system. We apply the Ehrenpreis-Palamodov fundamental principle, which works like a non-linear Fourier transform, to construct GP kernels mirroring standard spectral methods for GPs. Our approach can infer probable solutions of linear PDE systems from any data such as noisy measurements, or initial and boundary conditions. Constructing EPGP-priors is algorithmic, generally applicable, and comes with a sparse version (S-EPGP) that learns the relevant spectral frequencies and works better for big data sets. We demonstrate our approach on three families of systems of PDE, the heat equation, wave equation, and Maxwell's equations, where we improve upon the state of the art in computation time and precision, in some experiments by several orders of magnitude.

在这项工作中，我们提出了一个新的高斯进程回归（GPR）方法：物理信息辅助Kriging（PHIK）。在标准数据驱动的Kriging中，感兴趣的未知功能通常被视为高斯过程，其中具有假定的静止协方差，其具有从数据估计的QuandEdmente。在PHIK中，我们从可用随机模型的实现中计算平均值和协方差函数，例如，从管理随机部分微分方程解决方案的实现。这种构造的高斯过程通常是非静止的，并且不承担特定形式的协方差。我们的方法避免了数据驱动的GPR方法中的优化步骤来识别超参数。更重要的是，我们证明了确定性线性操作员形式的物理约束在得到的预测中保证。当在随机模型实现中包含错误时，我们还提供了保留物理约束时的误差估计。为了降低获取随机模型的计算成本，我们提出了一种多级蒙特卡罗估计的平均和协方差函数。此外，我们介绍了一种有源学习算法，指导选择附加观察位置。 PHIK的效率和准确性被证明重建部分已知的修饰的Branin功能，研究三维传热问题，并从稀疏浓度测量学习保守的示踪剂分布。

从卫星图像中提取的大气运动向量（AMV）是唯一具有良好全球覆盖范围的风观测。它们是进食数值天气预测（NWP）模型的重要特征。已经提出了几种贝叶斯模型来估计AMV。尽管对于正确同化NWP模型至关重要，但很少有方法可以彻底表征估计误差。估计误差的困难源于后验分布的特异性，这既是很高的维度，又是由于奇异的可能性而导致高度不良的条件，这在缺少数据（未观察到的像素）的情况下特别重要。这项工作研究了使用基于梯度的Markov链Monte Carlo（MCMC）算法评估AMV的预期误差。我们的主要贡献是提出一种回火策略，这相当于在点估计值附近的AMV和图像变量的联合后验分布的局部近似。此外，我们提供了与先前家庭本身有关的协方差（分数布朗运动），并具有不同的超参数。从理论的角度来看，我们表明，在规律性假设下，随着温度降低到{optimal}高斯近似值，在最大a后验（MAP）对数密度给出的点估计下，温度降低到{optimal}高斯近似值。从经验的角度来看，我们根据一些定量的贝叶斯评估标准评估了提出的方法。我们对合成和真实气象数据进行的数值模拟揭示了AMV点估计的准确性及其相关的预期误差估计值的显着提高，但在MCMC算法的收敛速度方面也有很大的加速度。

The saddle point (SP) calculation is a grand challenge for computationally intensive energy function in computational chemistry area, where the saddle point may represent the transition state (TS). The traditional methods need to evaluate the gradients of the energy function at a very large number of locations. To reduce the number of expensive computations of the true gradients, we propose an active learning framework consisting of a statistical surrogate model, Gaussian process regression (GPR) for the energy function, and a single-walker dynamics method, gentle accent dynamics (GAD), for the saddle-type transition states. SP is detected by the GAD applied to the GPR surrogate for the gradient vector and the Hessian matrix. Our key ingredient for efficiency improvements is an active learning method which sequentially designs the most informative locations and takes evaluations of the original model at these locations to train GPR. We formulate this active learning task as the optimal experimental design problem and propose a very efficient sample-based sub-optimal criterion to construct the optimal locations. We show that the new method significantly decreases the required number of energy or force evaluations of the original model.