物理启发的潜力模型为纯粹的数据驱动工具提供可解释的替代品，用于动态系统的推断。它们携带微分方程的结构和高斯过程的灵活性，产生可解释的参数和动态施加的潜在功能。然而，与这些模型相关联的现有推理技术依赖于在分析形式中很少可用的后内核术语的精确计算。大多数与从业者相关的应用程序，例如Hill方程或扩散方程，因此是棘手的。在本文中，我们通过提出对一般类非线性和抛物面部分微分方程潜力模型的变分解决方案来克服这些计算问题。此外，我们表明，神经操作员方法可以将我们的模型扩展到数千个实例，实现快速，分布式计算。我们通过在几个任务中实现竞争性能，展示了我们框架的效力和灵活性，其中核的核心不同程度的遗传性。

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

许多物理过程，例如天气现象或流体力学由部分微分方程（PDE）管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而，目前的方法以各种方式限制：它们需要关于控制方程的先验知识，并限于线性或一阶方程。在这项工作中，我们提出了一种将卷积神经网络（CNNS）与可微分的颂歌求解器结合到模型动力系统的模型。我们表明，标准PDE求解器中使用的线路方法可以使用卷曲来表示，这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE，覆盖更高的订单，非线性方程和多个空间尺寸。

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.

随机偏微分方程（SPDES）是在随机性影响下模拟动态系统的选择的数学工具。通过将搜索SPDE的温和解决方案作为神经定点问题，我们介绍了神经SPDE模型，以便从部分观察到的数据中使用（可能随机）的PDE溶液运营商。我们的模型为两类物理启发神经架构提供了扩展。一方面，它延伸了神经CDES，SDES，RDE - RNN的连续时间类似物，因为即使当后者在无限尺寸状态空间中演变时，它也能够处理进入的顺序信息。另一方面，它扩展了神经运营商 - 神经网络的概括到函数空间之间的模型映射 - 因为它可以用于学习解决方案运算符$（U_0，\ xi）\ MapSto U $同时上的SPDES初始条件$ u_0 $和驾驶噪声$ \ xi $的实现。神经SPDE是不变的，它可以使用基于记忆有效的隐式分化的反向化的训练，并且一旦接受训练，其评估比传统求解器快3个数量级。在包括2D随机Navier-Stokes方程的各种半线性SPDES的实验证明了神经间隙如何能够以更好的准确性学习复杂的时空动态，并仅使用适度的培训数据与所有替代模型相比。

最近的机器学习进展已直接从数据中直接提出了对未知连续时间系统动力学的黑盒估计。但是，较早的作品基于近似ODE解决方案或点估计。我们提出了一种新型的贝叶斯非参数模型，该模型使用高斯工艺直接从数据中直接从数据中推断出未知ODE系统的后代。我们通过脱钩的功能采样得出稀疏的变异推断，以表示矢量场后代。我们还引入了一种概率的射击增强，以从任意长的轨迹中有效推断。该方法证明了计算矢量场后代的好处，预测不确定性得分优于多个ODE学习任务的替代方法。

预测在环境中只有部分了解其动态的综合动态现象是各种科学领域的普遍存在问题。虽然纯粹的数据驱动方法在这种情况下可以说是不充分的，但是基于标准的物理建模的方法往往是过于简单的，诱导不可忽略的错误。在这项工作中，我们介绍了适当性框架，是一种具有深度数据驱动模型的微分方程所描述的不完整物理动态的原则方法。它包括将动态分解为两个组件：对我们有一些先验知识的动态的物理组件，以及物理模型错误的数据驱动组件核对。仔细制定学习问题，使得物理模型尽可能多地解释数据，而数据驱动组件仅描述了物理模型不能捕获的信息，不再少。这不仅为这种分解提供了存在和唯一性，而且还确保了可解释性和益处泛化。在三个重要用例中进行的实验，每个代表不同的现象，即反应 - 扩散方程，波动方程和非线性阻尼摆锤，表明，空间程度可以有效地利用近似物理模型来准确地预测系统的演变并正确识别相关的物理参数。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

多保真建模和学习在与物理模拟相关的应用中很重要。它可以利用低保真性和高保真示例进行培训，以降低数据生成成本，同时仍然达到良好的性能。尽管现有方法仅模型有限，离散的保真度，但实际上，忠诚度的选择通常是连续且无限的，这可以对应于连续的网格间距或有限元元素长度。在本文中，我们提出了无限的保真度核心化（IFC）。鉴于数据，我们的方法可以在连续无限的保真度中提取和利用丰富的信息来增强预测准确性。我们的模型可以插值和/或推断出对新型保真度的预测，甚至可以高于训练数据的保​​真度。具体而言，我们引入了一个低维的潜在输出作为保真度和输入的连续函数，并具有带有基矩阵的多个IT以预测高维解决方案输出。我们将潜在输出建模为神经普通微分方程（ODE），以捕获内部的复杂关系并在整个连续保真度中整合信息。然后，我们使用高斯工艺或其他颂歌来估计忠诚度变化的碱基。为了有效的推断，我们将碱基重组为张量，并使用张量 - 高斯变异后部为大规模输出开发可扩展的推理算法。我们在计算物理学的几个基准任务中展示了我们的方法的优势。

Partial differential equations (PDEs) are important tools to model physical systems, and including them into machine learning models is an important way of incorporating physical knowledge. Given any system of linear PDEs with constant coefficients, we propose a family of Gaussian process (GP) priors, which we call EPGP, such that all realizations are exact solutions of this system. We apply the Ehrenpreis-Palamodov fundamental principle, which works like a non-linear Fourier transform, to construct GP kernels mirroring standard spectral methods for GPs. Our approach can infer probable solutions of linear PDE systems from any data such as noisy measurements, or initial and boundary conditions. Constructing EPGP-priors is algorithmic, generally applicable, and comes with a sparse version (S-EPGP) that learns the relevant spectral frequencies and works better for big data sets. We demonstrate our approach on three families of systems of PDE, the heat equation, wave equation, and Maxwell's equations, where we improve upon the state of the art in computation time and precision, in some experiments by several orders of magnitude.

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

我们介绍了一种用于学习时空平流扩散过程的组成物理学意识的神经网络（FINN）。 FINN实现了一种新的方式，通过以组成方式模拟部分微分方程（PDE）的成分来实现与数值模拟的物理和结构知识结合人工神经网络的学习能力。导致单维和二维PDE（汉堡，扩散，扩散反应，Allen-Cahn）展示了FinN的卓越的建模精度和超出初始和边界条件的优异分配概率。只有十分之一的参数数量平均，Finn在所有情况下占纯机学习和其他最先进的物理知识模型 - 通常甚至通过多个数量级。此外，在扩散吸附场景中近似稀疏的实际数据时，Finn优于校准的物理模型，通过揭示观察过程的未知延迟因子来确认其泛化能力并显示出说明潜力。

高斯流程（GPS）实际应用的主要挑战是选择适当的协方差函数。 GPS的移动平均值或过程卷积的构建可以提供一些额外的灵活性，但仍需要选择合适的平滑核，这是非平凡的。以前的方法通过在平滑内核上使用GP先验，并通过扩展协方差来构建协方差函数，以绕过预先指定它的需求。但是，这样的模型在几种方面受到限制：它们仅限于单维输入，例如时间;它们仅允许对单个输出进行建模，并且由于推理并不简单，因此不会扩展到大型数据集。在本文中，我们引入了GPS的非参数过程卷积公式，该公式通过使用基于Matheron规则的功能采样方法来减轻这些弱点，以使用诱导变量的间域间采样进行快速采样。此外，我们提出了这些非参数卷积的组成，可作为经典深度GP模型的替代方案，并允许从数据中推断中间层的协方差函数。我们测试了单个输出GP，多个输出GPS和DEEP GPS在基准测试上的模型性能，并发现在许多情况下，我们的方法可以提供比标准GP模型的改进。

Linear partial differential equations (PDEs) are an important, widely applied class of mechanistic models, describing physical processes such as heat transfer, electromagnetism, and wave propagation. In practice, specialized numerical methods based on discretization are used to solve PDEs. They generally use an estimate of the unknown model parameters and, if available, physical measurements for initialization. Such solvers are often embedded into larger scientific models or analyses with a downstream application such that error quantification plays a key role. However, by entirely ignoring parameter and measurement uncertainty, classical PDE solvers may fail to produce consistent estimates of their inherent approximation error. In this work, we approach this problem in a principled fashion by interpreting solving linear PDEs as physics-informed Gaussian process (GP) regression. Our framework is based on a key generalization of a widely-applied theorem for conditioning GPs on a finite number of direct observations to observations made via an arbitrary bounded linear operator. Crucially, this probabilistic viewpoint allows to (1) quantify the inherent discretization error; (2) propagate uncertainty about the model parameters to the solution; and (3) condition on noisy measurements. Demonstrating the strength of this formulation, we prove that it strictly generalizes methods of weighted residuals, a central class of PDE solvers including collocation, finite volume, pseudospectral, and (generalized) Galerkin methods such as finite element and spectral methods. This class can thus be directly equipped with a structured error estimate and the capability to incorporate uncertain model parameters and observations. In summary, our results enable the seamless integration of mechanistic models as modular building blocks into probabilistic models.

我们开发了一种基于嘈杂观测值的时空动力学模型的完全贝叶斯学习和校准的方法。通过将观察到的数据与机械系统的模拟计算机实验融合信息来实现校准。联合融合使用高斯和非高斯州空间方法以及高斯工艺回归。假设动态系统受到有限的输入收集的控制，高斯过程回归通过许多训练运行来了解这些参数的效果，从而推动了时空状态空间组件的随机创新。这可以在空间和时间上对动态进行有效的建模。通过减少的高斯过程和共轭模型规范，我们的方法适用于大规模校准和反问题。我们的方法是一般，可扩展的，并且能够学习具有潜在模型错误指定的各种动力系统。我们通过解决普通和部分非线性微分方程的分析中产生的反问题来证明这种灵活性，此外，还可以在网络上生成时空动力学的黑盒计算机模型。