深度操作网络〜（DeepOnet）是我们培训到近似非线性运算符的基本不同类的神经网络，包括参数局部微分方程（PDE）的解决方案操作者。即使在具有相对较小的数据集的培训时，Deeponet也显示出显着的近似和泛化功能。然而，当训练数据被噪声污染训练数据时，DeepOnets的性能恶化，这是一种经常在实践中发生的场景。为了使DeepOnets培训用嘈杂的数据，我们建议使用贝叶斯·朗格文化扩散的贝叶斯框架。这样的框架使用两个粒子，一个颗粒用于探索，另一个用于利用深度的损失功能景观。我们表明，拟议的框架勘探和开发能力使得（1）改善了嘈杂场景中的深度的培训融合和（2）附加对参数PDE的预测解决方案的不确定性估计。此外，我们表明，与用最先进的基于梯度的优化算法（例如ADAM）培训的香草LeepOnets相比，复制 - 交换廊道扩散（显着）也提高了嘈杂情景中的夜间的平均预测准确性。为了减少复制品的潜在高计算成本，在这项工作中，我们提出了一个加速培训框架，用于复制 - 交换Langevin扩散框架，利用DeepOnet的神经网络架构，以降低其计算成本高达25％，而不会影响所提出的框架的性能。最后，我们说明了在四个参数PDE问题上使用一系列实验来说明所提出的贝叶斯框架的有效性。

基于神经网络的数据驱动操作员学习方案在计算力学中显示出巨大的潜力。 DeWonet是一种这样的神经网络体系结构，由于其出色的预测能力，它广泛赞赏。话虽如此，在确定性框架中设定的deponet架构面临过度拟合，概括不良和其不变形式的风险，因此无法量化与预测相关的不确定性。我们在本文中提出了一种用于操作员学习的跨贝叶斯迪维诺内特（VB-Deeponet），可以在很大程度上减轻deponet架构的这些局限性，并为用户提供有关预测阶段相关不确定性的更多信息。贝叶斯框架中设定的神经网络背后的关键思想是，神经网络的权重和偏见被视为概率分布而不是点估计，并且使用贝叶斯推理来更新其先前的分布。现在，为了管理与近似后验分布相关的计算成本，提出的VB-Deeponet使用\ textIt {变异推理}。与马尔可夫链蒙特卡洛方案不同，变异推理具有考虑高维后分布的能力，同时保持相关的计算成本较低。涵盖力学问题的不同示例，例如扩散反应，重力摆，对流扩散，以说明了所提出的VB-Deeponet的性能，并且在确定性框架中也对Deeponet集进行了比较。

机器学习中的不确定性量化（UQ）目前正在引起越来越多的研究兴趣，这是由于深度神经网络在不同领域的快速部署，例如计算机视觉，自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近，还开发了各种机器学习模型，以解决科学计算领域的问题，并适用于计算科学和工程（CSE）。物理知识的神经网络和深层操作员网络是两个这样的模型，用于求解部分微分方程和学习操作员映射。在这方面，[45]中提供了专门针对科学机器学习（SCIML）模型量身定制的UQ方法的全面研究。然而，尽管具有理论上的优点，但这些方法的实施并不简单，尤其是在大规模的CSE应用程序中，阻碍了他们在研究和行业环境中的广泛采用。在本文中，我们提出了一个开源python图书馆（https://github.com/crunch-uq4mi），称为Neuraluq，并伴有教育教程，用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的，都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程，并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程，随后在四个不同的示例中证明了其适用性和效率，涉及动态系统以及高维参数和时间依赖性PDE。

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

神经操作员是一种深层建筑，可以学会解决（即学习）部分微分方程（PDE）的非线性解决方案操作员。这些模型的当前艺术状态不能提供明确的不确定性量化。可以说，这是这种任务的问题，而不是机器学习中的其他地方，因为PDE通常描述的动态系统通常表现出微妙的多尺度结构，这会使人类难以发现错误。在这项工作中，我们首先在高斯过程的形式主义中首先提供了数学上详细的贝叶斯公式（线性）版本。然后，我们使用贝叶斯深度学习的近似方法将这种分析治疗扩展到一般的深层神经操作员。我们通过为神经操作员提供不确定性量化来扩展对神经操作员的先前结果。结果，我们的方法能够识别病例，并提供结构化的不确定性估计值，而神经操作员无法很好地预测。

运营商网络已成为有希望的深度学习工具，用于近似偏微分方程（PDE）的解决方案。这些网络绘制了描述材料属性，迫使函数和边界数据的输入函数到PDE解决方案。这项工作描述了一种针对操作员网络的新体系结构，该架构模仿了从问题的变异公式或弱公式中获得的数值解决方案的形式。这些想法在通用椭圆的PDE中的应用导致变异模拟操作员网络（Varmion）。像常规的深层操作员网络（DeepOnet）一样，Varmion也由一个子网络组成，该子网络构建了输出的基础函数，另一个构造了这些基础函数系数的基本功能。但是，与deponet相反，在Varmion中，这些网络的体系结构是精确确定的。对Varmion解决方案中误差的分析表明，它包含训练数据中的误差，训练错误，抽样输入中的正交误差和输出功能的贡献，以及测量测试输入功能之间距离的“覆盖错误”以及培训数据集中最近的功能。这也取决于确切网络及其varmion近似的稳定性常数。 Varmion在规范椭圆形PDE中的应用表明，对于大约相同数量的网络参数，平均而言，Varmion的误差比标准DeepOnet较小。此外，其性能对于输入函数的变化，用于采样输入和输出功能的技术，用于构建基本函数的技术以及输入函数的数量更为强大。

Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Deep operator network (DeepONet) has demonstrated great success in various learning tasks, including learning solution operators of partial differential equations. In particular, it provides an efficient approach to predict the evolution equations in a finite time horizon. Nevertheless, the vanilla DeepONet suffers from the issue of stability degradation in the long-time prediction. This paper proposes a {\em transfer-learning} aided DeepONet to enhance the stability. Our idea is to use transfer learning to sequentially update the DeepONets as the surrogates for propagators learned in different time frames. The evolving DeepONets can better track the varying complexities of the evolution equations, while only need to be updated by efficient training of a tiny fraction of the operator networks. Through systematic experiments, we show that the proposed method not only improves the long-time accuracy of DeepONet while maintaining similar computational cost but also substantially reduces the sample size of the training set.

我们介绍所谓的深度氏菌法，以基于从交互粒子方法（IPM）计算的数据的物理参数来学习和生成随机动力系统的不变措施。我们利用深神经网络（DNN）的富有效力来表示从给定的输入（源）分布到任意目标分布的样本的变换，既没有假设在闭合形式中的分布函数也不是样本的有限状态空间。在培训中，我们更新网络权重，以最小化输入和目标样本之间的离散Wasserstein距离。为了降低计算成本，我们提出了一种迭代划分和征服（迷你批次内部点）算法，在WasserStein距离中找到最佳转换矩阵。我们展示了数值结果，以证明我们通过混沌流动计算反应扩散前速度在计算反应扩散前速度中产生的随机动力系统不变措施的IPM计算方法的性能。物理参数是一个大的PECL \'等数字，反映了我们兴趣的平流主导地位。

Deep neural operators can learn nonlinear mappings between infinite-dimensional function spaces via deep neural networks. As promising surrogate solvers of partial differential equations (PDEs) for real-time prediction, deep neural operators such as deep operator networks (DeepONets) provide a new simulation paradigm in science and engineering. Pure data-driven neural operators and deep learning models, in general, are usually limited to interpolation scenarios, where new predictions utilize inputs within the support of the training set. However, in the inference stage of real-world applications, the input may lie outside the support, i.e., extrapolation is required, which may result to large errors and unavoidable failure of deep learning models. Here, we address this challenge of extrapolation for deep neural operators. First, we systematically investigate the extrapolation behavior of DeepONets by quantifying the extrapolation complexity via the 2-Wasserstein distance between two function spaces and propose a new behavior of bias-variance trade-off for extrapolation with respect to model capacity. Subsequently, we develop a complete workflow, including extrapolation determination, and we propose five reliable learning methods that guarantee a safe prediction under extrapolation by requiring additional information -- the governing PDEs of the system or sparse new observations. The proposed methods are based on either fine-tuning a pre-trained DeepONet or multifidelity learning. We demonstrate the effectiveness of the proposed framework for various types of parametric PDEs. Our systematic comparisons provide practical guidelines for selecting a proper extrapolation method depending on the available information, desired accuracy, and required inference speed.

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

部分微分方程通常用于模拟各种物理现象，例如热扩散，波传播，流体动力学，弹性，电动力学和图像处理，并且已经开发了许多分析方法或传统的数值方法并广泛用于其溶液。受深度学习对科学和工程研究的迅速影响的启发，在本文中，我们提出了一个新型的神经网络GF-NET，以无监督的方式学习绿色的线性反应扩散方程的功能。所提出的方法克服了通过使用物理信息的方法和绿色功能的对称性来查找任意域上方程函数的挑战。结果，它尤其导致了在不同边界条件和来源下解决目标方程的有效方法。我们还通过正方形，环形和L形域中的实验证明了所提出的方法的有效性。

The purpose of this paper is to explore the use of deep learning for the solution of the nonlinear filtering problem. This is achieved by solving the Zakai equation by a deep splitting method, previously developed for approximate solution of (stochastic) partial differential equations. This is combined with an energy-based model for the approximation of functions by a deep neural network. This results in a computationally fast filter that takes observations as input and that does not require re-training when new observations are received. The method is tested on four examples, two linear in one and twenty dimensions and two nonlinear in one dimension. The method shows promising performance when benchmarked against the Kalman filter and the bootstrap particle filter.

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

罕见事件计算研究中的一个中心对象是委员会函数。尽管计算成本高昂，但委员会功能编码涉及罕见事件的过程的完整机械信息，包括反应率和过渡状态合奏。在过渡路径理论（TPT）的框架下，最近的工作[1]提出了一种算法，其中反馈回路融合了一个神经网络，该神经网络将委员会功能建模为重要性采样，主要是伞形采样，该摘要收集了自适应训练所需的数据。在这项工作中，我们显示需要进行其他修改以提高算法的准确性。第一个修改增加了监督学习的要素，这使神经网络通过拟合从短分子动力学轨迹获得的委员会值的样本均值估计来改善其预测。第二个修改用有限的温度字符串（FTS）方法代替了基于委员会的伞采样，该方法可以在过渡途径的区域中进行均匀抽样。我们测试了具有非凸电势能的低维系统的修改，可以通过分析或有限元方法找到参考解决方案，并显示如何将监督学习和FTS方法组合在一起，从而准确地计算了委员会功能和反应速率。我们还为使用FTS方法的算法提供了错误分析，使用少数样品在训练过程中可以准确估算反应速率。然后将这些方法应用于未知参考溶液的分子系统，其中仍然可以获得委员会功能和反应速率的准确计算。

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

物理知识的神经网络（PINN）最近成为基于部分微分方程模型的广泛工程和科学问题的有前途的深度学习应用。然而，有证据表明，梯度下降的PINN训练显示出病理和梯度流动动力学的刚度。在本文中，我们建议使用杂交粒子群优化和梯度下降方法来训练PINN。所得的PSO-PINN算法不仅减轻了经过标准梯度下降训练的PINN的不希望的行为，而且还为PINN提供了合奏方法，可以提供具有量化不确定性的强大预测的可能性。线性和非线性PDE模型的实验证明了所提出的方法的功效。