我们为由随机微分方程（SDE）控制的物理系统提出了一种新型的灰色盒建模算法。所提出的方法（称为深物理校正器（DPC））将用SDE代表的物理学与深神经网络（DNN）相结合。这里的主要思想是利用DNN来建模缺失的物理学。我们假设将不完整的物理与数据相结合将使模型可解释并允许更好地概括。与随机模拟器的训练替代模型相关的主要瓶颈通常与选择合适的损耗函数有关。在文献中可用的不同损失函数中，我们在DPC中使用有条件的最大平均差异（CMMD）损失函数，因为其证明了其性能。总体而言，物理数据融合和CMMD允许DPC从稀疏数据中学习。我们说明了拟议的DPC在文献中的四个基准示例上的性能。获得的结果高度准确，表明它可能将其作为随机模拟器的替代模型的应用。

在科学技术的许多领域中，从数据中提取理事物理学是一个关键挑战。方程发现的现有技术取决于输入和状态测量。但是，实际上，我们只能访问输出测量。我们在这里提出了一个新的框架，用于从输出测量中学习动态系统的物理学；这本质上将物理发现问题从确定性转移到随机域。提出的方法将输入模拟为随机过程，并将随机演算，稀疏学习算法和贝叶斯统计的概念融合在一起。特别是，我们将稀疏性结合起来，促进尖峰和平板先验，贝叶斯法和欧拉·马鲁山（Euler Maruyama）计划，以从数据中识别统治物理。最终的模型高效，可以进行稀疏，嘈杂和不完整的输出测量。在涉及完整状态测量和部分状态测量的几个数值示例中说明了所提出方法的功效和鲁棒性。获得的结果表明，拟议方法仅从产出测量中识别物理学的潜力。

我们提出了一种基于深度学习的代理模型，用于解决高维不确定性量化和不确定性传播问题。通过将众所周知的U-Net架构与高斯门控线性网络（GGLN）集成并称为所界线线性网络引起的U-Net或Glu-Net，通过将众所周知的U-Net架构进行了开发了建议的深度学习架构。所提出的Glu-Net将不确定性传播问题视为图像回归的图像，因此是极其数据效率。此外，它还提供了预测性不确定性的估计。 Glu-Net的网络架构不太复杂，参数比当代作品较少44 \％。我们说明了所提议的Glu-net在稀疏数据场景下在不确定性下解决达西流动问题的表现。我们认为随机输入维度最高可达4225.使用香草蒙特卡罗模拟产生基准结果。即使没有关于输入的结构的信息提供对网络的结构的信息，我们也观察到所提出的Glu-Net是准确的，非常有效。通过改变训练样本大小和随机输入维度来进行案例研究以说明所提出的方法的稳健性。

基于神经网络的数据驱动操作员学习方案在计算力学中显示出巨大的潜力。 DeWonet是一种这样的神经网络体系结构，由于其出色的预测能力，它广泛赞赏。话虽如此，在确定性框架中设定的deponet架构面临过度拟合，概括不良和其不变形式的风险，因此无法量化与预测相关的不确定性。我们在本文中提出了一种用于操作员学习的跨贝叶斯迪维诺内特（VB-Deeponet），可以在很大程度上减轻deponet架构的这些局限性，并为用户提供有关预测阶段相关不确定性的更多信息。贝叶斯框架中设定的神经网络背后的关键思想是，神经网络的权重和偏见被视为概率分布而不是点估计，并且使用贝叶斯推理来更新其先前的分布。现在，为了管理与近似后验分布相关的计算成本，提出的VB-Deeponet使用\ textIt {变异推理}。与马尔可夫链蒙特卡洛方案不同，变异推理具有考虑高维后分布的能力，同时保持相关的计算成本较低。涵盖力学问题的不同示例，例如扩散反应，重力摆，对流扩散，以说明了所提出的VB-Deeponet的性能，并且在确定性框架中也对Deeponet集进行了比较。

We propose a novel model agnostic data-driven reliability analysis framework for time-dependent reliability analysis. The proposed approach -- referred to as MAntRA -- combines interpretable machine learning, Bayesian statistics, and identifying stochastic dynamic equation to evaluate reliability of stochastically-excited dynamical systems for which the governing physics is \textit{apriori} unknown. A two-stage approach is adopted: in the first stage, an efficient variational Bayesian equation discovery algorithm is developed to determine the governing physics of an underlying stochastic differential equation (SDE) from measured output data. The developed algorithm is efficient and accounts for epistemic uncertainty due to limited and noisy data, and aleatoric uncertainty because of environmental effect and external excitation. In the second stage, the discovered SDE is solved using a stochastic integration scheme and the probability failure is computed. The efficacy of the proposed approach is illustrated on three numerical examples. The results obtained indicate the possible application of the proposed approach for reliability analysis of in-situ and heritage structures from on-site measurements.

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。

操作员的学习框架由于其能够在两个无限尺寸功能空间之间学习非线性图和神经网络的利用能力，因此最近成为应用机器学习领域中最相关的领域之一。尽管这些框架在建模复杂现象方面具有极大的能力，但它们需要大量数据才能成功培训，这些数据通常是不可用或太昂贵的。但是，可以通过使用多忠诚度学习来缓解此问题，在这种学习中，通过使用大量廉价的低保真数据以及少量昂贵的高保真数据来训练模型。为此，我们开发了一个基于小波神经操作员的新框架，该框架能够从多保真数据集中学习。通过解决不同的问题，需要在两个忠诚度之间进行有效的相关性学习来证明开发模型的出色学习能力。此外，我们还评估了开发框架在不确定性定量中的应用。从这项工作中获得的结果说明了拟议框架的出色表现。

概率密度演化的推导提供了对许多随机系统及其性能的行为的宝贵洞察力。但是，对于大多数实时应用程序，对概率密度演变的数值确定是一项艰巨的任务。后者是由于所需的时间和空间离散方案引起的，这些方案使大多数计算解决方案过于效率和不切实际。在这方面，有效的计算替代模型的开发至关重要。关于物理受限网络的最新研究表明，可以通过编码对深神经网络的物理洞察力来实现合适的替代物。为此，目前的工作介绍了Deeppdem，它利用物理信息网络的概念通过提出深度学习方法来解决概率密度的演变。 Deeppdem了解随机结构的一般密度演化方程（GDEE）。这种方法为无网格学习方法铺平了道路，该方法可以通过以前的模拟数据解决密度演化问题。此外，它还可以作为优化方案或实时应用程序中任何其他时空点的溶液的有效替代物。为了证明所提出的框架的潜在适用性，研究了两个具有不同激活功能的网络体系结构以及两个优化器。关于三个不同问题的数值实施验证了所提出方法的准确性和功效。

A framework for creating and updating digital twins for dynamical systems from a library of physics-based functions is proposed. The sparse Bayesian machine learning is used to update and derive an interpretable expression for the digital twin. Two approaches for updating the digital twin are proposed. The first approach makes use of both the input and output information from a dynamical system, whereas the second approach utilizes output-only observations to update the digital twin. Both methods use a library of candidate functions representing certain physics to infer new perturbation terms in the existing digital twin model. In both cases, the resulting expressions of updated digital twins are identical, and in addition, the epistemic uncertainties are quantified. In the first approach, the regression problem is derived from a state-space model, whereas in the latter case, the output-only information is treated as a stochastic process. The concepts of It\^o calculus and Kramers-Moyal expansion are being utilized to derive the regression equation. The performance of the proposed approaches is demonstrated using highly nonlinear dynamical systems such as the crack-degradation problem. Numerical results demonstrated in this paper almost exactly identify the correct perturbation terms along with their associated parameters in the dynamical system. The probabilistic nature of the proposed approach also helps in quantifying the uncertainties associated with updated models. The proposed approaches provide an exact and explainable description of the perturbations in digital twin models, which can be directly used for better cyber-physical integration, long-term future predictions, degradation monitoring, and model-agnostic control.

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

我们介绍了一个名为统计信息的神经网络（SINN）的机器学习框架，用于从数据中学习随机动力学。从理论上讲，这种新的架构是受到随机系统的通用近似定理的启发，我们在本文中介绍了它，以及用于随机建模的投影手术形式。我们设计了训练神经网络模型的机制，以重现目标随机过程的正确\ emph {统计}行为。数值模拟结果表明，受过良好训练的SINN可以可靠地近似马尔可夫和非马克维亚随机动力学。我们证明了SINN对粗粒问题和过渡动力学的建模的适用性。此外，我们表明可以在时间粗粒的数据上训练所获得的减少阶模型，因此非常适合稀有事实模拟。

在工程和科学方面的许多计算问题中，功能或模型差异化是必不可少的，但还需要集成。一类重要的计算问题包括所谓的内形差异方程，包括函数的积分和衍生物。在另一个示例中，随机微分方程可以用随机变量的概率密度函数的部分微分方程编写。要根据密度函数学习随机变量的特征，需要计算特定的积分变换，即密度函数的特定矩。最近，物理知识神经网络的机器学习范式以越来越多的流行度作为一种通过利用自动分化来求解微分方程的方法。在这项工作中，我们建议通过自动集成来扩大物理知识的神经网络的范式，以计算训练有素的解决方案上的复杂积分转换，并求解在训练过程中在训练过程中计算积分的整数差异方程。此外，我们在各种应用程序设置中展示了这些技术，从数值模拟了基于量子计算机的神经网络以及经典的神经网络。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

机器学习中的不确定性量化（UQ）目前正在引起越来越多的研究兴趣，这是由于深度神经网络在不同领域的快速部署，例如计算机视觉，自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近，还开发了各种机器学习模型，以解决科学计算领域的问题，并适用于计算科学和工程（CSE）。物理知识的神经网络和深层操作员网络是两个这样的模型，用于求解部分微分方程和学习操作员映射。在这方面，[45]中提供了专门针对科学机器学习（SCIML）模型量身定制的UQ方法的全面研究。然而，尽管具有理论上的优点，但这些方法的实施并不简单，尤其是在大规模的CSE应用程序中，阻碍了他们在研究和行业环境中的广泛采用。在本文中，我们提出了一个开源python图书馆（https://github.com/crunch-uq4mi），称为Neuraluq，并伴有教育教程，用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的，都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程，并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程，随后在四个不同的示例中证明了其适用性和效率，涉及动态系统以及高维参数和时间依赖性PDE。

随机微分方程（SDE）用于描述各种复杂的随机动力学系统。学习SDE中的隐藏物理学对于揭示对这些系统的随机和非线性行为的基本理解至关重要。我们提出了一个灵活且可扩展的框架，用于训练人工神经网络，以学习代表SDE中隐藏物理的本构方程。所提出的随机物理学的神经普通微分方程框架（Spinode）通过已知的SDE结构（即已知的物理学）传播随机性，以产生一组确定性的ODE，以描述随机状态的统计矩的时间演变。然后，Spinode使用ODE求解器预测矩轨迹。 Spinode通过将预测的矩与从数据估计的矩匹配来学习隐藏物理的神经网络表示。利用了自动分化和微型批次梯度下降的最新进展，并利用了伴随灵敏度，以建立神经网络的未知参数。我们在三个基准内案例研究上展示了Spinod，并分析了框架的数值鲁棒性和稳定性。 Spinode提供了一个有希望的新方向，用于系统地阐明具有乘法噪声的多元随机动力学系统的隐藏物理。

相位场建模是一种有效但计算昂贵的方法，用于捕获材料中的中尺度形态和微观结构演化。因此，需要快速且可推广的替代模型来减轻计算征税流程的成本，例如在材料的优化和设计中。尖锐相边界的存在所产生的物理现象的固有不连续性使替代模型的训练繁琐。我们开发了一个框架，该框架将卷积自动编码器架构与深神经操作员（DeepOnet）集成在一起，以了解两相混合物的动态演化，并加速预测微结构演变的时间。我们利用卷积自动编码器在低维的潜在空间中提供微观结构数据的紧凑表示。 DeepOnet由两个子网络组成，一个用于编码固定数量的传感器位置（分支网）的输入函数，另一个用于编码输出功能的位置（TRUNK NET），了解微观结构Evolution的中尺度动力学从自动编码器潜在空间。然后，卷积自动编码器的解码器部分从deponet预测中重建了时间进化的微结构。然后，可以使用训练有素的DeepOnet架构来替换插值任务中的高保真相位数值求解器或在外推任务中加速数值求解器。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。