我们提出了一种基于深度学习的代理模型，用于解决高维不确定性量化和不确定性传播问题。通过将众所周知的U-Net架构与高斯门控线性网络（GGLN）集成并称为所界线线性网络引起的U-Net或Glu-Net，通过将众所周知的U-Net架构进行了开发了建议的深度学习架构。所提出的Glu-Net将不确定性传播问题视为图像回归的图像，因此是极其数据效率。此外，它还提供了预测性不确定性的估计。 Glu-Net的网络架构不太复杂，参数比当代作品较少44 \％。我们说明了所提议的Glu-net在稀疏数据场景下在不确定性下解决达西流动问题的表现。我们认为随机输入维度最高可达4225.使用香草蒙特卡罗模拟产生基准结果。即使没有关于输入的结构的信息提供对网络的结构的信息，我们也观察到所提出的Glu-Net是准确的，非常有效。通过改变训练样本大小和随机输入维度来进行案例研究以说明所提出的方法的稳健性。

操作员的学习框架由于其能够在两个无限尺寸功能空间之间学习非线性图和神经网络的利用能力，因此最近成为应用机器学习领域中最相关的领域之一。尽管这些框架在建模复杂现象方面具有极大的能力，但它们需要大量数据才能成功培训，这些数据通常是不可用或太昂贵的。但是，可以通过使用多忠诚度学习来缓解此问题，在这种学习中，通过使用大量廉价的低保真数据以及少量昂贵的高保真数据来训练模型。为此，我们开发了一个基于小波神经操作员的新框架，该框架能够从多保真数据集中学习。通过解决不同的问题，需要在两个忠诚度之间进行有效的相关性学习来证明开发模型的出色学习能力。此外，我们还评估了开发框架在不确定性定量中的应用。从这项工作中获得的结果说明了拟议框架的出色表现。

基于神经网络的数据驱动操作员学习方案在计算力学中显示出巨大的潜力。 DeWonet是一种这样的神经网络体系结构，由于其出色的预测能力，它广泛赞赏。话虽如此，在确定性框架中设定的deponet架构面临过度拟合，概括不良和其不变形式的风险，因此无法量化与预测相关的不确定性。我们在本文中提出了一种用于操作员学习的跨贝叶斯迪维诺内特（VB-Deeponet），可以在很大程度上减轻deponet架构的这些局限性，并为用户提供有关预测阶段相关不确定性的更多信息。贝叶斯框架中设定的神经网络背后的关键思想是，神经网络的权重和偏见被视为概率分布而不是点估计，并且使用贝叶斯推理来更新其先前的分布。现在，为了管理与近似后验分布相关的计算成本，提出的VB-Deeponet使用\ textIt {变异推理}。与马尔可夫链蒙特卡洛方案不同，变异推理具有考虑高维后分布的能力，同时保持相关的计算成本较低。涵盖力学问题的不同示例，例如扩散反应，重力摆，对流扩散，以说明了所提出的VB-Deeponet的性能，并且在确定性框架中也对Deeponet集进行了比较。

我们为由随机微分方程（SDE）控制的物理系统提出了一种新型的灰色盒建模算法。所提出的方法（称为深物理校正器（DPC））将用SDE代表的物理学与深神经网络（DNN）相结合。这里的主要思想是利用DNN来建模缺失的物理学。我们假设将不完整的物理与数据相结合将使模型可解释并允许更好地概括。与随机模拟器的训练替代模型相关的主要瓶颈通常与选择合适的损耗函数有关。在文献中可用的不同损失函数中，我们在DPC中使用有条件的最大平均差异（CMMD）损失函数，因为其证明了其性能。总体而言，物理数据融合和CMMD允许DPC从稀疏数据中学习。我们说明了拟议的DPC在文献中的四个基准示例上的性能。获得的结果高度准确，表明它可能将其作为随机模拟器的替代模型的应用。

机器学习中的不确定性量化（UQ）目前正在引起越来越多的研究兴趣，这是由于深度神经网络在不同领域的快速部署，例如计算机视觉，自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近，还开发了各种机器学习模型，以解决科学计算领域的问题，并适用于计算科学和工程（CSE）。物理知识的神经网络和深层操作员网络是两个这样的模型，用于求解部分微分方程和学习操作员映射。在这方面，[45]中提供了专门针对科学机器学习（SCIML）模型量身定制的UQ方法的全面研究。然而，尽管具有理论上的优点，但这些方法的实施并不简单，尤其是在大规模的CSE应用程序中，阻碍了他们在研究和行业环境中的广泛采用。在本文中，我们提出了一个开源python图书馆（https://github.com/crunch-uq4mi），称为Neuraluq，并伴有教育教程，用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的，都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程，并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程，随后在四个不同的示例中证明了其适用性和效率，涉及动态系统以及高维参数和时间依赖性PDE。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

人工智能（AI）和机器学习（ML）的最新表现突破，尤其是深度学习的进步（DL），功能强大，易于使用的ML库（例如Scikit-Learn，Tensorflow，Pytorch。），Pytorch。，Pytorch。。核工程师对AI/ML的前所未有的兴趣，并增加了计算能力。对于基于物理学的计算模型，已经广泛研究了验证，验证和不确定性定量（VVUQ），并且已经开发了许多方法。但是，ML模型的VVUQ的研究相对较少，尤其是在核工程中。在这项工作中，我们专注于ML模型的UQ作为ML VVUQ的初步步骤，更具体地说，是Deep Neural Networks（DNNS），因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性，当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术，即Monte Carlo辍学（MCD），深层合奏（DE）和贝叶斯神经网络（BNNS）。两个核工程示例用于基准这些方法，（1）使用野牛代码的时间依赖性裂变气体释放数据，以及（2）基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言，所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时，不确定性通常较小，而BNN方法通常会产生比MCD和DE更大的不确定性。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

我们构建具有多个垂直产生井的动态3D地下单相流动问题的代理模型。替代模型在给定随机渗透性场，任意井位置和穿透长度以及作为输入的时间戳矩阵的任何时间，提供了整个形成的有效压力估计。然后可以基于Peaceman的公式确定井生产速率或底部孔压力。使用卷积编码器解码器神经网络架构将原始代理建模任务转换为图像到图像回归问题。以其离散形式的控制流程方程的残余纳入损失函数，以施加模型训练过程的理论指导。结果，与完全数据驱动的模型相比，培训的代理模型的准确性和泛化能力显着提高。它们也显示出具有不同统计数据的渗透性场具有灵活的外推能力。代理模型用于考虑随机渗透性场的不确定性量化，以及基于有限的井生产数据和地层性能观察数据推断未知的渗透信息。结果显示与传统的数值模拟工具有关，但计算效率大大提高。

对于许多工程应用，例如实时模拟或控制，潜在的非线性问题的传统解决方案技术通常是过于计算的。在这项工作中，我们提出了一种高效的深度学习代理框架，能够预测负载下的超弹性体的响应。代理模型采用特殊的卷积神经网络架构，所谓的U-Net的形式，其具有用有限元方法获得的力 - 位移数据训练。我们提出了框架的确定性和概率版本，并研究了三个基准问题。特别是，我们检查最大可能性和变分贝叶斯推论配方的能力，以评估解决方案的置信区间。

社会和自然中的极端事件，例如大流行尖峰，流氓波浪或结构性失败，可能会带来灾难性的后果。极端的表征很困难，因为它们很少出现，这似乎是由良性的条件引起的，并且属于复杂且通常是未知的无限维系统。这种挑战使他们将其描述为“毫无意义”。我们通过将贝叶斯实验设计（BED）中的新型训练方案与深神经操作员（DNOS）合奏结合在一起来解决这些困难。这个模型不足的框架配对了一个床方案，该床方案积极选择数据以用近似于无限二二维非线性运算符的DNO集合来量化极端事件。我们发现，这个框架不仅清楚地击败了高斯流程（GPS），而且只有两个成员的浅色合奏表现最好； 2）无论初始数据的状态如何（即有或没有极端），都会发现极端； 3）我们的方法消除了“双研究”现象； 4）与逐步全球Optima相比，使用次优的采集点的使用不会阻碍床的性能； 5）蒙特卡洛的获取优于高量级的标准优化器。这些结论共同构成了AI辅助实验基础设施的基础，该基础设施可以有效地推断并查明从物理到社会系统的许多领域的关键情况。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

我们建议使用贝叶斯推理和深度神经网络的技术，将地震成像中的不确定性转化为图像上执行的任务的不确定性，例如地平线跟踪。地震成像是由于带宽和孔径限制，这是一个不良的逆问题，由于噪声和线性化误差的存在而受到阻碍。但是，许多正规化方法，例如变形域的稀疏性促进，已设计为处理这些错误的不利影响，但是，这些方法具有偏向解决方案的风险，并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法，以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络（CNN）并评估这些不确定性，样品是从CNN权重的后验分布中得出的，用于参数化图像。与传统先验相比，文献中认为，这些CNN引入了灵活的感应偏见，这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题，即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外，最大的后验估计值容易过度拟合外，访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性，以便在跟踪的视野上不确定性。例如，它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。

我们使用高斯随机重量平均（赃物）来评估与基于神经网络的功能近似相关的模型不确定性与流体流有关。赃物在给定训练数据和恒定学习率的情况下近似每个重量的后高斯分布。有了访问此分布，它能够创建具有各种采样权重组合的多个模型，可用于获得集合预测。这种合奏的平均值可以视为“平均估计”，而其标准偏差则可以用于构建“置信区间”，这使我们能够在神经网络的训练过程中执行不确定性定量（UQ）。我们在以下情况下利用代表性的基于神经网络的功能近似任务：（i）二维圆形缸唤醒； （ii）Daymet数据集（北美的最高每日温度）； （iii）三维方缸唤醒； （iv）城市流程，以评估当前思想在各种复杂数据集中的普遍性。无论网络体系结构如何，都可以应用基于赃物的UQ，因此，我们证明了该方法对两种类型的神经网络的适用性：（i）通过结合卷积神经网络（CNN）和Multi-i-Encompruction。图层感知器（MLP）; （ii）来自具有二维CNN的截面数据的远场状态估计。我们发现，赃物可以从模型形式不确定性的角度获得物理上介入的置信区间估计。该能力支持其用于科学和工程方面的各种问题。

概率密度演化的推导提供了对许多随机系统及其性能的行为的宝贵洞察力。但是，对于大多数实时应用程序，对概率密度演变的数值确定是一项艰巨的任务。后者是由于所需的时间和空间离散方案引起的，这些方案使大多数计算解决方案过于效率和不切实际。在这方面，有效的计算替代模型的开发至关重要。关于物理受限网络的最新研究表明，可以通过编码对深神经网络的物理洞察力来实现合适的替代物。为此，目前的工作介绍了Deeppdem，它利用物理信息网络的概念通过提出深度学习方法来解决概率密度的演变。 Deeppdem了解随机结构的一般密度演化方程（GDEE）。这种方法为无网格学习方法铺平了道路，该方法可以通过以前的模拟数据解决密度演化问题。此外，它还可以作为优化方案或实时应用程序中任何其他时空点的溶液的有效替代物。为了证明所提出的框架的潜在适用性，研究了两个具有不同激活功能的网络体系结构以及两个优化器。关于三个不同问题的数值实施验证了所提出方法的准确性和功效。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

识别异质电导率场并重建污染物释放历史是地下修复的关键方面。通过有限和嘈杂的液压头和集中度测量实现这两个目标是具有挑战性的。这些障碍包括解决高维参数的反问题，以及重复前进建模所需的高计算成本。我们使用卷积对抗自动编码器（CAAE）进行异质非高斯电导率场的参数化，并具有低维的潜在表示。此外，我们训练了三维密集的卷积编码器（密集）网络，以作为流和运输过程的正向替代。结合了CAAE和密度向前的替代模型，使用多个数据同化（ESMDA）算法的整体更平滑，用于从未知参数的贝叶斯后分布中进行采样，形成CAAE密集的ESMDA反转框架。我们在三维污染物源和电导率域识别问题中应用了这种CAAE密集的ESMDA反转框架。提供了CAAE-ESMDA与物理流和运输模拟器和CAAE密度浓度ESMDA的反转结果的比较，这表明以更高的计算效率实现了准确的重建结果。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

在地质不确定性下，快速同化监测数据以更新压力累积和压力累积和二氧化碳（CO2）羽流迁移的预测是地质碳储存中的一个具有挑战性的问题。具有高维参数空间的数据同化的高计算成本阻碍了商业规模库管理的快速决策。我们建议利用具有深度学习技术的多孔介质流动行为的物理理解，以开发快速历史匹配 - 水库响应预测工作流程。应用集合更顺畅的多数据同化框架，工作流程更新地质特性，并通过通过地震反转解释的压力历史和二氧化碳羽毛的量化不确定性来预测水库性能。由于这种工作流程中最具计算昂贵的组件是储层模拟，我们开发了代理模型，以在多孔注射下预测动态压力和CO2羽流量。代理模型采用深度卷积神经网络，具体地，宽的剩余网络和残留的U-Net。该工作流程针对代表碎屑货架沉积环境的扁平三维储层模型验证。智能处理应用于真正的3D储层模型中数量与单层储层模型之间的桥梁。工作流程可以在主流个人工作站上不到一小时内完成历史匹配和储库预测，在不到一小时内。