在地质不确定性下，快速同化监测数据以更新压力累积和压力累积和二氧化碳（CO2）羽流迁移的预测是地质碳储存中的一个具有挑战性的问题。具有高维参数空间的数据同化的高计算成本阻碍了商业规模库管理的快速决策。我们建议利用具有深度学习技术的多孔介质流动行为的物理理解，以开发快速历史匹配 - 水库响应预测工作流程。应用集合更顺畅的多数据同化框架，工作流程更新地质特性，并通过通过地震反转解释的压力历史和二氧化碳羽毛的量化不确定性来预测水库性能。由于这种工作流程中最具计算昂贵的组件是储层模拟，我们开发了代理模型，以在多孔注射下预测动态压力和CO2羽流量。代理模型采用深度卷积神经网络，具体地，宽的剩余网络和残留的U-Net。该工作流程针对代表碎屑货架沉积环境的扁平三维储层模型验证。智能处理应用于真正的3D储层模型中数量与单层储层模型之间的桥梁。工作流程可以在主流个人工作站上不到一小时内完成历史匹配和储库预测，在不到一小时内。

识别异质电导率场并重建污染物释放历史是地下修复的关键方面。通过有限和嘈杂的液压头和集中度测量实现这两个目标是具有挑战性的。这些障碍包括解决高维参数的反问题，以及重复前进建模所需的高计算成本。我们使用卷积对抗自动编码器（CAAE）进行异质非高斯电导率场的参数化，并具有低维的潜在表示。此外，我们训练了三维密集的卷积编码器（密集）网络，以作为流和运输过程的正向替代。结合了CAAE和密度向前的替代模型，使用多个数据同化（ESMDA）算法的整体更平滑，用于从未知参数的贝叶斯后分布中进行采样，形成CAAE密集的ESMDA反转框架。我们在三维污染物源和电导率域识别问题中应用了这种CAAE密集的ESMDA反转框架。提供了CAAE-ESMDA与物理流和运输模拟器和CAAE密度浓度ESMDA的反转结果的比较，这表明以更高的计算效率实现了准确的重建结果。

延时电阻率断层扫描（ERT）是一种流行的地球物理方法，可从电势差测量中估算三维（3D）通透性场。传统的反转和数据同化方法用于将这些数据吸收到水域模型中以估计渗透性。由于不适合性和维度的诅咒，现有的反转策略提供了较差的估计值和3D渗透率场的低分辨率。深度学习的最新进展为我们提供了强大的算法来克服这一挑战。本文提出了一个深度学习（DL）框架，以估算从延时ERT数据中的3D地下渗透性。为了测试所提出的框架的可行性，我们在模拟数据上训练了启用DL的逆模型。基于水域物理学的地下过程模型用于生成此合成数据以进行深度学习分析。结果表明，拟议的弱监督学习可以捕获3D渗透性领域中的显着空间特征。在数量上，在标记的训练，验证和测试数据集的平均平方平方误差（就自然日志而言）小于0.5。 R2评分（全局度量）大于0.75，每个单元格（本地度量）的百分比误差小于10％。最后，在计算成本方面的额外好处是，所提出的基于DL的反向模型至少比运行正向模型快的速度（104）倍。请注意，传统倒置可能需要多个前向模型模拟（例如，按10到1000的顺序），这非常昂贵。这种计算节省（O（105）-O（107））使提出的基于DL的逆模型具有对地下成像和实时ERT监视应用程序的吸引力，这是由于快速而相当准确的渗透性场估计。

避免地下储层中的过度压力对于诸如二氧化碳和废水注射等应用至关重要。通过控制注入/提取来管理压力，由于地下的复杂异质性。异质性通常需要高保真物理模型来对Co $ _2 $命运做出预测。此外，精确表征异质性的情况会充满参数不确定性。考虑到异质性和不确定性，这都使这是对当前储层模拟器的计算密集型问题。为了解决这个问题，我们使用全物理模型和机器学习的可区分编程来确定防止关键储层位置过度压力的流体提取率。我们使用DPFEHM框架，该框架具有基于标准的两点通量有限量离散化的值得信赖的物理学，并且像机器学习模型一样自动差异化。我们的物理知识的机器学习框架使用卷积神经网络根据渗透率领域学习适当的提取率。我们还执行超参数搜索以提高模型的准确性。执行培训和测试方案，以评估使用物理知识的机器学习来管理储层压力的可行性。我们构建并测试了一个足够精确的模拟器，该模拟器的速度比基于物理的模拟器快400000倍，从而允许接近实时分析和鲁棒的不确定性量化。

石油场和地震成像的储层模拟被称为石油和天然气（O＆G）行业中高性能计算（HPC）最苛刻的工作量。模拟器数值参数的优化起着至关重要的作用，因为它可以节省大量的计算工作。最先进的优化技术基于运行大量模拟，特定于该目的，以找到良好的参数候选者。但是，在时间和计算资源方面，使用这种方法的成本高昂。这项工作提出了金枪鱼，这是一种新方法，可增强使用性能模型的储层流仿真的最佳数值参数的搜索。在O＆G行业中，通常使用不同工作流程中的模型合奏来减少与预测O＆G生产相关的不确定性。我们利用此类工作流程中这些合奏的运行来从每个模拟中提取信息，并在其后续运行中优化数值参数。为了验证该方法，我们在历史匹配（HM）过程中实现了它，该过程使用Kalman滤波器算法来调整储层模型的集合以匹配实际字段中观察到的数据。我们从许多具有不同数值配置的模拟中挖掘了过去的执行日志，并根据数据提取的功能构建机器学习模型。这些功能包括储层模型本身的属性，例如活动单元的数量，即模拟行为的统计数据，例如线性求解器的迭代次数。采样技术用于查询甲骨文以找到可以减少经过的时间的数值参数，而不会显着影响结果的质量。我们的实验表明，预测可以平均将HM工作流程运行时提高31％。

估计河床型材，也称为沐浴型，在许多应用中起着至关重要的作用，例如安全有效的内陆导航，对银行侵蚀，地面沉降和洪水风险管理的预测。直接沐浴术调查的高成本和复杂物流，即深度成像，鼓励使用间接测量，例如表面流速。然而，从间接测量估计高分辨率的沐浴族是可以计算地具有挑战性的逆问题。在这里，我们提出了一种基于阶的模型（ROM）的方法，其利用变形的自动化器（VAE），一系列深神经网络，中间具有窄层，以压缩沐浴族和流速信息并加速沐浴逆问题流速测量。在我们的应用中，浅水方程（SWE）具有适当的边界条件（BCS），例如排出和/或自由表面升高，构成前向问题，以预测流速。然后，通过变分编码器在低维度的非线性歧管上构造SWES的ROM。利用不确定性量化（UQ）的估计在贝叶斯环境中的低维潜空间上执行。我们已经在美国萨凡纳河的一英里接触到美国，测试了我们的反转方法。一旦培训了神经网络（离线阶段），所提出的技术就可以比通常基于线性投影的传统反转方法更快地执行幅度的反转操作级，例如主成分分析（PCA）或主要成分地质统计方法（PCGA）。此外，即使具有稀疏的流速测量，测试也可以估计算法估计良好的精度均匀的浴权。

相位场建模是一种有效但计算昂贵的方法，用于捕获材料中的中尺度形态和微观结构演化。因此，需要快速且可推广的替代模型来减轻计算征税流程的成本，例如在材料的优化和设计中。尖锐相边界的存在所产生的物理现象的固有不连续性使替代模型的训练繁琐。我们开发了一个框架，该框架将卷积自动编码器架构与深神经操作员（DeepOnet）集成在一起，以了解两相混合物的动态演化，并加速预测微结构演变的时间。我们利用卷积自动编码器在低维的潜在空间中提供微观结构数据的紧凑表示。 DeepOnet由两个子网络组成，一个用于编码固定数量的传感器位置（分支网）的输入函数，另一个用于编码输出功能的位置（TRUNK NET），了解微观结构Evolution的中尺度动力学从自动编码器潜在空间。然后，卷积自动编码器的解码器部分从deponet预测中重建了时间进化的微结构。然后，可以使用训练有素的DeepOnet架构来替换插值任务中的高保真相位数值求解器或在外推任务中加速数值求解器。

An enhanced geothermal system is essential to provide sustainable and long-term geothermal energy supplies and reduce carbon emissions. Optimal well-control scheme for effective heat extraction and improved heat sweep efficiency plays a significant role in geothermal development. However, the optimization performance of most existing optimization algorithms deteriorates as dimension increases. To solve this issue, a novel surrogate-assisted level-based learning evolutionary search algorithm (SLLES) is proposed for heat extraction optimization of enhanced geothermal system. SLLES consists of classifier-assisted level-based learning pre-screen part and local evolutionary search part. The cooperation of the two parts has realized the balance between the exploration and exploitation during the optimization process. After iteratively sampling from the design space, the robustness and effectiveness of the algorithm are proven to be improved significantly. To the best of our knowledge, the proposed algorithm holds state-of-the-art simulation-involved optimization framework. Comparative experiments have been conducted on benchmark functions, a two-dimensional fractured reservoir and a three-dimensional enhanced geothermal system. The proposed algorithm outperforms other five state-of-the-art surrogate-assisted algorithms on all selected benchmark functions. The results on the two heat extraction cases also demonstrate that SLLES can achieve superior optimization performance compared with traditional evolutionary algorithm and other surrogate-assisted algorithms. This work lays a solid basis for efficient geothermal extraction of enhanced geothermal system and sheds light on the model management strategies of data-driven optimization in the areas of energy exploitation.

我们构建具有多个垂直产生井的动态3D地下单相流动问题的代理模型。替代模型在给定随机渗透性场，任意井位置和穿透长度以及作为输入的时间戳矩阵的任何时间，提供了整个形成的有效压力估计。然后可以基于Peaceman的公式确定井生产速率或底部孔压力。使用卷积编码器解码器神经网络架构将原始代理建模任务转换为图像到图像回归问题。以其离散形式的控制流程方程的残余纳入损失函数，以施加模型训练过程的理论指导。结果，与完全数据驱动的模型相比，培训的代理模型的准确性和泛化能力显着提高。它们也显示出具有不同统计数据的渗透性场具有灵活的外推能力。代理模型用于考虑随机渗透性场的不确定性量化，以及基于有限的井生产数据和地层性能观察数据推断未知的渗透信息。结果显示与传统的数值模拟工具有关，但计算效率大大提高。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

人工智能（AI）和机器学习（ML）的最新表现突破，尤其是深度学习的进步（DL），功能强大，易于使用的ML库（例如Scikit-Learn，Tensorflow，Pytorch。），Pytorch。，Pytorch。。核工程师对AI/ML的前所未有的兴趣，并增加了计算能力。对于基于物理学的计算模型，已经广泛研究了验证，验证和不确定性定量（VVUQ），并且已经开发了许多方法。但是，ML模型的VVUQ的研究相对较少，尤其是在核工程中。在这项工作中，我们专注于ML模型的UQ作为ML VVUQ的初步步骤，更具体地说，是Deep Neural Networks（DNNS），因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性，当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术，即Monte Carlo辍学（MCD），深层合奏（DE）和贝叶斯神经网络（BNNS）。两个核工程示例用于基准这些方法，（1）使用野牛代码的时间依赖性裂变气体释放数据，以及（2）基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言，所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时，不确定性通常较小，而BNN方法通常会产生比MCD和DE更大的不确定性。

作为行业4.0时代的一项新兴技术，数字双胞胎因其承诺进一步优化流程设计，质量控制，健康监测，决策和政策制定等，通过全面对物理世界进行建模，以进一步优化流程设计，质量控制，健康监测，决策和政策，因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中，我们研究了不同建模技术，孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第二篇论文介绍了数字双胞胎的关键启示技术的文献综述，重点是不确定性量化，优化方法，开源数据集和工具，主要发现，挑战和未来方向。讨论的重点是当前的不确定性量化和优化方法，以及如何在数字双胞胎的不同维度中应用它们。此外，本文介绍了一个案例研究，其中构建和测试了电池数字双胞胎，以说明在这两部分评论中回顾的一些建模和孪生方法。 GITHUB上可以找到用于生成案例研究中所有结果和数字的代码和预处理数据。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

我们引入了三种算法，将模拟重力数据倒入3D地下岩石/流属性。第一种算法是一种基于数据驱动的，基于深度学习的方法，第二个算法将深度学习方法与物理建模混合到单个工作流程中，第三个考虑了表面重力监测的时间依赖性。这些提出的算法的目标应用是地下CO $ _2 $李子作为监视CO $ _2 $固存部部署的补充工具的预测。每种提出的算法的表现都优于传统的反转方法，并在几乎实时实时产生高分辨率的3D地下重建。我们提出的方法以$ \ mu $ gals的形式获得了预测的羽状几何形状和接近完美数据失误的骰子得分。这些结果表明，将4D表面重力监测与深度学习技术相结合代表了一种低成本，快速和非侵入性的方法，用于监测CO $ _2 $存储站点。

我们提出了一种基于深度学习的代理模型，用于解决高维不确定性量化和不确定性传播问题。通过将众所周知的U-Net架构与高斯门控线性网络（GGLN）集成并称为所界线线性网络引起的U-Net或Glu-Net，通过将众所周知的U-Net架构进行了开发了建议的深度学习架构。所提出的Glu-Net将不确定性传播问题视为图像回归的图像，因此是极其数据效率。此外，它还提供了预测性不确定性的估计。 Glu-Net的网络架构不太复杂，参数比当代作品较少44 \％。我们说明了所提议的Glu-net在稀疏数据场景下在不确定性下解决达西流动问题的表现。我们认为随机输入维度最高可达4225.使用香草蒙特卡罗模拟产生基准结果。即使没有关于输入的结构的信息提供对网络的结构的信息，我们也观察到所提出的Glu-Net是准确的，非常有效。通过改变训练样本大小和随机输入维度来进行案例研究以说明所提出的方法的稳健性。

数字双胞胎已成为优化工程产品和系统性能的关键技术。高保真数值模拟构成了工程设计的骨干，从而准确地了解了复杂系统的性能。但是，大规模的，动态的非线性模型需要大量的计算资源，并且对于实时数字双胞胎应用而言是高度的。为此，采用了减少的订单模型（ROM），以近似高保真解决方案，同时准确捕获身体行为的主要方面。本工作提出了一个新的机器学习（ML）平台，用于开发ROM，以处理处理瞬态非线性偏微分方程的大规模数值问题。我们的框架被称为$ \ textit {fastsvd-ml-rom} $，利用$ \ textit {（i）} $单数值分解（SVD）更新方法，以计算多效性解决方案的线性子空间仿真过程，$ \ textIt {（ii）} $降低非线性维度的卷积自动编码器，$ \ textit {（iii）} $ feed-feed-feed-forderward神经网络以将输入参数映射到潜在的空间，以及$ \ textit {（iv） ）} $长的短期内存网络，以预测和预测参数解决方案的动力学。 $ \ textit {fastsvd-ml-rom} $框架的效率用于2D线性对流扩散方程，圆柱周围的流体问题以及动脉段内的3D血流。重建结果的准确性证明了鲁棒性，并评估了所提出的方法的效率。

社会和自然中的极端事件，例如大流行尖峰，流氓波浪或结构性失败，可能会带来灾难性的后果。极端的表征很困难，因为它们很少出现，这似乎是由良性的条件引起的，并且属于复杂且通常是未知的无限维系统。这种挑战使他们将其描述为“毫无意义”。我们通过将贝叶斯实验设计（BED）中的新型训练方案与深神经操作员（DNOS）合奏结合在一起来解决这些困难。这个模型不足的框架配对了一个床方案，该床方案积极选择数据以用近似于无限二二维非线性运算符的DNO集合来量化极端事件。我们发现，这个框架不仅清楚地击败了高斯流程（GPS），而且只有两个成员的浅色合奏表现最好； 2）无论初始数据的状态如何（即有或没有极端），都会发现极端； 3）我们的方法消除了“双研究”现象； 4）与逐步全球Optima相比，使用次优的采集点的使用不会阻碍床的性能； 5）蒙特卡洛的获取优于高量级的标准优化器。这些结论共同构成了AI辅助实验基础设施的基础，该基础设施可以有效地推断并查明从物理到社会系统的许多领域的关键情况。

映射近场污染物的浓度对于跟踪城市地区意外有毒羽状分散体至关重要。通过求解大部分湍流谱，大型模拟（LES）具有准确表示污染物浓度空间变异性的潜力。找到一种合成大量信息的方法，以提高低保真操作模型的准确性（例如，提供更好的湍流封闭条款）特别有吸引力。这是一个挑战，在多质量环境中，LES的部署成本高昂，以了解羽流和示踪剂分散如何随着各种大气和源参数的变化。为了克服这个问题，我们提出了一个合并正交分解（POD）和高斯过程回归（GPR）的非侵入性降低阶模型，以预测与示踪剂浓度相关的LES现场统计。通过最大的后验（MAP）过程，GPR HyperParameter是通过POD告知的最大后验（MAP）过程来优化组件的。我们在二维案例研究上提供了详细的分析，该案例研究对应于表面安装的障碍物上的湍流大气边界层流。我们表明，障碍物上游的近源浓度异质性需要大量的POD模式才能得到充分捕获。我们还表明，逐组分的优化允许捕获POD模式中的空间尺度范围，尤其是高阶模式中较短的浓度模式。如果学习数据库由至少五十至100个LES快照制成，则可以首先估算所需的预算，以朝着更逼真的大气分散应用程序迈进，因此减少订单模型的预测仍然可以接受。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。