我们使用高斯随机重量平均（赃物）来评估与基于神经网络的功能近似相关的模型不确定性与流体流有关。赃物在给定训练数据和恒定学习率的情况下近似每个重量的后高斯分布。有了访问此分布，它能够创建具有各种采样权重组合的多个模型，可用于获得集合预测。这种合奏的平均值可以视为“平均估计”，而其标准偏差则可以用于构建“置信区间”，这使我们能够在神经网络的训练过程中执行不确定性定量（UQ）。我们在以下情况下利用代表性的基于神经网络的功能近似任务：（i）二维圆形缸唤醒； （ii）Daymet数据集（北美的最高每日温度）； （iii）三维方缸唤醒； （iv）城市流程，以评估当前思想在各种复杂数据集中的普遍性。无论网络体系结构如何，都可以应用基于赃物的UQ，因此，我们证明了该方法对两种类型的神经网络的适用性：（i）通过结合卷积神经网络（CNN）和Multi-i-Encompruction。图层感知器（MLP）; （ii）来自具有二维CNN的截面数据的远场状态估计。我们发现，赃物可以从模型形式不确定性的角度获得物理上介入的置信区间估计。该能力支持其用于科学和工程方面的各种问题。

映射近场污染物的浓度对于跟踪城市地区意外有毒羽状分散体至关重要。通过求解大部分湍流谱，大型模拟（LES）具有准确表示污染物浓度空间变异性的潜力。找到一种合成大量信息的方法，以提高低保真操作模型的准确性（例如，提供更好的湍流封闭条款）特别有吸引力。这是一个挑战，在多质量环境中，LES的部署成本高昂，以了解羽流和示踪剂分散如何随着各种大气和源参数的变化。为了克服这个问题，我们提出了一个合并正交分解（POD）和高斯过程回归（GPR）的非侵入性降低阶模型，以预测与示踪剂浓度相关的LES现场统计。通过最大的后验（MAP）过程，GPR HyperParameter是通过POD告知的最大后验（MAP）过程来优化组件的。我们在二维案例研究上提供了详细的分析，该案例研究对应于表面安装的障碍物上的湍流大气边界层流。我们表明，障碍物上游的近源浓度异质性需要大量的POD模式才能得到充分捕获。我们还表明，逐组分的优化允许捕获POD模式中的空间尺度范围，尤其是高阶模式中较短的浓度模式。如果学习数据库由至少五十至100个LES快照制成，则可以首先估算所需的预算，以朝着更逼真的大气分散应用程序迈进，因此减少订单模型的预测仍然可以接受。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

We propose SWA-Gaussian (SWAG), a simple, scalable, and general purpose approach for uncertainty representation and calibration in deep learning. Stochastic Weight Averaging (SWA), which computes the first moment of stochastic gradient descent (SGD) iterates with a modified learning rate schedule, has recently been shown to improve generalization in deep learning. With SWAG, we fit a Gaussian using the SWA solution as the first moment and a low rank plus diagonal covariance also derived from the SGD iterates, forming an approximate posterior distribution over neural network weights; we then sample from this Gaussian distribution to perform Bayesian model averaging. We empirically find that SWAG approximates the shape of the true posterior, in accordance with results describing the stationary distribution of SGD iterates. Moreover, we demonstrate that SWAG performs well on a wide variety of tasks, including out of sample detection, calibration, and transfer learning, in comparison to many popular alternatives including MC dropout, KFAC Laplace, SGLD, and temperature scaling.

我们建议使用贝叶斯推理和深度神经网络的技术，将地震成像中的不确定性转化为图像上执行的任务的不确定性，例如地平线跟踪。地震成像是由于带宽和孔径限制，这是一个不良的逆问题，由于噪声和线性化误差的存在而受到阻碍。但是，许多正规化方法，例如变形域的稀疏性促进，已设计为处理这些错误的不利影响，但是，这些方法具有偏向解决方案的风险，并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法，以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络（CNN）并评估这些不确定性，样品是从CNN权重的后验分布中得出的，用于参数化图像。与传统先验相比，文献中认为，这些CNN引入了灵活的感应偏见，这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题，即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外，最大的后验估计值容易过度拟合外，访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性，以便在跟踪的视野上不确定性。例如，它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。

许多工程问题需要预测实现实现变异性或建模量的精致描述。在这种情况下，有必要采用未知高维空间的元素，其中可能具有数百万自由度。虽然存在能够具有具有已知形状的概率密度函数（PDF）的方法的方法，但是当分布未知时需要进行若干近似。在本文中，基础分布的采样方法以及底层分布的推动都是用一种称为生成对抗网络（GaN）的数据驱动方法，该方法列举了两个竞争的神经网络来生产可以有效地产生样本的网络从训练集分发。在实践中，通常需要从条件分布中绘制样品。当条件变量是连续的时，可以仅可用对应于调节变量的特定值的一个（如果有）数据点，这不足以估计条件分布。使用PDF的条件时刻的先验估计，处理此问题。这里比较两种方法，随机估计和外部神经网络，用于计算这些时刻;但是，可以使用任何优选的方法。在过滤的湍流流场的解构的情况下，证明了算法。结果表明，与最先进的方法相比，所提出的算法的所有版本有效地对目标条件分布进行了最小的影响，对样品的质量的影响最小。另外，该过程可以用作由连续变量的条件GaN（CGAN）产生的样本的分集的度量。

识别异质电导率场并重建污染物释放历史是地下修复的关键方面。通过有限和嘈杂的液压头和集中度测量实现这两个目标是具有挑战性的。这些障碍包括解决高维参数的反问题，以及重复前进建模所需的高计算成本。我们使用卷积对抗自动编码器（CAAE）进行异质非高斯电导率场的参数化，并具有低维的潜在表示。此外，我们训练了三维密集的卷积编码器（密集）网络，以作为流和运输过程的正向替代。结合了CAAE和密度向前的替代模型，使用多个数据同化（ESMDA）算法的整体更平滑，用于从未知参数的贝叶斯后分布中进行采样，形成CAAE密集的ESMDA反转框架。我们在三维污染物源和电导率域识别问题中应用了这种CAAE密集的ESMDA反转框架。提供了CAAE-ESMDA与物理流和运输模拟器和CAAE密度浓度ESMDA的反转结果的比较，这表明以更高的计算效率实现了准确的重建结果。

对于许多工程应用，例如实时模拟或控制，潜在的非线性问题的传统解决方案技术通常是过于计算的。在这项工作中，我们提出了一种高效的深度学习代理框架，能够预测负载下的超弹性体的响应。代理模型采用特殊的卷积神经网络架构，所谓的U-Net的形式，其具有用有限元方法获得的力 - 位移数据训练。我们提出了框架的确定性和概率版本，并研究了三个基准问题。特别是，我们检查最大可能性和变分贝叶斯推论配方的能力，以评估解决方案的置信区间。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

估计河床型材，也称为沐浴型，在许多应用中起着至关重要的作用，例如安全有效的内陆导航，对银行侵蚀，地面沉降和洪水风险管理的预测。直接沐浴术调查的高成本和复杂物流，即深度成像，鼓励使用间接测量，例如表面流速。然而，从间接测量估计高分辨率的沐浴族是可以计算地具有挑战性的逆问题。在这里，我们提出了一种基于阶的模型（ROM）的方法，其利用变形的自动化器（VAE），一系列深神经网络，中间具有窄层，以压缩沐浴族和流速信息并加速沐浴逆问题流速测量。在我们的应用中，浅水方程（SWE）具有适当的边界条件（BCS），例如排出和/或自由表面升高，构成前向问题，以预测流速。然后，通过变分编码器在低维度的非线性歧管上构造SWES的ROM。利用不确定性量化（UQ）的估计在贝叶斯环境中的低维潜空间上执行。我们已经在美国萨凡纳河的一英里接触到美国，测试了我们的反转方法。一旦培训了神经网络（离线阶段），所提出的技术就可以比通常基于线性投影的传统反转方法更快地执行幅度的反转操作级，例如主成分分析（PCA）或主要成分地质统计方法（PCGA）。此外，即使具有稀疏的流速测量，测试也可以估计算法估计良好的精度均匀的浴权。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

通过Navier-Stokes方程的数值解决方案的计算流体动力学（CFD）仿真是从工程设计到气候建模的广泛应用中的重要工具。然而，CFD代码所需的计算成本和内存需求对于实际兴趣的流动可能变得非常高，例如在空气动力学形状优化中。该费用与流体流动控制方程的复杂性有关，其包括具有困难的解决方案的非线性部分衍生术语，导致长的计算时间和限制在迭代设计过程中可以测试的假设的数量。因此，我们提出了DeepCFD：基于卷积神经网络（CNN）的模型，其有效地近似于均匀稳态流动问题的解决方案。所提出的模型能够直接从使用最先进的CFD代码生成的地面真实数据的速度和压力场的完整解决方案的完整解决方案。使用DeepCFD，与标准CFD方法以低误差率的成本相比，我们发现高达3个数量级的加速。

生产精确的天气预报和不确定的不确定性的可靠量化是一个开放的科学挑战。到目前为止，集团预测是最成功的方法，以产生相关预测的方法以及估计其不确定性。集合预测的主要局限性是高计算成本，难以捕获和量化不同的不确定性来源，特别是与模型误差相关的源。在这项工作中，进行概念证据模型实验，以检查培训的ANN的性能，以预测系统的校正状态和使用单个确定性预测作为输入的状态不确定性。我们比较不同的培训策略：一个基于使用集合预测的平均值和传播作为目标的直接培训，另一个依赖于使用确定性预测作为目标的决定性预测，其中来自数据隐含地学习不确定性。对于最后一种方法，提出和评估了两个替代损失函数，基于数据观察似然和基于误差的本地估计来评估另一个丢失功能。在不同的交货时间和方案中检查网络的性能，在没有模型错误的情况下。使用Lorenz'96模型的实验表明，ANNS能够模拟集合预测的一些属性，如最不可预测模式的过滤和预测不确定性的状态相关量化。此外，ANNS提供了在模型误差存在下的预测不确定性的可靠估计。

This work presents a set of neural network (NN) models specifically designed for accurate and efficient fluid dynamics forecasting. In this work, we show how neural networks training can be improved by reducing data complexity through a modal decomposition technique called higher order dynamic mode decomposition (HODMD), which identifies the main structures inside flow dynamics and reconstructs the original flow using only these main structures. This reconstruction has the same number of samples and spatial dimension as the original flow, but with a less complex dynamics and preserving its main features. We also show the low computational cost required by the proposed NN models, both in their training and inference phases. The core idea of this work is to test the limits of applicability of deep learning models to data forecasting in complex fluid dynamics problems. Generalization capabilities of the models are demonstrated by using the same neural network architectures to forecast the future dynamics of four different multi-phase flows. Data sets used to train and test these deep learning models come from Direct Numerical Simulations (DNS) of these flows.

AutoEncoder技术在减少秩序建模中发现越来越常见的用途作为创建潜在空间的手段。这种缩小的订单表示为与时间序列预测模型集成时的非线性动力系统提供了模块化数据驱动建模方法。在这封信中，我们提出了一个非线性适当的正交分解（POD）框架，它是一个端到端的Galerkin的模型，组合AutoEncoders，用于动态的长短期内存网络。通过消除由于Galerkin模型的截断导致的投影误差，所提出的非流体方法的关键推动器是在POD系数的全级扩展和动态发展的潜空间之间的非线性映射的运动结构。我们测试我们的模型减少对流主导系统的框架，这通常是针对减少订单模型的具有挑战性。我们的方法不仅提高了准确性，而且显着降低了培训和测试的计算成本。

动力学受部分微分方程（PDE）控制的物理系统在许多领域（从工程设计到天气预报）中找到了应用。从此类PDE中获取解决方案的过程对于大规模和参数化问题的计算昂贵。在这项工作中，使用LSTM和TCN等时间表预测开发的深度学习技术，或用于为CNN等空间功能提取而开发的，用于建模系统动力学，以占主导问题。这些模型将输入作为从PDE获得的连续时间步长的一系列高保真矢量解，并预测使用自动回归的后续时间步长的解决方案；从而减少获得此类高保真解决方案所需的计算时间和功率。这些模型经过数值基准测试（1D汉堡的方程式和Stoker的大坝断裂问题），以评估长期预测准确性，甚至在训练域之外（外推）。在向预测模型输入之前，使用非侵入性的降低订购建模技术（例如深度自动编码网络）来压缩高保真快照，以减少在线和离线阶段的复杂性和所需的计算。深层合奏被用来对预测模型进行不确定性量化，该模型提供了有关认知不确定性导致预测方差的信息。