科学机器学习的进步改善了现代计算科学和工程应用。数据驱动的方法（例如动态模式分解（DMD））可以从动态系统生成的时空数据中提取相干结构，并推断上述系统的不同方案。时空数据作为快照，每次瞬间包含空间信息。在现代工程应用中，高维快照的产生可能是时间和/或资源要求。在本研究中，我们考虑了在大型数值模拟中增强DMD工作流程的两种策略：（i）快照压缩以减轻磁盘压力； （ii）使用原位可视化图像在运行时重建动力学（或部分）。我们通过两个3D流体动力学模拟评估我们的方法，并考虑DMD重建解决方案。结果表明，快照压缩大大减少了所需的磁盘空间。我们已经观察到，损耗的压缩将存储降低了几乎$ 50 \％$，而信号重建和其他关注数量的相对错误则较低。我们还使用原位可视化工具将分析扩展到了直接生成的数据，在运行时生成状态向量的图像文件。在大型模拟中，快照的产生可能足够慢，可以使用批处理算法进行推理。流DMD利用增量SVD算法，并随着每个新快照的到来更新模式。我们使用流式DMD来重建原位生成的图像的动力学。我们证明此过程是有效的，并且重建的动力学是准确的。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

我们提出了一个机器学习框架，该框架将图像超分辨率技术与级别测量方法中的被动标量传输融为一体。在这里，我们研究是否可以计算直接数据驱动的校正，以最大程度地减少界面的粗晶石演化中的数值粘度。拟议的系统的起点是半拉格朗日配方。并且，为了减少数值耗散，我们引入了一个易于识别的多层感知器。该神经网络的作用是改善数值估计的表面轨迹。为此，它在单个时间范围内处理局部级别集，速度和位置数据，以便在移动前部附近的选择顶点。因此，我们的主要贡献是一种新型的机器学习调音算法，该算法与选择性重新融为一体并与常规对流交替运行，以保持调整后的界面轨迹平滑。因此，我们的程序比基于全卷卷积的应用更有效，因为它仅在自由边界周围集中计算工作。同样，我们通过各种测试表明，我们的策略有效地抵消了数值扩散和质量损失。例如，在简单的对流问题中，我们的方法可以达到与基线方案相同的精度，分辨率是分辨率的两倍，但成本的一小部分。同样，我们的杂种技术可以产生可行的固化前端，以进行结晶过程。另一方面，切向剪切流和高度变形的模拟会导致偏置伪像和推理恶化。同样，严格的设计速度约束可以将我们的求解器的应用限制为涉及快速接口更改的问题。在后一种情况下，我们已经确定了几个机会来增强鲁棒性，而没有放弃我们的方法的基本概念。

数字双胞胎已成为优化工程产品和系统性能的关键技术。高保真数值模拟构成了工程设计的骨干，从而准确地了解了复杂系统的性能。但是，大规模的，动态的非线性模型需要大量的计算资源，并且对于实时数字双胞胎应用而言是高度的。为此，采用了减少的订单模型（ROM），以近似高保真解决方案，同时准确捕获身体行为的主要方面。本工作提出了一个新的机器学习（ML）平台，用于开发ROM，以处理处理瞬态非线性偏微分方程的大规模数值问题。我们的框架被称为$ \ textit {fastsvd-ml-rom} $，利用$ \ textit {（i）} $单数值分解（SVD）更新方法，以计算多效性解决方案的线性子空间仿真过程，$ \ textIt {（ii）} $降低非线性维度的卷积自动编码器，$ \ textit {（iii）} $ feed-feed-feed-forderward神经网络以将输入参数映射到潜在的空间，以及$ \ textit {（iv） ）} $长的短期内存网络，以预测和预测参数解决方案的动力学。 $ \ textit {fastsvd-ml-rom} $框架的效率用于2D线性对流扩散方程，圆柱周围的流体问题以及动脉段内的3D血流。重建结果的准确性证明了鲁棒性，并评估了所提出的方法的效率。

Data compression is becoming critical for storing scientific data because many scientific applications need to store large amounts of data and post process this data for scientific discovery. Unlike image and video compression algorithms that limit errors to primary data, scientists require compression techniques that accurately preserve derived quantities of interest (QoIs). This paper presents a physics-informed compression technique implemented as an end-to-end, scalable, GPU-based pipeline for data compression that addresses this requirement. Our hybrid compression technique combines machine learning techniques and standard compression methods. Specifically, we combine an autoencoder, an error-bounded lossy compressor to provide guarantees on raw data error, and a constraint satisfaction post-processing step to preserve the QoIs within a minimal error (generally less than floating point error). The effectiveness of the data compression pipeline is demonstrated by compressing nuclear fusion simulation data generated by a large-scale fusion code, XGC, which produces hundreds of terabytes of data in a single day. Our approach works within the ADIOS framework and results in compression by a factor of more than 150 while requiring only a few percent of the computational resources necessary for generating the data, making the overall approach highly effective for practical scenarios.

数字双胞胎是一个代孕模型，具有反映原始过程行为的主要功能。将动力学过程与降低复杂性的数字双模型相关联具有很大的优势，可以将动力学以高精度和CPU时间和硬件的成本降低到遭受重大变化的时间表，因此很难探索。本文介绍了一个新的框架，用于创建有效的数字双流体流量流量。我们介绍了一种新型算法，该算法结合了基于Krylov的动态模式分解的优势和正确的正交分解，并优于选择最有影响力的模式。我们证明，随机正交分解算法提供了比SVD经验正交分解方法的几个优点，并减轻了对多目标优化问题的投影误差。我们涉及最先进的艺术人工智能（DL）以执行实时的实时学习（DL）数字双胞胎模型的自适应校准，富裕性的增加。该输出是流体流动动力学的高保真数字双数据数据模型，具有降低的复杂性。在三波现象的数值模拟中，随着复杂性的增加，研究了新的建模工具。我们表明，输出与原始源数据一致。我们在数值准确性和计算效率方面对新数字数据模型的性能进行彻底评估，包括时间模拟响应功能研究。

This work presents a set of neural network (NN) models specifically designed for accurate and efficient fluid dynamics forecasting. In this work, we show how neural networks training can be improved by reducing data complexity through a modal decomposition technique called higher order dynamic mode decomposition (HODMD), which identifies the main structures inside flow dynamics and reconstructs the original flow using only these main structures. This reconstruction has the same number of samples and spatial dimension as the original flow, but with a less complex dynamics and preserving its main features. We also show the low computational cost required by the proposed NN models, both in their training and inference phases. The core idea of this work is to test the limits of applicability of deep learning models to data forecasting in complex fluid dynamics problems. Generalization capabilities of the models are demonstrated by using the same neural network architectures to forecast the future dynamics of four different multi-phase flows. Data sets used to train and test these deep learning models come from Direct Numerical Simulations (DNS) of these flows.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

在本文中，我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数（DL-ROM）。所提出的DL-ROM具有非线性状态空间模型的格式，并采用具有长短期存储器（LSTM）的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统，其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合，用于预测横向方向自由振动球的非定常力和涡旋诱导的振动（VIV）锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识，输入功能包含一系列频率和幅度，其能够实现高效的DL-ROM，而无需用于低维建模的大量训练数据集。一旦训练，网络就提供了输入 - 输出动态的非线性映射，其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法（时代）集成，我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制，我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致，通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

给定部分微分方程（PDE），面向目标的误差估计使我们能够了解诊断数量的兴趣数量（QOI）或目标的错误如何发生并积累在数值近似中，例如使用有限元方法。通过将误差估计分解为来自各个元素的贡献，可以制定适应方法，该方法可以修改网格，以最大程度地减少所得QOI误差的目的。但是，标准误差估计公式涉及真实的伴随解决方案，这在实践中是未知的。因此，通常的做法是用“富集”的近似值（例如，在更高的空间或精制的网格上）近似。这样做通常会导致计算成本的显着增加，这可能是损害（面向目标）自适应模拟的竞争力的瓶颈。本文的核心思想是通过选择性更换昂贵的误差估计步骤，并使用适当的配置和训练的神经网络开发“数据驱动”目标的网格适应方法。这样，甚至可以在不构造富集空间的情况下获得误差估计器。此处采用了逐元构造，该元素构造与网格几何相关的各种参数的局部值和基础问题物理物理作为输入，并且对误差估计器的相应贡献作为输出。我们证明，这种方法能够以降低的计算成本获得相同的准确性，对于与潮汐涡轮机周围流动相关的自适应网格测试用例，这些测试用例是通过其下游唤醒相互作用的，以及农场的整体功率输出作为将其视为QOI。此外，我们证明了元素元素方法意味着培训成本相当低。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

最近的机器学习（ML）和深度学习（DL）的发展增加了所有部门的机会。 ML是一种重要的工具，可以应用于许多学科，但其直接应用于土木工程问题可能是挑战性的。在实验室中模拟的土木工程应用程序通常在现实世界测试中失败。这通常归因于用于培训和测试ML模型的数据之间的数据不匹配以及它在现实世界中遇到的数据，称为数据偏移的现象。然而，基于物理的ML模型集成了数据，部分微分方程（PDE）和数学模型以解决数据移位问题。基于物理的ML模型训练，以解决监督学习任务，同时尊重一般非线性方程描述的任何给定的物理定律。基于物理的ML，它在许多科学学科中占据中心阶段，在流体动力学，量子力学，计算资源和数据存储中起着重要作用。本文综述了基于物理学的ML历史及其在土木工程中的应用。

Deep operator networks (DeepONets) are powerful architectures for fast and accurate emulation of complex dynamics. As their remarkable generalization capabilities are primarily enabled by their projection-based attribute, we investigate connections with low-rank techniques derived from the singular value decomposition (SVD). We demonstrate that some of the concepts behind proper orthogonal decomposition (POD)-neural networks can improve DeepONet's design and training phases. These ideas lead us to a methodology extension that we name SVD-DeepONet. Moreover, through multiple SVD analyses, we find that DeepONet inherits from its projection-based attribute strong inefficiencies in representing dynamics characterized by symmetries. Inspired by the work on shifted-POD, we develop flexDeepONet, an architecture enhancement that relies on a pre-transformation network for generating a moving reference frame and isolating the rigid components of the dynamics. In this way, the physics can be represented on a latent space free from rotations, translations, and stretches, and an accurate projection can be performed to a low-dimensional basis. In addition to flexibility and interpretability, the proposed perspectives increase DeepONet's generalization capabilities and computational efficiencies. For instance, we show flexDeepONet can accurately surrogate the dynamics of 19 variables in a combustion chemistry application by relying on 95% less trainable parameters than the ones of the vanilla architecture. We argue that DeepONet and SVD-based methods can reciprocally benefit from each other. In particular, the flexibility of the former in leveraging multiple data sources and multifidelity knowledge in the form of both unstructured data and physics-informed constraints has the potential to greatly extend the applicability of methodologies such as POD and PCA.

石油场和地震成像的储层模拟被称为石油和天然气（O＆G）行业中高性能计算（HPC）最苛刻的工作量。模拟器数值参数的优化起着至关重要的作用，因为它可以节省大量的计算工作。最先进的优化技术基于运行大量模拟，特定于该目的，以找到良好的参数候选者。但是，在时间和计算资源方面，使用这种方法的成本高昂。这项工作提出了金枪鱼，这是一种新方法，可增强使用性能模型的储层流仿真的最佳数值参数的搜索。在O＆G行业中，通常使用不同工作流程中的模型合奏来减少与预测O＆G生产相关的不确定性。我们利用此类工作流程中这些合奏的运行来从每个模拟中提取信息，并在其后续运行中优化数值参数。为了验证该方法，我们在历史匹配（HM）过程中实现了它，该过程使用Kalman滤波器算法来调整储层模型的集合以匹配实际字段中观察到的数据。我们从许多具有不同数值配置的模拟中挖掘了过去的执行日志，并根据数据提取的功能构建机器学习模型。这些功能包括储层模型本身的属性，例如活动单元的数量，即模拟行为的统计数据，例如线性求解器的迭代次数。采样技术用于查询甲骨文以找到可以减少经过的时间的数值参数，而不会显着影响结果的质量。我们的实验表明，预测可以平均将HM工作流程运行时提高31％。

传统上，基于标度律维模型已被用于参数对流换热岩类地行星像地球，火星，水星和金星的内部，以解决二维或三维高保真前插的计算瓶颈。然而，这些在物理它们可以建模（例如深度取决于材料特性），并预测只平均量的量的限制，例如平均温度地幔。我们最近发现，前馈神经网络（FNN），使用了大量的二维模拟可以克服这个限制和可靠地预测整个1D横向平均温度分布的演变，及时为复杂的模型训练。我们现在扩展该方法以预测的完整2D温度字段，它包含在对流结构如热羽状和冷downwellings的形式的信息。使用的地幔热演化的10,525二维模拟数据集火星般的星球，我们表明，深度学习技术能够产生可靠的参数代理人（即代理人即预测仅基于参数状态变量，如温度）底层偏微分方程。我们首先使用卷积自动编码由142倍以压缩温度场，然后使用FNN和长短期存储器网络（LSTM）来预测所述压缩字段。平均起来，FNN预测是99.30％，并且LSTM预测是准确相对于看不见模拟99.22％。在LSTM和FNN预测显示，尽管较低的绝对平均相对精度，LSTMs捕捉血流动力学优于FNNS适当的正交分解（POD）。当求和，从FNN预测和从LSTM预测量至96.51％，相对97.66％到原始模拟的系数，分别与POD系数。

AutoEncoder技术在减少秩序建模中发现越来越常见的用途作为创建潜在空间的手段。这种缩小的订单表示为与时间序列预测模型集成时的非线性动力系统提供了模块化数据驱动建模方法。在这封信中，我们提出了一个非线性适当的正交分解（POD）框架，它是一个端到端的Galerkin的模型，组合AutoEncoders，用于动态的长短期内存网络。通过消除由于Galerkin模型的截断导致的投影误差，所提出的非流体方法的关键推动器是在POD系数的全级扩展和动态发展的潜空间之间的非线性映射的运动结构。我们测试我们的模型减少对流主导系统的框架，这通常是针对减少订单模型的具有挑战性。我们的方法不仅提高了准确性，而且显着降低了培训和测试的计算成本。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.