AutoEncoder技术在减少秩序建模中发现越来越常见的用途作为创建潜在空间的手段。这种缩小的订单表示为与时间序列预测模型集成时的非线性动力系统提供了模块化数据驱动建模方法。在这封信中，我们提出了一个非线性适当的正交分解（POD）框架，它是一个端到端的Galerkin的模型，组合AutoEncoders，用于动态的长短期内存网络。通过消除由于Galerkin模型的截断导致的投影误差，所提出的非流体方法的关键推动器是在POD系数的全级扩展和动态发展的潜空间之间的非线性映射的运动结构。我们测试我们的模型减少对流主导系统的框架，这通常是针对减少订单模型的具有挑战性。我们的方法不仅提高了准确性，而且显着降低了培训和测试的计算成本。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

数字双胞胎已成为优化工程产品和系统性能的关键技术。高保真数值模拟构成了工程设计的骨干，从而准确地了解了复杂系统的性能。但是，大规模的，动态的非线性模型需要大量的计算资源，并且对于实时数字双胞胎应用而言是高度的。为此，采用了减少的订单模型（ROM），以近似高保真解决方案，同时准确捕获身体行为的主要方面。本工作提出了一个新的机器学习（ML）平台，用于开发ROM，以处理处理瞬态非线性偏微分方程的大规模数值问题。我们的框架被称为$ \ textit {fastsvd-ml-rom} $，利用$ \ textit {（i）} $单数值分解（SVD）更新方法，以计算多效性解决方案的线性子空间仿真过程，$ \ textIt {（ii）} $降低非线性维度的卷积自动编码器，$ \ textit {（iii）} $ feed-feed-feed-forderward神经网络以将输入参数映射到潜在的空间，以及$ \ textit {（iv） ）} $长的短期内存网络，以预测和预测参数解决方案的动力学。 $ \ textit {fastsvd-ml-rom} $框架的效率用于2D线性对流扩散方程，圆柱周围的流体问题以及动脉段内的3D血流。重建结果的准确性证明了鲁棒性，并评估了所提出的方法的效率。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

最近的机器学习（ML）和深度学习（DL）的发展增加了所有部门的机会。 ML是一种重要的工具，可以应用于许多学科，但其直接应用于土木工程问题可能是挑战性的。在实验室中模拟的土木工程应用程序通常在现实世界测试中失败。这通常归因于用于培训和测试ML模型的数据之间的数据不匹配以及它在现实世界中遇到的数据，称为数据偏移的现象。然而，基于物理的ML模型集成了数据，部分微分方程（PDE）和数学模型以解决数据移位问题。基于物理的ML模型训练，以解决监督学习任务，同时尊重一般非线性方程描述的任何给定的物理定律。基于物理的ML，它在许多科学学科中占据中心阶段，在流体动力学，量子力学，计算资源和数据存储中起着重要作用。本文综述了基于物理学的ML历史及其在土木工程中的应用。

在本文中，我们提出了一种深度学习技术，用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络（AB-CRAN）。为了构建波传播数据的低维表示，我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型，用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架，用于波传播的低维学习。为了证明AB-Cran模型的有效性，我们考虑了三个基准问题，即一维线性对流，非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集，可以准确捕获波幅度，并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比，基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差，并提高了参数空间中的概括能力。

The renewed interest from the scientific community in machine learning (ML) is opening many new areas of research. Here we focus on how novel trends in ML are providing opportunities to improve the field of computational fluid dynamics (CFD). In particular, we discuss synergies between ML and CFD that have already shown benefits, and we also assess areas that are under development and may produce important benefits in the coming years. We believe that it is also important to emphasize a balanced perspective of cautious optimism for these emerging approaches

Deep operator networks (DeepONets) are powerful architectures for fast and accurate emulation of complex dynamics. As their remarkable generalization capabilities are primarily enabled by their projection-based attribute, we investigate connections with low-rank techniques derived from the singular value decomposition (SVD). We demonstrate that some of the concepts behind proper orthogonal decomposition (POD)-neural networks can improve DeepONet's design and training phases. These ideas lead us to a methodology extension that we name SVD-DeepONet. Moreover, through multiple SVD analyses, we find that DeepONet inherits from its projection-based attribute strong inefficiencies in representing dynamics characterized by symmetries. Inspired by the work on shifted-POD, we develop flexDeepONet, an architecture enhancement that relies on a pre-transformation network for generating a moving reference frame and isolating the rigid components of the dynamics. In this way, the physics can be represented on a latent space free from rotations, translations, and stretches, and an accurate projection can be performed to a low-dimensional basis. In addition to flexibility and interpretability, the proposed perspectives increase DeepONet's generalization capabilities and computational efficiencies. For instance, we show flexDeepONet can accurately surrogate the dynamics of 19 variables in a combustion chemistry application by relying on 95% less trainable parameters than the ones of the vanilla architecture. We argue that DeepONet and SVD-based methods can reciprocally benefit from each other. In particular, the flexibility of the former in leveraging multiple data sources and multifidelity knowledge in the form of both unstructured data and physics-informed constraints has the potential to greatly extend the applicability of methodologies such as POD and PCA.

动力学受部分微分方程（PDE）控制的物理系统在许多领域（从工程设计到天气预报）中找到了应用。从此类PDE中获取解决方案的过程对于大规模和参数化问题的计算昂贵。在这项工作中，使用LSTM和TCN等时间表预测开发的深度学习技术，或用于为CNN等空间功能提取而开发的，用于建模系统动力学，以占主导问题。这些模型将输入作为从PDE获得的连续时间步长的一系列高保真矢量解，并预测使用自动回归的后续时间步长的解决方案；从而减少获得此类高保真解决方案所需的计算时间和功率。这些模型经过数值基准测试（1D汉堡的方程式和Stoker的大坝断裂问题），以评估长期预测准确性，甚至在训练域之外（外推）。在向预测模型输入之前，使用非侵入性的降低订购建模技术（例如深度自动编码网络）来压缩高保真快照，以减少在线和离线阶段的复杂性和所需的计算。深层合奏被用来对预测模型进行不确定性量化，该模型提供了有关认知不确定性导致预测方差的信息。

相位场建模是一种有效但计算昂贵的方法，用于捕获材料中的中尺度形态和微观结构演化。因此，需要快速且可推广的替代模型来减轻计算征税流程的成本，例如在材料的优化和设计中。尖锐相边界的存在所产生的物理现象的固有不连续性使替代模型的训练繁琐。我们开发了一个框架，该框架将卷积自动编码器架构与深神经操作员（DeepOnet）集成在一起，以了解两相混合物的动态演化，并加速预测微结构演变的时间。我们利用卷积自动编码器在低维的潜在空间中提供微观结构数据的紧凑表示。 DeepOnet由两个子网络组成，一个用于编码固定数量的传感器位置（分支网）的输入函数，另一个用于编码输出功能的位置（TRUNK NET），了解微观结构Evolution的中尺度动力学从自动编码器潜在空间。然后，卷积自动编码器的解码器部分从deponet预测中重建了时间进化的微结构。然后，可以使用训练有素的DeepOnet架构来替换插值任务中的高保真相位数值求解器或在外推任务中加速数值求解器。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

由于其与线性主成分分析（PCA）相比，通过AutoEncoders的非线性主成分分析（NLPCA）通过自动化系统引起了动态系统社区的注意力。这些模型减少方法在应用于由于对称性的存在而展示具有全局不变样品的数据集时经历潜在空间的维度的增加。在这项研究中，我们在AutoEncoder中介绍了一种新颖的机器学习，它使用空间变压器网络和暹罗网络分别考虑连续和离散的对称。空间变压器网络发现连续平移或旋转的最佳变化，使得不变样本在周期性方向上对齐。同样，暹罗网络在离散移位和反射下不变的样本。因此，所提出的对称感知的AutoEncoder是不变的，到预定的输入变换，指示底层物理系统的动态。该嵌入可以与线性和非线性还原方法一起使用，我们将对称感知PCA（S-PCA）和对称感知NLPCA（S-NLPCA）采用。我们将建议的框架应用于3个流体流动问题：汉堡方程，流过一步漫射器的流程和kolmogorov流程的模拟，展示了表现出仅连续对称的情况的能力，只能离散对称或两者的组合。

传统上，基于标度律维模型已被用于参数对流换热岩类地行星像地球，火星，水星和金星的内部，以解决二维或三维高保真前插的计算瓶颈。然而，这些在物理它们可以建模（例如深度取决于材料特性），并预测只平均量的量的限制，例如平均温度地幔。我们最近发现，前馈神经网络（FNN），使用了大量的二维模拟可以克服这个限制和可靠地预测整个1D横向平均温度分布的演变，及时为复杂的模型训练。我们现在扩展该方法以预测的完整2D温度字段，它包含在对流结构如热羽状和冷downwellings的形式的信息。使用的地幔热演化的10,525二维模拟数据集火星般的星球，我们表明，深度学习技术能够产生可靠的参数代理人（即代理人即预测仅基于参数状态变量，如温度）底层偏微分方程。我们首先使用卷积自动编码由142倍以压缩温度场，然后使用FNN和长短期存储器网络（LSTM）来预测所述压缩字段。平均起来，FNN预测是99.30％，并且LSTM预测是准确相对于看不见模拟99.22％。在LSTM和FNN预测显示，尽管较低的绝对平均相对精度，LSTMs捕捉血流动力学优于FNNS适当的正交分解（POD）。当求和，从FNN预测和从LSTM预测量至96.51％，相对97.66％到原始模拟的系数，分别与POD系数。

在本文中，我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数（DL-ROM）。所提出的DL-ROM具有非线性状态空间模型的格式，并采用具有长短期存储器（LSTM）的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统，其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合，用于预测横向方向自由振动球的非定常力和涡旋诱导的振动（VIV）锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识，输入功能包含一系列频率和幅度，其能够实现高效的DL-ROM，而无需用于低维建模的大量训练数据集。一旦训练，网络就提供了输入 - 输出动态的非线性映射，其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法（时代）集成，我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制，我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致，通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。

使用机器学习算法来预测复杂系统的行为正在蓬勃发展。但是，在包括燃烧在内的多物理问题中有效利用机器学习工具的关键是将它们与物理和计算机模型搭配使用。如果所有先验知识和物理约束都体现了这些工具的性能。换句话说，必须对科学方法进行调整，以使机器学习进入图片，并充分利用我们生成的大量数据，这要归功于数值计算的进步。本章回顾了一些开放的机会，用于应用燃烧系统的数据驱动的减少订单建模。提供了湍流燃烧数据，经验低维歧管（ELDM）识别，分类，回归和降低阶数模型中特征提取的示例。

由于它们在文本中建模长期依赖性的能力，变压器广泛用于自然语言处理。虽然这些模型实现了许多语言相关任务的最先进的性能，但它们在自然语言处理领域之外的适用性是最小的。在这项工作中，我们建议使用变压器模型来预测代表物理现象的动态系统。基于Koopman的嵌入式的使用提供了一种独特而强大的方法，可以将任何动态系统投影到矢量表示中，然后可以由变压器预测。所提出的模型能够准确地预测各种动态系统和优于科学机学习文献中常用的经典方法。

我们使用高斯随机重量平均（赃物）来评估与基于神经网络的功能近似相关的模型不确定性与流体流有关。赃物在给定训练数据和恒定学习率的情况下近似每个重量的后高斯分布。有了访问此分布，它能够创建具有各种采样权重组合的多个模型，可用于获得集合预测。这种合奏的平均值可以视为“平均估计”，而其标准偏差则可以用于构建“置信区间”，这使我们能够在神经网络的训练过程中执行不确定性定量（UQ）。我们在以下情况下利用代表性的基于神经网络的功能近似任务：（i）二维圆形缸唤醒； （ii）Daymet数据集（北美的最高每日温度）； （iii）三维方缸唤醒； （iv）城市流程，以评估当前思想在各种复杂数据集中的普遍性。无论网络体系结构如何，都可以应用基于赃物的UQ，因此，我们证明了该方法对两种类型的神经网络的适用性：（i）通过结合卷积神经网络（CNN）和Multi-i-Encompruction。图层感知器（MLP）; （ii）来自具有二维CNN的截面数据的远场状态估计。我们发现，赃物可以从模型形式不确定性的角度获得物理上介入的置信区间估计。该能力支持其用于科学和工程方面的各种问题。

科学机器学习的进步改善了现代计算科学和工程应用。数据驱动的方法（例如动态模式分解（DMD））可以从动态系统生成的时空数据中提取相干结构，并推断上述系统的不同方案。时空数据作为快照，每次瞬间包含空间信息。在现代工程应用中，高维快照的产生可能是时间和/或资源要求。在本研究中，我们考虑了在大型数值模拟中增强DMD工作流程的两种策略：（i）快照压缩以减轻磁盘压力； （ii）使用原位可视化图像在运行时重建动力学（或部分）。我们通过两个3D流体动力学模拟评估我们的方法，并考虑DMD重建解决方案。结果表明，快照压缩大大减少了所需的磁盘空间。我们已经观察到，损耗的压缩将存储降低了几乎$ 50 \％$，而信号重建和其他关注数量的相对错误则较低。我们还使用原位可视化工具将分析扩展到了直接生成的数据，在运行时生成状态向量的图像文件。在大型模拟中，快照的产生可能足够慢，可以使用批处理算法进行推理。流DMD利用增量SVD算法，并随着每个新快照的到来更新模式。我们使用流式DMD来重建原位生成的图像的动力学。我们证明此过程是有效的，并且重建的动力学是准确的。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。