物理世界中的液体的难以解释需要准确地模拟其许多科学和工程应用的动态。传统上，建立得很好但资源密集的CFD溶解器提供了这种模拟。近年来已经看到了深入学习的替代模型，取代了这些求解器来缓解模拟过程。构建数据驱动代理的一些方法模拟了求解器迭代过程。他们推断出前一个液体的下一个状态。其他人直接从时间输入中推断出来。方法在其对空间信息的管理方面也有所不同。图形神经网络（GNN）可以解决CFD仿真中常用的不规则网格的特异性。在本文中，我们展示了我们正在进行的工作来设计一种用于不规则网格的新型直接时间GNN架构。它包括随着样条卷绕卷积连接的尺寸的连续。我们在von k {\'a} rm {\'a} n的vortex街基准测试中测试我们的架构。它实现了小的泛化误差，同时减轻了轨迹的误差累积。

深度学习替代模型已显示出在解决部分微分方程（PDE）方面的希望。其中，傅立叶神经操作员（FNO）达到了良好的准确性，并且与数值求解器（例如流体流量）上的数值求解器相比要快得多。但是，FNO使用快速傅立叶变换（FFT），该变换仅限于具有均匀网格的矩形域。在这项工作中，我们提出了一个新框架，即Geo-Fno，以解决任意几何形状的PDE。 Geo-FNO学会将可能不规则的输入（物理）结构域变形为具有均匀网格的潜在空间。具有FFT的FNO模型应用于潜在空间。所得的GEO-FNO模型既具有FFT的计算效率，也具有处理任意几何形状的灵活性。我们的Geo-FNO在其输入格式，，即点云，网格和设计参数方面也很灵活。我们考虑了各种PDE，例如弹性，可塑性，Euler和Navier-Stokes方程，以及正向建模和逆设计问题。与标准数值求解器相比，与标准数值求解器相比，Geo-fno的价格比标准数值求解器快两倍，与在现有基于ML的PDE求解器（如标准FNO）上进行直接插值相比，Geo-fno更准确。

\ emph {几何深度学习}（GDL）的最新进展显示了其提供强大数据驱动模型的潜力。这提供了探索从图形数据中\ emph {部分微分方程}（PDES）控制的物理系统的新方法的动力。然而，尽管做出了努力和最近的成就，但几个研究方向仍未开发，进步仍然远非满足现实现象的身体要求。主要障碍之一是缺乏基准数据集和常见的物理评估协议。在本文中，我们提出了一个2-D Graph-Mesh数据集，以研究High Reynolds制度的机翼上的气流（从$ 10^6 $及以后）。我们还对翼型上的应力力引入指标，以评估重要的物理量的GDL模型。此外，我们提供广泛的GDL基准。

A recent trend in deep learning research features the application of graph neural networks for mesh-based continuum mechanics simulations. Most of these frameworks operate on graphs in which each edge connects two nodes. Inspired by the data connectivity in the finite element method, we connect the nodes by elements rather than edges, effectively forming a hypergraph. We implement a message-passing network on such a node-element hypergraph and explore the capability of the network for the modeling of fluid flow. The network is tested on two common benchmark problems, namely the fluid flow around a circular cylinder and airfoil configurations. The results show that such a message-passing network defined on the node-element hypergraph is able to generate more stable and accurate temporal roll-out predictions compared to the baseline generalized message-passing network defined on a normal graph. Along with adjustments in activation function and training loss, we expect this work to set a new strong baseline for future explorations of mesh-based fluid simulations with graph neural networks.

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

作为在受边界价值约束下的部分微分方程（PDE）的经典数值求解器的替代方案，人们对研究可以有效解决此类问题的神经网络引起了人们的兴趣。在这项工作中，我们使用图神经网络（GNN）和光谱图卷积为两个不同时间独立的PDE设计了一个通用解决方案操作员。我们从有限元求解器的模拟数据上训练网络，以了解各种形状和不均匀性。与以前的作品相反，我们专注于受过训练的操作员概括以前看不见的情况的能力。具体而言，我们测试对不同形状和解决方案叠加的网格的概括，以确保不同数量的不均匀性。我们发现，在有限元网格中有很大变化的不同数据集进行培训是在所有情况下都能实现良好概括结果的关键要素。因此，我们认为GNN可以用来学习在一系列属性上概括并生成的解决方案的解决方案运算符，并比通用求解器快得多。我们可以公开可用的数据集可以使用并扩展，以验证这些模型在不同条件下的鲁棒性。

动力系统的演变通常由非线性偏微分方程（PDE）控制，在模拟框架中，其解决方案需要大量的计算资源。在这项工作中，我们提出了一种新颖的方法，该方法将超网络求解器与傅立叶神经操作员体系结构相结合。我们的方法分别处理时间和空间。结果，它通过采用部分差分运算符的一般组成特性，成功地在连续时间步骤中成功传播了初始条件。在先前的工作之后，在特定时间点提供监督。我们在各个时间演化PDE上测试我们的方法，包括一个，两个和三个空间维度中的非线性流体流。结果表明，新方法在监督点的时间点提高了学习准确性，并能够插入和解决任何中间时间的解决方案。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

傅里叶神经运营商（FNO）是一种基于学习的方法，用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商（F-FNO），允许与更深的网络更好地推广。通过仔细组合傅里叶分解，跨所有层，Markov属性和残差连接的共享内核积分运算符，F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2％的错误率，同时仍然比数值求解器更快地运行幅度，即使问题设置扩展到包括诸如粘度和时变力的附加上下文，也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。

地下模拟使用计算模型来预测流体（例如油，水，气体）通过多孔介质的流动。这些模拟在工业应用（例如石油生产）中至关重要，在这些应用中，需要快速，准确的模型来进行高级决策，例如，进行井安置优化和现场开发计划。经典的有限差数数值模拟器需要大量的计算资源来对大规模现实世界的水库进行建模。另外，通过依靠近似物理模型，流线模拟器和数据驱动的替代模型在计算上更有效，但是它们不足以在大规模上对复杂的储层动力学进行建模。在这里，我们介绍了混合图网络模拟器（HGNS），这是一个数据驱动的替代模型，用于学习3D地下流体流的储层模拟。为了模拟局部和全球尺度上的复杂储层动力学，HGN由地下图神经网络（SGNN）组成，以建模流体流的演化和3D-U-NET，以建模压力的演变。 HGNS能够扩展到每个时间步长数百万个单元的网格，比以前的替代模型高两个数量级，并且可以准确地预测流体流量数十亿个时间步长（未来几年）。使用带有110万个单元的行业标准地下流数据集（SPE-10），我们证明HGNS能够将推理时间降低到与标准地下模拟器相比，最高18次，并且通过降低基于学习的模型，它可以优于其他基于学习的模型长期预测错误高达21％。

浅水方程是大多数洪水和河流液压分析模型的基础。这些基于物理的模型通常昂贵且速度慢，因此不适合实时预测或参数反转。有吸引力的替代方案是代理模型。这项工作基于深度学习介绍了高效，准确，灵活的代理模型，NN-P2P，它可以对非结构化或不规则网格进行点对点预测。评估新方法并与基于卷积神经网络（CNNS）的现有方法进行比较，其只能在结构化或常规网格上进行图像到图像预测。在NN-P2P中，输入包括空间坐标和边界特征，可以描述液压结构的几何形状，例如桥墩。所有代理模型都在预测培训域中不同类型的码头周围的流程中。然而，当执行空间推断时，只有NN-P2P工作很好。基于CNN的方法的限制源于其光栅图像性质，其无法捕获边界几何形状和流量，这对流体动力学至关重要。 NN-P2P在通过神经网络预测码头周围的流量方面也具有良好的性能。 NN-P2P模型还严格尊重保护法。通过计算拖动系数$ C_D $的拖动系数$ C_D $ C_D $与码头长度/宽度比的新线性关系来证明拟议的代理模型的应用。

Surrogate models are necessary to optimize meaningful quantities in physical dynamics as their recursive numerical resolutions are often prohibitively expensive. It is mainly the case for fluid dynamics and the resolution of Navier-Stokes equations. However, despite the fast-growing field of data-driven models for physical systems, reference datasets representing real-world phenomena are lacking. In this work, we develop AirfRANS, a dataset for studying the two-dimensional incompressible steady-state Reynolds-Averaged Navier-Stokes equations over airfoils at a subsonic regime and for different angles of attacks. We also introduce metrics on the stress forces at the surface of geometries and visualization of boundary layers to assess the capabilities of models to accurately predict the meaningful information of the problem. Finally, we propose deep learning baselines on four machine learning tasks to study AirfRANS under different constraints for generalization considerations: big and scarce data regime, Reynolds number, and angle of attack extrapolation.

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

多保真建模和学习在与物理模拟相关的应用中很重要。它可以利用低保真性和高保真示例进行培训，以降低数据生成成本，同时仍然达到良好的性能。尽管现有方法仅模型有限，离散的保真度，但实际上，忠诚度的选择通常是连续且无限的，这可以对应于连续的网格间距或有限元元素长度。在本文中，我们提出了无限的保真度核心化（IFC）。鉴于数据，我们的方法可以在连续无限的保真度中提取和利用丰富的信息来增强预测准确性。我们的模型可以插值和/或推断出对新型保真度的预测，甚至可以高于训练数据的保​​真度。具体而言，我们引入了一个低维的潜在输出作为保真度和输入的连续函数，并具有带有基矩阵的多个IT以预测高维解决方案输出。我们将潜在输出建模为神经普通微分方程（ODE），以捕获内部的复杂关系并在整个连续保真度中整合信息。然后，我们使用高斯工艺或其他颂歌来估计忠诚度变化的碱基。为了有效的推断，我们将碱基重组为张量，并使用张量 - 高斯变异后部为大规模输出开发可扩展的推理算法。我们在计算物理学的几个基准任务中展示了我们的方法的优势。

在本文中，我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器，该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的，这些模型在训练过程中展开了更多求解器步骤。此外，我们基于湍流物理学引入损失项，以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景，一种均匀的腐烂湍流案例，一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比，我们的模型在长期A-posterii统计数据方面取得了重大改进，而无需将这些统计数据直接包含在学习目标中。在推论时，我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。

我们提出了使用复合曲线曲线产生的复杂鳍几何形状的传​​热和压降预测的替代模型。热设计过程包括复杂，计算昂贵且耗时的迭代高保真模拟。随着机器学习算法以及图形处理单元（GPU）的进步，我们可以利用GPU的并行处理体系结构，而不仅仅是仅依靠CPU来加速热流体模拟。在这项研究中，卷积神经网络（CNN）用于直接从保存为图像的拓扑中预测计算流体动力学（CFD）的结果。研究了带有单个鳍和多个形态鳍的表壳。为案例提供了单个FIN设计的Xpection网络和常规CNN的比较。结果表明，对于单鳍设计，尤其是使用Xception网络，观察到高精度的预测精度。增加设计自由到多个鳍片会增加预测的误差。然而，对于设计目的而言，这一错误仍在压降和传热估计中保持在3％之内。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。