We describe a Physics-Informed Neural Network (PINN) that simulates the flow induced by the astronomical tide in a synthetic port channel, with dimensions based on the Santos - S\~ao Vicente - Bertioga Estuarine System. PINN models aim to combine the knowledge of physical systems and data-driven machine learning models. This is done by training a neural network to minimize the residuals of the governing equations in sample points. In this work, our flow is governed by the Navier-Stokes equations with some approximations. There are two main novelties in this paper. First, we design our model to assume that the flow is periodic in time, which is not feasible in conventional simulation methods. Second, we evaluate the benefit of resampling the function evaluation points during training, which has a near zero computational cost and has been verified to improve the final model, especially for small batch sizes. Finally, we discuss some limitations of the approximations used in the Navier-Stokes equations regarding the modeling of turbulence and how it interacts with PINNs.

深度学习的繁荣激发了渴望整合这两个领域的计算流体动力学的研究人员和实践者。PINN（物理信息神经网络）方法就是这样的尝试。尽管文献中的大多数报告都显示出应用PINN方法的积极结果，但我们对其进行了实验扼杀了这种乐观。这项工作介绍了我们使用PINN解决两个基本流量问题的不成功的故事：2D Taylor-Green Vortex at $ re = 100 $ = 100 $和2D缸流，$ re re = 200 $。 Pinn方法解决了2D Taylor-Green涡流问题，并以可接受的结果为基础，我们将这种流程作为精度和性能基准。 Pinn方法的准确性需要大约32个小时的训练，以使$ 16 \ times 16 $有限差异模拟的准确性不到20秒。另一方面，2D气缸流甚至没有导致物理溶液。 Pinn方法的表现像稳态的求解器，没有捕获涡流脱落现象。通过分享我们的经验，我们要强调的是，Pinn方法仍然是一种正在进行的工作。需要更多的工作来使Pinn对于现实世界中的问题可行。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

浅水方程是大多数洪水和河流液压分析模型的基础。这些基于物理的模型通常昂贵且速度慢，因此不适合实时预测或参数反转。有吸引力的替代方案是代理模型。这项工作基于深度学习介绍了高效，准确，灵活的代理模型，NN-P2P，它可以对非结构化或不规则网格进行点对点预测。评估新方法并与基于卷积神经网络（CNNS）的现有方法进行比较，其只能在结构化或常规网格上进行图像到图像预测。在NN-P2P中，输入包括空间坐标和边界特征，可以描述液压结构的几何形状，例如桥墩。所有代理模型都在预测培训域中不同类型的码头周围的流程中。然而，当执行空间推断时，只有NN-P2P工作很好。基于CNN的方法的限制源于其光栅图像性质，其无法捕获边界几何形状和流量，这对流体动力学至关重要。 NN-P2P在通过神经网络预测码头周围的流量方面也具有良好的性能。 NN-P2P模型还严格尊重保护法。通过计算拖动系数$ C_D $的拖动系数$ C_D $ C_D $与码头长度/宽度比的新线性关系来证明拟议的代理模型的应用。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

Solute transport in porous media is relevant to a wide range of applications in hydrogeology, geothermal energy, underground CO2 storage, and a variety of chemical engineering systems. Due to the complexity of solute transport in heterogeneous porous media, traditional solvers require high resolution meshing and are therefore expensive computationally. This study explores the application of a mesh-free method based on deep learning to accelerate the simulation of solute transport. We employ Physics-informed Neural Networks (PiNN) to solve solute transport problems in homogeneous and heterogeneous porous media governed by the advection-dispersion equation. Unlike traditional neural networks that learn from large training datasets, PiNNs only leverage the strong form mathematical models to simultaneously solve for multiple dependent or independent field variables (e.g., pressure and solute concentration fields). In this study, we construct PiNN using a periodic activation function to better represent the complex physical signals (i.e., pressure) and their derivatives (i.e., velocity). Several case studies are designed with the intention of investigating the proposed PiNN's capability to handle different degrees of complexity. A manual hyperparameter tuning method is used to find the best PiNN architecture for each test case. Point-wise error and mean square error (MSE) measures are employed to assess the performance of PiNNs' predictions against the ground truth solutions obtained analytically or numerically using the finite element method. Our findings show that the predictions of PiNN are in good agreement with the ground truth solutions while reducing computational complexity and cost by, at least, three orders of magnitude.

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

在本文中，我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器，该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的，这些模型在训练过程中展开了更多求解器步骤。此外，我们基于湍流物理学引入损失项，以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景，一种均匀的腐烂湍流案例，一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比，我们的模型在长期A-posterii统计数据方面取得了重大改进，而无需将这些统计数据直接包含在学习目标中。在推论时，我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。

泊松方程至关重要，以获得用于霍尔效应推进器和炉射线放电的等离子体流体模拟中的自我一致的解决方案，因为泊松解决方案看起来是不稳定的非线性流动方程的源期。作为第一步，使用多尺度架构研究了使用深神经网络的零小小的边界条件的求解2D泊松方程，以分支机构，深度和接收领域的数量定义。一个关键目标是更好地了解神经网络如何学习泊松解决方案，并提供指导方针来实现最佳网络配置，特别是当耦合到具有等离子体源术语的时变欧拉方程时。这里，发现接收领域对于正确捕获场的大拓扑结构至关重要。对多种架构，损失和封锁的调查提供了最佳的网络来准确解决稳定的泊松问题。然后在具有越来越多的节点的网格上监测称为Plasmanet的最佳神经网络求解器的性能，并与经典平行的线性溶剂进行比较。接下来，在电子等离子体振荡测试盒的上下文中，Plasmanet与不稳定的欧拉等离子体流体方程求解器联接。在这一时间不断发展的问题中，需要物理损失来产生稳定的模拟。最终测试了涉及化学和平流的更复杂的放电繁殖案例。应用了先前部分中建立的指导方针，以构建CNN，以解决具有不同边界条件的圆柱形坐标中的相同泊松方程。结果揭示了良好的CNN预测，并利用现代GPU的硬件铺平了新的计算策略，以预测涉及泊松方程的不稳定问题。

了解添加剂制造（AM）过程的热行为对于增强质量控制和实现定制过程设计至关重要。大多数纯粹基于物理的计算模型都有密集的计算成本，因此不适合在线控制和迭代设计应用程序。数据驱动的模型利用最新开发的计算工具可以作为更有效的替代品，但通常会在大量仿真数据上进行培训，并且通常无法有效使用小但高质量的实验数据。在这项工作中，我们使用物理知识的神经网络开发了AM过程的基于混合物理学的热建模方法。具体而言，通过红外摄像机测量的部分观察到的温度数据与物理定律结合在一起，以预测全场温度病史并发现未知的材料和过程参数。在数值和实验示例中，添加辅助训练数据并使用转移学习技术在训练效率和预测准确性方面的有效性，以及具有部分观察到的数据的未知参数的能力。结果表明，混合热模型可以有效地识别未知参数并准确捕获全田温度，因此它具有在AM的迭代过程设计和实时过程控制中的潜力。

自从Navier Stokes方程的推导以来，已经有可能在数值上解决现实世界的粘性流问题（计算流体动力学（CFD））。然而，尽管中央处理单元（CPU）的性能取得了迅速的进步，但模拟瞬态流量的计算成本非常小，时间/网格量表物理学仍然是不现实的。近年来，机器学习（ML）技术在整个行业中都受到了极大的关注，这一大浪潮已经传播了流体动力学界的各种兴趣。最近的ML CFD研究表明，随着数据驱动方法的训练时间和预测时间之间的间隔增加，完全抑制了误差的增加是不现实的。应用ML的实用CFD加速方法的开发是剩余的问题。因此，这项研究的目标是根据物理信息传递学习制定现实的ML策略，并使用不稳定的CFD数据集验证了该策略的准确性和加速性能。该策略可以在监视跨耦合计算框架中管理方程的残差时确定转移学习的时间。因此，我们的假设是可行的，即连续流体流动时间序列的预测是可行的，因为中间CFD模拟定期不仅减少了增加残差，还可以更新网络参数。值得注意的是，具有基于网格的网络模型的交叉耦合策略不会损害计算加速度的仿真精度。在层流逆流CFD数据集条件下，该模拟加速了1.8次，包括参数更新时间。此可行性研究使用了开源CFD软件OpenFOAM和开源ML软件TensorFlow。

我们介绍了一种用于学习时空平流扩散过程的组成物理学意识的神经网络（FINN）。 FINN实现了一种新的方式，通过以组成方式模拟部分微分方程（PDE）的成分来实现与数值模拟的物理和结构知识结合人工神经网络的学习能力。导致单维和二维PDE（汉堡，扩散，扩散反应，Allen-Cahn）展示了FinN的卓越的建模精度和超出初始和边界条件的优异分配概率。只有十分之一的参数数量平均，Finn在所有情况下占纯机学习和其他最先进的物理知识模型 - 通常甚至通过多个数量级。此外，在扩散吸附场景中近似稀疏的实际数据时，Finn优于校准的物理模型，通过揭示观察过程的未知延迟因子来确认其泛化能力并显示出说明潜力。

Surrogate models are necessary to optimize meaningful quantities in physical dynamics as their recursive numerical resolutions are often prohibitively expensive. It is mainly the case for fluid dynamics and the resolution of Navier-Stokes equations. However, despite the fast-growing field of data-driven models for physical systems, reference datasets representing real-world phenomena are lacking. In this work, we develop AirfRANS, a dataset for studying the two-dimensional incompressible steady-state Reynolds-Averaged Navier-Stokes equations over airfoils at a subsonic regime and for different angles of attacks. We also introduce metrics on the stress forces at the surface of geometries and visualization of boundary layers to assess the capabilities of models to accurately predict the meaningful information of the problem. Finally, we propose deep learning baselines on four machine learning tasks to study AirfRANS under different constraints for generalization considerations: big and scarce data regime, Reynolds number, and angle of attack extrapolation.

在本文中，我们开发了一种物理知识的神经网络（PINN）模型，用于具有急剧干扰初始条件的抛物线问题。作为抛物线问题的一个示例，我们考虑具有点（高斯）源初始条件的对流 - 分散方程（ADE）。在$ d $维的ADE中，在初始条件衰减中的扰动随时间$ t $ as $ t^{ - d/2} $，这可能会在Pinn解决方案中造成较大的近似错误。 ADE溶液中的局部大梯度使该方程的残余效率低下的（PINN）拉丁高立方体采样（常见）。最后，抛物线方程的PINN解对损耗函数中的权重选择敏感。我们提出了一种归一化的ADE形式，其中溶液的初始扰动不会降低幅度，并证明该归一化显着降低了PINN近似误差。我们提出了与通过其他方法选择的权重相比，损耗函数中的权重标准更准确。最后，我们提出了一种自适应采样方案，该方案可显着减少相同数量的采样（残差）点的PINN溶液误差。我们证明了提出的PINN模型的前进，反向和向后ADE的准确性。

地震波的频域模拟在地震反演中起着重要作用，但在大型模型中仍然具有挑战性。作为有效的深度学习方法，最近提出的物理知识的神经网络（PINN）在解决广泛的偏微分方程（PDES）方面取得了成功的应用，并且在这方面仍然有改进的余地。例如，当PDE系数不平滑并描述结构复合介质时，PINN可能导致溶液不准确。在本文中，我们通过使用PINN而不是波方程来求解频域中的声学和Visco声学散射的场波方程，以消除源奇异性。我们首先说明，当在损失函数中未实现边界条件时，非平滑速度模型导致波场不准确。然后，我们在PINN的损耗函数中添加了完美匹配的层（PML）条件，并设计了二次神经网络，以克服PINN中非平滑模型的有害影响。我们表明，PML和二次神经元改善了结果和衰减，并讨论了这种改进的原因。我们还说明，在波场模拟中训练的网络可用于预先训练PDE-Coeff及时改变后另一个波场模拟的神经网络，并相应地提高收敛速度。当两次连续迭代或两个连续的实验之间的模型扰动时，这种预训练策略应在迭代全波形反转（FWI）和时置目标成像中找到应用。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

数据驱动学习方法与经典仿真之间的接口造成了一个有趣的字段，提供了多种新应用。在这项工作中，我们建立了物理知识的神经网络（Pinns）的概念，并在浅水方程（SWE）模型中采用它们。这些模型在建模和模拟自由表面流程中起重要作用，例如洪波传播或海啸波。彼此比较Pinn残差的不同配方，并评估多种优化以加速收敛速率。我们用不同的1-D和2-D实验测试这些并最终证明关于具有不同沐浴浴的SWE场景，该方法能够与直接数值模拟相比，具有8.9美元的总相对$ L_2 $误差的直接数值模拟。e-3 $。