在本文中，我们对数值模拟的加速感兴趣。我们专注于高超音速行星再入问题，该问题涉及耦合流体动力学和化学反应。模拟化学反应需要大部分计算时间，但另一方面，无法避免获得准确的预测。我们面临成本效率和准确性之间的权衡：模拟代码必须足够有效地在操作环境中使用，但必须足够准确，以忠实地预测现象。为了解决这个权衡，我们设计了一个混合模拟代码，将传统的流体动态求解器与近似化学反应的神经网络耦合。当在大数据上下文中应用以及它们源于其矩阵矢量结构的效率时，我们依靠它们的力量来实现重要的加速因子（$ \ tims 10 $至$ \ times 18.6 $）。本文旨在解释我们如何在实践中设计这种具有成本效益的混合模拟代码。最重要的是，我们描述了确保准确性保证的方法论，使我们能够超越传统的替代建模，并将这些代码用作参考。

通过神经网络解决新的机器学习问题总是意味着优化众多的超参数，以定义其结构并强烈影响其性能。在这项工作中，我们研究了基于希尔伯特·史克米特独立标准（HSIC）的面向目标灵敏度分析的使用，用于超参数分析和优化。超参数生活在通常复杂而尴尬的空间中。它们可以具有不同的本质（分类，离散，布尔，连续），相互作用并具有相互依存关系。所有这些使得执行经典灵敏度分析是不平凡的。我们可以减轻这些困难，以获取能够量化超参数对神经网络的最终错误的相对影响的强大分析指数。这种有价值的工具使我们能够更好地理解超参数，并使超参数优化更容易解释。我们在超参数优化的背景下说明了这些知识的好处，并得出了一种基于HSIC的优化算法，我们将其应用于MNIST和CIFAR，经典的机器学习数据集，但也适用于Runge功能和Bateman方程解决方案，兴趣解决方案的近似值，用于科学的机器学习。该方法产生既有竞争力又具有成本效益的神经网络。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Surrogate models are necessary to optimize meaningful quantities in physical dynamics as their recursive numerical resolutions are often prohibitively expensive. It is mainly the case for fluid dynamics and the resolution of Navier-Stokes equations. However, despite the fast-growing field of data-driven models for physical systems, reference datasets representing real-world phenomena are lacking. In this work, we develop AirfRANS, a dataset for studying the two-dimensional incompressible steady-state Reynolds-Averaged Navier-Stokes equations over airfoils at a subsonic regime and for different angles of attacks. We also introduce metrics on the stress forces at the surface of geometries and visualization of boundary layers to assess the capabilities of models to accurately predict the meaningful information of the problem. Finally, we propose deep learning baselines on four machine learning tasks to study AirfRANS under different constraints for generalization considerations: big and scarce data regime, Reynolds number, and angle of attack extrapolation.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

泊松方程至关重要，以获得用于霍尔效应推进器和炉射线放电的等离子体流体模拟中的自我一致的解决方案，因为泊松解决方案看起来是不稳定的非线性流动方程的源期。作为第一步，使用多尺度架构研究了使用深神经网络的零小小的边界条件的求解2D泊松方程，以分支机构，深度和接收领域的数量定义。一个关键目标是更好地了解神经网络如何学习泊松解决方案，并提供指导方针来实现最佳网络配置，特别是当耦合到具有等离子体源术语的时变欧拉方程时。这里，发现接收领域对于正确捕获场的大拓扑结构至关重要。对多种架构，损失和封锁的调查提供了最佳的网络来准确解决稳定的泊松问题。然后在具有越来越多的节点的网格上监测称为Plasmanet的最佳神经网络求解器的性能，并与经典平行的线性溶剂进行比较。接下来，在电子等离子体振荡测试盒的上下文中，Plasmanet与不稳定的欧拉等离子体流体方程求解器联接。在这一时间不断发展的问题中，需要物理损失来产生稳定的模拟。最终测试了涉及化学和平流的更复杂的放电繁殖案例。应用了先前部分中建立的指导方针，以构建CNN，以解决具有不同边界条件的圆柱形坐标中的相同泊松方程。结果揭示了良好的CNN预测，并利用现代GPU的硬件铺平了新的计算策略，以预测涉及泊松方程的不稳定问题。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

在概述中，引入了通用数学对象（映射），并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习（ML）工具。ML的应用在模拟现有参数化，开发新的参数化，确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

在整个计算科学中，越来越需要利用原始计算马力的持续改进，通过对蛮力的尺度锻炼的尺度增加，以增加网状元素数量的增加。例如，如果不考虑分子水平的相互作用，就不可能对纳米多孔介质的转运进行定量预测，即从紧密的页岩地层提取至关重要的碳氢化合物。同样，惯性限制融合模拟依赖于数值扩散来模拟分子效应，例如非本地转运和混合，而无需真正考虑分子相互作用。考虑到这两个不同的应用程序，我们开发了一种新颖的功能，该功能使用主动学习方法来优化局部细尺度模拟的使用来告知粗尺度流体动力学。我们的方法解决了三个挑战：预测连续性粗尺度轨迹，以推测执行新的精细分子动力学计算，动态地更新细度计算中的粗尺度，并量化神经网络模型中的不确定性。

传统上，基于标度律维模型已被用于参数对流换热岩类地行星像地球，火星，水星和金星的内部，以解决二维或三维高保真前插的计算瓶颈。然而，这些在物理它们可以建模（例如深度取决于材料特性），并预测只平均量的量的限制，例如平均温度地幔。我们最近发现，前馈神经网络（FNN），使用了大量的二维模拟可以克服这个限制和可靠地预测整个1D横向平均温度分布的演变，及时为复杂的模型训练。我们现在扩展该方法以预测的完整2D温度字段，它包含在对流结构如热羽状和冷downwellings的形式的信息。使用的地幔热演化的10,525二维模拟数据集火星般的星球，我们表明，深度学习技术能够产生可靠的参数代理人（即代理人即预测仅基于参数状态变量，如温度）底层偏微分方程。我们首先使用卷积自动编码由142倍以压缩温度场，然后使用FNN和长短期存储器网络（LSTM）来预测所述压缩字段。平均起来，FNN预测是99.30％，并且LSTM预测是准确相对于看不见模拟99.22％。在LSTM和FNN预测显示，尽管较低的绝对平均相对精度，LSTMs捕捉血流动力学优于FNNS适当的正交分解（POD）。当求和，从FNN预测和从LSTM预测量至96.51％，相对97.66％到原始模拟的系数，分别与POD系数。

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

我们提出了一个机器学习框架，该框架将图像超分辨率技术与级别测量方法中的被动标量传输融为一体。在这里，我们研究是否可以计算直接数据驱动的校正，以最大程度地减少界面的粗晶石演化中的数值粘度。拟议的系统的起点是半拉格朗日配方。并且，为了减少数值耗散，我们引入了一个易于识别的多层感知器。该神经网络的作用是改善数值估计的表面轨迹。为此，它在单个时间范围内处理局部级别集，速度和位置数据，以便在移动前部附近的选择顶点。因此，我们的主要贡献是一种新型的机器学习调音算法，该算法与选择性重新融为一体并与常规对流交替运行，以保持调整后的界面轨迹平滑。因此，我们的程序比基于全卷卷积的应用更有效，因为它仅在自由边界周围集中计算工作。同样，我们通过各种测试表明，我们的策略有效地抵消了数值扩散和质量损失。例如，在简单的对流问题中，我们的方法可以达到与基线方案相同的精度，分辨率是分辨率的两倍，但成本的一小部分。同样，我们的杂种技术可以产生可行的固化前端，以进行结晶过程。另一方面，切向剪切流和高度变形的模拟会导致偏置伪像和推理恶化。同样，严格的设计速度约束可以将我们的求解器的应用限制为涉及快速接口更改的问题。在后一种情况下，我们已经确定了几个机会来增强鲁棒性，而没有放弃我们的方法的基本概念。

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

在过去的十年中，在许多工程领域，包括自动驾驶汽车，医疗诊断和搜索引擎，甚至在艺术创作中，神经网络（NNS）已被证明是极有效的工具。确实，NN通常果断地超过传统算法。直到最近才引起重大兴趣的一个领域是使用NNS设计数值求解器，尤其是用于离散的偏微分方程。最近的几篇论文考虑使用NNS来开发多机方法，这些方法是解决离散的偏微分方程和其他稀疏矩阵问题的领先计算工具。我们扩展了这些新想法，重点关注所谓的放松操作员（也称为Smoothers），这是Multigrid算法的重要组成部分，在这种情况下尚未受到很多关注。我们探索了一种使用NNS学习带有随机系数的扩散算子的放松参数的方法，用于雅各比类型的Smoothers和4Color Gaussseidel Smoothers。后者的产量异常高效且易于使连续的放松（SOR）SmoOthors平行。此外，这项工作表明，使用两个网格方法在相对较小的网格上学习放松参数，而Gelfand的公式可以轻松实现。这些方法有效地产生了几乎最佳的参数，从而显着提高了大网格上的Multigrid算法的收敛速率。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

在本文中，我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器，该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的，这些模型在训练过程中展开了更多求解器步骤。此外，我们基于湍流物理学引入损失项，以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景，一种均匀的腐烂湍流案例，一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比，我们的模型在长期A-posterii统计数据方面取得了重大改进，而无需将这些统计数据直接包含在学习目标中。在推论时，我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。

使用机器学习算法来预测复杂系统的行为正在蓬勃发展。但是，在包括燃烧在内的多物理问题中有效利用机器学习工具的关键是将它们与物理和计算机模型搭配使用。如果所有先验知识和物理约束都体现了这些工具的性能。换句话说，必须对科学方法进行调整，以使机器学习进入图片，并充分利用我们生成的大量数据，这要归功于数值计算的进步。本章回顾了一些开放的机会，用于应用燃烧系统的数据驱动的减少订单建模。提供了湍流燃烧数据，经验低维歧管（ELDM）识别，分类，回归和降低阶数模型中特征提取的示例。

这项研究的目的是评估历史匹配的潜力（HM），以调整具有多尺度动力学的气候系统。通过考虑玩具气候模型，即两尺度的Lorenz96模型并在完美模型设置中生产实验，我们详细探讨了如何需要仔细测试几种内置选择。我们还展示了在参数范围内引入物理专业知识的重要性，这是运行HM的先验性。最后，我们重新审视气候模型调整中的经典过程，该程序包括分别调整慢速和快速组件。通过在Lorenz96模型中这样做，我们说明了合理参数的非唯一性，并突出了从耦合中出现的指标的特异性。本文也有助于弥合不确定性量化，机器学习和气候建模的社区，这是通过在每个社区使用的术语之间建立相同概念的术语并提出有希望的合作途径，从而使气候建模研究受益。