动力系统的演变通常由非线性偏微分方程（PDE）控制，在模拟框架中，其解决方案需要大量的计算资源。在这项工作中，我们提出了一种新颖的方法，该方法将超网络求解器与傅立叶神经操作员体系结构相结合。我们的方法分别处理时间和空间。结果，它通过采用部分差分运算符的一般组成特性，成功地在连续时间步骤中成功传播了初始条件。在先前的工作之后，在特定时间点提供监督。我们在各个时间演化PDE上测试我们的方法，包括一个，两个和三个空间维度中的非线性流体流。结果表明，新方法在监督点的时间点提高了学习准确性，并能够插入和解决任何中间时间的解决方案。

傅里叶神经运营商（FNO）是一种基于学习的方法，用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商（F-FNO），允许与更深的网络更好地推广。通过仔细组合傅里叶分解，跨所有层，Markov属性和残差连接的共享内核积分运算符，F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2％的错误率，同时仍然比数值求解器更快地运行幅度，即使问题设置扩展到包括诸如粘度和时变力的附加上下文，也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

Deep operator network (DeepONet) has demonstrated great success in various learning tasks, including learning solution operators of partial differential equations. In particular, it provides an efficient approach to predict the evolution equations in a finite time horizon. Nevertheless, the vanilla DeepONet suffers from the issue of stability degradation in the long-time prediction. This paper proposes a {\em transfer-learning} aided DeepONet to enhance the stability. Our idea is to use transfer learning to sequentially update the DeepONets as the surrogates for propagators learned in different time frames. The evolving DeepONets can better track the varying complexities of the evolution equations, while only need to be updated by efficient training of a tiny fraction of the operator networks. Through systematic experiments, we show that the proposed method not only improves the long-time accuracy of DeepONet while maintaining similar computational cost but also substantially reduces the sample size of the training set.

众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

事实证明，神经操作员是无限维函数空间之间非线性算子的强大近似值，在加速偏微分方程（PDE）的溶液方面是有希望的。但是，它需要大量的模拟数据，这些数据可能成本高昂，从而导致鸡肉 - 蛋的困境并限制其在求解PDE中的使用。为了摆脱困境，我们提出了一个无数据的范式，其中神经网络直接从由离散的PDE构成的平方平方残留（MSR）损失中学习物理。我们研究了MSR损失中的物理信息，并确定神经网络必须具有对PDE空间域中的远距离纠缠建模的挑战，PDE的空间域中的模式在不同的PDE中有所不同。因此，我们提出了低级分解网络（Lordnet），该网络可调节，并且也有效地建模各种纠缠。具体而言，Lordnet通过简单的完全连接的层学习了与全球纠缠的低级别近似值，从而以降低的计算成本来提取主要模式。关于解决泊松方程和纳维尔 - 长方式方程的实验表明，MSR损失的物理约束可以提高神经网络的精确度和泛化能力。此外，Lordnet在PDE中的其他现代神经网络体系结构都优于最少的参数和最快的推理速度。对于Navier-Stokes方程式，学习的运算符的速度比具有相同计算资源的有限差异解决方案快50倍。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法，该方法将已知的物理学与机器学习结合起来，以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题，用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型，这些模型在后验损失函数上结合了不同程度的物理假设，以测试模型在一系列系统参数（包括粘度，时间和网格分辨率）上的疗效。我们发现，以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率，准确和可推广的模型，并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性，可能为封闭建模的未来提供了垫脚石。

许多物理过程，例如天气现象或流体力学由部分微分方程（PDE）管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而，目前的方法以各种方式限制：它们需要关于控制方程的先验知识，并限于线性或一阶方程。在这项工作中，我们提出了一种将卷积神经网络（CNNS）与可微分的颂歌求解器结合到模型动力系统的模型。我们表明，标准PDE求解器中使用的线路方法可以使用卷曲来表示，这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE，覆盖更高的订单，非线性方程和多个空间尺寸。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

我们提出了一种使用一组我们称为神经基函数（NBF）的神经网络来求解部分微分方程（PDE）的方法。这个NBF框架是POD DeepOnet操作方法的一种新颖的变化，我们将一组神经网络回归到降低的阶正合成分解（POD）基础上。然后将这些网络与分支网络结合使用，该分支网络摄入规定的PDE的参数以计算降低的订单近似值。该方法适用于高速流条件的稳态EULER方程（Mach 10-30），在该方程式中，我们考虑了围绕圆柱体的2D流，从而形成了冲击条件。然后，我们将NBF预测用作高保真计算流体动力学（CFD）求解器（CFD ++）的初始条件，以显示更快的收敛性。还将介绍用于培训和实施该算法的经验教训。

深度学习替代模型已显示出在解决部分微分方程（PDE）方面的希望。其中，傅立叶神经操作员（FNO）达到了良好的准确性，并且与数值求解器（例如流体流量）上的数值求解器相比要快得多。但是，FNO使用快速傅立叶变换（FFT），该变换仅限于具有均匀网格的矩形域。在这项工作中，我们提出了一个新框架，即Geo-Fno，以解决任意几何形状的PDE。 Geo-FNO学会将可能不规则的输入（物理）结构域变形为具有均匀网格的潜在空间。具有FFT的FNO模型应用于潜在空间。所得的GEO-FNO模型既具有FFT的计算效率，也具有处理任意几何形状的灵活性。我们的Geo-FNO在其输入格式，，即点云，网格和设计参数方面也很灵活。我们考虑了各种PDE，例如弹性，可塑性，Euler和Navier-Stokes方程，以及正向建模和逆设计问题。与标准数值求解器相比，与标准数值求解器相比，Geo-fno的价格比标准数值求解器快两倍，与在现有基于ML的PDE求解器（如标准FNO）上进行直接插值相比，Geo-fno更准确。

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

We present an end-to-end framework to learn partial differential equations that brings together initial data production, selection of boundary conditions, and the use of physics-informed neural operators to solve partial differential equations that are ubiquitous in the study and modeling of physics phenomena. We first demonstrate that our methods reproduce the accuracy and performance of other neural operators published elsewhere in the literature to learn the 1D wave equation and the 1D Burgers equation. Thereafter, we apply our physics-informed neural operators to learn new types of equations, including the 2D Burgers equation in the scalar, inviscid and vector types. Finally, we show that our approach is also applicable to learn the physics of the 2D linear and nonlinear shallow water equations, which involve three coupled partial differential equations. We release our artificial intelligence surrogates and scientific software to produce initial data and boundary conditions to study a broad range of physically motivated scenarios. We provide the source code, an interactive website to visualize the predictions of our physics informed neural operators, and a tutorial for their use at the Data and Learning Hub for Science.

随着计算能力的增加和机器学习的进步，基于数据驱动的学习方法在解决PDE方面引起了极大的关注。物理知识的神经网络（PINN）最近出现并成功地在各种前进和逆PDES问题中取得了成功，其优异的特性，例如灵活性，无网格解决方案和无监督的培训。但是，它们的收敛速度较慢和相对不准确的解决方案通常会限制其在许多科学和工程领域中的更广泛适用性。本文提出了一种新型的数据驱动的PDES求解器，物理知识的细胞表示（Pixel），优雅地结合了经典数值方法和基于学习的方法。我们采用来自数值方法的网格结构，以提高准确性和收敛速度并克服PINN中呈现的光谱偏差。此外，所提出的方法在PINN中具有相同的好处，例如，使用相同的优化框架来解决前进和逆PDE问题，并很容易通过现代自动分化技术强制执行PDE约束。我们为原始Pinn所努力的各种具有挑战性的PDE提供了实验结果，并表明像素达到了快速收敛速度和高精度。

Neural networks, especially the recent proposed neural operator models, are increasingly being used to find the solution operator of differential equations. Compared to traditional numerical solvers, they are much faster and more efficient in practical applications. However, one critical issue is that training neural operator models require large amount of ground truth data, which usually comes from the slow numerical solvers. In this paper, we propose a physics-guided data augmentation (PGDA) method to improve the accuracy and generalization of neural operator models. Training data is augmented naturally through the physical properties of differential equations such as linearity and translation. We demonstrate the advantage of PGDA on a variety of linear differential equations, showing that PGDA can improve the sample complexity and is robust to distributional shift.