Given the increasingly intricate forms of partial differential equations (PDEs) in physics and related fields, computationally solving PDEs without analytic solutions inevitably suffers from the trade-off between accuracy and efficiency. Recent advances in neural operators, a kind of mesh-independent neural-network-based PDE solvers, have suggested the dawn of overcoming this challenge. In this emerging direction, Koopman neural operator (KNO) is a representative demonstration and outperforms other state-of-the-art alternatives in terms of accuracy and efficiency. Here we present KoopmanLab, a self-contained and user-friendly PyTorch module of the Koopman neural operator family for solving partial differential equations. Beyond the original version of KNO, we develop multiple new variants of KNO based on different neural network architectures to improve the general applicability of our module. These variants are validated by mesh-independent and long-term prediction experiments implemented on representative PDEs (e.g., the Navier-Stokes equation and the Bateman-Burgers equation) and ERA5 (i.e., one of the largest high-resolution data sets of global-scale climate fields). These demonstrations suggest the potential of KoopmanLab to be considered in diverse applications of partial differential equations.

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Solving partial differential equations is difficult. Recently proposed neural resolution-invariant models, despite their effectiveness and efficiency, usually require equispaced spatial points of data. However, sampling in spatial domain is sometimes inevitably non-equispaced in real-world systems, limiting their applicability. In this paper, we propose a Non-equispaced Fourier PDE Solver (\textsc{NFS}) with adaptive interpolation on resampled equispaced points and a variant of Fourier Neural Operators as its components. Experimental results on complex PDEs demonstrate its advantages in accuracy and efficiency. Compared with the spatially-equispaced benchmark methods, it achieves superior performance with $42.85\%$ improvements on MAE, and is able to handle non-equispaced data with a tiny loss of accuracy. Besides, to our best knowledge, \textsc{NFS} is the first ML-based method with mesh invariant inference ability to successfully model turbulent flows in non-equispaced scenarios, with a minor deviation of the error on unseen spatial points.

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

深度学习替代模型已显示出在解决部分微分方程（PDE）方面的希望。其中，傅立叶神经操作员（FNO）达到了良好的准确性，并且与数值求解器（例如流体流量）上的数值求解器相比要快得多。但是，FNO使用快速傅立叶变换（FFT），该变换仅限于具有均匀网格的矩形域。在这项工作中，我们提出了一个新框架，即Geo-Fno，以解决任意几何形状的PDE。 Geo-FNO学会将可能不规则的输入（物理）结构域变形为具有均匀网格的潜在空间。具有FFT的FNO模型应用于潜在空间。所得的GEO-FNO模型既具有FFT的计算效率，也具有处理任意几何形状的灵活性。我们的Geo-FNO在其输入格式，，即点云，网格和设计参数方面也很灵活。我们考虑了各种PDE，例如弹性，可塑性，Euler和Navier-Stokes方程，以及正向建模和逆设计问题。与标准数值求解器相比，与标准数值求解器相比，Geo-fno的价格比标准数值求解器快两倍，与在现有基于ML的PDE求解器（如标准FNO）上进行直接插值相比，Geo-fno更准确。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

在对地下地震成像的研究中，求解声波方程是现有模型中的关键成分。随着深度学习的发展，神经网络通过学习输入和方程解决方案之间的映射，特别是波动方程式，将神经网络应用于数值求解部分微分方程，因为如果要花很多时间，传统方法可能会很耗时解决了。以前专注于通过神经网络解决波动方程的工作考虑单个速度模型或多个简单速度模型，这在实践中受到限制。因此，受操作员学习的构想的启发，这项工作利用了傅立叶神经操作员（FNO）在可变速度模型的背景下有效地学习频域地震波场。此外，我们提出了一个与傅立叶神经操作员（PFNO）并行的新框架，以有效地训练基于FNO的求解器，给定多个源位置和频率。数值实验证明了OpenFWI数据集中使用复杂速度模型的FNO和PFNO的高精度。此外，跨数据集泛化测试验证了PFNO适应过分速度模型的。同样，在标签中存在随机噪声的情况下，PFNO具有强大的性能。最后，与传统的有限差异方法相比，PFNO在大规模测试数据集上接受了更高的计算效率。上述优势赋予了基于FNO的求解器的潜力，可以为地震波研究建立强大的模型。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

在许多科学和工程领域（例如流体动力学，天气预报及其反相反的优化问题）中，模拟大规模系统的部分微分方程（PDE）的时间演变至关重要。但是，由于它们的局部进化，因此经典的求解器和最近的基于深度学习的替代模型通常在计算中都非常密集：他们需要在推理期间的每个时间步骤更新每个离散的单元格的状态。在这里，我们开发了PDE（LE-PDE）的潜在进化，这是一种简单，快速和可扩展的方法，可以加速PDE的仿真和逆优化。 Le-Pde学习了系统的紧凑，全球表示，并通过学习的潜在进化模型有效地在潜在空间中充分进化。 LE-PDE通过在长时间推出期间更新的潜在维度要更新而与输入空间更新相比，可以实现加速。我们介绍了新的学习目标，以有效地学习这种潜在动力，以确保长期稳定。我们进一步介绍了通过在潜在空间中通过反向传播来加速PDE的边界条件的反向优化的技术，以及一种退火技术来解决边界条件的非差异性和稀疏相互作用。我们以非线性PDE的1D基准测试我们的方法，2D Navier-Stokes流入湍流相，并在2D Navier-Stokes流中对边界条件进行反相反优化。与最先进的基于深度学习的替代模型和其他强大的基线相比，我们证明了更新的尺寸降低了128倍，速度提高了15倍，同时提高了竞争精度。

事实证明，神经操作员是无限维函数空间之间非线性算子的强大近似值，在加速偏微分方程（PDE）的溶液方面是有希望的。但是，它需要大量的模拟数据，这些数据可能成本高昂，从而导致鸡肉 - 蛋的困境并限制其在求解PDE中的使用。为了摆脱困境，我们提出了一个无数据的范式，其中神经网络直接从由离散的PDE构成的平方平方残留（MSR）损失中学习物理。我们研究了MSR损失中的物理信息，并确定神经网络必须具有对PDE空间域中的远距离纠缠建模的挑战，PDE的空间域中的模式在不同的PDE中有所不同。因此，我们提出了低级分解网络（Lordnet），该网络可调节，并且也有效地建模各种纠缠。具体而言，Lordnet通过简单的完全连接的层学习了与全球纠缠的低级别近似值，从而以降低的计算成本来提取主要模式。关于解决泊松方程和纳维尔 - 长方式方程的实验表明，MSR损失的物理约束可以提高神经网络的精确度和泛化能力。此外，Lordnet在PDE中的其他现代神经网络体系结构都优于最少的参数和最快的推理速度。对于Navier-Stokes方程式，学习的运算符的速度比具有相同计算资源的有限差异解决方案快50倍。

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

动力系统的演变通常由非线性偏微分方程（PDE）控制，在模拟框架中，其解决方案需要大量的计算资源。在这项工作中，我们提出了一种新颖的方法，该方法将超网络求解器与傅立叶神经操作员体系结构相结合。我们的方法分别处理时间和空间。结果，它通过采用部分差分运算符的一般组成特性，成功地在连续时间步骤中成功传播了初始条件。在先前的工作之后，在特定时间点提供监督。我们在各个时间演化PDE上测试我们的方法，包括一个，两个和三个空间维度中的非线性流体流。结果表明，新方法在监督点的时间点提高了学习准确性，并能够插入和解决任何中间时间的解决方案。

在本文中，我们在关注最先进的变压器中应用自我关注，这是第一次需要与部分微分方程相关的数据驱动的操作员学习问题。努力放在一起解释启发式，提高注意机制的功效。通过在希尔伯特空间中采用操作员近似理论，首次证明了Softmax归一化在缩放的点产品中的关注中足够但没有必要。在没有软墨中的情况下，可以证明线性化变换器变型的近似容量与Petrov-Galerkin投影层 - 明智相当，并且估计是相对于序列长度的独立性。提出了一种模仿Petrov-Galerkin投影的新层归一化方案，以允许缩放通过注意层传播，这有助于模型在具有非通信数据的操作员学习任务中实现显着准确性。最后，我们展示了三个操作员学习实验，包括粘虫汉堡方程，接口达西流程，以及逆接口系数识别问题。新提出的简单关注的算子学习者Galerkin变压器，在Softmax归一化的同行中，培训成本和评估准确性都显示出显着的改进。

离散的不变学习旨在在无限维函数空间中学习，其能力将功能的异质离散表示作为学习模型的输入和/或输出。本文提出了一个基于整体自动编码器（IAE-NET）的新型深度学习框架，用于离散不变学习。 IAE-NET的基本构建块由编码器和解码器组成，作为与数据驱动的内核的积分转换，以及编码器和解码器之间的完全连接的神经网络。这个基本的构建块并行地在宽的多通道结构中应用，该结构反复组成，形成了一个具有跳过连接作为IAE-NET的深度连接的神经网络。 IAE-NET接受了随机数据扩展的培训，该数据具有随机数据，以生成具有异质结构的培训数据，以促进离散化不变性学习的性能。提出的IAE-NET在预测数据科学中进行了各种应用，解决了科学计算中的前进和反向问题，以及信号/图像处理。与文献中的替代方案相比，IAE-NET在现有应用中实现了最先进的性能，并创建了广泛的新应用程序。

部分微分方程（PDE）参见在科学和工程中的广泛使用，以将物理过程的模拟描述为标量和向量场随着时间的推移相互作用和协调。由于其标准解决方案方法的计算昂贵性质，神经PDE代理已成为加速这些模拟的积极研究主题。但是，当前的方法并未明确考虑不同字段及其内部组件之间的关系，这些关系通常是相关的。查看此类相关场的时间演变通过多活动场的镜头，使我们能够克服这些局限性。多胎场由标量，矢量以及高阶组成部分组成，例如双分数和三分分射线。 Clifford代数可以描述它们的代数特性，例如乘法，加法和其他算术操作。据我们所知，本文介绍了此类多人表示的首次使用以及Clifford的卷积和Clifford Fourier在深度学习的背景下的转换。由此产生的Clifford神经层普遍适用，并将在流体动力学，天气预报和一般物理系统的建模领域中直接使用。我们通过经验评估克利福德神经层的好处，通过在二维Navier-Stokes和天气建模任务以及三维Maxwell方程式上取代其Clifford对应物中常见的神经PDE代理中的卷积和傅立叶操作。克利福德神经层始终提高测试神经PDE代理的概括能力。

Recent advances in operator learning theory have improved our knowledge about learning maps between infinite dimensional spaces. However, for large-scale engineering problems such as concurrent multiscale simulation for mechanical properties, the training cost for the current operator learning methods is very high. The article presents a thorough analysis on the mathematical underpinnings of the operator learning paradigm and proposes a kernel learning method that maps between function spaces. We first provide a survey of modern kernel and operator learning theory, as well as discuss recent results and open problems. From there, the article presents an algorithm to how we can analytically approximate the piecewise constant functions on R for operator learning. This implies the potential feasibility of success of neural operators on clustered functions. Finally, a k-means clustered domain on the basis of a mechanistic response is considered and the Lippmann-Schwinger equation for micro-mechanical homogenization is solved. The article briefly discusses the mathematics of previous kernel learning methods and some preliminary results with those methods. The proposed kernel operator learning method uses graph kernel networks to come up with a mechanistic reduced order method for multiscale homogenization.