随机偏微分方程（SPDES）是在随机性影响下模拟动态系统的选择的数学工具。通过将搜索SPDE的温和解决方案作为神经定点问题，我们介绍了神经SPDE模型，以便从部分观察到的数据中使用（可能随机）的PDE溶液运营商。我们的模型为两类物理启发神经架构提供了扩展。一方面，它延伸了神经CDES，SDES，RDE - RNN的连续时间类似物，因为即使当后者在无限尺寸状态空间中演变时，它也能够处理进入的顺序信息。另一方面，它扩展了神经运营商 - 神经网络的概括到函数空间之间的模型映射 - 因为它可以用于学习解决方案运算符$（U_0，\ xi）\ MapSto U $同时上的SPDES初始条件$ u_0 $和驾驶噪声$ \ xi $的实现。神经SPDE是不变的，它可以使用基于记忆有效的隐式分化的反向化的训练，并且一旦接受训练，其评估比传统求解器快3个数量级。在包括2D随机Navier-Stokes方程的各种半线性SPDES的实验证明了神经间隙如何能够以更好的准确性学习复杂的时空动态，并仅使用适度的培训数据与所有替代模型相比。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

傅里叶神经运营商（FNO）是一种基于学习的方法，用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商（F-FNO），允许与更深的网络更好地推广。通过仔细组合傅里叶分解，跨所有层，Markov属性和残差连接的共享内核积分运算符，F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2％的错误率，同时仍然比数值求解器更快地运行幅度，即使问题设置扩展到包括诸如粘度和时变力的附加上下文，也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。

监督运营商学习是一种新兴机器学习范例，用于建模时空动态系统的演变和近似功能数据之间的一般黑盒关系的应用。我们提出了一种新颖的操作员学习方法，LOCA（学习操作员耦合注意力），激励了最近的注意机制的成功。在我们的体系结构中，输入函数被映射到有限的一组特征，然后按照依赖于输出查询位置的注意重量平均。通过将这些注意重量与积分变换一起耦合，LOCA能够明确地学习目标输出功能中的相关性，使我们能够近似非线性运算符，即使训练集测量中的输出功能的数量非常小。我们的配方伴随着拟议模型的普遍表现力的严格近似理论保证。经验上，我们在涉及普通和部分微分方程的系统管理的若干操作员学习场景中，评估LOCA的表现，以及黑盒气候预测问题。通过这些场景，我们展示了最先进的准确性，对噪声输入数据的鲁棒性以及在测试数据集上始终如一的错误传播，即使对于分发超出预测任务。

在本文中，我们在关注最先进的变压器中应用自我关注，这是第一次需要与部分微分方程相关的数据驱动的操作员学习问题。努力放在一起解释启发式，提高注意机制的功效。通过在希尔伯特空间中采用操作员近似理论，首次证明了Softmax归一化在缩放的点产品中的关注中足够但没有必要。在没有软墨中的情况下，可以证明线性化变换器变型的近似容量与Petrov-Galerkin投影层 - 明智相当，并且估计是相对于序列长度的独立性。提出了一种模仿Petrov-Galerkin投影的新层归一化方案，以允许缩放通过注意层传播，这有助于模型在具有非通信数据的操作员学习任务中实现显着准确性。最后，我们展示了三个操作员学习实验，包括粘虫汉堡方程，接口达西流程，以及逆接口系数识别问题。新提出的简单关注的算子学习者Galerkin变压器，在Softmax归一化的同行中，培训成本和评估准确性都显示出显着的改进。

物理启发的潜力模型为纯粹的数据驱动工具提供可解释的替代品，用于动态系统的推断。它们携带微分方程的结构和高斯过程的灵活性，产生可解释的参数和动态施加的潜在功能。然而，与这些模型相关联的现有推理技术依赖于在分析形式中很少可用的后内核术语的精确计算。大多数与从业者相关的应用程序，例如Hill方程或扩散方程，因此是棘手的。在本文中，我们通过提出对一般类非线性和抛物面部分微分方程潜力模型的变分解决方案来克服这些计算问题。此外，我们表明，神经操作员方法可以将我们的模型扩展到数千个实例，实现快速，分布式计算。我们通过在几个任务中实现竞争性能，展示了我们框架的效力和灵活性，其中核的核心不同程度的遗传性。

基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。

数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法，该方法将已知的物理学与机器学习结合起来，以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题，用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型，这些模型在后验损失函数上结合了不同程度的物理假设，以测试模型在一系列系统参数（包括粘度，时间和网格分辨率）上的疗效。我们发现，以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率，准确和可推广的模型，并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性，可能为封闭建模的未来提供了垫脚石。

连续数据的优化问题出现在，例如强大的机器学习，功能数据分析和变分推理。这里，目标函数被给出为一个（连续）索引目标函数的系列 - 相对于概率测量集成的族聚集。这些问题通常可以通过随机优化方法解决：在随机切换指标执行关于索引目标函数的优化步骤。在这项工作中，我们研究了随机梯度下降算法的连续时间变量，以进行连续数据的优化问题。该所谓的随机梯度过程包括最小化耦合与确定索引的连续时间索引过程的索引目标函数的梯度流程。索引过程是例如，反射扩散，纯跳跃过程或紧凑空间上的其他L evy过程。因此，我们研究了用于连续数据空间的多种采样模式，并允许在算法的运行时进行模拟或流式流的数据。我们分析了随机梯度过程的近似性质，并在恒定下进行了长时间行为和遍历的学习率。我们以噪声功能数据的多项式回归问题以及物理知识的神经网络在多项式回归问题中结束了随机梯度过程的适用性。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。