转移学习（TL）已成为神经网络（NNS）的科学应用中的强大工具，例如天气/气候预测和湍流建模。 TL可以实现分布的概括（例如，参数外推）和有效的不同训练集（例如，模拟和观察值）的有效混合。在TL中，使用目标系统中的小数据集对已经训练的基础系统进行了训练的NN的选定层。对于有效的TL，我们需要知道1）重新培训的最佳层是什么？ 2）在TL期间学到了哪些物理学？在这里，我们提出了新的分析和一个新的框架，以解决（1） - （2）的多种多数非线性系统。我们的方法将系统数据的光谱分析与卷积NN激活和内核的光谱分析相结合，从系统的非线性物理学来解释了TL的内部工作。使用几种2D湍流设置的亚网格尺度建模作为测试用例，我们表明，学习的内核是低，带和高通滤波器的组合，并且TL学习了新的过滤器，其性质与光谱差异一致基础和目标系统。我们还发现，在这些情况下，最浅的层是重新培训的最佳层，这违背了机器学习文献中指导TL的共同智慧。我们的框架根据物理和NN理论确定了事先重新训练的最佳层。这些分析共同解释了在TL中学到的物理学，并提供了一个框架，以指导TL，以在科学和工程中进行广泛的应用，例如气候变化建模。

数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法，该方法将已知的物理学与机器学习结合起来，以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题，用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型，这些模型在后验损失函数上结合了不同程度的物理假设，以测试模型在一系列系统参数（包括粘度，时间和网格分辨率）上的疗效。我们发现，以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率，准确和可推广的模型，并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性，可能为封闭建模的未来提供了垫脚石。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

在本文中，我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器，该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的，这些模型在训练过程中展开了更多求解器步骤。此外，我们基于湍流物理学引入损失项，以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景，一种均匀的腐烂湍流案例，一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比，我们的模型在长期A-posterii统计数据方面取得了重大改进，而无需将这些统计数据直接包含在学习目标中。在推论时，我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

在概述中，引入了通用数学对象（映射），并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习（ML）工具。ML的应用在模拟现有参数化，开发新的参数化，确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

湍流无处不在，获得有效，准确且可概括的订单模型仍然是一个具有挑战性的问题。该手稿开发了减少拉格朗日模型的湍流模型的层次结构，以研究和比较在拉格朗日框架内实施平滑的粒子流体动力学（SPH）结构与嵌入神经网络（NN）作为通用函数近似器中的效果。 SPH是用于近似流体力学方程的无网格拉格朗日方法。从基于神经网络（NN）的拉格朗日加速运算符的参数化开始，该层次结构逐渐结合了一个弱化和参数化的SPH框架，该框架可以执行物理对称性和保护定律。开发了两个新的参数化平滑核，其中包含在完全参数化的SPH模拟器中，并与立方和四分之一的平滑核进行了比较。对于每个模型，我们使用基于梯度的优化最小化的不同损耗函数，其中使用自动分化（AD）和灵敏度分析（SA）获得了有效的梯度计算。每个模型均经过两个地面真理（GT）数据集训练，该数据集与每周可压缩的均质各向同性湍流（hit），（1）使用弱压缩SPH的验证集，（2）来自直接数值模拟（DNS）的高忠诚度集。数值证据表明：（a）对“合成” SPH数据的方法验证； （b）嵌入在SPH框架中近似状态方程的NN的能力； （b）每个模型都能插入DNS数据； （c）编码更多的SPH结构可提高对不同湍流的马赫数和时间尺度的普遍性； （d）引入两个新型参数化平滑核可提高SPH比标准平滑核的准确性。

在过去的十年中，在许多工程领域，包括自动驾驶汽车，医疗诊断和搜索引擎，甚至在艺术创作中，神经网络（NNS）已被证明是极有效的工具。确实，NN通常果断地超过传统算法。直到最近才引起重大兴趣的一个领域是使用NNS设计数值求解器，尤其是用于离散的偏微分方程。最近的几篇论文考虑使用NNS来开发多机方法，这些方法是解决离散的偏微分方程和其他稀疏矩阵问题的领先计算工具。我们扩展了这些新想法，重点关注所谓的放松操作员（也称为Smoothers），这是Multigrid算法的重要组成部分，在这种情况下尚未受到很多关注。我们探索了一种使用NNS学习带有随机系数的扩散算子的放松参数的方法，用于雅各比类型的Smoothers和4Color Gaussseidel Smoothers。后者的产量异常高效且易于使连续的放松（SOR）SmoOthors平行。此外，这项工作表明，使用两个网格方法在相对较小的网格上学习放松参数，而Gelfand的公式可以轻松实现。这些方法有效地产生了几乎最佳的参数，从而显着提高了大网格上的Multigrid算法的收敛速率。

气候，化学或天体物理学中的数值模拟在计算上对于高分辨率下的不确定性定量或参数探索而言太昂贵。减少或替代模型的多个数量级更快，但是传统的替代物是僵化或不准确和纯机器学习（ML）基于基于数据的替代物。我们提出了一个混合，灵活的替代模型，该模型利用已知的物理学来模拟大规模动力学，并将学习到难以模拟的项，该术语称为参数化或闭合，并捕获了细界面对大型动力学的影响。利用神经操作员，我们是第一个学习独立于网格的，非本地和灵活的参数化的人。我们的\ textit {多尺度神经操作员}是由多尺度建模的丰富文献进行的，具有准线性运行时复杂性，比最先进的参数化更准确或更灵活，并且在混乱方程的多尺度lorenz96上证明。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

在过去的几年中，有监督的学习（SL）已确立了自己的最新数据驱动湍流建模。在SL范式中，基于数据集对模型进行了训练，该数据集通常通过应用相应的滤波器函数来从高保真解决方案中计算出先验的模型，该函数将已分离的和未分辨的流量尺度分开。对于隐式过滤的大涡模拟（LES），此方法是不可行的，因为在这里，使用的离散化本身是隐式滤波器函数。因此，通常不知道确切的滤波器形式，因此，即使有完整的解决方案可用，也无法计算相应的闭合项。强化学习（RL）范式可用于避免通过先前获得的培训数据集训练，而是通过直接与动态LES环境本身进行交互来避免这种不一致。这允许通过设计将潜在复杂的隐式LES过滤器纳入训练过程中。在这项工作中，我们应用了一个增强学习框架，以找到最佳的涡流粘度，以隐式过滤强制均匀的各向同性湍流的大型涡流模拟。为此，我们将基于卷积神经网络的策略网络制定湍流建模的任务作为RL任务，该杂志神经网络仅基于局部流量状态在时空中动态地适应LES中的涡流效率。我们证明，受过训练的模型可以提供长期稳定的模拟，并且在准确性方面，它们的表现优于建立的分析模型。此外，这些模型可以很好地推广到其他决议和离散化。因此，我们证明RL可以为一致，准确和稳定的湍流建模提供一个框架，尤其是对于隐式过滤的LE。

背景：洪水是世界上最常见的自然灾害，影响数亿岁的生活。因此，洪水预测是一项重要的重要努力，通常使用物理水流模拟实现，依赖于准确的地形升降映射。然而，这种基于求解部分微分方程的这种模拟是在大规模上计算上的禁止。这种可扩展性问题通常使用高程地图的粗网格表示，尽管这种表示可能扭曲了至关重要的地形细节，导致模拟中的显着不准确。贡献：我们训练一个深度神经网络，以执行地形地图的物理信息信息：我们优化地形地图的粗网格表示，以便洪水预测将匹配细网解决方案。对于成功的学习过程，我们专门为此任务配置数据集。我们证明，通过这种方法，可以实现计算成本的显着降低，同时保持准确的解决方案。参考实施伴随着该文件以及数据集再现的文档和代码。