建模物理系统的数据驱动方法无法推广到与学习域共享相同一般动态的看不见的系统，但与不同的物理环境相对应。我们为此关键问题提出了一个新的框架，即上下文知识的动态适应（CODA），该框架考虑了整个系统之间的分布转移，以快速有效地适应新的动力学。 CODA利用多个环境，每个环境都与不同的动态相关联，并学会将动态模型定为上下文参数（特定于每个环境）。调节是通过超网络进行的，并从观察到的数据与上下文向量共同学习。提出的公式限制了搜索假设空间，以促进跨环境的快速适应和更好的概括。我们从理论上激励我们的方法，并在一组非线性动力学上显示出最新的概括结果，这是多种应用领域的代​​表。我们还在这些系统上还显示，可以从上下文向量中推断出新的系统参数，并以最小的监督为准。

预测在环境中只有部分了解其动态的综合动态现象是各种科学领域的普遍存在问题。虽然纯粹的数据驱动方法在这种情况下可以说是不充分的，但是基于标准的物理建模的方法往往是过于简单的，诱导不可忽略的错误。在这项工作中，我们介绍了适当性框架，是一种具有深度数据驱动模型的微分方程所描述的不完整物理动态的原则方法。它包括将动态分解为两个组件：对我们有一些先验知识的动态的物理组件，以及物理模型错误的数据驱动组件核对。仔细制定学习问题，使得物理模型尽可能多地解释数据，而数据驱动组件仅描述了物理模型不能捕获的信息，不再少。这不仅为这种分解提供了存在和唯一性，而且还确保了可解释性和益处泛化。在三个重要用例中进行的实验，每个代表不同的现象，即反应 - 扩散方程，波动方程和非线性阻尼摆锤，表明，空间程度可以有效地利用近似物理模型来准确地预测系统的演变并正确识别相关的物理参数。

我们介绍了SubGD，这是一种新颖的几声学习方法，基于最近的发现，即随机梯度下降更新往往生活在低维参数子空间中。在实验和理论分析中，我们表明模型局限于合适的预定义子空间，可以很好地推广用于几次学习。合适的子空间符合给定任务的三个标准：IT（a）允许通过梯度流量减少训练误差，（b）导致模型良好的模型，并且（c）可以通过随机梯度下降来识别。 SUBGD从不同任务的更新说明的自动相关矩阵的特征组合中标识了这些子空间。明确的是，我们可以识别出低维合适的子空间，用于对动态系统的几次学习，而动态系统具有不同的属性，这些属性由分析系统描述的一个或几个参数描述。这种系统在科学和工程领域的现实应用程序中无处不在。我们在实验中证实了SubGD在三个不同的动态系统问题设置上的优势，在样本效率和性能方面，均超过了流行的几次学习方法。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

当前的深度学习模型预测与概括的斗争。它们只能在特定域中预测，并且当应用于具有不同参数，外部力或边界条件的系统时失败。我们提出了一种基于模型的元学习方法，称为dyad，可以通过将它们划分为不同的任务，从而在异质域进行概括。 Dyad有两个部分：一个编码器，可在弱监督下渗透任务的时间不变的隐藏功能，并且一个预报员可以学习整个域的共享动力学。编码器使用自适应实例归一化和自适应填充在推理过程中适应并控制预报器。从理论上讲，我们证明了此类过程的概括误差与源域中的任务相关性以及源和目标之间的域差异有关。在实验上，我们证明了我们的模型在湍流和现实海洋数据预测任务上都优于最先进的方法。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

神经操作员是科学机器学习中一种流行的技术，可以从数据中学习未知物理系统行为的数学模型。当数值求解器不可用或对基础物理学的理解不佳时，神经运算符对于学习与局部微分方程（PDE）相关的解决方案运算符特别有用。在这项工作中，我们试图提供理论基础，以了解学习时间依赖性PDE所需的培训数据量。从任何空间尺寸$ n \ geq 1 $中的抛物线PDE中给定输入输出对，我们得出了学习相关解决方案运算符的第一个理论上严格的方案，该方案采取了带有绿色功能$ g $的卷积的形式。到目前为止，严格学习与时间相关PDE相关的Green的功能一直是科学机器学习领域的主要挑战。通过将$ g $的层次低级结构与随机数字线性代数结合在一起，我们构建了$ g $的近似值，该$ g $实现了$ \ smash {\ smash {\ smashcal {\ mathcal {o}（\ gamma_ \ epsilon^epsilon^{ - 1/2} \ epsilon）}} $在$ l^1 $ -NORM中具有高概率，最多可以使用$ \ smash {\ MathCal {\ Mathcal {o}（\ Epsilon^{ - \ frac {n+2} {2} {2} {2} {2} {2} {2} } \ log（1/\ epsilon））}} $输入输出培训对，其中$ \ gamma_ \ epsilon $是衡量学习$ g $的培训数据集质量的量度，而$ \ epsilon> 0 $就足够了小的。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

我们提出了特征神经常规差分方程（C节点），该框架用于扩展神经常规微分方程（节点）之外的缺点。虽然节点模型将潜在状态的演变为对颂歌的解决方案，但是所提出的C节点模拟了潜在的潜在的演变作为其特征的一阶准线性部分微分方程（PDE）的解决方案，定义为PDE减少到ODES的曲线。反过来，还原允许应用标准框架，以解决PDE设置的杂散。另外，所提出的框架可以作为现有节点架构的扩展来投用，从而允许使用现有的黑盒颂歌求解器。我们证明了C节点框架通过展示不能由节点表示的功能来扩展经典节点，而是由C节点表示。我们通过在许多合成和实际数据场景中展示其性能，进一步研究了C节点框架的功效。经验结果展示了CIFAR-10，SVHN和MNIST数据集的提出方法提供的改进，如类似的计算预算作为现有节点方法。

Relying on recent research results on Neural ODEs, this paper presents a methodology for the design of state observers for nonlinear systems based on Neural ODEs, learning Luenberger-like observers and their nonlinear extension (Kazantzis-Kravaris-Luenberger (KKL) observers) for systems with partially-known nonlinear dynamics and fully unknown nonlinear dynamics, respectively. In particular, for tuneable KKL observers, the relationship between the design of the observer and its trade-off between convergence speed and robustness is analysed and used as a basis for improving the robustness of the learning-based observer in training. We illustrate the advantages of this approach in numerical simulations.

许多物理过程，例如天气现象或流体力学由部分微分方程（PDE）管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而，目前的方法以各种方式限制：它们需要关于控制方程的先验知识，并限于线性或一阶方程。在这项工作中，我们提出了一种将卷积神经网络（CNNS）与可微分的颂歌求解器结合到模型动力系统的模型。我们表明，标准PDE求解器中使用的线路方法可以使用卷曲来表示，这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE，覆盖更高的订单，非线性方程和多个空间尺寸。

数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法，该方法将已知的物理学与机器学习结合起来，以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题，用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型，这些模型在后验损失函数上结合了不同程度的物理假设，以测试模型在一系列系统参数（包括粘度，时间和网格分辨率）上的疗效。我们发现，以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率，准确和可推广的模型，并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性，可能为封闭建模的未来提供了垫脚石。

我们研究了科学计算的数值算法的元学习，它将一般算法结构的数学驱动，手工设计与特定的任务类的数据驱动的适应相结合。这表示从数值分析中的经典方法的偏离，这通常不具有这种基于学习的自适应。作为一个案例研究，我们开发了一种机器学习方法，基于Runge-Kutta（RK）Integrator架构，自动学习用于常用方程式（ODES）形式的初始值问题的有效求解器。通过组合神经网络近似和元学习，我们表明我们可以获得针对目标差分方程系的高阶集成商，而无需手头计算积分器系数。此外，我们证明，在某些情况下，我们可以获得古典RK方法的卓越性能。这可以归因于通过该方法识别和利用ode系列的某些属性。总的来说，这项工作展示了基于学习的基于学习的方法，用于设计差分方程的数值解的算法，一种方法可以容易地扩展到其他数值任务。

在科学和工程应用中，通常需要反复解决类似的计算问题。在这种情况下，我们可以利用先前解决的问题实例中的数据来提高查找后续解决方案的效率。这提供了一个独特的机会，可以将机器学习（尤其是元学习）和科学计算相结合。迄今为止，文献中已经提出了各种此类域特异性方法，但是设计这些方法的通用方法仍然不足。在本文中，我们通过制定一个通用框架来描述这些问题，并提出一种基于梯度的算法来以统一的方式解决这些问题。作为这种方法的说明，我们研究了迭代求解器的适应性参数的自适应生成，以加速微分方程的溶液。我们通过理论分析和数值实验来证明我们方法的性能和多功能性，包括应用于不可压缩流量模拟的应用以及参数估计的逆问题。

众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。

Effective inclusion of physics-based knowledge into deep neural network models of dynamical systems can greatly improve data efficiency and generalization. Such a-priori knowledge might arise from physical principles (e.g., conservation laws) or from the system's design (e.g., the Jacobian matrix of a robot), even if large portions of the system dynamics remain unknown. We develop a framework to learn dynamics models from trajectory data while incorporating a-priori system knowledge as inductive bias. More specifically, the proposed framework uses physics-based side information to inform the structure of the neural network itself, and to place constraints on the values of the outputs and the internal states of the model. It represents the system's vector field as a composition of known and unknown functions, the latter of which are parametrized by neural networks. The physics-informed constraints are enforced via the augmented Lagrangian method during the model's training. We experimentally demonstrate the benefits of the proposed approach on a variety of dynamical systems -- including a benchmark suite of robotics environments featuring large state spaces, non-linear dynamics, external forces, contact forces, and control inputs. By exploiting a-priori system knowledge during training, the proposed approach learns to predict the system dynamics two orders of magnitude more accurately than a baseline approach that does not include prior knowledge, given the same training dataset.