Data-driven modeling has become a key building block in computational science and engineering. However, data that are available in science and engineering are typically scarce, often polluted with noise and affected by measurement errors and other perturbations, which makes learning the dynamics of systems challenging. In this work, we propose to combine data-driven modeling via operator inference with the dynamic training via roll outs of neural ordinary differential equations. Operator inference with roll outs inherits interpretability, scalability, and structure preservation of traditional operator inference while leveraging the dynamic training via roll outs over multiple time steps to increase stability and robustness for learning from low-quality and noisy data. Numerical experiments with data describing shallow water waves and surface quasi-geostrophic dynamics demonstrate that operator inference with roll outs provides predictive models from training trajectories even if data are sampled sparsely in time and polluted with noise of up to 10%.

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

从数据稳定动力学系统的数据中学习控制器通常遵循首先识别模型然后基于确定模型构建控制器的两步过程。但是，学习模型意味着确定系统动力学的通用描述，这些描述可能需要大量数据并提取对稳定的特定任务不必要的信息。这项工作的贡献是表明，如果线性动力学系统具有尺寸（McMillan学位）$ n $，那么总是存在$ n $状态，可以从中构建稳定反馈控制器，而与表示的尺寸无关观察到的状态和输入的数量。通过基于先前的工作，这一发现意味着，与学习动力学模型所需的最少状态相比，观察到的状态较少的任何线性动力系统都可以稳定。通过数值实验证明了理论发现，这些实验表明了圆柱体后面的流动稳定，从学习模型的数据少于数据。

这项工作探讨了物理驱动的机器学习技术运算符推理（IMIPF），以预测混乱的动力系统状态。 OPINF提供了一种非侵入性方法来推断缩小空间中多项式操作员的近似值，而无需访问离散模型中出现的完整订单操作员。物理系统的数据集是使用常规数值求解器生成的，然后通过主成分分析（PCA）投影到低维空间。在潜在空间中，设置了一个最小二乘问题以适合二次多项式操作员，该操作员随后在时间整合方案中使用，以便在同一空间中产生外推。解决后，将对逆PCA操作进行重建原始空间中的外推。通过标准化的根平方误差（NRMSE）度量评估了OPINF预测的质量，从中计算有效的预测时间（VPT）。考虑混乱系统Lorenz 96和Kuramoto-Sivashinsky方程的数值实验显示，具有VPT范围的OPINF降低订单模型的有希望的预测能力，这些模型均超过了最先进的机器学习方法，例如返回和储层计算循环新的Neural网络[1 ]，以及马尔可夫神经操作员[2]。

我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。

大规模复杂动力系统的实时精确解决方案非常需要控制，优化，不确定性量化以及实践工程和科学应用中的决策。本文朝着这个方向做出了贡献，模型限制了切线流形学习（MCTANGENT）方法。 McTangent的核心是几种理想策略的协同作用：i）切线的学术学习，以利用神经网络速度和线条方法的准确性； ii）一种模型限制的方法，将神经网络切线与基础管理方程式进行编码； iii）促进长时间稳定性和准确性的顺序学习策略；和iv）数据随机方法，以隐式强制执行神经网络切线的平滑度及其对真相切线的可能性，以进一步提高麦克氏解决方案的稳定性和准确性。提供了半启发式和严格的论点，以分析和证明拟议的方法是合理的。提供了几个用于传输方程，粘性汉堡方程和Navier Stokes方程的数值结果，以研究和证明所提出的MCTANGENT学习方法的能力。

在广泛的应用程序中，从观察到的数据中识别隐藏的动态是一项重大且具有挑战性的任务。最近，线性多步法方法（LMM）和深度学习的结合已成功地用于发现动力学，而对这种方法进行完整的收敛分析仍在开发中。在这项工作中，我们考虑了基于网络的深度LMM，以发现动态。我们使用深网的近似属性提出了这些方法的错误估计。它指出，对于某些LMMS的家庭，$ \ ell^2 $网格错误由$ O（H^p）$的总和和网络近似错误，其中$ h $是时间步长和$P $是本地截断错误顺序。提供了几个物理相关示例的数值结果，以证明我们的理论。

众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。

数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今，可以准确预测复杂系统，例如天气，疾病模型或股市。预测方法通常被宣传为对控制有用，但是由于系统的复杂性，较大的数据集的需求以及增加的建模工作，这些细节经常没有得到解答。换句话说，自治系统的替代建模比控制系统要容易得多。在本文中，我们介绍了Quasimodo框架（量化模拟模拟模拟 - 优化），以将任意预测模型转换为控制系统，从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是，我们通过自动化动力学（产生混合企业控制问题）来贸易控制效率，以获取任意，即使用的自主替代建模技术。然后，我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加，性能保证仅依赖于使用的预测模型的准确性，而控制理论中的知识知识要求很少来解决复杂的控制问题。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

这项工作引入了一种数据驱动的控制方法，用于从稀缺数据中稳定高维动力系统。提出的上下文感知控制器推断方法基于这样的观察，即控制器只需要在不稳定的动态上进行本地行动才能稳定系统。这意味着仅仅学习不稳定的动力学就足够了，通常将其限制在所有系统动力学的高维状态空间中，尺寸要少得多，因此很少有数据示例足以识别它们。数值实验表明，与传统的数据驱动的控制技术和增强学习的变体相比，从数量级的数据样本中学习了上下文感知的控制器的推理，从数量级的稳定控制器学习。该实验进一步表明，上下文感知的控制器推断的数据需求较低，在复杂物理学的数据筛分工程问题中尤其有益，在该数据和培训成本方面，学习完整的系统动态通常是棘手的。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

我们建议采用统计回归作为投影操作员，以使数据驱动以数据为基础的Mori-Zwanzig形式主义中的运营商学习。我们提出了一种原则性方法，用于为任何回归模型提取Markov和内存操作员。我们表明，线性回归的选择导致了基于Mori的投影操作员最近提出的数据驱动的学习算法，这是一种高阶近似Koopman学习方法。我们表明，更具表现力的非线性回归模型自然填补了高度理想化和计算有效的MORI投影操作符和最佳迄今为止计算上最佳的Zwanzig投影仪之间的差距。我们进行了数值实验，并提取了一系列基于回归的投影的运算符，包括线性，多项式，样条和基于神经网络的回归，随着回归模型的复杂性的增加而显示出渐进的改进。我们的命题提供了一个通用框架来提取内存依赖性校正，并且可以轻松地应用于文献中固定动力学系统的一系列数据驱动的学习方法。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

大多数机器学习方法都用作建模的黑匣子。我们可能会尝试从基于物理学的训练方法中提取一些知识，例如神经颂（普通微分方程）。神经ODE具有可能具有更高类的代表功能的优势，与黑盒机器学习模型相比，扩展的可解释性，描述趋势和局部行为的能力。这种优势对于具有复杂趋势的时间序列尤其重要。但是，已知的缺点是与自回归模型和长期术语内存（LSTM）网络相比，广泛用于数据驱动的时间序列建模的高训练时间。因此，我们应该能够平衡可解释性和训练时间，以在实践中应用神经颂歌。该论文表明，现代神经颂歌不能简化为时间序列建模应用程序的模型。将神经ODE的复杂性与传统的时间序列建模工具进行比较。唯一可以提取的解释是操作员的特征空间，这对于大型系统来说是一个不适的问题。可以使用不同的经典分析方法提取光谱，这些方法没有延长时间的缺点。因此，我们将神经ODE缩小为更简单的线性形式，并使用合并的神经网络和ODE系统方法对时间序列建模进行了新的视图。

监督运营商学习是一种新兴机器学习范例，用于建模时空动态系统的演变和近似功能数据之间的一般黑盒关系的应用。我们提出了一种新颖的操作员学习方法，LOCA（学习操作员耦合注意力），激励了最近的注意机制的成功。在我们的体系结构中，输入函数被映射到有限的一组特征，然后按照依赖于输出查询位置的注意重量平均。通过将这些注意重量与积分变换一起耦合，LOCA能够明确地学习目标输出功能中的相关性，使我们能够近似非线性运算符，即使训练集测量中的输出功能的数量非常小。我们的配方伴随着拟议模型的普遍表现力的严格近似理论保证。经验上，我们在涉及普通和部分微分方程的系统管理的若干操作员学习场景中，评估LOCA的表现，以及黑盒气候预测问题。通过这些场景，我们展示了最先进的准确性，对噪声输入数据的鲁棒性以及在测试数据集上始终如一的错误传播，即使对于分发超出预测任务。

在本文中，我们证明了储层计算可用于学习浅水方程的动态。特别地，虽然储层计算的大多数先前的应用已经需要对特定轨迹的训练来说，以进一步预测沿着该轨迹的进化，我们展示了储层计算能力，以预测浅水方程的轨迹，初始条件下没有看到的初始条件培训过程。然而，在该设置中，我们发现网络的性能对于具有与训练数据集中的环境条件（例如总水质高度和平均速度）的初始条件恶化。为了避免这种缺陷，我们引入了一种转移学习方法，其中使用相关环境条件的小额额外训练步骤来改善预测。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。