Identifying coordinate transformations that make strongly nonlinear dynamics approximately linear is a central challenge in modern dynamical systems. These transformations have the potential to enable prediction, estimation, and control of nonlinear systems using standard linear theory. The Koopman operator has emerged as a leading data-driven embedding, as eigenfunctions of this operator provide intrinsic coordinates that globally linearize the dynamics. However, identifying and representing these eigenfunctions has proven to be mathematically and computationally challenging. This work leverages the power of deep learning to discover representations of Koopman eigenfunctions from trajectory data of dynamical systems. Our network is parsimonious and interpretable by construction, embedding the dynamics on a low-dimensional manifold parameterized by these eigenfunctions. In particular, we identify nonlinear coordinates on which the dynamics are globally linear using a modified auto-encoder. We also generalize Koopman representations to include a ubiquitous class of systems that exhibit continuous spectra, ranging from the simple pendulum to nonlinear optics and broadband turbulence. Our framework parametrizes the continuous frequency using an auxiliary network, enabling a compact and efficient embedding, while connecting our models to half a century of asymptotics. In this way, we benefit from the power and generality of deep learning, while retaining the physical interpretability of Koopman embeddings.

我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。

Regularising the parameter matrices of neural networks is ubiquitous in training deep models. Typical regularisation approaches suggest initialising weights using small random values, and to penalise weights to promote sparsity. However, these widely used techniques may be less effective in certain scenarios. Here, we study the Koopman autoencoder model which includes an encoder, a Koopman operator layer, and a decoder. These models have been designed and dedicated to tackle physics-related problems with interpretable dynamics and an ability to incorporate physics-related constraints. However, the majority of existing work employs standard regularisation practices. In our work, we take a step toward augmenting Koopman autoencoders with initialisation and penalty schemes tailored for physics-related settings. Specifically, we propose the "eigeninit" initialisation scheme that samples initial Koopman operators from specific eigenvalue distributions. In addition, we suggest the "eigenloss" penalty scheme that penalises the eigenvalues of the Koopman operator during training. We demonstrate the utility of these schemes on two synthetic data sets: a driven pendulum and flow past a cylinder; and two real-world problems: ocean surface temperatures and cyclone wind fields. We find on these datasets that eigenloss and eigeninit improves the convergence rate by up to a factor of 5, and that they reduce the cumulative long-term prediction error by up to a factor of 3. Such a finding points to the utility of incorporating similar schemes as an inductive bias in other physics-related deep learning approaches.

由于它们在文本中建模长期依赖性的能力，变压器广泛用于自然语言处理。虽然这些模型实现了许多语言相关任务的最先进的性能，但它们在自然语言处理领域之外的适用性是最小的。在这项工作中，我们建议使用变压器模型来预测代表物理现象的动态系统。基于Koopman的嵌入式的使用提供了一种独特而强大的方法，可以将任何动态系统投影到矢量表示中，然后可以由变压器预测。所提出的模型能够准确地预测各种动态系统和优于科学机学习文献中常用的经典方法。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

We propose a neural network-based model for nonlinear dynamics in continuous time that can impose inductive biases on decay rates and/or frequencies. Inductive biases are helpful for training neural networks especially when training data are small. The proposed model is based on the Koopman operator theory, where the decay rate and frequency information is used by restricting the eigenvalues of the Koopman operator that describe linear evolution in a Koopman space. We use neural networks to find an appropriate Koopman space, which are trained by minimizing multi-step forecasting and backcasting errors using irregularly sampled time-series data. Experiments on various time-series datasets demonstrate that the proposed method achieves higher forecasting performance given a single short training sequence than the existing methods.

在本文中，我们提出了一种深度学习技术，用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络（AB-CRAN）。为了构建波传播数据的低维表示，我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型，用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架，用于波传播的低维学习。为了证明AB-Cran模型的有效性，我们考虑了三个基准问题，即一维线性对流，非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集，可以准确捕获波幅度，并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比，基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差，并提高了参数空间中的概括能力。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

从数据学习动态模型在工程设计，优化和预测中起着重要作用。使用经验知识或第一个原则描述复杂过程（例如，天气动态或反应流量）的动态的建筑模型是繁重或不可行的。此外，这些模型是高维但空间相关的。然而，观察到高保真模型的动态经常在低维歧管中发展。此外，还已知用于定义非线性动力学的足够平滑的矢量场，二次模型可以在适当的坐标系中准确地描述它，赋予非透露优化中的McCormick松弛思想。在这里，我们的目标是找到高保真动态数据的低维嵌入，确保了一个简单的二次模型来解释其动态。为此目的，这项工作利用深度学习来识别高保真动态系统的低维二次嵌入。精确地，我们使用autoencoder识别数据嵌入数据以具有嵌入的所需属性。我们还嵌入了漫游 - 库特塔方法，以避免时间衍生计算，这通常是一个挑战。我们说明了在描述流动动态和振荡管式反应器模型中产生的几个示例的方法的能力。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

在本文中，我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数（DL-ROM）。所提出的DL-ROM具有非线性状态空间模型的格式，并采用具有长短期存储器（LSTM）的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统，其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合，用于预测横向方向自由振动球的非定常力和涡旋诱导的振动（VIV）锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识，输入功能包含一系列频率和幅度，其能够实现高效的DL-ROM，而无需用于低维建模的大量训练数据集。一旦训练，网络就提供了输入 - 输出动态的非线性映射，其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法（时代）集成，我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制，我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致，通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。

动态模型是我们理解和预测自然系统行为的能力。无论是从第一原理推导还是从观察数据开发的动力模型，它们都基于我们选择状态变量。状态变量的选择是由便利性和直觉驱动的，在数据​​驱动的情况下，观察到的变量通常被选择为状态变量。这些变量的维度（以及动态模型）可以任意大，从而掩盖了系统的基本行为。实际上，这些变量通常是高度冗余的，并且该系统是由一组潜在的内在变量集驱动的。在这项研究中，我们将流形的数学理论与神经网络的代表能力相结合，以开发一种方法，该方法直接从时间序列数据中学习了系统的内在状态变量，还可以学习其动力学的预测模型。我们方法的区别在于，它有能力将数据减少到其居住的非线性流形的固有维度。从流形理论中的图表和地图集的概念可以实现这种能力，从而使歧管由缝制在一起的贴片的集合表示，这是获得内在维度的必要表示。我们在几个具有低维行为的高维系统上证明了这种方法。最终的框架提供了开发最低维度的动态模型的能力，从而捕获了系统的本质。

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。

数据驱动模型发现中的中央挑战是存在隐藏或潜伏的变量，这些变量不会直接测量，而是动态重要。 TAKENS的定理提供了在可能随时间延迟信息中增加这些部分测量的条件，导致吸引物，这是对原始全状态系统的扩散逻辑。然而，回到原始吸引子的坐标变换通常是未知的，并且学习嵌入空间中的动态仍然是几十年的开放挑战。在这里，我们设计自定义深度AutoEncoder网络，以学习从延迟嵌入空间的坐标转换到一个新的空间，其中可以以稀疏，封闭的形式表示动态。我们在Lorenz，R \“Ossler和Lotka-Volterra系统上，从单个测量变量的学习动态展示了这种方法。作为一个具有挑战性的例子，我们从混乱的水车视频中提取的单个标量变量中学到一个洛伦兹类似物得到的建模框架结合了深入的学习来揭示可解释建模的非线性动力学（SINDY）的揭示有效坐标和稀疏识别。因此，我们表明可以同时学习闭合模型和部分的坐标系观察到的动态。

众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。

功能空间中的监督学习是机器学习研究的一个新兴领域，并应用了复杂物理系统（例如流体流，固体力学和气候建模）的预测。通过直接学习无限尺寸函数空间之间的地图（运算符），这些模型能够学习目标函数的离散不变表示。一种常见的方法是将此类目标函数表示为从数据中学到的基础元素的线性组合。但是，在一个简单的方案中，即使目标函数形成低维的子手机，也需要大量的基础元素才能进行准确的线性表示。在这里，我们提出了Nomad，这是一个新型的操作员学习框架，该框架具有一个非线性解码器图，能够学习功能空间中非线性子手机的有限尺寸表示。我们表明，该方法能够准确地学习溶液歧管的低维表示，而偏微分方程的表现优于较大尺寸的线性模型。此外，我们将最先进的操作员学习方法进行比较，并在复杂的流体动力学基准上进行学习，并以明显较小的模型尺寸和训练成本实现竞争性能。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。

保护定律是理解，表征和建模非线性动力系统的关键理论和实用工具。但是，对于许多复杂的动态系统，难以识别相应的保守量，因此很难分析其动力学并建立高效，稳定的预测模型。当前发现保护定律的方法通常取决于详细的动态信息，例如运动方程或细粒度的时间测量，许多最新的建议还依赖于黑匣子参数深度学习方法。相反，我们将这项任务重新制定为一种多种学习问题，并提出了一种非参数方法，将最佳运输中的Wasserstein指标与扩散图相结合，以发现从动力学系统中采样的轨迹中变化的保守数量。我们在各种物理系统上测试了这种新方法$ \ unicode {x2014} $，包括保守的汉密尔顿系统，耗散系统和时空系统$ \ unicode {x2014} $保守数量并提取其价值。使用最佳运输理论和流形学习中的工具，我们提出的方法提供了一种直接的几何方法来识别既有坚固且可解释的保护定律，而无需明确的系统模型或准确的时间信息。

由于其固有的非线性和高度的自由度，对连续体软机器人的建模和控制仍然是一项艰巨的任务。这些复杂性阻碍了适合实时控制的高保真模型的构建。尽管已经提出了各种模型和基于学习的方法来应对这些挑战，但它们缺乏普遍性，很少保留动态的结构。在这项工作中，我们提出了一种新的，数据驱动的方法，用于从数据中提取面向控制的模型。我们克服了上面概述的问题，并证明了我们对光谱次级减少（SSMR）的卓越性能 - \'a-vis the Art的状态。