We propose a neural network-based model for nonlinear dynamics in continuous time that can impose inductive biases on decay rates and/or frequencies. Inductive biases are helpful for training neural networks especially when training data are small. The proposed model is based on the Koopman operator theory, where the decay rate and frequency information is used by restricting the eigenvalues of the Koopman operator that describe linear evolution in a Koopman space. We use neural networks to find an appropriate Koopman space, which are trained by minimizing multi-step forecasting and backcasting errors using irregularly sampled time-series data. Experiments on various time-series datasets demonstrate that the proposed method achieves higher forecasting performance given a single short training sequence than the existing methods.

Identifying coordinate transformations that make strongly nonlinear dynamics approximately linear is a central challenge in modern dynamical systems. These transformations have the potential to enable prediction, estimation, and control of nonlinear systems using standard linear theory. The Koopman operator has emerged as a leading data-driven embedding, as eigenfunctions of this operator provide intrinsic coordinates that globally linearize the dynamics. However, identifying and representing these eigenfunctions has proven to be mathematically and computationally challenging. This work leverages the power of deep learning to discover representations of Koopman eigenfunctions from trajectory data of dynamical systems. Our network is parsimonious and interpretable by construction, embedding the dynamics on a low-dimensional manifold parameterized by these eigenfunctions. In particular, we identify nonlinear coordinates on which the dynamics are globally linear using a modified auto-encoder. We also generalize Koopman representations to include a ubiquitous class of systems that exhibit continuous spectra, ranging from the simple pendulum to nonlinear optics and broadband turbulence. Our framework parametrizes the continuous frequency using an auxiliary network, enabling a compact and efficient embedding, while connecting our models to half a century of asymptotics. In this way, we benefit from the power and generality of deep learning, while retaining the physical interpretability of Koopman embeddings.

大多数机器学习方法都用作建模的黑匣子。我们可能会尝试从基于物理学的训练方法中提取一些知识，例如神经颂（普通微分方程）。神经ODE具有可能具有更高类的代表功能的优势，与黑盒机器学习模型相比，扩展的可解释性，描述趋势和局部行为的能力。这种优势对于具有复杂趋势的时间序列尤其重要。但是，已知的缺点是与自回归模型和长期术语内存（LSTM）网络相比，广泛用于数据驱动的时间序列建模的高训练时间。因此，我们应该能够平衡可解释性和训练时间，以在实践中应用神经颂歌。该论文表明，现代神经颂歌不能简化为时间序列建模应用程序的模型。将神经ODE的复杂性与传统的时间序列建模工具进行比较。唯一可以提取的解释是操作员的特征空间，这对于大型系统来说是一个不适的问题。可以使用不同的经典分析方法提取光谱，这些方法没有延长时间的缺点。因此，我们将神经ODE缩小为更简单的线性形式，并使用合并的神经网络和ODE系统方法对时间序列建模进行了新的视图。

Regularising the parameter matrices of neural networks is ubiquitous in training deep models. Typical regularisation approaches suggest initialising weights using small random values, and to penalise weights to promote sparsity. However, these widely used techniques may be less effective in certain scenarios. Here, we study the Koopman autoencoder model which includes an encoder, a Koopman operator layer, and a decoder. These models have been designed and dedicated to tackle physics-related problems with interpretable dynamics and an ability to incorporate physics-related constraints. However, the majority of existing work employs standard regularisation practices. In our work, we take a step toward augmenting Koopman autoencoders with initialisation and penalty schemes tailored for physics-related settings. Specifically, we propose the "eigeninit" initialisation scheme that samples initial Koopman operators from specific eigenvalue distributions. In addition, we suggest the "eigenloss" penalty scheme that penalises the eigenvalues of the Koopman operator during training. We demonstrate the utility of these schemes on two synthetic data sets: a driven pendulum and flow past a cylinder; and two real-world problems: ocean surface temperatures and cyclone wind fields. We find on these datasets that eigenloss and eigeninit improves the convergence rate by up to a factor of 5, and that they reduce the cumulative long-term prediction error by up to a factor of 3. Such a finding points to the utility of incorporating similar schemes as an inductive bias in other physics-related deep learning approaches.

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

重型模型引起了神经网络现代发展的关注。深度平衡模型（DEQ）代表具有重量趋势的无限深度神经网络，最近的研究表明了这种方法的潜力。需要迭代解决训练中的根发现问题，并建立在模型确定的基础动力学基础上，需要DEQ。在本文中，我们介绍了稳定的不变模型（SIM），这是一种新的深层模型，原理在稳定性下近似DEQ，并将动力学扩展到更一般的动力学，从而收敛到不变的集合（不受固定点的限制）。得出SIMS的关键要素是用Koopman和Perron--Frobenius操作员的光谱表示动力学的代表。该视角大致揭示了用DEQS揭示稳定的动力学，然后衍生了两个SIMS的变体。我们还提出了可以以与前馈模型相同的方式学习的SIMS的实现。我们通过实验说明了SIMS的经验表现，并证明SIMS在几个学习任务中对DEQ实现了比较或出色的表现。

我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。

来自数据的顺序模式是各种时间序列预测任务的核心。深度学习模型大大优于许多传统模型，但是这些黑框模型通常缺乏预测和决策的解释性。为了揭示具有可理解的数学表达式的潜在趋势，科学家和经济学家倾向于使用部分微分方程（PDE）来解释顺序模式的高度非线性动力学。但是，它通常需要领域专家知识和一系列简化的假设，这些假设并不总是实用的，并且可能偏离不断变化的世界。是否可以动态地学习与数据的差异关系以解释时间不断发展的动态？在这项工作中，我们提出了一个学习框架，该框架可以自动从顺序数据中获取可解释的PDE模型。特别是，该框架由可学习的差分块组成，称为$ p $ blocks，事实证明，该框架能够近似于理论上随着时间不断变化的复杂连续功能。此外，为了捕获动力学变化，该框架引入了元学习控制器，以动态优化混合PDE模型的超参数。 《时代》系列预测金融，工程和健康数据的广泛实验表明，我们的模型可以提供有价值的解释性并实现与最先进模型相当的性能。从经验研究中，我们发现学习一些差异操作员可能会捕获无需大量计算复杂性的顺序动力学的主要趋势。

虽然外源变量对时间序列分析的性能改善有重大影响，但在当前的连续方法中很少考虑这些序列间相关性和时间依赖性。多元时间序列的动力系统可以用复杂的未知偏微分方程（PDE）进行建模，这些方程（PDE）在科学和工程的许多学科中都起着重要作用。在本文中，我们提出了一个任意步骤预测的连续时间模型，以学习多元时间序列中的未知PDE系统，其管理方程是通过自我注意和封闭的复发神经网络参数化的。所提出的模型\下划线{变量及其对目标系列的影响。重要的是，使用特殊设计的正则化指南可以将模型简化为正则化的普通微分方程（ODE）问题，这使得可以触犯的PDE问题以获得数值解决方案，并且可行，以预测目标序列的多个未来值。广泛的实验表明，我们提出的模型可以在强大的基准中实现竞争精度：平均而言，它通过降低RMSE的$ 9.85 \％$和MAE的MAE $ 13.98 \％$的基线表现优于最佳基准，以获得任意步骤预测的MAE $。

我们建议采用统计回归作为投影操作员，以使数据驱动以数据为基础的Mori-Zwanzig形式主义中的运营商学习。我们提出了一种原则性方法，用于为任何回归模型提取Markov和内存操作员。我们表明，线性回归的选择导致了基于Mori的投影操作员最近提出的数据驱动的学习算法，这是一种高阶近似Koopman学习方法。我们表明，更具表现力的非线性回归模型自然填补了高度理想化和计算有效的MORI投影操作符和最佳迄今为止计算上最佳的Zwanzig投影仪之间的差距。我们进行了数值实验，并提取了一系列基于回归的投影的运算符，包括线性，多项式，样条和基于神经网络的回归，随着回归模型的复杂性的增加而显示出渐进的改进。我们的命题提供了一个通用框架来提取内存依赖性校正，并且可以轻松地应用于文献中固定动力学系统的一系列数据驱动的学习方法。

数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今，可以准确预测复杂系统，例如天气，疾病模型或股市。预测方法通常被宣传为对控制有用，但是由于系统的复杂性，较大的数据集的需求以及增加的建模工作，这些细节经常没有得到解答。换句话说，自治系统的替代建模比控制系统要容易得多。在本文中，我们介绍了Quasimodo框架（量化模拟模拟模拟 - 优化），以将任意预测模型转换为控制系统，从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是，我们通过自动化动力学（产生混合企业控制问题）来贸易控制效率，以获取任意，即使用的自主替代建模技术。然后，我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加，性能保证仅依赖于使用的预测模型的准确性，而控制理论中的知识知识要求很少来解决复杂的控制问题。

在本文中，我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数（DL-ROM）。所提出的DL-ROM具有非线性状态空间模型的格式，并采用具有长短期存储器（LSTM）的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统，其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合，用于预测横向方向自由振动球的非定常力和涡旋诱导的振动（VIV）锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识，输入功能包含一系列频率和幅度，其能够实现高效的DL-ROM，而无需用于低维建模的大量训练数据集。一旦训练，网络就提供了输入 - 输出动态的非线性映射，其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法（时代）集成，我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制，我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致，通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。

差分方程管理的学习动态对于预测和控制科学和工程系统来说至关重要。神经常规方程（节点）是一种与微分方程集成的深度学习模型，最近是由于其对不规则样本的鲁棒性及其对高维输入的灵活性而流行的学习动态。然而，节点的训练对数值求解器的精度敏感，这使得节点的收敛不稳定，特别是对于不稳定的动态系统。在本文中，为了减少对数值求解器的依赖，我们建议提高节点训练中的监督信号。具体地，我们预先训练神经差分运算符（NDO）以输出衍生物的估计用作额外的监督信号。 NDO在一类基础函数上预先培训，并将这些功能的轨迹样本之间的映射学习到其衍生物。为了利用来自NDO的轨迹信号和估计的衍生工具，我们提出了一种称为NDO-Node的算法，其中损耗函数包含两个术语：真正轨迹样本的适应性以及由输出的估计衍生物的适应度预先训练的NDO。各种动力学的实验表明，我们提出的NDO-Node可以一致地用一个预先训练的NDO来改善预测精度。特别是对于僵硬的杂散，我们观察到与其他正则化方法相比，NDO-Node可以更准确地捕获动态的过渡。

预测在环境中只有部分了解其动态的综合动态现象是各种科学领域的普遍存在问题。虽然纯粹的数据驱动方法在这种情况下可以说是不充分的，但是基于标准的物理建模的方法往往是过于简单的，诱导不可忽略的错误。在这项工作中，我们介绍了适当性框架，是一种具有深度数据驱动模型的微分方程所描述的不完整物理动态的原则方法。它包括将动态分解为两个组件：对我们有一些先验知识的动态的物理组件，以及物理模型错误的数据驱动组件核对。仔细制定学习问题，使得物理模型尽可能多地解释数据，而数据驱动组件仅描述了物理模型不能捕获的信息，不再少。这不仅为这种分解提供了存在和唯一性，而且还确保了可解释性和益处泛化。在三个重要用例中进行的实验，每个代表不同的现象，即反应 - 扩散方程，波动方程和非线性阻尼摆锤，表明，空间程度可以有效地利用近似物理模型来准确地预测系统的演变并正确识别相关的物理参数。

由于它们在文本中建模长期依赖性的能力，变压器广泛用于自然语言处理。虽然这些模型实现了许多语言相关任务的最先进的性能，但它们在自然语言处理领域之外的适用性是最小的。在这项工作中，我们建议使用变压器模型来预测代表物理现象的动态系统。基于Koopman的嵌入式的使用提供了一种独特而强大的方法，可以将任何动态系统投影到矢量表示中，然后可以由变压器预测。所提出的模型能够准确地预测各种动态系统和优于科学机学习文献中常用的经典方法。

由于在许多领域的无与伦比的成功，例如计算机视觉，自然语言处理，推荐系统以及最近在模拟多物理问题和预测非线性动力学系统方面，深度学习引起了人们的关注。但是，建模和预测混乱系统的动态仍然是一个开放的研究问题，因为训练深度学习模型需要大数据，在许多情况下，这并不总是可用的。可以通过从模拟结果获得的其他信息以及执行混乱系统的物理定律来培训这样的深度学习者。本文考虑了极端事件及其动态，并提出了基于深层神经网络的优雅模型，称为基于知识的深度学习（KDL）。我们提出的KDL可以通过直接从动力学及其微分方程中对真实和模拟数据进行联合培训来学习控制混乱系统的复杂模式。这些知识被转移到模型和预测现实世界中的混乱事件，表现出极端行为。我们通过在三个实际基准数据集上进行评估来验证模型的效率：El Nino海面温度，San Juan登革热病毒感染和BJ {\ o} rn {\ o} ya每日降水，所有这些都受极端事件的控制'动态。利用对极端事件和基于物理的损失功能的先验知识来领导神经网络学习，我们即使在小型数据制度中也可以确保身体一致，可推广和准确的预测。

在本文中，我们提出了一种深度学习技术，用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络（AB-CRAN）。为了构建波传播数据的低维表示，我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型，用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架，用于波传播的低维学习。为了证明AB-Cran模型的有效性，我们考虑了三个基准问题，即一维线性对流，非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集，可以准确捕获波幅度，并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比，基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差，并提高了参数空间中的概括能力。

我们开发方法以在一个空间尺寸中学习时间依赖的Kohn-Sham（TDK）系统的相关电位。我们从一条低维两电子系统开始，我们可以在数值上解决时间依赖的SCHR \“odinger方程;这产生适用于培训相关潜力的培训模型的电子密度。我们将学习问题框架作为优化的一个对动态遵守TDKS方程的限制的限制最小二乘目标。应用伴侣，我们开发有效的方法来计算梯度，从而学习相关势的模型。我们的结果表明可以学习相关潜力的值所得到的电子密度匹配地面真理密度。我们还展示了如何使用内存学习相关潜在功能，演示一个这样的模型，为训练集外的轨迹产生合理的结果。

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。

基于近似基础的Koopman操作员或发电机的数据驱动的非线性动力系统模型已被证明是预测，功能学习，状态估计和控制的成功工具。众所周知，用于控制膜系统的Koopman发电机还对输入具有仿射依赖性，从而导致动力学的方便有限维双线性近似。然而，仍然存在两个主要障碍，限制了当前方法的范围，以逼近系统的koopman发电机。首先，现有方法的性能在很大程度上取决于要近似Koopman Generator的基础函数的选择；目前，目前尚无通用方法来为无法衡量保存的系统选择它们。其次，如果我们不观察到完整的状态，我们可能无法访问足够丰富的此类功能来描述动态。这是因为在有驱动时，通常使用时间延迟的可观察物的方法失败。为了解决这些问题，我们将Koopman Generator控制的可观察到的动力学写为双线性隐藏Markov模型，并使用预期最大化（EM）算法确定模型参数。 E-Step涉及标准的Kalman滤波器和更光滑，而M-Step类似于发电机的控制效果模式分解。我们在三个示例上证明了该方法的性能，包括恢复有限的Koopman-Invariant子空间，用于具有缓慢歧管的驱动系统；估计非强制性行驶方程的Koopman本征函数；仅基于提升和阻力的嘈杂观察，对流体弹球系统的模型预测控制。