储层计算是一种机器学习方法，可以生成动态系统的替代模型。它可以使用较少的可训练参数来学习基础动力系统，从而比竞争方法更少。最近，一种更简单的公式（称为下一代储层计算）可以去除许多算法的元掌握器，并识别出良好的传统储层计算机，从而进一步简化了训练。在这里，我们研究了一个特别具有挑战性的问题，即学习具有不同时间尺度和多个共存动态状态（吸引子）的动态系统。我们使用量化地面真相和预测吸引子的几何形状的指标比较了下一代和传统的储层计算机。对于所研究的四维系统，下一代储层计算方法使用$ \ sim 1.7 \ times $少培训数据，需要$ 10^3 \ times $ $ shorter $ shorter“热身”时间，具有$ \ \ \ \ \ \ \ \ \ \ \ \ \ SIM 100 \ times $与传统的储层计算机相比，预测共存吸引人特性的精度更高。此外，我们证明了它以高精度预测吸引力的盆地。这项工作为动态系统的这种新机器学习算法的出色学习能力提供了进一步的支持。

预测使用机器学习的高维动力系统的行为需要有效的方法来学习基础物理模型。我们使用机器学习体系结构展示了时空混乱的预测，该架构与下一代储层计算机相结合时，以计算时间$ 10^3-10^4美元的培训过程和培训速度显示最新的性能。数据集$ \ sim 10^2 $ $倍，比其他机器学习算法小。我们还利用该模型的翻译对称性，以进一步降低计算成本和培训数据，每倍$ \ sim $ 10。

这项工作探讨了物理驱动的机器学习技术运算符推理（IMIPF），以预测混乱的动力系统状态。 OPINF提供了一种非侵入性方法来推断缩小空间中多项式操作员的近似值，而无需访问离散模型中出现的完整订单操作员。物理系统的数据集是使用常规数值求解器生成的，然后通过主成分分析（PCA）投影到低维空间。在潜在空间中，设置了一个最小二乘问题以适合二次多项式操作员，该操作员随后在时间整合方案中使用，以便在同一空间中产生外推。解决后，将对逆PCA操作进行重建原始空间中的外推。通过标准化的根平方误差（NRMSE）度量评估了OPINF预测的质量，从中计算有效的预测时间（VPT）。考虑混乱系统Lorenz 96和Kuramoto-Sivashinsky方程的数值实验显示，具有VPT范围的OPINF降低订单模型的有希望的预测能力，这些模型均超过了最先进的机器学习方法，例如返回和储层计算循环新的Neural网络[1 ]，以及马尔可夫神经操作员[2]。

在本文中，我们考虑了与未知（或部分未知），非平稳性，潜在的嘈杂和混乱的时间演变相关的机器学习（ML）任务，以预测临界点过渡和长期尖端行为动力系统。我们专注于特别具有挑战性的情况，在过去的情况下，过去的动态状态时间序列主要是在状态空间的受限区域中，而要预测的行为会在ML未完全观察到的较大状态空间集中演变出来训练期间的模型。在这种情况下，要求ML预测系统能够推断出在训练过程中观察到的不同动态。我们研究了ML方法在多大程度上能够为此任务完成有用的结果以及它们失败的条件。通常，我们发现即使在极具挑战性的情况下，ML方法也出奇地有效，但是（正如人们所期望的）``需要``太多''的外推。基于科学知识的传统建模的ML方法，因此即使单独采取行动时，我们发现的混合预测系统也可以实现有用的预测。我们还发现，实现有用的结果可能需要使用使用非常仔细选择的ML超参数，我们提出了一个超参数优化策略来解决此问题。本文的主要结论是，基于ML （也许是由于临界点的穿越）包括在训练数据探索的集合中的动态。

由有限信号传播速度引起的，许多复杂的系统具有可能诱导高维混沌行为的时间延迟并使预测复杂。这里，我们提出了一种适用于具有任意延迟的系统的物理网络的回声状态网络。在培训网络后，预测具有独特且足够长的延迟的系统，它已经学会了预测所有其他延迟的系统动态。简单地适应网络的拓扑使我们能够推断未训练的功能，例如高维混沌吸引子，分叉甚至多种能力，这些功能较短，延迟较长。因此，延迟系统和数据驱动机器学习的物理知识的融合产生了具有高泛化能力和前所未有的预测精度的模型。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。

在本文中，我们证明了储层计算可用于学习浅水方程的动态。特别地，虽然储层计算的大多数先前的应用已经需要对特定轨迹的训练来说，以进一步预测沿着该轨迹的进化，我们展示了储层计算能力，以预测浅水方程的轨迹，初始条件下没有看到的初始条件培训过程。然而，在该设置中，我们发现网络的性能对于具有与训练数据集中的环境条件（例如总水质高度和平均速度）的初始条件恶化。为了避免这种缺陷，我们引入了一种转移学习方法，其中使用相关环境条件的小额额外训练步骤来改善预测。

储层计算机（RCS）是所有神经网络训练最快的计算机之一，尤其是当它们与其他经常性神经网络进行比较时。 RC具有此优势，同时仍能很好地处理顺序数据。但是，由于该模型对其超参数（HPS）的敏感性，RC的采用率滞后于其他神经网络模型。文献中缺少一个自动调谐这些参数的现代统一软件包。手动调整这些数字非常困难，传统网格搜索方法的成本呈指数增长，随着所考虑的HP数量，劝阻RC的使用并限制了可以设计的RC模型的复杂性。我们通过引入RCTORCH来解决这些问题，Rctorch是一种基于Pytorch的RC神经网络软件包，具有自动HP调整。在本文中，我们通过使用它来预测不同力的驱动摆的复杂动力学来证明rctorch的实用性。这项工作包括编码示例。示例Python Jupyter笔记本可以在我们的GitHub存储库https://github.com/blindedjoy/rctorch上找到，可以在https://rctorch.readthedocs.io/上找到文档。

机器学习方法最近被用作替代品或用于动态系统的物理/数学建模方法的帮助。为了开发一种用于建模和预测多尺度动力学的有效机器学习方法，我们通过使用异质性泄漏积分器（LI）神经元的复发网络提出了具有不同时间尺度的储层计算（RC）模型。我们在两个时间序列的预测任务中评估了所提出模型的计算性能，该任务与四个混乱的快速动力学系统有关。在仅从快速子系统提供输入数据的一步预测任务中，我们表明，所提出的模型比具有相同LI神经元的标准RC模型产生的性能更好。我们的分析表明，通过模型训练，适当，灵活地从储层动力学中选择了产生目标多尺度动力学的每个组件所需的时间尺度。在长期的预测任务中，我们证明了所提出的模型的闭环版本可以实现长期的预测，而与与参数相同的LI神经元相比，它可以实现长期预测。

在仅给定国家的数据随着时间的推移数据时，确定系统的基本动力学的问题已经挑战了科学家数十年来的挑战。在本文中，介绍了使用机器学习对相位空间变量的{\ em更新}进行建模的方法；这是作为相空间变量的函数完成的。 （更一般而言，建模是在变量的射流空间上进行的。）该方法被证明可以准确地复制谐波振荡器，摆和Duffing振荡器的示例的动力学；在每个示例中，还可以准确恢复基础微分方程。另外，结果绝不取决于如何随时间（即定期或不规则）对数据进行采样。证明这种方法（称为“ FJET”）类似于runge-kutta（RK）数值集成方案的泰勒级数扩展产生的模型。这个类比赋予了明确揭示在建模中使用的适当功能的优势，并揭示了更新的误差估计。因此，可以将这种新方法视为通过机器学习来确定RK方案系数的一种方式。最后，在未阻尼的谐波振荡器示例中显示，更新的稳定性稳定，$ 10^9美元的$ 10^9美元的稳定性比$ 4 $ ther-ther-ther-ther-tord RK稳定。

从非线性系统中提取预测模型是科学机器学习中的一个中心任务。一个关键问题是现代数据驱动方法与第一个原则之间的对帐。尽管机器学习技术快速进展，但将域知识嵌入到数据驱动的模型中仍然是一个挑战。在这项工作中，我们为基于观察的非线性系统提取了一个通用学习框架，用于从非线性系统中提取预测模型。我们的框架可以容易地纳入第一个原理知识，因为它自然地模拟非线性系统作为连续时间系统。这两种都改善了提取的模型的外推功率，并减少了培训所需的数据量。此外，我们的框架还具有对观察噪声的稳健和适用性的优点，不规则采样数据。我们通过学习各种系统的预测模型来展示我们方案的有效性，包括普拉登·德隆振荡器，Lorenz系统和Kuramoto-Sivashinsky方程。对于Lorenz系统，并入不同类型的域知识，以展示数据驱动系统识别中的知识强度。

数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今，可以准确预测复杂系统，例如天气，疾病模型或股市。预测方法通常被宣传为对控制有用，但是由于系统的复杂性，较大的数据集的需求以及增加的建模工作，这些细节经常没有得到解答。换句话说，自治系统的替代建模比控制系统要容易得多。在本文中，我们介绍了Quasimodo框架（量化模拟模拟模拟 - 优化），以将任意预测模型转换为控制系统，从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是，我们通过自动化动力学（产生混合企业控制问题）来贸易控制效率，以获取任意，即使用的自主替代建模技术。然后，我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加，性能保证仅依赖于使用的预测模型的准确性，而控制理论中的知识知识要求很少来解决复杂的控制问题。

非线性动力学的现实世界复杂系统的分析和预测在很大程度上取决于替代模型。储层计算机（RC）已被证明可用于复制混沌动力学的气候。基于RCS的替代模型的质量至关重要取决于明智地确定的最佳实现，涉及选择最佳储层拓扑和超参数。通过系统地应用贝叶斯高参数优化并使用各种拓扑的储层集合，我们表明，链接储层的拓扑结构在预测混乱的Lorenz系统的动态方面没有意义。通过模拟，我们表明，未连接的节点的简单储层优于链接的储层作为不同制度中洛伦兹系统的替代模型的链接储层。我们给出了为什么未连接节点的储层具有最大熵，因此是最佳的。我们得出的结论是，RC的性能是基于仅仅是功能转换，而不是通常假定的动力学特性。因此，可以通过在模型中更强烈的动态信息来改进RC。

物理储存器计算（RC）是计算框架，其中使用模拟计算机类似的非线性物理系统来执行为数字计算机设计的机器学习算法，其可以提供用于预测可以使用非线性微分方程找到的时间相关量的高计算能力。在这里，我们建议一个RC系统，该RC系统将振荡气泡簇的声响应的非线性与水中的标准回声状态网络（ESN）算法很好地预测非线性和混沌时间序列。我们通过证明其预测eSN效率的混沌麦克玻璃时间序列的能力来计算拟议的RC系统的合理性。

要使用深神经网络预测罕见的极端事件，一个人遇到所谓的小数据问题，因为即使是长期观测通常常见的事件常见。在这里，我们研究了一种模型辅助框架，其中训练数据是从数值模拟获得的，而不是观察，具有来自极端事件的适当样本。但是，为了确保培训的网络在实践中适用，无法在完整的仿真数据上执行培训;相反，我们只使用可以在实践中测量的可观察量的小子集。我们调查这一模型辅助框架在三种不同动力系统（Rossler Larguger Or，Fitzhugh - Nagumo Model和湍流流体流量）和三种不同的深神经网络架构（前馈，长短期内存和储层计算）上的可行性）。在每种情况下，我们研究了预测准确性，稳健性对噪声，重复训练的再现性，以及对输入数据类型的敏感性。特别是，我们发现长期的短期内存网络是最强大的噪声，并产生相对准确的预测，同时需要最小的高考的微调。

Recent work has shown that machine learning (ML) models can be trained to accurately forecast the dynamics of unknown chaotic dynamical systems. Such ML models can be used to produce both short-term predictions of the state evolution and long-term predictions of the statistical patterns of the dynamics (``climate''). Both of these tasks can be accomplished by employing a feedback loop, whereby the model is trained to predict forward one time step, then the trained model is iterated for multiple time steps with its output used as the input. In the absence of mitigating techniques, however, this technique can result in artificially rapid error growth, leading to inaccurate predictions and/or climate instability. In this article, we systematically examine the technique of adding noise to the ML model input during training as a means to promote stability and improve prediction accuracy. Furthermore, we introduce Linearized Multi-Noise Training (LMNT), a regularization technique that deterministically approximates the effect of many small, independent noise realizations added to the model input during training. Our case study uses reservoir computing, a machine-learning method using recurrent neural networks, to predict the spatiotemporal chaotic Kuramoto-Sivashinsky equation. We find that reservoir computers trained with noise or with LMNT produce climate predictions that appear to be indefinitely stable and have a climate very similar to the true system, while reservoir computers trained without regularization are unstable. Compared with other types of regularization that yield stability in some cases, we find that both short-term and climate predictions from reservoir computers trained with noise or with LMNT are substantially more accurate. Finally, we show that the deterministic aspect of our LMNT regularization facilitates fast hyperparameter tuning when compared to training with noise.

储层计算是一种使用高维动力系统或\ emph {Reservoir}的机器学习范式，以近似和预测时间序列数据。可以通过从电子电路中构造储层来增强储层计算机的规模，速度和功率使用，并且一些实验研究证明了这一方向的希望。但是，设计质量储层需要精确理解此类电路如何处理和存储信息。我们分析了包括线性元件（电阻器，电感器和电容器）和称为MEMRISTOR的非线性记忆元件的电子储层的可行性和最佳设计。我们提供了有关这些储层的可行性的分析结果，并通过检查它们可以近似的输入输出关系的类型来对其计算属性进行系统的表征。这使我们能够设计具有最佳属性的储层。通过引入储层的总线性和非线性计算能力的衡量标准，我们能够设计其总计算能力随系统尺寸广泛规模的电子电路。我们的电子储层可以以可能直接在硬件中实现的形式匹配或超过常规“ Echo State Network”储层的性能。

许多科学领域需要对复杂系统的时间行为的可靠预测。然而，这种强烈的兴趣是通过建模问题阻碍：通常，描述所考虑的系统物理学的控制方程是不可访问的，或者在已知时，它们的解决方案可能需要与预测时间约束不兼容的计算时间。如今，以通用功能格式近似复杂的系统，并从可用观察中通知IT Nihilo已成为一个常见的做法，如过去几年出现的巨大科学工作所示。许多基于深神经网络的成功示例已经可用，尽管易于忽视了模型和保证边缘的概括性。在这里，我们考虑长期内存神经网络，并彻底调查训练集的影响及其结构对长期预测的质量。利用ergodic理论，我们分析了保证物理系统忠实模型的先验的数据量。我们展示了根据系统不变的培训集的知情设计如何以及潜在的吸引子的结构，显着提高了所产生的模型，在积极学习的背景下开放研究。此外，将说明依赖于存储器能够的模型时内存初始化的非琐碎效果。我们的调查结果为有效数据驱动建模的任何复杂动态系统所需的数量和选择提供了基于证据的良好实践。

我们建议采用统计回归作为投影操作员，以使数据驱动以数据为基础的Mori-Zwanzig形式主义中的运营商学习。我们提出了一种原则性方法，用于为任何回归模型提取Markov和内存操作员。我们表明，线性回归的选择导致了基于Mori的投影操作员最近提出的数据驱动的学习算法，这是一种高阶近似Koopman学习方法。我们表明，更具表现力的非线性回归模型自然填补了高度理想化和计算有效的MORI投影操作符和最佳迄今为止计算上最佳的Zwanzig投影仪之间的差距。我们进行了数值实验，并提取了一系列基于回归的投影的运算符，包括线性，多项式，样条和基于神经网络的回归，随着回归模型的复杂性的增加而显示出渐进的改进。我们的命题提供了一个通用框架来提取内存依赖性校正，并且可以轻松地应用于文献中固定动力学系统的一系列数据驱动的学习方法。