非线性动力学的现实世界复杂系统的分析和预测在很大程度上取决于替代模型。储层计算机（RC）已被证明可用于复制混沌动力学的气候。基于RCS的替代模型的质量至关重要取决于明智地确定的最佳实现，涉及选择最佳储层拓扑和超参数。通过系统地应用贝叶斯高参数优化并使用各种拓扑的储层集合，我们表明，链接储层的拓扑结构在预测混乱的Lorenz系统的动态方面没有意义。通过模拟，我们表明，未连接的节点的简单储层优于链接的储层作为不同制度中洛伦兹系统的替代模型的链接储层。我们给出了为什么未连接节点的储层具有最大熵，因此是最佳的。我们得出的结论是，RC的性能是基于仅仅是功能转换，而不是通常假定的动力学特性。因此，可以通过在模型中更强烈的动态信息来改进RC。

在本文中，我们考虑了与未知（或部分未知），非平稳性，潜在的嘈杂和混乱的时间演变相关的机器学习（ML）任务，以预测临界点过渡和长期尖端行为动力系统。我们专注于特别具有挑战性的情况，在过去的情况下，过去的动态状态时间序列主要是在状态空间的受限区域中，而要预测的行为会在ML未完全观察到的较大状态空间集中演变出来训练期间的模型。在这种情况下，要求ML预测系统能够推断出在训练过程中观察到的不同动态。我们研究了ML方法在多大程度上能够为此任务完成有用的结果以及它们失败的条件。通常，我们发现即使在极具挑战性的情况下，ML方法也出奇地有效，但是（正如人们所期望的）``需要``太多''的外推。基于科学知识的传统建模的ML方法，因此即使单独采取行动时，我们发现的混合预测系统也可以实现有用的预测。我们还发现，实现有用的结果可能需要使用使用非常仔细选择的ML超参数，我们提出了一个超参数优化策略来解决此问题。本文的主要结论是，基于ML （也许是由于临界点的穿越）包括在训练数据探索的集合中的动态。

水库计算机是一种使用高维动力系统进行计算的方式。构建水库计算机的一种方法是通过将一组非线性节点连接到网络中。由于网络在节点之间创建反馈，因此储库计算机具有内存。如果水库计算机是以一致的方式响应输入信号（计算的必要条件），则内存必须衰落;也就是说，初始条件的影响随着时间的推移而淡化。这个记忆持续多长时间很重要，对于确定水库计算机如何解决特定问题。在本文中，我描述了改变储层计算机中衰落内存的长度的方法。调整内存可能很重要，在某些问题中实现最佳结果;记忆力太多或太少的记忆会降低了计算的准确性。

Recent work has shown that machine learning (ML) models can be trained to accurately forecast the dynamics of unknown chaotic dynamical systems. Such ML models can be used to produce both short-term predictions of the state evolution and long-term predictions of the statistical patterns of the dynamics (``climate''). Both of these tasks can be accomplished by employing a feedback loop, whereby the model is trained to predict forward one time step, then the trained model is iterated for multiple time steps with its output used as the input. In the absence of mitigating techniques, however, this technique can result in artificially rapid error growth, leading to inaccurate predictions and/or climate instability. In this article, we systematically examine the technique of adding noise to the ML model input during training as a means to promote stability and improve prediction accuracy. Furthermore, we introduce Linearized Multi-Noise Training (LMNT), a regularization technique that deterministically approximates the effect of many small, independent noise realizations added to the model input during training. Our case study uses reservoir computing, a machine-learning method using recurrent neural networks, to predict the spatiotemporal chaotic Kuramoto-Sivashinsky equation. We find that reservoir computers trained with noise or with LMNT produce climate predictions that appear to be indefinitely stable and have a climate very similar to the true system, while reservoir computers trained without regularization are unstable. Compared with other types of regularization that yield stability in some cases, we find that both short-term and climate predictions from reservoir computers trained with noise or with LMNT are substantially more accurate. Finally, we show that the deterministic aspect of our LMNT regularization facilitates fast hyperparameter tuning when compared to training with noise.

要使用深神经网络预测罕见的极端事件，一个人遇到所谓的小数据问题，因为即使是长期观测通常常见的事件常见。在这里，我们研究了一种模型辅助框架，其中训练数据是从数值模拟获得的，而不是观察，具有来自极端事件的适当样本。但是，为了确保培训的网络在实践中适用，无法在完整的仿真数据上执行培训;相反，我们只使用可以在实践中测量的可观察量的小子集。我们调查这一模型辅助框架在三种不同动力系统（Rossler Larguger Or，Fitzhugh - Nagumo Model和湍流流体流量）和三种不同的深神经网络架构（前馈，长短期内存和储层计算）上的可行性）。在每种情况下，我们研究了预测准确性，稳健性对噪声，重复训练的再现性，以及对输入数据类型的敏感性。特别是，我们发现长期的短期内存网络是最强大的噪声，并产生相对准确的预测，同时需要最小的高考的微调。

这项工作探讨了物理驱动的机器学习技术运算符推理（IMIPF），以预测混乱的动力系统状态。 OPINF提供了一种非侵入性方法来推断缩小空间中多项式操作员的近似值，而无需访问离散模型中出现的完整订单操作员。物理系统的数据集是使用常规数值求解器生成的，然后通过主成分分析（PCA）投影到低维空间。在潜在空间中，设置了一个最小二乘问题以适合二次多项式操作员，该操作员随后在时间整合方案中使用，以便在同一空间中产生外推。解决后，将对逆PCA操作进行重建原始空间中的外推。通过标准化的根平方误差（NRMSE）度量评估了OPINF预测的质量，从中计算有效的预测时间（VPT）。考虑混乱系统Lorenz 96和Kuramoto-Sivashinsky方程的数值实验显示，具有VPT范围的OPINF降低订单模型的有希望的预测能力，这些模型均超过了最先进的机器学习方法，例如返回和储层计算循环新的Neural网络[1 ]，以及马尔可夫神经操作员[2]。

储层计算是一种机器学习方法，可以生成动态系统的替代模型。它可以使用较少的可训练参数来学习基础动力系统，从而比竞争方法更少。最近，一种更简单的公式（称为下一代储层计算）可以去除许多算法的元掌握器，并识别出良好的传统储层计算机，从而进一步简化了训练。在这里，我们研究了一个特别具有挑战性的问题，即学习具有不同时间尺度和多个共存动态状态（吸引子）的动态系统。我们使用量化地面真相和预测吸引子的几何形状的指标比较了下一代和传统的储层计算机。对于所研究的四维系统，下一代储层计算方法使用$ \ sim 1.7 \ times $少培训数据，需要$ 10^3 \ times $ $ shorter $ shorter“热身”时间，具有$ \ \ \ \ \ \ \ \ \ \ \ \ \ SIM 100 \ times $与传统的储层计算机相比，预测共存吸引人特性的精度更高。此外，我们证明了它以高精度预测吸引力的盆地。这项工作为动态系统的这种新机器学习算法的出色学习能力提供了进一步的支持。

预测使用机器学习的高维动力系统的行为需要有效的方法来学习基础物理模型。我们使用机器学习体系结构展示了时空混乱的预测，该架构与下一代储层计算机相结合时，以计算时间$ 10^3-10^4美元的培训过程和培训速度显示最新的性能。数据集$ \ sim 10^2 $ $倍，比其他机器学习算法小。我们还利用该模型的翻译对称性，以进一步降低计算成本和培训数据，每倍$ \ sim $ 10。

在本文中，我们证明了储层计算可用于学习浅水方程的动态。特别地，虽然储层计算的大多数先前的应用已经需要对特定轨迹的训练来说，以进一步预测沿着该轨迹的进化，我们展示了储层计算能力，以预测浅水方程的轨迹，初始条件下没有看到的初始条件培训过程。然而，在该设置中，我们发现网络的性能对于具有与训练数据集中的环境条件（例如总水质高度和平均速度）的初始条件恶化。为了避免这种缺陷，我们引入了一种转移学习方法，其中使用相关环境条件的小额额外训练步骤来改善预测。

储层计算机（RCS）是所有神经网络训练最快的计算机之一，尤其是当它们与其他经常性神经网络进行比较时。 RC具有此优势，同时仍能很好地处理顺序数据。但是，由于该模型对其超参数（HPS）的敏感性，RC的采用率滞后于其他神经网络模型。文献中缺少一个自动调谐这些参数的现代统一软件包。手动调整这些数字非常困难，传统网格搜索方法的成本呈指数增长，随着所考虑的HP数量，劝阻RC的使用并限制了可以设计的RC模型的复杂性。我们通过引入RCTORCH来解决这些问题，Rctorch是一种基于Pytorch的RC神经网络软件包，具有自动HP调整。在本文中，我们通过使用它来预测不同力的驱动摆的复杂动力学来证明rctorch的实用性。这项工作包括编码示例。示例Python Jupyter笔记本可以在我们的GitHub存储库https://github.com/blindedjoy/rctorch上找到，可以在https://rctorch.readthedocs.io/上找到文档。

经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。

在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

回声状态网络（ESN）是一类复发性神经网络，具有大量隐藏的隐藏权重（在所谓的储层中）。典型的ESN及其变化最近由于在非线性动力学系统的建模方面取得了显着的成功而受到了极大的关注。储层随机连接到没有改变学习过程的固定权重。仅训练从储层到输出的权重。由于储层在训练过程中是固定的，因此我们可能会想知道是否完全利用了复发结构的计算能力。在本文中，我们提出了一种新的ESN类型计算模型，该模型代表傅立叶空间中的储层权重，并对这些权重进行微调，该权重应用了频域中的遗传算法。主要兴趣是，与经典ESN相比，该过程将在小得多的空间中起作用，从而提供了初始方法的降低性变换。提出的技术使我们能够利用大型复发结构的好处，以避免基于梯度的方法的训练问题。我们提供了一项详细的实验研究，该研究证明了我们使用众所周知的混沌系统和现实数据的良好表现。

储层计算是一种使用高维动力系统或\ emph {Reservoir}的机器学习范式，以近似和预测时间序列数据。可以通过从电子电路中构造储层来增强储层计算机的规模，速度和功率使用，并且一些实验研究证明了这一方向的希望。但是，设计质量储层需要精确理解此类电路如何处理和存储信息。我们分析了包括线性元件（电阻器，电感器和电容器）和称为MEMRISTOR的非线性记忆元件的电子储层的可行性和最佳设计。我们提供了有关这些储层的可行性的分析结果，并通过检查它们可以近似的输入输出关系的类型来对其计算属性进行系统的表征。这使我们能够设计具有最佳属性的储层。通过引入储层的总线性和非线性计算能力的衡量标准，我们能够设计其总计算能力随系统尺寸广泛规模的电子电路。我们的电子储层可以以可能直接在硬件中实现的形式匹配或超过常规“ Echo State Network”储层的性能。

Echo State Networks (ESN) are a type of Recurrent Neural Networks that yields promising results in representing time series and nonlinear dynamic systems. Although they are equipped with a very efficient training procedure, Reservoir Computing strategies, such as the ESN, require the use of high order networks, i.e. large number of layers, resulting in number of states that is magnitudes higher than the number of model inputs and outputs. This not only makes the computation of a time step more costly, but also may pose robustness issues when applying ESNs to problems such as Model Predictive Control (MPC) and other optimal control problems. One such way to circumvent this is through Model Order Reduction strategies such as the Proper Orthogonal Decomposition (POD) and its variants (POD-DEIM), whereby we find an equivalent lower order representation to an already trained high dimension ESN. The objective of this work is to investigate and analyze the performance of POD methods in Echo State Networks, evaluating their effectiveness. To this end, we evaluate the Memory Capacity (MC) of the POD-reduced network in comparison to the original (full order) ENS. We also perform experiments on two different numerical case studies: a NARMA10 difference equation and an oil platform containing two wells and one riser. The results show that there is little loss of performance comparing the original ESN to a POD-reduced counterpart, and also that the performance of a POD-reduced ESN tend to be superior to a normal ESN of the same size. Also we attain speedups of around $80\%$ in comparison to the original ESN.

物理储存器计算（RC）是计算框架，其中使用模拟计算机类似的非线性物理系统来执行为数字计算机设计的机器学习算法，其可以提供用于预测可以使用非线性微分方程找到的时间相关量的高计算能力。在这里，我们建议一个RC系统，该RC系统将振荡气泡簇的声响应的非线性与水中的标准回声状态网络（ESN）算法很好地预测非线性和混沌时间序列。我们通过证明其预测eSN效率的混沌麦克玻璃时间序列的能力来计算拟议的RC系统的合理性。

Reservoir computing is a recurrent neural network paradigm in which only the output layer is trained. Recently, it was demonstrated that adding time-shifts to the signals generated by a reservoir can provide large improvements in performance accuracy. In this work, we present a technique to choose the optimal time shifts. Our technique maximizes the rank of the reservoir matrix using a rank-revealing QR algorithm and is not task dependent. Further, our technique does not require a model of the system, and therefore is directly applicable to analog hardware reservoir computers. We demonstrate our time-shift optimization technique on two types of reservoir computer: one based on an opto-electronic oscillator and the traditional recurrent network with a $tanh$ activation function. We find that our technique provides improved accuracy over random time-shift selection in essentially all cases.

由有限信号传播速度引起的，许多复杂的系统具有可能诱导高维混沌行为的时间延迟并使预测复杂。这里，我们提出了一种适用于具有任意延迟的系统的物理网络的回声状态网络。在培训网络后，预测具有独特且足够长的延迟的系统，它已经学会了预测所有其他延迟的系统动态。简单地适应网络的拓扑使我们能够推断未训练的功能，例如高维混沌吸引子，分叉甚至多种能力，这些功能较短，延迟较长。因此，延迟系统和数据驱动机器学习的物理知识的融合产生了具有高泛化能力和前所未有的预测精度的模型。

动态网络是多功能模型，可以描述各种行为，例如同步和反馈。但是，在现实世界中应用这些模型很难在现实世界中应用，因为与连接结构或局部动态有关的先前信息通常是未知的，并且必须根据网络状态的时间序列观察来推断。另外，节点之间耦合相互作用的影响进一步使局部节点动力学的隔离变得复杂。鉴于动态网络与经常性神经网络（RNN）之间的架构相似性，我们提出了一种基于通过时间（BPTT）算法的反向传播的网络推理方法，通常用于训练复发性神经网络。该方法旨在同时推断出纯粹从节点状态观察的连接性结构和局部节点动力学。首先使用神经网络构建局部节点动力学的近似值。这是与适应的BPTT算法交替使用的，可以通过基于先前构造的本地模型最小化动力网络的预测误差来回归相应的网络权重，直到达到收敛为止。发现该方法在识别洛伦兹，Chua和Fitzhugh-Nagumo振荡器的耦合网络的连通性结构方面是成功的。 Freerun的预测性能与所得的本地模型和权重相当，与具有嘈杂初始条件的真实系统相当。该方法还扩展到非惯性网络耦合，例如不对称的负耦合。