物理储存器计算（RC）是计算框架，其中使用模拟计算机类似的非线性物理系统来执行为数字计算机设计的机器学习算法，其可以提供用于预测可以使用非线性微分方程找到的时间相关量的高计算能力。在这里，我们建议一个RC系统，该RC系统将振荡气泡簇的声响应的非线性与水中的标准回声状态网络（ESN）算法很好地预测非线性和混沌时间序列。我们通过证明其预测eSN效率的混沌麦克玻璃时间序列的能力来计算拟议的RC系统的合理性。

储层计算是一种机器学习方法，可以生成动态系统的替代模型。它可以使用较少的可训练参数来学习基础动力系统，从而比竞争方法更少。最近，一种更简单的公式（称为下一代储层计算）可以去除许多算法的元掌握器，并识别出良好的传统储层计算机，从而进一步简化了训练。在这里，我们研究了一个特别具有挑战性的问题，即学习具有不同时间尺度和多个共存动态状态（吸引子）的动态系统。我们使用量化地面真相和预测吸引子的几何形状的指标比较了下一代和传统的储层计算机。对于所研究的四维系统，下一代储层计算方法使用$ \ sim 1.7 \ times $少培训数据，需要$ 10^3 \ times $ $ shorter $ shorter“热身”时间，具有$ \ \ \ \ \ \ \ \ \ \ \ \ \ SIM 100 \ times $与传统的储层计算机相比，预测共存吸引人特性的精度更高。此外，我们证明了它以高精度预测吸引力的盆地。这项工作为动态系统的这种新机器学习算法的出色学习能力提供了进一步的支持。

在本文中，我们证明了储层计算可用于学习浅水方程的动态。特别地，虽然储层计算的大多数先前的应用已经需要对特定轨迹的训练来说，以进一步预测沿着该轨迹的进化，我们展示了储层计算能力，以预测浅水方程的轨迹，初始条件下没有看到的初始条件培训过程。然而，在该设置中，我们发现网络的性能对于具有与训练数据集中的环境条件（例如总水质高度和平均速度）的初始条件恶化。为了避免这种缺陷，我们引入了一种转移学习方法，其中使用相关环境条件的小额额外训练步骤来改善预测。

储层计算机（RCS）是所有神经网络训练最快的计算机之一，尤其是当它们与其他经常性神经网络进行比较时。 RC具有此优势，同时仍能很好地处理顺序数据。但是，由于该模型对其超参数（HPS）的敏感性，RC的采用率滞后于其他神经网络模型。文献中缺少一个自动调谐这些参数的现代统一软件包。手动调整这些数字非常困难，传统网格搜索方法的成本呈指数增长，随着所考虑的HP数量，劝阻RC的使用并限制了可以设计的RC模型的复杂性。我们通过引入RCTORCH来解决这些问题，Rctorch是一种基于Pytorch的RC神经网络软件包，具有自动HP调整。在本文中，我们通过使用它来预测不同力的驱动摆的复杂动力学来证明rctorch的实用性。这项工作包括编码示例。示例Python Jupyter笔记本可以在我们的GitHub存储库https://github.com/blindedjoy/rctorch上找到，可以在https://rctorch.readthedocs.io/上找到文档。

非线性动力学的现实世界复杂系统的分析和预测在很大程度上取决于替代模型。储层计算机（RC）已被证明可用于复制混沌动力学的气候。基于RCS的替代模型的质量至关重要取决于明智地确定的最佳实现，涉及选择最佳储层拓扑和超参数。通过系统地应用贝叶斯高参数优化并使用各种拓扑的储层集合，我们表明，链接储层的拓扑结构在预测混乱的Lorenz系统的动态方面没有意义。通过模拟，我们表明，未连接的节点的简单储层优于链接的储层作为不同制度中洛伦兹系统的替代模型的链接储层。我们给出了为什么未连接节点的储层具有最大熵，因此是最佳的。我们得出的结论是，RC的性能是基于仅仅是功能转换，而不是通常假定的动力学特性。因此，可以通过在模型中更强烈的动态信息来改进RC。

Reservoir computing is a recurrent neural network paradigm in which only the output layer is trained. Recently, it was demonstrated that adding time-shifts to the signals generated by a reservoir can provide large improvements in performance accuracy. In this work, we present a technique to choose the optimal time shifts. Our technique maximizes the rank of the reservoir matrix using a rank-revealing QR algorithm and is not task dependent. Further, our technique does not require a model of the system, and therefore is directly applicable to analog hardware reservoir computers. We demonstrate our time-shift optimization technique on two types of reservoir computer: one based on an opto-electronic oscillator and the traditional recurrent network with a $tanh$ activation function. We find that our technique provides improved accuracy over random time-shift selection in essentially all cases.

量化和验证准备量子状态的控制水平是构建量子器件中的中心挑战。量子状态的特点是实验测量，使用称为断层扫描的程序，这需要大量资源。此外，尚未制定与颞下处理的量子装置的断层扫描，其尚未制定与标准断层扫描的逐时处理。我们使用经常性机器学习框架开发了一种实用和近似的断层扫描方法，用于这种有趣情况。该方法基于具有量子态流称为量子储存器的系统之间的重复量子相互作用。来自储存器的测量数据连接到线性读数，以训练施加到输入流的量子通道之间的反复关系。我们展示了Quantum学习任务的算法，然后是Quantum短期内存容量的提议，以评估近术语量子器件的时间处理能力。

Echo State Networks (ESN) are a type of Recurrent Neural Networks that yields promising results in representing time series and nonlinear dynamic systems. Although they are equipped with a very efficient training procedure, Reservoir Computing strategies, such as the ESN, require the use of high order networks, i.e. large number of layers, resulting in number of states that is magnitudes higher than the number of model inputs and outputs. This not only makes the computation of a time step more costly, but also may pose robustness issues when applying ESNs to problems such as Model Predictive Control (MPC) and other optimal control problems. One such way to circumvent this is through Model Order Reduction strategies such as the Proper Orthogonal Decomposition (POD) and its variants (POD-DEIM), whereby we find an equivalent lower order representation to an already trained high dimension ESN. The objective of this work is to investigate and analyze the performance of POD methods in Echo State Networks, evaluating their effectiveness. To this end, we evaluate the Memory Capacity (MC) of the POD-reduced network in comparison to the original (full order) ENS. We also perform experiments on two different numerical case studies: a NARMA10 difference equation and an oil platform containing two wells and one riser. The results show that there is little loss of performance comparing the original ESN to a POD-reduced counterpart, and also that the performance of a POD-reduced ESN tend to be superior to a normal ESN of the same size. Also we attain speedups of around $80\%$ in comparison to the original ESN.

Neural networks have revolutionized the area of artificial intelligence and introduced transformative applications to almost every scientific field and industry. However, this success comes at a great price; the energy requirements for training advanced models are unsustainable. One promising way to address this pressing issue is by developing low-energy neuromorphic hardware that directly supports the algorithm's requirements. The intrinsic non-volatility, non-linearity, and memory of spintronic devices make them appealing candidates for neuromorphic devices. Here we focus on the reservoir computing paradigm, a recurrent network with a simple training algorithm suitable for computation with spintronic devices since they can provide the properties of non-linearity and memory. We review technologies and methods for developing neuromorphic spintronic devices and conclude with critical open issues to address before such devices become widely used.

大坝破洪水中波传播的计算预测是流体动力和水文学中的长期问题。到目前为止，基于圣人方程的常规数值模型是主要方法。在这里，我们表明，以最少的数据训练的机器学习模型可以帮助预测一维大坝破洪水的长期动态行为，其精度令人满意。为此，我们使用lax-wendroff数值方案为一维大坝洪水方案求解了圣人方程，并通过模拟结果训练储层计算机网络（RC-ESN），由模拟结果组成时间序列深度。我们展示了RC-ESN模型的良好预测能力，该模型预测波传播行为286在大坝破洪水中，均方根误差（RMSE）小于0.01，表现优于传统的长期短期内存（LSTM）模型仅达到仅81个时步的可比RMSE。为了显示RC-ESN模型的性能，我们还提供了有关关键参数（包括训练集大小，储层大小和光谱半径）的预测准确性的灵敏度分析。结果表明，RC-ESN较少依赖训练集尺寸，介质储层尺寸k = 1200〜2600就足够了。我们确认光谱半径\ r {ho}对预测准确性显示了复杂的影响，并建议当前较小的光谱半径\ r {ho}。通过更改大坝断裂的初始流程深度，我们还得出了一个结论，即RC-ESN的预测范围大于LSTM的预测范围。

基于量子的通信中的当前技术将量子数据的新集成与经典数据进行混合处理。但是，这些技术的框架仅限于单个经典或量子任务，这限制了它们在近期应用中的灵活性。我们建议在需要经典和量子输入的计算任务中利用量子储存器处理器来利用量子动力学。该模拟处理器包括一个量子点网络，其中量子数据被入射到网络中，并且经典数据通过一个连贯的字段刺激了网络进行编码。我们执行量子断层扫描和经典通道非线性均衡的多任务应用。有趣的是，可以通过对经典数据的反馈控制以闭环方式进行断层扫描。因此，如果经典输入来自动力学系统，则将该系统嵌入封闭环中，即使访问对外部经典输入的访问被中断也可以处理混合处理。最后，我们证明准备量子去极化通道是一种用于量子数据处理的新型量子机学习技术。

这项工作探讨了物理驱动的机器学习技术运算符推理（IMIPF），以预测混乱的动力系统状态。 OPINF提供了一种非侵入性方法来推断缩小空间中多项式操作员的近似值，而无需访问离散模型中出现的完整订单操作员。物理系统的数据集是使用常规数值求解器生成的，然后通过主成分分析（PCA）投影到低维空间。在潜在空间中，设置了一个最小二乘问题以适合二次多项式操作员，该操作员随后在时间整合方案中使用，以便在同一空间中产生外推。解决后，将对逆PCA操作进行重建原始空间中的外推。通过标准化的根平方误差（NRMSE）度量评估了OPINF预测的质量，从中计算有效的预测时间（VPT）。考虑混乱系统Lorenz 96和Kuramoto-Sivashinsky方程的数值实验显示，具有VPT范围的OPINF降低订单模型的有希望的预测能力，这些模型均超过了最先进的机器学习方法，例如返回和储层计算循环新的Neural网络[1 ]，以及马尔可夫神经操作员[2]。

存储器系统和设备可能用于实现应用于模式识别的储层计算（RC）系统。然而，Memristive RC系统的计算能力取决于交错的因素，例如存储器元素的系统架构和物理属性，其复杂化了系统性能的关键因素。在这里，我们为RC的仿真平台开发了Memristor设备网络的仿真平台，这使得能够测试不同的系统设计以进行性能改进。数值模拟表明，基于Memristor-Network的RC系统可以在三个时间级分类任务中产生与最先进的方法相当的高计算性能。我们证明，通过适当地设置忆阻器的网络结构，非线性和预/后处理可以实现设备到设备可变性的优异和鲁棒计算，这增加了利用不可靠的分量设备的可靠计算的可能性。我们的成果有助于建立椎间盘储层设计指南，以实现节能机械学习硬件。

基于旋转扭矩振荡器的复合值Hopfield网络模拟可以恢复相位编码的图像。存储器增强逆变器的序列提供可调谐延迟元件，通过相位转换振荡器的振荡输出来实现复合权重的可调延迟元件。伪逆培训足以存储在一组192个振荡器中，至少代表16 $ \倍数为12个像素图像。恢复图像所需的能量取决于所需的错误级别。对于这里考虑的振荡器和电路，来自理想图像的5％均方方偏差需要大约5 00美元$ S并消耗大约130 NJ。模拟显示，当振荡器的谐振频率可以调整为具有小于10 ^ {-3} $的分数扩展时，网络功能良好，具体取决于反馈的强度。

储层计算（RC）已经获得了最近的兴趣，因为无需培训储层权重，从而实现了极低的资源消费实施，这可能会对边缘计算和现场学习的影响有严格的限制。理想情况下，天然硬件储层应被动，最小，表现力和可行性。迄今为止，拟议的硬件水库很难满足所有这些标准。因此，我们建议通过利用偶极耦合，沮丧的纳米磁体的被动相互作用来符合所有这些标准的水库。挫败感大大增加了稳定的储层国家的数量，丰富了储层动力学，因此这些沮丧的纳米磁体满足了天然硬件储层的所有标准。同样，我们提出了具有低功率互补金属氧化物半导体（CMOS）电路的完全沮丧的纳米磁管储层计算（NMRC）系统与储层接口，并且初始实验结果证明了储层的可行性。在三个单独的任务上，通过微磁模拟对储层进行了验证。将所提出的系统与CMOS Echo-State网络（ESN）进行了比较，表明总体资源减少了10,000,000多倍，这表明，由于NMRC自然是被动的，而且最小的可能是具有极高资源效率的潜力。

在概述中，引入了通用数学对象（映射），并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习（ML）工具。ML的应用在模拟现有参数化，开发新的参数化，确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。

This paper considers the problem of data-driven prediction of partially observed systems using a recurrent neural network. While neural network based dynamic predictors perform well with full-state training data, prediction with partial observation during training phase poses a significant challenge. Here a predictor for partial observations is developed using an echo-state network (ESN) and time delay embedding of the partially observed state. The proposed method is theoretically justified with Taken's embedding theorem and strong observability of a nonlinear system. The efficacy of the proposed method is demonstrated on three systems: two synthetic datasets from chaotic dynamical systems and a set of real-time traffic data.

由有限信号传播速度引起的，许多复杂的系统具有可能诱导高维混沌行为的时间延迟并使预测复杂。这里，我们提出了一种适用于具有任意延迟的系统的物理网络的回声状态网络。在培训网络后，预测具有独特且足够长的延迟的系统，它已经学会了预测所有其他延迟的系统动态。简单地适应网络的拓扑使我们能够推断未训练的功能，例如高维混沌吸引子，分叉甚至多种能力，这些功能较短，延迟较长。因此，延迟系统和数据驱动机器学习的物理知识的融合产生了具有高泛化能力和前所未有的预测精度的模型。

要使用深神经网络预测罕见的极端事件，一个人遇到所谓的小数据问题，因为即使是长期观测通常常见的事件常见。在这里，我们研究了一种模型辅助框架，其中训练数据是从数值模拟获得的，而不是观察，具有来自极端事件的适当样本。但是，为了确保培训的网络在实践中适用，无法在完整的仿真数据上执行培训;相反，我们只使用可以在实践中测量的可观察量的小子集。我们调查这一模型辅助框架在三种不同动力系统（Rossler Larguger Or，Fitzhugh - Nagumo Model和湍流流体流量）和三种不同的深神经网络架构（前馈，长短期内存和储层计算）上的可行性）。在每种情况下，我们研究了预测准确性，稳健性对噪声，重复训练的再现性，以及对输入数据类型的敏感性。特别是，我们发现长期的短期内存网络是最强大的噪声，并产生相对准确的预测，同时需要最小的高考的微调。

水库计算机是一种使用高维动力系统进行计算的方式。构建水库计算机的一种方法是通过将一组非线性节点连接到网络中。由于网络在节点之间创建反馈，因此储库计算机具有内存。如果水库计算机是以一致的方式响应输入信号（计算的必要条件），则内存必须衰落;也就是说，初始条件的影响随着时间的推移而淡化。这个记忆持续多长时间很重要，对于确定水库计算机如何解决特定问题。在本文中，我描述了改变储层计算机中衰落内存的长度的方法。调整内存可能很重要，在某些问题中实现最佳结果;记忆力太多或太少的记忆会降低了计算的准确性。