回声状态网络（ESN）是一种经常性神经网络，由固定的储层组成，其中神经元随机连接和递归连接，仅通过训练输出连接权重才能获得所需的输出。一阶减少和控制误差（力）学习是一种在线监督培训方法，可以将ESN的混乱活动变成指定的活动模式。本文提出了一种基于递归最小二乘的复合力学习方法，以训练初始活动自发性混乱的ESN，其中采用动态回归器扩展和内存数据开发的复合学习技术来增强参数收敛。提出的方法应用于基准问题，以预测Mackey-Glass系统产生的混沌时间序列，而数值结果表明，与现有方法相比，它显着改善了学习和预测性能。

机器学习方法最近被用作替代品或用于动态系统的物理/数学建模方法的帮助。为了开发一种用于建模和预测多尺度动力学的有效机器学习方法，我们通过使用异质性泄漏积分器（LI）神经元的复发网络提出了具有不同时间尺度的储层计算（RC）模型。我们在两个时间序列的预测任务中评估了所提出模型的计算性能，该任务与四个混乱的快速动力学系统有关。在仅从快速子系统提供输入数据的一步预测任务中，我们表明，所提出的模型比具有相同LI神经元的标准RC模型产生的性能更好。我们的分析表明，通过模型训练，适当，灵活地从储层动力学中选择了产生目标多尺度动力学的每个组件所需的时间尺度。在长期的预测任务中，我们证明了所提出的模型的闭环版本可以实现长期的预测，而与与参数相同的LI神经元相比，它可以实现长期预测。

Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.

在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。

动态网络是多功能模型，可以描述各种行为，例如同步和反馈。但是，在现实世界中应用这些模型很难在现实世界中应用，因为与连接结构或局部动态有关的先前信息通常是未知的，并且必须根据网络状态的时间序列观察来推断。另外，节点之间耦合相互作用的影响进一步使局部节点动力学的隔离变得复杂。鉴于动态网络与经常性神经网络（RNN）之间的架构相似性，我们提出了一种基于通过时间（BPTT）算法的反向传播的网络推理方法，通常用于训练复发性神经网络。该方法旨在同时推断出纯粹从节点状态观察的连接性结构和局部节点动力学。首先使用神经网络构建局部节点动力学的近似值。这是与适应的BPTT算法交替使用的，可以通过基于先前构造的本地模型最小化动力网络的预测误差来回归相应的网络权重，直到达到收敛为止。发现该方法在识别洛伦兹，Chua和Fitzhugh-Nagumo振荡器的耦合网络的连通性结构方面是成功的。 Freerun的预测性能与所得的本地模型和权重相当，与具有嘈杂初始条件的真实系统相当。该方法还扩展到非惯性网络耦合，例如不对称的负耦合。

经常性神经网络（RNN）经常用于建模脑功能和结构的方面。在这项工作中，我们培训了小型完全连接的RNN，以具有时变刺激的时间和流量控制任务。我们的结果表明，不同的RNN可以通过对不同的底层动态进行不同的RNN来解决相同的任务，并且优雅地降低的性能随着网络尺寸而降低，间隔持续时间增加，或者连接损坏。我们的结果对于量化通常用作黑匣子的模型的不同方面是有用的，并且需要预先理解以建模脑皮质区域的生物反应。

回声状态网络（ESN）是一类复发性神经网络，具有大量隐藏的隐藏权重（在所谓的储层中）。典型的ESN及其变化最近由于在非线性动力学系统的建模方面取得了显着的成功而受到了极大的关注。储层随机连接到没有改变学习过程的固定权重。仅训练从储层到输出的权重。由于储层在训练过程中是固定的，因此我们可能会想知道是否完全利用了复发结构的计算能力。在本文中，我们提出了一种新的ESN类型计算模型，该模型代表傅立叶空间中的储层权重，并对这些权重进行微调，该权重应用了频域中的遗传算法。主要兴趣是，与经典ESN相比，该过程将在小得多的空间中起作用，从而提供了初始方法的降低性变换。提出的技术使我们能够利用大型复发结构的好处，以避免基于梯度的方法的训练问题。我们提供了一项详细的实验研究，该研究证明了我们使用众所周知的混沌系统和现实数据的良好表现。

模糊认知地图（FCMS）被出现为可解释的签名加权数字化方法，其由代表概念之间的依赖性的节点（概念）和权重。虽然FCMS在各种时间序列预测应用中取得了相当大的成果，但设计了具有较节约的训练方法的FCM模型仍然是一个开放的挑战。因此，本文介绍了一种新颖的单变量时间序列预测技术，该技术由标记为R-HFCM的一组随机高阶FCM模型组成。提出的R-HFCM模型的新颖性与将FCM和回声状态网络（ESN）的概念合并为高效且特定的储层计算（RC）模型系列，其中应用于训练模型的最小二乘算法。从另一个角度来看，R-HFCM的结构包括输入层，储存层和输出层，其中仅输出层是可训练的，同时在训练过程中随机选择每个子储存组件的重量并保持恒定。如案例研究，该模型考虑了与巴西太阳能站以及马来西亚数据集的公共数据的太阳能预测，包括马来西亚市柔佛市电源公司的每小时电负荷和温度数据。实验还包括地图尺寸，激活功能，偏置的存在和储存器的尺寸的效果，储存器的尺寸为R-HFCM方法的准确性。所获得的结果证实了所提出的R-HFCM模型与其他方法相比表现。本研究提供了证据表明，FCM可以是在时间序列建模中实施动态储存的新方法。

For many years, Evolutionary Algorithms (EAs) have been applied to improve Neural Networks (NNs) architectures. They have been used for solving different problems, such as training the networks (adjusting the weights), designing network topology, optimizing global parameters, and selecting features. Here, we provide a systematic brief survey about applications of the EAs on the specific domain of the recurrent NNs named Reservoir Computing (RC). At the beginning of the 2000s, the RC paradigm appeared as a good option for employing recurrent NNs without dealing with the inconveniences of the training algorithms. RC models use a nonlinear dynamic system, with fixed recurrent neural network named the \textit{reservoir}, and learning process is restricted to adjusting a linear parametric function. %so the performance of learning is fast and precise. However, an RC model has several hyper-parameters, therefore EAs are helpful tools to figure out optimal RC architectures. We provide an overview of the results on the area, discuss novel advances, and we present our vision regarding the new trends and still open questions.

由有限信号传播速度引起的，许多复杂的系统具有可能诱导高维混沌行为的时间延迟并使预测复杂。这里，我们提出了一种适用于具有任意延迟的系统的物理网络的回声状态网络。在培训网络后，预测具有独特且足够长的延迟的系统，它已经学会了预测所有其他延迟的系统动态。简单地适应网络的拓扑使我们能够推断未训练的功能，例如高维混沌吸引子，分叉甚至多种能力，这些功能较短，延迟较长。因此，延迟系统和数据驱动机器学习的物理知识的融合产生了具有高泛化能力和前所未有的预测精度的模型。

人工神经网络的许多现代应用随之而来的是大量层，使传统的数字实施越来越复杂。光学神经网络在高带宽处提供并行处理，但面临噪声积累的挑战。我们在这里提出了一种新型的神经网络，使用随机共振作为体系结构的固有部分，并证明了以给定性能准确性大量减少所需神经元数量的可能性。我们还表明，这种神经网络对噪声的影响更强大。

Recent work has shown that machine learning (ML) models can be trained to accurately forecast the dynamics of unknown chaotic dynamical systems. Such ML models can be used to produce both short-term predictions of the state evolution and long-term predictions of the statistical patterns of the dynamics (``climate''). Both of these tasks can be accomplished by employing a feedback loop, whereby the model is trained to predict forward one time step, then the trained model is iterated for multiple time steps with its output used as the input. In the absence of mitigating techniques, however, this technique can result in artificially rapid error growth, leading to inaccurate predictions and/or climate instability. In this article, we systematically examine the technique of adding noise to the ML model input during training as a means to promote stability and improve prediction accuracy. Furthermore, we introduce Linearized Multi-Noise Training (LMNT), a regularization technique that deterministically approximates the effect of many small, independent noise realizations added to the model input during training. Our case study uses reservoir computing, a machine-learning method using recurrent neural networks, to predict the spatiotemporal chaotic Kuramoto-Sivashinsky equation. We find that reservoir computers trained with noise or with LMNT produce climate predictions that appear to be indefinitely stable and have a climate very similar to the true system, while reservoir computers trained without regularization are unstable. Compared with other types of regularization that yield stability in some cases, we find that both short-term and climate predictions from reservoir computers trained with noise or with LMNT are substantially more accurate. Finally, we show that the deterministic aspect of our LMNT regularization facilitates fast hyperparameter tuning when compared to training with noise.

储层计算是一类复发性神经网络，其内部权重随机固定。稳定性与网络状态对扰动的敏感性有关。它是储层计算中的重要属性，因为它直接影响性能。在实践中，希望保持在稳定的政权中，在这种状态下，扰动的效果不会呈指数爆炸，而是靠近储层动力学丰富的混乱边界。如今，关于输入正则化和不连续激活功能的开放问题仍然存在。在这项工作中，我们使用反复的内核极限来了解储层计算中稳定性的新见解。该极限对应于大型储层尺寸，并且已经与几百个神经元的水库相关。我们获得了稳定性和混乱之间边界的定量表征，这可以极大地使高参数调整。从广义上讲，我们的结果有助于理解复发性神经网络的复杂动态。

储层计算机（RCS）是所有神经网络训练最快的计算机之一，尤其是当它们与其他经常性神经网络进行比较时。 RC具有此优势，同时仍能很好地处理顺序数据。但是，由于该模型对其超参数（HPS）的敏感性，RC的采用率滞后于其他神经网络模型。文献中缺少一个自动调谐这些参数的现代统一软件包。手动调整这些数字非常困难，传统网格搜索方法的成本呈指数增长，随着所考虑的HP数量，劝阻RC的使用并限制了可以设计的RC模型的复杂性。我们通过引入RCTORCH来解决这些问题，Rctorch是一种基于Pytorch的RC神经网络软件包，具有自动HP调整。在本文中，我们通过使用它来预测不同力的驱动摆的复杂动力学来证明rctorch的实用性。这项工作包括编码示例。示例Python Jupyter笔记本可以在我们的GitHub存储库https://github.com/blindedjoy/rctorch上找到，可以在https://rctorch.readthedocs.io/上找到文档。

回声状态网络代表一种复发性神经网络，具有大型随机生成的储层和通过线性回归训练的少量读数连接。水库最常见的拓扑结构是一个完全连接的网络，该网络最多可见数千个神经元。多年来，研究人员引入了各种替代储层拓扑，例如圆网或线性连接路径。在比较不同拓扑或其他体系结构变化的性能时，必须分别对每个拓扑的超参数调整超参数，因为它们的性质可能会显着差异。通常，通过从稀疏的预定义组合网格中选择最佳性能的参数集，通常是手动进行的。不幸的是，这种方法可能导致表现不佳的配置，尤其是对于敏感拓扑。我们提出了基于协方差矩阵适应进化策略（CMA-ES）的替代方法调整。使用这种方法，我们通过数量级的顺序提高了多个拓扑比较结果，这表明单独拓扑的作用不如正确调整的超级参数那样重要。

在肺放疗期间，可以记录红外反射物体的位置以估计肿瘤位置。但是，放射治疗系统具有阻碍辐射递送精度的机器人控制限制固有的延迟。通过在线学习复发性神经网络（RNN）的预测允许适应非平稳的呼吸信号，但是诸如RTRL和TRUNCED BPTT之类的经典方法分别缓慢且有偏见。这项研究调查了公正的在线复发优化（UORO）预测呼吸运动的能力，并提高肺放疗的安全性。我们使用了9个观察记录，记录了3D外部标记在胸部和健康个体的腹部的3D位置，从73至222s的间隔内呼吸。采样频率为10Hz，在上部方向上，记录的轨迹的幅度从6mm到40mm不等。我们使用经过UORO训练的RNN同时预测每个标记的3D位置，其地平值在0.1s和2.0之间。我们将其性能与经过RTRL，LMS和离线线性回归训练的RNN进行比较。我们为UORO中涉及梯度损失计算的数量提供了封闭形式的表达式，从而使其实施有效。在每个序列的第一分钟内进行训练和交叉验证。在考虑的地平线值和9个序列上，Uoro平均达到了比较算法之间最低的根平方（RMS）误差和最大误差。这些误差分别等于1.3mm和8.8mm，每时间步长的预测时间低于2.8ms（Dell Intel Core i9-9900K 3.60 GHz）。线性回归的Horizo​​n值为0.1和0.2s的RMS误差最低，其次是0.3s和0.5s之间的LMS，而LMS的LMS误差为0.3s和0.5s，而Uoro的地平线值大于0.6s。

Echo State Networks (ESN) are a type of Recurrent Neural Networks that yields promising results in representing time series and nonlinear dynamic systems. Although they are equipped with a very efficient training procedure, Reservoir Computing strategies, such as the ESN, require the use of high order networks, i.e. large number of layers, resulting in number of states that is magnitudes higher than the number of model inputs and outputs. This not only makes the computation of a time step more costly, but also may pose robustness issues when applying ESNs to problems such as Model Predictive Control (MPC) and other optimal control problems. One such way to circumvent this is through Model Order Reduction strategies such as the Proper Orthogonal Decomposition (POD) and its variants (POD-DEIM), whereby we find an equivalent lower order representation to an already trained high dimension ESN. The objective of this work is to investigate and analyze the performance of POD methods in Echo State Networks, evaluating their effectiveness. To this end, we evaluate the Memory Capacity (MC) of the POD-reduced network in comparison to the original (full order) ENS. We also perform experiments on two different numerical case studies: a NARMA10 difference equation and an oil platform containing two wells and one riser. The results show that there is little loss of performance comparing the original ESN to a POD-reduced counterpart, and also that the performance of a POD-reduced ESN tend to be superior to a normal ESN of the same size. Also we attain speedups of around $80\%$ in comparison to the original ESN.

Efficient and robust control using spiking neural networks (SNNs) is still an open problem. Whilst behaviour of biological agents is produced through sparse and irregular spiking patterns, which provide both robust and efficient control, the activity patterns in most artificial spiking neural networks used for control are dense and regular -- resulting in potentially less efficient codes. Additionally, for most existing control solutions network training or optimization is necessary, even for fully identified systems, complicating their implementation in on-chip low-power solutions. The neuroscience theory of Spike Coding Networks (SCNs) offers a fully analytical solution for implementing dynamical systems in recurrent spiking neural networks -- while maintaining irregular, sparse, and robust spiking activity -- but it's not clear how to directly apply it to control problems. Here, we extend SCN theory by incorporating closed-form optimal estimation and control. The resulting networks work as a spiking equivalent of a linear-quadratic-Gaussian controller. We demonstrate robust spiking control of simulated spring-mass-damper and cart-pole systems, in the face of several perturbations, including input- and system-noise, system disturbances, and neural silencing. As our approach does not need learning or optimization, it offers opportunities for deploying fast and efficient task-specific on-chip spiking controllers with biologically realistic activity.

在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。

非线性动力学的现实世界复杂系统的分析和预测在很大程度上取决于替代模型。储层计算机（RC）已被证明可用于复制混沌动力学的气候。基于RCS的替代模型的质量至关重要取决于明智地确定的最佳实现，涉及选择最佳储层拓扑和超参数。通过系统地应用贝叶斯高参数优化并使用各种拓扑的储层集合，我们表明，链接储层的拓扑结构在预测混乱的Lorenz系统的动态方面没有意义。通过模拟，我们表明，未连接的节点的简单储层优于链接的储层作为不同制度中洛伦兹系统的替代模型的链接储层。我们给出了为什么未连接节点的储层具有最大熵，因此是最佳的。我们得出的结论是，RC的性能是基于仅仅是功能转换，而不是通常假定的动力学特性。因此，可以通过在模型中更强烈的动态信息来改进RC。