For many years, Evolutionary Algorithms (EAs) have been applied to improve Neural Networks (NNs) architectures. They have been used for solving different problems, such as training the networks (adjusting the weights), designing network topology, optimizing global parameters, and selecting features. Here, we provide a systematic brief survey about applications of the EAs on the specific domain of the recurrent NNs named Reservoir Computing (RC). At the beginning of the 2000s, the RC paradigm appeared as a good option for employing recurrent NNs without dealing with the inconveniences of the training algorithms. RC models use a nonlinear dynamic system, with fixed recurrent neural network named the \textit{reservoir}, and learning process is restricted to adjusting a linear parametric function. %so the performance of learning is fast and precise. However, an RC model has several hyper-parameters, therefore EAs are helpful tools to figure out optimal RC architectures. We provide an overview of the results on the area, discuss novel advances, and we present our vision regarding the new trends and still open questions.
translated by 谷歌翻译
2022-06-10
回声状态网络（ESN）是一类复发性神经网络，具有大量隐藏的隐藏权重（在所谓的储层中）。典型的ESN及其变化最近由于在非线性动力学系统的建模方面取得了显着的成功而受到了极大的关注。储层随机连接到没有改变学习过程的固定权重。仅训练从储层到输出的权重。由于储层在训练过程中是固定的，因此我们可能会想知道是否完全利用了复发结构的计算能力。在本文中，我们提出了一种新的ESN类型计算模型，该模型代表傅立叶空间中的储层权重，并对这些权重进行微调，该权重应用了频域中的遗传算法。主要兴趣是，与经典ESN相比，该过程将在小得多的空间中起作用，从而提供了初始方法的降低性变换。提出的技术使我们能够利用大型复发结构的好处，以避免基于梯度的方法的训练问题。我们提供了一项详细的实验研究，该研究证明了我们使用众所周知的混沌系统和现实数据的良好表现。
translated by 谷歌翻译
模糊认知地图（FCMS）被出现为可解释的签名加权数字化方法，其由代表概念之间的依赖性的节点（概念）和权重。虽然FCMS在各种时间序列预测应用中取得了相当大的成果，但设计了具有较节约的训练方法的FCM模型仍然是一个开放的挑战。因此，本文介绍了一种新颖的单变量时间序列预测技术，该技术由标记为R-HFCM的一组随机高阶FCM模型组成。提出的R-HFCM模型的新颖性与将FCM和回声状态网络（ESN）的概念合并为高效且特定的储层计算（RC）模型系列，其中应用于训练模型的最小二乘算法。从另一个角度来看，R-HFCM的结构包括输入层，储存层和输出层，其中仅输出层是可训练的，同时在训练过程中随机选择每个子储存组件的重量并保持恒定。如案例研究，该模型考虑了与巴西太阳能站以及马来西亚数据集的公共数据的太阳能预测，包括马来西亚市柔佛市电源公司的每小时电负荷和温度数据。实验还包括地图尺寸，激活功能，偏置的存在和储存器的尺寸的效果，储存器的尺寸为R-HFCM方法的准确性。所获得的结果证实了所提出的R-HFCM模型与其他方法相比表现。本研究提供了证据表明，FCM可以是在时间序列建模中实施动态储存的新方法。
translated by 谷歌翻译
储层计算机（RCS）是所有神经网络训练最快的计算机之一，尤其是当它们与其他经常性神经网络进行比较时。 RC具有此优势，同时仍能很好地处理顺序数据。但是，由于该模型对其超参数（HPS）的敏感性，RC的采用率滞后于其他神经网络模型。文献中缺少一个自动调谐这些参数的现代统一软件包。手动调整这些数字非常困难，传统网格搜索方法的成本呈指数增长，随着所考虑的HP数量，劝阻RC的使用并限制了可以设计的RC模型的复杂性。我们通过引入RCTORCH来解决这些问题，Rctorch是一种基于Pytorch的RC神经网络软件包，具有自动HP调整。在本文中，我们通过使用它来预测不同力的驱动摆的复杂动力学来证明rctorch的实用性。这项工作包括编码示例。示例Python Jupyter笔记本可以在我们的GitHub存储库https://github.com/blindedjoy/rctorch上找到，可以在https://rctorch.readthedocs.io/上找到文档。
translated by 谷歌翻译
在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。
translated by 谷歌翻译
储层计算是一类复发性神经网络，其内部权重随机固定。稳定性与网络状态对扰动的敏感性有关。它是储层计算中的重要属性，因为它直接影响性能。在实践中，希望保持在稳定的政权中，在这种状态下，扰动的效果不会呈指数爆炸，而是靠近储层动力学丰富的混乱边界。如今，关于输入正则化和不连续激活功能的开放问题仍然存在。在这项工作中，我们使用反复的内核极限来了解储层计算中稳定性的新见解。该极限对应于大型储层尺寸，并且已经与几百个神经元的水库相关。我们获得了稳定性和混乱之间边界的定量表征，这可以极大地使高参数调整。从广义上讲，我们的结果有助于理解复发性神经网络的复杂动态。
translated by 谷歌翻译
AI系统解释性的某些方面将批判地讨论。这尤其是侧重于使每个AI系统可解释的任务的可行性。重点将涉及与高度复杂和高效的AI系统的解释性有关的困难，该系统提供了决策，其解释违背了经典的原因和效果方案。AI系统已被证明提供了不可溶的解决方案，其中回想起来的特征是巧妙（例如，alphano的第2比赛的第37页）。将详细阐述支持该概念的论据，如果由于他们不完全理解，智能系统的潜力将浪费智能系统的潜力。
translated by 谷歌翻译
最近一年目睹了应用视觉变压器（VIV）进行图像分类的成功。然而，仍然证明表明vit往往遭受两个方面，i）高计算和存储器负担，从应用多个变压器层进行大规模数据集，ii）在培训时的过度拟合从头开始的小数据集。为了解决这些问题，提出了一种新的方法，即视觉储层计算（VIR），用于图像分类，作为与VIT的平行。通过将每个图像分成具有固定长度的令牌序列，该病毒构造具有几乎完全连接的拓扑的纯储存器，可以在Vit中更换变压器模块。随后提出了两种深vir模型来提高网络性能。在若干图像分类基准上进行VIV和VIT之间的比较实验。如果没有任何预训练过程，那么vir就模型和计算复杂性而胜过VIT。具体地，该病毒参数的数量甚至5％的vit约为5％，内存足迹约为vit的20％至40％。 Vir表现的优越性由小世界特征，Lyapunov指数和记忆力解释。
translated by 谷歌翻译
深度学习（DL）技术被回归问题所接受。最近在该领域发表的论文数量越来越多，包括调查和评论，表明，由于效率和具有高维数据的系统的良好精度，深层回归引起了社区的关注。但是，许多DL方法具有复杂的结构，这些结构对人类用户不易透明。访问这些模型的可解释性是解决敏感领域问题（例如网络安全系统，医疗，金融监视和工业过程）的重要因素。模糊逻辑系统（FLS）是可解释的模型，在文献中众所周知，能够通过具有成员资格学位的语言术语对复杂系统使用非线性表示，模仿了人类的思想。在可解释的人工智能的气氛中，有必要考虑开发智能模型的准确性和可解释性之间的权衡。本文旨在调查结合DL和FL的现有方法的最新方法，即深度模糊系统，以解决回归问题，配置当前在文献中尚不充分探索的主题，因此应进行全面调查。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。
translated by 谷歌翻译
评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。
translated by 谷歌翻译
经常性神经网络（RNN）经常用于建模脑功能和结构的方面。在这项工作中，我们培训了小型完全连接的RNN，以具有时变刺激的时间和流量控制任务。我们的结果表明，不同的RNN可以通过对不同的底层动态进行不同的RNN来解决相同的任务，并且优雅地降低的性能随着网络尺寸而降低，间隔持续时间增加，或者连接损坏。我们的结果对于量化通常用作黑匣子的模型的不同方面是有用的，并且需要预先理解以建模脑皮质区域的生物反应。
translated by 谷歌翻译
近年来，机器学习的巨大进步已经开始对许多科学和技术的许多领域产生重大影响。在本文的文章中，我们探讨了量子技术如何从这项革命中受益。我们在说明性示例中展示了过去几年的科学家如何开始使用机器学习和更广泛的人工智能方法来分析量子测量，估计量子设备的参数，发现新的量子实验设置，协议和反馈策略，以及反馈策略，以及通常改善量子计算，量子通信和量子模拟的各个方面。我们重点介绍了公开挑战和未来的可能性，并在未来十年的一些投机愿景下得出结论。
translated by 谷歌翻译
Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.
translated by 谷歌翻译
现代机器学习的高级应用可能涉及培训的网络的组合，如DeepMind的alphago等壮观系统所用的。以有效且稳定的方式递归建立这种组合，同时还允许持续改进各个网络 - 作为生物网络的自然 - 将需要新的分析工具。本文通过建立广泛类别的非线性反复网络和神经杂波的收缩性能，并展示这些量化的性能如何拒绝以系统方式递归地构建稳定的网络网络。结果还可用于稳定地将经常性网络和物理系统组合，具有量化的收缩特性。类似地，它们可以应用于认知的模块化计算模型。我们在基准顺序任务（例如允许的顺序MNIST）上执行这些组合网络的实验，以展示它们以可释放的稳定方式在长时间秒的处理信息的能力。
translated by 谷歌翻译
作为一种强大的建模方法，分段线性神经网络（PWLNNS）已在各个领域都被证明是成功的，最近在深度学习中。为了应用PWLNN方法，长期以来一直研究了表示和学习。 1977年，规范表示率先通过增量设计学到了浅层PWLNN的作品，但禁止使用大规模数据的应用。 2010年，纠正的线性单元（RELU）提倡在深度学习中PWLNN的患病率。从那以后，PWLNNS已成功地应用于广泛的任务并实现了有利的表现。在本引物中，我们通过将作品分组为浅网络和深层网络来系统地介绍PWLNNS的方法。首先，不同的PWLNN表示模型是由详细示例构建的。使用PWLNNS，提出了学习数据的学习算法的演变，并且基本理论分析遵循深入的理解。然后，将代表性应用与讨论和前景一起引入。
translated by 谷歌翻译
短期可塑性（STP）是一种将腐烂记忆存储在大脑皮质突触中的机制。在计算实践中，已经使用了STP，但主要是在尖峰神经元的细分市场中，尽管理论预测它是对某些动态任务的最佳解决方案。在这里，我们提出了一种新型的经常性神经单元，即STP神经元（STPN），它确实实现了惊人的功能。它的关键机制是，突触具有一个状态，通过与偶然性的自我连接在时间上传播。该公式使能够通过时间返回传播来训练可塑性，从而导致一种学习在短期内学习和忘记的形式。 STPN的表现优于所有测试的替代方案，即RNN，LSTMS，其他具有快速重量和可区分可塑性的型号。我们在监督和强化学习（RL）以及协会检索，迷宫探索，Atari视频游戏和Mujoco Robotics等任务中证实了这一点。此外，我们计算出，在神经形态或生物电路中，STPN最大程度地减少了模型的能量消耗，因为它会动态降低个体突触。基于这些，生物学STP可能是一种强大的进化吸引子，可最大程度地提高效率和计算能力。现在，STPN将这些神经形态的优势带入了广泛的机器学习实践。代码可从https://github.com/neuromorphiccomputing/stpn获得
translated by 谷歌翻译
尽管人工神经网络（ANN）取得了重大进展，但其设计过程仍在臭名昭著，这主要取决于直觉，经验和反复试验。这个依赖人类的过程通常很耗时，容易出现错误。此外，这些模型通常与其训练环境绑定，而没有考虑其周围环境的变化。神经网络的持续适应性和自动化对于部署后模型可访问性的几个领域至关重要（例如，IoT设备，自动驾驶汽车等）。此外，即使是可访问的模型，也需要频繁的维护后部署后，以克服诸如概念/数据漂移之类的问题，这可能是繁琐且限制性的。当前关于自适应ANN的艺术状况仍然是研究的过早领域。然而，一种自动化和持续学习形式的神经体系结构搜索（NAS）最近在深度学习研究领域中获得了越来越多的动力，旨在提供更强大和适应性的ANN开发框架。这项研究是关于汽车和CL之间交集的首次广泛综述，概述了可以促进ANN中充分自动化和终身可塑性的不同方法的研究方向。
translated by 谷歌翻译
强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑，因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而，RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外，许多建模决策，例如定义状态和动作空间，批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因，RL框架的自动化不同组成部分具有重要意义，近年来它引起了很多关注。自动RL提供了一个框架，其中RL的不同组件包括MDP建模，算法选择和超参数优化是自动建模和定义的。在本文中，我们探讨了可以在自动化RL中使用的文献和目前的工作。此外，我们讨论了Autorl中的挑战，打开问题和研究方向。
translated by 谷歌翻译