Efficient and robust control using spiking neural networks (SNNs) is still an open problem. Whilst behaviour of biological agents is produced through sparse and irregular spiking patterns, which provide both robust and efficient control, the activity patterns in most artificial spiking neural networks used for control are dense and regular -- resulting in potentially less efficient codes. Additionally, for most existing control solutions network training or optimization is necessary, even for fully identified systems, complicating their implementation in on-chip low-power solutions. The neuroscience theory of Spike Coding Networks (SCNs) offers a fully analytical solution for implementing dynamical systems in recurrent spiking neural networks -- while maintaining irregular, sparse, and robust spiking activity -- but it's not clear how to directly apply it to control problems. Here, we extend SCN theory by incorporating closed-form optimal estimation and control. The resulting networks work as a spiking equivalent of a linear-quadratic-Gaussian controller. We demonstrate robust spiking control of simulated spring-mass-damper and cart-pole systems, in the face of several perturbations, including input- and system-noise, system disturbances, and neural silencing. As our approach does not need learning or optimization, it offers opportunities for deploying fast and efficient task-specific on-chip spiking controllers with biologically realistic activity.

大脑通过其复杂的尖峰网络的网络有效地执行非线性计算，但这是如何难以捉摸的。虽然可以在尖峰神经网络中成功实现非线性计算，但这需要监督培训，并且产生的连接可能很难解释。相反，可以用尖峰编码网络（SCN）框架直接导出和理解线性动力系统形式的任何计算的所需连通性。这些网络还具有生物学上的现实活动模式，对细胞死亡具有高度稳健的。在这里，我们将SCN框架扩展到直接实施任何多项式动态系统，而无需培训。这导致需要混合突触类型（快速，慢，乘法）的网络，我们术语乘以乘法峰值编码网络（MSCN）。使用MSCN，我们演示了如何直接导出几个非线性动态系统所需的连通性。我们还展示了如何执行高阶多项式，其中耦合网络仅使用配对乘法突触，并为每个突触类型提供预期的连接数。总体而言，我们的作品展示了一种新的用于在尖峰神经网络中实现非线性计算的新方法，同时保持标准SCNS（鲁棒性，现实活动模式和可解释连接）的吸引力特征。最后，我们讨论了我们方法的生物合理性，以及这种方法的高准确度和鲁棒性如何对神经形态计算感兴趣。

复制自然人类运动是机器人控制理论的长期目标。从生物学中汲取灵感，到达控制网络会产生平稳而精确的运动，可以缩小人类和机器人控制之间的性能差距。模仿大脑的计算原理的神经形态处理器是近似此类控制器的准确性和平滑性的理想平台，同时最大程度地提高了能源效率和鲁棒性。但是，常规控制方法与神经形态硬件的不兼容限制了其现有适应性的计算效率和解释。相比之下，平滑而准确的运动运动的基础神经元连接组有效，最小，并且与神经形态处理器固有兼容。在这项工作中，我们模拟了这些网络，并提出了一个具有生物学现实的尖峰神经网络，以进行运动控制。我们的控制器结合了自适应反馈，以提供平稳而准确的电动机控制，同时继承了其生物学对应物的最小复杂性，该生物学对应物控制到达运动，从而可以在英特尔的神经形态处理器上进行直接部署。我们使用我们的控制器作为构建块，并受到人类武器中联合协调的启发，我们扩大了控制现实世界机器人武器的方法。所得运动的轨迹和平滑，最小的速度曲线类似于人类的动作，从而验证了我们控制者的生物学相关性。值得注意的是，我们的方法实现了最新的控制性能，同时将运动混蛋减少19 \％以提高运动平滑度。我们的工作表明，利用大脑的计算单元及其连通性可能会导致设计有效，有效且可解释的神经形态控制器，从而为完全自主系统中的神经形态溶液铺平了道路。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型，它是通过在“猜测和检查”的永无止境过程中运行的，神经元可以预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们系统的互动性，迭代性质非常适合感官流预测的连续时间表述，并且如我们所示，模型的结构产生了局部突触更新规则，可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中，我们对模型的实例化进行了实例化，该模型包括泄漏的集成和火灾单元。但是，我们系统所在的框架自然可以结合更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时，模型的潜力。值得注意的是，尖峰神经编码在分类绩效方面具有竞争力，并且在从任务序列中学习时会降低遗忘，从而提供了更经济的，具有生物学上的替代品，可用于流行的人工神经网络。

我们在Nengo框架上介绍了基于纯净的神经网络（SNN）的基于稀疏分布式存储器（SDM）。我们基于Furber等人，2004年之前的工作，使用N-y-y of-of-modes实现SDM。作为SDM设计的组成部分，我们已经在Nengo上实现了使用SNN的相关矩阵存储器（CMM）。我们的SNN实施采用漏水集成和火（LIF）在Nengo上尖刺神经元模型。我们的目标是了解基于SNN的SDMS与传统SDMS相比如何进行。为此，我们在Nengo模拟了基于常规和基于SNN的SDM和CMM。我们观察到基于SNN的模型类似于传统的模型。为了评估不同SNN的性能，我们使用Adaptive-Lif，Spiking整流线性单元和Izhikevich模型重复实验并获得了类似的结果。我们得出结论，使用内存的神经元制定一些类型的关联存储器，其内存容量和其他功能类似于没有SNN的性能，确实可行。最后，我们已经实现了一个应用程序，其中使用N-M个代码编码的Mnist图像与其标签相关联并存储在基于SNN的SDM中。

Brain-inspired computing proposes a set of algorithmic principles that hold promise for advancing artificial intelligence. They endow systems with self learning capabilities, efficient energy usage, and high storage capacity. A core concept that lies at the heart of brain computation is sequence learning and prediction. This form of computation is essential for almost all our daily tasks such as movement generation, perception, and language. Understanding how the brain performs such a computation is not only important to advance neuroscience but also to pave the way to new technological brain-inspired applications. A previously developed spiking neural network implementation of sequence prediction and recall learns complex, high-order sequences in an unsupervised manner by local, biologically inspired plasticity rules. An emerging type of hardware that holds promise for efficiently running this type of algorithm is neuromorphic hardware. It emulates the way the brain processes information and maps neurons and synapses directly into a physical substrate. Memristive devices have been identified as potential synaptic elements in neuromorphic hardware. In particular, redox-induced resistive random access memories (ReRAM) devices stand out at many aspects. They permit scalability, are energy efficient and fast, and can implement biological plasticity rules. In this work, we study the feasibility of using ReRAM devices as a replacement of the biological synapses in the sequence learning model. We implement and simulate the model including the ReRAM plasticity using the neural simulator NEST. We investigate the effect of different device properties on the performance characteristics of the sequence learning model, and demonstrate resilience with respect to different on-off ratios, conductance resolutions, device variability, and synaptic failure.

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

过去十年来，人们对人工智能（AI）的兴趣激增几乎完全由人工神经网络（ANN）的进步驱动。尽管ANN为许多以前棘手的问题设定了最先进的绩效，但它们需要大量的数据和计算资源进行培训，并且由于他们采用了监督的学习，他们通常需要知道每个培训示例的正确标记的响应，并限制它们对现实世界域的可扩展性。尖峰神经网络（SNN）是使用更多类似脑部神经元的ANN的替代方法，可以使用无监督的学习来发现输入数据中的可识别功能，而又不知道正确的响应。但是，SNN在动态稳定性方面挣扎，无法匹配ANN的准确性。在这里，我们展示了SNN如何克服文献中发现的许多缺点，包括为消失的尖峰问题提供原则性解决方案，以优于所有现有的浅SNN，并等于ANN的性能。它在使用无标记的数据和仅1/50的训练时期使用无监督的学习时完成了这一点（标记数据仅用于最终的简单线性读数层）。该结果使SNN成为可行的新方法，用于使用未标记的数据集快速，准确，有效，可解释的机器学习。

穗状花序的神经形状硬件占据了深度神经网络（DNN）的更节能实现的承诺，而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN，否则能量优势丢失。特别地，解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器（LSTM）单元。我们展示了许多生物神经元的面部，在每个尖峰后缓慢的超积极性（AHP）电流，提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现，例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外，它为实现了非常稀疏的大量大型DNN来实现基础，这些大型DNN在文本中提取单词和句子之间的关系，以便回答有关文本的问题。

尖峰神经网络（SNN）是大脑中低功率，耐断层的信息处理的基础，并且在适当的神经形态硬件加速器上实施时，可能构成传统深层神经网络的能力替代品。但是，实例化解决复杂的计算任务的SNN在Silico中仍然是一个重大挑战。替代梯度（SG）技术已成为培训SNN端到端的标准解决方案。尽管如此，它们的成功取决于突触重量初始化，类似于常规的人工神经网络（ANN）。然而，与ANN不同，它仍然难以捉摸地构成SNN的良好初始状态。在这里，我们为受到大脑中通常观察到的波动驱动的策略启发的SNN制定了一般初始化策略。具体而言，我们为数据依赖性权重初始化提供了实用的解决方案，以确保广泛使用的泄漏的集成和传火（LIF）神经元的波动驱动。我们从经验上表明，经过SGS培训时，SNN遵循我们的策略表现出卓越的学习表现。这些发现概括了几个数据集和SNN体系结构，包括完全连接，深度卷积，经常性和更具生物学上合理的SNN遵守Dale的定律。因此，波动驱动的初始化提供了一种实用，多功能且易于实现的策略，可改善神经形态工程和计算神经科学的不同任务的SNN培训绩效。

电机控制中的一个主要问题是了解大脑计划的计划，并在面对延迟和嘈杂的刺激面前执行适当的运动。解决这种控制问题的突出框架是最佳反馈控制（OFC）。 OFC通过将嘈杂的感官刺激和使用卡尔曼滤波器或其扩展集成内部模型的预测来生成优化行为相关标准的控制操作。然而，缺乏Kalman滤波和控制的令人满意的神经模型，因为现有的提案具有以下限制：不考虑感官反馈的延迟，交替阶段的训练，以及需要了解噪声协方差矩阵，以及系统动态。此外，这些研究中的大多数考虑了卡尔曼滤波的隔离，而不是与控制联合。为了解决这些缺点，我们介绍了一种新的在线算法，它将自适应卡尔曼滤波与模型自由控制方法相结合（即，策略梯度算法）。我们在具有局部突触塑性规则的生物合理的神经网络中实现该算法。该网络执行系统识别和卡尔曼滤波，而无需多个阶段，具有不同的更新规则或噪声协方差的知识。在内部模型的帮助下，它可以使用延迟感官反馈执行状态估计。它在不需要任何信息知识的情况下了解控制政策，从而避免需要重量运输。通过这种方式，我们的OFC实施解决了在存在刺激延迟存在下生产适当的感官电动机控制所需的信用分配问题。

突触塑性是神经网络中自我监管无监督学习的强大方法。最近利益的复苏已经在利用人工神经网络（ANNS）以及延期学习的突触可塑性方面开发。已经证明了可塑性来提高这些网络的学习能力在概括到新的环境环境。然而，这些训练有素的网络的长期稳定性尚未被检查。这项工作表明，利用ANN的可塑性导致不稳定于训练期间使用的预先指定的寿命。这种不稳定可以导致奖励寻求行为的戏剧性下降，或者快速导致到达环境终端状态。在许多训练时间范围内的两个不同环境中，这种行为被认为是在许多不同环境中的几种可塑性规则保持一致：推车极衡问题和四足球运动问题。我们通过使用尖刺神经元来提出这种不稳定性的解决方案。

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

Event-based simulations of Spiking Neural Networks (SNNs) are fast and accurate. However, they are rarely used in the context of event-based gradient descent because their implementations on GPUs are difficult. Discretization with the forward Euler method is instead often used with gradient descent techniques but has the disadvantage of being computationally expensive. Moreover, the lack of precision of discretized simulations can create mismatches between the simulated models and analog neuromorphic hardware. In this work, we propose a new exact error-backpropagation through spikes method for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that our method can be efficiently implemented on GPUs in a fully event-based manner, making it fast to compute and precise enough for analog neuromorphic hardware. Compared to the original Fast \& Deep and the current state-of-the-art event-based gradient-descent algorithms, we demonstrate increased performance on several benchmark datasets with both feedforward and convolutional SNNs. In particular, we show that multi-spike SNNs can have advantages over single-spike networks in terms of convergence, sparsity, classification latency and sensitivity to the dead neuron problem.

Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.

In the past years, artificial neural networks (ANNs) have become the de-facto standard to solve tasks in communications engineering that are difficult to solve with traditional methods. In parallel, the artificial intelligence community drives its research to biology-inspired, brain-like spiking neural networks (SNNs), which promise extremely energy-efficient computing. In this paper, we investigate the use of SNNs in the context of channel equalization for ultra-low complexity receivers. We propose an SNN-based equalizer with a feedback structure akin to the decision feedback equalizer (DFE). For conversion of real-world data into spike signals we introduce a novel ternary encoding and compare it with traditional log-scale encoding. We show that our approach clearly outperforms conventional linear equalizers for three different exemplary channels. We highlight that mainly the conversion of the channel output to spikes introduces a small performance penalty. The proposed SNN with a decision feedback structure enables the path to competitive energy-efficient transceivers.

更具体地说，神经系统能够简单有效地解决复杂的问题，超过现代计算机。在这方面，神经形态工程是一个研究领域，重点是模仿控制大脑的基本原理，以开发实现此类计算能力的系统。在该领域中，生物启发的学习和记忆系统仍然是要解决的挑战，这就是海马涉及的地方。正是大脑的区域充当短期记忆，从而从大脑皮层的所有感觉核中学习，非结构化和快速存储信息及其随后的回忆。在这项工作中，我们提出了一个基于海马的新型生物启发的记忆模型，具有学习记忆的能力，从提示中回顾它们（与其他内容相关的记忆的一部分），甚至在尝试时忘记记忆通过相同的提示学习其他人。该模型已在使用尖峰神经网络上在大型摩托车硬件平台上实现，并进行了一组实验和测试以证明其正确且预期的操作。所提出的基于SPIKE的内存模型仅在接收输入，能提供节能的情况下才能生成SPIKES，并且需要7个时间步，用于学习步骤和6个时间段来召回以前存储的存储器。这项工作介绍了基于生物启发的峰值海马记忆模型的第一个硬件实现，为开发未来更复杂的神经形态系统的发展铺平了道路。

我们训练神经形态硬件芯片以通过变分能最小化近似Quantum旋转模型的地面状态。与使用马尔可夫链蒙特卡罗进行样品生成的变分人工神经网络相比，这种方法具有优点：神经形态器件以快速和固有的并行方式产生样品。我们开发培训算法，并将其应用于横向场介绍模型，在中等系统尺寸下显示出良好的性能（$ n \ LEQ 10 $）。系统的普遍开心研究表明，较大系统尺寸的可扩展性主要取决于样品质量，该样品质量受到模拟神经芯片上的参数漂移的限制。学习性能显示阈值行为作为ansatz的变分参数的数量的函数，大约为50美元的隐藏神经元，足以表示关键地位，最高$ n = 10 $。网络参数的6 + 1位分辨率不会限制当前设置中的可达近似质量。我们的工作为利用神经形态硬件的能力提供了一种重要的一步，以解决量子数量问题中的维数诅咒。