动态膜电位阈值是生物神经元的重要特性之一，是一种自发调节机制，可维持神经元稳态，即神经元的恒定总尖峰发射速率。因此，神经元的发射速率受动态尖峰阈值的调节，该阈值已在生物学上进行了广泛研究。机器学习社区中的现有工作不采用可行的尖峰阈值方案。这项工作旨在通过引入新型的生物启发的动态能量暂时性阈值（BDETT）方案来弥合这一差距。拟议的BDETT方案反映了两个可行的观察结果：动态阈值具有1）与平均膜电位的正相关，并且2）与前面的去极化速率有负相关。我们验证了拟议的BDETT对机器人障碍物避免的有效性和在正常条件和各种退化条件下的连续控制任务，包括嘈杂的观察，权重和动态环境。我们发现，在所有测试条件下，BDETT优于现有的静态和启发式阈值方法，我们确认提出的生物启发的动态阈值方案为复杂的现实世界任务中的SNN提供了可行的可行稳态。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

由于深度神经网络（DNN）是强大的函数近似器，因此在机器人控制任务上已经很好地证明了深度强化学习（DRL）。与带有香草人工神经元的DNN相比，生物学上合理的尖峰神经网络（SNN）包含多种尖峰神经元的种群，使其在具有空间和时间信息的状态代表方面具有自然性。基于混合学习框架，Spike Actor-Network侵犯了来自州的行动，而深层评论家网络评估了演员，我们提出了人口编码和动态神经元改进了Spiking Actor网络（PDSAN），以从两种不同的状态表示量表：输入编码和神经元编码。对于输入编码，我们将人口编码应用于动态接受字段，以直接编码每个输入状态组件。对于神经元编码，我们提出了不同类型的动态神经元（包含一阶和二阶神经元动力学），以描述更复杂的神经元动力学。最后，使用双重延迟的深层确定性政策梯度算法（TD3-PDSAN），PDSAN与深层评论家网络一起训练。广泛的实验结果表明，我们的TD3-PDSAN模型在四个OpenAI Gym基准任务上的最先进型号的性能更好。这是通过SNN朝着满足生物学合理性的有效计算来改善RL的重要尝试。

为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型，它是通过在“猜测和检查”的永无止境过程中运行的，神经元可以预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们系统的互动性，迭代性质非常适合感官流预测的连续时间表述，并且如我们所示，模型的结构产生了局部突触更新规则，可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中，我们对模型的实例化进行了实例化，该模型包括泄漏的集成和火灾单元。但是，我们系统所在的框架自然可以结合更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时，模型的潜力。值得注意的是，尖峰神经编码在分类绩效方面具有竞争力，并且在从任务序列中学习时会降低遗忘，从而提供了更经济的，具有生物学上的替代品，可用于流行的人工神经网络。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

脑启发的尖峰神经网络（SNN）已成功应用于许多模式识别域。基于SNN的深层结构在感知任务（例如图像分类，目标检测）中取得了可观的结果。但是，深SNN在加强学习（RL）任务中的应用仍然是一个问题。尽管以前有关于SNN和RL组合的研究，但其中大多数专注于浅网络的机器人控制问题，或使用ANN-SNN转换方法来实施Spiking Spiking Deep Q Network（SDQN）。在这项工作中，我们数学分析了SDQN中尖峰信号特征消失的问题，并提出了一种基于潜在的层归一化（PBLN）方法，以直接训练尖峰尖峰深度Q网络。实验表明，与最先进的ANN-SNN转换方法和其他SDQN作品相比，建议的PBLN Spiking Deep Q Networks（PL-SDQN）在Atari游戏任务上取得了更好的性能。

这项研究提出了依赖电压突触可塑性（VDSP），这是一种新型的脑启发的无监督的本地学习规则，用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导，这使得相对于标准峰值依赖性可塑性（STDP）的更新数量减少了两倍。此更新取决于突触前神经元的膜电位，该神经元很容易作为神经元实现的一部分，因此不需要额外的存储器来存储。此外，该更新还对突触重量进行了正规化，并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能，我们训练一个单层尖峰神经网络（SNN），以识别手写数字。我们报告85.01 $ \ pm $ 0.76％（平均$ \ pm $ s.d。）对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时，性能会提高（400个输出神经元的89.93 $ \ pm $ 0.41％，500个神经元为90.56 $ \ pm $ 0.27），这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是，学习规则比STDP更好地适应输入信号的频率，并且不需要对超参数进行手动调整。

尖峰神经网络（SNN）在各种智能场景中都表现出了出色的功能。大多数现有的训练SNN方法基于突触可塑性的概念。但是，在现实的大脑中学习还利用了神经元的内在非突触机制。生物神经元的尖峰阈值是一种关键的固有神经元特征，在毫秒的时间尺度上表现出丰富的动力学，并已被认为是一种促进神经信息处理的基本机制。在这项研究中，我们开发了一种新型的协同学习方法，该方法同时训练SNN中的突触权重和尖峰阈值。经过突触阈值协同学习（STL-SNN）训练的SNN在各种静态和神经形态数据集上的精度明显高于接受两种突触学习（SL）和阈值学习（TL）的单独学习模型（TL）的SNN。在训练过程中，协同学习方法优化了神经阈值，通过适当的触发速率为网络提供稳定的信号传输。进一步的分析表明，STL-SNN对嘈杂的数据是可靠的，并且对深网结构表现出低的能耗。此外，通过引入广义联合决策框架（JDF），可以进一步提高STL-SNN的性能。总体而言，我们的发现表明，突触和内在的非突触机制之间的生物学上合理的协同作用可能为开发高效的SNN学习方法提供了一种有希望的方法。

This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.

尖峰神经网络（SNN）是大脑中低功率，耐断层的信息处理的基础，并且在适当的神经形态硬件加速器上实施时，可能构成传统深层神经网络的能力替代品。但是，实例化解决复杂的计算任务的SNN在Silico中仍然是一个重大挑战。替代梯度（SG）技术已成为培训SNN端到端的标准解决方案。尽管如此，它们的成功取决于突触重量初始化，类似于常规的人工神经网络（ANN）。然而，与ANN不同，它仍然难以捉摸地构成SNN的良好初始状态。在这里，我们为受到大脑中通常观察到的波动驱动的策略启发的SNN制定了一般初始化策略。具体而言，我们为数据依赖性权重初始化提供了实用的解决方案，以确保广泛使用的泄漏的集成和传火（LIF）神经元的波动驱动。我们从经验上表明，经过SGS培训时，SNN遵循我们的策略表现出卓越的学习表现。这些发现概括了几个数据集和SNN体系结构，包括完全连接，深度卷积，经常性和更具生物学上合理的SNN遵守Dale的定律。因此，波动驱动的初始化提供了一种实用，多功能且易于实现的策略，可改善神经形态工程和计算神经科学的不同任务的SNN培训绩效。

We propose a novel backpropagation algorithm for training spiking neural networks (SNNs) that encodes information in the relative multiple spike timing of individual neurons without single-spike restrictions. The proposed algorithm inherits the advantages of conventional timing-based methods in that it computes accurate gradients with respect to spike timing, which promotes ideal temporal coding. Unlike conventional methods where each neuron fires at most once, the proposed algorithm allows each neuron to fire multiple times. This extension naturally improves the computational capacity of SNNs. Our SNN model outperformed comparable SNN models and achieved as high accuracy as non-convolutional artificial neural networks. The spike count property of our networks was altered depending on the time constant of the postsynaptic current and the membrane potential. Moreover, we found that there existed the optimal time constant with the maximum test accuracy. That was not seen in conventional SNNs with single-spike restrictions on time-to-fast-spike (TTFS) coding. This result demonstrates the computational properties of SNNs that biologically encode information into the multi-spike timing of individual neurons. Our code would be publicly available.

在本文中，我们通过神经生成编码的神经认知计算框架（NGC）提出了一种无反向传播的方法，以机器人控制（NGC），设计了一种完全由强大的预测性编码/处理电路构建的代理，体现计划的原则。具体而言，我们制作了一种自适应剂系统，我们称之为主动预测性编码（ACTPC），该系统可以平衡内部生成的认知信号（旨在鼓励智能探索）与内部生成的仪器信号（旨在鼓励寻求目标行为）最终学习如何使用现实的机器人模拟器（即超现实的机器人套件）来控制各种模拟机器人系统以及复杂的机器人臂，以解决块提升任务并可能选择问题。值得注意的是，我们的实验结果表明，我们提出的ACTPC代理在面对稀疏（外部）奖励信号方面表现良好，并且具有竞争力或竞争性或胜过几种强大的基于反向Prop的RL方法。

穗状花序的神经形状硬件占据了深度神经网络（DNN）的更节能实现的承诺，而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN，否则能量优势丢失。特别地，解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器（LSTM）单元。我们展示了许多生物神经元的面部，在每个尖峰后缓慢的超积极性（AHP）电流，提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现，例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外，它为实现了非常稀疏的大量大型DNN来实现基础，这些大型DNN在文本中提取单词和句子之间的关系，以便回答有关文本的问题。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.

在人类中，感知意识促进了来自感官输入的快速识别和提取信息。这种意识在很大程度上取决于人类代理人如何与环境相互作用。在这项工作中，我们提出了主动神经生成编码，用于学习动作驱动的生成模型的计算框架，而不会在动态环境中反正出错误（Backprop）。具体而言，我们开发了一种智能代理，即使具有稀疏奖励，也可以从规划的认知理论中汲取灵感。我们展示了我们框架与深度Q学习竞争力的几个简单的控制问题。我们的代理的强劲表现提供了有希望的证据，即神经推断和学习的无背方法可以推动目标定向行为。

Deep spiking neural networks (SNNs) offer the promise of low-power artificial intelligence. However, training deep SNNs from scratch or converting deep artificial neural networks to SNNs without loss of performance has been a challenge. Here we propose an exact mapping from a network with Rectified Linear Units (ReLUs) to an SNN that fires exactly one spike per neuron. For our constructive proof, we assume that an arbitrary multi-layer ReLU network with or without convolutional layers, batch normalization and max pooling layers was trained to high performance on some training set. Furthermore, we assume that we have access to a representative example of input data used during training and to the exact parameters (weights and biases) of the trained ReLU network. The mapping from deep ReLU networks to SNNs causes zero percent drop in accuracy on CIFAR10, CIFAR100 and the ImageNet-like data sets Places365 and PASS. More generally our work shows that an arbitrary deep ReLU network can be replaced by an energy-efficient single-spike neural network without any loss of performance.

作为第三代神经网络，尖峰神经网络（SNN）在神经形态硬件上具有很大的潜力，因为它们的能效高。然而，由于二进制输出和峰值函数的非差异性能，深层尖峰增强学习（DSRL），即基于SNN的加固学习（RL）仍处于初步阶段。为了解决这些问题，我们在本文中提出了深层尖峰Q-Network（DSQN）。具体而言，我们提出了基于泄漏的集成和火（LIF）神经元和深Q-NETWORK（DQN）的直接训练的深尖峰增强式学习体系结构。然后，我们为深尖峰Q网络调整了直接的尖峰学习算法。我们进一步证明了在理论上使用DSQN中使用LIF神经元的优势。已经对17场表现最佳的Atari游戏进行了全面的实验，以将我们的方法与最先进的转换方法进行比较。实验结果证明了我们方法在性能，稳定性，鲁棒性和能源效率方面的优势。据我们所知，我们的工作是第一个通过直接训练的SNN在多个Atari游戏中实现最先进的性能的工作。

最近的研究表明，卷积神经网络（CNNS）不是图像分类的唯一可行的解决方案。此外，CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案，我们设计了使用峰值定时依赖性塑性（STDP）和其奖励调制变体（R-STDP）学习规则训练的本地连接的尖峰神经网络（SNN）。使用尖刺神经元和局部连接以及强化学习（RL）将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成，后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性，并评估我们有益于于不同目标响应的奖励系统的稳健性。

我们训练神经形态硬件芯片以通过变分能最小化近似Quantum旋转模型的地面状态。与使用马尔可夫链蒙特卡罗进行样品生成的变分人工神经网络相比，这种方法具有优点：神经形态器件以快速和固有的并行方式产生样品。我们开发培训算法，并将其应用于横向场介绍模型，在中等系统尺寸下显示出良好的性能（$ n \ LEQ 10 $）。系统的普遍开心研究表明，较大系统尺寸的可扩展性主要取决于样品质量，该样品质量受到模拟神经芯片上的参数漂移的限制。学习性能显示阈值行为作为ansatz的变分参数的数量的函数，大约为50美元的隐藏神经元，足以表示关键地位，最高$ n = 10 $。网络参数的6 + 1位分辨率不会限制当前设置中的可达近似质量。我们的工作为利用神经形态硬件的能力提供了一种重要的一步，以解决量子数量问题中的维数诅咒。