作为第三代神经网络，尖峰神经网络（SNN）在神经形态硬件上具有很大的潜力，因为它们的能效高。然而，由于二进制输出和峰值函数的非差异性能，深层尖峰增强学习（DSRL），即基于SNN的加固学习（RL）仍处于初步阶段。为了解决这些问题，我们在本文中提出了深层尖峰Q-Network（DSQN）。具体而言，我们提出了基于泄漏的集成和火（LIF）神经元和深Q-NETWORK（DQN）的直接训练的深尖峰增强式学习体系结构。然后，我们为深尖峰Q网络调整了直接的尖峰学习算法。我们进一步证明了在理论上使用DSQN中使用LIF神经元的优势。已经对17场表现最佳的Atari游戏进行了全面的实验，以将我们的方法与最先进的转换方法进行比较。实验结果证明了我们方法在性能，稳定性，鲁棒性和能源效率方面的优势。据我们所知，我们的工作是第一个通过直接训练的SNN在多个Atari游戏中实现最先进的性能的工作。

脑启发的尖峰神经网络（SNN）已成功应用于许多模式识别域。基于SNN的深层结构在感知任务（例如图像分类，目标检测）中取得了可观的结果。但是，深SNN在加强学习（RL）任务中的应用仍然是一个问题。尽管以前有关于SNN和RL组合的研究，但其中大多数专注于浅网络的机器人控制问题，或使用ANN-SNN转换方法来实施Spiking Spiking Deep Q Network（SDQN）。在这项工作中，我们数学分析了SDQN中尖峰信号特征消失的问题，并提出了一种基于潜在的层归一化（PBLN）方法，以直接训练尖峰尖峰深度Q网络。实验表明，与最先进的ANN-SNN转换方法和其他SDQN作品相比，建议的PBLN Spiking Deep Q Networks（PL-SDQN）在Atari游戏任务上取得了更好的性能。

我们提出了一种新的学习算法，使用传统的人工神经网络（ANN）作为代理训练尖刺神经网络（SNN）。我们分别与具有相同网络架构和共享突触权重的集成和火（IF）和Relu神经元进行两次SNN和ANN网络。两个网络的前进通过完全独立。通过假设具有速率编码的神经元作为Relu的近似值，我们将SNN中的SNN的误差进行了回复，以更新共享权重，只需用SNN的ANN最终输出替换ANN最终输出。我们将建议的代理学习应用于深度卷积的SNNS，并在Fahion-Mnist和CiFar10的两个基准数据集上进行评估，分别为94.56％和93.11％的分类准确性。所提出的网络可以优于培训的其他深鼻涕，训练，替代学习，代理梯度学习，或从深处转换。转换的SNNS需要长时间的仿真时间来达到合理的准确性，而我们的代理学习导致高效的SNN，模拟时间较短。

由于具有高生物学合理性和低能消耗在神经形态硬件上的特性，因此尖峰神经网络（SNN）非常重要。作为获得深SNN的有效方法，转化方法在各种大型数据集上表现出高性能。但是，它通常遭受严重的性能降解和高时间延迟。特别是，以前的大多数工作都集中在简单的分类任务上，同时忽略了与ANN输出的精确近似。在本文中，我们首先从理论上分析转换误差，并得出时间变化极端对突触电流的有害影响。我们提出尖峰校准（Spicalib），以消除离散尖峰对输出分布的损坏，并修改脂肪，以使任意最大化层无损地转换。此外，提出了针对最佳标准化参数的贝叶斯优化，以避免经验设置。实验结果证明了分类，对象检测和分割任务的最新性能。据我们所知，这是第一次获得与ANN同时在这些任务上相当的SNN。此外，我们只需要先前在检测任务上工作的1/50推理时间，并且可以在0.492 $ \ times $ $下在分段任务上实现相同的性能。

由于其异步，稀疏和二进制信息处理，尖峰神经网络（SNN）最近成为人工神经网络（ANN）的低功耗替代品。为了提高能源效率和吞吐量，可以在使用新兴的非挥发性（NVM）设备在模拟域中实现多重和蓄积（MAC）操作的回忆横梁上实现SNN。尽管SNN与回忆性横梁具有兼容性，但很少关注固有的横杆非理想性和随机性对SNN的性能的影响。在本文中，我们对SNN在非理想横杆上的鲁棒性进行了全面分析。我们检查通过学习算法训练的SNN，例如，替代梯度和ANN-SNN转换。我们的结果表明，跨多个时间阶段的重复横梁计算会导致错误积累，从而导致SNN推断期间的性能下降。我们进一步表明，经过较少时间步长培训的SNN在部署在磁带横梁上时可以更好地准确。

由于它们的时间加工能力及其低交换（尺寸，重量和功率）以及神经形态硬件中的节能实现，尖峰神经网络（SNNS）已成为传统人工神经网络（ANN）的有趣替代方案。然而，培训SNNS所涉及的挑战在准确性方面有限制了它们的表现，从而限制了他们的应用。因此，改善更准确的特征提取的学习算法和神经架构是SNN研究中的当前优先级之一。在本文中，我们展示了现代尖峰架构的关键组成部分的研究。我们在从最佳执行网络中凭经验比较了图像分类数据集中的不同技术。我们设计了成功的残余网络（Reset）架构的尖峰版本，并测试了不同的组件和培训策略。我们的结果提供了SNN设计的最新版本，它允许在尝试构建最佳视觉特征提取器时进行明智的选择。最后，我们的网络优于CIFAR-10（94.1％）和CIFAR-100（74.5％）数据集的先前SNN架构，并将现有技术与DVS-CIFAR10（71.3％）相匹配，参数较少而不是先前的状态艺术，无需安静转换。代码在https://github.com/vicenteax/spiking_resnet上获得。

在探索中，由于当前的低效率而引起的强化学习领域，具有较大动作空间的学习控制政策是一个具有挑战性的问题。在这项工作中，我们介绍了深入的强化学习（DRL）算法呼叫多动作网络（MAN）学习，以应对大型离散动作空间的挑战。我们建议将动作空间分为两个组件，从而为每个子行动创建一个值神经网络。然后，人使用时间差异学习来同步训练网络，这比训练直接动作输出的单个网络要简单。为了评估所提出的方法，我们在块堆叠任务上测试了人，然后扩展了人类从Atari Arcade学习环境中使用18个动作空间的12个游戏。我们的结果表明，人的学习速度比深Q学习和双重Q学习更快，这意味着我们的方法比当前可用于大型动作空间的方法更好地执行同步时间差异算法。

由于稀疏，异步和二进制事件（或尖峰）驱动加工，尖峰神经网络（SNNS）最近成为深度学习的替代方案，可以在神经形状硬件上产生巨大的能效益。然而，从划痕训练高精度和低潜伏期的SNN，患有尖刺神经元的非微弱性质。要在SNNS中解决此培训问题，我们重新批准批量标准化，并通过时间（BNTT）技术提出时间批量标准化。大多数先前的SNN工程到现在忽略了批量标准化，认为它无效地训练时间SNN。与以前的作品不同，我们提出的BNTT沿着时轴沿着时间轴解耦的参数，以捕获尖峰的时间动态。在BNTT中的时间上不断发展的可学习参数允许神经元通过不同的时间步长来控制其尖峰率，从头开始实现低延迟和低能量训练。我们对CiFar-10，CiFar-100，微小想象特和事件驱动的DVS-CIFAR10数据集进行实验。 BNTT允许我们首次在三个复杂的数据集中培训深度SNN架构，只需25-30步即可。我们还使用BNTT中的参数分布提前退出算法，以降低推断的延迟，进一步提高了能量效率。

Spiking neural networks (SNNs) are receiving increasing attention due to their low power consumption and strong bio-plausibility. Optimization of SNNs is a challenging task. Two main methods, artificial neural network (ANN)-to-SNN conversion and spike-based backpropagation (BP), both have their advantages and limitations. For ANN-to-SNN conversion, it requires a long inference time to approximate the accuracy of ANN, thus diminishing the benefits of SNN. With spike-based BP, training high-precision SNNs typically consumes dozens of times more computational resources and time than their ANN counterparts. In this paper, we propose a novel SNN training approach that combines the benefits of the two methods. We first train a single-step SNN by approximating the neural potential distribution with random noise, then convert the single-step SNN to a multi-step SNN losslessly. The introduction of Gaussian distributed noise leads to a significant gain in accuracy after conversion. The results show that our method considerably reduces the training and inference times of SNNs while maintaining their high accuracy. Compared to the previous two methods, ours can reduce training time by 65%-75% and achieves more than 100 times faster inference speed. We also argue that the neuron model augmented with noise makes it more bio-plausible.

尖峰神经网络是低功率环境的有效计算模型。基于SPIKE的BP算法和ANN-TO-SNN（ANN2SNN）转换是SNN培训的成功技术。然而，尖峰碱BP训练速度很慢，需要大量的记忆成本。尽管Ann2NN提供了一种培训SNN的低成本方式，但它需要许多推理步骤才能模仿训练有素的ANN以表现良好。在本文中，我们提出了一个snn-to-ang（SNN2ANN）框架，以快速和记忆的方式训练SNN。 SNN2ANN由2个组成部分组成：a）ANN和SNN和B）尖峰映射单元之间的重量共享体系结构。首先，该体系结构在ANN分支上训练重量共享参数，从而快速训练和SNN的记忆成本较低。其次，尖峰映射单元确保ANN的激活值是尖峰特征。结果，可以通过训练ANN分支来优化SNN的分类误差。此外，我们设计了一种自适应阈值调整（ATA）算法来解决嘈杂的尖峰问题。实验结果表明，我们的基于SNN2ANN的模型在基准数据集（CIFAR10，CIFAR100和TININE-IMAGENET）上表现良好。此外，SNN2ANN可以在0.625倍的时间步长，0.377倍训练时间，0.27倍GPU内存成本以及基于SPIKE的BP模型的0.33倍尖峰活动下实现可比精度。

Event-based simulations of Spiking Neural Networks (SNNs) are fast and accurate. However, they are rarely used in the context of event-based gradient descent because their implementations on GPUs are difficult. Discretization with the forward Euler method is instead often used with gradient descent techniques but has the disadvantage of being computationally expensive. Moreover, the lack of precision of discretized simulations can create mismatches between the simulated models and analog neuromorphic hardware. In this work, we propose a new exact error-backpropagation through spikes method for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that our method can be efficiently implemented on GPUs in a fully event-based manner, making it fast to compute and precise enough for analog neuromorphic hardware. Compared to the original Fast \& Deep and the current state-of-the-art event-based gradient-descent algorithms, we demonstrate increased performance on several benchmark datasets with both feedforward and convolutional SNNs. In particular, we show that multi-spike SNNs can have advantages over single-spike networks in terms of convergence, sparsity, classification latency and sensitivity to the dead neuron problem.

Emergence of deep neural networks (DNNs) has raised enormous attention towards artificial neural networks (ANNs) once again. They have become the state-of-the-art models and have won different machine learning challenges. Although these networks are inspired by the brain, they lack biological plausibility, and they have structural differences compared to the brain. Spiking neural networks (SNNs) have been around for a long time, and they have been investigated to understand the dynamics of the brain. However, their application in real-world and complicated machine learning tasks were limited. Recently, they have shown great potential in solving such tasks. Due to their energy efficiency and temporal dynamics there are many promises in their future development. In this work, we reviewed the structures and performances of SNNs on image classification tasks. The comparisons illustrate that these networks show great capabilities for more complicated problems. Furthermore, the simple learning rules developed for SNNs, such as STDP and R-STDP, can be a potential alternative to replace the backpropagation algorithm used in DNNs.

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

尖峰神经网络（SNN）是一种具有生物学知识的模型，具有高计算能力和低功耗的优势。虽然对深SNN的培训仍然是一个空旷的问题，但它限制了深SNN的现实应用。在这里，我们提出了一个名为Spiking SiamFC ++的深SNN架构，用于对象跟踪，并通过端到端直接培训。具体而言，Alexnet网络在时间域中扩展以提取该功能，并采用替代梯度功能来实现对深SNN的直接监督培训。为了检查尖峰SiAMFC ++的性能，考虑了几种跟踪基准测试，包括OTB2013，OTB2015，Dot2015，Dot2016和UAV123。发现与原始的siAMFC ++相比，精度损失很小。与现有的基于SNN的目标跟踪器相比，例如暹罗（Siamsnn），提议的Spiking SiamFC ++的精度（连续）达到了85.24％（64.37％），远高于52.78％（44.32％）的精度（64.37％）。 。据我们所知，Spiking SiamFC ++的性能优于基于SNN的对象跟踪中现有的最新方法，该方法为目标跟踪领域中的SNN应用提供了新的路径。这项工作可能会进一步促进SNN算法和神经形态芯片的发展。

We propose a novel backpropagation algorithm for training spiking neural networks (SNNs) that encodes information in the relative multiple spike timing of individual neurons without single-spike restrictions. The proposed algorithm inherits the advantages of conventional timing-based methods in that it computes accurate gradients with respect to spike timing, which promotes ideal temporal coding. Unlike conventional methods where each neuron fires at most once, the proposed algorithm allows each neuron to fire multiple times. This extension naturally improves the computational capacity of SNNs. Our SNN model outperformed comparable SNN models and achieved as high accuracy as non-convolutional artificial neural networks. The spike count property of our networks was altered depending on the time constant of the postsynaptic current and the membrane potential. Moreover, we found that there existed the optimal time constant with the maximum test accuracy. That was not seen in conventional SNNs with single-spike restrictions on time-to-fast-spike (TTFS) coding. This result demonstrates the computational properties of SNNs that biologically encode information into the multi-spike timing of individual neurons. Our code would be publicly available.

生物学的最新见解表明，智力不仅从神经元之间的连接中出现，而是单独的神经元肩部比以前预期的计算责任更多。这种观点在不断变化不同的加强学习环境的背景下，目前的方法仍然主要采用静态激活功能。在这项工作中，我们激励为什么理性适合适应性激活函数以及为什么将其纳入神经网络至关重要。灵感来自剩余网络中的复发，我们得出了一个有理单位在残留连接下关闭的条件，并制定了自然的正规化版本：复发性理性。我们证明，用（反复间）的Rational Activations的流行算法导致Atari Games的一致性改进，特别是将简单的DQN转化为稳定的方法，竞争DDQN和Rainbow。

尖峰神经网络（SNN）是一种受脑启发的模型，具有更时空的信息处理能力和计算能效效率。但是，随着SNN深度的增加，由SNN​​的重量引起的记忆问题逐渐引起了人们的注意。受到人工神经网络（ANN）量化技术的启发，引入了二进制SNN（BSNN）来解决记忆问题。由于缺乏合适的学习算法，BSNN通常由ANN-SNN转换获得，其准确性将受到训练有素的ANN的限制。在本文中，我们提出了具有准确性损失估计器的超低潜伏期自适应局部二进制二进制尖峰神经网络（ALBSNN），该网络层动态选择要进行二进制的网络层，以通过评估由二进制重量引起的错误来确保网络的准确性在网络学习过程中。实验结果表明，此方法可以将存储空间降低超过20％，而不会丢失网络准确性。同时，为了加速网络的训练速度，引入了全球平均池（GAP）层，以通过卷积和合并的组合替换完全连接的层，以便SNN可以使用少量时间获得更好识别准确性的步骤。在仅使用一个时间步骤的极端情况下，我们仍然可以在三个不同的数据集（FashionMnist，CIFAR-10和CIFAR-10和CIFAR-100）上获得92.92％，91.63％和63.54％的测试精度。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

深度尖峰神经网络（SNNS）目前由于离散二进制激活和复杂的空间 - 时间动态而导致的基于梯度的方法的优化困难。考虑到Reset的巨大成功在深度学习中，将深入了解剩余学习，这将是自然的。以前的尖峰Reset模仿ANN的标准残留块，并简单地用尖刺神经元取代relu激活层，这遭受了劣化问题，并且很难实施剩余学习。在本文中，我们提出了尖峰元素 - 明智（SEW）RESET，以实现深部SNNS的剩余学习。我们证明SEW RESET可以轻松实现身份映射并克服Spiking Reset的消失/爆炸梯度问题。我们在Imagenet，DVS手势和CIFAR10-DVS数据集中评估我们的SEF RESET，并显示SEW RESNET以准确性和时间步长，最先进的直接训练的SNN。此外，SEW Reset通过简单地添加更多层来实现更高的性能，提供一种培训深舒头的简单方法。为了我们的最佳知识，这是第一次直接训练具有100多层以上的深度SNN。我们的代码可在https://github.com/fangwei123456/spike-element-wore-resnet上获得。

图形卷积网络（GCN）由于学习图信息的显着表示能力而实现了令人印象深刻的性能。但是，GCN在深网上实施时需要昂贵的计算功率，因此很难将其部署在电池供电的设备上。相比之下，执行生物保真推理过程的尖峰神经网络（SNN）提供了节能的神经结构。在这项工作中，我们提出了SpikingGCN，这是一个端到端框架，旨在将GCN的嵌入与SNN的生物层性特征相结合。原始图数据根据图形卷积的合并编码为尖峰列车。我们通过利用与神经元节点结合的完全连接的层来进一步对生物信息处理进行建模。在各种场景（例如引用网络，图像图分类和推荐系统）中，我们的实验结果表明，该方法可以针对最新方法获得竞争性能。此外，我们表明，在神经形态芯片上的SpikingGCN可以将能源效率的明显优势带入图形数据分析中，这表明了其构建环境友好的机器学习模型的巨大潜力。