我们提出了一种新的学习算法，使用传统的人工神经网络（ANN）作为代理训练尖刺神经网络（SNN）。我们分别与具有相同网络架构和共享突触权重的集成和火（IF）和Relu神经元进行两次SNN和ANN网络。两个网络的前进通过完全独立。通过假设具有速率编码的神经元作为Relu的近似值，我们将SNN中的SNN的误差进行了回复，以更新共享权重，只需用SNN的ANN最终输出替换ANN最终输出。我们将建议的代理学习应用于深度卷积的SNNS，并在Fahion-Mnist和CiFar10的两个基准数据集上进行评估，分别为94.56％和93.11％的分类准确性。所提出的网络可以优于培训的其他深鼻涕，训练，替代学习，代理梯度学习，或从深处转换。转换的SNNS需要长时间的仿真时间来达到合理的准确性，而我们的代理学习导致高效的SNN，模拟时间较短。

我们最近提出了S4NN算法，基本上是对多层尖峰神经网络的反向化的适应，该网上网络使用简单的非泄漏整合和火神经元和一种形式称为第一峰值编码的时间编码。通过这种编码方案，每次刺激最多一次都是神经元火灾，但射击令携带信息。这里，我们引入BS4NN，S4NN的修改，其中突触权重被约束为二进制（+1或-1），以便减少存储器（理想情况下，每个突触的一个比特）和计算占地面积。这是使用两组权重完成：首先，通过梯度下降更新的实际重量，并在BackProjagation的后退通行证中使用，其次是在前向传递中使用的迹象。类似的策略已被用于培训（非尖峰）二值化神经网络。主要区别在于BS4NN在时域中操作：尖峰依次繁殖，并且不同的神经元可以在不同时间达到它们的阈值，这增加了计算能力。我们验证了两个流行的基准，Mnist和Fashion-Mnist上的BS4NN，并获得了这种网络的合理精度（分别为97.0％和87.3％），具有可忽略的准确率，具有可忽略的重量率（0.4％和0.7％，分别）。我们还展示了BS4NN优于具有相同架构的简单BNN，在这两个数据集上（分别为0.2％和0.9％），可能是因为它利用时间尺寸。建议的BS4NN的源代码在HTTPS://github.com/srkh/bs4nn上公开可用。

Emergence of deep neural networks (DNNs) has raised enormous attention towards artificial neural networks (ANNs) once again. They have become the state-of-the-art models and have won different machine learning challenges. Although these networks are inspired by the brain, they lack biological plausibility, and they have structural differences compared to the brain. Spiking neural networks (SNNs) have been around for a long time, and they have been investigated to understand the dynamics of the brain. However, their application in real-world and complicated machine learning tasks were limited. Recently, they have shown great potential in solving such tasks. Due to their energy efficiency and temporal dynamics there are many promises in their future development. In this work, we reviewed the structures and performances of SNNs on image classification tasks. The comparisons illustrate that these networks show great capabilities for more complicated problems. Furthermore, the simple learning rules developed for SNNs, such as STDP and R-STDP, can be a potential alternative to replace the backpropagation algorithm used in DNNs.

Spiking neural networks (SNN) are a viable alternative to conventional artificial neural networks when energy efficiency and computational complexity are of importance. A major advantage of SNNs is their binary information transfer through spike trains. The training of SNN has, however, been a challenge, since neuron models are non-differentiable and traditional gradient-based backpropagation algorithms cannot be applied directly. Furthermore, spike-timing-dependent plasticity (STDP), albeit being a spike-based learning rule, updates weights locally and does not optimize for the output error of the network. We present desire backpropagation, a method to derive the desired spike activity of neurons from the output error. The loss function can then be evaluated locally for every neuron. Incorporating the desire values into the STDP weight update leads to global error minimization and increasing classification accuracy. At the same time, the neuron dynamics and computational efficiency of STDP are maintained, making it a spike-based supervised learning rule. We trained three-layer networks to classify MNIST and Fashion-MNIST images and reached an accuracy of 98.41% and 87.56%, respectively. Furthermore, we show that desire backpropagation is computationally less complex than backpropagation in traditional neural networks.

Event-based simulations of Spiking Neural Networks (SNNs) are fast and accurate. However, they are rarely used in the context of event-based gradient descent because their implementations on GPUs are difficult. Discretization with the forward Euler method is instead often used with gradient descent techniques but has the disadvantage of being computationally expensive. Moreover, the lack of precision of discretized simulations can create mismatches between the simulated models and analog neuromorphic hardware. In this work, we propose a new exact error-backpropagation through spikes method for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that our method can be efficiently implemented on GPUs in a fully event-based manner, making it fast to compute and precise enough for analog neuromorphic hardware. Compared to the original Fast \& Deep and the current state-of-the-art event-based gradient-descent algorithms, we demonstrate increased performance on several benchmark datasets with both feedforward and convolutional SNNs. In particular, we show that multi-spike SNNs can have advantages over single-spike networks in terms of convergence, sparsity, classification latency and sensitivity to the dead neuron problem.

尖峰神经网络是低功率环境的有效计算模型。基于SPIKE的BP算法和ANN-TO-SNN（ANN2SNN）转换是SNN培训的成功技术。然而，尖峰碱BP训练速度很慢，需要大量的记忆成本。尽管Ann2NN提供了一种培训SNN的低成本方式，但它需要许多推理步骤才能模仿训练有素的ANN以表现良好。在本文中，我们提出了一个snn-to-ang（SNN2ANN）框架，以快速和记忆的方式训练SNN。 SNN2ANN由2个组成部分组成：a）ANN和SNN和B）尖峰映射单元之间的重量共享体系结构。首先，该体系结构在ANN分支上训练重量共享参数，从而快速训练和SNN的记忆成本较低。其次，尖峰映射单元确保ANN的激活值是尖峰特征。结果，可以通过训练ANN分支来优化SNN的分类误差。此外，我们设计了一种自适应阈值调整（ATA）算法来解决嘈杂的尖峰问题。实验结果表明，我们的基于SNN2ANN的模型在基准数据集（CIFAR10，CIFAR100和TININE-IMAGENET）上表现良好。此外，SNN2ANN可以在0.625倍的时间步长，0.377倍训练时间，0.27倍GPU内存成本以及基于SPIKE的BP模型的0.33倍尖峰活动下实现可比精度。

由于其异步，稀疏和二进制信息处理，尖峰神经网络（SNN）最近成为人工神经网络（ANN）的低功耗替代品。为了提高能源效率和吞吐量，可以在使用新兴的非挥发性（NVM）设备在模拟域中实现多重和蓄积（MAC）操作的回忆横梁上实现SNN。尽管SNN与回忆性横梁具有兼容性，但很少关注固有的横杆非理想性和随机性对SNN的性能的影响。在本文中，我们对SNN在非理想横杆上的鲁棒性进行了全面分析。我们检查通过学习算法训练的SNN，例如，替代梯度和ANN-SNN转换。我们的结果表明，跨多个时间阶段的重复横梁计算会导致错误积累，从而导致SNN推断期间的性能下降。我们进一步表明，经过较少时间步长培训的SNN在部署在磁带横梁上时可以更好地准确。

由于它们的时间加工能力及其低交换（尺寸，重量和功率）以及神经形态硬件中的节能实现，尖峰神经网络（SNNS）已成为传统人工神经网络（ANN）的有趣替代方案。然而，培训SNNS所涉及的挑战在准确性方面有限制了它们的表现，从而限制了他们的应用。因此，改善更准确的特征提取的学习算法和神经架构是SNN研究中的当前优先级之一。在本文中，我们展示了现代尖峰架构的关键组成部分的研究。我们在从最佳执行网络中凭经验比较了图像分类数据集中的不同技术。我们设计了成功的残余网络（Reset）架构的尖峰版本，并测试了不同的组件和培训策略。我们的结果提供了SNN设计的最新版本，它允许在尝试构建最佳视觉特征提取器时进行明智的选择。最后，我们的网络优于CIFAR-10（94.1％）和CIFAR-100（74.5％）数据集的先前SNN架构，并将现有技术与DVS-CIFAR10（71.3％）相匹配，参数较少而不是先前的状态艺术，无需安静转换。代码在https://github.com/vicenteax/spiking_resnet上获得。

尖峰神经网络（SNN）已成为用于分类任务的硬件有效体系结构。基于尖峰的编码的惩罚是缺乏完全使用尖峰执行的通用训练机制。已经进行了几项尝试，用于采用在非加速人工神经网络（ANN）中使用的强大反向传播（BP）技术：（1）SNN可以通过外部计算的数值梯度来训练。 （2）基于天然尖峰的学习的主要进步是使用具有分阶段的前向/向后传递的尖峰时间依赖性可塑性（STDP）的近似反向传播。但是，在此类阶段之间的信息传输需要外部内存和计算访问。这是神经形态硬件实现的挑战。在本文中，我们提出了一种基于随机SNN的后式Prop（SSNN-BP）算法，该算法利用复合神经元同时计算前向通行激活，并用尖峰明确计算前向传递梯度。尽管签名的梯度值是基于SPIKE的表示的挑战，但我们通过将梯度信号分为正和负流来解决这一问题。复合神经元以随机尖峰传播的形式编码信息，并将反向传播的权重更新转换为时间和空间上局部离散的STDP类似STDP的Spike Concike更新，使其与硬件友好的电阻式处理单元（RPU）兼容。此外，我们的方法使用足够长的尖峰训练来接近BP ANN基线。最后，我们表明，可以通过强制执行胜利者的抑制性横向连接来实现软磁体交叉渗透损失函数。我们的SNN通过与MNIST，时尚和扩展的MNIST数据集的ANN相当的性能来表现出极好的概括。因此，SSNN-BP可以使BP与纯粹基于尖峰的神经形态硬件兼容。

Spiking neural networks (SNNs) are receiving increasing attention due to their low power consumption and strong bio-plausibility. Optimization of SNNs is a challenging task. Two main methods, artificial neural network (ANN)-to-SNN conversion and spike-based backpropagation (BP), both have their advantages and limitations. For ANN-to-SNN conversion, it requires a long inference time to approximate the accuracy of ANN, thus diminishing the benefits of SNN. With spike-based BP, training high-precision SNNs typically consumes dozens of times more computational resources and time than their ANN counterparts. In this paper, we propose a novel SNN training approach that combines the benefits of the two methods. We first train a single-step SNN by approximating the neural potential distribution with random noise, then convert the single-step SNN to a multi-step SNN losslessly. The introduction of Gaussian distributed noise leads to a significant gain in accuracy after conversion. The results show that our method considerably reduces the training and inference times of SNNs while maintaining their high accuracy. Compared to the previous two methods, ours can reduce training time by 65%-75% and achieves more than 100 times faster inference speed. We also argue that the neuron model augmented with noise makes it more bio-plausible.

由于它们的低能量消耗，对神经形态计算设备上的尖刺神经网络（SNNS）越来越兴趣。最近的进展使培训SNNS在精度方面开始与传统人工神经网络（ANNS）进行竞争，同时在神经胸壁上运行时的节能。然而，培训SNNS的过程仍然基于最初为ANNS开发的密集的张量操作，这不利用SNN的时空稀疏性质。我们在这里介绍第一稀疏SNN BackPropagation算法，该算法与最新的现有技术实现相同或更好的准确性，同时显着更快，更高的记忆力。我们展示了我们对不同复杂性（时尚 - MNIST，神经影像学 - MNIST和Spiking Heidelberg数字的真实数据集的有效性，在不失精度的情况下实现了高达150倍的后向通行证的加速，而不会减少精度。

Deep spiking neural networks (SNNs) offer the promise of low-power artificial intelligence. However, training deep SNNs from scratch or converting deep artificial neural networks to SNNs without loss of performance has been a challenge. Here we propose an exact mapping from a network with Rectified Linear Units (ReLUs) to an SNN that fires exactly one spike per neuron. For our constructive proof, we assume that an arbitrary multi-layer ReLU network with or without convolutional layers, batch normalization and max pooling layers was trained to high performance on some training set. Furthermore, we assume that we have access to a representative example of input data used during training and to the exact parameters (weights and biases) of the trained ReLU network. The mapping from deep ReLU networks to SNNs causes zero percent drop in accuracy on CIFAR10, CIFAR100 and the ImageNet-like data sets Places365 and PASS. More generally our work shows that an arbitrary deep ReLU network can be replaced by an energy-efficient single-spike neural network without any loss of performance.

尖峰神经网络（SNN）是一种受脑启发的模型，具有更时空的信息处理能力和计算能效效率。但是，随着SNN深度的增加，由SNN​​的重量引起的记忆问题逐渐引起了人们的注意。受到人工神经网络（ANN）量化技术的启发，引入了二进制SNN（BSNN）来解决记忆问题。由于缺乏合适的学习算法，BSNN通常由ANN-SNN转换获得，其准确性将受到训练有素的ANN的限制。在本文中，我们提出了具有准确性损失估计器的超低潜伏期自适应局部二进制二进制尖峰神经网络（ALBSNN），该网络层动态选择要进行二进制的网络层，以通过评估由二进制重量引起的错误来确保网络的准确性在网络学习过程中。实验结果表明，此方法可以将存储空间降低超过20％，而不会丢失网络准确性。同时，为了加速网络的训练速度，引入了全球平均池（GAP）层，以通过卷积和合并的组合替换完全连接的层，以便SNN可以使用少量时间获得更好识别准确性的步骤。在仅使用一个时间步骤的极端情况下，我们仍然可以在三个不同的数据集（FashionMnist，CIFAR-10和CIFAR-10和CIFAR-100）上获得92.92％，91.63％和63.54％的测试精度。

由于稀疏，异步和二进制事件（或尖峰）驱动加工，尖峰神经网络（SNNS）最近成为深度学习的替代方案，可以在神经形状硬件上产生巨大的能效益。然而，从划痕训练高精度和低潜伏期的SNN，患有尖刺神经元的非微弱性质。要在SNNS中解决此培训问题，我们重新批准批量标准化，并通过时间（BNTT）技术提出时间批量标准化。大多数先前的SNN工程到现在忽略了批量标准化，认为它无效地训练时间SNN。与以前的作品不同，我们提出的BNTT沿着时轴沿着时间轴解耦的参数，以捕获尖峰的时间动态。在BNTT中的时间上不断发展的可学习参数允许神经元通过不同的时间步长来控制其尖峰率，从头开始实现低延迟和低能量训练。我们对CiFar-10，CiFar-100，微小想象特和事件驱动的DVS-CIFAR10数据集进行实验。 BNTT允许我们首次在三个复杂的数据集中培训深度SNN架构，只需25-30步即可。我们还使用BNTT中的参数分布提前退出算法，以降低推断的延迟，进一步提高了能量效率。

We propose a novel backpropagation algorithm for training spiking neural networks (SNNs) that encodes information in the relative multiple spike timing of individual neurons without single-spike restrictions. The proposed algorithm inherits the advantages of conventional timing-based methods in that it computes accurate gradients with respect to spike timing, which promotes ideal temporal coding. Unlike conventional methods where each neuron fires at most once, the proposed algorithm allows each neuron to fire multiple times. This extension naturally improves the computational capacity of SNNs. Our SNN model outperformed comparable SNN models and achieved as high accuracy as non-convolutional artificial neural networks. The spike count property of our networks was altered depending on the time constant of the postsynaptic current and the membrane potential. Moreover, we found that there existed the optimal time constant with the maximum test accuracy. That was not seen in conventional SNNs with single-spike restrictions on time-to-fast-spike (TTFS) coding. This result demonstrates the computational properties of SNNs that biologically encode information into the multi-spike timing of individual neurons. Our code would be publicly available.

超低功耗本地信号处理是始终安装在设备上的边缘应用的关键方面。尖刺神经网络的神经形态处理器显示出很大的计算能力，同时根据该领域的需要满足有限的电力预算。在这项工作中，我们提出了尖峰神经动力学作为扩张时间卷积的自然替代品。我们将这个想法扩展到WaveSense，这是一个由Wavenet Architects的激发灵感的尖峰神经网络。WaveSense使用简单的神经动力学，固定时间常数和简单的前馈结构，因此特别适用于神经形态实现。我们在几个数据集中测试此模型的功能，以用于关键字斑点。结果表明，该网络击败了其他尖刺神经网络的领域，并达到了诸如CNN和LSTM的人工神经网络的最先进的性能。

基于事件的视觉传感器在事件流中编码本地像素方面的亮度变化，而不是图像帧，并且除了低延迟，高动态范围和缺乏运动模糊之外，还产生稀疏，节能编码。基于事件的传感器的对象识别的最新进展来自深度神经网络的转换，培训背部经历。但是，使用这些事件流的方法需要转换到同步范式，这不仅失去了计算效率，而且还会错过提取时空特征的机会。在本文中，我们提出了一种用于基于事件的模式识别和对象检测的深度神经网络的端到端培训的混合架构，将尖刺神经网络（SNN）骨干组合用于高效的基于事件的特征提取，以及随后的模拟神经网络（ANN）头解决同步分类和检测任务。这是通过将标准的梯度训练与替代梯度训练相结合来实现这一点来实现，以通过SNN传播梯度。可以在不转换的情况下培训混合SNN-ANN，并且导致高度准确的网络，这些网络比其ANN对应物大得多。我们演示了基于事件的分类和对象检测数据集的结果，其中只需要将ANN头的体系结构适应任务，并且不需要基于事件的输入的转换。由于ANNS和SNNS需要不同的硬件范式来最大限度地提高其效率，因此设想SNN骨干网和ANN头可以在不同的处理单元上执行，从而分析在两部分之间进行通信的必要带宽。混合网络是有前途的架构，以进一步推进基于事件的愿景的机器学习方法，而不必妥协效率。

最近的研究表明，卷积神经网络（CNNS）不是图像分类的唯一可行的解决方案。此外，CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案，我们设计了使用峰值定时依赖性塑性（STDP）和其奖励调制变体（R-STDP）学习规则训练的本地连接的尖峰神经网络（SNN）。使用尖刺神经元和局部连接以及强化学习（RL）将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成，后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性，并评估我们有益于于不同目标响应的奖励系统的稳健性。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

In the past years, artificial neural networks (ANNs) have become the de-facto standard to solve tasks in communications engineering that are difficult to solve with traditional methods. In parallel, the artificial intelligence community drives its research to biology-inspired, brain-like spiking neural networks (SNNs), which promise extremely energy-efficient computing. In this paper, we investigate the use of SNNs in the context of channel equalization for ultra-low complexity receivers. We propose an SNN-based equalizer with a feedback structure akin to the decision feedback equalizer (DFE). For conversion of real-world data into spike signals we introduce a novel ternary encoding and compare it with traditional log-scale encoding. We show that our approach clearly outperforms conventional linear equalizers for three different exemplary channels. We highlight that mainly the conversion of the channel output to spikes introduces a small performance penalty. The proposed SNN with a decision feedback structure enables the path to competitive energy-efficient transceivers.