Spiking neural networks (SNN) are a viable alternative to conventional artificial neural networks when energy efficiency and computational complexity are of importance. A major advantage of SNNs is their binary information transfer through spike trains. The training of SNN has, however, been a challenge, since neuron models are non-differentiable and traditional gradient-based backpropagation algorithms cannot be applied directly. Furthermore, spike-timing-dependent plasticity (STDP), albeit being a spike-based learning rule, updates weights locally and does not optimize for the output error of the network. We present desire backpropagation, a method to derive the desired spike activity of neurons from the output error. The loss function can then be evaluated locally for every neuron. Incorporating the desire values into the STDP weight update leads to global error minimization and increasing classification accuracy. At the same time, the neuron dynamics and computational efficiency of STDP are maintained, making it a spike-based supervised learning rule. We trained three-layer networks to classify MNIST and Fashion-MNIST images and reached an accuracy of 98.41% and 87.56%, respectively. Furthermore, we show that desire backpropagation is computationally less complex than backpropagation in traditional neural networks.
translated by 谷歌翻译
我们最近提出了S4NN算法,基本上是对多层尖峰神经网络的反向化的适应,该网上网络使用简单的非泄漏整合和火神经元和一种形式称为第一峰值编码的时间编码。通过这种编码方案,每次刺激最多一次都是神经元火灾,但射击令携带信息。这里,我们引入BS4NN,S4NN的修改,其中突触权重被约束为二进制(+1或-1),以便减少存储器(理想情况下,每个突触的一个比特)和计算占地面积。这是使用两组权重完成:首先,通过梯度下降更新的实际重量,并在BackProjagation的后退通行证中使用,其次是在前向传递中使用的迹象。类似的策略已被用于培训(非尖峰)二值化神经网络。主要区别在于BS4NN在时域中操作:尖峰依次繁殖,并且不同的神经元可以在不同时间达到它们的阈值,这增加了计算能力。我们验证了两个流行的基准,Mnist和Fashion-Mnist上的BS4NN,并获得了这种网络的合理精度(分别为97.0%和87.3%),具有可忽略的准确率,具有可忽略的重量率(0.4%和0.7%,分别)。我们还展示了BS4NN优于具有相同架构的简单BNN,在这两个数据集上(分别为0.2%和0.9%),可能是因为它利用时间尺寸。建议的BS4NN的源代码在HTTPS://github.com/srkh/bs4nn上公开可用。
translated by 谷歌翻译
Event-based simulations of Spiking Neural Networks (SNNs) are fast and accurate. However, they are rarely used in the context of event-based gradient descent because their implementations on GPUs are difficult. Discretization with the forward Euler method is instead often used with gradient descent techniques but has the disadvantage of being computationally expensive. Moreover, the lack of precision of discretized simulations can create mismatches between the simulated models and analog neuromorphic hardware. In this work, we propose a new exact error-backpropagation through spikes method for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that our method can be efficiently implemented on GPUs in a fully event-based manner, making it fast to compute and precise enough for analog neuromorphic hardware. Compared to the original Fast \& Deep and the current state-of-the-art event-based gradient-descent algorithms, we demonstrate increased performance on several benchmark datasets with both feedforward and convolutional SNNs. In particular, we show that multi-spike SNNs can have advantages over single-spike networks in terms of convergence, sparsity, classification latency and sensitivity to the dead neuron problem.
translated by 谷歌翻译
尖峰神经网络(SNN)已成为用于分类任务的硬件有效体系结构。基于尖峰的编码的惩罚是缺乏完全使用尖峰执行的通用训练机制。已经进行了几项尝试,用于采用在非加速人工神经网络(ANN)中使用的强大反向传播(BP)技术:(1)SNN可以通过外部计算的数值梯度来训练。 (2)基于天然尖峰的学习的主要进步是使用具有分阶段的前向/向后传递的尖峰时间依赖性可塑性(STDP)的近似反向传播。但是,在此类阶段之间的信息传输需要外部内存和计算访问。这是神经形态硬件实现的挑战。在本文中,我们提出了一种基于随机SNN的后式Prop(SSNN-BP)算法,该算法利用复合神经元同时计算前向通行激活,并用尖峰明确计算前向传递梯度。尽管签名的梯度值是基于SPIKE的表示的挑战,但我们通过将梯度信号分为正和负流来解决这一问题。复合神经元以随机尖峰传播的形式编码信息,并将反向传播的权重更新转换为时间和空间上局部离散的STDP类似STDP的Spike Concike更新,使其与硬件友好的电阻式处理单元(RPU)兼容。此外,我们的方法使用足够长的尖峰训练来接近BP ANN基线。最后,我们表明,可以通过强制执行胜利者的抑制性横向连接来实现软磁体交叉渗透损失函数。我们的SNN通过与MNIST,时尚和扩展的MNIST数据集的ANN相当的性能来表现出极好的概括。因此,SSNN-BP可以使BP与纯粹基于尖峰的神经形态硬件兼容。
translated by 谷歌翻译
我们提出了一种新的学习算法,使用传统的人工神经网络(ANN)作为代理训练尖刺神经网络(SNN)。我们分别与具有相同网络架构和共享突触权重的集成和火(IF)和Relu神经元进行两次SNN和ANN网络。两个网络的前进通过完全独立。通过假设具有速率编码的神经元作为Relu的近似值,我们将SNN中的SNN的误差进行了回复,以更新共享权重,只需用SNN的ANN最终输出替换ANN最终输出。我们将建议的代理学习应用于深度卷积的SNNS,并在Fahion-Mnist和CiFar10的两个基准数据集上进行评估,分别为94.56%和93.11%的分类准确性。所提出的网络可以优于培训的其他深鼻涕,训练,替代学习,代理梯度学习,或从深处转换。转换的SNNS需要长时间的仿真时间来达到合理的准确性,而我们的代理学习导致高效的SNN,模拟时间较短。
translated by 谷歌翻译
由于它们的低能量消耗,对神经形态计算设备上的尖刺神经网络(SNNS)越来越兴趣。最近的进展使培训SNNS在精度方面开始与传统人工神经网络(ANNS)进行竞争,同时在神经胸壁上运行时的节能。然而,培训SNNS的过程仍然基于最初为ANNS开发的密集的张量操作,这不利用SNN的时空稀疏性质。我们在这里介绍第一稀疏SNN BackPropagation算法,该算法与最新的现有技术实现相同或更好的准确性,同时显着更快,更高的记忆力。我们展示了我们对不同复杂性(时尚 - MNIST,神经影像学 - MNIST和Spiking Heidelberg数字的真实数据集的有效性,在不失精度的情况下实现了高达150倍的后向通行证的加速,而不会减少精度。
translated by 谷歌翻译
We propose a novel backpropagation algorithm for training spiking neural networks (SNNs) that encodes information in the relative multiple spike timing of individual neurons without single-spike restrictions. The proposed algorithm inherits the advantages of conventional timing-based methods in that it computes accurate gradients with respect to spike timing, which promotes ideal temporal coding. Unlike conventional methods where each neuron fires at most once, the proposed algorithm allows each neuron to fire multiple times. This extension naturally improves the computational capacity of SNNs. Our SNN model outperformed comparable SNN models and achieved as high accuracy as non-convolutional artificial neural networks. The spike count property of our networks was altered depending on the time constant of the postsynaptic current and the membrane potential. Moreover, we found that there existed the optimal time constant with the maximum test accuracy. That was not seen in conventional SNNs with single-spike restrictions on time-to-fast-spike (TTFS) coding. This result demonstrates the computational properties of SNNs that biologically encode information into the multi-spike timing of individual neurons. Our code would be publicly available.
translated by 谷歌翻译
这项研究提出了依赖电压突触可塑性(VDSP),这是一种新型的脑启发的无监督的本地学习规则,用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导,这使得相对于标准峰值依赖性可塑性(STDP)的更新数量减少了两倍。此更新取决于突触前神经元的膜电位,该神经元很容易作为神经元实现的一部分,因此不需要额外的存储器来存储。此外,该更新还对突触重量进行了正规化,并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能,我们训练一个单层尖峰神经网络(SNN),以识别手写数字。我们报告85.01 $ \ pm $ 0.76%(平均$ \ pm $ s.d。)对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时,性能会提高(400个输出神经元的89.93 $ \ pm $ 0.41%,500个神经元为90.56 $ \ pm $ 0.27),这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是,学习规则比STDP更好地适应输入信号的频率,并且不需要对超参数进行手动调整。
translated by 谷歌翻译
尖峰神经网络(SNN)是大脑中低功率,耐断层的信息处理的基础,并且在适当的神经形态硬件加速器上实施时,可能构成传统深层神经网络的能力替代品。但是,实例化解决复杂的计算任务的SNN在Silico中仍然是一个重大挑战。替代梯度(SG)技术已成为培训SNN端到端的标准解决方案。尽管如此,它们的成功取决于突触重量初始化,类似于常规的人工神经网络(ANN)。然而,与ANN不同,它仍然难以捉摸地构成SNN的良好初始状态。在这里,我们为受到大脑中通常观察到的波动驱动的策略启发的SNN制定了一般初始化策略。具体而言,我们为数据依赖性权重初始化提供了实用的解决方案,以确保广泛使用的泄漏的集成和传火(LIF)神经元的波动驱动。我们从经验上表明,经过SGS培训时,SNN遵循我们的策略表现出卓越的学习表现。这些发现概括了几个数据集和SNN体系结构,包括完全连接,深度卷积,经常性和更具生物学上合理的SNN遵守Dale的定律。因此,波动驱动的初始化提供了一种实用,多功能且易于实现的策略,可改善神经形态工程和计算神经科学的不同任务的SNN培训绩效。
translated by 谷歌翻译
编译器框架对于广泛使用基于FPGA的深度学习加速器来说是至关重要的。它们允许研究人员和开发人员不熟悉硬件工程,以利用域特定逻辑所获得的性能。存在传统人工神经网络的各种框架。然而,没有多大的研究努力已经进入创建针对尖刺神经网络(SNNS)进行优化的框架。这种新一代的神经网络对于在边缘设备上部署AI的越来越有趣,其具有紧密的功率和资源约束。我们的端到端框架E3NE为FPGA自动生成高效的SNN推理逻辑。基于Pytorch模型和用户参数,它应用各种优化,并评估基于峰值的加速器固有的权衡。多个水平的并行性和新出现的神经编码方案的使用导致优于先前的SNN硬件实现的效率。对于类似的型号,E3NE使用的硬件资源的少于50%,功率较低20%,同时通过幅度降低延迟。此外,可扩展性和通用性允许部署大规模的SNN模型AlexNet和VGG。
translated by 谷歌翻译
穗状花序的神经形状硬件占据了深度神经网络(DNN)的更节能实现的承诺,而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN,否则能量优势丢失。特别地,解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器(LSTM)单元。我们展示了许多生物神经元的面部,在每个尖峰后缓慢的超积极性(AHP)电流,提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现,例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外,它为实现了非常稀疏的大量大型DNN来实现基础,这些大型DNN在文本中提取单词和句子之间的关系,以便回答有关文本的问题。
translated by 谷歌翻译
Emergence of deep neural networks (DNNs) has raised enormous attention towards artificial neural networks (ANNs) once again. They have become the state-of-the-art models and have won different machine learning challenges. Although these networks are inspired by the brain, they lack biological plausibility, and they have structural differences compared to the brain. Spiking neural networks (SNNs) have been around for a long time, and they have been investigated to understand the dynamics of the brain. However, their application in real-world and complicated machine learning tasks were limited. Recently, they have shown great potential in solving such tasks. Due to their energy efficiency and temporal dynamics there are many promises in their future development. In this work, we reviewed the structures and performances of SNNs on image classification tasks. The comparisons illustrate that these networks show great capabilities for more complicated problems. Furthermore, the simple learning rules developed for SNNs, such as STDP and R-STDP, can be a potential alternative to replace the backpropagation algorithm used in DNNs.
translated by 谷歌翻译
尖峰神经网络(SNN)是一种受脑启发的模型,具有更时空的信息处理能力和计算能效效率。但是,随着SNN深度的增加,由SNN​​的重量引起的记忆问题逐渐引起了人们的注意。受到人工神经网络(ANN)量化技术的启发,引入了二进制SNN(BSNN)来解决记忆问题。由于缺乏合适的学习算法,BSNN通常由ANN-SNN转换获得,其准确性将受到训练有素的ANN的限制。在本文中,我们提出了具有准确性损失估计器的超低潜伏期自适应局部二进制二进制尖峰神经网络(ALBSNN),该网络层动态选择要进行二进制的网络层,以通过评估由二进制重量引起的错误来确保网络的准确性在网络学习过程中。实验结果表明,此方法可以将存储空间降低超过20%,而不会丢失网络准确性。同时,为了加速网络的训练速度,引入了全球平均池(GAP)层,以通过卷积和合并的组合替换完全连接的层,以便SNN可以使用少量时间获得更好识别准确性的步骤。在仅使用一个时间步骤的极端情况下,我们仍然可以在三个不同的数据集(FashionMnist,CIFAR-10和CIFAR-10和CIFAR-100)上获得92.92%,91.63%和63.54%的测试精度。
translated by 谷歌翻译
最近的研究表明,卷积神经网络(CNNS)不是图像分类的唯一可行的解决方案。此外,CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案,我们设计了使用峰值定时依赖性塑性(STDP)和其奖励调制变体(R-STDP)学习规则训练的本地连接的尖峰神经网络(SNN)。使用尖刺神经元和局部连接以及强化学习(RL)将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成,后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性,并评估我们有益于于不同目标响应的奖励系统的稳健性。
translated by 谷歌翻译
由于它们的时间加工能力及其低交换(尺寸,重量和功率)以及神经形态硬件中的节能实现,尖峰神经网络(SNNS)已成为传统人工神经网络(ANN)的有趣替代方案。然而,培训SNNS所涉及的挑战在准确性方面有限制了它们的表现,从而限制了他们的应用。因此,改善更准确的特征提取的学习算法和神经架构是SNN研究中的当前优先级之一。在本文中,我们展示了现代尖峰架构的关键组成部分的研究。我们在从最佳执行网络中凭经验比较了图像分类数据集中的不同技术。我们设计了成功的残余网络(Reset)架构的尖峰版本,并测试了不同的组件和培训策略。我们的结果提供了SNN设计的最新版本,它允许在尝试构建最佳视觉特征提取器时进行明智的选择。最后,我们的网络优于CIFAR-10(94.1%)和CIFAR-100(74.5%)数据集的先前SNN架构,并将现有技术与DVS-CIFAR10(71.3%)相匹配,参数较少而不是先前的状态艺术,无需安静转换。代码在https://github.com/vicenteax/spiking_resnet上获得。
translated by 谷歌翻译
尖峰神经网络(SNNS)是脑激发的模型,可在神经形状硬件上实现节能实现。然而,由于尖刺神经元模型的不连续性,SNN的监督培训仍然是一个难题。大多数现有方法模仿人工神经网络的BackProjagation框架和前馈架构,并在尖峰时间使用代理衍生物或计算梯度来处理问题。这些方法累积近似误差,或者仅通过现有尖峰被限制地传播信息,并且通常需要沿着具有大的内存成本和生物言行的时间步长的信息传播。在这项工作中,我们考虑反馈尖刺神经网络,这些神经网络更为大脑,并提出了一种新的训练方法,不依赖于前向计算的确切反向。首先,我们表明,具有反馈连接的SNN的平均触发速率将沿着时间的时间逐渐发展到均衡状态,这沿着定点方程沿着时间延续。然后通过将反馈SNN的前向计算作为这种等式的黑匣子求解器,并利用了方程上的隐式差异,我们可以计算参数的梯度而不考虑确切的前向过程。以这种方式,向前和向后程序被解耦,因此避免了不可微分的尖峰功能的问题。我们还简要介绍了隐含分化的生物合理性,这只需要计算另一个平衡。在Mnist,Fashion-Mnist,N-Mnist,CiFar-10和CiFar-100上进行了广泛的实验,证明了我们在少量时间步骤中具有较少神经元和参数的反馈模型的方法的优越性。我们的代码是在https://github.com/pkuxmq/ide-fsnn中获得的。
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
我们提出了Memprop,即采用基于梯度的学习来培训完全的申请尖峰神经网络(MSNNS)。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物,因此完全可区分,这消除了尖峰神经网络(SNN)文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触,或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反,我们直接在循环神经元和突触的模拟香料模型上应用了通过时间(BPTT)训练算法的反向传播。我们的实现是完全的综合性,因为突触重量和尖峰神经元都集成在电阻RAM(RRAM)阵列上,而无需其他电路来实现尖峰动态,例如模数转换器(ADCS)或阈值比较器。结果,高阶电物理效应被充分利用,以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进,我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。
translated by 谷歌翻译
为了在专门的神经形态硬件中进行节能计算,我们提出了尖峰神经编码,这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型,它是通过在“猜测和检查”的永无止境过程中运行的,神经元可以预测彼此的活动值,然后调整自己的活动以做出更好的未来预测。我们系统的互动性,迭代性质非常适合感官流预测的连续时间表述,并且如我们所示,模型的结构产生了局部突触更新规则,可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中,我们对模型的实例化进行了实例化,该模型包括泄漏的集成和火灾单元。但是,我们系统所在的框架自然可以结合更复杂的神经元,例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时,模型的潜力。值得注意的是,尖峰神经编码在分类绩效方面具有竞争力,并且在从任务序列中学习时会降低遗忘,从而提供了更经济的,具有生物学上的替代品,可用于流行的人工神经网络。
translated by 谷歌翻译
大脑中尖刺神经元之间的沟通的事件驱动和稀疏性质对灵活和节能的AI来说具有很大的承诺。学习算法的最新进展已经证明,与标准经常性神经网络相比,可以有效地培训尖刺神经元的复发网络以实现竞争性能。尽管如此,随着这些学习算法使用错误 - 反复通过时间(BPTT),它们遭受了高的内存要求,慢慢训练,并且与在线学习不兼容。这将这些学习算法的应用限制为相对较小的网络和有限的时间序列长度。已经提出了具有较低计算和内存复杂性的BPTT的在线近似(E-PROP,OSTL),但在实践中也遭受内存限制,并且作为近似,不要倾销标准BPTT训练。在这里,我们展示了最近开发的BPTT替代方法,通过时间(FPTT)可以应用于尖峰神经网络。与BPTT不同,FPTT试图最大限度地减少损失的持续动态正常风险。结果,可以以在线方式计算FPTT,并且相对于序列长度具有固定的复杂性。与新型动态尖刺神经元模型结合时,液态常数神经元,我们表明SNNS培训了FPTT优于在线BPTT近似,并在时间分类任务上接近或超过离线BPTT精度。因此,这种方法使得在长期序列中以记忆友好的在线方式训练SNNS并向新颖和复杂的神经架构进行扩展。
translated by 谷歌翻译