通过制造不精确和装置随机性来阻碍用于储存神经晶体系统中重量的模拟抗性状态,限制突触重量的精度。通过使用自旋转移扭矩磁阻随机接入存储器(STT-MRAM)的二进制状态的随机切换来模拟模拟行为来解决该挑战。然而,基于STT-MRAM的先前方法以异步方式操作,这难以通过实验实施。本文提出了一种具有时钟电路的同步尖峰神经网络系统,其执行无监督的学习利用STT-MRAM的随机切换。所提出的系统使单层网络能够在MNIST数据集上实现90%的推理准确性。
translated by 谷歌翻译
这项研究提出了依赖电压突触可塑性(VDSP),这是一种新型的脑启发的无监督的本地学习规则,用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导,这使得相对于标准峰值依赖性可塑性(STDP)的更新数量减少了两倍。此更新取决于突触前神经元的膜电位,该神经元很容易作为神经元实现的一部分,因此不需要额外的存储器来存储。此外,该更新还对突触重量进行了正规化,并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能,我们训练一个单层尖峰神经网络(SNN),以识别手写数字。我们报告85.01 $ \ pm $ 0.76%(平均$ \ pm $ s.d。)对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时,性能会提高(400个输出神经元的89.93 $ \ pm $ 0.41%,500个神经元为90.56 $ \ pm $ 0.27),这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是,学习规则比STDP更好地适应输入信号的频率,并且不需要对超参数进行手动调整。
translated by 谷歌翻译
我们介绍了具有磁隧道结(MTJ)突触的神经形态网络的第一个实验证明,其通过矢量矩阵乘法进行图像识别。我们还模拟了执行Mnist手写数字识别的大型MTJ网络,展示MTJ交叉栏可以匹配映射器精度,同时提供更高的精度,稳定性和耐久性。
translated by 谷歌翻译
我们提出了Memprop,即采用基于梯度的学习来培训完全的申请尖峰神经网络(MSNNS)。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物,因此完全可区分,这消除了尖峰神经网络(SNN)文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触,或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反,我们直接在循环神经元和突触的模拟香料模型上应用了通过时间(BPTT)训练算法的反向传播。我们的实现是完全的综合性,因为突触重量和尖峰神经元都集成在电阻RAM(RRAM)阵列上,而无需其他电路来实现尖峰动态,例如模数转换器(ADCS)或阈值比较器。结果,高阶电物理效应被充分利用,以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进,我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。
translated by 谷歌翻译
尖峰神经网络(SNN)已成为用于分类任务的硬件有效体系结构。基于尖峰的编码的惩罚是缺乏完全使用尖峰执行的通用训练机制。已经进行了几项尝试,用于采用在非加速人工神经网络(ANN)中使用的强大反向传播(BP)技术:(1)SNN可以通过外部计算的数值梯度来训练。 (2)基于天然尖峰的学习的主要进步是使用具有分阶段的前向/向后传递的尖峰时间依赖性可塑性(STDP)的近似反向传播。但是,在此类阶段之间的信息传输需要外部内存和计算访问。这是神经形态硬件实现的挑战。在本文中,我们提出了一种基于随机SNN的后式Prop(SSNN-BP)算法,该算法利用复合神经元同时计算前向通行激活,并用尖峰明确计算前向传递梯度。尽管签名的梯度值是基于SPIKE的表示的挑战,但我们通过将梯度信号分为正和负流来解决这一问题。复合神经元以随机尖峰传播的形式编码信息,并将反向传播的权重更新转换为时间和空间上局部离散的STDP类似STDP的Spike Concike更新,使其与硬件友好的电阻式处理单元(RPU)兼容。此外,我们的方法使用足够长的尖峰训练来接近BP ANN基线。最后,我们表明,可以通过强制执行胜利者的抑制性横向连接来实现软磁体交叉渗透损失函数。我们的SNN通过与MNIST,时尚和扩展的MNIST数据集的ANN相当的性能来表现出极好的概括。因此,SSNN-BP可以使BP与纯粹基于尖峰的神经形态硬件兼容。
translated by 谷歌翻译
Spiking neural networks (SNN) are a viable alternative to conventional artificial neural networks when energy efficiency and computational complexity are of importance. A major advantage of SNNs is their binary information transfer through spike trains. The training of SNN has, however, been a challenge, since neuron models are non-differentiable and traditional gradient-based backpropagation algorithms cannot be applied directly. Furthermore, spike-timing-dependent plasticity (STDP), albeit being a spike-based learning rule, updates weights locally and does not optimize for the output error of the network. We present desire backpropagation, a method to derive the desired spike activity of neurons from the output error. The loss function can then be evaluated locally for every neuron. Incorporating the desire values into the STDP weight update leads to global error minimization and increasing classification accuracy. At the same time, the neuron dynamics and computational efficiency of STDP are maintained, making it a spike-based supervised learning rule. We trained three-layer networks to classify MNIST and Fashion-MNIST images and reached an accuracy of 98.41% and 87.56%, respectively. Furthermore, we show that desire backpropagation is computationally less complex than backpropagation in traditional neural networks.
translated by 谷歌翻译
人工智能革命(AI)提出了巨大的存储和数据处理要求。大量的功耗和硬件开销已成为构建下一代AI硬件的主要挑战。为了减轻这种情况,神经形态计算引起了极大的关注,因为它在功耗非常低的功能方面具有出色的数据处理能力。尽管无情的研究已经进行了多年,以最大程度地减少神经形态硬件的功耗,但我们离达到人脑的能源效率还有很长的路要走。此外,设计复杂性和过程变化阻碍了当前神经形态平台的大规模实现。最近,由于其出色的速度和功率指标,在低温温度中实施神经形态计算系统的概念引起了人们的兴趣。可以设计几种低温装置,可作为具有超低功率需求的神经形态原始设备。在这里,我们全面回顾了低温神经形态硬件。我们将现有的低温神经形态硬件分类为几个分层类别,并根据关键性能指标绘制比较分析。我们的分析简洁地描述了相关电路拓扑的操作,并概述了最先进的技术平台遇到的优势和挑战。最后,我们提供了见解,以规避这些挑战,以实现未来的研究发展。
translated by 谷歌翻译
尖峰神经网络(SNN)提供了一个新的计算范式,能够高度平行,实时处理。光子设备是设计与SNN计算范式相匹配的高带宽,平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用,以更大的非线性计算元件的灵活性。因此,我们在整体硅光子学(SIPH)过程上设计和模拟了光电尖峰神经元电路,该过程复制了超出泄漏的集成和火(LIF)之外有用的尖峰行为。此外,我们探索了两种学习算法,具有使用Mach-Zehnder干涉法(MZI)网格作为突触互连的片上学习的潜力。实验证明了随机反向传播(RPB)的变体,并在简单分类任务上与标准线性回归的性能相匹配。同时,将对比性HEBBIAN学习(CHL)规则应用于由MZI网格组成的模拟神经网络,以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好,但不符合理想神经网络的性能(没有MZI网格施加的约束)。通过这些努力,我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。
translated by 谷歌翻译
由于降低了von-neumann架构运行深度学习模型的功耗的基本限制,在聚光灯下,基于低功率尖刺神经网络的神经栓塞系统的研究。为了整合大量神经元,神经元需要设计占据一个小面积,而是随着技术缩小,模拟神经元难以缩放,并且它们遭受降低的电压净空/动态范围和电路非线性。鉴于此,本文首先模拟了在28nm工艺中设计的现有电流镜的电压域神经元的非线性行为,并显示了神经元非线性的效果严重降低了SNN推理精度。然后,为了减轻这个问题,我们提出了一种新的神经元,该新型神经元在时域中加入输入的尖峰,并且大大改善了线性度,从而改善了与现有电压域神经元相比的推理精度。在Mnist DataSet上进行测试,所提出的神经元的推理误差率与理想神经元的引起误差率不同于0.1%。
translated by 谷歌翻译
Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.
translated by 谷歌翻译
我们在Nengo框架上介绍了基于纯净的神经网络(SNN)的基于稀疏分布式存储器(SDM)。我们基于Furber等人,2004年之前的工作,使用N-y-y of-of-modes实现SDM。作为SDM设计的组成部分,我们已经在Nengo上实现了使用SNN的相关矩阵存储器(CMM)。我们的SNN实施采用漏水集成和火(LIF)在Nengo上尖刺神经元模型。我们的目标是了解基于SNN的SDMS与传统SDMS相比如何进行。为此,我们在Nengo模拟了基于常规和基于SNN的SDM和CMM。我们观察到基于SNN的模型类似于传统的模型。为了评估不同SNN的性能,我们使用Adaptive-Lif,Spiking整流线性单元和Izhikevich模型重复实验并获得了类似的结果。我们得出结论,使用内存的神经元制定一些类型的关联存储器,其内存容量和其他功能类似于没有SNN的性能,确实可行。最后,我们已经实现了一个应用程序,其中使用N-M个代码编码的Mnist图像与其标签相关联并存储在基于SNN的SDM中。
translated by 谷歌翻译
尖峰神经网络的事件驱动性质使它们具有生物学上可符合的和比人工神经网络更节能。在这项工作中,我们展示了二维视野中对象的运动检测。这里呈现的网络架构是生物学卓越的,并使用CMOS模拟泄漏整合和灭火神经元和超低功耗多层RRAM突触。具体的跨晶体管纤维Spice模拟表明,所提出的结构可以在二维视野中准确可靠地检测物体的复杂运动。
translated by 谷歌翻译
为了在专门的神经形态硬件中进行节能计算,我们提出了尖峰神经编码,这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型,它是通过在“猜测和检查”的永无止境过程中运行的,神经元可以预测彼此的活动值,然后调整自己的活动以做出更好的未来预测。我们系统的互动性,迭代性质非常适合感官流预测的连续时间表述,并且如我们所示,模型的结构产生了局部突触更新规则,可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中,我们对模型的实例化进行了实例化,该模型包括泄漏的集成和火灾单元。但是,我们系统所在的框架自然可以结合更复杂的神经元,例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时,模型的潜力。值得注意的是,尖峰神经编码在分类绩效方面具有竞争力,并且在从任务序列中学习时会降低遗忘,从而提供了更经济的,具有生物学上的替代品,可用于流行的人工神经网络。
translated by 谷歌翻译
神经形态计算机通过模拟人脑进行计算,并使用极低的功率。预计将来对于节能计算是必不可少的。尽管它们主要用于尖峰基于神经网络的机器学习应用程序,但已知神经形态计算机是Turing-Complete,因此能够进行通用计算。但是,为了充分意识到它们的通用,节能计算的潜力,重要的是要设计有效的编码数字机制。当前的编码方法的适用性有限,可能不适合通用计算。在本文中,我们将虚拟神经元视为整数和理性数字的编码机制。我们评估虚拟神经元在物理和模拟神经形态硬件上的性能,并表明它可以使用基于混合信号的Memristor神经形态处理器平均使用23 nj的能量执行加法操作。我们还通过在某些MU回复功能中使用它来证明其实用性,这些功能是通用计算的构建块。
translated by 谷歌翻译
备忘录显示了增强神经形态计算概念和AI硬件加速器的有希望的功能。在本文中,我们提出了一个用户友好的软件基础架构,该基础架构允许使用Memristor模型模拟各种神经形态架构。该工具赋予了将备忘录用于在线学习和在线分类任务的研究,从而预测了培训过程中的备忘录抵抗状态的变化。该工具的多功能性是通过功能来展示的,以供用户自定义所使用的Memristor和Neuronal模型中的参数以及所采用的学习规则。这进一步允许用户在广泛的参数中验证概念及其灵敏度。我们通过MNIST分类任务演示了该工具的使用。最后,我们展示了如何使用该工具通过与市售的特征工具进行适当的接口来模拟与实用的回忆设备中研究的概念。
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
基于旋转扭矩振荡器的复合值Hopfield网络模拟可以恢复相位编码的图像。存储器增强逆变器的序列提供可调谐延迟元件,通过相位转换振荡器的振荡输出来实现复合权重的可调延迟元件。伪逆培训足以存储在一组192个振荡器中,至少代表16 $ \倍数为12个像素图像。恢复图像所需的能量取决于所需的错误级别。对于这里考虑的振荡器和电路,来自理想图像的5%均方方偏差需要大约5 00美元$ S并消耗大约130 NJ。模拟显示,当振荡器的谐振频率可以调整为具有小于10 ^ {-3} $的分数扩展时,网络功能良好,具体取决于反馈的强度。
translated by 谷歌翻译
我们最近提出了S4NN算法,基本上是对多层尖峰神经网络的反向化的适应,该网上网络使用简单的非泄漏整合和火神经元和一种形式称为第一峰值编码的时间编码。通过这种编码方案,每次刺激最多一次都是神经元火灾,但射击令携带信息。这里,我们引入BS4NN,S4NN的修改,其中突触权重被约束为二进制(+1或-1),以便减少存储器(理想情况下,每个突触的一个比特)和计算占地面积。这是使用两组权重完成:首先,通过梯度下降更新的实际重量,并在BackProjagation的后退通行证中使用,其次是在前向传递中使用的迹象。类似的策略已被用于培训(非尖峰)二值化神经网络。主要区别在于BS4NN在时域中操作:尖峰依次繁殖,并且不同的神经元可以在不同时间达到它们的阈值,这增加了计算能力。我们验证了两个流行的基准,Mnist和Fashion-Mnist上的BS4NN,并获得了这种网络的合理精度(分别为97.0%和87.3%),具有可忽略的准确率,具有可忽略的重量率(0.4%和0.7%,分别)。我们还展示了BS4NN优于具有相同架构的简单BNN,在这两个数据集上(分别为0.2%和0.9%),可能是因为它利用时间尺寸。建议的BS4NN的源代码在HTTPS://github.com/srkh/bs4nn上公开可用。
translated by 谷歌翻译
穗状花序的神经形状硬件占据了深度神经网络(DNN)的更节能实现的承诺,而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN,否则能量优势丢失。特别地,解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器(LSTM)单元。我们展示了许多生物神经元的面部,在每个尖峰后缓慢的超积极性(AHP)电流,提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现,例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外,它为实现了非常稀疏的大量大型DNN来实现基础,这些大型DNN在文本中提取单词和句子之间的关系,以便回答有关文本的问题。
translated by 谷歌翻译
Event-based simulations of Spiking Neural Networks (SNNs) are fast and accurate. However, they are rarely used in the context of event-based gradient descent because their implementations on GPUs are difficult. Discretization with the forward Euler method is instead often used with gradient descent techniques but has the disadvantage of being computationally expensive. Moreover, the lack of precision of discretized simulations can create mismatches between the simulated models and analog neuromorphic hardware. In this work, we propose a new exact error-backpropagation through spikes method for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that our method can be efficiently implemented on GPUs in a fully event-based manner, making it fast to compute and precise enough for analog neuromorphic hardware. Compared to the original Fast \& Deep and the current state-of-the-art event-based gradient-descent algorithms, we demonstrate increased performance on several benchmark datasets with both feedforward and convolutional SNNs. In particular, we show that multi-spike SNNs can have advantages over single-spike networks in terms of convergence, sparsity, classification latency and sensitivity to the dead neuron problem.
translated by 谷歌翻译