在这个时代,智能和低功率视网膜假体的需求高度要求,在这个时代,可穿戴和可植入的设备用于众多医疗保健应用。在本文中,我们提出了一个节能动态场景处理框架(Spikesee),该框架结合了尖峰代表编码技术和生物启发的尖峰复发性神经网络(SRNN)模型,以实现智能处理和极端的低功耗计算。尖峰表示编码技术可以用稀疏的尖峰火车来解释动态场景,从而减少数据量。采用受人视网膜特殊结构和尖峰加工方法的启发的SRNN模型,以预测神经节细胞对动态场景的响应。实验结果表明,所提出的SRNN模型的Pearson相关系数达到0.93,这表现优于视网膜假体的最先进的处理框架。得益于尖峰表示和SRNN处理,该模型可以以无倍数的方式提取视觉特征。与基于卷积的复发神经网络(CRNN)处理框架相比,该框架可实现12倍的功率。我们提出的Spikesee可以通过较低的能源消耗来更准确地预测神经节细胞的响应,从而减轻了视网膜假体的精度和功率问题,并为可穿戴或可植入的假体提供了潜在的解决方案。
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
近年来,尖峰神经网络(SNN)由于其丰富的时空动力学,各种编码方法和事件驱动的特征而自然拟合神经形态硬件,因此在脑启发的智能上受到了广泛的关注。随着SNN的发展,受到脑科学成就启发和针对人工通用智能的新兴研究领域的脑力智能变得越来越热。本文回顾了最新进展,并讨论了来自五个主要研究主题的SNN的新领域,包括基本要素(即尖峰神经元模型,编码方法和拓扑结构),神经形态数据集,优化算法,软件,软件和硬件框架。我们希望我们的调查能够帮助研究人员更好地了解SNN,并激发新作品以推进这一领域。
translated by 谷歌翻译
尖峰神经网络(SNN)引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是,SNN是适当的抽象水平,可以将大脑和认知的灵感带入人工智能。在本文中,我们介绍了脑启发的认知智力引擎(Braincog),用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型,学习规则,大脑区域等作为平台提供的重要模块。基于这些易于使用的模块,BrainCog支持各种受脑启发的认知功能,包括感知和学习,决策,知识表示和推理,运动控制和社会认知。这些受脑启发的AI模型已在各种受监督,无监督和强化学习任务上有效验证,并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟,Braincog实现了决策,工作记忆,神经回路的结构模拟以及小鼠大脑,猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的,它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI,Braincog旨在提供必要且易于使用的构件,并提供基础设施支持,以开发基于脑部的尖峰神经网络AI,并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。
translated by 谷歌翻译
图形卷积网络(GCN)由于学习图信息的显着表示能力而实现了令人印象深刻的性能。但是,GCN在深网上实施时需要昂贵的计算功率,因此很难将其部署在电池供电的设备上。相比之下,执行生物保真推理过程的尖峰神经网络(SNN)提供了节能的神经结构。在这项工作中,我们提出了SpikingGCN,这是一个端到端框架,旨在将GCN的嵌入与SNN的生物层性特征相结合。原始图数据根据图形卷积的合并编码为尖峰列车。我们通过利用与神经元节点结合的完全连接的层来进一步对生物信息处理进行建模。在各种场景(例如引用网络,图像图分类和推荐系统)中,我们的实验结果表明,该方法可以针对最新方法获得竞争性能。此外,我们表明,在神经形态芯片上的SpikingGCN可以将能源效率的明显优势带入图形数据分析中,这表明了其构建环境友好的机器学习模型的巨大潜力。
translated by 谷歌翻译
Tactile sensing is essential for a variety of daily tasks. And recent advances in event-driven tactile sensors and Spiking Neural Networks (SNNs) spur the research in related fields. However, SNN-enabled event-driven tactile learning is still in its infancy due to the limited representation abilities of existing spiking neurons and high spatio-temporal complexity in the event-driven tactile data. In this paper, to improve the representation capability of existing spiking neurons, we propose a novel neuron model called "location spiking neuron", which enables us to extract features of event-based data in a novel way. Specifically, based on the classical Time Spike Response Model (TSRM), we develop the Location Spike Response Model (LSRM). In addition, based on the most commonly-used Time Leaky Integrate-and-Fire (TLIF) model, we develop the Location Leaky Integrate-and-Fire (LLIF) model. Moreover, to demonstrate the representation effectiveness of our proposed neurons and capture the complex spatio-temporal dependencies in the event-driven tactile data, we exploit the location spiking neurons to propose two hybrid models for event-driven tactile learning. Specifically, the first hybrid model combines a fully-connected SNN with TSRM neurons and a fully-connected SNN with LSRM neurons. And the second hybrid model fuses the spatial spiking graph neural network with TLIF neurons and the temporal spiking graph neural network with LLIF neurons. Extensive experiments demonstrate the significant improvements of our models over the state-of-the-art methods on event-driven tactile learning. Moreover, compared to the counterpart artificial neural networks (ANNs), our SNN models are 10x to 100x energy-efficient, which shows the superior energy efficiency of our models and may bring new opportunities to the spike-based learning community and neuromorphic engineering.
translated by 谷歌翻译
从大脑的事件驱动和稀疏的尖峰特征中受益,尖峰神经网络(SNN)已成为人工神经网络(ANN)的一种节能替代品。但是,SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力,我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力,称为多维关注(MA)。然后,提出了一种新的注意力SNN体系结构,并提出了端到端训练,称为“ ma-snn”,该体系结构分别或同时或同时延伸了沿时间,通道以及空间维度的注意力重量。基于现有的神经科学理论,我们利用注意力重量来优化膜电位,进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价,促进了香草SNN,以实现更稀疏的尖峰活动,更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上,尖峰计数减少了84.9%/81.6%,任务准确性和能源效率提高了5.9%/4.7%和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上,我们在单个/4步res-SNN-104上获得了75.92%和77.08%的TOP-1精度,这是SNN的最新结果。据我们所知,这是SNN社区与大规模数据集中的ANN相比,SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力,在有效性和效率之间取得了巨大平衡。
translated by 谷歌翻译
尖峰神经网络(SNN)是第三代人工神经网络,可以在神经形态硬件上实施节能。但是,尖峰的离散传播给坚固且高性能的学习机制带来了重大挑战。大多数现有的作品仅着眼于神经元之间的学习,但忽略了突触之间的影响,从而导致稳健性和准确性丧失。为了解决这个问题,我们通过对突触(APB)(APB)之间的关联可塑性(APB)进行建模,从而提出了一种强大而有效的学习机制。使用提出的APB方法,当其他神经元同时刺激时,同一神经元的突触通过共享因素相互作用。此外,我们提出了一种时空种植和翻转(STCF)方法,以提高网络的概括能力。广泛的实验表明,我们的方法在静态CIFAR-10数据集和神经形态MNIST-DV的最新性能上实现了卓越的性能,通过轻量级卷积网络,CIFAR10-DVS数据集。据我们所知,这是第一次探索突触之间的学习方法和神经形态数据的扩展方法。
translated by 谷歌翻译
尖峰神经网络已显示出具有人工神经网络的节能替代品。但是,对于常见的神经形态视觉基准(如分类),了解传感器噪声和输入编码对网络活动和性能的影响仍然很困难。因此,我们提出了一种使用替代梯度下降训练的单个对象定位的尖峰神经网络方法,用于基于框架和事件的传感器。我们将我们的方法与类似的人工神经网络进行比较,并表明我们的模型在准确性,对各种腐败的鲁棒性方面具有竞争力/更好的性能,并且能耗较低。此外,我们研究了神经编码方案对准确性,鲁棒性和能源效率的静态图像的影响。我们的观察结果与以前关于生物成分学习规则的研究重要差​​异,该规则有助于设计替代梯度训练的体系结构,并就噪声特征和数据编码方法方面的未来神经形态技术设计优先级。
translated by 谷歌翻译
已知尖峰神经网络(SNN)对于神经形态处理器实施非常有效,可以在传统深度学习方法上提高能效和计算潜伏期的数量级。最近,随着监督培训算法对SNN的背景,最近也使可比的算法性能成为可能。但是,包括音频,视频和其他传感器衍生数据在内的信息通常被编码为不适合SNN的实用值信号,从而阻止网络利用SPIKE定时信息。因此,从实价信号到尖峰的有效编码是至关重要的,并且会显着影响整个系统的性能。为了有效地将信号编码为尖峰,必须考虑与手头任务相关的信息以及编码尖峰的密度。在本文中,我们在扬声器独立数字分类系统的背景下研究了四种尖峰编码方法:发送三角洲,第一次尖峰的时间,漏水的集成和火神经元和弯曲尖刺算法。我们首先表明,与传统的短期傅立叶变换相比,在编码生物启发的耳蜗时,使用较少的尖峰会产生更高的分类精度。然后,我们证明了两种对三角洲变体的发送导致分类结果可与最先进的深卷积神经网络基线相媲美,同时降低了编码的比特率。最后,我们表明,几种编码方法在某些情况下导致比传统深度学习基线的性能提高,进一步证明了编码实用值信号中编码算法的尖峰力量艺术技术。
translated by 谷歌翻译
我们提出了Memprop,即采用基于梯度的学习来培训完全的申请尖峰神经网络(MSNNS)。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物,因此完全可区分,这消除了尖峰神经网络(SNN)文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触,或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反,我们直接在循环神经元和突触的模拟香料模型上应用了通过时间(BPTT)训练算法的反向传播。我们的实现是完全的综合性,因为突触重量和尖峰神经元都集成在电阻RAM(RRAM)阵列上,而无需其他电路来实现尖峰动态,例如模数转换器(ADCS)或阈值比较器。结果,高阶电物理效应被充分利用,以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进,我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。
translated by 谷歌翻译
In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.
translated by 谷歌翻译
尖峰神经网络(SNN)在各种智能场景中都表现出了出色的功能。大多数现有的训练SNN方法基于突触可塑性的概念。但是,在现实的大脑中学习还利用了神经元的内在非突触机制。生物神经元的尖峰阈值是一种关键的固有神经元特征,在毫秒的时间尺度上表现出丰富的动力学,并已被认为是一种促进神经信息处理的基本机制。在这项研究中,我们开发了一种新型的协同学习方法,该方法同时训练SNN中的突触权重和尖峰阈值。经过突触阈值协同学习(STL-SNN)训练的SNN在各种静态和神经形态数据集上的精度明显高于接受两种突触学习(SL)和阈值学习(TL)的单独学习模型(TL)的SNN。在训练过程中,协同学习方法优化了神经阈值,通过适当的触发速率为网络提供稳定的信号传输。进一步的分析表明,STL-SNN对嘈杂的数据是可靠的,并且对深网结构表现出低的能耗。此外,通过引入广义联合决策框架(JDF),可以进一步提高STL-SNN的性能。总体而言,我们的发现表明,突触和内在的非突触机制之间的生物学上合理的协同作用可能为开发高效的SNN学习方法提供了一种有希望的方法。
translated by 谷歌翻译
Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.
translated by 谷歌翻译
受认知科学中知名的预测编码理论的启发,我们为视觉框架预测任务提出了一种新型的神经网络模型。在本文中,我们的主要工作是结合预测编码和深度学习体系结构的理论框架,为视觉框架预测设计有效的预测网络模型。该模型分别由一系列复发和卷积单元组成,分别形成自上而下和自下而上的流。它学会了以视觉序列预测未来的帧,网络中的每一层中的弯曲器可以从上到下进行本地预测。我们模型的主要创新是,该层上神经单位的更新频率随着网络级别的提高而降低,从时间维度的角度来看,模型中的导致模型看起来像金字塔,因此我们称其为金字塔预测性网络(PPNET)。特别是,这种类似金字塔的设计与预测性编码框架涉及的神经科学发现中的神经元活性一致。根据实验结果,该模型与现有作品显示出更好的紧凑性和可比的预测性能,这意味着较低的计算成本和较高的预测准确性。代码将在https://github.com/ling-cf/ppnet上找到。
translated by 谷歌翻译
尽管神经形态计算的快速进展,但尖刺神经网络(SNNS)的能力不足和不足的表现力严重限制了其在实践中的应用范围。剩余学习和捷径被证明是培训深层神经网络的重要方法,但以前的工作评估了他们对基于尖峰的通信和时空动力学的特征的适用性。在本文中,我们首先确定这种疏忽导致受阻信息流程和伴随以前的残留SNN中的降解问题。然后,我们提出了一种新型的SNN定向的残余块MS-Reset,能够显着地扩展直接训练的SNN的深度,例如,在ImageNet上最多可在CiFar-10和104层上完成482层,而不会观察到任何轻微的降级问题。我们验证了基于帧和神经形态数据集的MS-Reset的有效性,并且MS-Resnet104在直接训练的SNN的域中的第一次实现了在ImageNet上的76.02%精度的优越结果。还观察到巨大的能量效率,平均仅需要每根神经元的一穗来分类输入样本。我们相信我们强大且可扩展的型号将为进一步探索SNN提供强大的支持。
translated by 谷歌翻译
穗状花序的神经形状硬件占据了深度神经网络(DNN)的更节能实现的承诺,而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN,否则能量优势丢失。特别地,解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器(LSTM)单元。我们展示了许多生物神经元的面部,在每个尖峰后缓慢的超积极性(AHP)电流,提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现,例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外,它为实现了非常稀疏的大量大型DNN来实现基础,这些大型DNN在文本中提取单词和句子之间的关系,以便回答有关文本的问题。
translated by 谷歌翻译
传统的神经结构倾向于通过类似数量(例如电流或电压)进行通信,但是,随着CMOS设备收缩和供应电压降低,电压/电流域模拟电路的动态范围变得更窄,可用的边缘变小,噪声免疫力降低。不仅如此,在常规设计中使用操作放大器(运算放大器)和时钟或异步比较器会导致高能量消耗和大型芯片区域,这将不利于构建尖峰神经网络。鉴于此,我们提出了一种神经结构,用于生成和传输时间域信号,包括神经元模块,突触模块和两个重量模块。所提出的神经结构是由晶体管三极区域的泄漏电流驱动的,不使用操作放大器和比较器,因此与常规设计相比,能够提供更高的能量和面积效率。此外,由于内部通信通过时间域信号,该结构提供了更大的噪声免疫力,从而简化了模块之间的接线。提出的神经结构是使用TSMC 65 nm CMOS技术制造的。拟议的神经元和突触分别占据了127 UM2和231 UM2的面积,同时达到了毫秒的时间常数。实际芯片测量表明,所提出的结构成功地用毫秒的时间常数实现了时间信号通信函数,这是迈向人机交互的硬件储层计算的关键步骤。
translated by 谷歌翻译
具有大脑般的组织和设备物理学的混合信号神经形态处理器为传统深度学习和计算的不可持续发展提供了超低功率的替代方案。但是,意识到这种神经形态硬件的潜力需要有效利用其异质的,模拟神经突触电路,采用神经计算方法来稀疏,基于尖峰的编码和处理。在这里,我们研究了平衡兴奋性抑制性抑制性横向连接作为实施丘脑皮层启发的时空相关器(STC)神经网络的一种资源有效机制,而无需使用专用的延迟机制。我们提出了使用DynAP-SE神经形态处理器进行硬件的环境实验,其中在STC网络中,在STC网络中,无均匀重合检测神经元的接收场通过随机输入采样绘制,每个列中有四个侧向传入连接。此外,我们演示了如何调整这种神经元来检测特定的时空特征,该特征通过模拟突触电路的离散地址编程。双突触连接的能量耗散是每个横向连接(0.65 NJ vs 9.6 NJ)比STC的前一个基于延迟的硬件实现的数量级(0.65 nj vs 9.6 NJ)。
translated by 谷歌翻译
超低功耗本地信号处理是始终安装在设备上的边缘应用的关键方面。尖刺神经网络的神经形态处理器显示出很大的计算能力,同时根据该领域的需要满足有限的电力预算。在这项工作中,我们提出了尖峰神经动力学作为扩张时间卷积的自然替代品。我们将这个想法扩展到WaveSense,这是一个由Wavenet Architects的激发灵感的尖峰神经网络。WaveSense使用简单的神经动力学,固定时间常数和简单的前馈结构,因此特别适用于神经形态实现。我们在几个数据集中测试此模型的功能,以用于关键字斑点。结果表明,该网络击败了其他尖刺神经网络的领域,并达到了诸如CNN和LSTM的人工神经网络的最先进的性能。
translated by 谷歌翻译