用于神经形态计算的生物学启发的尖峰神经元是具有动态状态变量的非线性滤波器 - 与深度学习中使用的无状态神经元模型非常不同。 Notel Intel的神经形态研究处理器Loihi 2的下一个版本支持各种具有完全可编程动态的最有状态尖峰神经元模型。在这里，我们展示了先进的尖峰神经元模型，可用于有效地处理仿真Loihi 2硬件的仿真实验中的流数据。在一个示例中，共振和火（RF）神经元用于计算短时间傅里叶变换（STFT），其具有类似的计算复杂度，但是输出带宽的47倍而不是传统的STFT。在另一个例子中，我们描述了一种使用时间率RF神经元的光学流量估计算法，其需要比传统的基于DNN的解决方案超过90倍。我们还展示了有前途的初步结果，使用BackPropagation培训RF神经元进行音频分类任务。最后，我们表明，跳跃的血管谐振器 - RF神经元的变体 - 重复耳蜗的新特性，并激励一种有效的基于尖峰的谱图编码器。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

Tactile sensing is essential for a variety of daily tasks. And recent advances in event-driven tactile sensors and Spiking Neural Networks (SNNs) spur the research in related fields. However, SNN-enabled event-driven tactile learning is still in its infancy due to the limited representation abilities of existing spiking neurons and high spatio-temporal complexity in the event-driven tactile data. In this paper, to improve the representation capability of existing spiking neurons, we propose a novel neuron model called "location spiking neuron", which enables us to extract features of event-based data in a novel way. Specifically, based on the classical Time Spike Response Model (TSRM), we develop the Location Spike Response Model (LSRM). In addition, based on the most commonly-used Time Leaky Integrate-and-Fire (TLIF) model, we develop the Location Leaky Integrate-and-Fire (LLIF) model. Moreover, to demonstrate the representation effectiveness of our proposed neurons and capture the complex spatio-temporal dependencies in the event-driven tactile data, we exploit the location spiking neurons to propose two hybrid models for event-driven tactile learning. Specifically, the first hybrid model combines a fully-connected SNN with TSRM neurons and a fully-connected SNN with LSRM neurons. And the second hybrid model fuses the spatial spiking graph neural network with TLIF neurons and the temporal spiking graph neural network with LLIF neurons. Extensive experiments demonstrate the significant improvements of our models over the state-of-the-art methods on event-driven tactile learning. Moreover, compared to the counterpart artificial neural networks (ANNs), our SNN models are 10x to 100x energy-efficient, which shows the superior energy efficiency of our models and may bring new opportunities to the spike-based learning community and neuromorphic engineering.

尽管神经网络在计算机视觉任务中取得了成功，但数字“神经元”还是生物神经元的非常松散的近似。当今的学习方法旨在在具有数字数据表示（例如图像帧）的数字设备上运行。相比之下，生物视觉系统通常比最先进的数字计算机视觉算法更有能力和高效。事件摄像机是一种新兴的传感器技术，它以异步射击像素模仿生物学视觉，避免了图像框架的概念。为了利用现代学习技术，许多基于事件的算法被迫将事件累积回图像帧，在某种程度上浪费了事件摄像机的优势。我们遵循相反的范式，并开发一种新型的神经网络，该网络更接近原始事件数据流。我们证明了角速度回归和竞争性光流估计中的最新性能，同时避免了与训练SNN相关的困难。此外，我们所提出的方法的处理延迟小于1/10，而连续推断将这种改进增加了另一个数量级。

这项研究提出了依赖电压突触可塑性（VDSP），这是一种新型的脑启发的无监督的本地学习规则，用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导，这使得相对于标准峰值依赖性可塑性（STDP）的更新数量减少了两倍。此更新取决于突触前神经元的膜电位，该神经元很容易作为神经元实现的一部分，因此不需要额外的存储器来存储。此外，该更新还对突触重量进行了正规化，并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能，我们训练一个单层尖峰神经网络（SNN），以识别手写数字。我们报告85.01 $ \ pm $ 0.76％（平均$ \ pm $ s.d。）对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时，性能会提高（400个输出神经元的89.93 $ \ pm $ 0.41％，500个神经元为90.56 $ \ pm $ 0.27），这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是，学习规则比STDP更好地适应输入信号的频率，并且不需要对超参数进行手动调整。

Loihi is a 60-mm 2 chip fabricated in Intel's 14-nm process that advances the state-of-the-art modeling of spiking neural networks in silicon. It integrates a wide range of novel features for the field, such as hierarchical connectivity, dendritic compartments, synaptic delays, and, most importantly, programmable synaptic learning rules. Running a spiking convolutional form of the Locally Competitive Algorithm, Loihi can solve LASSO optimization problems with over three orders of magnitude superior energy-delay product compared to conventional solvers running on a CPU isoprocess/voltage/area. This provides an unambiguous example of spike-based computation, outperforming all known conventional solutions.Neuroscience offers a bountiful source of inspiration for novel hardware architectures and algorithms. Through their complex interactions at large scales, biological neurons exhibit an impressive range of behaviors and properties that we currently struggle to model with modern analytical tools, let alone replicate with our design and manufacturing technology. Some of the magic that we see in the brain undoubtedly stems from exotic device and material properties that will remain out of our fabs' reach for

穗状花序的神经形状硬件占据了深度神经网络（DNN）的更节能实现的承诺，而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN，否则能量优势丢失。特别地，解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器（LSTM）单元。我们展示了许多生物神经元的面部，在每个尖峰后缓慢的超积极性（AHP）电流，提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现，例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外，它为实现了非常稀疏的大量大型DNN来实现基础，这些大型DNN在文本中提取单词和句子之间的关系，以便回答有关文本的问题。

Spiking Neural Networks (SNNs) are bio-plausible models that hold great potential for realizing energy-efficient implementations of sequential tasks on resource-constrained edge devices. However, commercial edge platforms based on standard GPUs are not optimized to deploy SNNs, resulting in high energy and latency. While analog In-Memory Computing (IMC) platforms can serve as energy-efficient inference engines, they are accursed by the immense energy, latency, and area requirements of high-precision ADCs (HP-ADC), overshadowing the benefits of in-memory computations. We propose a hardware/software co-design methodology to deploy SNNs into an ADC-Less IMC architecture using sense-amplifiers as 1-bit ADCs replacing conventional HP-ADCs and alleviating the above issues. Our proposed framework incurs minimal accuracy degradation by performing hardware-aware training and is able to scale beyond simple image classification tasks to more complex sequential regression tasks. Experiments on complex tasks of optical flow estimation and gesture recognition show that progressively increasing the hardware awareness during SNN training allows the model to adapt and learn the errors due to the non-idealities associated with ADC-Less IMC. Also, the proposed ADC-Less IMC offers significant energy and latency improvements, $2-7\times$ and $8.9-24.6\times$, respectively, depending on the SNN model and the workload, compared to HP-ADC IMC.

超低功耗本地信号处理是始终安装在设备上的边缘应用的关键方面。尖刺神经网络的神经形态处理器显示出很大的计算能力，同时根据该领域的需要满足有限的电力预算。在这项工作中，我们提出了尖峰神经动力学作为扩张时间卷积的自然替代品。我们将这个想法扩展到WaveSense，这是一个由Wavenet Architects的激发灵感的尖峰神经网络。WaveSense使用简单的神经动力学，固定时间常数和简单的前馈结构，因此特别适用于神经形态实现。我们在几个数据集中测试此模型的功能，以用于关键字斑点。结果表明，该网络击败了其他尖刺神经网络的领域，并达到了诸如CNN和LSTM的人工神经网络的最先进的性能。

已知尖峰神经网络（SNN）对于神经形态处理器实施非常有效，可以在传统深度学习方法上提高能效和计算潜伏期的数量级。最近，随着监督培训算法对SNN的背景，最近也使可比的算法性能成为可能。但是，包括音频，视频和其他传感器衍生数据在内的信息通常被编码为不适合SNN的实用值信号，从而阻止网络利用SPIKE定时信息。因此，从实价信号到尖峰的有效编码是至关重要的，并且会显着影响整个系统的性能。为了有效地将信号编码为尖峰，必须考虑与手头任务相关的信息以及编码尖峰的密度。在本文中，我们在扬声器独立数字分类系统的背景下研究了四种尖峰编码方法：发送三角洲，第一次尖峰的时间，漏水的集成和火神经元和弯曲尖刺算法。我们首先表明，与传统的短期傅立叶变换相比，在编码生物启发的耳蜗时，使用较少的尖峰会产生更高的分类精度。然后，我们证明了两种对三角洲变体的发送导致分类结果可与最先进的深卷积神经网络基线相媲美，同时降低了编码的比特率。最后，我们表明，几种编码方法在某些情况下导致比传统深度学习基线的性能提高，进一步证明了编码实用值信号中编码算法的尖峰力量艺术技术。

在这项工作中，我们介绍了一种光电尖峰，能够以超速率（$ \ \左右100磅/光学尖峰）和低能耗（$ <$ PJ /秒码）运行。所提出的系统结合了具有负差分电导的可激发谐振隧道二极管（RTD）元件，耦合到纳米级光源（形成主节点）或光电探测器（形成接收器节点）。我们在数值上学习互连的主接收器RTD节点系统的尖峰动态响应和信息传播功能。使用脉冲阈值和集成的关键功能，我们利用单个节点来对顺序脉冲模式进行分类，并对图像特征（边缘）识别执行卷积功能。我们还展示了光学互连的尖峰神经网络模型，用于处理超过10 Gbps的时空数据，具有高推理精度。最后，我们展示了利用峰值定时依赖性可塑性的片外监督的学习方法，使能RTD的光子尖峰神经网络。这些结果证明了RTD尖峰节点用于低占地面积，低能量，高速光电实现神经形态硬件的潜在和可行性。

尖峰神经网络的事件驱动性质使它们具有生物学上可符合的和比人工神经网络更节能。在这项工作中，我们展示了二维视野中对象的运动检测。这里呈现的网络架构是生物学卓越的，并使用CMOS模拟泄漏整合和灭火神经元和超低功耗多层RRAM突触。具体的跨晶体管纤维Spice模拟表明，所提出的结构可以在二维视野中准确可靠地检测物体的复杂运动。

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

基于事件的摄像机最近由于其不同步捕获时间丰富的信息的能力而显示出高速运动估计的巨大潜力。具有神经启发的事件驱动的处理的尖峰神经网络（SNN）可以有效地处理异步数据，而神经元模型（例如泄漏的综合和火灾（LIF））可以跟踪输入中包含的典型时序信息。 SNN通过在神经元内存中保持动态状态，保留重要信息，同时忘记冗余数据随着时间的推移而实现这一目标。因此，我们认为，与类似大小的模拟神经网络（ANN）相比，SNN将允许在顺序回归任务上更好地性能。但是，由于以后的层消失了，很难训练深SNN。为此，我们提出了一个具有可学习的神经元动力学的自适应完全刺激框架，以减轻尖峰消失的问题。我们在时间（BPTT）中利用基于替代梯度的反向传播来从头开始训练我们的深SNN。我们验证了在多车立体化事件相机（MVSEC）数据集和DSEC-FLOW数据集中的光流估计任务的方法。我们在这些数据集上的实验显示，与最新的ANN相比，平均终点误差（AEE）平均降低了13％。我们还探索了几个缩小的模型，并观察到我们的SNN模型始终超过大小的ANN，提供10％-16％的AEE。这些结果证明了SNN对较小模型的重要性及其在边缘的适用性。在效率方面，与最先进的ANN实施相比，我们的SNN可节省大量的网络参数（48倍）和计算能（51倍），同时获得了〜10％的EPE。

由于降低了von-neumann架构运行深度学习模型的功耗的基本限制，在聚光灯下，基于低功率尖刺神经网络的神经栓塞系统的研究。为了整合大量神经元，神经元需要设计占据一个小面积，而是随着技术缩小，模拟神经元难以缩放，并且它们遭受降低的电压净空/动态范围和电路非线性。鉴于此，本文首先模拟了在28nm工艺中设计的现有电流镜的电压域神经元的非线性行为，并显示了神经元非线性的效果严重降低了SNN推理精度。然后，为了减轻这个问题，我们提出了一种新的神经元，该新型神经元在时域中加入输入的尖峰，并且大大改善了线性度，从而改善了与现有电压域神经元相比的推理精度。在Mnist DataSet上进行测试，所提出的神经元的推理误差率与理想神经元的引起误差率不同于0.1％。

深度估计是一个重要的计算机视觉任务，特别是用于自主车辆中的导航，或者在机器人中的对象操纵。在这里，我们使用端到端的神经形态方法解决了它，将两个事件的相机和尖峰神经网络（SNN）与略微修改的U-Net的编码器 - 解码器架构结合起来，我们命名为Sterepike。更具体地说，我们使用了多车辆立体声事件相机数据集（MVSEC）。它提供了深度地面真理，用于使用替代梯度下降以监督方式训练立体摩托车。我们提出了一种新颖的读数范式来获得密集的模拟预测 - 从解码器的尖峰中获得每个像素的深度。我们证明，这种体系结构概括得非常好，甚至比其非尖峰对应物更好，导致最先进的测试精度。据我们所知，这是第一次通过完全尖峰网络解决了这样一个大规模的回归问题。最后，我们表明，可以通过规范化获得低发射速率（<10％），精度最低的成本。这意味着可以在神经芯片上有效地实现Sterepositike，用于为低功率和实时嵌入式系统开门。

过去十年来，人们对人工智能（AI）的兴趣激增几乎完全由人工神经网络（ANN）的进步驱动。尽管ANN为许多以前棘手的问题设定了最先进的绩效，但它们需要大量的数据和计算资源进行培训，并且由于他们采用了监督的学习，他们通常需要知道每个培训示例的正确标记的响应，并限制它们对现实世界域的可扩展性。尖峰神经网络（SNN）是使用更多类似脑部神经元的ANN的替代方法，可以使用无监督的学习来发现输入数据中的可识别功能，而又不知道正确的响应。但是，SNN在动态稳定性方面挣扎，无法匹配ANN的准确性。在这里，我们展示了SNN如何克服文献中发现的许多缺点，包括为消失的尖峰问题提供原则性解决方案，以优于所有现有的浅SNN，并等于ANN的性能。它在使用无标记的数据和仅1/50的训练时期使用无监督的学习时完成了这一点（标记数据仅用于最终的简单线性读数层）。该结果使SNN成为可行的新方法，用于使用未标记的数据集快速，准确，有效，可解释的机器学习。