尖峰神经网络已显示出具有人工神经网络的节能替代品。但是，对于常见的神经形态视觉基准（如分类），了解传感器噪声和输入编码对网络活动和性能的影响仍然很困难。因此，我们提出了一种使用替代梯度下降训练的单个对象定位的尖峰神经网络方法，用于基于框架和事件的传感器。我们将我们的方法与类似的人工神经网络进行比较，并表明我们的模型在准确性，对各种腐败的鲁棒性方面具有竞争力/更好的性能，并且能耗较低。此外，我们研究了神经编码方案对准确性，鲁棒性和能源效率的静态图像的影响。我们的观察结果与以前关于生物成分学习规则的研究重要差​​异，该规则有助于设计替代梯度训练的体系结构，并就噪声特征和数据编码方法方面的未来神经形态技术设计优先级。

由于稀疏，异步和二进制事件（或尖峰）驱动加工，尖峰神经网络（SNNS）最近成为深度学习的替代方案，可以在神经形状硬件上产生巨大的能效益。然而，从划痕训练高精度和低潜伏期的SNN，患有尖刺神经元的非微弱性质。要在SNNS中解决此培训问题，我们重新批准批量标准化，并通过时间（BNTT）技术提出时间批量标准化。大多数先前的SNN工程到现在忽略了批量标准化，认为它无效地训练时间SNN。与以前的作品不同，我们提出的BNTT沿着时轴沿着时间轴解耦的参数，以捕获尖峰的时间动态。在BNTT中的时间上不断发展的可学习参数允许神经元通过不同的时间步长来控制其尖峰率，从头开始实现低延迟和低能量训练。我们对CiFar-10，CiFar-100，微小想象特和事件驱动的DVS-CIFAR10数据集进行实验。 BNTT允许我们首次在三个复杂的数据集中培训深度SNN架构，只需25-30步即可。我们还使用BNTT中的参数分布提前退出算法，以降低推断的延迟，进一步提高了能量效率。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。

由于它们的时间加工能力及其低交换（尺寸，重量和功率）以及神经形态硬件中的节能实现，尖峰神经网络（SNNS）已成为传统人工神经网络（ANN）的有趣替代方案。然而，培训SNNS所涉及的挑战在准确性方面有限制了它们的表现，从而限制了他们的应用。因此，改善更准确的特征提取的学习算法和神经架构是SNN研究中的当前优先级之一。在本文中，我们展示了现代尖峰架构的关键组成部分的研究。我们在从最佳执行网络中凭经验比较了图像分类数据集中的不同技术。我们设计了成功的残余网络（Reset）架构的尖峰版本，并测试了不同的组件和培训策略。我们的结果提供了SNN设计的最新版本，它允许在尝试构建最佳视觉特征提取器时进行明智的选择。最后，我们的网络优于CIFAR-10（94.1％）和CIFAR-100（74.5％）数据集的先前SNN架构，并将现有技术与DVS-CIFAR10（71.3％）相匹配，参数较少而不是先前的状态艺术，无需安静转换。代码在https://github.com/vicenteax/spiking_resnet上获得。

Event-based simulations of Spiking Neural Networks (SNNs) are fast and accurate. However, they are rarely used in the context of event-based gradient descent because their implementations on GPUs are difficult. Discretization with the forward Euler method is instead often used with gradient descent techniques but has the disadvantage of being computationally expensive. Moreover, the lack of precision of discretized simulations can create mismatches between the simulated models and analog neuromorphic hardware. In this work, we propose a new exact error-backpropagation through spikes method for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that our method can be efficiently implemented on GPUs in a fully event-based manner, making it fast to compute and precise enough for analog neuromorphic hardware. Compared to the original Fast \& Deep and the current state-of-the-art event-based gradient-descent algorithms, we demonstrate increased performance on several benchmark datasets with both feedforward and convolutional SNNs. In particular, we show that multi-spike SNNs can have advantages over single-spike networks in terms of convergence, sparsity, classification latency and sensitivity to the dead neuron problem.

基于事件的视觉传感器在事件流中编码本地像素方面的亮度变化，而不是图像帧，并且除了低延迟，高动态范围和缺乏运动模糊之外，还产生稀疏，节能编码。基于事件的传感器的对象识别的最新进展来自深度神经网络的转换，培训背部经历。但是，使用这些事件流的方法需要转换到同步范式，这不仅失去了计算效率，而且还会错过提取时空特征的机会。在本文中，我们提出了一种用于基于事件的模式识别和对象检测的深度神经网络的端到端培训的混合架构，将尖刺神经网络（SNN）骨干组合用于高效的基于事件的特征提取，以及随后的模拟神经网络（ANN）头解决同步分类和检测任务。这是通过将标准的梯度训练与替代梯度训练相结合来实现这一点来实现，以通过SNN传播梯度。可以在不转换的情况下培训混合SNN-ANN，并且导致高度准确的网络，这些网络比其ANN对应物大得多。我们演示了基于事件的分类和对象检测数据集的结果，其中只需要将ANN头的体系结构适应任务，并且不需要基于事件的输入的转换。由于ANNS和SNNS需要不同的硬件范式来最大限度地提高其效率，因此设想SNN骨干网和ANN头可以在不同的处理单元上执行，从而分析在两部分之间进行通信的必要带宽。混合网络是有前途的架构，以进一步推进基于事件的愿景的机器学习方法，而不必妥协效率。

Spiking Neural Networks (SNNs) are bio-plausible models that hold great potential for realizing energy-efficient implementations of sequential tasks on resource-constrained edge devices. However, commercial edge platforms based on standard GPUs are not optimized to deploy SNNs, resulting in high energy and latency. While analog In-Memory Computing (IMC) platforms can serve as energy-efficient inference engines, they are accursed by the immense energy, latency, and area requirements of high-precision ADCs (HP-ADC), overshadowing the benefits of in-memory computations. We propose a hardware/software co-design methodology to deploy SNNs into an ADC-Less IMC architecture using sense-amplifiers as 1-bit ADCs replacing conventional HP-ADCs and alleviating the above issues. Our proposed framework incurs minimal accuracy degradation by performing hardware-aware training and is able to scale beyond simple image classification tasks to more complex sequential regression tasks. Experiments on complex tasks of optical flow estimation and gesture recognition show that progressively increasing the hardware awareness during SNN training allows the model to adapt and learn the errors due to the non-idealities associated with ADC-Less IMC. Also, the proposed ADC-Less IMC offers significant energy and latency improvements, $2-7\times$ and $8.9-24.6\times$, respectively, depending on the SNN model and the workload, compared to HP-ADC IMC.

我们最近提出了S4NN算法，基本上是对多层尖峰神经网络的反向化的适应，该网上网络使用简单的非泄漏整合和火神经元和一种形式称为第一峰值编码的时间编码。通过这种编码方案，每次刺激最多一次都是神经元火灾，但射击令携带信息。这里，我们引入BS4NN，S4NN的修改，其中突触权重被约束为二进制（+1或-1），以便减少存储器（理想情况下，每个突触的一个比特）和计算占地面积。这是使用两组权重完成：首先，通过梯度下降更新的实际重量，并在BackProjagation的后退通行证中使用，其次是在前向传递中使用的迹象。类似的策略已被用于培训（非尖峰）二值化神经网络。主要区别在于BS4NN在时域中操作：尖峰依次繁殖，并且不同的神经元可以在不同时间达到它们的阈值，这增加了计算能力。我们验证了两个流行的基准，Mnist和Fashion-Mnist上的BS4NN，并获得了这种网络的合理精度（分别为97.0％和87.3％），具有可忽略的准确率，具有可忽略的重量率（0.4％和0.7％，分别）。我们还展示了BS4NN优于具有相同架构的简单BNN，在这两个数据集上（分别为0.2％和0.9％），可能是因为它利用时间尺寸。建议的BS4NN的源代码在HTTPS://github.com/srkh/bs4nn上公开可用。

Emergence of deep neural networks (DNNs) has raised enormous attention towards artificial neural networks (ANNs) once again. They have become the state-of-the-art models and have won different machine learning challenges. Although these networks are inspired by the brain, they lack biological plausibility, and they have structural differences compared to the brain. Spiking neural networks (SNNs) have been around for a long time, and they have been investigated to understand the dynamics of the brain. However, their application in real-world and complicated machine learning tasks were limited. Recently, they have shown great potential in solving such tasks. Due to their energy efficiency and temporal dynamics there are many promises in their future development. In this work, we reviewed the structures and performances of SNNs on image classification tasks. The comparisons illustrate that these networks show great capabilities for more complicated problems. Furthermore, the simple learning rules developed for SNNs, such as STDP and R-STDP, can be a potential alternative to replace the backpropagation algorithm used in DNNs.

基于事件的摄像机最近由于其不同步捕获时间丰富的信息的能力而显示出高速运动估计的巨大潜力。具有神经启发的事件驱动的处理的尖峰神经网络（SNN）可以有效地处理异步数据，而神经元模型（例如泄漏的综合和火灾（LIF））可以跟踪输入中包含的典型时序信息。 SNN通过在神经元内存中保持动态状态，保留重要信息，同时忘记冗余数据随着时间的推移而实现这一目标。因此，我们认为，与类似大小的模拟神经网络（ANN）相比，SNN将允许在顺序回归任务上更好地性能。但是，由于以后的层消失了，很难训练深SNN。为此，我们提出了一个具有可学习的神经元动力学的自适应完全刺激框架，以减轻尖峰消失的问题。我们在时间（BPTT）中利用基于替代梯度的反向传播来从头开始训练我们的深SNN。我们验证了在多车立体化事件相机（MVSEC）数据集和DSEC-FLOW数据集中的光流估计任务的方法。我们在这些数据集上的实验显示，与最新的ANN相比，平均终点误差（AEE）平均降低了13％。我们还探索了几个缩小的模型，并观察到我们的SNN模型始终超过大小的ANN，提供10％-16％的AEE。这些结果证明了SNN对较小模型的重要性及其在边缘的适用性。在效率方面，与最先进的ANN实施相比，我们的SNN可节省大量的网络参数（48倍）和计算能（51倍），同时获得了〜10％的EPE。

尽管神经形态计算的快速进展，但尖刺神经网络（SNNS）的能力不足和不足的表现力严重限制了其在实践中的应用范围。剩余学习和捷径被证明是培训深层神经网络的重要方法，但以前的工作评估了他们对基于尖峰的通信和时空动力学的特征的适用性。在本文中，我们首先确定这种疏忽导致受阻信息流程和伴随以前的残留SNN中的降解问题。然后，我们提出了一种新型的SNN定向的残余块MS-Reset，能够显着地扩展直接训练的SNN的深度，例如，在ImageNet上最多可在CiFar-10和104层上完成482层，而不会观察到任何轻微的降级问题。我们验证了基于帧和神经形态数据集的MS-Reset的有效性，并且MS-Resnet104在直接训练的SNN的域中的第一次实现了在ImageNet上的76.02％精度的优越结果。还观察到巨大的能量效率，平均仅需要每根神经元的一穗来分类输入样本。我们相信我们强大且可扩展的型号将为进一步探索SNN提供强大的支持。

由于其异步，稀疏和二进制信息处理，尖峰神经网络（SNN）最近成为人工神经网络（ANN）的低功耗替代品。为了提高能源效率和吞吐量，可以在使用新兴的非挥发性（NVM）设备在模拟域中实现多重和蓄积（MAC）操作的回忆横梁上实现SNN。尽管SNN与回忆性横梁具有兼容性，但很少关注固有的横杆非理想性和随机性对SNN的性能的影响。在本文中，我们对SNN在非理想横杆上的鲁棒性进行了全面分析。我们检查通过学习算法训练的SNN，例如，替代梯度和ANN-SNN转换。我们的结果表明，跨多个时间阶段的重复横梁计算会导致错误积累，从而导致SNN推断期间的性能下降。我们进一步表明，经过较少时间步长培训的SNN在部署在磁带横梁上时可以更好地准确。

深度估计是一个重要的计算机视觉任务，特别是用于自主车辆中的导航，或者在机器人中的对象操纵。在这里，我们使用端到端的神经形态方法解决了它，将两个事件的相机和尖峰神经网络（SNN）与略微修改的U-Net的编码器 - 解码器架构结合起来，我们命名为Sterepike。更具体地说，我们使用了多车辆立体声事件相机数据集（MVSEC）。它提供了深度地面真理，用于使用替代梯度下降以监督方式训练立体摩托车。我们提出了一种新颖的读数范式来获得密集的模拟预测 - 从解码器的尖峰中获得每个像素的深度。我们证明，这种体系结构概括得非常好，甚至比其非尖峰对应物更好，导致最先进的测试精度。据我们所知，这是第一次通过完全尖峰网络解决了这样一个大规模的回归问题。最后，我们表明，可以通过规范化获得低发射速率（<10％），精度最低的成本。这意味着可以在神经芯片上有效地实现Sterepositike，用于为低功率和实时嵌入式系统开门。

Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.

In the past years, artificial neural networks (ANNs) have become the de-facto standard to solve tasks in communications engineering that are difficult to solve with traditional methods. In parallel, the artificial intelligence community drives its research to biology-inspired, brain-like spiking neural networks (SNNs), which promise extremely energy-efficient computing. In this paper, we investigate the use of SNNs in the context of channel equalization for ultra-low complexity receivers. We propose an SNN-based equalizer with a feedback structure akin to the decision feedback equalizer (DFE). For conversion of real-world data into spike signals we introduce a novel ternary encoding and compare it with traditional log-scale encoding. We show that our approach clearly outperforms conventional linear equalizers for three different exemplary channels. We highlight that mainly the conversion of the channel output to spikes introduces a small performance penalty. The proposed SNN with a decision feedback structure enables the path to competitive energy-efficient transceivers.

Sparse representation has attracted great attention because it can greatly save storage re- sources and find representative features of data in a low-dimensional space. As a result, it may be widely applied in engineering domains including feature extraction, compressed sensing, signal denoising, picture clustering, and dictionary learning, just to name a few. In this paper, we propose a spiking sampling network. This network is composed of spiking neurons, and it can dynamically decide which pixel points should be retained and which ones need to be masked according to the input. Our experiments demonstrate that this approach enables better sparse representation of the original image and facilitates image reconstruction compared to random sampling. We thus use this approach for compressing massive data from the dynamic vision sensor, which greatly reduces the storage requirements for event data.

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

我们提出了一种新的学习算法，使用传统的人工神经网络（ANN）作为代理训练尖刺神经网络（SNN）。我们分别与具有相同网络架构和共享突触权重的集成和火（IF）和Relu神经元进行两次SNN和ANN网络。两个网络的前进通过完全独立。通过假设具有速率编码的神经元作为Relu的近似值，我们将SNN中的SNN的误差进行了回复，以更新共享权重，只需用SNN的ANN最终输出替换ANN最终输出。我们将建议的代理学习应用于深度卷积的SNNS，并在Fahion-Mnist和CiFar10的两个基准数据集上进行评估，分别为94.56％和93.11％的分类准确性。所提出的网络可以优于培训的其他深鼻涕，训练，替代学习，代理梯度学习，或从深处转换。转换的SNNS需要长时间的仿真时间来达到合理的准确性，而我们的代理学习导致高效的SNN，模拟时间较短。

尖峰神经网络（SNNS）模仿大脑计算策略，并在时空信息处理中表现出很大的功能。作为人类感知的基本因素，视觉关注是指生物视觉系统中显着区域的动态选择过程。尽管视觉注意力的机制在计算机视觉上取得了巨大成功，但很少会引入SNN中。受到预测注意重新映射的实验观察的启发，我们在这里提出了一种新的时空通道拟合注意力（SCTFA）模块，该模块可以通过使用历史积累的空间通道信息来指导SNN有效地捕获潜在的目标区域。通过在三个事件流数据集（DVS手势，SL-Animals-DVS和MNIST-DVS）上进行系统评估，我们证明了带有SCTFA模块（SCTFA-SNN）的SNN不仅显着超过了基线SNN（BL-SNN）（BL-SNN）（BL-SNN）以及其他两个具有退化注意力模块的SNN模型，但也通过现有最新方法实现了竞争精度。此外，我们的详细分析表明，所提出的SCTFA-SNN模型对噪声和出色的稳定性具有强大的稳健性，同时保持了可接受的复杂性和效率。总体而言，这些发现表明，适当纳入大脑的认知机制可能会提供一种有希望的方法来提高SNN的能力。