尖峰神经网络（SNNS）模仿大脑计算策略，并在时空信息处理中表现出很大的功能。作为人类感知的基本因素，视觉关注是指生物视觉系统中显着区域的动态选择过程。尽管视觉注意力的机制在计算机视觉上取得了巨大成功，但很少会引入SNN中。受到预测注意重新映射的实验观察的启发，我们在这里提出了一种新的时空通道拟合注意力（SCTFA）模块，该模块可以通过使用历史积累的空间通道信息来指导SNN有效地捕获潜在的目标区域。通过在三个事件流数据集（DVS手势，SL-Animals-DVS和MNIST-DVS）上进行系统评估，我们证明了带有SCTFA模块（SCTFA-SNN）的SNN不仅显着超过了基线SNN（BL-SNN）（BL-SNN）（BL-SNN）以及其他两个具有退化注意力模块的SNN模型，但也通过现有最新方法实现了竞争精度。此外，我们的详细分析表明，所提出的SCTFA-SNN模型对噪声和出色的稳定性具有强大的稳健性，同时保持了可接受的复杂性和效率。总体而言，这些发现表明，适当纳入大脑的认知机制可能会提供一种有希望的方法来提高SNN的能力。

尖峰神经网络（SNN）在各种智能场景中都表现出了出色的功能。大多数现有的训练SNN方法基于突触可塑性的概念。但是，在现实的大脑中学习还利用了神经元的内在非突触机制。生物神经元的尖峰阈值是一种关键的固有神经元特征，在毫秒的时间尺度上表现出丰富的动力学，并已被认为是一种促进神经信息处理的基本机制。在这项研究中，我们开发了一种新型的协同学习方法，该方法同时训练SNN中的突触权重和尖峰阈值。经过突触阈值协同学习（STL-SNN）训练的SNN在各种静态和神经形态数据集上的精度明显高于接受两种突触学习（SL）和阈值学习（TL）的单独学习模型（TL）的SNN。在训练过程中，协同学习方法优化了神经阈值，通过适当的触发速率为网络提供稳定的信号传输。进一步的分析表明，STL-SNN对嘈杂的数据是可靠的，并且对深网结构表现出低的能耗。此外，通过引入广义联合决策框架（JDF），可以进一步提高STL-SNN的性能。总体而言，我们的发现表明，突触和内在的非突触机制之间的生物学上合理的协同作用可能为开发高效的SNN学习方法提供了一种有希望的方法。

尖峰神经网络（SNNS）是一种实用方法，可以通过模拟神经元对时间信息的杠杆作用来进行更高的数据有效学习。在本文中，我们提出了时间通道联合注意（TCJA）架构单元，这是一种有效的SNN技术，依赖于注意机制，通过有效地沿空间和时间维度沿着尖峰序列的相关性来实现。我们的基本技术贡献在于：1）通过采用挤压操作，将尖峰流压缩为平均矩阵，然后使用具有高效1-D卷积的两种局部注意机制来建立时间和渠道关系，以在频道和渠道关系中进行特征提取灵活的时尚。 2）利用交叉卷积融合（CCF）层在时间范围和通道范围之间建模相互依赖性，从而破坏了两个维度的独立性，并实现了特征之间的相互作用。通过共同探索和重新启用数据流，我们的方法在所有测试的主流静态和神经形态数据集上，在包括时尚量的所有测试的主流静态数据集上，最高可先进的（SOTA）高达15.7％ ，CIFAR10-DVS，N-Caltech 101和DVS128手势。

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。

由于其强大的时空信息表示能力，尖峰神经网络（SNN）引起了很多关注。胶囊神经网络（CAPSNET）在不同级别的组装和耦合功能方面做得好。在这里，我们通过将胶囊引入尖刺神经网络的建模来提出尖峰帽。此外，我们提出了更具生物合理的尖峰定时依赖性可塑性路线机构。通过充分考虑低水平尖峰胶囊与高级尖峰胶囊之间的时空关系，它们之间的耦合能力进一步提高。我们在Mnist和FashionMnist数据集上进行了验证的实验。与其他优秀的SNN模型相比，我们的算法仍然实现了高性能。我们的尖峰帽完全结合了SNN和Capsnet的增强，并对噪声和仿射变换表现出强大的稳健性。通过向测试数据集添加不同的盐胡椒和高斯噪声，实验结果表明，当有更多的噪音时，我们的尖峰帽显示出更强大的性能，而人工神经网络无法正确澄清。同样，我们的尖峰帽显示出强烈的概括，可以在漂式数据集上仿射转换。

Spiking neural networks (SNNs) are receiving increasing attention due to their low power consumption and strong bio-plausibility. Optimization of SNNs is a challenging task. Two main methods, artificial neural network (ANN)-to-SNN conversion and spike-based backpropagation (BP), both have their advantages and limitations. For ANN-to-SNN conversion, it requires a long inference time to approximate the accuracy of ANN, thus diminishing the benefits of SNN. With spike-based BP, training high-precision SNNs typically consumes dozens of times more computational resources and time than their ANN counterparts. In this paper, we propose a novel SNN training approach that combines the benefits of the two methods. We first train a single-step SNN by approximating the neural potential distribution with random noise, then convert the single-step SNN to a multi-step SNN losslessly. The introduction of Gaussian distributed noise leads to a significant gain in accuracy after conversion. The results show that our method considerably reduces the training and inference times of SNNs while maintaining their high accuracy. Compared to the previous two methods, ours can reduce training time by 65%-75% and achieves more than 100 times faster inference speed. We also argue that the neuron model augmented with noise makes it more bio-plausible.

尖峰神经网络是低功率环境的有效计算模型。基于SPIKE的BP算法和ANN-TO-SNN（ANN2SNN）转换是SNN培训的成功技术。然而，尖峰碱BP训练速度很慢，需要大量的记忆成本。尽管Ann2NN提供了一种培训SNN的低成本方式，但它需要许多推理步骤才能模仿训练有素的ANN以表现良好。在本文中，我们提出了一个snn-to-ang（SNN2ANN）框架，以快速和记忆的方式训练SNN。 SNN2ANN由2个组成部分组成：a）ANN和SNN和B）尖峰映射单元之间的重量共享体系结构。首先，该体系结构在ANN分支上训练重量共享参数，从而快速训练和SNN的记忆成本较低。其次，尖峰映射单元确保ANN的激活值是尖峰特征。结果，可以通过训练ANN分支来优化SNN的分类误差。此外，我们设计了一种自适应阈值调整（ATA）算法来解决嘈杂的尖峰问题。实验结果表明，我们的基于SNN2ANN的模型在基准数据集（CIFAR10，CIFAR100和TININE-IMAGENET）上表现良好。此外，SNN2ANN可以在0.625倍的时间步长，0.377倍训练时间，0.27倍GPU内存成本以及基于SPIKE的BP模型的0.33倍尖峰活动下实现可比精度。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

尽管神经形态计算的快速进展，但尖刺神经网络（SNNS）的能力不足和不足的表现力严重限制了其在实践中的应用范围。剩余学习和捷径被证明是培训深层神经网络的重要方法，但以前的工作评估了他们对基于尖峰的通信和时空动力学的特征的适用性。在本文中，我们首先确定这种疏忽导致受阻信息流程和伴随以前的残留SNN中的降解问题。然后，我们提出了一种新型的SNN定向的残余块MS-Reset，能够显着地扩展直接训练的SNN的深度，例如，在ImageNet上最多可在CiFar-10和104层上完成482层，而不会观察到任何轻微的降级问题。我们验证了基于帧和神经形态数据集的MS-Reset的有效性，并且MS-Resnet104在直接训练的SNN的域中的第一次实现了在ImageNet上的76.02％精度的优越结果。还观察到巨大的能量效率，平均仅需要每根神经元的一穗来分类输入样本。我们相信我们强大且可扩展的型号将为进一步探索SNN提供强大的支持。

由于它们的时间加工能力及其低交换（尺寸，重量和功率）以及神经形态硬件中的节能实现，尖峰神经网络（SNNS）已成为传统人工神经网络（ANN）的有趣替代方案。然而，培训SNNS所涉及的挑战在准确性方面有限制了它们的表现，从而限制了他们的应用。因此，改善更准确的特征提取的学习算法和神经架构是SNN研究中的当前优先级之一。在本文中，我们展示了现代尖峰架构的关键组成部分的研究。我们在从最佳执行网络中凭经验比较了图像分类数据集中的不同技术。我们设计了成功的残余网络（Reset）架构的尖峰版本，并测试了不同的组件和培训策略。我们的结果提供了SNN设计的最新版本，它允许在尝试构建最佳视觉特征提取器时进行明智的选择。最后，我们的网络优于CIFAR-10（94.1％）和CIFAR-100（74.5％）数据集的先前SNN架构，并将现有技术与DVS-CIFAR10（71.3％）相匹配，参数较少而不是先前的状态艺术，无需安静转换。代码在https://github.com/vicenteax/spiking_resnet上获得。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

尖峰神经网络（SNN）是一种受脑启发的模型，具有更时空的信息处理能力和计算能效效率。但是，随着SNN深度的增加，由SNN​​的重量引起的记忆问题逐渐引起了人们的注意。受到人工神经网络（ANN）量化技术的启发，引入了二进制SNN（BSNN）来解决记忆问题。由于缺乏合适的学习算法，BSNN通常由ANN-SNN转换获得，其准确性将受到训练有素的ANN的限制。在本文中，我们提出了具有准确性损失估计器的超低潜伏期自适应局部二进制二进制尖峰神经网络（ALBSNN），该网络层动态选择要进行二进制的网络层，以通过评估由二进制重量引起的错误来确保网络的准确性在网络学习过程中。实验结果表明，此方法可以将存储空间降低超过20％，而不会丢失网络准确性。同时，为了加速网络的训练速度，引入了全球平均池（GAP）层，以通过卷积和合并的组合替换完全连接的层，以便SNN可以使用少量时间获得更好识别准确性的步骤。在仅使用一个时间步骤的极端情况下，我们仍然可以在三个不同的数据集（FashionMnist，CIFAR-10和CIFAR-10和CIFAR-100）上获得92.92％，91.63％和63.54％的测试精度。

尖峰神经网络（SNN）是第三代人工神经网络，可以在神经形态硬件上实施节能。但是，尖峰的离散传播给坚固且高性能的学习机制带来了重大挑战。大多数现有的作品仅着眼于神经元之间的学习，但忽略了突触之间的影响，从而导致稳健性和准确性丧失。为了解决这个问题，我们通过对突触（APB）（APB）之间的关联可塑性（APB）进行建模，从而提出了一种强大而有效的学习机制。使用提出的APB方法，当其他神经元同时刺激时，同一神经元的突触通过共享因素相互作用。此外，我们提出了一种时空种植和翻转（STCF）方法，以提高网络的概括能力。广泛的实验表明，我们的方法在静态CIFAR-10数据集和神经形态MNIST-DV的最新性能上实现了卓越的性能，通过轻量级卷积网络，CIFAR10-DVS数据集。据我们所知，这是第一次探索突触之间的学习方法和神经形态数据的扩展方法。

Tactile sensing is essential for a variety of daily tasks. And recent advances in event-driven tactile sensors and Spiking Neural Networks (SNNs) spur the research in related fields. However, SNN-enabled event-driven tactile learning is still in its infancy due to the limited representation abilities of existing spiking neurons and high spatio-temporal complexity in the event-driven tactile data. In this paper, to improve the representation capability of existing spiking neurons, we propose a novel neuron model called "location spiking neuron", which enables us to extract features of event-based data in a novel way. Specifically, based on the classical Time Spike Response Model (TSRM), we develop the Location Spike Response Model (LSRM). In addition, based on the most commonly-used Time Leaky Integrate-and-Fire (TLIF) model, we develop the Location Leaky Integrate-and-Fire (LLIF) model. Moreover, to demonstrate the representation effectiveness of our proposed neurons and capture the complex spatio-temporal dependencies in the event-driven tactile data, we exploit the location spiking neurons to propose two hybrid models for event-driven tactile learning. Specifically, the first hybrid model combines a fully-connected SNN with TSRM neurons and a fully-connected SNN with LSRM neurons. And the second hybrid model fuses the spatial spiking graph neural network with TLIF neurons and the temporal spiking graph neural network with LLIF neurons. Extensive experiments demonstrate the significant improvements of our models over the state-of-the-art methods on event-driven tactile learning. Moreover, compared to the counterpart artificial neural networks (ANNs), our SNN models are 10x to 100x energy-efficient, which shows the superior energy efficiency of our models and may bring new opportunities to the spike-based learning community and neuromorphic engineering.

Event-based simulations of Spiking Neural Networks (SNNs) are fast and accurate. However, they are rarely used in the context of event-based gradient descent because their implementations on GPUs are difficult. Discretization with the forward Euler method is instead often used with gradient descent techniques but has the disadvantage of being computationally expensive. Moreover, the lack of precision of discretized simulations can create mismatches between the simulated models and analog neuromorphic hardware. In this work, we propose a new exact error-backpropagation through spikes method for SNNs, extending Fast \& Deep to multiple spikes per neuron. We show that our method can be efficiently implemented on GPUs in a fully event-based manner, making it fast to compute and precise enough for analog neuromorphic hardware. Compared to the original Fast \& Deep and the current state-of-the-art event-based gradient-descent algorithms, we demonstrate increased performance on several benchmark datasets with both feedforward and convolutional SNNs. In particular, we show that multi-spike SNNs can have advantages over single-spike networks in terms of convergence, sparsity, classification latency and sensitivity to the dead neuron problem.

基于事件的视觉传感器在事件流中编码本地像素方面的亮度变化，而不是图像帧，并且除了低延迟，高动态范围和缺乏运动模糊之外，还产生稀疏，节能编码。基于事件的传感器的对象识别的最新进展来自深度神经网络的转换，培训背部经历。但是，使用这些事件流的方法需要转换到同步范式，这不仅失去了计算效率，而且还会错过提取时空特征的机会。在本文中，我们提出了一种用于基于事件的模式识别和对象检测的深度神经网络的端到端培训的混合架构，将尖刺神经网络（SNN）骨干组合用于高效的基于事件的特征提取，以及随后的模拟神经网络（ANN）头解决同步分类和检测任务。这是通过将标准的梯度训练与替代梯度训练相结合来实现这一点来实现，以通过SNN传播梯度。可以在不转换的情况下培训混合SNN-ANN，并且导致高度准确的网络，这些网络比其ANN对应物大得多。我们演示了基于事件的分类和对象检测数据集的结果，其中只需要将ANN头的体系结构适应任务，并且不需要基于事件的输入的转换。由于ANNS和SNNS需要不同的硬件范式来最大限度地提高其效率，因此设想SNN骨干网和ANN头可以在不同的处理单元上执行，从而分析在两部分之间进行通信的必要带宽。混合网络是有前途的架构，以进一步推进基于事件的愿景的机器学习方法，而不必妥协效率。

由于其异步，稀疏和二进制信息处理，尖峰神经网络（SNN）最近成为人工神经网络（ANN）的低功耗替代品。为了提高能源效率和吞吐量，可以在使用新兴的非挥发性（NVM）设备在模拟域中实现多重和蓄积（MAC）操作的回忆横梁上实现SNN。尽管SNN与回忆性横梁具有兼容性，但很少关注固有的横杆非理想性和随机性对SNN的性能的影响。在本文中，我们对SNN在非理想横杆上的鲁棒性进行了全面分析。我们检查通过学习算法训练的SNN，例如，替代梯度和ANN-SNN转换。我们的结果表明，跨多个时间阶段的重复横梁计算会导致错误积累，从而导致SNN推断期间的性能下降。我们进一步表明，经过较少时间步长培训的SNN在部署在磁带横梁上时可以更好地准确。

尖峰神经网络（SNNS）模仿大脑中信息传播可以通过离散和稀疏的尖峰来能够能够通过离散和稀疏的尖峰来处理时空信息，从而受到相当大的关注。为了提高SNN的准确性和能源效率，大多数以前的研究仅集中在训练方法上，并且很少研究建筑的效果。我们研究了先前研究中使用的设计选择，从尖峰的准确性和数量来看，发现它们不是最适合SNN的。为了进一步提高准确性并减少SNN产生的尖峰，我们提出了一个称为Autosnn的尖峰感知神经体系结构搜索框架。我们定义一个搜索空间，该搜索空间由架构组成，而没有不良的设计选择。为了启用Spike-Aware Architecture搜索，我们引入了一种健身，该健身既考虑尖峰的准确性和数量。 Autosnn成功地搜索了SNN体系结构，这些体系结构在准确性和能源效率方面都超过了手工制作的SNN。我们彻底证明了AutoSNN在包括神经形态数据集在内的各种数据集上的有效性。

Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.

Emergence of deep neural networks (DNNs) has raised enormous attention towards artificial neural networks (ANNs) once again. They have become the state-of-the-art models and have won different machine learning challenges. Although these networks are inspired by the brain, they lack biological plausibility, and they have structural differences compared to the brain. Spiking neural networks (SNNs) have been around for a long time, and they have been investigated to understand the dynamics of the brain. However, their application in real-world and complicated machine learning tasks were limited. Recently, they have shown great potential in solving such tasks. Due to their energy efficiency and temporal dynamics there are many promises in their future development. In this work, we reviewed the structures and performances of SNNs on image classification tasks. The comparisons illustrate that these networks show great capabilities for more complicated problems. Furthermore, the simple learning rules developed for SNNs, such as STDP and R-STDP, can be a potential alternative to replace the backpropagation algorithm used in DNNs.