少量学习（使用少数样品学习）是人类大脑最重要的能力之一。然而，目前的人工智能系统遇到难以实现这种能力，因此作为生物合理的尖峰神经网络（SNNS）。传统少量拍摄域的数据集提供了少量的时间信息。并且没有神经形态数据集阻碍了SNNS的几次射击学习的发展。在这里，我们使用动态视觉传感器（DVS）提供第一神经形态数据集：N-Omniglot。它包含1623个类别的手写字符，只有20个样本每课。 N-Omniglot消除了对SNNS的神经形态数据集具有高的粉性和巨大的时间相干性。此外，DataSet由于笔划的时间顺序提供了强大的挑战和用于在几次拍摄学习域中开发SNNS算法的合适基准。我们还提供了改进的最近邻居，卷积网络，暹罗比特和Meta学习算法，用于验证。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。

神经形态计算是一个新兴的研究领域，旨在通过整合来自神经科学和深度学习等多学科的理论和技术来开发新的智能系统。当前，已经为相关字段开发了各种软件框架，但是缺乏专门用于基于Spike的计算模型和算法的有效框架。在这项工作中，我们提出了一个基于Python的尖峰神经网络（SNN）模拟和培训框架，又名Spaic，旨在支持脑启发的模型和算法研究，并与深度学习和神经科学的特征集成在一起。为了整合两个压倒性学科的不同方法，以及灵活性和效率之间的平衡，SpaiC设计采用神经科学风格的前端和深度学习后端结构设计。我们提供了广泛的示例，包括神经回路模拟，深入的SNN学习和神经形态应用，展示了简洁的编码样式和框架的广泛可用性。 Spaic是一个专用的基于SPIKE的人工智能计算平台，它将显着促进新模型，理论和应用的设计，原型和验证。具有用户友好，灵活和高性能，它将有助于加快神经形态计算研究的快速增长和广泛的适用性。

尖峰神经网络（SNNS）模仿大脑计算策略，并在时空信息处理中表现出很大的功能。作为人类感知的基本因素，视觉关注是指生物视觉系统中显着区域的动态选择过程。尽管视觉注意力的机制在计算机视觉上取得了巨大成功，但很少会引入SNN中。受到预测注意重新映射的实验观察的启发，我们在这里提出了一种新的时空通道拟合注意力（SCTFA）模块，该模块可以通过使用历史积累的空间通道信息来指导SNN有效地捕获潜在的目标区域。通过在三个事件流数据集（DVS手势，SL-Animals-DVS和MNIST-DVS）上进行系统评估，我们证明了带有SCTFA模块（SCTFA-SNN）的SNN不仅显着超过了基线SNN（BL-SNN）（BL-SNN）（BL-SNN）以及其他两个具有退化注意力模块的SNN模型，但也通过现有最新方法实现了竞争精度。此外，我们的详细分析表明，所提出的SCTFA-SNN模型对噪声和出色的稳定性具有强大的稳健性，同时保持了可接受的复杂性和效率。总体而言，这些发现表明，适当纳入大脑的认知机制可能会提供一种有希望的方法来提高SNN的能力。

Sparse representation has attracted great attention because it can greatly save storage re- sources and find representative features of data in a low-dimensional space. As a result, it may be widely applied in engineering domains including feature extraction, compressed sensing, signal denoising, picture clustering, and dictionary learning, just to name a few. In this paper, we propose a spiking sampling network. This network is composed of spiking neurons, and it can dynamically decide which pixel points should be retained and which ones need to be masked according to the input. Our experiments demonstrate that this approach enables better sparse representation of the original image and facilitates image reconstruction compared to random sampling. We thus use this approach for compressing massive data from the dynamic vision sensor, which greatly reduces the storage requirements for event data.

动作识别是人工智能的激动人心的研究途径，因为它可能是新兴工业领域（例如机器人视觉和汽车）的游戏规则。但是，由于巨大的计算成本和效率低下的学习，当前的深度学习面临着此类应用的主要挑战。因此，我们开发了一种新型的基于脑启发的尖峰神经网络（SNN）的系统，标题为用于在线动作学习的尖峰门控流（SGF）。开发的系统由多个以分层方式组装的SGF单元组成。单个SGF单元涉及三层：特征提取层，事件驱动的层和基于直方图的训练层。为了展示开发的系统功能，我们采用标准的动态视觉传感器（DVS）手势分类作为基准。结果表明，我们可以达到87.5％的精度，这与深度学习（DL）相当，但在较小的培训/推理数据编号比率为1.5：1。在学习过程中，只需要一个单个培训时代。同时，据我们所知，这是基于非回复算法的SNN中最高准确性。最后，我们结论了开发网络的几乎没有的学习范式：1）基于层次结构的网络设计涉及人类的先验知识； 2）用于基于内容的全局动态特征检测的SNN。

尖峰神经网络已显示出具有人工神经网络的节能替代品。但是，对于常见的神经形态视觉基准（如分类），了解传感器噪声和输入编码对网络活动和性能的影响仍然很困难。因此，我们提出了一种使用替代梯度下降训练的单个对象定位的尖峰神经网络方法，用于基于框架和事件的传感器。我们将我们的方法与类似的人工神经网络进行比较，并表明我们的模型在准确性，对各种腐败的鲁棒性方面具有竞争力/更好的性能，并且能耗较低。此外，我们研究了神经编码方案对准确性，鲁棒性和能源效率的静态图像的影响。我们的观察结果与以前关于生物成分学习规则的研究重要差​​异，该规则有助于设计替代梯度训练的体系结构，并就噪声特征和数据编码方法方面的未来神经形态技术设计优先级。

用尖峰神经网络（SNN）对基于事件的数据集开发神经形态智能最近引起了很多研究的关注。但是，基于事件的数据集的大小有限，使SNN易于过度拟合和不稳定的收敛性。以前的学术工作仍未探索这个问题。为了最大程度地减少这种泛化差距，我们提出了神经形态数据增强（NDA），这是一个专门针对基于事件的数据集设计的几何增强家族，目的是显着稳定SNN训练并减少训练和测试性能之间的概括差距。所提出的方法简单且与现有的SNN训练管道兼容。我们首次使用所提出的增强作用，证明了无监督的SNN对比度学习的可行性。我们对盛行的神经形态视觉基准进行了全面的实验，并表明NDA比以前的最新结果产生了实质性改进。例如，基于NDA的SNN分别在CIFAR10-DV和N-Caltech 101上获得了101％和13.7％的准确性增长。代码可在github https://github.com/intelligent-computing-lab-yale/nda_snn上找到。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

尖峰神经网络（SNN）是一种具有生物学知识的模型，具有高计算能力和低功耗的优势。虽然对深SNN的培训仍然是一个空旷的问题，但它限制了深SNN的现实应用。在这里，我们提出了一个名为Spiking SiamFC ++的深SNN架构，用于对象跟踪，并通过端到端直接培训。具体而言，Alexnet网络在时间域中扩展以提取该功能，并采用替代梯度功能来实现对深SNN的直接监督培训。为了检查尖峰SiAMFC ++的性能，考虑了几种跟踪基准测试，包括OTB2013，OTB2015，Dot2015，Dot2016和UAV123。发现与原始的siAMFC ++相比，精度损失很小。与现有的基于SNN的目标跟踪器相比，例如暹罗（Siamsnn），提议的Spiking SiamFC ++的精度（连续）达到了85.24％（64.37％），远高于52.78％（44.32％）的精度（64.37％）。 。据我们所知，Spiking SiamFC ++的性能优于基于SNN的对象跟踪中现有的最新方法，该方法为目标跟踪领域中的SNN应用提供了新的路径。这项工作可能会进一步促进SNN算法和神经形态芯片的发展。

尽管人工智能模型的进步，神经网络仍然无法实现人的表现，部分原因是由于信息是如何编码，并与人脑处理分歧。在一个人工神经网络（ANN）信息是使用统计方法来表示和处理为拟合函数，使在图像，文本和语音处理处理的结构模式。然而，实质性的变化的数据，例如统计特性，扭转的图像的背景，显着降低性能。在这里，我们提出了一个量子叠加扣球量子机制和现象在大脑中，它能够处理图像背景色的反转激发神经网络（QS-SNN）。的QS-SNN结合量子理论与脑启发从计算的角度来看尖峰神经网络模型，从而产生更鲁棒的性能与传统的人工神经网络模型进行比较，处理嘈杂输入时尤其如此。这里给出的结果将成为今后努力开发大脑启发的人工智能。

近年来，尖峰神经网络（SNN）由于其丰富的时空动力学，各种编码方法和事件驱动的特征而自然拟合神经形态硬件，因此在脑启发的智能上受到了广泛的关注。随着SNN的发展，受到脑科学成就启发和针对人工通用智能的新兴研究领域的脑力智能变得越来越热。本文回顾了最新进展，并讨论了来自五个主要研究主题的SNN的新领域，包括基本要素（即尖峰神经元模型，编码方法和拓扑结构），神经形态数据集，优化算法，软件，软件和硬件框架。我们希望我们的调查能够帮助研究人员更好地了解SNN，并激发新作品以推进这一领域。

为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型，它是通过在“猜测和检查”的永无止境过程中运行的，神经元可以预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们系统的互动性，迭代性质非常适合感官流预测的连续时间表述，并且如我们所示，模型的结构产生了局部突触更新规则，可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中，我们对模型的实例化进行了实例化，该模型包括泄漏的集成和火灾单元。但是，我们系统所在的框架自然可以结合更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时，模型的潜力。值得注意的是，尖峰神经编码在分类绩效方面具有竞争力，并且在从任务序列中学习时会降低遗忘，从而提供了更经济的，具有生物学上的替代品，可用于流行的人工神经网络。

由于其强大的时空信息表示能力，尖峰神经网络（SNN）引起了很多关注。胶囊神经网络（CAPSNET）在不同级别的组装和耦合功能方面做得好。在这里，我们通过将胶囊引入尖刺神经网络的建模来提出尖峰帽。此外，我们提出了更具生物合理的尖峰定时依赖性可塑性路线机构。通过充分考虑低水平尖峰胶囊与高级尖峰胶囊之间的时空关系，它们之间的耦合能力进一步提高。我们在Mnist和FashionMnist数据集上进行了验证的实验。与其他优秀的SNN模型相比，我们的算法仍然实现了高性能。我们的尖峰帽完全结合了SNN和Capsnet的增强，并对噪声和仿射变换表现出强大的稳健性。通过向测试数据集添加不同的盐胡椒和高斯噪声，实验结果表明，当有更多的噪音时，我们的尖峰帽显示出更强大的性能，而人工神经网络无法正确澄清。同样，我们的尖峰帽显示出强烈的概括，可以在漂式数据集上仿射转换。

我们介绍了基于优化的理论，描述了在视觉皮质中的经验观察到的尖刺皮质组合，其配备有尖峰定时依赖性塑性（STDP）学习。使用我们的方法，我们为基于事件的相机构建了一类完全连接的，基于卷积和动作的特征描述符，即我们分别评估N-Mnist，挑战Cifar10-DVS以及IBM DVS128手势数据集。与传统的最先进的事件的特征描述符相比，我们报告了显着的准确性改进（CIFAR10-DVS上的+ 8％）。与最先进的STDP的系统（在N-MNIST上+ 10％+ 10％+ 10％，在IBM DVS128手势上举报的准确性提高了大量改进）。除了神经形态边缘装置的超低功率学习之外，我们的作品还有助于铺平朝向基于生物学 - 基于的皮质视觉理论的方式。

Tactile sensing is essential for a variety of daily tasks. And recent advances in event-driven tactile sensors and Spiking Neural Networks (SNNs) spur the research in related fields. However, SNN-enabled event-driven tactile learning is still in its infancy due to the limited representation abilities of existing spiking neurons and high spatio-temporal complexity in the event-driven tactile data. In this paper, to improve the representation capability of existing spiking neurons, we propose a novel neuron model called "location spiking neuron", which enables us to extract features of event-based data in a novel way. Specifically, based on the classical Time Spike Response Model (TSRM), we develop the Location Spike Response Model (LSRM). In addition, based on the most commonly-used Time Leaky Integrate-and-Fire (TLIF) model, we develop the Location Leaky Integrate-and-Fire (LLIF) model. Moreover, to demonstrate the representation effectiveness of our proposed neurons and capture the complex spatio-temporal dependencies in the event-driven tactile data, we exploit the location spiking neurons to propose two hybrid models for event-driven tactile learning. Specifically, the first hybrid model combines a fully-connected SNN with TSRM neurons and a fully-connected SNN with LSRM neurons. And the second hybrid model fuses the spatial spiking graph neural network with TLIF neurons and the temporal spiking graph neural network with LLIF neurons. Extensive experiments demonstrate the significant improvements of our models over the state-of-the-art methods on event-driven tactile learning. Moreover, compared to the counterpart artificial neural networks (ANNs), our SNN models are 10x to 100x energy-efficient, which shows the superior energy efficiency of our models and may bring new opportunities to the spike-based learning community and neuromorphic engineering.

Emergence of deep neural networks (DNNs) has raised enormous attention towards artificial neural networks (ANNs) once again. They have become the state-of-the-art models and have won different machine learning challenges. Although these networks are inspired by the brain, they lack biological plausibility, and they have structural differences compared to the brain. Spiking neural networks (SNNs) have been around for a long time, and they have been investigated to understand the dynamics of the brain. However, their application in real-world and complicated machine learning tasks were limited. Recently, they have shown great potential in solving such tasks. Due to their energy efficiency and temporal dynamics there are many promises in their future development. In this work, we reviewed the structures and performances of SNNs on image classification tasks. The comparisons illustrate that these networks show great capabilities for more complicated problems. Furthermore, the simple learning rules developed for SNNs, such as STDP and R-STDP, can be a potential alternative to replace the backpropagation algorithm used in DNNs.

尖峰神经网络（SNNS）是一种实用方法，可以通过模拟神经元对时间信息的杠杆作用来进行更高的数据有效学习。在本文中，我们提出了时间通道联合注意（TCJA）架构单元，这是一种有效的SNN技术，依赖于注意机制，通过有效地沿空间和时间维度沿着尖峰序列的相关性来实现。我们的基本技术贡献在于：1）通过采用挤压操作，将尖峰流压缩为平均矩阵，然后使用具有高效1-D卷积的两种局部注意机制来建立时间和渠道关系，以在频道和渠道关系中进行特征提取灵活的时尚。 2）利用交叉卷积融合（CCF）层在时间范围和通道范围之间建模相互依赖性，从而破坏了两个维度的独立性，并实现了特征之间的相互作用。通过共同探索和重新启用数据流，我们的方法在所有测试的主流静态和神经形态数据集上，在包括时尚量的所有测试的主流静态数据集上，最高可先进的（SOTA）高达15.7％ ，CIFAR10-DVS，N-Caltech 101和DVS128手势。

图形卷积网络（GCN）由于学习图信息的显着表示能力而实现了令人印象深刻的性能。但是，GCN在深网上实施时需要昂贵的计算功率，因此很难将其部署在电池供电的设备上。相比之下，执行生物保真推理过程的尖峰神经网络（SNN）提供了节能的神经结构。在这项工作中，我们提出了SpikingGCN，这是一个端到端框架，旨在将GCN的嵌入与SNN的生物层性特征相结合。原始图数据根据图形卷积的合并编码为尖峰列车。我们通过利用与神经元节点结合的完全连接的层来进一步对生物信息处理进行建模。在各种场景（例如引用网络，图像图分类和推荐系统）中，我们的实验结果表明，该方法可以针对最新方法获得竞争性能。此外，我们表明，在神经形态芯片上的SpikingGCN可以将能源效率的明显优势带入图形数据分析中，这表明了其构建环境友好的机器学习模型的巨大潜力。