神经形态计算是一个新兴的研究领域，旨在通过整合来自神经科学和深度学习等多学科的理论和技术来开发新的智能系统。当前，已经为相关字段开发了各种软件框架，但是缺乏专门用于基于Spike的计算模型和算法的有效框架。在这项工作中，我们提出了一个基于Python的尖峰神经网络（SNN）模拟和培训框架，又名Spaic，旨在支持脑启发的模型和算法研究，并与深度学习和神经科学的特征集成在一起。为了整合两个压倒性学科的不同方法，以及灵活性和效率之间的平衡，SpaiC设计采用神经科学风格的前端和深度学习后端结构设计。我们提供了广泛的示例，包括神经回路模拟，深入的SNN学习和神经形态应用，展示了简洁的编码样式和框架的广泛可用性。 Spaic是一个专用的基于SPIKE的人工智能计算平台，它将显着促进新模型，理论和应用的设计，原型和验证。具有用户友好，灵活和高性能，它将有助于加快神经形态计算研究的快速增长和广泛的适用性。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

近年来，尖峰神经网络（SNN）由于其丰富的时空动力学，各种编码方法和事件驱动的特征而自然拟合神经形态硬件，因此在脑启发的智能上受到了广泛的关注。随着SNN的发展，受到脑科学成就启发和针对人工通用智能的新兴研究领域的脑力智能变得越来越热。本文回顾了最新进展，并讨论了来自五个主要研究主题的SNN的新领域，包括基本要素（即尖峰神经元模型，编码方法和拓扑结构），神经形态数据集，优化算法，软件，软件和硬件框架。我们希望我们的调查能够帮助研究人员更好地了解SNN，并激发新作品以推进这一领域。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

Emergence of deep neural networks (DNNs) has raised enormous attention towards artificial neural networks (ANNs) once again. They have become the state-of-the-art models and have won different machine learning challenges. Although these networks are inspired by the brain, they lack biological plausibility, and they have structural differences compared to the brain. Spiking neural networks (SNNs) have been around for a long time, and they have been investigated to understand the dynamics of the brain. However, their application in real-world and complicated machine learning tasks were limited. Recently, they have shown great potential in solving such tasks. Due to their energy efficiency and temporal dynamics there are many promises in their future development. In this work, we reviewed the structures and performances of SNNs on image classification tasks. The comparisons illustrate that these networks show great capabilities for more complicated problems. Furthermore, the simple learning rules developed for SNNs, such as STDP and R-STDP, can be a potential alternative to replace the backpropagation algorithm used in DNNs.

This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.

在过去的几十年中，人工智能领域大大进展，灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中，我们开发了一个原始的脑激发神经模型，将自组织地图（SOM）和Hebbian学习在重新参与索马里（RESOM）模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比，该模型增强了最先进的结果。这项工作还通过在名为SPARP（自配置3D蜂窝自适应平台）的专用FPGA的平台上的模拟结果和硬件执行，演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连，以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果，通过专用串行链路在每个板之间的通信。由于多模式关联，所提出的统一架构，由RESOM模型和头皮硬件平台组成的精度显着提高，与集中式GPU实现相比，延迟和功耗之间的良好折衷。

穗状花序的神经形状硬件占据了深度神经网络（DNN）的更节能实现的承诺，而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN，否则能量优势丢失。特别地，解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器（LSTM）单元。我们展示了许多生物神经元的面部，在每个尖峰后缓慢的超积极性（AHP）电流，提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现，例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外，它为实现了非常稀疏的大量大型DNN来实现基础，这些大型DNN在文本中提取单词和句子之间的关系，以便回答有关文本的问题。

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。

Loihi is a 60-mm 2 chip fabricated in Intel's 14-nm process that advances the state-of-the-art modeling of spiking neural networks in silicon. It integrates a wide range of novel features for the field, such as hierarchical connectivity, dendritic compartments, synaptic delays, and, most importantly, programmable synaptic learning rules. Running a spiking convolutional form of the Locally Competitive Algorithm, Loihi can solve LASSO optimization problems with over three orders of magnitude superior energy-delay product compared to conventional solvers running on a CPU isoprocess/voltage/area. This provides an unambiguous example of spike-based computation, outperforming all known conventional solutions.Neuroscience offers a bountiful source of inspiration for novel hardware architectures and algorithms. Through their complex interactions at large scales, biological neurons exhibit an impressive range of behaviors and properties that we currently struggle to model with modern analytical tools, let alone replicate with our design and manufacturing technology. Some of the magic that we see in the brain undoubtedly stems from exotic device and material properties that will remain out of our fabs' reach for

为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型，它是通过在“猜测和检查”的永无止境过程中运行的，神经元可以预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们系统的互动性，迭代性质非常适合感官流预测的连续时间表述，并且如我们所示，模型的结构产生了局部突触更新规则，可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中，我们对模型的实例化进行了实例化，该模型包括泄漏的集成和火灾单元。但是，我们系统所在的框架自然可以结合更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时，模型的潜力。值得注意的是，尖峰神经编码在分类绩效方面具有竞争力，并且在从任务序列中学习时会降低遗忘，从而提供了更经济的，具有生物学上的替代品，可用于流行的人工神经网络。

神经形态工程由于其作为研究领域的巨大潜力而​​集中了大量研究人员的努力，以寻找对生物神经系统的优势的利用，而整个大脑的优势是设计更有效，更真实的 - 有能力的应用程序。为了开发尽可能接近生物学的应用，使用了尖峰神经网络（SNN），被认为是生物学上的，并构成了第三代人工神经网络（ANN）。由于某些基于SNN的应用程序可能需要存储数据才能以后使用，因此在数字电路中既存在，又以某种形式，在生物学中，需要尖峰内存。这项工作介绍了内存的尖峰实现，这是计算机架构中最重要的组件之一，在设计完全尖峰计算机时可能至关重要。在设计这种尖峰内存的过程中，还实施了不同的中间组件和测试。测试是在大三角帆神经形态平台上进行的，并允许验证用于构建所构图的方法。此外，这项工作深入研究了如何使用这种方法构建尖峰块，并包括IT和其他类似作品中使用的方法的比较，该作品着重于尖峰组件的设计，其中包括尖峰逻辑门和尖峰记忆。所有实施的块和开发的测试均可在公共存储库中提供。

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

新颖的智能环境，如智能家居，智能城市和智能交通，正在推动在边缘设备部署深神经网络（DNN）的兴趣越来越兴趣。不幸的是，在资源受限的边缘设备上部署DNN构成了巨大的挑战。如果模拟器可以与深度学习框架互动，它可以促进在边缘深度学习的研究。现有的仿真框架（如MATLAB，NS-3等）尚未扩展以支持边缘学习的模拟。为了支持边缘节点上的大规模培训模拟，我们提出了一种基于离散的Edge学习模拟器。它包括深度学习模块和网络仿真模块。具体而言，它使模拟作为深度学习的环境。我们的框架是通用的，可以在部署深度学习模型之前在各种深度学习问题中使用。在本文中，我们提供了基于离散的学习模拟器的设计和实现细节，并呈现了所提出的模拟器的说明性用例。

Neuromorphic systems require user-friendly software to support the design and optimization of experiments. In this work, we address this need by presenting our development of a machine learning-based modeling framework for the BrainScaleS-2 neuromorphic system. This work represents an improvement over previous efforts, which either focused on the matrix-multiplication mode of BrainScaleS-2 or lacked full automation. Our framework, called hxtorch.snn, enables the hardware-in-the-loop training of spiking neural networks within PyTorch, including support for auto differentiation in a fully-automated hardware experiment workflow. In addition, hxtorch.snn facilitates seamless transitions between emulating on hardware and simulating in software. We demonstrate the capabilities of hxtorch.snn on a classification task using the Yin-Yang dataset employing a gradient-based approach with surrogate gradients and densely sampled membrane observations from the BrainScaleS-2 hardware system.

Cognitive Computing (COC) aims to build highly cognitive machines with low computational resources that respond in real-time. However, scholarly literature shows varying research areas and various interpretations of COC. This calls for a cohesive architecture that delineates the nature of COC. We argue that if Herbert Simon considered the design science is the science of artificial, cognitive systems are the products of cognitive science or 'the newest science of the artificial'. Therefore, building a conceptual basis for COC is an essential step into prospective cognitive computing-based systems. This paper proposes an architecture of COC through analyzing the literature on COC using a myriad of statistical analysis methods. Then, we compare the statistical analysis results with previous qualitative analysis results to confirm our findings. The study also comprehensively surveys the recent research on COC to identify the state of the art and connect the advances in varied research disciplines in COC. The study found that there are three underlaying computing paradigms, Von-Neuman, Neuromorphic Engineering and Quantum Computing, that comprehensively complement the structure of cognitive computation. The research discuss possible applications and open research directions under the COC umbrella.

更具体地说，神经系统能够简单有效地解决复杂的问题，超过现代计算机。在这方面，神经形态工程是一个研究领域，重点是模仿控制大脑的基本原理，以开发实现此类计算能力的系统。在该领域中，生物启发的学习和记忆系统仍然是要解决的挑战，这就是海马涉及的地方。正是大脑的区域充当短期记忆，从而从大脑皮层的所有感觉核中学习，非结构化和快速存储信息及其随后的回忆。在这项工作中，我们提出了一个基于海马的新型生物启发的记忆模型，具有学习记忆的能力，从提示中回顾它们（与其他内容相关的记忆的一部分），甚至在尝试时忘记记忆通过相同的提示学习其他人。该模型已在使用尖峰神经网络上在大型摩托车硬件平台上实现，并进行了一组实验和测试以证明其正确且预期的操作。所提出的基于SPIKE的内存模型仅在接收输入，能提供节能的情况下才能生成SPIKES，并且需要7个时间步，用于学习步骤和6个时间段来召回以前存储的存储器。这项工作介绍了基于生物启发的峰值海马记忆模型的第一个硬件实现，为开发未来更复杂的神经形态系统的发展铺平了道路。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

This short report reviews the current state of the research and methodology on theoretical and practical aspects of Artificial Neural Networks (ANN). It was prepared to gather state-of-the-art knowledge needed to construct complex, hypercomplex and fuzzy neural networks. The report reflects the individual interests of the authors and, by now means, cannot be treated as a comprehensive review of the ANN discipline. Considering the fast development of this field, it is currently impossible to do a detailed review of a considerable number of pages. The report is an outcome of the Project 'The Strategic Research Partnership for the mathematical aspects of complex, hypercomplex and fuzzy neural networks' meeting at the University of Warmia and Mazury in Olsztyn, Poland, organized in September 2022.

最近的研究表明，卷积神经网络（CNNS）不是图像分类的唯一可行的解决方案。此外，CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案，我们设计了使用峰值定时依赖性塑性（STDP）和其奖励调制变体（R-STDP）学习规则训练的本地连接的尖峰神经网络（SNN）。使用尖刺神经元和局部连接以及强化学习（RL）将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成，后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性，并评估我们有益于于不同目标响应的奖励系统的稳健性。