The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

穗状花序的神经形状硬件占据了深度神经网络（DNN）的更节能实现的承诺，而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN，否则能量优势丢失。特别地，解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器（LSTM）单元。我们展示了许多生物神经元的面部，在每个尖峰后缓慢的超积极性（AHP）电流，提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现，例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外，它为实现了非常稀疏的大量大型DNN来实现基础，这些大型DNN在文本中提取单词和句子之间的关系，以便回答有关文本的问题。

为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型，它是通过在“猜测和检查”的永无止境过程中运行的，神经元可以预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们系统的互动性，迭代性质非常适合感官流预测的连续时间表述，并且如我们所示，模型的结构产生了局部突触更新规则，可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中，我们对模型的实例化进行了实例化，该模型包括泄漏的集成和火灾单元。但是，我们系统所在的框架自然可以结合更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时，模型的潜力。值得注意的是，尖峰神经编码在分类绩效方面具有竞争力，并且在从任务序列中学习时会降低遗忘，从而提供了更经济的，具有生物学上的替代品，可用于流行的人工神经网络。

尽管神经网络在计算机视觉任务中取得了成功，但数字“神经元”还是生物神经元的非常松散的近似。当今的学习方法旨在在具有数字数据表示（例如图像帧）的数字设备上运行。相比之下，生物视觉系统通常比最先进的数字计算机视觉算法更有能力和高效。事件摄像机是一种新兴的传感器技术，它以异步射击像素模仿生物学视觉，避免了图像框架的概念。为了利用现代学习技术，许多基于事件的算法被迫将事件累积回图像帧，在某种程度上浪费了事件摄像机的优势。我们遵循相反的范式，并开发一种新型的神经网络，该网络更接近原始事件数据流。我们证明了角速度回归和竞争性光流估计中的最新性能，同时避免了与训练SNN相关的困难。此外，我们所提出的方法的处理延迟小于1/10，而连续推断将这种改进增加了另一个数量级。

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

Spiking Neural Networks (SNNs) are bio-plausible models that hold great potential for realizing energy-efficient implementations of sequential tasks on resource-constrained edge devices. However, commercial edge platforms based on standard GPUs are not optimized to deploy SNNs, resulting in high energy and latency. While analog In-Memory Computing (IMC) platforms can serve as energy-efficient inference engines, they are accursed by the immense energy, latency, and area requirements of high-precision ADCs (HP-ADC), overshadowing the benefits of in-memory computations. We propose a hardware/software co-design methodology to deploy SNNs into an ADC-Less IMC architecture using sense-amplifiers as 1-bit ADCs replacing conventional HP-ADCs and alleviating the above issues. Our proposed framework incurs minimal accuracy degradation by performing hardware-aware training and is able to scale beyond simple image classification tasks to more complex sequential regression tasks. Experiments on complex tasks of optical flow estimation and gesture recognition show that progressively increasing the hardware awareness during SNN training allows the model to adapt and learn the errors due to the non-idealities associated with ADC-Less IMC. Also, the proposed ADC-Less IMC offers significant energy and latency improvements, $2-7\times$ and $8.9-24.6\times$, respectively, depending on the SNN model and the workload, compared to HP-ADC IMC.

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.

尖峰神经网络已显示出具有人工神经网络的节能替代品。但是，对于常见的神经形态视觉基准（如分类），了解传感器噪声和输入编码对网络活动和性能的影响仍然很困难。因此，我们提出了一种使用替代梯度下降训练的单个对象定位的尖峰神经网络方法，用于基于框架和事件的传感器。我们将我们的方法与类似的人工神经网络进行比较，并表明我们的模型在准确性，对各种腐败的鲁棒性方面具有竞争力/更好的性能，并且能耗较低。此外，我们研究了神经编码方案对准确性，鲁棒性和能源效率的静态图像的影响。我们的观察结果与以前关于生物成分学习规则的研究重要差​​异，该规则有助于设计替代梯度训练的体系结构，并就噪声特征和数据编码方法方面的未来神经形态技术设计优先级。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

编译器框架对于广泛使用基于FPGA的深度学习加速器来说是至关重要的。它们允许研究人员和开发人员不熟悉硬件工程，以利用域特定逻辑所获得的性能。存在传统人工神经网络的各种框架。然而，没有多大的研究努力已经进入创建针对尖刺神经网络（SNNS）进行优化的框架。这种新一代的神经网络对于在边缘设备上部署AI的越来越有趣，其具有紧密的功率和资源约束。我们的端到端框架E3NE为FPGA自动生成高效的SNN推理逻辑。基于Pytorch模型和用户参数，它应用各种优化，并评估基于峰值的加速器固有的权衡。多个水平的并行性和新出现的神经编码方案的使用导致优于先前的SNN硬件实现的效率。对于类似的型号，E3NE使用的硬件资源的少于50％，功率较低20％，同时通过幅度降低延迟。此外，可扩展性和通用性允许部署大规模的SNN模型AlexNet和VGG。

信号处理是几乎任何传感器系统的基本组件，具有不同科学学科的广泛应用。时间序列数据，图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能，数据驱动，信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述，旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题，从基础到工业研究，以简明的主题部分组织，反映了每个研究领域的当前和未来发展的趋势和影响。此外，它为研究人员和资助机构提供了识别新前景的指导。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

近年来，尖峰神经网络（SNN）由于其丰富的时空动力学，各种编码方法和事件驱动的特征而自然拟合神经形态硬件，因此在脑启发的智能上受到了广泛的关注。随着SNN的发展，受到脑科学成就启发和针对人工通用智能的新兴研究领域的脑力智能变得越来越热。本文回顾了最新进展，并讨论了来自五个主要研究主题的SNN的新领域，包括基本要素（即尖峰神经元模型，编码方法和拓扑结构），神经形态数据集，优化算法，软件，软件和硬件框架。我们希望我们的调查能够帮助研究人员更好地了解SNN，并激发新作品以推进这一领域。

更具体地说，神经系统能够简单有效地解决复杂的问题，超过现代计算机。在这方面，神经形态工程是一个研究领域，重点是模仿控制大脑的基本原理，以开发实现此类计算能力的系统。在该领域中，生物启发的学习和记忆系统仍然是要解决的挑战，这就是海马涉及的地方。正是大脑的区域充当短期记忆，从而从大脑皮层的所有感觉核中学习，非结构化和快速存储信息及其随后的回忆。在这项工作中，我们提出了一个基于海马的新型生物启发的记忆模型，具有学习记忆的能力，从提示中回顾它们（与其他内容相关的记忆的一部分），甚至在尝试时忘记记忆通过相同的提示学习其他人。该模型已在使用尖峰神经网络上在大型摩托车硬件平台上实现，并进行了一组实验和测试以证明其正确且预期的操作。所提出的基于SPIKE的内存模型仅在接收输入，能提供节能的情况下才能生成SPIKES，并且需要7个时间步，用于学习步骤和6个时间段来召回以前存储的存储器。这项工作介绍了基于生物启发的峰值海马记忆模型的第一个硬件实现，为开发未来更复杂的神经形态系统的发展铺平了道路。

This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.

深度估计是一个重要的计算机视觉任务，特别是用于自主车辆中的导航，或者在机器人中的对象操纵。在这里，我们使用端到端的神经形态方法解决了它，将两个事件的相机和尖峰神经网络（SNN）与略微修改的U-Net的编码器 - 解码器架构结合起来，我们命名为Sterepike。更具体地说，我们使用了多车辆立体声事件相机数据集（MVSEC）。它提供了深度地面真理，用于使用替代梯度下降以监督方式训练立体摩托车。我们提出了一种新颖的读数范式来获得密集的模拟预测 - 从解码器的尖峰中获得每个像素的深度。我们证明，这种体系结构概括得非常好，甚至比其非尖峰对应物更好，导致最先进的测试精度。据我们所知，这是第一次通过完全尖峰网络解决了这样一个大规模的回归问题。最后，我们表明，可以通过规范化获得低发射速率（<10％），精度最低的成本。这意味着可以在神经芯片上有效地实现Sterepositike，用于为低功率和实时嵌入式系统开门。

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。