尖峰神经网络（SNN）是一种具有生物学知识的模型，具有高计算能力和低功耗的优势。虽然对深SNN的培训仍然是一个空旷的问题，但它限制了深SNN的现实应用。在这里，我们提出了一个名为Spiking SiamFC ++的深SNN架构，用于对象跟踪，并通过端到端直接培训。具体而言，Alexnet网络在时间域中扩展以提取该功能，并采用替代梯度功能来实现对深SNN的直接监督培训。为了检查尖峰SiAMFC ++的性能，考虑了几种跟踪基准测试，包括OTB2013，OTB2015，Dot2015，Dot2016和UAV123。发现与原始的siAMFC ++相比，精度损失很小。与现有的基于SNN的目标跟踪器相比，例如暹罗（Siamsnn），提议的Spiking SiamFC ++的精度（连续）达到了85.24％（64.37％），远高于52.78％（44.32％）的精度（64.37％）。 。据我们所知，Spiking SiamFC ++的性能优于基于SNN的对象跟踪中现有的最新方法，该方法为目标跟踪领域中的SNN应用提供了新的路径。这项工作可能会进一步促进SNN算法和神经形态芯片的发展。

尖峰神经网络是低功率环境的有效计算模型。基于SPIKE的BP算法和ANN-TO-SNN（ANN2SNN）转换是SNN培训的成功技术。然而，尖峰碱BP训练速度很慢，需要大量的记忆成本。尽管Ann2NN提供了一种培训SNN的低成本方式，但它需要许多推理步骤才能模仿训练有素的ANN以表现良好。在本文中，我们提出了一个snn-to-ang（SNN2ANN）框架，以快速和记忆的方式训练SNN。 SNN2ANN由2个组成部分组成：a）ANN和SNN和B）尖峰映射单元之间的重量共享体系结构。首先，该体系结构在ANN分支上训练重量共享参数，从而快速训练和SNN的记忆成本较低。其次，尖峰映射单元确保ANN的激活值是尖峰特征。结果，可以通过训练ANN分支来优化SNN的分类误差。此外，我们设计了一种自适应阈值调整（ATA）算法来解决嘈杂的尖峰问题。实验结果表明，我们的基于SNN2ANN的模型在基准数据集（CIFAR10，CIFAR100和TININE-IMAGENET）上表现良好。此外，SNN2ANN可以在0.625倍的时间步长，0.377倍训练时间，0.27倍GPU内存成本以及基于SPIKE的BP模型的0.33倍尖峰活动下实现可比精度。

基于无人机（UAV）基于无人机的视觉对象跟踪已实现了广泛的应用，并且由于其多功能性和有效性而引起了智能运输系统领域的越来越多的关注。作为深度学习革命性趋势的新兴力量，暹罗网络在基于无人机的对象跟踪中闪耀，其准确性，稳健性和速度有希望的平衡。由于开发了嵌入式处理器和深度神经网络的逐步优化，暹罗跟踪器获得了广泛的研究并实现了与无人机的初步组合。但是，由于无人机在板载计算资源和复杂的现实情况下，暹罗网络的空中跟踪仍然在许多方面都面临严重的障碍。为了进一步探索基于无人机的跟踪中暹罗网络的部署，这项工作对前沿暹罗跟踪器进行了全面的审查，以及使用典型的无人机板载处理器进行评估的详尽无人用分析。然后，进行板载测试以验证代表性暹罗跟踪器在现实世界无人机部署中的可行性和功效。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有的暹罗跟踪器的局限性，并进行了以低弹片评估表示的其他实验。最后，深入讨论了基于无人机的智能运输系统的暹罗跟踪的前景。领先的暹罗跟踪器的统一框架，即代码库及其实验评估的结果，请访问https://github.com/vision4robotics/siamesetracking4uav。

尖峰神经网络已显示出具有人工神经网络的节能替代品。但是，对于常见的神经形态视觉基准（如分类），了解传感器噪声和输入编码对网络活动和性能的影响仍然很困难。因此，我们提出了一种使用替代梯度下降训练的单个对象定位的尖峰神经网络方法，用于基于框架和事件的传感器。我们将我们的方法与类似的人工神经网络进行比较，并表明我们的模型在准确性，对各种腐败的鲁棒性方面具有竞争力/更好的性能，并且能耗较低。此外，我们研究了神经编码方案对准确性，鲁棒性和能源效率的静态图像的影响。我们的观察结果与以前关于生物成分学习规则的研究重要差​​异，该规则有助于设计替代梯度训练的体系结构，并就噪声特征和数据编码方法方面的未来神经形态技术设计优先级。

由于具有高生物学合理性和低能消耗在神经形态硬件上的特性，因此尖峰神经网络（SNN）非常重要。作为获得深SNN的有效方法，转化方法在各种大型数据集上表现出高性能。但是，它通常遭受严重的性能降解和高时间延迟。特别是，以前的大多数工作都集中在简单的分类任务上，同时忽略了与ANN输出的精确近似。在本文中，我们首先从理论上分析转换误差，并得出时间变化极端对突触电流的有害影响。我们提出尖峰校准（Spicalib），以消除离散尖峰对输出分布的损坏，并修改脂肪，以使任意最大化层无损地转换。此外，提出了针对最佳标准化参数的贝叶斯优化，以避免经验设置。实验结果证明了分类，对象检测和分割任务的最新性能。据我们所知，这是第一次获得与ANN同时在这些任务上相当的SNN。此外，我们只需要先前在检测任务上工作的1/50推理时间，并且可以在0.492 $ \ times $ $下在分段任务上实现相同的性能。

由于它们的时间加工能力及其低交换（尺寸，重量和功率）以及神经形态硬件中的节能实现，尖峰神经网络（SNNS）已成为传统人工神经网络（ANN）的有趣替代方案。然而，培训SNNS所涉及的挑战在准确性方面有限制了它们的表现，从而限制了他们的应用。因此，改善更准确的特征提取的学习算法和神经架构是SNN研究中的当前优先级之一。在本文中，我们展示了现代尖峰架构的关键组成部分的研究。我们在从最佳执行网络中凭经验比较了图像分类数据集中的不同技术。我们设计了成功的残余网络（Reset）架构的尖峰版本，并测试了不同的组件和培训策略。我们的结果提供了SNN设计的最新版本，它允许在尝试构建最佳视觉特征提取器时进行明智的选择。最后，我们的网络优于CIFAR-10（94.1％）和CIFAR-100（74.5％）数据集的先前SNN架构，并将现有技术与DVS-CIFAR10（71.3％）相匹配，参数较少而不是先前的状态艺术，无需安静转换。代码在https://github.com/vicenteax/spiking_resnet上获得。

我们提出了一种新的学习算法，使用传统的人工神经网络（ANN）作为代理训练尖刺神经网络（SNN）。我们分别与具有相同网络架构和共享突触权重的集成和火（IF）和Relu神经元进行两次SNN和ANN网络。两个网络的前进通过完全独立。通过假设具有速率编码的神经元作为Relu的近似值，我们将SNN中的SNN的误差进行了回复，以更新共享权重，只需用SNN的ANN最终输出替换ANN最终输出。我们将建议的代理学习应用于深度卷积的SNNS，并在Fahion-Mnist和CiFar10的两个基准数据集上进行评估，分别为94.56％和93.11％的分类准确性。所提出的网络可以优于培训的其他深鼻涕，训练，替代学习，代理梯度学习，或从深处转换。转换的SNNS需要长时间的仿真时间来达到合理的准确性，而我们的代理学习导致高效的SNN，模拟时间较短。

尖峰神经网络（SNN）是一种受脑启发的模型，具有更时空的信息处理能力和计算能效效率。但是，随着SNN深度的增加，由SNN​​的重量引起的记忆问题逐渐引起了人们的注意。受到人工神经网络（ANN）量化技术的启发，引入了二进制SNN（BSNN）来解决记忆问题。由于缺乏合适的学习算法，BSNN通常由ANN-SNN转换获得，其准确性将受到训练有素的ANN的限制。在本文中，我们提出了具有准确性损失估计器的超低潜伏期自适应局部二进制二进制尖峰神经网络（ALBSNN），该网络层动态选择要进行二进制的网络层，以通过评估由二进制重量引起的错误来确保网络的准确性在网络学习过程中。实验结果表明，此方法可以将存储空间降低超过20％，而不会丢失网络准确性。同时，为了加速网络的训练速度，引入了全球平均池（GAP）层，以通过卷积和合并的组合替换完全连接的层，以便SNN可以使用少量时间获得更好识别准确性的步骤。在仅使用一个时间步骤的极端情况下，我们仍然可以在三个不同的数据集（FashionMnist，CIFAR-10和CIFAR-10和CIFAR-100）上获得92.92％，91.63％和63.54％的测试精度。

基于事件的视觉传感器在事件流中编码本地像素方面的亮度变化，而不是图像帧，并且除了低延迟，高动态范围和缺乏运动模糊之外，还产生稀疏，节能编码。基于事件的传感器的对象识别的最新进展来自深度神经网络的转换，培训背部经历。但是，使用这些事件流的方法需要转换到同步范式，这不仅失去了计算效率，而且还会错过提取时空特征的机会。在本文中，我们提出了一种用于基于事件的模式识别和对象检测的深度神经网络的端到端培训的混合架构，将尖刺神经网络（SNN）骨干组合用于高效的基于事件的特征提取，以及随后的模拟神经网络（ANN）头解决同步分类和检测任务。这是通过将标准的梯度训练与替代梯度训练相结合来实现这一点来实现，以通过SNN传播梯度。可以在不转换的情况下培训混合SNN-ANN，并且导致高度准确的网络，这些网络比其ANN对应物大得多。我们演示了基于事件的分类和对象检测数据集的结果，其中只需要将ANN头的体系结构适应任务，并且不需要基于事件的输入的转换。由于ANNS和SNNS需要不同的硬件范式来最大限度地提高其效率，因此设想SNN骨干网和ANN头可以在不同的处理单元上执行，从而分析在两部分之间进行通信的必要带宽。混合网络是有前途的架构，以进一步推进基于事件的愿景的机器学习方法，而不必妥协效率。

大脑中尖刺神经元之间的沟通的事件驱动和稀疏性质对灵活和节能的AI来说具有很大的承诺。学习算法的最新进展已经证明，与标准经常性神经网络相比，可以有效地培训尖刺神经元的复发网络以实现竞争性能。尽管如此，随着这些学习算法使用错误 - 反复通过时间（BPTT），它们遭受了高的内存要求，慢慢训练，并且与在线学习不兼容。这将这些学习算法的应用限制为相对较小的网络和有限的时间序列长度。已经提出了具有较低计算和内存复杂性的BPTT的在线近似（E-PROP，OSTL），但在实践中也遭受内存限制，并且作为近似，不要倾销标准BPTT训练。在这里，我们展示了最近开发的BPTT替代方法，通过时间（FPTT）可以应用于尖峰神经网络。与BPTT不同，FPTT试图最大限度地减少损失的持续动态正常风险。结果，可以以在线方式计算FPTT，并且相对于序列长度具有固定的复杂性。与新型动态尖刺神经元模型结合时，液态常数神经元，我们表明SNNS培训了FPTT优于在线BPTT近似，并在时间分类任务上接近或超过离线BPTT精度。因此，这种方法使得在长期序列中以记忆友好的在线方式训练SNNS并向新颖和复杂的神经架构进行扩展。

Visual object tracking has been a fundamental topic in recent years and many deep learning based trackers have achieved state-of-the-art performance on multiple benchmarks. However, most of these trackers can hardly get top performance with real-time speed. In this paper, we propose the Siamese region proposal network (Siamese-RPN) which is end-to-end trained off-line with large-scale image pairs. Specifically, it consists of Siamese subnetwork for feature extraction and region proposal subnetwork including the classification branch and regression branch. In the inference phase, the proposed framework is formulated as a local one-shot detection task. We can pre-compute the template branch of the Siamese subnetwork and formulate the correlation layers as trivial convolution layers to perform online tracking. Benefit from the proposal refinement, traditional multi-scale test and online fine-tuning can be discarded. The Siamese-RPN runs at 160 FPS while achieving leading performance in VOT2015, VOT2016 and VOT2017 real-time challenges.

尖峰神经网络（SNNS）模仿大脑计算策略，并在时空信息处理中表现出很大的功能。作为人类感知的基本因素，视觉关注是指生物视觉系统中显着区域的动态选择过程。尽管视觉注意力的机制在计算机视觉上取得了巨大成功，但很少会引入SNN中。受到预测注意重新映射的实验观察的启发，我们在这里提出了一种新的时空通道拟合注意力（SCTFA）模块，该模块可以通过使用历史积累的空间通道信息来指导SNN有效地捕获潜在的目标区域。通过在三个事件流数据集（DVS手势，SL-Animals-DVS和MNIST-DVS）上进行系统评估，我们证明了带有SCTFA模块（SCTFA-SNN）的SNN不仅显着超过了基线SNN（BL-SNN）（BL-SNN）（BL-SNN）以及其他两个具有退化注意力模块的SNN模型，但也通过现有最新方法实现了竞争精度。此外，我们的详细分析表明，所提出的SCTFA-SNN模型对噪声和出色的稳定性具有强大的稳健性，同时保持了可接受的复杂性和效率。总体而言，这些发现表明，适当纳入大脑的认知机制可能会提供一种有希望的方法来提高SNN的能力。

由于稀疏，异步和二进制事件（或尖峰）驱动加工，尖峰神经网络（SNNS）最近成为深度学习的替代方案，可以在神经形状硬件上产生巨大的能效益。然而，从划痕训练高精度和低潜伏期的SNN，患有尖刺神经元的非微弱性质。要在SNNS中解决此培训问题，我们重新批准批量标准化，并通过时间（BNTT）技术提出时间批量标准化。大多数先前的SNN工程到现在忽略了批量标准化，认为它无效地训练时间SNN。与以前的作品不同，我们提出的BNTT沿着时轴沿着时间轴解耦的参数，以捕获尖峰的时间动态。在BNTT中的时间上不断发展的可学习参数允许神经元通过不同的时间步长来控制其尖峰率，从头开始实现低延迟和低能量训练。我们对CiFar-10，CiFar-100，微小想象特和事件驱动的DVS-CIFAR10数据集进行实验。 BNTT允许我们首次在三个复杂的数据集中培训深度SNN架构，只需25-30步即可。我们还使用BNTT中的参数分布提前退出算法，以降低推断的延迟，进一步提高了能量效率。

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。

由于其异步，稀疏和二进制信息处理，尖峰神经网络（SNN）最近成为人工神经网络（ANN）的低功耗替代品。为了提高能源效率和吞吐量，可以在使用新兴的非挥发性（NVM）设备在模拟域中实现多重和蓄积（MAC）操作的回忆横梁上实现SNN。尽管SNN与回忆性横梁具有兼容性，但很少关注固有的横杆非理想性和随机性对SNN的性能的影响。在本文中，我们对SNN在非理想横杆上的鲁棒性进行了全面分析。我们检查通过学习算法训练的SNN，例如，替代梯度和ANN-SNN转换。我们的结果表明，跨多个时间阶段的重复横梁计算会导致错误积累，从而导致SNN推断期间的性能下降。我们进一步表明，经过较少时间步长培训的SNN在部署在磁带横梁上时可以更好地准确。

准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹，仅给出其初始位置和分段，或者在边界框的形式中粗略近似。判别相关滤波器（DCF）和深度暹罗网络（SNS）被出现为主导跟踪范式，这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后，该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查，基于九个跟踪基准。首先，我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后，我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外，我们彻底分析了DCF和暹罗跟踪器对九个基准的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估度量，性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。

少量学习（使用少数样品学习）是人类大脑最重要的能力之一。然而，目前的人工智能系统遇到难以实现这种能力，因此作为生物合理的尖峰神经网络（SNNS）。传统少量拍摄域的数据集提供了少量的时间信息。并且没有神经形态数据集阻碍了SNNS的几次射击学习的发展。在这里，我们使用动态视觉传感器（DVS）提供第一神经形态数据集：N-Omniglot。它包含1623个类别的手写字符，只有20个样本每课。 N-Omniglot消除了对SNNS的神经形态数据集具有高的粉性和巨大的时间相干性。此外，DataSet由于笔划的时间顺序提供了强大的挑战和用于在几次拍摄学习域中开发SNNS算法的合适基准。我们还提供了改进的最近邻居，卷积网络，暹罗比特和Meta学习算法，用于验证。

尖峰神经网络（SNNS）是一种实用方法，可以通过模拟神经元对时间信息的杠杆作用来进行更高的数据有效学习。在本文中，我们提出了时间通道联合注意（TCJA）架构单元，这是一种有效的SNN技术，依赖于注意机制，通过有效地沿空间和时间维度沿着尖峰序列的相关性来实现。我们的基本技术贡献在于：1）通过采用挤压操作，将尖峰流压缩为平均矩阵，然后使用具有高效1-D卷积的两种局部注意机制来建立时间和渠道关系，以在频道和渠道关系中进行特征提取灵活的时尚。 2）利用交叉卷积融合（CCF）层在时间范围和通道范围之间建模相互依赖性，从而破坏了两个维度的独立性，并实现了特征之间的相互作用。通过共同探索和重新启用数据流，我们的方法在所有测试的主流静态和神经形态数据集上，在包括时尚量的所有测试的主流静态数据集上，最高可先进的（SOTA）高达15.7％ ，CIFAR10-DVS，N-Caltech 101和DVS128手势。

Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).