尖峰神经网络是一种神经形态计算，据信可以提高智能水平，并为量子计算提供了前提。在这项工作中，我们通过设计一个光学尖峰神经网络来解决此问题，并证明它可以用于加速计算速度，尤其是在组合优化问题上。在这里，尖峰神经网络是由反对称耦合的退化光学参数振荡器脉冲和耗散脉冲构建的。选择非线性转移函数以减轻幅度不均匀性，并根据峰值神经元的动态行为破坏所得的局部最小值。从数值上证明，尖峰神经网络协会机器在组合优化问题上具有出色的性能，预计将为神经计算和光学计算提供新的应用程序。

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

ising机器是一个有前途的非von-neumann用于神经网络训练和组合优化的计算概念。然而，虽然可以用诸如展示机器实现各种神经网络，但是它们无法执行快速统计采样使得它们与数字计算机相比训练这些神经网络的效率低。在这里，我们通过注入模拟噪声来介绍一个通用概念，以实现具有ising机器的超快统计抽样。通过光电型机，我们证明这可用于精确采样Boltzmann分布和无监督的神经网络训练，具有与基于软件的培训等于准确性。通过模拟，我们发现ising机器可以比基于软件的方法更快地执行统计采样顺序。这使得Ising Machines成为机器学习的有效工具和超出组合优化的其他应用。

由于降低了von-neumann架构运行深度学习模型的功耗的基本限制，在聚光灯下，基于低功率尖刺神经网络的神经栓塞系统的研究。为了整合大量神经元，神经元需要设计占据一个小面积，而是随着技术缩小，模拟神经元难以缩放，并且它们遭受降低的电压净空/动态范围和电路非线性。鉴于此，本文首先模拟了在28nm工艺中设计的现有电流镜的电压域神经元的非线性行为，并显示了神经元非线性的效果严重降低了SNN推理精度。然后，为了减轻这个问题，我们提出了一种新的神经元，该新型神经元在时域中加入输入的尖峰，并且大大改善了线性度，从而改善了与现有电压域神经元相比的推理精度。在Mnist DataSet上进行测试，所提出的神经元的推理误差率与理想神经元的引起误差率不同于0.1％。

人工智能革命（AI）提出了巨大的存储和数据处理要求。大量的功耗和硬件开销已成为构建下一代AI硬件的主要挑战。为了减轻这种情况，神经形态计算引起了极大的关注，因为它在功耗非常低的功能方面具有出色的数据处理能力。尽管无情的研究已经进行了多年，以最大程度地减少神经形态硬件的功耗，但我们离达到人脑的能源效率还有很长的路要走。此外，设计复杂性和过程变化阻碍了当前神经形态平台的大规模实现。最近，由于其出色的速度和功率指标，在低温温度中实施神经形态计算系统的概念引起了人们的兴趣。可以设计几种低温装置，可作为具有超低功率需求的神经形态原始设备。在这里，我们全面回顾了低温神经形态硬件。我们将现有的低温神经形态硬件分类为几个分层类别，并根据关键性能指标绘制比较分析。我们的分析简洁地描述了相关电路拓扑的操作，并概述了最先进的技术平台遇到的优势和挑战。最后，我们提供了见解，以规避这些挑战，以实现未来的研究发展。

我们训练神经形态硬件芯片以通过变分能最小化近似Quantum旋转模型的地面状态。与使用马尔可夫链蒙特卡罗进行样品生成的变分人工神经网络相比，这种方法具有优点：神经形态器件以快速和固有的并行方式产生样品。我们开发培训算法，并将其应用于横向场介绍模型，在中等系统尺寸下显示出良好的性能（$ n \ LEQ 10 $）。系统的普遍开心研究表明，较大系统尺寸的可扩展性主要取决于样品质量，该样品质量受到模拟神经芯片上的参数漂移的限制。学习性能显示阈值行为作为ansatz的变分参数的数量的函数，大约为50美元的隐藏神经元，足以表示关键地位，最高$ n = 10 $。网络参数的6 + 1位分辨率不会限制当前设置中的可达近似质量。我们的工作为利用神经形态硬件的能力提供了一种重要的一步，以解决量子数量问题中的维数诅咒。

在这项工作中，我们介绍了一种光电尖峰，能够以超速率（$ \ \左右100磅/光学尖峰）和低能耗（$ <$ PJ /秒码）运行。所提出的系统结合了具有负差分电导的可激发谐振隧道二极管（RTD）元件，耦合到纳米级光源（形成主节点）或光电探测器（形成接收器节点）。我们在数值上学习互连的主接收器RTD节点系统的尖峰动态响应和信息传播功能。使用脉冲阈值和集成的关键功能，我们利用单个节点来对顺序脉冲模式进行分类，并对图像特征（边缘）识别执行卷积功能。我们还展示了光学互连的尖峰神经网络模型，用于处理超过10 Gbps的时空数据，具有高推理精度。最后，我们展示了利用峰值定时依赖性可塑性的片外监督的学习方法，使能RTD的光子尖峰神经网络。这些结果证明了RTD尖峰节点用于低占地面积，低能量，高速光电实现神经形态硬件的潜在和可行性。

可激发的光电设备代表了在神经形态（脑启发）光子系统中实施人工尖峰神经元的关键构件之一。这项工作介绍并实验研究了用谐振隧穿二极管（RTD）构建的光电 - 光学（O/E/O）人工神经元，该神经元（RTD）耦合到光电探测器作为接收器和垂直腔表面发射激光器作为发射机。我们证明了一个明确定义的兴奋性阈值，在此上面，该神经元在该神经元中产生100 ns的光学尖峰反应，具有特征性的神经样耐受性。我们利用其粉丝功能来执行设备中的重合检测（逻辑和）以及独家逻辑或（XOR）任务。这些结果提供了基于RTD的Spiking光电神经元的确定性触发和任务的首次实验验证，并具有输入和输出光学（I/O）终端。此外，我们还从理论上研究了拟议系统的纳米光子实施的前景，并结合了纳米级RTD元素和纳米剂的整体设计。因此，在未来的神经形态光子硬件中，证明了基于RTD的综合兴奋节点对低足迹，高速光电尖峰神经元的潜力。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

在本文中，我们探讨了使用多个任务的单任务方法来解决多任务分类问题的尖峰神经网络的功能。我们设计并实施了一个多任务尖峰神经网络（MT-SNN），该网络可以在一次执行一项任务时学习两个或多个分类任务。通过调节此工作中使用的泄漏的集成和火神经元的发射阈值来选择执行的任务。该网络是使用Intel的Laihi2神经形态芯片的Intel熔岩平台实现的。对NMNIST数据的动态多任务分类进行测试。结果表明，MT-SNN通过修改其动力学有效地学习了多个任务，即尖峰神经元的触发阈值。

In the past years, artificial neural networks (ANNs) have become the de-facto standard to solve tasks in communications engineering that are difficult to solve with traditional methods. In parallel, the artificial intelligence community drives its research to biology-inspired, brain-like spiking neural networks (SNNs), which promise extremely energy-efficient computing. In this paper, we investigate the use of SNNs in the context of channel equalization for ultra-low complexity receivers. We propose an SNN-based equalizer with a feedback structure akin to the decision feedback equalizer (DFE). For conversion of real-world data into spike signals we introduce a novel ternary encoding and compare it with traditional log-scale encoding. We show that our approach clearly outperforms conventional linear equalizers for three different exemplary channels. We highlight that mainly the conversion of the channel output to spikes introduces a small performance penalty. The proposed SNN with a decision feedback structure enables the path to competitive energy-efficient transceivers.

探索和建立具有电生理特征和高计算效率的人工神经网络是计算机视觉领域的流行主题。受主要视觉皮层的工作机制的启发，脉冲耦合神经网络（PCNN）可以表现出同步振荡，难治期和指数衰减的特征。然而，电生理证据表明，当外部周期性信号刺激时，神经元表现出高度复杂的非线性动力学。这种混乱现象，也称为“蝴蝶效应”，无法用所有PCNN模型来解释。在这项工作中，我们分析了防止PCNN模型模仿真实主要视觉皮层的主要障碍。我们认为神经元激发是一个随机过程。然后，我们提出了一个新型的神经网络，称为连续耦合神经网络（CCNN）。理论分析表明，CCNN的动态行为与PCNN不同。数值结果表明，CCNN模型在直流刺激下表现出周期性的行为，并在交流刺激下表现出混沌行为，这与实际神经元的结果一致。此外，分析了CCNN模型的图像和视频处理机制。图像分割的实验结果表明，CCNN模型的性能要比视觉皮层神经网络模型的最先进。

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。

We propose a novel backpropagation algorithm for training spiking neural networks (SNNs) that encodes information in the relative multiple spike timing of individual neurons without single-spike restrictions. The proposed algorithm inherits the advantages of conventional timing-based methods in that it computes accurate gradients with respect to spike timing, which promotes ideal temporal coding. Unlike conventional methods where each neuron fires at most once, the proposed algorithm allows each neuron to fire multiple times. This extension naturally improves the computational capacity of SNNs. Our SNN model outperformed comparable SNN models and achieved as high accuracy as non-convolutional artificial neural networks. The spike count property of our networks was altered depending on the time constant of the postsynaptic current and the membrane potential. Moreover, we found that there existed the optimal time constant with the maximum test accuracy. That was not seen in conventional SNNs with single-spike restrictions on time-to-fast-spike (TTFS) coding. This result demonstrates the computational properties of SNNs that biologically encode information into the multi-spike timing of individual neurons. Our code would be publicly available.

这项研究提出了依赖电压突触可塑性（VDSP），这是一种新型的脑启发的无监督的本地学习规则，用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导，这使得相对于标准峰值依赖性可塑性（STDP）的更新数量减少了两倍。此更新取决于突触前神经元的膜电位，该神经元很容易作为神经元实现的一部分，因此不需要额外的存储器来存储。此外，该更新还对突触重量进行了正规化，并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能，我们训练一个单层尖峰神经网络（SNN），以识别手写数字。我们报告85.01 $ \ pm $ 0.76％（平均$ \ pm $ s.d。）对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时，性能会提高（400个输出神经元的89.93 $ \ pm $ 0.41％，500个神经元为90.56 $ \ pm $ 0.27），这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是，学习规则比STDP更好地适应输入信号的频率，并且不需要对超参数进行手动调整。

在这项工作中，我们认为寻找人工通用智能（AGI）应该从比人类水平的智能低得多的水平开始。自然界中智能行为的环境是由于有机体与周围环境相互作用的情况，这种环境可能会随着时间的流逝而改变，并对有机体施加压力，以便学习新的行为或环境模型。我们的假设是，学习是通过解释代理在环境中作用时的感觉反馈而发生的。为此，需要一个身体和反应性环境。我们评估了一种进化生物学启发的人工神经网络的方法，该神经网络从名为“人工通用智能的神经进化”（Nagi）的环境反应中学习，这是一个低水平AGI的框架。该方法允许使用自适应突触的随机启用尖峰神经网络的进化络合，该神经网络控制在可变环境中实例化的代理。这种配置使我们能够基准基准控制器的适应性和通用性。可变环境中所选的任务是食品觅食，逻辑门的仿真和卡特杆平衡。这三个任务通过相当小的网络拓扑成功解决，因此，它打开了实验更复杂的任务和方案的可能性，其中课程学习是有益的。

尖峰神经网络（SNN）被认为是执行各种学习任务的透视基础 - 无监督，监督和强化学习。通过突触可塑性实施SNN的学习 - 根据通常和突触后神经元的活性确定突触权重的规则。各种学习制度的多样性假设不同形式的突触可塑性可能是最有效的，例如，无监督和监督学习，因为它在生活神经元中观察到了从基本尖峰定时依赖性塑性（STDP）模型的许多偏差。在本文中，我们向无监督学习问题施加的可塑性规则制定具体要求，并构建新的可塑性模型概括STDP并满足这些要求。这种可塑性模型作为本工作中提出的新型监督学习算法的主要逻辑组成部分，称为Scobul（基于尖峰相关的学习）。我们还介绍了确认这些突触塑性规则和算法Scobul效率的计算机仿真实验结果。

由于具有高生物学合理性和低能消耗在神经形态硬件上的特性，因此尖峰神经网络（SNN）非常重要。作为获得深SNN的有效方法，转化方法在各种大型数据集上表现出高性能。但是，它通常遭受严重的性能降解和高时间延迟。特别是，以前的大多数工作都集中在简单的分类任务上，同时忽略了与ANN输出的精确近似。在本文中，我们首先从理论上分析转换误差，并得出时间变化极端对突触电流的有害影响。我们提出尖峰校准（Spicalib），以消除离散尖峰对输出分布的损坏，并修改脂肪，以使任意最大化层无损地转换。此外，提出了针对最佳标准化参数的贝叶斯优化，以避免经验设置。实验结果证明了分类，对象检测和分割任务的最新性能。据我们所知，这是第一次获得与ANN同时在这些任务上相当的SNN。此外，我们只需要先前在检测任务上工作的1/50推理时间，并且可以在0.492 $ \ times $ $下在分段任务上实现相同的性能。

昼夜节律是哺乳动物（例如睡眠，代谢，稳态，情绪变化等）各种重要生理和行为过程的中心。已经表明，这种节奏来自位于上核（SCN）中的神经元网络的自维持的生物分子振荡。在正常情况下，由于视网膜的信号，该网络仍然同步到昼夜周期。这些神经元振荡与外部光信号的未对准会破坏众多生理功能，并对健康和福祉造成持久的损失。在这项工作中，我们研究了现代的计算神经科学模型，以确定昼夜节律对不同频率和占空比外部光信号的限制。我们采用无基质方法来定位各种驾驶条件的高维模型的周期性稳态。我们的算法管道可以实现分叉图的数值延续和构建W.R.T.强制参数。我们在计算中探讨了昼夜节律网络中异质性的影响，以及矫正治疗性干预措施（例如药物分子长期的）的效果。最后，我们采用无监督的学习来构建数据驱动的嵌入空间来表示神经元异质性。