可激发的光电设备代表了在神经形态(脑启发)光子系统中实施人工尖峰神经元的关键构件之一。这项工作介绍并实验研究了用谐振隧穿二极管(RTD)构建的光电 - 光学(O/E/O)人工神经元,该神经元(RTD)耦合到光电探测器作为接收器和垂直腔表面发射激光器作为发射机。我们证明了一个明确定义的兴奋性阈值,在此上面,该神经元在该神经元中产生100 ns的光学尖峰反应,具有特征性的神经样耐受性。我们利用其粉丝功能来执行设备中的重合检测(逻辑和)以及独家逻辑或(XOR)任务。这些结果提供了基于RTD的Spiking光电神经元的确定性触发和任务的首次实验验证,并具有输入和输出光学(I/O)终端。此外,我们还从理论上研究了拟议系统的纳米光子实施的前景,并结合了纳米级RTD元素和纳米剂的整体设计。因此,在未来的神经形态光子硬件中,证明了基于RTD的综合兴奋节点对低足迹,高速光电尖峰神经元的潜力。
translated by 谷歌翻译
在这项工作中,我们介绍了一种光电尖峰,能够以超速率($ \ \左右100磅/光学尖峰)和低能耗($ <$ PJ /秒码)运行。所提出的系统结合了具有负差分电导的可激发谐振隧道二极管(RTD)元件,耦合到纳米级光源(形成主节点)或光电探测器(形成接收器节点)。我们在数值上学习互连的主接收器RTD节点系统的尖峰动态响应和信息传播功能。使用脉冲阈值和集成的关键功能,我们利用单个节点来对顺序脉冲模式进行分类,并对图像特征(边缘)识别执行卷积功能。我们还展示了光学互连的尖峰神经网络模型,用于处理超过10 Gbps的时空数据,具有高推理精度。最后,我们展示了利用峰值定时依赖性可塑性的片外监督的学习方法,使能RTD的光子尖峰神经网络。这些结果证明了RTD尖峰节点用于低占地面积,低能量,高速光电实现神经形态硬件的潜在和可行性。
translated by 谷歌翻译
人工智能革命(AI)提出了巨大的存储和数据处理要求。大量的功耗和硬件开销已成为构建下一代AI硬件的主要挑战。为了减轻这种情况,神经形态计算引起了极大的关注,因为它在功耗非常低的功能方面具有出色的数据处理能力。尽管无情的研究已经进行了多年,以最大程度地减少神经形态硬件的功耗,但我们离达到人脑的能源效率还有很长的路要走。此外,设计复杂性和过程变化阻碍了当前神经形态平台的大规模实现。最近,由于其出色的速度和功率指标,在低温温度中实施神经形态计算系统的概念引起了人们的兴趣。可以设计几种低温装置,可作为具有超低功率需求的神经形态原始设备。在这里,我们全面回顾了低温神经形态硬件。我们将现有的低温神经形态硬件分类为几个分层类别,并根据关键性能指标绘制比较分析。我们的分析简洁地描述了相关电路拓扑的操作,并概述了最先进的技术平台遇到的优势和挑战。最后,我们提供了见解,以规避这些挑战,以实现未来的研究发展。
translated by 谷歌翻译
尖峰神经网络(SNN)提供了一个新的计算范式,能够高度平行,实时处理。光子设备是设计与SNN计算范式相匹配的高带宽,平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用,以更大的非线性计算元件的灵活性。因此,我们在整体硅光子学(SIPH)过程上设计和模拟了光电尖峰神经元电路,该过程复制了超出泄漏的集成和火(LIF)之外有用的尖峰行为。此外,我们探索了两种学习算法,具有使用Mach-Zehnder干涉法(MZI)网格作为突触互连的片上学习的潜力。实验证明了随机反向传播(RPB)的变体,并在简单分类任务上与标准线性回归的性能相匹配。同时,将对比性HEBBIAN学习(CHL)规则应用于由MZI网格组成的模拟神经网络,以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好,但不符合理想神经网络的性能(没有MZI网格施加的约束)。通过这些努力,我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。
translated by 谷歌翻译
为了寻求低功率,以生物启发的计算均基于回忆性和基于成年的人工神经网络(ANN)一直是对硬件实施神经形态计算的焦点的主题。进一步的一步,要求使用绝热计算的再生电容性神经网络,为降低能源消耗提供了诱人的途径,尤其是与“ Memimpedace”元素结合使用时。在这里,我们提出了一种人工神经元,具有绝热的突触电容器,以产生神经元的膜电位。后者通过动态闩锁比较器实现,并使用电阻随机访问存储器(RRAM)设备增强。我们最初的4位绝热电容性神经元概念验证示例显示了90%的突触能量节省。在4个突触/SOMA时,我们已经看到总体减少35%的能量。此外,工艺和温度对4位绝热突触的影响显示,在整个角落100度摄氏时,最大能量变化为30%,而没有任何功能损失。最后,我们对ANN的绝热方法的功效进行了512和1024突触/神经元的测试,最差和最佳的情况突触载荷条件以及可变的均衡电容的可变量化均等能力量化了均衡电容和最佳功率 - 电信频率范围之间的预期权衡。加载(即活动突触的百分比)。
translated by 谷歌翻译
我们提出了Memprop,即采用基于梯度的学习来培训完全的申请尖峰神经网络(MSNNS)。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物,因此完全可区分,这消除了尖峰神经网络(SNN)文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触,或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反,我们直接在循环神经元和突触的模拟香料模型上应用了通过时间(BPTT)训练算法的反向传播。我们的实现是完全的综合性,因为突触重量和尖峰神经元都集成在电阻RAM(RRAM)阵列上,而无需其他电路来实现尖峰动态,例如模数转换器(ADCS)或阈值比较器。结果,高阶电物理效应被充分利用,以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进,我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。
translated by 谷歌翻译
一个多世纪以前,伊万·P·帕夫洛夫(Ivan P. Pavlov)在经典实验中展示了狗如何学会将铃铛与食物联系起来,从而导致戒指导致唾液。如今,很少发现使用Pavlovian类型的关联学习用于人工智能(AI)应用程序,即使其他学习概念,尤其是对人工神经网络(ANN)的反向传播也蓬勃发展。但是,使用反向传播方法的训练在“常规” ANN上,尤其是现代深神经网络(DNNS)的形式,是计算和能量密集型的。在这里,我们在实验上展示了使用单个(或单一)关联硬件元素的无反向传播学习形式。我们使用相位变换材料与芯片级联方向耦合器相结合的集成光子平台上意识到这一点。然后,我们使用我们的Monadic Pavlovian光子硬件开发扩展的电路网络,该硬件可以基于单元素关联提供独特的机器学习框架,并且重要的是,重要的是,使用无反向传播的架构来解决一般学习任务。我们的方法通过在传统的神经网络方法中学习来减轻施加的计算负担,从而提高了速度,同时还提供了我们光子实现固有的更高带宽。
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
基于旋转扭矩振荡器的复合值Hopfield网络模拟可以恢复相位编码的图像。存储器增强逆变器的序列提供可调谐延迟元件,通过相位转换振荡器的振荡输出来实现复合权重的可调延迟元件。伪逆培训足以存储在一组192个振荡器中,至少代表16 $ \倍数为12个像素图像。恢复图像所需的能量取决于所需的错误级别。对于这里考虑的振荡器和电路,来自理想图像的5%均方方偏差需要大约5 00美元$ S并消耗大约130 NJ。模拟显示,当振荡器的谐振频率可以调整为具有小于10 ^ {-3} $的分数扩展时,网络功能良好,具体取决于反馈的强度。
translated by 谷歌翻译
模拟,低压电子产品在生产硅神经元(SINS)时表现出具有前所未有的能效水平。然而,他们固有的处理,电压和温度(PVT)变化和噪声长期被认为是开发有效神经态溶液的主要瓶颈。受到生物物理学的峰值传播研究的启发,我们证明了固有的噪音和变异性可以与模拟血管中可靠的尖峰传播共存,类似于生物神经元。我们通过展示三种不同相关类型的可靠事件传输:单秒尖传输,突发传输和半中心振荡器(HCO)网络的开关控制来说明该爆破神经元最近的神经晶模型。
translated by 谷歌翻译
Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.
translated by 谷歌翻译
传统的神经结构倾向于通过类似数量(例如电流或电压)进行通信,但是,随着CMOS设备收缩和供应电压降低,电压/电流域模拟电路的动态范围变得更窄,可用的边缘变小,噪声免疫力降低。不仅如此,在常规设计中使用操作放大器(运算放大器)和时钟或异步比较器会导致高能量消耗和大型芯片区域,这将不利于构建尖峰神经网络。鉴于此,我们提出了一种神经结构,用于生成和传输时间域信号,包括神经元模块,突触模块和两个重量模块。所提出的神经结构是由晶体管三极区域的泄漏电流驱动的,不使用操作放大器和比较器,因此与常规设计相比,能够提供更高的能量和面积效率。此外,由于内部通信通过时间域信号,该结构提供了更大的噪声免疫力,从而简化了模块之间的接线。提出的神经结构是使用TSMC 65 nm CMOS技术制造的。拟议的神经元和突触分别占据了127 UM2和231 UM2的面积,同时达到了毫秒的时间常数。实际芯片测量表明,所提出的结构成功地用毫秒的时间常数实现了时间信号通信函数,这是迈向人机交互的硬件储层计算的关键步骤。
translated by 谷歌翻译
用于神经形态计算的生物学启发的尖峰神经元是具有动态状态变量的非线性滤波器 - 与深度学习中使用的无状态神经元模型非常不同。 Notel Intel的神经形态研究处理器Loihi 2的下一个版本支持各种具有完全可编程动态的最有状态尖峰神经元模型。在这里,我们展示了先进的尖峰神经元模型,可用于有效地处理仿真Loihi 2硬件的仿真实验中的流数据。在一个示例中,共振和火(RF)神经元用于计算短时间傅里叶变换(STFT),其具有类似的计算复杂度,但是输出带宽的47倍而不是传统的STFT。在另一个例子中,我们描述了一种使用时间率RF神经元的光学流量估计算法,其需要比传统的基于DNN的解决方案超过90倍。我们还展示了有前途的初步结果,使用BackPropagation培训RF神经元进行音频分类任务。最后,我们表明,跳跃的血管谐振器 - RF神经元的变体 - 重复耳蜗的新特性,并激励一种有效的基于尖峰的谱图编码器。
translated by 谷歌翻译
In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.
translated by 谷歌翻译
This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.
translated by 谷歌翻译
过去十年来,人们对人工智能(AI)的兴趣激增几乎完全由人工神经网络(ANN)的进步驱动。尽管ANN为许多以前棘手的问题设定了最先进的绩效,但它们需要大量的数据和计算资源进行培训,并且由于他们采用了监督的学习,他们通常需要知道每个培训示例的正确标记的响应,并限制它们对现实世界域的可扩展性。尖峰神经网络(SNN)是使用更多类似脑部神经元的ANN的替代方法,可以使用无监督的学习来发现输入数据中的可识别功能,而又不知道正确的响应。但是,SNN在动态稳定性方面挣扎,无法匹配ANN的准确性。在这里,我们展示了SNN如何克服文献中发现的许多缺点,包括为消失的尖峰问题提供原则性解决方案,以优于所有现有的浅SNN,并等于ANN的性能。它在使用无标记的数据和仅1/50的训练时期使用无监督的学习时完成了这一点(标记数据仅用于最终的简单线性读数层)。该结果使SNN成为可行的新方法,用于使用未标记的数据集快速,准确,有效,可解释的机器学习。
translated by 谷歌翻译
Brain-inspired computing proposes a set of algorithmic principles that hold promise for advancing artificial intelligence. They endow systems with self learning capabilities, efficient energy usage, and high storage capacity. A core concept that lies at the heart of brain computation is sequence learning and prediction. This form of computation is essential for almost all our daily tasks such as movement generation, perception, and language. Understanding how the brain performs such a computation is not only important to advance neuroscience but also to pave the way to new technological brain-inspired applications. A previously developed spiking neural network implementation of sequence prediction and recall learns complex, high-order sequences in an unsupervised manner by local, biologically inspired plasticity rules. An emerging type of hardware that holds promise for efficiently running this type of algorithm is neuromorphic hardware. It emulates the way the brain processes information and maps neurons and synapses directly into a physical substrate. Memristive devices have been identified as potential synaptic elements in neuromorphic hardware. In particular, redox-induced resistive random access memories (ReRAM) devices stand out at many aspects. They permit scalability, are energy efficient and fast, and can implement biological plasticity rules. In this work, we study the feasibility of using ReRAM devices as a replacement of the biological synapses in the sequence learning model. We implement and simulate the model including the ReRAM plasticity using the neural simulator NEST. We investigate the effect of different device properties on the performance characteristics of the sequence learning model, and demonstrate resilience with respect to different on-off ratios, conductance resolutions, device variability, and synaptic failure.
translated by 谷歌翻译
这项研究提出了依赖电压突触可塑性(VDSP),这是一种新型的脑启发的无监督的本地学习规则,用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导,这使得相对于标准峰值依赖性可塑性(STDP)的更新数量减少了两倍。此更新取决于突触前神经元的膜电位,该神经元很容易作为神经元实现的一部分,因此不需要额外的存储器来存储。此外,该更新还对突触重量进行了正规化,并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能,我们训练一个单层尖峰神经网络(SNN),以识别手写数字。我们报告85.01 $ \ pm $ 0.76%(平均$ \ pm $ s.d。)对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时,性能会提高(400个输出神经元的89.93 $ \ pm $ 0.41%,500个神经元为90.56 $ \ pm $ 0.27),这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是,学习规则比STDP更好地适应输入信号的频率,并且不需要对超参数进行手动调整。
translated by 谷歌翻译
具有大脑般的组织和设备物理学的混合信号神经形态处理器为传统深度学习和计算的不可持续发展提供了超低功率的替代方案。但是,意识到这种神经形态硬件的潜力需要有效利用其异质的,模拟神经突触电路,采用神经计算方法来稀疏,基于尖峰的编码和处理。在这里,我们研究了平衡兴奋性抑制性抑制性横向连接作为实施丘脑皮层启发的时空相关器(STC)神经网络的一种资源有效机制,而无需使用专用的延迟机制。我们提出了使用DynAP-SE神经形态处理器进行硬件的环境实验,其中在STC网络中,在STC网络中,无均匀重合检测神经元的接收场通过随机输入采样绘制,每个列中有四个侧向传入连接。此外,我们演示了如何调整这种神经元来检测特定的时空特征,该特征通过模拟突触电路的离散地址编程。双突触连接的能量耗散是每个横向连接(0.65 NJ vs 9.6 NJ)比STC的前一个基于延迟的硬件实现的数量级(0.65 nj vs 9.6 NJ)。
translated by 谷歌翻译
在本文中,我们以神经处理的水平垂直整合模型的形式阐述了一种新型的神经塑性模型。我们认为,一种新的神经建模方法将受益于第三波AI。水平面由通过传输链路连接的神经元的自适应网络组成,该网络由传播链路连接,该链接生成时空尖峰模式。这符合标准的计算神经科学方法。此外,对于每个单独的神经元,还有一个垂直部分,该部分由内部自适应参数组成,这些参数转向了与神经传播有关的外部膜表达参数。每个神经元都有一个与(a)在膜层处的外部参数相对应的参数的垂直模块化系统,分为隔室(刺,boutons)(b)串膜区域中的内部参数和带有其蛋白质信号网络和(C)的细胞质中的内部参数遗传和表观遗传信息的细胞核中的核心参数。在这样的模型中,水平网络中的每个节点(=神经元)都有其自己的内部内存。神经传播和信息存储是系统分开的,这是突触重量模型的重要概念前进。我们讨论了基于膜的(外部)滤波和外部信号的选择,以通过快速波动和神经元内计算策略从细胞内蛋白质信号传导到细胞核作为核心系统。我们想证明,单个神经元在信号的计算中具有重要作用,并且从突触重量调节假设中得出的许多假设可能无法在真实的大脑中保留。并非每个传输事件都会留下痕迹,而神经元是一种自我编程的设备,而不是由电流输入被动确定。最终,我们努力构建一个灵活的内存系统,该系统自动处理事实和事件。
translated by 谷歌翻译