In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.
translated by 谷歌翻译
This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.
translated by 谷歌翻译
Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关,在过去的二十年中,在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型,以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度,但仍未对预测编码理论,尤其是该领域的最新发展进行全面回顾。在这里,我们提供了核心数学结构和预测编码的逻辑的全面综述,从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作,从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系,以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。
translated by 谷歌翻译
这篇理论文章研究了如何在计算机中构建类似人类的工作记忆和思维过程。应该有两个工作记忆存储,一个类似于关联皮层中的持续点火,另一个类似于大脑皮层中的突触增强。这些商店必须通过环境刺激或内部处理产生的新表示不断更新。它们应该连续更新,并以一种迭代的方式进行更新,这意味着在下一个状态下,应始终保留一组共同工作中的某些项目。因此,工作记忆中的一组概念将随着时间的推移逐渐发展。这使每个状态都是对先前状态的修订版,并导致连续的状态与它们所包含的一系列表示形式重叠和融合。随着添加新表示形式并减去旧表示形式,在这些更改过程中,有些保持活跃几秒钟。这种持续活动,类似于人工复发性神经网络中使用的活动,用于在整个全球工作区中传播激活能量,以搜索下一个关联更新。结果是能够朝着解决方案或目标前进的联想连接的中间状态链。迭代更新在这里概念化为信息处理策略,一种思想流的计算和神经生理决定因素以及用于设计和编程人工智能的算法。
translated by 谷歌翻译
尖峰神经网络(SNN)提供了一个新的计算范式,能够高度平行,实时处理。光子设备是设计与SNN计算范式相匹配的高带宽,平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用,以更大的非线性计算元件的灵活性。因此,我们在整体硅光子学(SIPH)过程上设计和模拟了光电尖峰神经元电路,该过程复制了超出泄漏的集成和火(LIF)之外有用的尖峰行为。此外,我们探索了两种学习算法,具有使用Mach-Zehnder干涉法(MZI)网格作为突触互连的片上学习的潜力。实验证明了随机反向传播(RPB)的变体,并在简单分类任务上与标准线性回归的性能相匹配。同时,将对比性HEBBIAN学习(CHL)规则应用于由MZI网格组成的模拟神经网络,以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好,但不符合理想神经网络的性能(没有MZI网格施加的约束)。通过这些努力,我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。
translated by 谷歌翻译
模拟,低压电子产品在生产硅神经元(SINS)时表现出具有前所未有的能效水平。然而,他们固有的处理,电压和温度(PVT)变化和噪声长期被认为是开发有效神经态溶液的主要瓶颈。受到生物物理学的峰值传播研究的启发,我们证明了固有的噪音和变异性可以与模拟血管中可靠的尖峰传播共存,类似于生物神经元。我们通过展示三种不同相关类型的可靠事件传输:单秒尖传输,突发传输和半中心振荡器(HCO)网络的开关控制来说明该爆破神经元最近的神经晶模型。
translated by 谷歌翻译
在本文中,我们以神经处理的水平垂直整合模型的形式阐述了一种新型的神经塑性模型。我们认为,一种新的神经建模方法将受益于第三波AI。水平面由通过传输链路连接的神经元的自适应网络组成,该网络由传播链路连接,该链接生成时空尖峰模式。这符合标准的计算神经科学方法。此外,对于每个单独的神经元,还有一个垂直部分,该部分由内部自适应参数组成,这些参数转向了与神经传播有关的外部膜表达参数。每个神经元都有一个与(a)在膜层处的外部参数相对应的参数的垂直模块化系统,分为隔室(刺,boutons)(b)串膜区域中的内部参数和带有其蛋白质信号网络和(C)的细胞质中的内部参数遗传和表观遗传信息的细胞核中的核心参数。在这样的模型中,水平网络中的每个节点(=神经元)都有其自己的内部内存。神经传播和信息存储是系统分开的,这是突触重量模型的重要概念前进。我们讨论了基于膜的(外部)滤波和外部信号的选择,以通过快速波动和神经元内计算策略从细胞内蛋白质信号传导到细胞核作为核心系统。我们想证明,单个神经元在信号的计算中具有重要作用,并且从突触重量调节假设中得出的许多假设可能无法在真实的大脑中保留。并非每个传输事件都会留下痕迹,而神经元是一种自我编程的设备,而不是由电流输入被动确定。最终,我们努力构建一个灵活的内存系统,该系统自动处理事实和事件。
translated by 谷歌翻译
神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型(LVMS)是用于分析各种神经系统和行为的丰富活动的有希望的工具,因为LVM不依赖于活动与外部实验变量之间的已知关系。然而,目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展,导致采用临时方式进行和比较方法。为协调这些建模工作,我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知,感官和机动领域策划了四种神经尖峰活动的数据集,以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架,并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.
translated by 谷歌翻译
在过去的几十年中,人工智能领域大大进展,灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中,我们开发了一个原始的脑激发神经模型,将自组织地图(SOM)和Hebbian学习在重新参与索马里(RESOM)模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比,该模型增强了最先进的结果。这项工作还通过在名为SPARP(自配置3D蜂窝自适应平台)的专用FPGA的平台上的模拟结果和硬件执行,演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连,以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果,通过专用串行链路在每个板之间的通信。由于多模式关联,所提出的统一架构,由RESOM模型和头皮硬件平台组成的精度显着提高,与集中式GPU实现相比,延迟和功耗之间的良好折衷。
translated by 谷歌翻译
信号处理是几乎任何传感器系统的基本组件,具有不同科学学科的广泛应用。时间序列数据,图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能,数据驱动,信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述,旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题,从基础到工业研究,以简明的主题部分组织,反映了每个研究领域的当前和未来发展的趋势和影响。此外,它为研究人员和资助机构提供了识别新前景的指导。
translated by 谷歌翻译
更具体地说,神经系统能够简单有效地解决复杂的问题,超过现代计算机。在这方面,神经形态工程是一个研究领域,重点是模仿控制大脑的基本原理,以开发实现此类计算能力的系统。在该领域中,生物启发的学习和记忆系统仍然是要解决的挑战,这就是海马涉及的地方。正是大脑的区域充当短期记忆,从而从大脑皮层的所有感觉核中学习,非结构化和快速存储信息及其随后的回忆。在这项工作中,我们提出了一个基于海马的新型生物启发的记忆模型,具有学习记忆的能力,从提示中回顾它们(与其他内容相关的记忆的一部分),甚至在尝试时忘记记忆通过相同的提示学习其他人。该模型已在使用尖峰神经网络上在大型摩托车硬件平台上实现,并进行了一组实验和测试以证明其正确且预期的操作。所提出的基于SPIKE的内存模型仅在接收输入,能提供节能的情况下才能生成SPIKES,并且需要7个时间步,用于学习步骤和6个时间段来召回以前存储的存储器。这项工作介绍了基于生物启发的峰值海马记忆模型的第一个硬件实现,为开发未来更复杂的神经形态系统的发展铺平了道路。
translated by 谷歌翻译
为了保持信息迹象并长大,婴儿大脑必须解决旧信息所在的问题以及如何索引新的问题。我们提出未成熟的前额定皮层(PFC)使用其在时间信号中检测分层模式的主要功能作为第二目的,以组织发展大脑本身中的皮质网络的空间排序。我们的假设是PFC以序数图案的形式检测时间序列中的分层结构,并在大脑的不同部分中使用它们来索引信息。从此,我们建议检测模式的这种机制参与大脑本身的序数组织发展;即,The Connectome的启动。通过这样做,它为语言准备好的大脑提供了用于操纵抽象知识和规划时间有序信息的工具;即,象征性思维和语言的出现。我们将审查可以支持此类机制并提出新的神经模型。我们将面对我们的思想,从发育,行为和大脑结果中的证据,例如,在镜子神经元系统的建造上进行一些假设,体现了认知,以及学习的能力。
translated by 谷歌翻译
Humans and animals have the ability to continually acquire, fine-tune, and transfer knowledge and skills throughout their lifespan. This ability, referred to as lifelong learning, is mediated by a rich set of neurocognitive mechanisms that together contribute to the development and specialization of our sensorimotor skills as well as to long-term memory consolidation and retrieval. Consequently, lifelong learning capabilities are crucial for computational systems and autonomous agents interacting in the real world and processing continuous streams of information. However, lifelong learning remains a long-standing challenge for machine learning and neural network models since the continual acquisition of incrementally available information from non-stationary data distributions generally leads to catastrophic forgetting or interference. This limitation represents a major drawback for state-of-the-art deep neural network models that typically learn representations from stationary batches of training data, thus without accounting for situations in which information becomes incrementally available over time. In this review, we critically summarize the main challenges linked to lifelong learning for artificial learning systems and compare existing neural network approaches that alleviate, to different extents, catastrophic forgetting. Although significant advances have been made in domain-specific learning with neural networks, extensive research efforts are required for the development of robust lifelong learning on autonomous agents and robots. We discuss well-established and emerging research motivated by lifelong learning factors in biological systems such as structural plasticity, memory replay, curriculum and transfer learning, intrinsic motivation, and multisensory integration.
translated by 谷歌翻译
尖峰神经网络(SNN)引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是,SNN是适当的抽象水平,可以将大脑和认知的灵感带入人工智能。在本文中,我们介绍了脑启发的认知智力引擎(Braincog),用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型,学习规则,大脑区域等作为平台提供的重要模块。基于这些易于使用的模块,BrainCog支持各种受脑启发的认知功能,包括感知和学习,决策,知识表示和推理,运动控制和社会认知。这些受脑启发的AI模型已在各种受监督,无监督和强化学习任务上有效验证,并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟,Braincog实现了决策,工作记忆,神经回路的结构模拟以及小鼠大脑,猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的,它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI,Braincog旨在提供必要且易于使用的构件,并提供基础设施支持,以开发基于脑部的尖峰神经网络AI,并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。
translated by 谷歌翻译
近年来,尖峰神经网络(SNN)由于其丰富的时空动力学,各种编码方法和事件驱动的特征而自然拟合神经形态硬件,因此在脑启发的智能上受到了广泛的关注。随着SNN的发展,受到脑科学成就启发和针对人工通用智能的新兴研究领域的脑力智能变得越来越热。本文回顾了最新进展,并讨论了来自五个主要研究主题的SNN的新领域,包括基本要素(即尖峰神经元模型,编码方法和拓扑结构),神经形态数据集,优化算法,软件,软件和硬件框架。我们希望我们的调查能够帮助研究人员更好地了解SNN,并激发新作品以推进这一领域。
translated by 谷歌翻译
过去十年来,人们对人工智能(AI)的兴趣激增几乎完全由人工神经网络(ANN)的进步驱动。尽管ANN为许多以前棘手的问题设定了最先进的绩效,但它们需要大量的数据和计算资源进行培训,并且由于他们采用了监督的学习,他们通常需要知道每个培训示例的正确标记的响应,并限制它们对现实世界域的可扩展性。尖峰神经网络(SNN)是使用更多类似脑部神经元的ANN的替代方法,可以使用无监督的学习来发现输入数据中的可识别功能,而又不知道正确的响应。但是,SNN在动态稳定性方面挣扎,无法匹配ANN的准确性。在这里,我们展示了SNN如何克服文献中发现的许多缺点,包括为消失的尖峰问题提供原则性解决方案,以优于所有现有的浅SNN,并等于ANN的性能。它在使用无标记的数据和仅1/50的训练时期使用无监督的学习时完成了这一点(标记数据仅用于最终的简单线性读数层)。该结果使SNN成为可行的新方法,用于使用未标记的数据集快速,准确,有效,可解释的机器学习。
translated by 谷歌翻译
Many theories, based on neuroscientific and psychological empirical evidence and on computational concepts, have been elaborated to explain the emergence of consciousness in the central nervous system. These theories propose key fundamental mechanisms to explain consciousness, but they only partially connect such mechanisms to the possible functional and adaptive role of consciousness. Recently, some cognitive and neuroscientific models try to solve this gap by linking consciousness to various aspects of goal-directed behaviour, the pivotal cognitive process that allows mammals to flexibly act in challenging environments. Here we propose the Representation Internal-Manipulation (RIM) theory of consciousness, a theory that links the main elements of consciousness theories to components and functions of goal-directed behaviour, ascribing a central role for consciousness to the goal-directed manipulation of internal representations. This manipulation relies on four specific computational operations to perform the flexible internal adaptation of all key elements of goal-directed computation, from the representations of objects to those of goals, actions, and plans. Finally, we propose the concept of `manipulation agency' relating the sense of agency to the internal manipulation of representations. This allows us to propose that the subjective experience of consciousness is associated to the human capacity to generate and control a simulated internal reality that is vividly perceived and felt through the same perceptual and emotional mechanisms used to tackle the external world.
translated by 谷歌翻译
在这项工作中,我们提出了一种基于从Marmoset猴的大脑收集的局部场潜在数据,提出了与帕金森病相关的新生物物理计算模型。帕金森病是一种神经退行性疾病,与大量NIGRA PARSCACTCA的多巴胺能神经元的死亡有关,这影响了大脑基底神经节 - 丘脑 - 皮质神经元电路的正常动态。尽管存在多种疾病的机制,但仍然缺少这些机制和分子发病机制的完整描述,仍然没有治愈。为了解决这种差距,已经提出了类似于动物模型中发现的神经生物学方面的计算模型。在我们的模型中,我们执行了一种数据驱动方法,其中使用差分演变优化了一组生物学限制参数。进化模型成功地类似于来自健康和Parkinsonian Marmoset脑数据的单神经元均值射击和局部场势的光谱签名。据我们所知,这是帕金森病的第一个基于来自Marmoset Monkeys的七个脑区域的同时电生理学记录的第一个计算模型。结果表明,该拟议的模型可以促进PD机制的调查,并支持可以表明新疗法的技术的发展。它还可以应用于其他计算神经科学问题,其中可以使用生物数据来适应大规模模型的脑电路。
translated by 谷歌翻译