实验神经科学的进步改变了我们探索神经电路结构和功能的能力。与此同时,机器学习的进步已经释放了人工神经网络(ANNS)的显着计算能力。虽然这两个字段具有不同的工具和应用程序,但它们存在类似的挑战:即,了解如何通过高维表示来嵌入信息并通过高维表示来解决复杂任务。解决这一挑战的一种方法是利用数学和计算工具来分析这些高维表示的几何形状,即神经人口几何形状。我们审查了解生物和人工神经网络功能的几何方法的示例:感知的代表性,在认知系统中的分类能力,解剖和抽象的几何理论,认知地图的拓扑表示,电机系统中的动态不包含一种动态的认知方法。这些发现在一起说明了机器学习,神经科学和几何形状的令人兴奋的趋势,其中神经人口几何形状提供了有用的人口级机械描述符基础任务实现。重要的是,几何描述适用于感官模态,脑区,网络架构和时间尺度。因此,神经人口几何形状有可能统一我们对生物和人工神经网络的结构和功能的理解,弥合单一神经元,人口和行为之间的差距。
translated by 谷歌翻译
In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.
translated by 谷歌翻译
在流行媒体中,人造代理商的意识出现与同时实现人类或超人水平智力的那些相同的代理之间通常存在联系。在这项工作中,我们探讨了意识和智力之间这种看似直观的联系的有效性和潜在应用。我们通过研究与三种当代意识功能理论相关的认知能力:全球工作空间理论(GWT),信息生成理论(IGT)和注意力模式理论(AST)。我们发现,这三种理论都将有意识的功能专门与人类领域将军智力的某些方面联系起来。有了这个见解,我们转向人工智能领域(AI),发现尽管远未证明一般智能,但许多最先进的深度学习方法已经开始纳入三个功能的关键方面理论。确定了这一趋势后,我们以人类心理时间旅行的激励例子来提出方式,其中三种理论中每种理论的见解都可以合并为一个单一的统一和可实施的模型。鉴于三种功能理论中的每一种都可以通过认知能力来实现这一可能,因此,具有精神时间旅行的人造代理不仅具有比当前方法更大的一般智力,而且还与我们当前对意识功能作用的理解更加一致在人类中,这使其成为AI研究的有希望的近期目标。
translated by 谷歌翻译
这篇理论文章研究了如何在计算机中构建类似人类的工作记忆和思维过程。应该有两个工作记忆存储,一个类似于关联皮层中的持续点火,另一个类似于大脑皮层中的突触增强。这些商店必须通过环境刺激或内部处理产生的新表示不断更新。它们应该连续更新,并以一种迭代的方式进行更新,这意味着在下一个状态下,应始终保留一组共同工作中的某些项目。因此,工作记忆中的一组概念将随着时间的推移逐渐发展。这使每个状态都是对先前状态的修订版,并导致连续的状态与它们所包含的一系列表示形式重叠和融合。随着添加新表示形式并减去旧表示形式,在这些更改过程中,有些保持活跃几秒钟。这种持续活动,类似于人工复发性神经网络中使用的活动,用于在整个全球工作区中传播激活能量,以搜索下一个关联更新。结果是能够朝着解决方案或目标前进的联想连接的中间状态链。迭代更新在这里概念化为信息处理策略,一种思想流的计算和神经生理决定因素以及用于设计和编程人工智能的算法。
translated by 谷歌翻译
Visual representations can be defined as the activations of neuronal populations in response to images. The activation of a neuron as a function over all image space has been described as a "tuning landscape". As a function over a high-dimensional space, what is the structure of this landscape? In this study, we characterize tuning landscapes through the lens of level sets and Morse theory. A recent study measured the in vivo two-dimensional tuning maps of neurons in different brain regions. Here, we developed a statistically reliable signature for these maps based on the change of topology in level sets. We found this topological signature changed progressively throughout the cortical hierarchy, with similar trends found for units in convolutional neural networks (CNNs). Further, we analyzed the geometry of level sets on the tuning landscapes of CNN units. We advanced the hypothesis that higher-order units can be locally regarded as isotropic radial basis functions, but not globally. This shows the power of level sets as a conceptual tool to understand neuronal activations over image space.
translated by 谷歌翻译
预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关,在过去的二十年中,在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型,以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度,但仍未对预测编码理论,尤其是该领域的最新发展进行全面回顾。在这里,我们提供了核心数学结构和预测编码的逻辑的全面综述,从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作,从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系,以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。
translated by 谷歌翻译
我们展示了任何具有自由度和局部自由能的系统如何在自由能原理的限制下,都将发展朝着支持层次结构计算的神经形态形态发展,在该计算中,每个层次结构的每个级别都会构成其投入的粗糙度。,并双重地将其输出的细粒度。这种层次结构发生在整个生物学中,从细胞内信号转导途径的体系结构到哺乳动物大脑中的感知和动作周期的大规模组织。正式地,一方面,锥体 - 康基图(CCCD)作为量子参考帧的模型,另一方面是CCCDS和拓扑量子场理论之间的近距离形式连接,允许在全剂量量子中代表此类计算拓扑量子神经网络的计算框架。
translated by 谷歌翻译
神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型(LVMS)是用于分析各种神经系统和行为的丰富活动的有希望的工具,因为LVM不依赖于活动与外部实验变量之间的已知关系。然而,目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展,导致采用临时方式进行和比较方法。为协调这些建模工作,我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知,感官和机动领域策划了四种神经尖峰活动的数据集,以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架,并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.
translated by 谷歌翻译
许多日常活动和心理物理实验涉及在工作记忆中保持多个项目。当物品采用连续值(例如,方向,对比度,长度,响度),它们必须以适当的尺寸的连续结构存储。我们调查如何通过培训经常性网络在神经电路中在神经电路中提出两个先前显示的刺激取向。我们发现两个方向的活动歧管类似于克利福德·托鲁斯。虽然夹层和标准圆环(甜甜圈的表面)是拓扑相当的,但它们具有重要的功能差异。克利福德·托鲁斯平等地对待两种方向,并使它们保持在正交子空间中,如任务所要求的,而标准的圆环没有。我们发现并表征了支持Clifford Torus的连接模式。此外,除了通过持久性活动存储信息的吸引子之外,我们的网络还使用动态代码,其中单位改变调谐以防止新的感官输入覆盖先前存储的输入。我们认为,每当多个输入通过共享连接输入存储器系统时,通常需要这种动态代码。最后,我们将我们的框架应用于人类心理物理学实验,其中受试者报告了两个记忆的方向。通过改变RNN的培训条件,我们测试和支持人类行为是神经噪声的产物的假设,并且依赖于两个取向之间的序数关系的更稳定和行为相关的记忆。这表明RNNS中的合适的归纳偏差对于揭示人脑如何实现工作记忆很重要。这些结果在一起,了解了一类视觉解码任务的神经计算,从人类行为缩小到突触连接。
translated by 谷歌翻译
建立一种人类综合人工认知系统,即人工综合情报(AGI),是人工智能(AI)领域的圣杯。此外,实现人工系统实现认知发展的计算模型将是脑和认知科学的优秀参考。本文介绍了一种通过集成元素认知模块来开发认知架构的方法,以实现整个模块的训练。这种方法是基于两个想法:(1)脑激发AI,学习人类脑建筑以构建人类级智能,(2)概率的生成模型(PGM)基础的认知系统,为发展机器人开发认知系统通过整合PGM。发展框架称为全大脑PGM(WB-PGM),其根本地不同于现有的认知架构,因为它可以通过基于感官电机信息的系统不断学习。在这项研究中,我们描述了WB-PGM的基本原理,基于PGM的元素认知模块的当前状态,与人类大脑的关系,对认知模块的整合的方法,以及未来的挑战。我们的研究结果可以作为大脑研究的参考。随着PGMS描述变量之间的明确信息关系,本说明书提供了从计算科学到脑科学的可解释指导。通过提供此类信息,神经科学的研究人员可以向AI和机器人提供的研究人员提供反馈,以及目前模型缺乏对大脑的影响。此外,它可以促进神经认知科学的研究人员以及AI和机器人的合作。
translated by 谷歌翻译
神经科学家和机器学习研究人员通常引用对抗的例子,作为计算模型如何从生物感官系统发散的示例。最近的工作已经提出将生物启发组件添加到视觉神经网络中,作为提高其对抗性鲁棒性的一种方式。一种令人惊讶的有效组分,用于减少对抗性脆弱性是响应随机性,例如由生物神经元呈现的响应性随机性。在这里,使用最近开发的从计算神经科学的几何技术,我们研究了对抗性扰动如何影响标准,前列培训和生物学启发的随机网络的内部表示。我们为每种类型的网络找到了不同的几何签名,揭示了实现稳健表示的不同机制。接下来,我们将这些结果概括为听觉域,表明神经插值性也使听觉模型对对抗对抗扰动更鲁棒。随机网络的几何分析揭示了清洁和离前动脉扰动刺激的表示之间的重叠,并且定量表现出随机性的竞争几何效果在对抗和清洁性能之间调解权衡。我们的结果阐明了通过对外内培训和随机网络利用的强大感知的策略,并帮助解释了随机性如何有利于机器和生物计算。
translated by 谷歌翻译
为了保持信息迹象并长大,婴儿大脑必须解决旧信息所在的问题以及如何索引新的问题。我们提出未成熟的前额定皮层(PFC)使用其在时间信号中检测分层模式的主要功能作为第二目的,以组织发展大脑本身中的皮质网络的空间排序。我们的假设是PFC以序数图案的形式检测时间序列中的分层结构,并在大脑的不同部分中使用它们来索引信息。从此,我们建议检测模式的这种机制参与大脑本身的序数组织发展;即,The Connectome的启动。通过这样做,它为语言准备好的大脑提供了用于操纵抽象知识和规划时间有序信息的工具;即,象征性思维和语言的出现。我们将审查可以支持此类机制并提出新的神经模型。我们将面对我们的思想,从发育,行为和大脑结果中的证据,例如,在镜子神经元系统的建造上进行一些假设,体现了认知,以及学习的能力。
translated by 谷歌翻译
仅基于神经网络或符号计算的人工智能(AI)系统提出了代表性的复杂性挑战。虽然最小的表示可以产生行业或简单决策等行为输出,但更精细的内部表示可能会提供更丰富的行为。我们建议可以使用称为元模型的计算方法来解决这些问题。元模型是体现的混合模型,其中包括具有不同程度的表示复杂性的分层组件。我们将提出使用专门类型的模型组成的层组合。这种关系模仿了哺乳动物大脑的新皮质 - 丘脑系统关系,而不是使用通用黑匣子方法统一每个组件,它使用了前馈和反馈连接来促进功能通信。重要的是,可以在解剖学上显式建立层之间的关系。这允许可以以有趣的方式将结构特异性纳入模型的功能。我们将提出几种类型的层,这些层可能会在功能上集成到执行独特类型的任务的代理中,从同时执行形态发生和感知的代理到经历形态发生以及同时获得概念表示的代理。我们对元模型模型的方法涉及创建具有不同程度的代表性复杂性的模型,创建分层的元结构结构,模仿生物学大脑的结构和功能异质性,并具有足够灵活的输入/输出方法,以适应认知功能,社交互动,社交互动,社会互动,和自适应行为。我们将通过提出这种灵活和开源方法的开发中的下一步来得出结论。
translated by 谷歌翻译
Artificial life is a research field studying what processes and properties define life, based on a multidisciplinary approach spanning the physical, natural and computational sciences. Artificial life aims to foster a comprehensive study of life beyond "life as we know it" and towards "life as it could be", with theoretical, synthetic and empirical models of the fundamental properties of living systems. While still a relatively young field, artificial life has flourished as an environment for researchers with different backgrounds, welcoming ideas and contributions from a wide range of subjects. Hybrid Life is an attempt to bring attention to some of the most recent developments within the artificial life community, rooted in more traditional artificial life studies but looking at new challenges emerging from interactions with other fields. In particular, Hybrid Life focuses on three complementary themes: 1) theories of systems and agents, 2) hybrid augmentation, with augmented architectures combining living and artificial systems, and 3) hybrid interactions among artificial and biological systems. After discussing some of the major sources of inspiration for these themes, we will focus on an overview of the works that appeared in Hybrid Life special sessions, hosted by the annual Artificial Life Conference between 2018 and 2022.
translated by 谷歌翻译
过去几十年来看,越来越多地采用的非侵入性神经影像学技术越来越大的进步,以检查人脑发展。然而,这些改进并不一定是更复杂的数据分析措施,能够解释功能性大脑发育的机制。例如,从单变量(大脑中的单个区域)转变为多变量(大脑中的多个区域)分析范式具有重要意义,因为它允许调查不同脑区之间的相互作用。然而,尽管对发育大脑区域之间的相互作用进行了多变量分析,但应用了人工智能(AI)技术,使分析不可解释。本文的目的是了解电流最先进的AI技术可以通知功能性大脑发展的程度。此外,还审查了哪种AI技术基于由发育认知神经科学(DCN)框架所定义的大脑发展的过程来解释他们的学习。这项工作还提出说明可解释的AI(Xai)可以提供可行的方法来调查功能性大脑发育,如DCN框架的假设。
translated by 谷歌翻译
The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.
translated by 谷歌翻译
Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.
translated by 谷歌翻译
在过去的几年中,计算机视觉的显着进步总的来说是归因于深度学习,这是由于大量标记数据的可用性所推动的,并与GPU范式的爆炸性增长配对。在订阅这一观点的同时,本书批评了该领域中所谓的科学进步,并在基于信息的自然法则的框架内提出了对愿景的调查。具体而言,目前的作品提出了有关视觉的基本问题,这些问题尚未被理解,引导读者走上了一个由新颖挑战引起的与机器学习基础共鸣的旅程。中心论点是,要深入了解视觉计算过程,有必要超越通用机器学习算法的应用,而要专注于考虑到视觉信号的时空性质的适当学习理论。
translated by 谷歌翻译
Many theories, based on neuroscientific and psychological empirical evidence and on computational concepts, have been elaborated to explain the emergence of consciousness in the central nervous system. These theories propose key fundamental mechanisms to explain consciousness, but they only partially connect such mechanisms to the possible functional and adaptive role of consciousness. Recently, some cognitive and neuroscientific models try to solve this gap by linking consciousness to various aspects of goal-directed behaviour, the pivotal cognitive process that allows mammals to flexibly act in challenging environments. Here we propose the Representation Internal-Manipulation (RIM) theory of consciousness, a theory that links the main elements of consciousness theories to components and functions of goal-directed behaviour, ascribing a central role for consciousness to the goal-directed manipulation of internal representations. This manipulation relies on four specific computational operations to perform the flexible internal adaptation of all key elements of goal-directed computation, from the representations of objects to those of goals, actions, and plans. Finally, we propose the concept of `manipulation agency' relating the sense of agency to the internal manipulation of representations. This allows us to propose that the subjective experience of consciousness is associated to the human capacity to generate and control a simulated internal reality that is vividly perceived and felt through the same perceptual and emotional mechanisms used to tackle the external world.
translated by 谷歌翻译
This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.
translated by 谷歌翻译