Models of sensory processing and learning in the cortex need to efficiently assign credit to synapses in all areas. In deep learning, a known solution is error backpropagation, which however requires biologically implausible weight transport from feed-forward to feedback paths. We introduce Phaseless Alignment Learning (PAL), a bio-plausible method to learn efficient feedback weights in layered cortical hierarchies. This is achieved by exploiting the noise naturally found in biophysical systems as an additional carrier of information. In our dynamical system, all weights are learned simultaneously with always-on plasticity and using only information locally available to the synapses. Our method is completely phase-free (no forward and backward passes or phased learning) and allows for efficient error propagation across multi-layer cortical hierarchies, while maintaining biologically plausible signal transport and learning. Our method is applicable to a wide class of models and improves on previously known biologically plausible ways of credit assignment: compared to random synaptic feedback, it can solve complex tasks with less neurons and learn more useful latent representations. We demonstrate this on various classification tasks using a cortical microcircuit model with prospective coding.
translated by 谷歌翻译
错误 - 背面范围(BackProp)算法仍然是人工神经网络中信用分配问题的最常见解决方案。在神经科学中,尚不清楚大脑是否可以采用类似的策略来纠正其突触。最近的模型试图弥合这一差距,同时与一系列实验观察一致。但是,这些模型要么无法有效地跨多层返回误差信号,要么需要多相学习过程,它们都不让人想起大脑中的学习。在这里,我们介绍了一种新模型,破裂的皮质皮质网络(BUSTCCN),该网络通过整合了皮质网络的已知特性,即爆发活动,短期可塑性(STP)和dendrite-target-targeting Interneurons来解决这些问题。 BUSTCCN依赖于连接型特异性STP的突发多路复用来传播深层皮质网络中的反向Prop样误差信号。这些误差信号是在远端树突上编码的,由于兴奋性抑制性抑制性倒入输入而诱导爆发依赖性可塑性。首先,我们证明我们的模型可以使用单相学习过程有效地通过多层回溯错误。接下来,我们通过经验和分析表明,在我们的模型中学习近似反向推广的梯度。最后,我们证明我们的模型能够学习复杂的图像分类任务(MNIST和CIFAR-10)。总体而言,我们的结果表明,跨细胞,细胞,微电路和系统水平的皮质特征共同基于大脑中的单相有效深度学习。
translated by 谷歌翻译
深度学习的成功激发了人们对大脑是否使用基于梯度的学习来学习层次结构表示的兴趣。但是,目前在深层神经网络中基于梯度的信用分配的生物学上合理的方法需要无限的小反馈信号,这在生物学上现实的嘈杂环境中是有问题的,并且与神经科学的实验证据不符,表明自上而下的反馈可以显着影响神经活动。在最近提出的一种信用分配方法的深度反馈控制(DFC)的基础上,我们结合了对神经活动的强烈反馈影响与基​​于梯度的学习,并表明这自然会导致对神经网络优化的新看法。权重更新并没有逐渐将网络权重转换为具有低输出损失的配置,而是逐渐最大程度地减少了将网络驱动到监督输出标签的控制器所需的反馈量。此外,我们表明,在DFC中使用强反馈的使用允许同时学习和反馈连接,并在时空中完全本地学习规则。我们通过对标准计算机视觉基准测试的实验来补充我们的理论结果,显示了反向传播的竞争性能以及对噪声的鲁棒性。总体而言,我们的工作提出了一种从根本上新颖的学习视图,作为控制最小化,同时避开了生物学上不切实际的假设。
translated by 谷歌翻译
平衡系统是表达神经计算的有力方法。作为特殊情况,它们包括对神经科学和机器学习的最新兴趣模型,例如平衡复发性神经网络,深度平衡模型或元学习。在这里,我们提出了一个新的原则,用于学习具有时间和空间本地规则的此类系统。我们的原理将学习作为一个最不控制的问题,我们首先引入一个最佳控制器,以将系统带入解决方案状态,然后将学习定义为减少达到这种状态所需的控制量。我们表明,将学习信号纳入动力学作为最佳控制可以以先前未知的方式传输信用分配信息,避免将中间状态存储在内存中,并且不依赖无穷小的学习信号。在实践中,我们的原理可以使基于梯度的学习方法的强大绩效匹配,该方法应用于涉及复发性神经网络和元学习的一系列问题。我们的结果阐明了大脑如何学习并提供解决广泛的机器学习问题的新方法。
translated by 谷歌翻译
人工神经网络中的监督学习通常依赖于反向传播,其中权重根据误差函数梯度进行更新,并从输出层到输入层依次传播。尽管这种方法已被证明在广泛的应用领域有效,但在许多方面缺乏生物学上的合理性,包括重量对称问题,学习对非本地信号的依赖性,错误传播期间的神经活动的冻结以及更新锁定的冻结问题。已经引入了替代培训计划,包括标志对称性,反馈对准和直接反馈对准,但它们总是依靠向后传球,这阻碍了同时解决所有问题的可能性。在这里,我们建议用第二个正向通行证替换向后通行证,其中根据网络的误差调制输入信号。我们表明,这项新颖的学习规则全面解决了上述所有问题,并且可以应用于完全连接和卷积模型。我们测试了有关MNIST,CIFAR-10和CIFAR-100的学习规则。这些结果有助于将生物学原理纳入机器学习。
translated by 谷歌翻译
预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关,在过去的二十年中,在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型,以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度,但仍未对预测编码理论,尤其是该领域的最新发展进行全面回顾。在这里,我们提供了核心数学结构和预测编码的逻辑的全面综述,从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作,从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系,以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。
translated by 谷歌翻译
平衡传播(EP)是返回传播(BP)的替代方法,它允许使用本地学习规则训练深层神经网络。因此,它为训练神经形态系统和了解神经生物学的学习提供了一个令人信服的框架。但是,EP需要无限的教学信号,从而限制其在嘈杂的物理系统中的适用性。此外,该算法需要单独的时间阶段,并且尚未应用于大规模问题。在这里,我们通过将EP扩展到全体形态网络来解决这些问题。我们分析表明,即使对于有限振幅教学信号,这种扩展也会自然导致精确的梯度。重要的是,可以将梯度计算为在连续时间内有限神经元活性振荡的第一个傅立叶系数,而无需单独的阶段。此外,我们在数值模拟中证明了我们的方法允许在存在噪声的情况下对梯度的强大估计,并且更深的模型受益于有限的教学信号。最后,我们在ImageNet 32​​x32数据集上建立了EP的第一个基准,并表明它与接受BP训练的等效网络的性能相匹配。我们的工作提供了分析见解,使EP可以扩展到大规模问题,并为振荡如何支持生物学和神经形态系统的学习建立正式框架。
translated by 谷歌翻译
The spectacular successes of recurrent neural network models where key parameters are adjusted via backpropagation-based gradient descent have inspired much thought as to how biological neuronal networks might solve the corresponding synaptic credit assignment problem. There is so far little agreement, however, as to how biological networks could implement the necessary backpropagation through time, given widely recognized constraints of biological synaptic network signaling architectures. Here, we propose that extra-synaptic diffusion of local neuromodulators such as neuropeptides may afford an effective mode of backpropagation lying within the bounds of biological plausibility. Going beyond existing temporal truncation-based gradient approximations, our approximate gradient-based update rule, ModProp, propagates credit information through arbitrary time steps. ModProp suggests that modulatory signals can act on receiving cells by convolving their eligibility traces via causal, time-invariant and synapse-type-specific filter taps. Our mathematical analysis of ModProp learning, together with simulation results on benchmark temporal tasks, demonstrate the advantage of ModProp over existing biologically-plausible temporal credit assignment rules. These results suggest a potential neuronal mechanism for signaling credit information related to recurrent interactions over a longer time horizon. Finally, we derive an in-silico implementation of ModProp that could serve as a low-complexity and causal alternative to backpropagation through time.
translated by 谷歌翻译
Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.
translated by 谷歌翻译
人工神经网络通过反向传播培训极其深的网络成功解决了各种各样的问题。直接应用背部传播到尖峰神经网络含有生物学难以判断的组件,如重量运输问题或单独的推理和学习阶段。各种方法单独地解决不同的组件,但完整的解决方案保持无形。在这里,我们采取了一种替代方法,可以完全避免反向传播及其相关问题。深度学习的最新工作提出了通过信息瓶颈(IB)独立培训每层网络。随后的研究指出,该层面的方法绕过层的误差传播,导致生物合理的范式。不幸的是,使用一批样本来计算IB。先前的工作通过重量更新解决,仅使用两个样本(当前和先前的样本)。我们的工作通过将体重更新分解为本地和全局组件来采用不同的方法。本地组件是Hebbian,只取决于当前的样本。全局组件计算依赖于一批样本的层面调制信号。我们表明该调制信号可以通过具有像储存器的工作存储器(WM)的辅助电路来学习。因此,我们可以使用大于两个的批量尺寸,并且批处理大小确定了WM所需的容量。据我们所知,我们的规则是第一种生物合理的机制,可以直接与任务的WM耦合突触更新。我们评估我们对综合数据集和图像分类数据集的规则,如Mnist,我们探讨了WM容量对学习性能的影响。我们希望我们的工作是了解记忆在学习中的机制作用的第一步。
translated by 谷歌翻译
尖峰神经网络(SNN)是大脑中低功率,耐断层的信息处理的基础,并且在适当的神经形态硬件加速器上实施时,可能构成传统深层神经网络的能力替代品。但是,实例化解决复杂的计算任务的SNN在Silico中仍然是一个重大挑战。替代梯度(SG)技术已成为培训SNN端到端的标准解决方案。尽管如此,它们的成功取决于突触重量初始化,类似于常规的人工神经网络(ANN)。然而,与ANN不同,它仍然难以捉摸地构成SNN的良好初始状态。在这里,我们为受到大脑中通常观察到的波动驱动的策略启发的SNN制定了一般初始化策略。具体而言,我们为数据依赖性权重初始化提供了实用的解决方案,以确保广泛使用的泄漏的集成和传火(LIF)神经元的波动驱动。我们从经验上表明,经过SGS培训时,SNN遵循我们的策略表现出卓越的学习表现。这些发现概括了几个数据集和SNN体系结构,包括完全连接,深度卷积,经常性和更具生物学上合理的SNN遵守Dale的定律。因此,波动驱动的初始化提供了一种实用,多功能且易于实现的策略,可改善神经形态工程和计算神经科学的不同任务的SNN培训绩效。
translated by 谷歌翻译
神经生成模型可用于学习从数据的复杂概率分布,从它们中进行采样,并产生概率密度估计。我们提出了一种用于开发由大脑预测处理理论启发的神经生成模型的计算框架。根据预测加工理论,大脑中的神经元形成一个层次结构,其中一个级别的神经元形成关于来自另一个层次的感觉输入的期望。这些神经元根据其期望与观察到的信号之间的差异更新其本地模型。以类似的方式,我们的生成模型中的人造神经元预测了邻近的神经元的作用,并根据预测匹配现实的程度来调整它们的参数。在这项工作中,我们表明,在我们的框架内学到的神经生成模型在练习中跨越多个基准数据集和度量来表现良好,并且保持竞争或显着优于具有类似功能的其他生成模型(例如变形自动编码器)。
translated by 谷歌翻译
预测性编码(PC)是计算神经科学中的有影响力的理论,它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络(PCN)分为两个阶段。首先,更新神经活动以优化网络对外部刺激的反应。其次,更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流(BP),但最近的工作表明,在该标准制度中运行的PCN不近似BP,但仍获得了竞争性培训和广泛性培训,以进行BP训练。网络在诸如在线,几乎没有射击和持续学习之类的任务上的网络效果超过了它们,在该任务中,大脑擅长于大脑。尽管这种有希望的经验表现,但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中,我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播(TP)的紧密联系关系的分析结果。其次,我们提供了PCN中学习的理论分析,作为广义期望最大化的变体,并使用它来证明PCN与BP损耗函数的关键点的收敛性,从而表明,从理论上讲,深色PCN可以实现相同的实现。作为BP的概括性能,同时保持其独特的优势。
translated by 谷歌翻译
为了在专门的神经形态硬件中进行节能计算,我们提出了尖峰神经编码,这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型,它是通过在“猜测和检查”的永无止境过程中运行的,神经元可以预测彼此的活动值,然后调整自己的活动以做出更好的未来预测。我们系统的互动性,迭代性质非常适合感官流预测的连续时间表述,并且如我们所示,模型的结构产生了局部突触更新规则,可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中,我们对模型的实例化进行了实例化,该模型包括泄漏的集成和火灾单元。但是,我们系统所在的框架自然可以结合更复杂的神经元,例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时,模型的潜力。值得注意的是,尖峰神经编码在分类绩效方面具有竞争力,并且在从任务序列中学习时会降低遗忘,从而提供了更经济的,具有生物学上的替代品,可用于流行的人工神经网络。
translated by 谷歌翻译
预测编码(PC)是皮质功能的一般理论。最近显示了一种PC模型中的本地梯度的学习规则,以密切近似近似。该发现表明,基于梯度的PC模型可能有助于了解大脑如何解决信用分配问题。该模型也可用于开发与神经族硬件兼容的局部学习算法。在本文中,我们修改了该PC模型,使其更好地适合生物限制,包括神经元只能具有正射击率的约束和突触只在一个方向上流动的约束。我们还计算基于梯度的权重和活动更新,给定修改的活动值。我们表明,在某些条件下,这些修改后的PC网络也表现出或几乎在MNIST数据中作为未修改的PC模型和具有BackPropagation培训的网络。
translated by 谷歌翻译
Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.
translated by 谷歌翻译
大脑如何执行信用分配是神经科学中的基本未解决问题。已经提出了许多“生物学上合理的”算法,这些算法计算了近似通过反向传播计算的梯度(BP),并以更紧密地满足神经回路施加的约束的方式运行。许多这样的算法都利用了基于能量的模型(EBM)的框架,其中对模型中的所有自由变量进行了优化以最大程度地减少全局能量函数。但是,在文献中,这些算法存在于孤立状态,没有将它们联系在一起的统一理论。在这里,我们提供了一个全面的理论,说明EBM可以近似BP的条件,这使我们能够统一许多BP近似值导致文献中的许多BP近似(即预测性编码,平衡传播和HEBBIAN学习),并证明它们的近似值均为BP源于自由相平衡处EBM的简单和一般数学特性。然后可以通过不同的能量函数以不同的方式利用该属性,这些特定选择产生了BP Approxatimating算法的家族,两者都包含文献中的已知结果,并且可用于得出新的结果。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识,以在自己的项目中使用机器学习,并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中,我们讨论受监督,无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始,例如原理分析,T-SNE,聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构,例如密集的进料和常规神经网络,经常性的神经网络,受限的玻尔兹曼机器,(变性)自动编码器,生成的对抗性网络。讨论了潜在空间表示的解释性问题,并使用梦和对抗性攻击的例子。最后一部分致力于加强学习,我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
穗状花序的神经形状硬件占据了深度神经网络(DNN)的更节能实现的承诺,而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN,否则能量优势丢失。特别地,解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器(LSTM)单元。我们展示了许多生物神经元的面部,在每个尖峰后缓慢的超积极性(AHP)电流,提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现,例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外,它为实现了非常稀疏的大量大型DNN来实现基础,这些大型DNN在文本中提取单词和句子之间的关系,以便回答有关文本的问题。
translated by 谷歌翻译
尖峰神经网络(SNN)已成为用于分类任务的硬件有效体系结构。基于尖峰的编码的惩罚是缺乏完全使用尖峰执行的通用训练机制。已经进行了几项尝试,用于采用在非加速人工神经网络(ANN)中使用的强大反向传播(BP)技术:(1)SNN可以通过外部计算的数值梯度来训练。 (2)基于天然尖峰的学习的主要进步是使用具有分阶段的前向/向后传递的尖峰时间依赖性可塑性(STDP)的近似反向传播。但是,在此类阶段之间的信息传输需要外部内存和计算访问。这是神经形态硬件实现的挑战。在本文中,我们提出了一种基于随机SNN的后式Prop(SSNN-BP)算法,该算法利用复合神经元同时计算前向通行激活,并用尖峰明确计算前向传递梯度。尽管签名的梯度值是基于SPIKE的表示的挑战,但我们通过将梯度信号分为正和负流来解决这一问题。复合神经元以随机尖峰传播的形式编码信息,并将反向传播的权重更新转换为时间和空间上局部离散的STDP类似STDP的Spike Concike更新,使其与硬件友好的电阻式处理单元(RPU)兼容。此外,我们的方法使用足够长的尖峰训练来接近BP ANN基线。最后,我们表明,可以通过强制执行胜利者的抑制性横向连接来实现软磁体交叉渗透损失函数。我们的SNN通过与MNIST,时尚和扩展的MNIST数据集的ANN相当的性能来表现出极好的概括。因此,SSNN-BP可以使BP与纯粹基于尖峰的神经形态硬件兼容。
translated by 谷歌翻译