Backpropagation is widely used to train artificial neural networks, but its relationship to synaptic plasticity in the brain is unknown. Some biological models of backpropagation rely on feedback projections that are symmetric with feedforward connections, but experiments do not corroborate the existence of such symmetric backward connectivity. Random feedback alignment offers an alternative model in which errors are propagated backward through fixed, random backward connections. This approach successfully trains shallow models, but learns slowly and does not perform well with deeper models or online learning. In this study, we develop a novel meta-plasticity approach to discover interpretable, biologically plausible plasticity rules that improve online learning performance with fixed random feedback connections. The resulting plasticity rules show improved online training of deep models in the low data regime. Our results highlight the potential of meta-plasticity to discover effective, interpretable learning rules satisfying biological constraints.

人工神经网络中的监督学习通常依赖于反向传播，其中权重根据误差函数梯度进行更新，并从输出层到输入层依次传播。尽管这种方法已被证明在广泛的应用领域有效，但在许多方面缺乏生物学上的合理性，包括重量对称问题，学习对非本地信号的依赖性，错误传播期间的神经活动的冻结以及更新锁定的冻结问题。已经引入了替代培训计划，包括标志对称性，反馈对准和直接反馈对准，但它们总是依靠向后传球，这阻碍了同时解决所有问题的可能性。在这里，我们建议用第二个正向通行证替换向后通行证，其中根据网络的误差调制输入信号。我们表明，这项新颖的学习规则全面解决了上述所有问题，并且可以应用于完全连接和卷积模型。我们测试了有关MNIST，CIFAR-10和CIFAR-100的学习规则。这些结果有助于将生物学原理纳入机器学习。

错误 - 背面范围（BackProp）算法仍然是人工神经网络中信用分配问题的最常见解决方案。在神经科学中，尚不清楚大脑是否可以采用类似的策略来纠正其突触。最近的模型试图弥合这一差距，同时与一系列实验观察一致。但是，这些模型要么无法有效地跨多层返回误差信号，要么需要多相学习过程，它们都不让人想起大脑中的学习。在这里，我们介绍了一种新模型，破裂的皮质皮质网络（BUSTCCN），该网络通过整合了皮质网络的已知特性，即爆发活动，短期可塑性（STP）和dendrite-target-targeting Interneurons来解决这些问题。 BUSTCCN依赖于连接型特异性STP的突发多路复用来传播深层皮质网络中的反向Prop样误差信号。这些误差信号是在远端树突上编码的，由于兴奋性抑制性抑制性倒入输入而诱导爆发依赖性可塑性。首先，我们证明我们的模型可以使用单相学习过程有效地通过多层回溯错误。接下来，我们通过经验和分析表明，在我们的模型中学习近似反向推广的梯度。最后，我们证明我们的模型能够学习复杂的图像分类任务（MNIST和CIFAR-10）。总体而言，我们的结果表明，跨细胞，细胞，微电路和系统水平的皮质特征共同基于大脑中的单相有效深度学习。

Models of sensory processing and learning in the cortex need to efficiently assign credit to synapses in all areas. In deep learning, a known solution is error backpropagation, which however requires biologically implausible weight transport from feed-forward to feedback paths. We introduce Phaseless Alignment Learning (PAL), a bio-plausible method to learn efficient feedback weights in layered cortical hierarchies. This is achieved by exploiting the noise naturally found in biophysical systems as an additional carrier of information. In our dynamical system, all weights are learned simultaneously with always-on plasticity and using only information locally available to the synapses. Our method is completely phase-free (no forward and backward passes or phased learning) and allows for efficient error propagation across multi-layer cortical hierarchies, while maintaining biologically plausible signal transport and learning. Our method is applicable to a wide class of models and improves on previously known biologically plausible ways of credit assignment: compared to random synaptic feedback, it can solve complex tasks with less neurons and learn more useful latent representations. We demonstrate this on various classification tasks using a cortical microcircuit model with prospective coding.

The error Backpropagation algorithm (BP) is a key method for training deep neural networks. While performant, it is also resource-demanding in terms of computation, memory usage and energy. This makes it unsuitable for online learning on edge devices that require a high processing rate and low energy consumption. More importantly, BP does not take advantage of the parallelism and local characteristics offered by dedicated neural processors. There is therefore a demand for alternative algorithms to BP that could improve the latency, memory requirements, and energy footprint of neural networks on hardware. In this work, we propose a novel method based on Direct Feedback Alignment (DFA) which uses Forward-Mode Automatic Differentiation to estimate backpropagation paths and learn feedback connections in an online manner. We experimentally show that Directional DFA achieves performances that are closer to BP than other feedback methods on several benchmark datasets and architectures while benefiting from the locality and parallelization characteristics of DFA. Moreover, we show that, unlike other feedback learning algorithms, our method provides stable learning for convolution layers.

生物大脑中的自上而下的连接已被证明在高认知功能中很重要。但是，这种机制在机器学习中的功能尚未清楚地定义。在这项研究中，我们建议制定由自下而上和自上而下的网络构成的框架。在这里，我们使用自上而下的信用分配网络（TDCA网络）来替换损失功能和背部传播（BP），该功能是传统自下而上网络培训范式中的反馈机制。我们的结果表明，训练有素的TDCA网络给予的信用优于在多个数据集上不同设置下的分类任务中反向传播的梯度。此外，我们成功地使用了信用扩散的技巧，该技巧可以保持训练和测试性能保持不变，以降低TDCA网络的参数复杂性。更重要的是，通过比较它们在参数景观中的轨迹，我们发现TDCA网络直接达到了全局最佳，而与该反向传播只能获得局部最佳最佳。因此，我们的结果表明，TDCA网络不仅提供了一种生物学合理的学习机制，而且有可能直接实现全球最佳效果，这表明自上而下的信用分配可以替代反向传播，并为深层神经网络提供更好的学习框架。 。

平衡系统是表达神经计算的有力方法。作为特殊情况，它们包括对神经科学和机器学习的最新兴趣模型，例如平衡复发性神经网络，深度平衡模型或元学习。在这里，我们提出了一个新的原则，用于学习具有时间和空间本地规则的此类系统。我们的原理将学习作为一个最不控制的问题，我们首先引入一个最佳控制器，以将系统带入解决方案状态，然后将学习定义为减少达到这种状态所需的控制量。我们表明，将学习信号纳入动力学作为最佳控制可以以先前未知的方式传输信用分配信息，避免将中间状态存储在内存中，并且不依赖无穷小的学习信号。在实践中，我们的原理可以使基于梯度的学习方法的强大绩效匹配，该方法应用于涉及复发性神经网络和元学习的一系列问题。我们的结果阐明了大脑如何学习并提供解决广泛的机器学习问题的新方法。

短期可塑性（STP）是一种将腐烂记忆存储在大脑皮质突触中的机制。在计算实践中，已经使用了STP，但主要是在尖峰神经元的细分市场中，尽管理论预测它是对某些动态任务的最佳解决方案。在这里，我们提出了一种新型的经常性神经单元，即STP神经元（STPN），它确实实现了惊人的功能。它的关键机制是，突触具有一个状态，通过与偶然性的自我连接在时间上传播。该公式使能够通过时间返回传播来训练可塑性，从而导致一种学习在短期内学习和忘记的形式。 STPN的表现优于所有测试的替代方案，即RNN，LSTMS，其他具有快速重量和可区分可塑性的型号。我们在监督和强化学习（RL）以及协会​​检索，迷宫探索，Atari视频游戏和Mujoco Robotics等任务中证实了这一点。此外，我们计算出，在神经形态或生物电路中，STPN最大程度地减少了模型的能量消耗，因为它会动态降低个体突触。基于这些，生物学STP可能是一种强大的进化吸引子，可最大程度地提高效率和计算能力。现在，STPN将这些神经形态的优势带入了广泛的机器学习实践。代码可从https://github.com/neuromorphiccomputing/stpn获得

深度学习的成功激发了人们对大脑是否使用基于梯度的学习来学习层次结构表示的兴趣。但是，目前在深层神经网络中基于梯度的信用分配的生物学上合理的方法需要无限的小反馈信号，这在生物学上现实的嘈杂环境中是有问题的，并且与神经科学的实验证据不符，表明自上而下的反馈可以显着影响神经活动。在最近提出的一种信用分配方法的深度反馈控制（DFC）的基础上，我们结合了对神经活动的强烈反馈影响与基​​于梯度的学习，并表明这自然会导致对神经网络优化的新看法。权重更新并没有逐渐将网络权重转换为具有低输出损失的配置，而是逐渐最大程度地减少了将网络驱动到监督输出标签的控制器所需的反馈量。此外，我们表明，在DFC中使用强反馈的使用允许同时学习和反馈连接，并在时空中完全本地学习规则。我们通过对标准计算机视觉基准测试的实验来补充我们的理论结果，显示了反向传播的竞争性能以及对噪声的鲁棒性。总体而言，我们的工作提出了一种从根本上新颖的学习视图，作为控制最小化，同时避开了生物学上不切实际的假设。

IoT设备收集的数据通常是私人的，并且在各种用户之间具有巨大的多样性。因此，学习需要使用可用的代表性数据样本进行预训练，在物联网设备上部署预训练的模型，并使用本地数据在设备上调整已部署的模型。这种用于深度学习授权应用程序的设备改编需要数据和记忆效率。但是，现有的基于梯度的元学习方案无法支持记忆有效的适应。为此，我们提出了P-Meta，这是一种新的元学习方法，该方法可以强制执行结构的部分参数更新，同时确保快速概括到看不见的任务。对几片图像分类和强化学习任务的评估表明，与最先进的几次适应方法相比。

元学习方法旨在构建能够快速适应低数据制度的新任务的学习算法。这种算法的主要基准之一是几次学习问题。在本文中，我们调查了在培训期间采用多任务方法的标准元学习管道的修改。该提出的方法同时利用来自常见损​​失函数中的几个元训练任务的信息。每个任务在损耗功能中的影响由相应的重量控制。正确优化这些权重可能对整个模型的训练产生很大影响，并且可能会提高测试时间任务的质量。在这项工作中，我们提出并调查了使用同时扰动随机近似（SPSA）方法的方法的使用方法，用于元列车任务权重优化。我们还将提出的算法与基于梯度的方法进行了比较，发现随机近似表明了测试时间最大的质量增强。提出的多任务修改可以应用于使用元学习管道的几乎所有方法。在本文中，我们研究了这种修改对CiFar-FS，FC100，TieredimAgenet和MiniimAgenet几秒钟学习基准的原型网络和模型 - 不可知的元学习算法。在这些实验期间，多任务修改已经证明了对原始方法的改进。所提出的SPSA跟踪算法显示了对最先进的元学习方法具有竞争力的最大精度提升。我们的代码可在线获取。

神经生成模型可用于学习从数据的复杂概率分布，从它们中进行采样，并产生概率密度估计。我们提出了一种用于开发由大脑预测处理理论启发的神经生成模型的计算框架。根据预测加工理论，大脑中的神经元形成一个层次结构，其中一个级别的神经元形成关于来自另一个层次的感觉输入的期望。这些神经元根据其期望与观察到的信号之间的差异更新其本地模型。以类似的方式，我们的生成模型中的人造神经元预测了邻近的神经元的作用，并根据预测匹配现实的程度来调整它们的参数。在这项工作中，我们表明，在我们的框架内学到的神经生成模型在练习中跨越多个基准数据集和度量来表现良好，并且保持竞争或显着优于具有类似功能的其他生成模型（例如变形自动编码器）。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

为了在具有快速收敛和低内存的边缘设备上学习，我们提出了一种新型的无反向传播优化算法，称为目标投影投影随机梯度下降（TPSGD）。 TPSGD将直接的随机目标投影概括为使用任意损失函数，并扩展训练复发性神经网络（RNN）的目标投影，此外还有其他损失函数。 TPSGD使用层的随机梯度下降（SGD）和通过标签的随机投影生成的局部目标来训练网络逐层，仅通过正向传递。 TPSGD在优化过程中不需要保留梯度，与SGD反向传播（BP）方法相比，记忆分配大大降低了，这些方法需要整个神经网络权重，输入/输出和中间结果的多个实例。我们的方法在相对较浅的层，卷积层和经常性层的相对较浅的网络上，在5％的精度内的BP梯度降低性能相当。 TPSGD还胜过由多层感知器，卷积神经网络（CNN）和RNN组成的浅层模型中的其他最先进的无梯度算法，具有竞争力准确性，记忆力和时间更少。我们评估TPSGD在训练深神经网络（例如VGG）中的性能，并将方法扩展到多层RNN。这些实验突出了与使用TPSGD在边缘的TPSGD进行域转移的优化基于层的适配器训练有关的新研究方向。

人工神经网络通过反向传播培训极其深的网络成功解决了各种各样的问题。直接应用背部传播到尖峰神经网络含有生物学难以判断的组件，如重量运输问题或单独的推理和学习阶段。各种方法单独地解决不同的组件，但完整的解决方案保持无形。在这里，我们采取了一种替代方法，可以完全避免反向传播及其相关问题。深度学习的最新工作提出了通过信息瓶颈（IB）独立培训每层网络。随后的研究指出，该层面的方法绕过层的误差传播，导致生物合理的范式。不幸的是，使用一批样本来计算IB。先前的工作通过重量更新解决，仅使用两个样本（当前和先前的样本）。我们的工作通过将体重更新分解为本地和全局组件来采用不同的方法。本地组件是Hebbian，只取决于当前的样本。全局组件计算依赖于一批样本的层面调制信号。我们表明该调制信号可以通过具有像储存器的工作存储器（WM）的辅助电路来学习。因此，我们可以使用大于两个的批量尺寸，并且批处理大小确定了WM所需的容量。据我们所知，我们的规则是第一种生物合理的机制，可以直接与任务的WM耦合突触更新。我们评估我们对综合数据集和图像分类数据集的规则，如Mnist，我们探讨了WM容量对学习性能的影响。我们希望我们的工作是了解记忆在学习中的机制作用的第一步。

基于优化的元学习旨在学习初始化，以便在一些梯度更新中可以学习新的看不见的任务。模型不可知的元学习（MAML）是一种包括两个优化回路的基准算法。内部循环致力于学习一项新任务，并且外循环导致元定义。但是，Anil（几乎没有内部环）算法表明，功能重用是MAML快速学习的替代方法。因此，元定义阶段使MAML用于特征重用，并消除了快速学习的需求。与Anil相反，我们假设可能需要在元测试期间学习新功能。从非相似分布中进行的一项新的看不见的任务将需要快速学习，并重用现有功能。在本文中，我们调用神经网络的宽度深度二元性，其中，我们通过添加额外的计算单元（ACU）来增加网络的宽度。 ACUS可以在元测试任务中学习新的原子特征，而相关的增加宽度有助于转发通行证中的信息传播。新学习的功能与最后一层的现有功能相结合，用于元学习。实验结果表明，我们提出的MAC方法的表现优于现有的非相似任务分布的Anil算法，约为13％（5次任务设置）

HEBBIAN在获奖者全方位（WTA）网络中的可塑性对于神经形态的片上学习非常有吸引力，这是由于其高效，本地，无监督和在线性质。此外，它的生物学合理性可能有助于克服人工算法的重要局限性，例如它们对对抗攻击和长期训练时间的敏感性。但是，Hebbian WTA学习在机器学习（ML）中很少使用，这可能是因为它缺少与深度学习兼容的优化理论（DL）。在这里，我们严格地表明，由标准DL元素构建的WTA网络与我们得出的Hebbian样可塑性结合在一起，维持数据的贝叶斯生成模型。重要的是，在没有任何监督的情况下，我们的算法，SOFTHEBB，可以最大程度地减少跨渗透性，即监督DL中的共同损失函数。我们在理论上和实践中展示了这一点。关键是“软” WTA，那里没有绝对的“硬”赢家神经元。令人惊讶的是，在浅网络比较与背面的比较（BP）中，SOFTHEBB表现出超出其HEBBIAN效率的优势。也就是说，它的收敛速度更快，并且对噪声和对抗性攻击更加强大。值得注意的是，最大程度地混淆SoftheBB的攻击也使人眼睛混淆，可能将人类感知的鲁棒性与Hebbian WTA Cortects联系在一起。最后，SOFTHEBB可以将合成对象作为真实对象类的插值生成。总而言之，Hebbian效率，理论的基础，跨透明拷贝最小化以及令人惊讶的经验优势，表明SOFTHEBB可能会激发高度神经态和彻底不同，但实用且有利的学习算法和硬件加速器。

We propose that in order to harness our understanding of neuroscience toward machine learning, we must first have powerful tools for training brain-like models of learning. Although substantial progress has been made toward understanding the dynamics of learning in the brain, neuroscience-derived models of learning have yet to demonstrate the same performance capabilities as methods in deep learning such as gradient descent. Inspired by the successes of machine learning using gradient descent, we demonstrate that models of neuromodulated synaptic plasticity from neuroscience can be trained in Spiking Neural Networks (SNNs) with a framework of learning to learn through gradient descent to address challenging online learning problems. This framework opens a new path toward developing neuroscience inspired online learning algorithms.

Lack of performance when it comes to continual learning over non-stationary distributions of data remains a major challenge in scaling neural network learning to more human realistic settings. In this work we propose a new conceptualization of the continual learning problem in terms of a temporally symmetric trade-off between transfer and interference that can be optimized by enforcing gradient alignment across examples. We then propose a new algorithm, Meta-Experience Replay (MER), that directly exploits this view by combining experience replay with optimization based meta-learning. This method learns parameters that make interference based on future gradients less likely and transfer based on future gradients more likely. 1 We conduct experiments across continual lifelong supervised learning benchmarks and non-stationary reinforcement learning environments demonstrating that our approach consistently outperforms recently proposed baselines for continual learning. Our experiments show that the gap between the performance of MER and baseline algorithms grows both as the environment gets more non-stationary and as the fraction of the total experiences stored gets smaller.

最近对反向传播的近似（BP）减轻了BP的许多计算效率低下和与生物学的不兼容性，但仍然存在重要的局限性。此外，近似值显着降低了基准的准确性，这表明完全不同的方法可能更富有成果。在这里，基于在软冠军全网络中Hebbian学习的最新理论基础上，我们介绍了多层softhebb，即一种训练深神经网络的算法，没有任何反馈，目标或错误信号。结果，它通过避免重量传输，非本地可塑性，层更新的时间锁定，迭代平衡以及（自我）监督或其他反馈信号来实现效率，这在其他方法中是必不可少的。与最先进的生物学知识学习相比，它提高的效率和生物兼容性不能取得准确性的折衷，而是改善了准确性。 MNIST，CIFAR-10，STL-10和IMAGENET上最多五个隐藏层和添加的线性分类器，分别达到99.4％，80.3％，76.2％和27.3％。总之，SOFTHEBB显示出与BP的截然不同的方法，即对几层的深度学习在大脑中可能是合理的，并提高了生物学上的机器学习的准确性。