人工神经网络中的监督学习通常依赖于反向传播，其中权重根据误差函数梯度进行更新，并从输出层到输入层依次传播。尽管这种方法已被证明在广泛的应用领域有效，但在许多方面缺乏生物学上的合理性，包括重量对称问题，学习对非本地信号的依赖性，错误传播期间的神经活动的冻结以及更新锁定的冻结问题。已经引入了替代培训计划，包括标志对称性，反馈对准和直接反馈对准，但它们总是依靠向后传球，这阻碍了同时解决所有问题的可能性。在这里，我们建议用第二个正向通行证替换向后通行证，其中根据网络的误差调制输入信号。我们表明，这项新颖的学习规则全面解决了上述所有问题，并且可以应用于完全连接和卷积模型。我们测试了有关MNIST，CIFAR-10和CIFAR-100的学习规则。这些结果有助于将生物学原理纳入机器学习。

Models of sensory processing and learning in the cortex need to efficiently assign credit to synapses in all areas. In deep learning, a known solution is error backpropagation, which however requires biologically implausible weight transport from feed-forward to feedback paths. We introduce Phaseless Alignment Learning (PAL), a bio-plausible method to learn efficient feedback weights in layered cortical hierarchies. This is achieved by exploiting the noise naturally found in biophysical systems as an additional carrier of information. In our dynamical system, all weights are learned simultaneously with always-on plasticity and using only information locally available to the synapses. Our method is completely phase-free (no forward and backward passes or phased learning) and allows for efficient error propagation across multi-layer cortical hierarchies, while maintaining biologically plausible signal transport and learning. Our method is applicable to a wide class of models and improves on previously known biologically plausible ways of credit assignment: compared to random synaptic feedback, it can solve complex tasks with less neurons and learn more useful latent representations. We demonstrate this on various classification tasks using a cortical microcircuit model with prospective coding.

深度学习的成功激发了人们对大脑是否使用基于梯度的学习来学习层次结构表示的兴趣。但是，目前在深层神经网络中基于梯度的信用分配的生物学上合理的方法需要无限的小反馈信号，这在生物学上现实的嘈杂环境中是有问题的，并且与神经科学的实验证据不符，表明自上而下的反馈可以显着影响神经活动。在最近提出的一种信用分配方法的深度反馈控制（DFC）的基础上，我们结合了对神经活动的强烈反馈影响与基​​于梯度的学习，并表明这自然会导致对神经网络优化的新看法。权重更新并没有逐渐将网络权重转换为具有低输出损失的配置，而是逐渐最大程度地减少了将网络驱动到监督输出标签的控制器所需的反馈量。此外，我们表明，在DFC中使用强反馈的使用允许同时学习和反馈连接，并在时空中完全本地学习规则。我们通过对标准计算机视觉基准测试的实验来补充我们的理论结果，显示了反向传播的竞争性能以及对噪声的鲁棒性。总体而言，我们的工作提出了一种从根本上新颖的学习视图，作为控制最小化，同时避开了生物学上不切实际的假设。

错误 - 背面范围（BackProp）算法仍然是人工神经网络中信用分配问题的最常见解决方案。在神经科学中，尚不清楚大脑是否可以采用类似的策略来纠正其突触。最近的模型试图弥合这一差距，同时与一系列实验观察一致。但是，这些模型要么无法有效地跨多层返回误差信号，要么需要多相学习过程，它们都不让人想起大脑中的学习。在这里，我们介绍了一种新模型，破裂的皮质皮质网络（BUSTCCN），该网络通过整合了皮质网络的已知特性，即爆发活动，短期可塑性（STP）和dendrite-target-targeting Interneurons来解决这些问题。 BUSTCCN依赖于连接型特异性STP的突发多路复用来传播深层皮质网络中的反向Prop样误差信号。这些误差信号是在远端树突上编码的，由于兴奋性抑制性抑制性倒入输入而诱导爆发依赖性可塑性。首先，我们证明我们的模型可以使用单相学习过程有效地通过多层回溯错误。接下来，我们通过经验和分析表明，在我们的模型中学习近似反向推广的梯度。最后，我们证明我们的模型能够学习复杂的图像分类任务（MNIST和CIFAR-10）。总体而言，我们的结果表明，跨细胞，细胞，微电路和系统水平的皮质特征共同基于大脑中的单相有效深度学习。

最近对反向传播的近似（BP）减轻了BP的许多计算效率低下和与生物学的不兼容性，但仍然存在重要的局限性。此外，近似值显着降低了基准的准确性，这表明完全不同的方法可能更富有成果。在这里，基于在软冠军全网络中Hebbian学习的最新理论基础上，我们介绍了多层softhebb，即一种训练深神经网络的算法，没有任何反馈，目标或错误信号。结果，它通过避免重量传输，非本地可塑性，层更新的时间锁定，迭代平衡以及（自我）监督或其他反馈信号来实现效率，这在其他方法中是必不可少的。与最先进的生物学知识学习相比，它提高的效率和生物兼容性不能取得准确性的折衷，而是改善了准确性。 MNIST，CIFAR-10，STL-10和IMAGENET上最多五个隐藏层和添加的线性分类器，分别达到99.4％，80.3％，76.2％和27.3％。总之，SOFTHEBB显示出与BP的截然不同的方法，即对几层的深度学习在大脑中可能是合理的，并提高了生物学上的机器学习的准确性。

The error Backpropagation algorithm (BP) is a key method for training deep neural networks. While performant, it is also resource-demanding in terms of computation, memory usage and energy. This makes it unsuitable for online learning on edge devices that require a high processing rate and low energy consumption. More importantly, BP does not take advantage of the parallelism and local characteristics offered by dedicated neural processors. There is therefore a demand for alternative algorithms to BP that could improve the latency, memory requirements, and energy footprint of neural networks on hardware. In this work, we propose a novel method based on Direct Feedback Alignment (DFA) which uses Forward-Mode Automatic Differentiation to estimate backpropagation paths and learn feedback connections in an online manner. We experimentally show that Directional DFA achieves performances that are closer to BP than other feedback methods on several benchmark datasets and architectures while benefiting from the locality and parallelization characteristics of DFA. Moreover, we show that, unlike other feedback learning algorithms, our method provides stable learning for convolution layers.

Backpropagation is widely used to train artificial neural networks, but its relationship to synaptic plasticity in the brain is unknown. Some biological models of backpropagation rely on feedback projections that are symmetric with feedforward connections, but experiments do not corroborate the existence of such symmetric backward connectivity. Random feedback alignment offers an alternative model in which errors are propagated backward through fixed, random backward connections. This approach successfully trains shallow models, but learns slowly and does not perform well with deeper models or online learning. In this study, we develop a novel meta-plasticity approach to discover interpretable, biologically plausible plasticity rules that improve online learning performance with fixed random feedback connections. The resulting plasticity rules show improved online training of deep models in the low data regime. Our results highlight the potential of meta-plasticity to discover effective, interpretable learning rules satisfying biological constraints.

Bio-inspired learning has been gaining popularity recently given that Backpropagation (BP) is not considered biologically plausible. Many algorithms have been proposed in the literature which are all more biologically plausible than BP. However, apart from overcoming the biological implausibility of BP, a strong motivation for using Bio-inspired algorithms remains lacking. In this study, we undertake a holistic comparison of BP vs. multiple Bio-inspired algorithms to answer the question of whether Bio-learning offers additional benefits over BP, rather than just biological plausibility. We test Bio-algorithms under different design choices such as access to only partial training data, resource constraints in terms of the number of training epochs, sparsification of the neural network parameters and addition of noise to input samples. Through these experiments, we notably find two key advantages of Bio-algorithms over BP. Firstly, Bio-algorithms perform much better than BP when the entire training dataset is not supplied. Four of the five Bio-algorithms tested outperform BP by upto 5% accuracy when only 20% of the training dataset is available. Secondly, even when the full dataset is available, Bio-algorithms learn much quicker and converge to a stable accuracy in far lesser training epochs than BP. Hebbian learning, specifically, is able to learn in just 5 epochs compared to around 100 epochs required by BP. These insights present practical reasons for utilising Bio-learning rather than just its biological plausibility and also point towards interesting new directions for future work on Bio-learning.

大脑如何执行信用分配是神经科学中的基本未解决问题。已经提出了许多“生物学上合理的”算法，这些算法计算了近似通过反向传播计算的梯度（BP），并以更紧密地满足神经回路施加的约束的方式运行。许多这样的算法都利用了基于能量的模型（EBM）的框架，其中对模型中的所有自由变量进行了优化以最大程度地减少全局能量函数。但是，在文献中，这些算法存在于孤立状态，没有将它们联系在一起的统一理论。在这里，我们提供了一个全面的理论，说明EBM可以近似BP的条件，这使我们能够统一许多BP近似值导致文献中的许多BP近似（即预测性编码，平衡传播和HEBBIAN学习），并证明它们的近似值均为BP源于自由相平衡处EBM的简单和一般数学特性。然后可以通过不同的能量函数以不同的方式利用该属性，这些特定选择产生了BP Approxatimating算法的家族，两者都包含文献中的已知结果，并且可用于得出新的结果。

预测编码（PC）是皮质功能的一般理论。最近显示了一种PC模型中的本地梯度的学习规则，以密切近似近似。该发现表明，基于梯度的PC模型可能有助于了解大脑如何解决信用分配问题。该模型也可用于开发与神经族硬件兼容的局部学习算法。在本文中，我们修改了该PC模型，使其更好地适合生物限制，包括神经元只能具有正射击率的约束和突触只在一个方向上流动的约束。我们还计算基于梯度的权重和活动更新，给定修改的活动值。我们表明，在某些条件下，这些修改后的PC网络也表现出或几乎在MNIST数据中作为未修改的PC模型和具有BackPropagation培训的网络。

预测性编码（PC）是计算神经科学中的有影响力的理论，它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络（PCN）分为两个阶段。首先，更新神经活动以优化网络对外部刺激的反应。其次，更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流（BP），但最近的工作表明，在该标准制度中运行的PCN不近似BP，但仍获得了竞争性培训和广泛性培训，以进行BP训练。网络在诸如在线，几乎没有射击和持续学习之类的任务上的网络效果超过了它们，在该任务中，大脑擅长于大脑。尽管这种有希望的经验表现，但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中，我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播（TP）的紧密联系关系的分析结果。其次，我们提供了PCN中学习的理论分析，作为广义期望最大化的变体，并使用它来证明PCN与BP损耗函数的关键点的收敛性，从而表明，从理论上讲，深色PCN可以实现相同的实现。作为BP的概括性能，同时保持其独特的优势。

Target Propagation (TP) is a biologically more plausible algorithm than the error backpropagation (BP) to train deep networks, and improving practicality of TP is an open issue. TP methods require the feedforward and feedback networks to form layer-wise autoencoders for propagating the target values generated at the output layer. However, this causes certain drawbacks; e.g., careful hyperparameter tuning is required to synchronize the feedforward and feedback training, and frequent updates of the feedback path are usually required than that of the feedforward path. Learning of the feedforward and feedback networks is sufficient to make TP methods capable of training, but is having these layer-wise autoencoders a necessary condition for TP to work? We answer this question by presenting Fixed-Weight Difference Target Propagation (FW-DTP) that keeps the feedback weights constant during training. We confirmed that this simple method, which naturally resolves the abovementioned problems of TP, can still deliver informative target values to hidden layers for a given task; indeed, FW-DTP consistently achieves higher test performance than a baseline, the Difference Target Propagation (DTP), on four classification datasets. We also present a novel propagation architecture that explains the exact form of the feedback function of DTP to analyze FW-DTP.

人工神经网络通过反向传播培训极其深的网络成功解决了各种各样的问题。直接应用背部传播到尖峰神经网络含有生物学难以判断的组件，如重量运输问题或单独的推理和学习阶段。各种方法单独地解决不同的组件，但完整的解决方案保持无形。在这里，我们采取了一种替代方法，可以完全避免反向传播及其相关问题。深度学习的最新工作提出了通过信息瓶颈（IB）独立培训每层网络。随后的研究指出，该层面的方法绕过层的误差传播，导致生物合理的范式。不幸的是，使用一批样本来计算IB。先前的工作通过重量更新解决，仅使用两个样本（当前和先前的样本）。我们的工作通过将体重更新分解为本地和全局组件来采用不同的方法。本地组件是Hebbian，只取决于当前的样本。全局组件计算依赖于一批样本的层面调制信号。我们表明该调制信号可以通过具有像储存器的工作存储器（WM）的辅助电路来学习。因此，我们可以使用大于两个的批量尺寸，并且批处理大小确定了WM所需的容量。据我们所知，我们的规则是第一种生物合理的机制，可以直接与任务的WM耦合突触更新。我们评估我们对综合数据集和图像分类数据集的规则，如Mnist，我们探讨了WM容量对学习性能的影响。我们希望我们的工作是了解记忆在学习中的机制作用的第一步。

神经生成模型可用于学习从数据的复杂概率分布，从它们中进行采样，并产生概率密度估计。我们提出了一种用于开发由大脑预测处理理论启发的神经生成模型的计算框架。根据预测加工理论，大脑中的神经元形成一个层次结构，其中一个级别的神经元形成关于来自另一个层次的感觉输入的期望。这些神经元根据其期望与观察到的信号之间的差异更新其本地模型。以类似的方式，我们的生成模型中的人造神经元预测了邻近的神经元的作用，并根据预测匹配现实的程度来调整它们的参数。在这项工作中，我们表明，在我们的框架内学到的神经生成模型在练习中跨越多个基准数据集和度量来表现良好，并且保持竞争或显着优于具有类似功能的其他生成模型（例如变形自动编码器）。

背部衰退的随机梯度下降是人工神经网络的主力。已经很久认识到，BackPropagation无法成为一种生物合理的算法。从根本上，它是一种非本地程序 - 更新一个神经元的突触权重，需要了解下游神经元的突触权重或接受领域。这限制了人工神经网络作为理解大脑中信息处理生物学原理的工具。 Lillicrap等人。 （2016）提出了一种更具生物合理的“反馈对齐”算法，该算法使用随机和固定的反向化重量，并显示有希望的模拟。在本文中，我们通过分析在平方误差损失下的两层网络的收敛和对准来研究反馈对准过程的数学特性。在过度指数化的设置中，我们证明误差会使误差快速收敛到零，并且还需要进行正则化，以便参数与随机背交量对齐。给出了与该分析一致的模拟，并建议进一步的概括。这些结果有助于我们了解生物学合理的算法如何以不同于Hebbian学习的方式进行体重学习，性能与完整的非本地反向验证算法相当。

最近的作品研究了在神经切线内核（NTK）制度中训练的广泛神经网络的理论和经验特性。鉴于生物神经网络比其人工对应物宽得多，因此我们认为NTK范围广泛的神经网络是生物神经网络的可能模型。利用NTK理论，我们从理论上说明梯度下降驱动层的重量更新与其输入活动相关性一致，并通过误差加权，并从经验上证明了结果在有限宽度的宽网络中也存在。对齐结果使我们能够制定一个生物动机的，无反向传播的学习规则，理论上等同于无限宽度网络中的反向传播。我们测试了馈电和经常性神经网络中基准问题的这些学习规则，并在宽网络中证明了与反向传播相当的性能。所提出的规则在低数据制度中特别有效，这在生物学习环境中很常见。

为了在具有快速收敛和低内存的边缘设备上学习，我们提出了一种新型的无反向传播优化算法，称为目标投影投影随机梯度下降（TPSGD）。 TPSGD将直接的随机目标投影概括为使用任意损失函数，并扩展训练复发性神经网络（RNN）的目标投影，此外还有其他损失函数。 TPSGD使用层的随机梯度下降（SGD）和通过标签的随机投影生成的局部目标来训练网络逐层，仅通过正向传递。 TPSGD在优化过程中不需要保留梯度，与SGD反向传播（BP）方法相比，记忆分配大大降低了，这些方法需要整个神经网络权重，输入/输出和中间结果的多个实例。我们的方法在相对较浅的层，卷积层和经常性层的相对较浅的网络上，在5％的精度内的BP梯度降低性能相当。 TPSGD还胜过由多层感知器，卷积神经网络（CNN）和RNN组成的浅层模型中的其他最先进的无梯度算法，具有竞争力准确性，记忆力和时间更少。我们评估TPSGD在训练深神经网络（例如VGG）中的性能，并将方法扩展到多层RNN。这些实验突出了与使用TPSGD在边缘的TPSGD进行域转移的优化基于层的适配器训练有关的新研究方向。

平衡传播（EP）是返回传播（BP）的替代方法，它允许使用本地学习规则训练深层神经网络。因此，它为训练神经形态系统和了解神经生物学的学习提供了一个令人信服的框架。但是，EP需要无限的教学信号，从而限制其在嘈杂的物理系统中的适用性。此外，该算法需要单独的时间阶段，并且尚未应用于大规模问题。在这里，我们通过将EP扩展到全体形态网络来解决这些问题。我们分析表明，即使对于有限振幅教学信号，这种扩展也会自然导致精确的梯度。重要的是，可以将梯度计算为在连续时间内有限神经元活性振荡的第一个傅立叶系数，而无需单独的阶段。此外，我们在数值模拟中证明了我们的方法允许在存在噪声的情况下对梯度的强大估计，并且更深的模型受益于有限的教学信号。最后，我们在ImageNet 32​​x32数据集上建立了EP的第一个基准，并表明它与接受BP训练的等效网络的性能相匹配。我们的工作提供了分析见解，使EP可以扩展到大规模问题，并为振荡如何支持生物学和神经形态系统的学习建立正式框架。

尖峰神经网络（SNN）是大脑中低功率，耐断层的信息处理的基础，并且在适当的神经形态硬件加速器上实施时，可能构成传统深层神经网络的能力替代品。但是，实例化解决复杂的计算任务的SNN在Silico中仍然是一个重大挑战。替代梯度（SG）技术已成为培训SNN端到端的标准解决方案。尽管如此，它们的成功取决于突触重量初始化，类似于常规的人工神经网络（ANN）。然而，与ANN不同，它仍然难以捉摸地构成SNN的良好初始状态。在这里，我们为受到大脑中通常观察到的波动驱动的策略启发的SNN制定了一般初始化策略。具体而言，我们为数据依赖性权重初始化提供了实用的解决方案，以确保广泛使用的泄漏的集成和传火（LIF）神经元的波动驱动。我们从经验上表明，经过SGS培训时，SNN遵循我们的策略表现出卓越的学习表现。这些发现概括了几个数据集和SNN体系结构，包括完全连接，深度卷积，经常性和更具生物学上合理的SNN遵守Dale的定律。因此，波动驱动的初始化提供了一种实用，多功能且易于实现的策略，可改善神经形态工程和计算神经科学的不同任务的SNN培训绩效。

The spectacular successes of recurrent neural network models where key parameters are adjusted via backpropagation-based gradient descent have inspired much thought as to how biological neuronal networks might solve the corresponding synaptic credit assignment problem. There is so far little agreement, however, as to how biological networks could implement the necessary backpropagation through time, given widely recognized constraints of biological synaptic network signaling architectures. Here, we propose that extra-synaptic diffusion of local neuromodulators such as neuropeptides may afford an effective mode of backpropagation lying within the bounds of biological plausibility. Going beyond existing temporal truncation-based gradient approximations, our approximate gradient-based update rule, ModProp, propagates credit information through arbitrary time steps. ModProp suggests that modulatory signals can act on receiving cells by convolving their eligibility traces via causal, time-invariant and synapse-type-specific filter taps. Our mathematical analysis of ModProp learning, together with simulation results on benchmark temporal tasks, demonstrate the advantage of ModProp over existing biologically-plausible temporal credit assignment rules. These results suggest a potential neuronal mechanism for signaling credit information related to recurrent interactions over a longer time horizon. Finally, we derive an in-silico implementation of ModProp that could serve as a low-complexity and causal alternative to backpropagation through time.