通过时间（BPTT）的反向传播是训练复发性神经网络（RNN）的事实上的标准，但它是非毒性和非局部性的。实时复发性学习是一种因果替代方法，但效率很低。最近，E-Prop被提出为这些算法的因果，局部和有效的实用替代方法，通过从根本上修剪随时间携带的经常性依赖性来提供确切梯度的近似值。在这里，我们使用详细的符号从BPTT得出RTRL，从而为它们的连接方式带来了直觉和澄清。此外，我们在图片中内部构图E-Prop，使其近似。最后，我们得出了一种特殊案例的算法系列。

The spectacular successes of recurrent neural network models where key parameters are adjusted via backpropagation-based gradient descent have inspired much thought as to how biological neuronal networks might solve the corresponding synaptic credit assignment problem. There is so far little agreement, however, as to how biological networks could implement the necessary backpropagation through time, given widely recognized constraints of biological synaptic network signaling architectures. Here, we propose that extra-synaptic diffusion of local neuromodulators such as neuropeptides may afford an effective mode of backpropagation lying within the bounds of biological plausibility. Going beyond existing temporal truncation-based gradient approximations, our approximate gradient-based update rule, ModProp, propagates credit information through arbitrary time steps. ModProp suggests that modulatory signals can act on receiving cells by convolving their eligibility traces via causal, time-invariant and synapse-type-specific filter taps. Our mathematical analysis of ModProp learning, together with simulation results on benchmark temporal tasks, demonstrate the advantage of ModProp over existing biologically-plausible temporal credit assignment rules. These results suggest a potential neuronal mechanism for signaling credit information related to recurrent interactions over a longer time horizon. Finally, we derive an in-silico implementation of ModProp that could serve as a low-complexity and causal alternative to backpropagation through time.

由于它们的低能量消耗，对神经形态计算设备上的尖刺神经网络（SNNS）越来越兴趣。最近的进展使培训SNNS在精度方面开始与传统人工神经网络（ANNS）进行竞争，同时在神经胸壁上运行时的节能。然而，培训SNNS的过程仍然基于最初为ANNS开发的密集的张量操作，这不利用SNN的时空稀疏性质。我们在这里介绍第一稀疏SNN BackPropagation算法，该算法与最新的现有技术实现相同或更好的准确性，同时显着更快，更高的记忆力。我们展示了我们对不同复杂性（时尚 - MNIST，神经影像学 - MNIST和Spiking Heidelberg数字的真实数据集的有效性，在不失精度的情况下实现了高达150倍的后向通行证的加速，而不会减少精度。

平衡传播（EP）是返回传播（BP）的替代方法，它允许使用本地学习规则训练深层神经网络。因此，它为训练神经形态系统和了解神经生物学的学习提供了一个令人信服的框架。但是，EP需要无限的教学信号，从而限制其在嘈杂的物理系统中的适用性。此外，该算法需要单独的时间阶段，并且尚未应用于大规模问题。在这里，我们通过将EP扩展到全体形态网络来解决这些问题。我们分析表明，即使对于有限振幅教学信号，这种扩展也会自然导致精确的梯度。重要的是，可以将梯度计算为在连续时间内有限神经元活性振荡的第一个傅立叶系数，而无需单独的阶段。此外，我们在数值模拟中证明了我们的方法允许在存在噪声的情况下对梯度的强大估计，并且更深的模型受益于有限的教学信号。最后，我们在ImageNet 32​​x32数据集上建立了EP的第一个基准，并表明它与接受BP训练的等效网络的性能相匹配。我们的工作提供了分析见解，使EP可以扩展到大规模问题，并为振荡如何支持生物学和神经形态系统的学习建立正式框架。

了解不同网络架构的能力和局限性对机器学习的根本重要性。高斯工艺的贝叶斯推断已被证明是一种可行的方法，用于研究无限层宽度的反复和深网络，$ n \ infty $。在这里，我们通过采用来自无序系统的统计物理学的建立方法，从第一个原则开始的架构的统一和系统的衍生均衡和系统的推导。该理论阐明了，虽然平均场方程关于其时间结构不同，但是当读出分别在单个时间点或层拍摄时，它们却产生相同的高斯核。贝叶斯推理应用于分类，然后预测两种架构的相同性能和能力。在数值上，我们发现朝向平均场理论的收敛通常对复发网络的速度较慢，而不是对于深网络，并且收敛速度仅取决于前面的重量的参数以及时间步骤的参数。我们的方法公开了高斯进程，但系统扩展的最低阶数为1 / N $。因此，形式主义铺平了调查有限宽度$ N $的经常性和深层架构之间的根本差异。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.

复发性神经网络（RNN）的可伸缩性受到每个时间步骤计算对先前时间步长输出的顺序依赖性的阻碍。因此，加快和扩展RNN的一种方法是减少每个时间步长所需的计算，而不是模型大小和任务。在本文中，我们提出了一个模型，该模型将封闭式复发单元（GRU）作为基于事件的活动模型，我们称为基于事件的GRU（EGRU），其中仅在收到输入事件（事件 - 基于其他单位。当与一次活跃的单位仅一小部分（活动 - 帕斯斯）相结合时，该模型具有比当前RNN的计算更高效的潜力。值得注意的是，我们模型中的活动 - 表格性也转化为梯度下降期间稀疏参数更新，从而将此计算效率扩展到训练阶段。我们表明，与现实世界中最新的经常性网络模型相比，EGRU表现出竞争性能，包括语言建模，同时在推理和培训期间自然保持高活动稀疏性。这为下一代重复网络奠定了基础，这些网络可扩展，更适合新型神经形态硬件。

人工神经网络通过反向传播培训极其深的网络成功解决了各种各样的问题。直接应用背部传播到尖峰神经网络含有生物学难以判断的组件，如重量运输问题或单独的推理和学习阶段。各种方法单独地解决不同的组件，但完整的解决方案保持无形。在这里，我们采取了一种替代方法，可以完全避免反向传播及其相关问题。深度学习的最新工作提出了通过信息瓶颈（IB）独立培训每层网络。随后的研究指出，该层面的方法绕过层的误差传播，导致生物合理的范式。不幸的是，使用一批样本来计算IB。先前的工作通过重量更新解决，仅使用两个样本（当前和先前的样本）。我们的工作通过将体重更新分解为本地和全局组件来采用不同的方法。本地组件是Hebbian，只取决于当前的样本。全局组件计算依赖于一批样本的层面调制信号。我们表明该调制信号可以通过具有像储存器的工作存储器（WM）的辅助电路来学习。因此，我们可以使用大于两个的批量尺寸，并且批处理大小确定了WM所需的容量。据我们所知，我们的规则是第一种生物合理的机制，可以直接与任务的WM耦合突触更新。我们评估我们对综合数据集和图像分类数据集的规则，如Mnist，我们探讨了WM容量对学习性能的影响。我们希望我们的工作是了解记忆在学习中的机制作用的第一步。

Spiking neural networks (SNN) are a viable alternative to conventional artificial neural networks when energy efficiency and computational complexity are of importance. A major advantage of SNNs is their binary information transfer through spike trains. The training of SNN has, however, been a challenge, since neuron models are non-differentiable and traditional gradient-based backpropagation algorithms cannot be applied directly. Furthermore, spike-timing-dependent plasticity (STDP), albeit being a spike-based learning rule, updates weights locally and does not optimize for the output error of the network. We present desire backpropagation, a method to derive the desired spike activity of neurons from the output error. The loss function can then be evaluated locally for every neuron. Incorporating the desire values into the STDP weight update leads to global error minimization and increasing classification accuracy. At the same time, the neuron dynamics and computational efficiency of STDP are maintained, making it a spike-based supervised learning rule. We trained three-layer networks to classify MNIST and Fashion-MNIST images and reached an accuracy of 98.41% and 87.56%, respectively. Furthermore, we show that desire backpropagation is computationally less complex than backpropagation in traditional neural networks.

平衡系统是表达神经计算的有力方法。作为特殊情况，它们包括对神经科学和机器学习的最新兴趣模型，例如平衡复发性神经网络，深度平衡模型或元学习。在这里，我们提出了一个新的原则，用于学习具有时间和空间本地规则的此类系统。我们的原理将学习作为一个最不控制的问题，我们首先引入一个最佳控制器，以将系统带入解决方案状态，然后将学习定义为减少达到这种状态所需的控制量。我们表明，将学习信号纳入动力学作为最佳控制可以以先前未知的方式传输信用分配信息，避免将中间状态存储在内存中，并且不依赖无穷小的学习信号。在实践中，我们的原理可以使基于梯度的学习方法的强大绩效匹配，该方法应用于涉及复发性神经网络和元学习的一系列问题。我们的结果阐明了大脑如何学习并提供解决广泛的机器学习问题的新方法。

短期可塑性（STP）是一种将腐烂记忆存储在大脑皮质突触中的机制。在计算实践中，已经使用了STP，但主要是在尖峰神经元的细分市场中，尽管理论预测它是对某些动态任务的最佳解决方案。在这里，我们提出了一种新型的经常性神经单元，即STP神经元（STPN），它确实实现了惊人的功能。它的关键机制是，突触具有一个状态，通过与偶然性的自我连接在时间上传播。该公式使能够通过时间返回传播来训练可塑性，从而导致一种学习在短期内学习和忘记的形式。 STPN的表现优于所有测试的替代方案，即RNN，LSTMS，其他具有快速重量和可区分可塑性的型号。我们在监督和强化学习（RL）以及协会​​检索，迷宫探索，Atari视频游戏和Mujoco Robotics等任务中证实了这一点。此外，我们计算出，在神经形态或生物电路中，STPN最大程度地减少了模型的能量消耗，因为它会动态降低个体突触。基于这些，生物学STP可能是一种强大的进化吸引子，可最大程度地提高效率和计算能力。现在，STPN将这些神经形态的优势带入了广泛的机器学习实践。代码可从https://github.com/neuromorphiccomputing/stpn获得

We propose a novel backpropagation algorithm for training spiking neural networks (SNNs) that encodes information in the relative multiple spike timing of individual neurons without single-spike restrictions. The proposed algorithm inherits the advantages of conventional timing-based methods in that it computes accurate gradients with respect to spike timing, which promotes ideal temporal coding. Unlike conventional methods where each neuron fires at most once, the proposed algorithm allows each neuron to fire multiple times. This extension naturally improves the computational capacity of SNNs. Our SNN model outperformed comparable SNN models and achieved as high accuracy as non-convolutional artificial neural networks. The spike count property of our networks was altered depending on the time constant of the postsynaptic current and the membrane potential. Moreover, we found that there existed the optimal time constant with the maximum test accuracy. That was not seen in conventional SNNs with single-spike restrictions on time-to-fast-spike (TTFS) coding. This result demonstrates the computational properties of SNNs that biologically encode information into the multi-spike timing of individual neurons. Our code would be publicly available.

深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中，我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标，可以计算使得发射强度最佳地满足这些目标的权重。有人认为，通过我们称之为级联解压缩的过程，使用培训的目标解决爆炸梯度的问题，并使损失功能表面更加光滑，因此导致更容易，培训更快，以及潜在的概括，神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用，这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合，以额外收益。实验结果表明了使用目标空间的速度，以及改进的泛化的示例，用于全连接的网络和卷积网络，以及调用和处理长时间序列的能力，并使用经常性网络进行自然语言处理。

We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a blackbox differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly trade numerical precision for speed. We demonstrate these properties in continuous-depth residual networks and continuous-time latent variable models. We also construct continuous normalizing flows, a generative model that can train by maximum likelihood, without partitioning or ordering the data dimensions. For training, we show how to scalably backpropagate through any ODE solver, without access to its internal operations. This allows end-to-end training of ODEs within larger models.

穗状花序的神经形状硬件占据了深度神经网络（DNN）的更节能实现的承诺，而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN，否则能量优势丢失。特别地，解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器（LSTM）单元。我们展示了许多生物神经元的面部，在每个尖峰后缓慢的超积极性（AHP）电流，提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现，例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外，它为实现了非常稀疏的大量大型DNN来实现基础，这些大型DNN在文本中提取单词和句子之间的关系，以便回答有关文本的问题。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

预测性编码（PC）是计算神经科学中的有影响力的理论，它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络（PCN）分为两个阶段。首先，更新神经活动以优化网络对外部刺激的反应。其次，更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流（BP），但最近的工作表明，在该标准制度中运行的PCN不近似BP，但仍获得了竞争性培训和广泛性培训，以进行BP训练。网络在诸如在线，几乎没有射击和持续学习之类的任务上的网络效果超过了它们，在该任务中，大脑擅长于大脑。尽管这种有希望的经验表现，但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中，我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播（TP）的紧密联系关系的分析结果。其次，我们提供了PCN中学习的理论分析，作为广义期望最大化的变体，并使用它来证明PCN与BP损耗函数的关键点的收敛性，从而表明，从理论上讲，深色PCN可以实现相同的实现。作为BP的概括性能，同时保持其独特的优势。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

In this thesis, we consider two simple but typical control problems and apply deep reinforcement learning to them, i.e., to cool and control a particle which is subject to continuous position measurement in a one-dimensional quadratic potential or in a quartic potential. We compare the performance of reinforcement learning control and conventional control strategies on the two problems, and show that the reinforcement learning achieves a performance comparable to the optimal control for the quadratic case, and outperforms conventional control strategies for the quartic case for which the optimal control strategy is unknown. To our knowledge, this is the first time deep reinforcement learning is applied to quantum control problems in continuous real space. Our research demonstrates that deep reinforcement learning can be used to control a stochastic quantum system in real space effectively as a measurement-feedback closed-loop controller, and our research also shows the ability of AI to discover new control strategies and properties of the quantum systems that are not well understood, and we can gain insights into these problems by learning from the AI, which opens up a new regime for scientific research.