非神经和神经生物系统都可以学习。因此，与其专注于纯粹类似大脑的学习，不如在研究物理系统中学习学习。这样的努力包括平衡传播（EP）和耦合学习（CL），它们需要存储两个不同的状态 - 自由状态以及扰动的状态，以保留有关梯度的信息。受粘液模具的启发，我们提出了一种植根于化学信号传导的新学习算法，该算法不需要两个不同的状态。相反，输出误差信息是以与激活/前馈信号相似的化学信号中的化学信号编码。稳态反馈化学浓度以及激活信号在本地存储所需的梯度信息。我们使用物理，线性流网络应用算法，并使用具有93％精度的虹膜数据集对其进行测试。我们还证明我们的算法执行梯度下降。最后，除了将我们的算法与EP和CL进行比较外，我们还解决了该算法的生物学合理性。

Models of sensory processing and learning in the cortex need to efficiently assign credit to synapses in all areas. In deep learning, a known solution is error backpropagation, which however requires biologically implausible weight transport from feed-forward to feedback paths. We introduce Phaseless Alignment Learning (PAL), a bio-plausible method to learn efficient feedback weights in layered cortical hierarchies. This is achieved by exploiting the noise naturally found in biophysical systems as an additional carrier of information. In our dynamical system, all weights are learned simultaneously with always-on plasticity and using only information locally available to the synapses. Our method is completely phase-free (no forward and backward passes or phased learning) and allows for efficient error propagation across multi-layer cortical hierarchies, while maintaining biologically plausible signal transport and learning. Our method is applicable to a wide class of models and improves on previously known biologically plausible ways of credit assignment: compared to random synaptic feedback, it can solve complex tasks with less neurons and learn more useful latent representations. We demonstrate this on various classification tasks using a cortical microcircuit model with prospective coding.

在神经元网络中，使用本地信息单独更新，允许完全分散的学习。相反，人工神经网络（ANN）中的元件通常使用中央处理器同时更新。在这里，我们调查最近引入的分散，物理驱动的学习网络中异步学习的可行性和影响。我们表明，在理想化模拟中，Desynchization Learing Processe不会降低各种任务的性能。在实验中，Des同步实际上通过允许系统更好地探索解决方案的离散状态空间来实现性能。我们在随机梯度下降中的异步和迷你批处理之间绘制了类比，并表明它们对学习过程具有类似的影响。 des同步学习过程将物理驱动的学习网络建立为真正完全分布式的学习机器，在部署中提高更好的性能和可扩展性。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

平衡系统是表达神经计算的有力方法。作为特殊情况，它们包括对神经科学和机器学习的最新兴趣模型，例如平衡复发性神经网络，深度平衡模型或元学习。在这里，我们提出了一个新的原则，用于学习具有时间和空间本地规则的此类系统。我们的原理将学习作为一个最不控制的问题，我们首先引入一个最佳控制器，以将系统带入解决方案状态，然后将学习定义为减少达到这种状态所需的控制量。我们表明，将学习信号纳入动力学作为最佳控制可以以先前未知的方式传输信用分配信息，避免将中间状态存储在内存中，并且不依赖无穷小的学习信号。在实践中，我们的原理可以使基于梯度的学习方法的强大绩效匹配，该方法应用于涉及复发性神经网络和元学习的一系列问题。我们的结果阐明了大脑如何学习并提供解决广泛的机器学习问题的新方法。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

认知是认识的过程。正如动态系统执行的那样，该系统将信息吸收到其状态。一个复杂的代理网络通过形成新兴的宏观级别模式来认识其对环境，内部动力学和初始状态的知识。这样的模式要求每个代理商在部分意识到整个模式的同时找到其位置。通过将系统动力学分为两部分：传播动力学和模式动力学，可以通过将系统动态分为两个部分来实现这种部分意识。快速传播动力学描述了信号在整个网络中的传播。如果它们收敛到慢速模式动力学的任何准静态状态的固定点，则固定点代表宏观信息的聚合。在较长的时间尺度上，代理通过正反馈进行协调以形成模式，这些图案是使用代理图中的闭合步行定义的。模式可以是连贯的，因为模式的每个部分都取决于其他部分的上下文。连贯的模式是可靠的，因为（a）不能预测它们，并且（b）任何部分知识的任何部分都无法映射到模式的任何部分，反之亦然。认知网络的知识是由出现的模式的选择编码或体现的。这里总结的认知理论可以模拟自催化反应扩散系统，人工神经网络，市场经济和蚂蚁菌落优化，以及许多其他真实和虚拟系统。该理论提出了对复杂性作为环境晶格而不是单一度量的新理解。

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.

预测性编码（PC）是计算神经科学中的有影响力的理论，它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络（PCN）分为两个阶段。首先，更新神经活动以优化网络对外部刺激的反应。其次，更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流（BP），但最近的工作表明，在该标准制度中运行的PCN不近似BP，但仍获得了竞争性培训和广泛性培训，以进行BP训练。网络在诸如在线，几乎没有射击和持续学习之类的任务上的网络效果超过了它们，在该任务中，大脑擅长于大脑。尽管这种有希望的经验表现，但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中，我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播（TP）的紧密联系关系的分析结果。其次，我们提供了PCN中学习的理论分析，作为广义期望最大化的变体，并使用它来证明PCN与BP损耗函数的关键点的收敛性，从而表明，从理论上讲，深色PCN可以实现相同的实现。作为BP的概括性能，同时保持其独特的优势。

如今，神经网络广泛用于许多应用中，作为人工智能模型，用于学习任务。由于通常神经网络处理非常大量的数据，因此在平均场和动力学理论内方便地制定它们。在这项工作中，我们专注于特定类别的神经网络，即残余神经网络，假设每层的特征是相同数量的神经元数量$ N $，这是由数据的维度固定的。这种假设允许将残余神经网络作为时间离散化的常微分方程解释，与神经微分方程类似。然后在无限的许多输入数据的极限中获得平均场描述。这导致VLASOV型部分微分方程描述了输入数据分布的演变。我们分析了网络参数的稳态和灵敏度，即重量和偏置。在线性激活功能和一维输入数据的简单设置中，矩的研究为网络的参数选择提供了见解。此外，通过随机残留神经网络的启发的微观动态的修改导致网络的Fokker-Planck配方，其中网络训练的概念被拟合分布的任务所取代。通过人工数值模拟验证所执行的分析。特别是，提出了对分类和回归问题的结果。

深度学习的成功激发了人们对大脑是否使用基于梯度的学习来学习层次结构表示的兴趣。但是，目前在深层神经网络中基于梯度的信用分配的生物学上合理的方法需要无限的小反馈信号，这在生物学上现实的嘈杂环境中是有问题的，并且与神经科学的实验证据不符，表明自上而下的反馈可以显着影响神经活动。在最近提出的一种信用分配方法的深度反馈控制（DFC）的基础上，我们结合了对神经活动的强烈反馈影响与基​​于梯度的学习，并表明这自然会导致对神经网络优化的新看法。权重更新并没有逐渐将网络权重转换为具有低输出损失的配置，而是逐渐最大程度地减少了将网络驱动到监督输出标签的控制器所需的反馈量。此外，我们表明，在DFC中使用强反馈的使用允许同时学习和反馈连接，并在时空中完全本地学习规则。我们通过对标准计算机视觉基准测试的实验来补充我们的理论结果，显示了反向传播的竞争性能以及对噪声的鲁棒性。总体而言，我们的工作提出了一种从根本上新颖的学习视图，作为控制最小化，同时避开了生物学上不切实际的假设。

Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

这项工作审查了旨在在通信约束下运行的自适应分布式学习策略。我们考虑一个代理网络，必须从持续观察流数据来解决在线优化问题。代理商实施了分布式合作策略，其中允许每个代理商与其邻居执行本地信息交换。为了应对通信约束，必须不可避免地压缩交换信息。我们提出了一种扩散策略，昵称为ACTC（适应 - 压缩 - 然后组合），其依赖于以下步骤：i）每个代理执行具有恒定步长大小的单独随机梯度更新的适应步骤; ii）一种压缩步骤，它利用最近引入的随机压缩操作员;和III）每个代理组合从其邻居接收的压缩更新的组合步骤。这项工作的区别要素如下。首先，我们专注于自适应策略，其中常数（而不是递减）阶梯大小对于实时响应非间断变化至关重要。其次，我们考虑一般的指导图表和左随机组合政策，使我们能够增强拓扑和学习之间的相互作用。第三，与对所有个人代理的成本职能承担强大的凸起的相关作品相比，我们只需要在网络水平的强大凸起，即使单个代理具有强凸的成本，剩余的代理商也不满足凸起成本。第四，我们专注于扩散（而不是共识）战略。在压缩信息的苛刻设置下，建立ACTC迭代在所需的优化器周围波动，在相邻代理之间交换的比特方面取得了显着的节省。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

错误 - 背面范围（BackProp）算法仍然是人工神经网络中信用分配问题的最常见解决方案。在神经科学中，尚不清楚大脑是否可以采用类似的策略来纠正其突触。最近的模型试图弥合这一差距，同时与一系列实验观察一致。但是，这些模型要么无法有效地跨多层返回误差信号，要么需要多相学习过程，它们都不让人想起大脑中的学习。在这里，我们介绍了一种新模型，破裂的皮质皮质网络（BUSTCCN），该网络通过整合了皮质网络的已知特性，即爆发活动，短期可塑性（STP）和dendrite-target-targeting Interneurons来解决这些问题。 BUSTCCN依赖于连接型特异性STP的突发多路复用来传播深层皮质网络中的反向Prop样误差信号。这些误差信号是在远端树突上编码的，由于兴奋性抑制性抑制性倒入输入而诱导爆发依赖性可塑性。首先，我们证明我们的模型可以使用单相学习过程有效地通过多层回溯错误。接下来，我们通过经验和分析表明，在我们的模型中学习近似反向推广的梯度。最后，我们证明我们的模型能够学习复杂的图像分类任务（MNIST和CIFAR-10）。总体而言，我们的结果表明，跨细胞，细胞，微电路和系统水平的皮质特征共同基于大脑中的单相有效深度学习。

基于旋转扭矩振荡器的复合值Hopfield网络模拟可以恢复相位编码的图像。存储器增强逆变器的序列提供可调谐延迟元件，通过相位转换振荡器的振荡输出来实现复合权重的可调延迟元件。伪逆培训足以存储在一组192个振荡器中，至少代表16 $ \倍数为12个像素图像。恢复图像所需的能量取决于所需的错误级别。对于这里考虑的振荡器和电路，来自理想图像的5％均方方偏差需要大约5 00美元$ S并消耗大约130 NJ。模拟显示，当振荡器的谐振频率可以调整为具有小于10 ^ {-3} $的分数扩展时，网络功能良好，具体取决于反馈的强度。

In my previous article I mentioned for the first time that a classical neural network may have quantum properties as its own structure may be entangled. The question one may ask now is whether such a quantum property can be used to entangle other systems? The answer should be yes, as shown in what follows.