在神经元网络中，使用本地信息单独更新，允许完全分散的学习。相反，人工神经网络（ANN）中的元件通常使用中央处理器同时更新。在这里，我们调查最近引入的分散，物理驱动的学习网络中异步学习的可行性和影响。我们表明，在理想化模拟中，Desynchization Learing Processe不会降低各种任务的性能。在实验中，Des同步实际上通过允许系统更好地探索解决方案的离散状态空间来实现性能。我们在随机梯度下降中的异步和迷你批处理之间绘制了类比，并表明它们对学习过程具有类似的影响。 des同步学习过程将物理驱动的学习网络建立为真正完全分布式的学习机器，在部署中提高更好的性能和可扩展性。

随机梯度下降（SGD）是深度学习技术的工作主控算法。在训练阶段的每个步骤中，从训练数据集中抽取迷你样本，并且根据该特定示例子集的性能调整神经网络的权重。迷你批量采样过程将随机性动力学引入梯度下降，具有非琐碎的状态依赖性噪声。我们在原型神经网络模型中表征了SGD的随机和最近引入的变体持久性SGD。在占地面定的制度中，在最终训练误差是阳性的情况下，SGD动力学达到静止状态，我们从波动耗散定理定义了从动态平均场理论计算的波动定理的有效温度。我们使用有效温度来量化SGD噪声的幅度作为问题参数的函数。在过度参数化的制度中，在训练错误消失的情况下，我们通过计算系统的两个副本之间的平均距离来测量SGD的噪声幅度，并具有相同的初始化和两个不同的SGD噪声的实现。我们发现这两个噪声测量与问题参数的函数类似。此外，我们观察到嘈杂的算法导致相应的约束满足问题的更广泛的决策边界。

非神经和神经生物系统都可以学习。因此，与其专注于纯粹类似大脑的学习，不如在研究物理系统中学习学习。这样的努力包括平衡传播（EP）和耦合学习（CL），它们需要存储两个不同的状态 - 自由状态以及扰动的状态，以保留有关梯度的信息。受粘液模具的启发，我们提出了一种植根于化学信号传导的新学习算法，该算法不需要两个不同的状态。相反，输出误差信息是以与激活/前馈信号相似的化学信号中的化学信号编码。稳态反馈化学浓度以及激活信号在本地存储所需的梯度信息。我们使用物理，线性流网络应用算法，并使用具有93％精度的虹膜数据集对其进行测试。我们还证明我们的算法执行梯度下降。最后，除了将我们的算法与EP和CL进行比较外，我们还解决了该算法的生物学合理性。

FIG. 1. Schematic diagram of a Variational Quantum Algorithm (VQA). The inputs to a VQA are: a cost function C(θ), with θ a set of parameters that encodes the solution to the problem, an ansatz whose parameters are trained to minimize the cost, and (possibly) a set of training data {ρ k } used during the optimization. Here, the cost can often be expressed in the form in Eq. ( 3), for some set of functions {f k }. Also, the ansatz is shown as a parameterized quantum circuit (on the left), which is analogous to a neural network (also shown schematically on the right). At each iteration of the loop one uses a quantum computer to efficiently estimate the cost (or its gradients). This information is fed into a classical computer that leverages the power of optimizers to navigate the cost landscape C(θ) and solve the optimization problem in Eq. ( 1). Once a termination condition is met, the VQA outputs an estimate of the solution to the problem. The form of the output depends on the precise task at hand. The red box indicates some of the most common types of outputs.

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

随机微分方程（SDE）用于描述各种复杂的随机动力学系统。学习SDE中的隐藏物理学对于揭示对这些系统的随机和非线性行为的基本理解至关重要。我们提出了一个灵活且可扩展的框架，用于训练人工神经网络，以学习代表SDE中隐藏物理的本构方程。所提出的随机物理学的神经普通微分方程框架（Spinode）通过已知的SDE结构（即已知的物理学）传播随机性，以产生一组确定性的ODE，以描述随机状态的统计矩的时间演变。然后，Spinode使用ODE求解器预测矩轨迹。 Spinode通过将预测的矩与从数据估计的矩匹配来学习隐藏物理的神经网络表示。利用了自动分化和微型批次梯度下降的最新进展，并利用了伴随灵敏度，以建立神经网络的未知参数。我们在三个基准内案例研究上展示了Spinod，并分析了框架的数值鲁棒性和稳定性。 Spinode提供了一个有希望的新方向，用于系统地阐明具有乘法噪声的多元随机动力学系统的隐藏物理。

我们以封闭的形式分析了随机梯度下降（SGD）的学习动态，用于分类每个群集的高位高斯混合的单层神经网络，其中每个群集分配两个标签中的一个。该问题提供了具有内插制度的非凸损景观的原型和大的概括间隙。我们定义了一个特定的随机过程，其中SGD可以扩展到我们称呼随机梯度流的连续时间限制。在全批处理中，我们恢复标准梯度流。我们将动态平均场理论从统计物理应用于通过自成的随机过程跟踪高维极限中算法的动态。我们探讨了算法的性能，作为控制参数脱落灯的函数，它如何导航损耗横向。

近年来，机器学习的巨大进步已经开始对许多科学和技术的许多领域产生重大影响。在本文的文章中，我们探讨了量子技术如何从这项革命中受益。我们在说明性示例中展示了过去几年的科学家如何开始使用机器学习和更广泛的人工智能方法来分析量子测量，估计量子设备的参数，发现新的量子实验设置，协议和反馈策略，以及反馈策略，以及通常改善量子计算，量子通信和量子模拟的各个方面。我们重点介绍了公开挑战和未来的可能性，并在未来十年的一些投机愿景下得出结论。

突触记忆巩固已被认为是支持神经形态人工智能（AI）系统中持续学习的关键机制之一。在这里，我们报告说，Fowler-Nordheim（FN）量子隧道设备可以实现突触存储器巩固，类似于通过算法合并模型（例如级联和弹性重量合并（EWC）模型）所能实现的。拟议的FN-Synapse不仅存储突触重量，而且还存储了Synapse在设备本身上的历史用法统计量。我们还表明，就突触寿命而言，FN合并的操作几乎是最佳的，并且我们证明了一个包含FN合成的网络在一个小基准测试持续学习任务上超过了可比的EWC网络。通过每次突触更新的Femtojoules的能量足迹，我们相信所提出的FN-Synapse为实施突触记忆巩固和持续学习提供了一种超能效率的方法。

Neural networks have revolutionized the area of artificial intelligence and introduced transformative applications to almost every scientific field and industry. However, this success comes at a great price; the energy requirements for training advanced models are unsustainable. One promising way to address this pressing issue is by developing low-energy neuromorphic hardware that directly supports the algorithm's requirements. The intrinsic non-volatility, non-linearity, and memory of spintronic devices make them appealing candidates for neuromorphic devices. Here we focus on the reservoir computing paradigm, a recurrent network with a simple training algorithm suitable for computation with spintronic devices since they can provide the properties of non-linearity and memory. We review technologies and methods for developing neuromorphic spintronic devices and conclude with critical open issues to address before such devices become widely used.

机器学习模型的概括对数据，模型和学习算法具有复杂的依赖性。我们研究训练和测试性能，以及它们在不同数据集样本上的差异给出的概括差距，以理解其``典型''行为。我们得出了差距的表达式，作为模型之间协方差的函数参数分布和列车损耗以及平均测试性能的另一种表达，显示了测试概括仅取决于数据平均参数分布和数据平均损失。我们显示，对于大型模型参数分布，修改的概括差距为始终是非负的。通过进一步专门针对由随机梯度下降（SGD）产生的参数分布，以及一些近似值和建模考虑，我们能够预测有关通用差距和模型训练和测试性能如何变化为一个方面的一些方面SGD噪声的功能。我们基于RESNET体系结构对CIFAR10分类任务进行经验评估这些预测。

我们训练神经形态硬件芯片以通过变分能最小化近似Quantum旋转模型的地面状态。与使用马尔可夫链蒙特卡罗进行样品生成的变分人工神经网络相比，这种方法具有优点：神经形态器件以快速和固有的并行方式产生样品。我们开发培训算法，并将其应用于横向场介绍模型，在中等系统尺寸下显示出良好的性能（$ n \ LEQ 10 $）。系统的普遍开心研究表明，较大系统尺寸的可扩展性主要取决于样品质量，该样品质量受到模拟神经芯片上的参数漂移的限制。学习性能显示阈值行为作为ansatz的变分参数的数量的函数，大约为50美元的隐藏神经元，足以表示关键地位，最高$ n = 10 $。网络参数的6 + 1位分辨率不会限制当前设置中的可达近似质量。我们的工作为利用神经形态硬件的能力提供了一种重要的一步，以解决量子数量问题中的维数诅咒。

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.

在神经网络的经验风险景观中扁平最小值的性质已经讨论了一段时间。越来越多的证据表明他们对尖锐物质具有更好的泛化能力。首先，我们讨论高斯混合分类模型，并分析显示存在贝叶斯最佳点估算器，其对应于属于宽平区域的最小值。可以通过直接在分类器（通常是独立的）或学习中使用的可分解损耗函数上应用最大平坦度算法来找到这些估计器。接下来，我们通过广泛的数值验证将分析扩展到深度学习场景。使用两种算法，熵-SGD和复制-SGD，明确地包括在优化目标中，所谓的非局部平整度措施称为本地熵，我们一直提高常见架构的泛化误差（例如Resnet，CeffectnNet）。易于计算的平坦度测量显示与测试精度明确的相关性。

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

随机梯度下降（SGD）是一种深入学习神经网络中广泛使用的算法，已吸引了对其成功背后的理论原理的持续研究。最近的一项工作发现了神经权重的方差与SGD下溶液附近损失功能的景观平坦之间的通用逆差异 - 流动性（IVF）关系[Feng＆tu，PNAS 118,0027（2021）]。为了调查这种似乎违反统计原理的行为，我们部署了随机分解来分析SGD的动力学特性。该方法构建了可以通过Boltzmann分布使用的真实“能量”函数。新能源与通常的成本函数不同，并解释了SGD下的IVF关系。我们进一步验证了冯工作中确定的缩放关系。我们的方法可能会弥合经典统计力学与新兴人工智能学科之间的差距，并有可能对后者更好地算法。

In this thesis, we consider two simple but typical control problems and apply deep reinforcement learning to them, i.e., to cool and control a particle which is subject to continuous position measurement in a one-dimensional quadratic potential or in a quartic potential. We compare the performance of reinforcement learning control and conventional control strategies on the two problems, and show that the reinforcement learning achieves a performance comparable to the optimal control for the quadratic case, and outperforms conventional control strategies for the quartic case for which the optimal control strategy is unknown. To our knowledge, this is the first time deep reinforcement learning is applied to quantum control problems in continuous real space. Our research demonstrates that deep reinforcement learning can be used to control a stochastic quantum system in real space effectively as a measurement-feedback closed-loop controller, and our research also shows the ability of AI to discover new control strategies and properties of the quantum systems that are not well understood, and we can gain insights into these problems by learning from the AI, which opens up a new regime for scientific research.