突触记忆巩固已被认为是支持神经形态人工智能（AI）系统中持续学习的关键机制之一。在这里，我们报告说，Fowler-Nordheim（FN）量子隧道设备可以实现突触存储器巩固，类似于通过算法合并模型（例如级联和弹性重量合并（EWC）模型）所能实现的。拟议的FN-Synapse不仅存储突触重量，而且还存储了Synapse在设备本身上的历史用法统计量。我们还表明，就突触寿命而言，FN合并的操作几乎是最佳的，并且我们证明了一个包含FN合成的网络在一个小基准测试持续学习任务上超过了可比的EWC网络。通过每次突触更新的Femtojoules的能量足迹，我们相信所提出的FN-Synapse为实施突触记忆巩固和持续学习提供了一种超能效率的方法。

基于旋转扭矩振荡器的复合值Hopfield网络模拟可以恢复相位编码的图像。存储器增强逆变器的序列提供可调谐延迟元件，通过相位转换振荡器的振荡输出来实现复合权重的可调延迟元件。伪逆培训足以存储在一组192个振荡器中，至少代表16 $ \倍数为12个像素图像。恢复图像所需的能量取决于所需的错误级别。对于这里考虑的振荡器和电路，来自理想图像的5％均方方偏差需要大约5 00美元$ S并消耗大约130 NJ。模拟显示，当振荡器的谐振频率可以调整为具有小于10 ^ {-3} $的分数扩展时，网络功能良好，具体取决于反馈的强度。

FIG. 1. Schematic diagram of a Variational Quantum Algorithm (VQA). The inputs to a VQA are: a cost function C(θ), with θ a set of parameters that encodes the solution to the problem, an ansatz whose parameters are trained to minimize the cost, and (possibly) a set of training data {ρ k } used during the optimization. Here, the cost can often be expressed in the form in Eq. ( 3), for some set of functions {f k }. Also, the ansatz is shown as a parameterized quantum circuit (on the left), which is analogous to a neural network (also shown schematically on the right). At each iteration of the loop one uses a quantum computer to efficiently estimate the cost (or its gradients). This information is fed into a classical computer that leverages the power of optimizers to navigate the cost landscape C(θ) and solve the optimization problem in Eq. ( 1). Once a termination condition is met, the VQA outputs an estimate of the solution to the problem. The form of the output depends on the precise task at hand. The red box indicates some of the most common types of outputs.

In this thesis, we consider two simple but typical control problems and apply deep reinforcement learning to them, i.e., to cool and control a particle which is subject to continuous position measurement in a one-dimensional quadratic potential or in a quartic potential. We compare the performance of reinforcement learning control and conventional control strategies on the two problems, and show that the reinforcement learning achieves a performance comparable to the optimal control for the quadratic case, and outperforms conventional control strategies for the quartic case for which the optimal control strategy is unknown. To our knowledge, this is the first time deep reinforcement learning is applied to quantum control problems in continuous real space. Our research demonstrates that deep reinforcement learning can be used to control a stochastic quantum system in real space effectively as a measurement-feedback closed-loop controller, and our research also shows the ability of AI to discover new control strategies and properties of the quantum systems that are not well understood, and we can gain insights into these problems by learning from the AI, which opens up a new regime for scientific research.

在基于人工神经网络的终身学习系统中，最大的障碍之一是在遇到新信息时无法保留旧知识。这种现象被称为灾难性遗忘。在本文中，我们提出了一种新型的连接主义架构，即顺序的神经编码网络，在从数据点流中学习时忘记了，并且与当今的网络不同，它不会通过流行的错误反向传播来学习。基于预测性处理的神经认知理论，我们的模型以生物学上可行的方式适应了突触，而另一个神经系统学会了指导和控制这种类似皮层的结构，模仿了一些基础神经节的某些任务连续控制功能。在我们的实验中，我们证明了与标准神经模型相比，我们的自组织系统经历的遗忘大大降低，表现优于先前提出的方法，包括基于排练/数据缓冲的方法，包括标准（SplitMnist，SplitMnist，Split Mnist等） 。）和定制基准测试，即使以溪流式的方式进行了训练。我们的工作提供了证据表明，在实际神经元系统中模仿机制，例如本地学习，横向竞争，可以产生新的方向和可能性，以应对终身机器学习的巨大挑战。

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.

在这项工作中，我们提供了一个量子Hopfield关联内存（QHAM），并使用IBM量子体验展示其在仿真和硬件中的能力。 QHAM基于量子神经元设计，可以用于许多不同的机器学习应用，并且可以在真实量子硬件上实现，而不需要中间电路测量或重置操作。我们通过使用硬件噪声模型以及15 QUBIT IBMQ_16_MELBOURBORNE设备的模拟来分析神经元和全QHAM的准确性。量子神经元和QHAM被证明是有弹性的噪声，并且需要低Qubit开销和栅极复杂性。我们通过测试其有效的内存容量来基准QHAM，并在Quantum硬件的NISQ-ERA中展示其能力。该演示在NISQ-ERA量子硬件中实现的第一功能QHAM是在量子计算前沿的机器学习的重要步骤。

AI的一个关键挑战是构建体现的系统，该系统在动态变化的环境中运行。此类系统必须适应更改任务上下文并持续学习。虽然标准的深度学习系统实现了最先进的静态基准的结果，但它们通常在动态方案中挣扎。在这些设置中，来自多个上下文的错误信号可能会彼此干扰，最终导致称为灾难性遗忘的现象。在本文中，我们将生物学启发的架构调查为对这些问题的解决方案。具体而言，我们表明树突和局部抑制系统的生物物理特性使网络能够以特定于上下文的方式动态限制和路由信息。我们的主要贡献如下。首先，我们提出了一种新颖的人工神经网络架构，该架构将活跃的枝形和稀疏表示融入了标准的深度学习框架中。接下来，我们在需要任务的适应性的两个单独的基准上研究这种架构的性能：Meta-World，一个机器人代理必须学习同时解决各种操纵任务的多任务强化学习环境;和一个持续的学习基准，其中模型的预测任务在整个训练中都会发生变化。对两个基准的分析演示了重叠但不同和稀疏的子网的出现，允许系统流动地使用最小的遗忘。我们的神经实现标志在单一架构上第一次在多任务和持续学习设置上取得了竞争力。我们的研究揭示了神经元的生物学特性如何通知深度学习系统，以解决通常不可能对传统ANN来解决的动态情景。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

量子点（QDS）阵列是一个有前途的候选系统，实现可扩展的耦合码头系统，并用作量子计算机的基本构建块。在这种半导体量子系统中，设备现在具有数十个，必须仔细地将系统仔细设置为单电子制度并实现良好的Qubit操作性能。必要点位置的映射和栅极电压的电荷提出了一个具有挑战性的经典控制问题。随着QD Qubits越来越多的QD Qubits，相关参数空间的增加充分以使启发式控制不可行。近年来，有一个相当大的努力自动化与机器学习（ML）技术相结合的基于脚本的算法。在这一讨论中，我们概述了QD器件控制自动化进展的全面概述，特别强调了在二维电子气体中形成的基于硅和GaAs的QD。将基于物理的型号与现代数值优化和ML相结合，证明在屈服高效，可扩展的控制方面已经证明非常有效。通过计算机科学和ML的理论，计算和实验努力的进一步整合，在推进半导体和量子计算平台方面具有巨大的潜力。

与数字计算相比，模拟计算具有吸引力，因为它可以达到更高的计算密度和更高的能源效率。但是，与数字电路不同，由于晶体管偏置偏差，温度变化和有限的动态范围的差异，传统的模拟计算电路不能轻易地在不同的过程节点上映射。在这项工作中，我们概括了先前报道的基于边缘传播的模拟计算框架，用于设计新颖的\ textit {基于形状的模拟计算}（S-AC）电路，这些电路可以轻松地在不同的过程节点上交叉映射。与数字设计类似的S-AC设计也可以缩放以获得精确，速度和功率。作为概念验证，我们展示了实现机器学习（ML）体系结构中通常使用的数学功能的S-AC电路的几个示例。使用电路模拟，我们证明了电路输入/输出特性从平面CMOS 180NM工艺映射到FinFET 7NM工艺时保持健壮。同样，使用基准数据集，我们证明了基于S-AC的神经网络的分类精度在两个过程中映射到温度变化时仍然坚固。

While deep learning has led to remarkable advances across diverse applications, it struggles in domains where the data distribution changes over the course of learning. In stark contrast, biological neural networks continually adapt to changing domains, possibly by leveraging complex molecular machinery to solve many tasks simultaneously. In this study, we introduce intelligent synapses that bring some of this biological complexity into artificial neural networks. Each synapse accumulates task relevant information over time, and exploits this information to rapidly store new memories without forgetting old ones. We evaluate our approach on continual learning of classification tasks, and show that it dramatically reduces forgetting while maintaining computational efficiency.

我们证明，与畴壁（DW）位置的大量随机变化的量化量（名义上是5态）突触的极低分辨率可以是节能的，并且与使用浮动精度相比，与类似尺寸的深度神经网络（DNN）相比具有相当高的测试精度。突触权重。具体地，电压控制的DW器件展示随机性的随机行为，与微磁性模拟严格，并且只能编码有限状态;但是，它们在训练和推论中都可以非常节能。我们表明，通过对学习算法实施合适的修改，我们可以解决随机行为以及减轻其低分辨率的影响，以实现高测试精度。在这项研究中，我们提出了原位和前地训练算法，基于Hubara等人提出的算法的修改。 [1]适用于突触权重的量化。我们使用2个，3和5状态DW设备作为Synapse培训Mnist DataSet上的几个5层DNN。对于原位训练，采用单独的高精度存储器单元来保护和累积重量梯度，然后被量化以编程低精密DW设备。此外，在训练期间使用尺寸的噪声公差余量来解决内部编程噪声。对于前训训练，首先基于所表征的DW设备模型和噪声公差余量进行前体DNN，其类似于原位培训。值得注意的是，对于原位推断，对设备的能量耗散装置仅是每次推断仅13页，因为在整个MNIST数据集上进行10个时期进行训练。

我们训练神经形态硬件芯片以通过变分能最小化近似Quantum旋转模型的地面状态。与使用马尔可夫链蒙特卡罗进行样品生成的变分人工神经网络相比，这种方法具有优点：神经形态器件以快速和固有的并行方式产生样品。我们开发培训算法，并将其应用于横向场介绍模型，在中等系统尺寸下显示出良好的性能（$ n \ LEQ 10 $）。系统的普遍开心研究表明，较大系统尺寸的可扩展性主要取决于样品质量，该样品质量受到模拟神经芯片上的参数漂移的限制。学习性能显示阈值行为作为ansatz的变分参数的数量的函数，大约为50美元的隐藏神经元，足以表示关键地位，最高$ n = 10 $。网络参数的6 + 1位分辨率不会限制当前设置中的可达近似质量。我们的工作为利用神经形态硬件的能力提供了一种重要的一步，以解决量子数量问题中的维数诅咒。

独立组件分析是一种无监督的学习方法，用于从多元信号或数据矩阵计算独立组件（IC）。基于权重矩阵与多元数据矩阵的乘法进行评估。这项研究提出了一个新型的Memristor横杆阵列，用于实施ACY ICA和快速ICA，以用于盲源分离。数据输入以脉冲宽度调制电压的形式应用于横梁阵列，并且已实现的神经网络的重量存储在Memristor中。来自Memristor列的输出电荷用于计算重量更新，该重量更新是通过电压高于Memristor SET/RESET电压执行的。为了证明其潜在应用，采用了基于ICA架构的基于ICA架构的拟议的Memristor横杆阵列用于图像源分离问题。实验结果表明，所提出的方法非常有效地分离图像源，并且与常规ACY的基于软件的ACY实施相比，与结构相似性的百分比相比，结构相似性的百分比为67.27％，图像的对比度得到了改进。 ICA和快速ICA算法。

Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern (1) a taxonomy and extensive overview of the state-of-the-art; (2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner; (3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

量子计算机是下一代设备，有望执行超出古典计算机范围的计算。实现这一目标的主要方法是通过量子机学习，尤其是量子生成学习。由于量子力学的固有概率性质，因此可以合理地假设量子生成学习模型（QGLM）可能会超过其经典对应物。因此，QGLM正在从量子物理和计算机科学社区中受到越来越多的关注，在这些QGLM中，可以在近期量子机上有效实施各种QGLM，并提出了潜在的计算优势。在本文中，我们从机器学习的角度回顾了QGLM的当前进度。特别是，我们解释了这些QGLM，涵盖了量子电路出生的机器，量子生成的对抗网络，量子玻尔兹曼机器和量子自动编码器，作为经典生成学习模型的量子扩展。在这种情况下，我们探讨了它们的内在关系及其根本差异。我们进一步总结了QGLM在常规机器学习任务和量子物理学中的潜在应用。最后，我们讨论了QGLM的挑战和进一步研究指示。

人工智能革命（AI）提出了巨大的存储和数据处理要求。大量的功耗和硬件开销已成为构建下一代AI硬件的主要挑战。为了减轻这种情况，神经形态计算引起了极大的关注，因为它在功耗非常低的功能方面具有出色的数据处理能力。尽管无情的研究已经进行了多年，以最大程度地减少神经形态硬件的功耗，但我们离达到人脑的能源效率还有很长的路要走。此外，设计复杂性和过程变化阻碍了当前神经形态平台的大规模实现。最近，由于其出色的速度和功率指标，在低温温度中实施神经形态计算系统的概念引起了人们的兴趣。可以设计几种低温装置，可作为具有超低功率需求的神经形态原始设备。在这里，我们全面回顾了低温神经形态硬件。我们将现有的低温神经形态硬件分类为几个分层类别，并根据关键性能指标绘制比较分析。我们的分析简洁地描述了相关电路拓扑的操作，并概述了最先进的技术平台遇到的优势和挑战。最后，我们提供了见解，以规避这些挑战，以实现未来的研究发展。

神经网络的越来越大的规模及其越来越多的应用空间对更高的能量和记忆有效的人工智能特定硬件产生了需求。 venues为了缓解主要问题，von neumann瓶颈，包括内存和近记忆架构，以及算法方法。在这里，我们利用磁隧道结（MTJ）的低功耗和固有的二进制操作来展示基于MTJ的无源阵列的神经网络硬件推断。通常，由于设备到装置的变化，写入误差，寄生电阻和非前沿，在性能下将训练的网络模型转移到推动的硬件。为了量化这些硬件现实的效果，我们将300个唯一重量矩阵解决方案的23个唯一的重量矩阵解决方案进行分类，以分类葡萄酒数据集，用于分类准确性和写真保真度。尽管设备不完美，我们可以实现高达95.3％的软件等效精度，并在15 x 15 MTJ阵列中正确调整具有一系列设备尺寸的阵列。此调谐过程的成功表明，需要新的指标来表征混合信号硬件中再现的网络的性能和质量。