从几个培训示例中不断学习新课程，而不忘记以前的旧课程需要一个灵活的体系结构，而不可避免地会增加部分存储，其中可以逐步存储并有效地检索新的示例和类。一个可行的架构解决方案是将固定的深神经网络紧密融合到动态发展的明确记忆（EM）。作为该体系结构的核心，我们提出了一个EM单元，该单元在持续学习操作过程中利用节能中的内存计算（IMC）核心。我们首次证明了EM单元如何使用基于IMC Core上的操作（PCM）上的IMC核心操作，在推理期间进行了多个训练示例，扩展以适应看不见的类并进行相似性搜索。具体而言，通过PCM设备的原位进行性结晶实现了一些编码训练示例的物理叠加。与不断学习的最新完整精确基线软件模型相比，IMC核心上达到的分类精度在1.28％ - 2.5％范围内保持在2.5％之内。在60个旧课程的顶部，新颖的课程（每班只有五个示例）。

Disentanglement of constituent factors of a sensory signal is central to perception and cognition and hence is a critical task for future artificial intelligence systems. In this paper, we present a compute engine capable of efficiently factorizing holographic perceptual representations by exploiting the computation-in-superposition capability of brain-inspired hyperdimensional computing and the intrinsic stochasticity associated with analog in-memory computing based on nanoscale memristive devices. Such an iterative in-memory factorizer is shown to solve at least five orders of magnitude larger problems that cannot be solved otherwise, while also significantly lowering the computational time and space complexity. We present a large-scale experimental demonstration of the factorizer by employing two in-memory compute chips based on phase-change memristive devices. The dominant matrix-vector multiply operations are executed at O(1) thus reducing the computational time complexity to merely the number of iterations. Moreover, we experimentally demonstrate the ability to factorize visual perceptual representations reliably and efficiently.

受到正规彩票假说（RLTH）的启发，该假说假设在密集网络中存在平稳（非二进制）子网，以实现密集网络的竞争性能，我们提出了几个播放类增量学习（FSCIL）方法。 to as \ emph {soft-subnetworks（softnet）}。我们的目标是逐步学习一系列会议，每个会议在每个课程中只包含一些培训实例，同时保留了先前学到的知识。软网络在基本训练会议上共同学习模型权重和自适应非二进制软面具，每个面具由主要和次要子网组成；前者的目的是最大程度地减少训练期间的灾难性遗忘，而后者的目的是避免在每个新培训课程中过度拟合一些样本。我们提供了全面的经验验证，表明我们的软网络通过超越基准数据集的最先进基准的性能来有效地解决了几个弹药的学习问题。

基于von-neumann架构的传统计算系统，数据密集型工作负载和应用程序（如机器学习）和应用程序都是基本上限制的。随着数据移动操作和能量消耗成为计算系统设计中的关键瓶颈，对近数据处理（NDP），机器学习和特别是神经网络（NN）的加速器等非传统方法的兴趣显着增加。诸如Reram和3D堆叠的新兴内存技术，这是有效地架构基于NN的基于NN的加速器，因为它们的工作能力是：高密度/低能量存储和近记忆计算/搜索引擎。在本文中，我们提出了一种为NN设计NDP架构的技术调查。通过基于所采用的内存技术对技术进行分类，我们强调了它们的相似之处和差异。最后，我们讨论了需要探索的开放挑战和未来的观点，以便改进和扩展未来计算平台的NDP架构。本文对计算机学习领域的计算机架构师，芯片设计师和研究人员来说是有价值的。

作为其核心计算，一种自我发挥的机制可以在整个输入序列上分配成对相关性。尽管表现良好，但计算成对相关性的成本高昂。尽管最近的工作表明了注意力分数低的元素的运行时间修剪的好处，但自我发挥机制的二次复杂性及其芯片内存能力的需求被忽略了。这项工作通过构建一个称为Sprint的加速器来解决这些约束，该加速器利用RERAM横杆阵列的固有并行性以近似方式计算注意力分数。我们的设计使用RERAM内的轻质模拟阈值电路来降低注意力评分，从而使Sprint只能获取一小部分相关数据到芯片内存。为了减轻模型准确性的潜在负面影响，Sprint重新计算数字中少数获取数据的注意力评分。相关注意分数的组合内修剪和片上重新计算可以将Sprint转化为仅线性的二次复杂性。此外，我们即使修剪后，我们也可以识别并利用相邻的注意操作之间的动态空间位置，从而消除了昂贵但冗余的数据获取。我们在各种最新的变压器模型上评估了我们提出的技术。平均而言，当使用总16KB芯片内存时，Sprint会产生7.5倍的速度和19.6倍的能量，而实际上与基线模型的等值级相当（平均为0.36％的降级）。

深度神经网络（DNN）在各个领域的有效性（例如分类问题，图像处理，视频细分和语音识别）已被证明。加速器内存（AIM）架构是有效加速DNN的有前途解决方案，因为它们可以避免传统的von Neumann架构的内存瓶颈。由于主要内存通常在许多系统中是DRAM，因此在DRAM中高度平行的多重含用（MAC）阵列可以通过减少处理器和主内存之间的数据运动的距离和数量来最大化目标的好处。本文介绍了一个名为MAC-DO的基于模拟MAC阵列的AIM架构。与以前的IN-DRAM加速器相反，MAC-DO使整个DRAM阵列同时参与MAC计算，而无需闲置细胞，从而导致更高的吞吐量和能量效率。通过利用基于电荷转向的新的模拟计算方法来实现这种改进。此外，Mac-Do天生支持具有良好线性的多位Mac。 MAC-DO仍然与当前的1T1C DRAM技术兼容，而没有任何DRAM单元格和数组的修改。 MAC-DO数组可以基于输出固定映射加速矩阵乘法，因此支持DNN中执行的大多数计算。我们使用晶体管级仿真的评估表明，具有16 x 16 Mac-Do细胞的测试MAC-DO阵列可达到188.7 TOPS/W，并显示了MNIST数据集的97.07％TOP-1准确性，而无需重新培训。

大多数元学习方法都假设存在于可用于基本知识的情节元学习的一组非常大的标记数据。这与更现实的持续学习范例形成对比，其中数据以包含不相交类的任务的形式逐步到达。在本文中，我们考虑了这个增量元学习（IML）的这个问题，其中类在离散任务中逐步呈现。我们提出了一种方法，我们调用了IML，我们称之为eCISODIC重播蒸馏（ERD），该方法将来自当前任务的类混合到当前任务中，当研究剧集时，来自先前任务的类别示例。然后将这些剧集用于知识蒸馏以最大限度地减少灾难性的遗忘。四个数据集的实验表明ERD超越了最先进的。特别是，在一次挑战的单次次数较挑战，长任务序列增量元学习场景中，我们将IML和联合训练与当前状态的3.5％/ 10.1％/ 13.4％之间的差距降低我们在Diered-ImageNet / Mini-ImageNet / CIFAR100上分别为2.6％/ 2.9％/ 5.0％。

超比计算（HDC）是由大脑启发的新出现的计算框架，其在数千个尺寸上运行以模拟认知的载体。与运行数量的传统计算框架不同，HDC，如大脑，使用高维随机向量并能够一次学习。 HDC基于明确定义的算术运算集，并且是高度误差的。 HDC的核心运营操纵高清vectors以散装比特方式，提供许多机会利用并行性。遗憾的是，在传统的von-neuman架构上，处理器中的高清矢量的连续运动可以使认知任务过度缓慢和能量密集。硬件加速器只会略微改进相关的指标。相反，只有使用新兴铭文设备内存的HDC框架的部分实施，已报告了相当大的性能/能源收益。本文介绍了一种基于赛道内存（RTM）的架构，以便在内存中进行和加速整个HDC框架。所提出的解决方案需要最小的附加CMOS电路，并在称为横向读取（TR）的RTM中跨多个域的读取操作，以实现排他性或（XOR）和添加操作。为了最小化CMOS电路的开销，我们提出了一种基于RTM纳米线的计数机制，其利用TR操作和标准RTM操作。使用语言识别作为用例，分别与FPGA设计相比，整体运行时和能耗降低了7.8倍和5.3倍。与最先进的内存实现相比，所提出的HDC系统将能耗降低8.6倍。

突触记忆巩固已被认为是支持神经形态人工智能（AI）系统中持续学习的关键机制之一。在这里，我们报告说，Fowler-Nordheim（FN）量子隧道设备可以实现突触存储器巩固，类似于通过算法合并模型（例如级联和弹性重量合并（EWC）模型）所能实现的。拟议的FN-Synapse不仅存储突触重量，而且还存储了Synapse在设备本身上的历史用法统计量。我们还表明，就突触寿命而言，FN合并的操作几乎是最佳的，并且我们证明了一个包含FN合成的网络在一个小基准测试持续学习任务上超过了可比的EWC网络。通过每次突触更新的Femtojoules的能量足迹，我们相信所提出的FN-Synapse为实施突触记忆巩固和持续学习提供了一种超能效率的方法。

Many modern computer vision algorithms suffer from two major bottlenecks: scarcity of data and learning new tasks incrementally. While training the model with new batches of data the model looses it's ability to classify the previous data judiciously which is termed as catastrophic forgetting. Conventional methods have tried to mitigate catastrophic forgetting of the previously learned data while the training at the current session has been compromised. The state-of-the-art generative replay based approaches use complicated structures such as generative adversarial network (GAN) to deal with catastrophic forgetting. Additionally, training a GAN with few samples may lead to instability. In this work, we present a novel method to deal with these two major hurdles. Our method identifies a better embedding space with an improved contrasting loss to make classification more robust. Moreover, our approach is able to retain previously acquired knowledge in the embedding space even when trained with new classes. We update previous session class prototypes while training in such a way that it is able to represent the true class mean. This is of prime importance as our classification rule is based on the nearest class mean classification strategy. We have demonstrated our results by showing that the embedding space remains intact after training the model with new classes. We showed that our method preformed better than the existing state-of-the-art algorithms in terms of accuracy across different sessions.

在小型电池约束的物流设备上部署现代TinyML任务需要高计算能效。使用非易失性存储器（NVM）的模拟内存计算（IMC）承诺在深神经网络（DNN）推理中的主要效率提高，并用作DNN权重的片上存储器存储器。然而，在系统级别尚未完全理解IMC的功能灵活性限制及其对性能，能量和面积效率的影响。为了目标实际的端到端的IOT应用程序，IMC阵列必须括在异构可编程系统中，引入我们旨在解决这项工作的新系统级挑战。我们介绍了一个非均相紧密的聚类架构，整合了8个RISC-V核心，内存计算加速器（IMA）和数字加速器。我们在高度异构的工作负载上基准测试，例如来自MobileNetv2的瓶颈层，显示出11.5倍的性能和9.5倍的能效改进，而在核心上高度优化并行执行相比。此外，我们通过将我们的异构架构缩放到多阵列加速器，探讨了在IMC阵列资源方面对全移动级DNN（MobileNetv2）的端到端推断的要求。我们的结果表明，我们的解决方案在MobileNetv2的端到端推断上，在执行延迟方面比现有的可编程架构更好，比最先进的异构解决方案更好的数量级集成内存计算模拟核心。

我们证明，与畴壁（DW）位置的大量随机变化的量化量（名义上是5态）突触的极低分辨率可以是节能的，并且与使用浮动精度相比，与类似尺寸的深度神经网络（DNN）相比具有相当高的测试精度。突触权重。具体地，电压控制的DW器件展示随机性的随机行为，与微磁性模拟严格，并且只能编码有限状态;但是，它们在训练和推论中都可以非常节能。我们表明，通过对学习算法实施合适的修改，我们可以解决随机行为以及减轻其低分辨率的影响，以实现高测试精度。在这项研究中，我们提出了原位和前地训练算法，基于Hubara等人提出的算法的修改。 [1]适用于突触权重的量化。我们使用2个，3和5状态DW设备作为Synapse培训Mnist DataSet上的几个5层DNN。对于原位训练，采用单独的高精度存储器单元来保护和累积重量梯度，然后被量化以编程低精密DW设备。此外，在训练期间使用尺寸的噪声公差余量来解决内部编程噪声。对于前训训练，首先基于所表征的DW设备模型和噪声公差余量进行前体DNN，其类似于原位培训。值得注意的是，对于原位推断，对设备的能量耗散装置仅是每次推断仅13页，因为在整个MNIST数据集上进行10个时期进行训练。

神经网络的越来越大的规模及其越来越多的应用空间对更高的能量和记忆有效的人工智能特定硬件产生了需求。 venues为了缓解主要问题，von neumann瓶颈，包括内存和近记忆架构，以及算法方法。在这里，我们利用磁隧道结（MTJ）的低功耗和固有的二进制操作来展示基于MTJ的无源阵列的神经网络硬件推断。通常，由于设备到装置的变化，写入误差，寄生电阻和非前沿，在性能下将训练的网络模型转移到推动的硬件。为了量化这些硬件现实的效果，我们将300个唯一重量矩阵解决方案的23个唯一的重量矩阵解决方案进行分类，以分类葡萄酒数据集，用于分类准确性和写真保真度。尽管设备不完美，我们可以实现高达95.3％的软件等效精度，并在15 x 15 MTJ阵列中正确调整具有一系列设备尺寸的阵列。此调谐过程的成功表明，需要新的指标来表征混合信号硬件中再现的网络的性能和质量。

卷积神经网络（CNN）在各种应用中表现出卓越的性能，但具有较高的计算复杂性。量化用于降低CNN的延迟和存储成本。在量化方法中，二进制重量网络（BWN和TWNS）在8位和4位量化方面具有独特的优势。他们用加法替代CNN中的乘法操作，这些操作在内存计数（IMC）设备上受到青睐。 BWNS的IMC加速度已被广泛研究。但是，尽管TWN的精度比BWN具有更高的准确性和更好的稀疏性，但IMC的加速度的研究有限。现有的IMC设备上的TWN效率低下，因为稀疏性无法很好地利用，并且加法操作效率不高。在本文中，我们建议FAT作为TWN的新型IMC加速器。首先，我们提出了一个稀疏的加法控制单元，该单元利用TWN的稀疏度跳过了零重量的无效操作。其次，我们提出了一个基于内存感知器的快速添加方案，以避免携带传播的时间开销并将其写回记忆单元。第三，我们进一步提出了一个组合的数据映射，以减少激活和权重的数据移动，并增加跨内存列的并行性。仿真结果表明，与最先进的IMC加速器Parapim相比，对于感官放大器水平上的加法操作，FAT达到2.00倍加速度，1.22倍功率效率和1.22倍面积效率。与帕拉皮姆（Parapim）相比，脂肪达到10.02倍的加速度和12.19倍的能量效率，而平均稀疏性为80％的网络。

物联网系统中的微型机器学习（Tinyml）利用MCU作为数据处理的边缘设备。但是，传统的Tinyml方法只能执行推理，仅限于静态环境或类。真实情况通常在动态环境中起作用，从而将原始神经模型不再合适的上下文漂移。因此，预训练的模型降低了其一生中的准确性和可靠性，因为记录的数据缓慢变为过时或出现新模式。连续学习策略通过对参数进行运行时进行微调维护模型。本文比较了两个实际应用中的四种最新算法：i）基于加速度计数据的手势识别和ii）图像分类。我们的结果证实了这些系统的可靠性以及将它们部署到微小的MCUS中的可行性，相对于无约束计算平台的原始模型的精确度下降了几个百分点。

持续学习和少数学习是追求改善机器学习的重要领域。每个边界的工作越来越多，但将两者结合起来很少。但是最近，Antoniou等人。 ARXIV：2004.11967引入了一个连续的少数学习框架CFSL，将两者都结合在一起。在这项研究中，我们扩展了CFSL，以使其与标准持续学习实验更具可比性，通常会介绍更多的类。我们还引入了一个“实例测试”以对非常相似的特定实例进行分类 - ML通常忽略的动物认知能力。我们从原始CFSL工作中选择了代表性的基线模型，并将其与具有海马启发性重播的模型进行了比较，因为海马被认为对动物中的这种学习至关重要。正如预期的那样，学习更多的课程比原始的CFSL实验更加困难，有趣的是，它们的呈现方式对性能有所不同。实例测试中的准确性与分类任务相当。使用重播进行合并可改善两种类型的任务的性能，尤其是实例测试。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

由于灾难性的遗忘，计算系统的持续学习是挑战。我们在果蝇嗅觉系统中发现了两个层神经循环，通过独特地组合稀疏编码和关联学习来解决这一挑战。在第一层中，使用稀疏，高尺寸表示来编码气味，这通过激活非重叠神经元的神经元以进行不同气味来减少内存干扰。在第二层中，在学习期间仅修改异味活性神经元和与气味相关的输出神经元之间的突触;冻结其余重量以防止不相关的存储器被覆盖。我们经验和分析显示，这种简单轻型的算法显着提高了不断的学习性能。飞行关联学习算法与经典的Perceptron学习算法引人注目，尽管我们表现出两种修改对于减少灾难性遗忘至关重要。总体而言，果蝇演变了一种有效的终身学习算法，可以转换来自神经科学的电路机制以改善机器计算。

Continual Learning (CL) is an emerging machine learning paradigm that aims to learn from a continuous stream of tasks without forgetting knowledge learned from the previous tasks. To avoid performance decrease caused by forgetting, prior studies exploit episodic memory (EM), which stores a subset of the past observed samples while learning from new non-i.i.d. data. Despite the promising results, since CL is often assumed to execute on mobile or IoT devices, the EM size is bounded by the small hardware memory capacity and makes it infeasible to meet the accuracy requirements for real-world applications. Specifically, all prior CL methods discard samples overflowed from the EM and can never retrieve them back for subsequent training steps, incurring loss of information that would exacerbate catastrophic forgetting. We explore a novel hierarchical EM management strategy to address the forgetting issue. In particular, in mobile and IoT devices, real-time data can be stored not just in high-speed RAMs but in internal storage devices as well, which offer significantly larger capacity than the RAMs. Based on this insight, we propose to exploit the abundant storage to preserve past experiences and alleviate the forgetting by allowing CL to efficiently migrate samples between memory and storage without being interfered by the slow access speed of the storage. We call it Carousel Memory (CarM). As CarM is complementary to existing CL methods, we conduct extensive evaluations of our method with seven popular CL methods and show that CarM significantly improves the accuracy of the methods across different settings by large margins in final average accuracy (up to 28.4%) while retaining the same training efficiency.

Online continual learning (OCL) aims to enable model learning from a non-stationary data stream to continuously acquire new knowledge as well as retain the learnt one, under the constraints of having limited system size and computational cost, in which the main challenge comes from the "catastrophic forgetting" issue -- the inability to well remember the learnt knowledge while learning the new ones. With the specific focus on the class-incremental OCL scenario, i.e. OCL for classification, the recent advance incorporates the contrastive learning technique for learning more generalised feature representation to achieve the state-of-the-art performance but is still unable to fully resolve the catastrophic forgetting. In this paper, we follow the strategy of adopting contrastive learning but further introduce the semantically distinct augmentation technique, in which it leverages strong augmentation to generate more data samples, and we show that considering these samples semantically different from their original classes (thus being related to the out-of-distribution samples) in the contrastive learning mechanism contributes to alleviate forgetting and facilitate model stability. Moreover, in addition to contrastive learning, the typical classification mechanism and objective (i.e. softmax classifier and cross-entropy loss) are included in our model design for faster convergence and utilising the label information, but particularly equipped with a sampling strategy to tackle the tendency of favouring the new classes (i.e. model bias towards the recently learnt classes). Upon conducting extensive experiments on CIFAR-10, CIFAR-100, and Mini-Imagenet datasets, our proposed method is shown to achieve superior performance against various baselines.