IoT设备收集的数据通常是私人的，并且在各种用户之间具有巨大的多样性。因此，学习需要使用可用的代表性数据样本进行预训练，在物联网设备上部署预训练的模型，并使用本地数据在设备上调整已部署的模型。这种用于深度学习授权应用程序的设备改编需要数据和记忆效率。但是，现有的基于梯度的元学习方案无法支持记忆有效的适应。为此，我们提出了P-Meta，这是一种新的元学习方法，该方法可以强制执行结构的部分参数更新，同时确保快速概括到看不见的任务。对几片图像分类和强化学习任务的评估表明，与最先进的几次适应方法相比。

新兴的边缘情报应用程序要求服务器重新训练和更新部署在远程边缘节点上的深神经网络，以利用新收集的数据示例。不幸的是，由于高度严格的通信资源，在实践中可能不可能连续向这些边缘节点发送全面更新的权重。在本文中，我们提出了重量的深层部分更新范式，该范式巧妙地选择了一小部分权重以在每个服务器到边缘通信中进行更新，同时与完整更新相比实现了相似的性能。我们的方法是通过分析上限的部分更新和完整更新之间的损失差异来建立的，并且只能更新权重，从而对上限产生最大的贡献。广泛的实验结果证明了我们部分更新方法的功效，该方法在更新少量的权重的同时，可以达到高推理精度。

边缘设备上有限且动态的资源激励我们部署优化的深神经网络，该网络可以调整其子网络以适应不同的资源约束。但是，现有作品通常通过在手工制作的采样空间中搜索不同的网络体系结构来构建子网络，这不仅可以导致低标准的性能，而且可能导致设备上的重新配置开销。在本文中，我们提出了一种新颖的培训算法，动态的实时稀疏子网（着装）。着装通过基于行的非结构化稀疏度从相同的骨干网络采样多个子网络，并与加权损失并联训练这些子网络。着装还利用包括参数重复使用和基于行的细粒抽样在内的策略，以进行有效的存储消耗和有效的机上适应。公共视觉数据集的广泛实验表明，与最先进的子网络相比，着装的准确性明显更高。

深度神经网络（DNN）的记录断裂性能具有沉重的参数化，导致外部动态随机存取存储器（DRAM）进行存储。 DRAM访问的禁用能量使得在资源受限的设备上部署DNN是不普遍的，呼叫最小化重量和数据移动以提高能量效率。我们呈现SmartDeal（SD），算法框架，以进行更高成本的存储器存储/访问的较低成本计算，以便在推理和培训中积极提高存储和能量效率。 SD的核心是一种具有结构约束的新型重量分解，精心制作以释放硬件效率潜力。具体地，我们将每个重量张量分解为小基矩阵的乘积以及大的结构稀疏系数矩阵，其非零被量化为-2的功率。由此产生的稀疏和量化的DNN致力于为数据移动和重量存储而大大降低的能量，因为由于稀疏的比特 - 操作和成本良好的计算，恢复原始权重的最小开销。除了推理之外，我们采取了另一次飞跃来拥抱节能培训，引入创新技术，以解决培训时出现的独特障碍，同时保留SD结构。我们还设计专用硬件加速器，充分利用SD结构来提高实际能源效率和延迟。我们在不同的设置中对多个任务，模型和数据集进行实验。结果表明：1）应用于推理，SD可实现高达2.44倍的能效，通过实际硬件实现评估; 2）应用于培训，储存能量降低10.56倍，减少了10.56倍和4.48倍，与最先进的训练基线相比，可忽略的准确性损失。我们的源代码在线提供。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

几乎没有学习方法的目的是训练模型，这些模型可以根据少量数据轻松适应以前看不见的任务。最受欢迎，最优雅的少学习方法之一是模型敏捷的元学习（MAML）。这种方法背后的主要思想是学习元模型的一般权重，该权重进一步适应了少数梯度步骤中的特定问题。但是，该模型的主要限制在于以下事实：更新过程是通过基于梯度的优化实现的。因此，MAML不能总是在一个甚至几个梯度迭代中将权重修改为基本水平。另一方面，使用许多梯度步骤会导致一个复杂且耗时的优化程序，这很难在实践中训练，并且可能导致过度拟合。在本文中，我们提出了HyperMAML，这是MAML的新型概括，其中更新过程的训练也是模型的一部分。也就是说，在HyperMAML中，我们没有使用梯度下降来更新权重，而是为此目的使用可训练的超级净机。因此，在此框架中，该模型可以生成重大更新，其范围不限于固定数量的梯度步骤。实验表明，超型MAML始终胜过MAML，并且在许多标准的几次学习基准测试基准中与其他最先进的技术相当。

基于优化的元学习旨在学习初始化，以便在一些梯度更新中可以学习新的看不见的任务。模型不可知的元学习（MAML）是一种包括两个优化回路的基准算法。内部循环致力于学习一项新任务，并且外循环导致元定义。但是，Anil（几乎没有内部环）算法表明，功能重用是MAML快速学习的替代方法。因此，元定义阶段使MAML用于特征重用，并消除了快速学习的需求。与Anil相反，我们假设可能需要在元测试期间学习新功能。从非相似分布中进行的一项新的看不见的任务将需要快速学习，并重用现有功能。在本文中，我们调用神经网络的宽度深度二元性，其中，我们通过添加额外的计算单元（ACU）来增加网络的宽度。 ACUS可以在元测试任务中学习新的原子特征，而相关的增加宽度有助于转发通行证中的信息传播。新学习的功能与最后一层的现有功能相结合，用于元学习。实验结果表明，我们提出的MAC方法的表现优于现有的非相似任务分布的Anil算法，约为13％（5次任务设置）

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

神经网络需要大量的注释数据才能学习。元学习算法提出了一种将训练样本数量减少到少数的方法。最突出的基于优化的元学习算法之一是模型敏捷的元学习（MAML）。但是，适应MAML新任务的关键过程非常慢。在这项工作中，我们提出了对MAML元学习算法的改进。我们介绍了lambda模式，通过这些模式，我们限制了在适应阶段在网络中更新的重量。这使得可以跳过某些梯度计算。选择最快的图案给定允许的质量降解阈值参数。在某些情况下，通过仔细的模式选择可以提高质量。进行的实验表明，通过Lambda适应模式选择，可以在以下区域显着改善MAML方法：适应时间已减少3倍，而精度损失最小；一步适应的准确性已大大提高。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

近年来，以用户为中心的应用程序有所增长，这些应用程序需要在低数据制度中跨任务进行有效的知识转移。一个示例是个性化，通过学习少量属于特定用户的标记数据，可以调整一个预处理的系统。这种设置需要在低计算复杂性下高精度，因此准确性的帕累托前沿与适应性成本起着至关重要的作用。在本文中，我们将在几个摄影图像分类设置中推动此帕累托前沿，并具有两个关键的贡献：（i）一个称为上下文挤压和兴奋（案例）的新型自适应块，该块在新任务上调整了预处理的神经网络，以显着通过用户数据（上下文）的单个正向通过，以及（ii）基于称为大写的坐标培训协议（II）的混合训练协议，以提高性能，该协议利用了元训练的情况块和微调例程，以进行有效的适应。大写在VTAB+MD的26个数据集和充满挑战的现实世界个性化基准（Orbit）上，相对于元学习者的新最先进的准确性（轨道），从而通过领先的微调方法缩小了差距自适应成本较低的数量级。

在设备训练中，该模型可以通过微调预训练的模型来适应从传感器中收集的新数据。但是，对于具有少量内存资源的物联网设备，训练记忆消耗是过敏的。我们提出了一个算法 - 系统共同设计框架，以便仅使用256KB的内存使设备训练成为可能。在设备训练面临两个独特的挑战：（1）由于比特精确的混合和缺乏归一化而难以优化神经网络的量化图； （2）有限的硬件资源（内存和计算）不允许完整的向后计算。为了应对优化难度，我们提出了量化缩放量表来校准梯度尺度并稳定量化训练。为了减少内存足迹，我们提出稀疏更新，以跳过不太重要的层和子张量的梯度计算。该算法创新是由轻量级训练系统（小型训练引擎）实现的，该系统可修剪向后的计算图，以支持稀疏更新并卸载运行时自动分化以编译时间。我们的框架是第一个实用解决方案，用于在微型IoT设备上进行视觉识别的设备转移学习（例如，仅具有256KB SRAM的微控制器），使用少于1/100的现有框架的存储器，同时匹配云训练的准确性+Tinyml应用程序VWW的边缘部署。我们的研究使IoT设备不仅可以执行推理，还可以不断适应新的数据，以实现终身学习。

We propose an algorithm for meta-learning that is model-agnostic, in the sense that it is compatible with any model trained with gradient descent and applicable to a variety of different learning problems, including classification, regression, and reinforcement learning. The goal of meta-learning is to train a model on a variety of learning tasks, such that it can solve new learning tasks using only a small number of training samples. In our approach, the parameters of the model are explicitly trained such that a small number of gradient steps with a small amount of training data from a new task will produce good generalization performance on that task. In effect, our method trains the model to be easy to fine-tune. We demonstrate that this approach leads to state-of-the-art performance on two fewshot image classification benchmarks, produces good results on few-shot regression, and accelerates fine-tuning for policy gradient reinforcement learning with neural network policies.

Few-shot learning aims to fast adapt a deep model from a few examples. While pre-training and meta-training can create deep models powerful for few-shot generalization, we find that pre-training and meta-training focuses respectively on cross-domain transferability and cross-task transferability, which restricts their data efficiency in the entangled settings of domain shift and task shift. We thus propose the Omni-Training framework to seamlessly bridge pre-training and meta-training for data-efficient few-shot learning. Our first contribution is a tri-flow Omni-Net architecture. Besides the joint representation flow, Omni-Net introduces two parallel flows for pre-training and meta-training, responsible for improving domain transferability and task transferability respectively. Omni-Net further coordinates the parallel flows by routing their representations via the joint-flow, enabling knowledge transfer across flows. Our second contribution is the Omni-Loss, which introduces a self-distillation strategy separately on the pre-training and meta-training objectives for boosting knowledge transfer throughout different training stages. Omni-Training is a general framework to accommodate many existing algorithms. Evaluations justify that our single framework consistently and clearly outperforms the individual state-of-the-art methods on both cross-task and cross-domain settings in a variety of classification, regression and reinforcement learning problems.

现代消费电子设备已为其主要功能采用了深度学习的情报服务。供应商最近开始在设备上执行情报服务，以在设备中保存个人数据，降低网络和云成本。我们发现了通过使用用户数据更新神经网络的情况，而无需将数据暴露在设备中：设备培训。例如，我们可能会添加一个新课程，我的狗Alpha用于机器人真空吸尘器，适应用户口音的语音识别，让文本到语音说话，好像用户会说话。但是，目标设备的资源限制遇到了重大困难。我们建议NNTrainer，这是一个轻巧的设备培训框架。我们描述了NNTrainer实施的神经网络的优化技术，这些技术与传统一起评估。评估表明，NNTrainer可以将内存消耗降低至1/28，而不会恶化准确性或训练时间，并有效地个性化了对设备上的应用程序。 NNTrainer是跨平台和实用的开源软件，该软件正在作者隶属关系中部署到数百万个设备。

由于在具有不同资源预算的各种平台上的模型部署方便，因此具有自适应位的深度神经网络量化已引起了人们的关注。在本文中，我们提出了一种元学习方法来实现这一目标。具体而言，我们提出了MEBQAT，这是一种简单而有效的自适应量化意识训练（QAT）的方法，在该方法中，通过重新定义元学习任务以合并位宽，将元学习与QAT有效合并。部署在平台上后，MEBQAT允许将（Meta-）训练的模型量化为任何候选位宽，然后有助于进行推理，而无需过多准确地量化。此外，通过一些学习方案，MEBQAT还可以通过添加常规优化或基于公制的元学习来使模型以及任何看不见的目标类调整模型。我们设计了MEBQAT的变体，以支持（1）（1）位置自适应量化方案和（2）新的几次学习方案，在该方案中，量化位低和目标类都是共同调整的。我们通过实验证明了它们在多个QAT方案中的有效性。通过将它们的性能与（Bitwidth-dedicatied）QAT，现有的Bitwidth自适应QAT和Vanilla Meta-Learning进行比较，我们发现将Bitwidths合并到元学习任务中可以达到更高的鲁棒性。

培训广泛和深度神经网络（DNN）需要大量的存储资源，例如内存，因为在转发传播期间必须在存储器中保存中间激活数据，然后恢复以便向后传播。然而，由于硬件设计约束，诸如GPU之类的最先进的加速器（例如GPU）仅配备了非常有限的存储容量，这显着限制了在训练大规模DNN时的最大批量大小和性能加速。传统的记忆保存技术均受性能开销或受限互连带宽或特定互连技术的约束。在本文中，我们提出了一种新颖的记忆高效的CNN训练框架（称为Comet），利用错误界限的损耗压缩来显着降低训练的内存要求，以允许培训更大的模型或加速培训。不同于采用基于图像的有损压缩机（例如JPEG）的最先进的解决方案来压缩激活数据，我们的框架故意采用严格的错误控制机制来采用错误界限的损耗压缩。具体而言，我们对从改变的激活数据传播到梯度的压缩误差传播的理论分析，并经验探讨改变梯度对训练过程的影响。基于这些分析，我们优化了误报的损耗压缩，并提出了一种用于激活数据压缩的自适应误差控制方案。我们评估我们对最先进的解决方案的设计，其中包含五个广泛采用的CNN和Imagenet DataSet。实验表明，我们所提出的框架可以在基线训练中显着降低13.5倍，并分别在另一个最先进的基于压缩框架上的1.8倍，几乎没有准确性损失。

Backpropagation is widely used to train artificial neural networks, but its relationship to synaptic plasticity in the brain is unknown. Some biological models of backpropagation rely on feedback projections that are symmetric with feedforward connections, but experiments do not corroborate the existence of such symmetric backward connectivity. Random feedback alignment offers an alternative model in which errors are propagated backward through fixed, random backward connections. This approach successfully trains shallow models, but learns slowly and does not perform well with deeper models or online learning. In this study, we develop a novel meta-plasticity approach to discover interpretable, biologically plausible plasticity rules that improve online learning performance with fixed random feedback connections. The resulting plasticity rules show improved online training of deep models in the low data regime. Our results highlight the potential of meta-plasticity to discover effective, interpretable learning rules satisfying biological constraints.

When training early-stage deep neural networks (DNNs), generating intermediate features via convolution or linear layers occupied most of the execution time. Accordingly, extensive research has been done to reduce the computational burden of the convolution or linear layers. In recent mobile-friendly DNNs, however, the relative number of operations involved in processing these layers has significantly reduced. As a result, the proportion of the execution time of other layers, such as batch normalization layers, has increased. Thus, in this work, we conduct a detailed analysis of the batch normalization layer to efficiently reduce the runtime overhead in the batch normalization process. Backed up by the thorough analysis, we present an extremely efficient batch normalization, named LightNorm, and its associated hardware module. In more detail, we fuse three approximation techniques that are i) low bit-precision, ii) range batch normalization, and iii) block floating point. All these approximate techniques are carefully utilized not only to maintain the statistics of intermediate feature maps, but also to minimize the off-chip memory accesses. By using the proposed LightNorm hardware, we can achieve significant area and energy savings during the DNN training without hurting the training accuracy. This makes the proposed hardware a great candidate for the on-device training.