由于最近在ML和IoT中的突破，部署机器学习（ML）在MilliWatt-Scale-Scale-Scale-Scale Edge设备（Tinyml）上正在越来越受欢迎。但是，Tinyml的功能受到严格的功率和计算约束的限制。 Tinyml中的大多数当代研究都集中在模型压缩技术上，例如模型修剪和量化，以适合低端设备上的ML模型。然而，由于积极的压缩迅速缩小了模型能力和准确性，因此通过现有技术获得的能源消耗和推理时间的改善是有限的。在保留其模型容量的同时，改善推理时间和/或降低功率的另一种方法是通过早期筛选网络。这些网络将中间分类器沿基线神经网络放置，如果中间分类器对其预测表现出足够的信心，则可以促进神经网络计算的早期退出。早期效果网络的先前工作集中在大型网络上，超出了通常用于Tinyml应用程序的功能。在本文中，我们讨论了将早期外观添加到最先进的小型CNN中的挑战，并设计了一种早期筛选架构T-RECX，以解决这些挑战。此外，我们开发了一种方法来减轻在最终退出中通过利用早期外观学到的高级代表性来减轻网络过度思考的影响。我们从MLPERF微小的基准套件中评估了三个CNN的T-RECX，用于图像分类，关键字发现和视觉唤醒单词检测任务。我们的结果表明，T-RECX提高了基线网络的准确性，并显着减少了微小CNN的平均推理时间。 T-RECX达到了32.58％的平均拖鞋降低，以换取所有评估模型的1％精度。此外，我们的技术提高了我们评估的三个模型中的两个基线网络的准确性

本文介绍了AppeAlnet，一种新颖的边缘/云协同架构，其比最先进的解决方案更有效地运行深度学习（DL）任务。对于给定的输入，AppeAlnet无论是否可以通过部署在资源受限的边缘设备上的DL模型都可以成功地预测，如果没有，则吸引到云处部署的更强大的DL模型。这是通过采用双头神经网络架构来实现的，该架构明确地考虑了推论难度，并优化了边缘/云协同架构的准确性和计算/通信成本之间的权衡。与现有技术相比，若干图像分类数据集的实验结果显示出高达40％的能量节省，而不会牺牲精度。

具有早期退出机制的最先进的神经网络通常需要大量的培训和微调，以通过低计算成本来实现良好的性能。我们提出了一种新颖的早期出口技术，基于样本的类手段，提前出口课程（E $^2 $ cm）。与大多数现有方案不同，E $^2 $ cm不需要基于梯度的内部分类器培训，并且不会通过任何方式修改基本网络。这使其对于低功率设备的神经网络培训特别有用，如无线边缘网络。我们评估了E $^2 $ cm的性能和间接费用，例如MobileNetV3，EdgisterNet，Resnet和数据集，例如CIFAR-100，Imagenet和KMNIST。我们的结果表明，鉴于固定的培训时间预算，与现有的早期退出机制相比，E $^2 $ cm的准确性更高。此外，如果培训时间预算没有限制，则可以将E $^2 $ cm与现有的早期退出计划相结合，以提高后者的性能，从而在计算成本和网络准确性之间取得更好的权衡。我们还表明，E $^2 $ cm可用于降低无监督学习任务中的计算成本。

减少大深度学习模型的处理时间的问题是许多现实世界应用中的根本挑战。早期退出方法通过将附加内部分类器（IC）附加到神经网络的中间层来努力实现这一目标。 IC可以快速返回简单示例的预测，结果，降低整个模型的平均推理时间。但是，如果特定IC不决定早期回答，则其预测被丢弃，其计算有效地浪费。为了解决这个问题，我们引入零时间浪费（ZTW），这是一种新的方法，其中每个IC重用由其前辈返回的预测（1）在IC和（2）之间以相对于类似的方式组合先前输出之间的直接连接。我们对各个数据集和架构进行了广泛的实验，以证明ZTW实现了比最近提出的早期退出方法的其他更好的比例与推理时间权衡。

深神经网络（DNN）已成为许多应用程序域（包括基于Web的服务）的重要组成部分。这些服务需要高吞吐量和（接近）实时功能，例如，对用户的请求做出反应或反应，或者按时处理传入数据流。但是，DNN设计的趋势是朝着具有许多层和参数的较大模型，以实现更准确的结果。尽管这些模型通常是预先训练的，但是在如此大的模型中，计算复杂性仍然相对显着，从而阻碍了低推断潜伏期。实施缓存机制是用于加速服务响应时间的典型系统工程解决方案。但是，传统的缓存通常不适合基于DNN的服务。在本文中，我们提出了一种端到端自动化解决方案，以根据其计算复杂性和推理延迟来提高基于DNN的服务的性能。我们的缓存方法采用了DNN模型和早期出口的自我介绍的思想。提出的解决方案是一种自动化的在线层缓存机制，如果提前出口之一中的高速缓存模型足够有信心，则可以在推理时间提早退出大型模型。本文的主要贡献之一是，我们将该想法实施为在线缓存，这意味着缓存模型不需要访问培训数据，并且仅根据运行时的传入数据执行，使其适用于应用程序使用预训练的模型。我们的实验在两个下游任务（面部和对象分类）上结果表明，平均而言，缓存可以将这些服务的计算复杂性降低到58 \％（就FLOPS计数而言），并将其推断潜伏期提高到46 \％精度低至零至零。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

为了确保全球粮食安全和利益相关者的总体利润，正确检测和分类植物疾病的重要性至关重要。在这方面，基于深度学习的图像分类的出现引入了大量解决方案。但是，这些解决方案在低端设备中的适用性需要快速，准确和计算廉价的系统。这项工作提出了一种基于轻巧的转移学习方法，用于从番茄叶中检测疾病。它利用一种有效的预处理方法来增强具有照明校正的叶片图像，以改善分类。我们的系统使用组合模型来提取功能，该模型由预审计的MobilenETV2体系结构和分类器网络组成，以进行有效的预测。传统的增强方法被运行时的增加取代，以避免数据泄漏并解决类不平衡问题。来自PlantVillage数据集的番茄叶图像的评估表明，所提出的体系结构可实现99.30％的精度，型号大小为9.60mb和4.87亿个浮点操作，使其成为低端设备中现实生活的合适选择。我们的代码和型号可在https://github.com/redwankarimsony/project-tomato中找到。

诸如智能手机和自治车辆的移动设备越来越依赖深神经网络（DNN）来执行复杂的推理任务，例如图像分类和语音识别等。但是，在移动设备上连续执行整个DNN可以快速消耗其电池。虽然任务卸载到云/边缘服务器可能会降低移动设备的计算负担，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致任务执行的显着延迟。最近，已经提出了基于分割计算（SC）的方法，其中DNN被分成在移动设备上和边缘服务器上执行的头部和尾模型。最终，这可能会降低带宽使用以及能量消耗。另一种叫做早期退出（EE）的方法，列车模型在架构中呈现多个“退出”，每个都提供越来越高的目标准确性。因此，可以根据当前条件或应用需求进行准确性和延迟之间的权衡。在本文中，我们通过呈现最相关方法的比较，对SC和EE策略进行全面的综合调查。我们通过提供一系列引人注目的研究挑战来结束论文。

语义细分是许多视觉系统的骨干，从自动驾驶汽车和机器人导航到增强现实和电信。在有限的资源信封内经常在严格的延迟约束下运行，对有效执行的优化变得很重要。同时，目标平台的异质功能以及不同应用程序的不同限制需要设计和培训多个针对特定目标的细分模型，从而导致过度维护成本。为此，我们提出了一个框架，用于将最新的分割CNN转换为多EXIT语义细分（MESS）网络：经过特殊训练的模型，这些模型沿其深度沿其深度进行参数化的早期出口到i）在推断过程中动态保存计算更容易的样本和ii）通过提供可定制的速度准确性权衡来节省培训和维护成本。设计和培训此类网络天真地损害了性能。因此，我们为多EXIT网络提出了新颖的两期培训方案。此外，Mess的参数化可以使附件分割头的数字，位置和体系结构以及退出策略通过详尽的搜索在<1GPUH中进行部署。这使得混乱能够快速适应每个目标用例的设备功能和应用要求，并提供火车一路上的部署解决方案。与原始的骨干网络相比，Mess变体具有相同精度的潜伏期增长率高达2.83倍，而相同的计算预算的潜伏期提高到同一计算预算的准确性高5.33 pp。最后，与最先进的技术相比，MESS提供了更快的架构选择订单。

在物联网（IoT）支持的网络边缘（IOT）上的人工智能（AI）的最新进展已通过启用低延期性和计算效率来实现多种应用程序（例如智能农业，智能医院和智能工厂）的优势情报。但是，部署最先进的卷积神经网络（CNN），例如VGG-16和在资源约束的边缘设备上的重新连接，由于其大量参数和浮点操作（Flops），因此实际上是不可行的。因此，将网络修剪作为一种模型压缩的概念正在引起注意在低功率设备上加速CNN。结构化或非结构化的最先进的修剪方法都不认为卷积层表现出的复杂性的不同基本性质，并遵循训练放回训练的管道，从而导致其他计算开销。在这项工作中，我们通过利用CNN的固有层层级复杂性来提出一种新颖和计算高效的修剪管道。与典型的方法不同，我们提出的复杂性驱动算法根据其对整体网络复杂性的贡献选择了特定层用于滤波器。我们遵循一个直接训练修剪模型并避免计算复杂排名和微调步骤的过程。此外，我们定义了修剪的三种模式，即参数感知（PA），拖网（FA）和内存感知（MA），以引入CNN的多功能压缩。我们的结果表明，我们的方法在准确性和加速方面的竞争性能。最后，我们提出了不同资源和准确性之间的权衡取舍，这对于开发人员在资源受限的物联网环境中做出正确的决策可能会有所帮助。

正在投入大量努力，将最新的分类和认可到具有极端资源限制（内存，速度和缺乏GPU支持）的边缘设备。在这里，我们演示了第一个用于声学识别的深层网络，该网络小，灵活且适合压缩，但实现了原始音频分类的最新性能。我们没有手工制作一次性解决方案，而是提出了一条通用管道，该管道通过压缩和量化自动将大型深卷积网络转换为资源破裂的边缘设备的网络。在引入ACDNET（在ESC-10（96.65％），ESC-50（87.10％），Urbansound8K（84.45％）和AudioEvent（92.57％）上产生的ACDNET之后，我们描述了压缩管道和压缩管道和AudioEvent（92.57％）证明它使我们能够降低97.22％的尺寸和减少97.28％的失败，同时保持接近最先进的准确性96.25％，83.65％，78.27％和89.69％的掉落。我们描述了对标准现成的微控制器的成功实现，除了实验室基准测试之外，还报告了对现实世界数据集的成功测试。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

关键字斑点（kWs）是一个重要的功能，使我们的周围环境中许多无处不在的智能设备进行交互，可以通过唤醒词或直接作为人机界面激活它们。对于许多应用程序，KWS是我们与设备交互的进入点，因此，始终是ON工作负载。许多智能设备都是移动的，并且它们的电池寿命受到持续运行的服务受到严重影响。因此，KWS和类似的始终如一的服务是在优化整体功耗时重点。这项工作解决了低成本微控制器单元（MCU）的KWS节能。我们将模拟二元特征提取与二元神经网络相结合。通过用拟议的模拟前端取代数字预处理，我们表明数据采集和预处理所需的能量可以减少29倍，将其份额从主导的85％的份额削减到仅为我们的整体能源消耗的16％参考KWS应用程序。语音命令数据集的实验评估显示，所提出的系统分别优于最先进的准确性和能效，在10级数据集中分别在10级数据集上达到1％和4.3倍，同时提供令人信服的精度 - 能源折衷包括71倍能量减少2％的精度下降。

Deep neural networks have long training and processing times. Early exits added to neural networks allow the network to make early predictions using intermediate activations in the network in time-sensitive applications. However, early exits increase the training time of the neural networks. We introduce QuickNets: a novel cascaded training algorithm for faster training of neural networks. QuickNets are trained in a layer-wise manner such that each successive layer is only trained on samples that could not be correctly classified by the previous layers. We demonstrate that QuickNets can dynamically distribute learning and have a reduced training cost and inference cost compared to standard Backpropagation. Additionally, we introduce commitment layers that significantly improve the early exits by identifying for over-confident predictions and demonstrate its success.

多EXIT体系结构由骨干和分支分类器组成，这些分类器提供缩短的推理途径，以减少深神经网络的运行时间。在本文中，我们分析了不同分支模式在分支分类器的计算复杂性分配方面有所不同。恒定复杂性分支使所有分支保持相同，同时复杂性增强和复杂性降低分支位置分别在骨架后期或更早的骨架上更复杂的分支。通过对多个骨干和数据集进行广泛的实验，我们发现复杂性削弱分支比恒定复杂性或复杂性增长分支更有效，这实现了最佳的准确性成本折衷。我们通过使用知识一致性来研究原因，以探测将分支添加到主链上的效果。我们的发现表明，复杂性降低的分支对骨干的特征抽象层次结构产生最小的破坏，这解释了分支模式的有效性。

机器学习的进步为低端互联网节点（例如微控制器）带来了新的机会，将情报带入了情报。传统的机器学习部署具有较高的记忆力，并计算足迹阻碍了其在超资源约束的微控制器上的直接部署。本文强调了为MicroController类设备启用机载机器学习的独特要求。研究人员为资源有限的应用程序使用专门的模型开发工作流程，以确保计算和延迟预算在设备限制之内，同时仍保持所需的性能。我们表征了微控制器类设备的机器学习模型开发的广泛适用的闭环工作流程，并表明几类应用程序采用了它的特定实例。我们通过展示多种用例，将定性和数值见解介绍到模型开发的不同阶段。最后，我们确定了开放的研究挑战和未解决的问题，要求仔细考虑前进。

基于惯性数据的人类活动识别（HAR）是从智能手机到超低功率传感器的嵌入式设备上越来越扩散的任务。由于深度学习模型的计算复杂性很高，因此大多数嵌入式HAR系统基于简单且不那么精确的经典机器学习算法。这项工作弥合了在设备上的HAR和深度学习之间的差距，提出了一组有效的一维卷积神经网络（CNN），可在通用微控制器（MCUS）上部署。我们的CNN获得了将超参数优化与子字节和混合精确量化的结合，以在分类结果和记忆职业之间找到良好的权衡。此外，我们还利用自适应推断作为正交优化，以根据处理后的输入来调整运行时的推理复杂性，从而产生更灵活的HAR系统。通过在四个数据集上进行实验，并针对超低功率RISC-V MCU，我们表明（i）我们能够为HAR获得一组丰富的帕累托（Pareto）最佳CNN，以范围超过1个数量级记忆，潜伏期和能耗； （ii）由于自适应推断，我们可以从单个CNN开始得出> 20个运行时操作模式，分类分数的不同程度高达10％，并且推理复杂性超过3倍，并且内存开销有限； （iii）在四个基准中的三个基准中，我们的表现都超过了所有以前的深度学习方法，将记忆占用率降低了100倍以上。获得更好性能（浅层和深度）的少数方法与MCU部署不兼容。 （iv）我们所有的CNN都与推理延迟<16ms的实时式evice Har兼容。他们的记忆职业在0.05-23.17 kb中有所不同，其能源消耗为0.005和61.59 UJ，可在较小的电池供应中进行多年的连续操作。

深度神经网络（DNN）已成为移动和嵌入式系统中的普遍存在的技术，用于图像/对象识别和分类。执行多个DNN的趋势同时加剧了资源受限移动设备上满足严格延迟/准确性要求的现有限制。现有技术通过根据资源动态缩放模型大小来探索精度资源权衡的光。然而，这种模型缩放方法接近迫在眉睫的挑战：（i）模型尺寸的大空间探索，（ii）对不同模型组合的培训时间非常长。在本文中，我们介绍了Legodnn，一种用于在移动视觉系统中运行多DNN工作负载的轻质块粒度缩放解决方案。 Legodnn仅通过在DNN中提取和培训少数常见块（例如，在VGG和RENET中的VGG和8中的8中）来保证短模型培训时间。在运行时，Legodnn最佳地结合了这些块的后代模型，以最大限度地在特定资源和延迟约束下最大限度地提高精度，同时通过DNN的智能块级缩放来降低切换开销。我们在Tensorflow Lite中实现Legodnn，并通过一组普遍的DNN模型，广泛地评估了最先进的技术（浮标缩放，知识蒸馏和模型压缩）。评估结果表明，乐高达在模型尺寸下提供了1,296倍至279,936倍，而在不增加训练时间的情况下，推断准确性的提高高达31.74％，降低缩放能耗减少了71.07％。

人类活动识别（HAR）是健康监测的关键应用之一，需要连续使用可穿戴设备来跟踪日常活动。本文提出了一种适用于适用于低功率边缘装置的节能HAR（AHAR）的自适应CNN。与传统的早期退出架构不同，这是基于分类信心的出口决策，AHAR提出了一种新的自适应架构，其使用输出块预测器选择在推理阶段期间使用的基线架构的一部分。实验结果表明，传统的早期退出架构遭受性能损失，而我们的自适应架构提供类似或更好的性能作为基线，同时节能。我们验证了从两个数据集合机会和W-Har分类机置活动的方法。与机会数据集的雾/云计算方法相比，我们的基线和自适应架构分别显示了相当的加权F1得分为91.79％，分别为91.57％。对于W-HAR数据集，我们的基线和自适应架构分别优于最先进的工程，其加权F1分别为97.55％和97.64％。与机会数据集的作品相比，真实硬件对真实硬件的评估表明，我们的基线架构是显着的节能（少422.38倍）和记忆效率（14.29倍）。对于W-Har DataSet，与最先进的工作相比，我们的基线架构需要2.04倍的能量和2.18倍的内存。此外，实验结果表明，我们的自适应架构是12.32％（机会）和11.14％（W-HAR）的节能，而不是我们的基线，同时提供类似的（机会）或更好的（W-HAR）性能，没有显着的记忆开销。