During the deployment of deep neural networks (DNNs) on edge devices, many research efforts are devoted to the limited hardware resource. However, little attention is paid to the influence of dynamic power management. As edge devices typically only have a budget of energy with batteries (rather than almost unlimited energy support on servers or workstations), their dynamic power management often changes the execution frequency as in the widely-used dynamic voltage and frequency scaling (DVFS) technique. This leads to highly unstable inference speed performance, especially for computation-intensive DNN models, which can harm user experience and waste hardware resources. We firstly identify this problem and then propose All-in-One, a highly representative pruning framework to work with dynamic power management using DVFS. The framework can use only one set of model weights and soft masks (together with other auxiliary parameters of negligible storage) to represent multiple models of various pruning ratios. By re-configuring the model to the corresponding pruning ratio for a specific execution frequency (and voltage), we are able to achieve stable inference speed, i.e., keeping the difference in speed performance under various execution frequencies as small as possible. Our experiments demonstrate that our method not only achieves high accuracy for multiple models of different pruning ratios, but also reduces their variance of inference latency for various frequencies, with minimal memory consumption of only one model and one soft mask.

重量修剪是一种有效的模型压缩技术，可以解决在移动设备上实现实时深神经网络（DNN）推断的挑战。然而，由于精度劣化，难以利用硬件加速度，以及某些类型的DNN层的限制，难以降低的应用方案具有有限的应用方案。在本文中，我们提出了一般的细粒度的结构化修剪方案和相应的编译器优化，适用于任何类型的DNN层，同时实现高精度和硬件推理性能。随着使用我们的编译器优化所支持的不同层的灵活性，我们进一步探讨了确定最佳修剪方案的新问题，了解各种修剪方案的不同加速度和精度性能。两个修剪方案映射方法，一个是基于搜索，另一个是基于规则的，建议自动推导出任何给定DNN的每层的最佳修剪规则和块大小。实验结果表明，我们的修剪方案映射方法，以及一般细粒化结构修剪方案，优于最先进的DNN优化框架，最高可达2.48 $ \ times $和1.73 $ \ times $ DNN推理加速在CiFar-10和Imagenet DataSet上没有准确性损失。

基于深度学习的超分辨率（SR）近年来由于其高图像质量性能和广泛的应用方案而获得了极大的知名度。但是，先前的方法通常会遭受大量计算和巨大的功耗，这会导致实时推断的困难，尤其是在资源有限的平台（例如移动设备）上。为了减轻这种情况，我们建议使用自适应SR块进行深度搜索和每层宽度搜索，以进行深度搜索和每层宽度搜索。推理速度与SR损失一起直接将其带入具有高图像质量的SR模型，同​​时满足实时推理需求。借用了与编译器优化的速度模型在搜索过程中每次迭代中的移动设备上的速度，以预测具有各种宽度配置的SR块的推理潜伏期，以更快地收敛。通过提出的框架，我们在移动平台的GPU/DSP上实现了实时SR推断，以实现具有竞争性SR性能的720p分辨率（三星Galaxy S21）。

对将AI功能从云上的数据中心转移到边缘或最终设备的需求越来越大，这是由在智能手机，AR/VR设备，自动驾驶汽车和各种汽车上运行的快速实时AI的应用程序举例说明的。物联网设备。然而，由于DNN计算需求与边缘或最终设备上的计算能力之间的较大增长差距，这种转变受到了严重的阻碍。本文介绍了XGEN的设计，这是DNN的优化框架，旨在弥合差距。 XGEN将横切共同设计作为其一阶考虑。它的全栈AI面向AI的优化包括在DNN软件堆栈的各个层的许多创新优化，所有这些优化都以合作的方式设计。独特的技术使XGEN能够优化各种DNN，包括具有极高深度的DNN（例如Bert，GPT，其他变形金刚），并生成代码比现有DNN框架中的代码快几倍，同时提供相同的准确性水平。

物联网设备越来越多地通过神经网络模型实施，以启用智能应用程序。从环境环境中收集能源的能源收集（EH）技术是电池可为这些设备供电的有前途的替代方法，因为维护成本较低和能源的广泛可用性。但是，能量收割机提供的功率很低，并且具有不稳定性的固有缺点，因为它随环境环境而变化。本文提出了EVE，EVE是一种自动化机器学习（AUTOML）共同探索框架，以搜索具有共享权重的所需的多模型，以进行能源收集的物联网设备。这些共享模型显着降低了记忆足迹，具有不同级别的模型稀疏性，延迟和准确性，以适应环境变化。进一步开发了有效的实施实施体系结构，以有效地执行设备上的每个模型。提出了一种运行时模型提取算法，该算法在触发特定模型模式时以可忽略的开销检索单个模型。实验结果表明，EVE生成的神经网络模型平均比没有修剪和共享的基线模型快2.5倍倍权重。

边缘设备上有限且动态的资源激励我们部署优化的深神经网络，该网络可以调整其子网络以适应不同的资源约束。但是，现有作品通常通过在手工制作的采样空间中搜索不同的网络体系结构来构建子网络，这不仅可以导致低标准的性能，而且可能导致设备上的重新配置开销。在本文中，我们提出了一种新颖的培训算法，动态的实时稀疏子网（着装）。着装通过基于行的非结构化稀疏度从相同的骨干网络采样多个子网络，并与加权损失并联训练这些子网络。着装还利用包括参数重复使用和基于行的细粒抽样在内的策略，以进行有效的存储消耗和有效的机上适应。公共视觉数据集的广泛实验表明，与最先进的子网络相比，着装的准确性明显更高。

The deployment of deep convolutional neural networks (CNNs) in many real world applications is largely hindered by their high computational cost. In this paper, we propose a novel learning scheme for CNNs to simultaneously 1) reduce the model size; 2) decrease the run-time memory footprint; and 3) lower the number of computing operations, without compromising accuracy. This is achieved by enforcing channel-level sparsity in the network in a simple but effective way. Different from many existing approaches, the proposed method directly applies to modern CNN architectures, introduces minimum overhead to the training process, and requires no special software/hardware accelerators for the resulting models. We call our approach network slimming, which takes wide and large networks as input models, but during training insignificant channels are automatically identified and pruned afterwards, yielding thin and compact models with comparable accuracy. We empirically demonstrate the effectiveness of our approach with several state-of-the-art CNN models, including VGGNet, ResNet and DenseNet, on various image classification datasets. For VGGNet, a multi-pass version of network slimming gives a 20× reduction in model size and a 5× reduction in computing operations.

虽然网络稀疏作为克服神经网络大小的有希望的方向，但它仍然是保持模型准确性的开放问题，并在一般CPU上实现了显着的加速。在本文中，我们提出了一篇新颖的1美元\ Times N $块稀疏模式（块修剪）的概念来打破这种限制。特别是，具有相同输入通道索引的连续$ N $输出内核被分组为一个块，该块用作我们修剪模式的基本修剪粒度。我们的$ 1 \ times n $ sparsity模式prunes这些块被认为不重要。我们还提供过滤器重新排列的工作流程，首先重新排列输出通道尺寸中的权重矩阵，以获得更具影响力的块，以便精度改进，然后将类似的重新排列到输入通道维度中的下一层权重，以确保正确的卷积操作。此外，可以通过并行化块 - 方向的矢量化操作实现在我们的$ 1 \ Times N $块稀疏之后的输出计算，从而导致总基于CPU的平台上的显着加速。通过对ILSVRC-2012的实验证明了我们修剪模式的功效。例如，在50％的稀疏性和$ n = 4 $的情况下，我们的模式在MobileNet-V2的前1个精度的过滤器修剪中获得了大约3.0％的改进。同时，它在Cortex-A7 CPU上获得56.04ms推断，超过体重修剪。代码可在https://github.com/lmbxmu/1xn处获得。

深度神经网络（DNN）的记录断裂性能具有沉重的参数化，导致外部动态随机存取存储器（DRAM）进行存储。 DRAM访问的禁用能量使得在资源受限的设备上部署DNN是不普遍的，呼叫最小化重量和数据移动以提高能量效率。我们呈现SmartDeal（SD），算法框架，以进行更高成本的存储器存储/访问的较低成本计算，以便在推理和培训中积极提高存储和能量效率。 SD的核心是一种具有结构约束的新型重量分解，精心制作以释放硬件效率潜力。具体地，我们将每个重量张量分解为小基矩阵的乘积以及大的结构稀疏系数矩阵，其非零被量化为-2的功率。由此产生的稀疏和量化的DNN致力于为数据移动和重量存储而大大降低的能量，因为由于稀疏的比特 - 操作和成本良好的计算，恢复原始权重的最小开销。除了推理之外，我们采取了另一次飞跃来拥抱节能培训，引入创新技术，以解决培训时出现的独特障碍，同时保留SD结构。我们还设计专用硬件加速器，充分利用SD结构来提高实际能源效率和延迟。我们在不同的设置中对多个任务，模型和数据集进行实验。结果表明：1）应用于推理，SD可实现高达2.44倍的能效，通过实际硬件实现评估; 2）应用于培训，储存能量降低10.56倍，减少了10.56倍和4.48倍，与最先进的训练基线相比，可忽略的准确性损失。我们的源代码在线提供。

在深度学习中，变压器一直是必不可少的主食。但是，对于现实生活中的应用程序，由于模型的巨大参数和操作，部署有效的变压器非常具有挑战性。为了减轻这种负担，利用稀疏是加速变压器的有效方法。新出现的Ampere GPU利用2：4的稀疏模式来实现模型加速度，而在部署模型时，它几乎无法满足各种算法和硬件约束。相比之下，我们提出了一个算法 - 铁软件合作的框架，以灵活有效地加速变压器，通过使用一般的N：M稀疏模式。 （1）从算法的角度来看，我们提出了一种稀疏性遗传机制以及一种遗传的动态修剪（IDP）方法，以迅速获得一系列N：M稀疏候选变压器。进一步提出了模型压缩方案，以显着减少部署的存储需求。 （2）从硬件的角度来看，我们提出了一种灵活，有效的硬件体系结构，即STA，以在部署N：M稀疏变压器时达到显着加速。 STA不仅具有具有较高计算效率的稀疏密度和致密矩阵乘法的计算引擎，而且还具有可扩展的软模块，从而消除了中级外芯片外数据通信的延迟。实验结果表明，与其他使用IDP生成的其他方法相比，n：m稀疏变压器的准确性平均提高了6.7％。此外，与Intel I9-9900X和NVIDIA RTX 2080 TI相比，STA可以达到14.47倍和11.33倍的速度，并且比最先进的基于FPGA的加速器对变形金刚的最先进的推断速度可以快2.00-19.47倍。

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

嵌入式和个人物联网设备由微控制器单元（MCU）供电，其极端资源稀缺是依赖于设备的深度学习推断的应用的主要障碍。与通常需要执行神经网络的内容相比，存储器，内存和计算能力较少的秩序，对网络架构上的严格结构约束并呼叫专业模型压缩方法。在这项工作中，我们为卷积神经网络提出了可分散的结构化网络修剪方法，它集成了模型的MCU特定的资源使用和参数重要性反馈，以获得高度压缩但准确的分类模型。我们的方法（a）提高了高达80倍的模型的关键资源使用; （b）在培训型号的同时迭代地修剪，导致没有开销甚至改善培训时间; （c）与现有MCU的特定方法相比，在比较多的时间内生产具有匹配或改进的资源使用的压缩模型。压缩模型可供下载。

Structured channel pruning has been shown to significantly accelerate inference time for convolution neural networks (CNNs) on modern hardware, with a relatively minor loss of network accuracy. Recent works permanently zero these channels during training, which we observe to significantly hamper final accuracy, particularly as the fraction of the network being pruned increases. We propose Soft Masking for cost-constrained Channel Pruning (SMCP) to allow pruned channels to adaptively return to the network while simultaneously pruning towards a target cost constraint. By adding a soft mask re-parameterization of the weights and channel pruning from the perspective of removing input channels, we allow gradient updates to previously pruned channels and the opportunity for the channels to later return to the network. We then formulate input channel pruning as a global resource allocation problem. Our method outperforms prior works on both the ImageNet classification and PASCAL VOC detection datasets.

深度神经网络（DNN）已成为移动和嵌入式系统中的普遍存在的技术，用于图像/对象识别和分类。执行多个DNN的趋势同时加剧了资源受限移动设备上满足严格延迟/准确性要求的现有限制。现有技术通过根据资源动态缩放模型大小来探索精度资源权衡的光。然而，这种模型缩放方法接近迫在眉睫的挑战：（i）模型尺寸的大空间探索，（ii）对不同模型组合的培训时间非常长。在本文中，我们介绍了Legodnn，一种用于在移动视觉系统中运行多DNN工作负载的轻质块粒度缩放解决方案。 Legodnn仅通过在DNN中提取和培训少数常见块（例如，在VGG和RENET中的VGG和8中的8中）来保证短模型培训时间。在运行时，Legodnn最佳地结合了这些块的后代模型，以最大限度地在特定资源和延迟约束下最大限度地提高精度，同时通过DNN的智能块级缩放来降低切换开销。我们在Tensorflow Lite中实现Legodnn，并通过一组普遍的DNN模型，广泛地评估了最先进的技术（浮标缩放，知识蒸馏和模型压缩）。评估结果表明，乐高达在模型尺寸下提供了1,296倍至279,936倍，而在不增加训练时间的情况下，推断准确性的提高高达31.74％，降低缩放能耗减少了71.07％。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

深度神经网络（DNN）已显示在许多现实生活中提供极好的性能，但它们的大量计算成本和存储要求已阻止它们部署到许多边缘和内部内容（IOT）设备。稀疏的深神经网络，其大多数重量参数是零，可以大大降低模型的计算复杂性和存储器消耗。在实际使用场景中，设备可能遭受不同环境下的可用计算和存储器资源的大波动，并且由于具有大延迟的长尾延长而难以维持服务质量（QoS）。面对现实生活挑战，我们建议培训支持多个稀疏水平的稀疏模型。也就是说，满足权重的分层结构，使得较少稀疏子模型的较少稀疏子模型区域子集的位置和非零参数的位置。以这种方式，可以在推理期间动态地选择适当的稀疏度水平，而存储成本被最小稀疏子模型覆盖。我们已经在各种DNN模型和任务中验证了我们的方法，包括Reset-50，PointNet ++，GNMT和图表注意网络。我们获得稀疏的子模型，平均重量为13.38％，拖鞋14.97％，而准确性也与他们的密集对应物一样好。具有5.38％权重和4.47％的更稀疏的子模型，跨越少量稀疏的跨，只能获得3.25％的相对精度损耗。

在物联网（IoT）支持的网络边缘（IOT）上的人工智能（AI）的最新进展已通过启用低延期性和计算效率来实现多种应用程序（例如智能农业，智能医院和智能工厂）的优势情报。但是，部署最先进的卷积神经网络（CNN），例如VGG-16和在资源约束的边缘设备上的重新连接，由于其大量参数和浮点操作（Flops），因此实际上是不可行的。因此，将网络修剪作为一种模型压缩的概念正在引起注意在低功率设备上加速CNN。结构化或非结构化的最先进的修剪方法都不认为卷积层表现出的复杂性的不同基本性质，并遵循训练放回训练的管道，从而导致其他计算开销。在这项工作中，我们通过利用CNN的固有层层级复杂性来提出一种新颖和计算高效的修剪管道。与典型的方法不同，我们提出的复杂性驱动算法根据其对整体网络复杂性的贡献选择了特定层用于滤波器。我们遵循一个直接训练修剪模型并避免计算复杂排名和微调步骤的过程。此外，我们定义了修剪的三种模式，即参数感知（PA），拖网（FA）和内存感知（MA），以引入CNN的多功能压缩。我们的结果表明，我们的方法在准确性和加速方面的竞争性能。最后，我们提出了不同资源和准确性之间的权衡取舍，这对于开发人员在资源受限的物联网环境中做出正确的决策可能会有所帮助。

稀疏培训是一种自然的想法，可以加速深度神经网络的训练速度，并节省内存使用，特别是因为大型现代神经网络被显着过度参数化。然而，大多数现有方法在实践中无法实现这一目标，因为先前方法采用的基于链规则的梯度（W.R.T.结构参数）估计。至少在向后传播步骤中至少需要密集的计算。本文通过提出具有完全稀疏的前后通行证的有效稀疏训练方法来解决这个问题。我们首先在全球稀疏限制下将培训过程制定为连续最小化问题。然后，我们将优化过程分为两个步骤，对应于权重更新和结构参数更新。对于前一步，我们使用传统的链规则，这可以通过利用稀疏结构来稀疏。对于后一步，而不是使用基于链规则的梯度估计器，如现有方法中，我们提出了一个方差减少的策略梯度估计器，这只需要两个向前通过而不向后传播，从而实现完全稀疏的训练。我们证明了我们渐变估计器的差异是界定的。对现实世界数据集的广泛实验结果表明，与以前的方法相比，我们的算法在加速训练过程中更有效，速度快到速度更快。

彩票票证假设（LTH）表明，密集的模型包含高度稀疏的子网（即获奖门票），可以隔离培训以完全准确。尽管做出了许多激动人心的努力，但仍有一个“常识”很少受到挑战：通过迭代级修剪（IMP）发现了一张获胜的票，因此由此产生的修剪子网仅具有非结构化的稀疏性。这一差距限制了在实践中赢得门票的吸引力，因为高度不规则的稀疏模式在硬件上加速的挑战是挑战性的。同时，直接将结构化修剪替换为非结构化的修剪，以更严重地损害绩效，并且通常无法找到获胜的票。在本文中，我们证明了第一个积极的结果是，总体上可以有效地找到结构上稀疏的获胜票。核心思想是在每一轮（非结构化）IMP之后附加“后处理技术”，以实施结构稀疏的形成。具体而言，我们首先在某些被认为很重要的通道中“重新填充”修剪元素，然后“重新组”非零元素以创建灵活的群体结构模式。我们确定的渠道和团体结构子网都赢得了彩票，并以现有硬件很容易支持的大量推理加速。广泛的实验，在多个网络骨架的不同数据集上进行，一致验证了我们的建议，表明LTH的硬件加速障碍现在已被删除。具体而言，结构上的获胜票最多可获得{64.93％，64.84％，60.23％}的运行时间节省，以{36％〜80％，74％，58％}的稀疏性在{Cifar，cifar，tiny-imageNet，imageNet}上保持可比较的精度。代码在https://github.com/vita-group/structure-lth上。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。