当有几个有限的电力设备可用时，凭借这些资源的利润最有效的方式之一，同时降低处理延迟和通信负载，是在并行运行几个神经子网络中，并在处理结束时融合结果。然而，这种子网的组合必须专门用于设备的每个特定配置（以设备的数量及其容量为特征），其可以在不同的模型部署中变化，并且甚至在同一部署内。在这项工作中，我们介绍了平行的可分配可泥浆（Paradis）神经网络，其在不再培训的情况下在各种设备配置中并行地打开。虽然受泥块网络的启发，但允许即时自适应在仅一个设备上对资源，但是Paradis网络由多个多设备可分配配置或开关组成，强烈共享它们之间的参数。我们在MobileNet V1和Reset-50架构上评估MobileNet V1和Reset-50架构的Paradis框架，用于图像超分辨率任务的WDSR架构。我们表明，Paradis交换机比单个模型实现相似或更好的准确性，即单独培训的相同结构的分布式模型。此外，我们表明，与不可分割的普遍可泥土网络相比，可分配的Paradis交换机的准确性在最糟糕的情况下，只能在最多1％的情况下全部或下降1％。最后，一旦分布在几个设备上，Paradis优于较大的碎片模型。

Slimmable networks [25] are a family of neural networks that can instantly adjust the runtime width. The width can be chosen from a predefined widths set to adaptively optimize accuracy-efficiency trade-offs at runtime. In this work, we propose a systematic approach to train universally slimmable networks (US-Nets), extending slimmable networks to execute at arbitrary width, and generalizing to networks both with and without batch normalization layers. We further propose two improved training techniques for US-Nets, named the sandwich rule and inplace distillation, to enhance training process and boost testing accuracy. We show improved performance of universally slimmable Mo-bileNet v1 and MobileNet v2 on ImageNet classification task, compared with individually trained ones and 4-switch slimmable network baselines. We also evaluate the proposed US-Nets and improved training techniques on tasks of image super-resolution and deep reinforcement learning. Extensive ablation experiments on these representative tasks demonstrate the effectiveness of our proposed methods. Our discovery opens up the possibility to directly evaluate FLOPs-Accuracy spectrum of network architectures. Code and models are available at: https://github. com/JiahuiYu/slimmable_networks.

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.

联邦学习（FL）一直在不同的ML任务中获得显着的牵引力，从视野到键盘预测。在大规模的部署中，客户异质性是一个事实，并构成公平，培训性能和准确性的主要问题。虽然已经进行了统计数据异质性的重大努力，但是作为系统异质性称为客户端的处理能力和网络带宽的多样性仍然很大程度上是未开发的。当前解决方案无论是忽略大部分可用的设备，也无限制地设定均匀限制，由最低能力的参与者限制。在这项工作中，我们介绍了有序的辍学，这是一种机制，实现了深度神经网络（DNN）中的有序，嵌套的知识表示，并且能够在不需要再培训的情况下提取较低的脚印子模型。我们进一步表明，对于线性地图，我们的订购辍学等同于SVD。我们采用这种技术，以及一种自蒸馏方法，在一个叫做峡湾的框架中。 Fjord通过将模型宽度定制到客户端的功能来减轻客户体系异质性的问题。在各种方式上对CNN和RNN的广泛评估表明，峡湾始终如一地导致最先进的基线的显着性能，同时保持其嵌套结构。

State-of-the-art performance for many emerging edge applications is achieved by deep neural networks (DNNs). Often, these DNNs are location and time sensitive, and the parameters of a specific DNN must be delivered from an edge server to the edge device rapidly and efficiently to carry out time-sensitive inference tasks. In this paper, we introduce AirNet, a novel training and transmission method that allows efficient wireless delivery of DNNs under stringent transmit power and latency constraints. We first train the DNN with noise injection to counter the wireless channel noise. Then we employ pruning to reduce the network size to the available channel bandwidth, and perform knowledge distillation from a larger model to achieve satisfactory performance, despite pruning. We show that AirNet achieves significantly higher test accuracy compared to digital alternatives under the same bandwidth and power constraints. The accuracy of the network at the receiver also exhibits graceful degradation with channel quality, which reduces the requirement for accurate channel estimation. We further improve the performance of AirNet by pruning the network below the available bandwidth, and using channel expansion to provide better robustness against channel noise. We also benefit from unequal error protection (UEP) by selectively expanding more important layers of the network. Finally, we develop an ensemble training approach, which trains a whole spectrum of DNNs, each of which can be used at different channel condition, resolving the impractical memory requirements.

尽管关键任务应用需要使用深神经网络（DNN），但它们在移动设备的连续执行导致能耗的显着增加。虽然边缘卸载可以降低能量消耗，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致系统的关键操作严重中断。一种被称为分割计算的替代方法，在模型中生成压缩表示（称为“瓶颈”），以降低带宽使用和能量消耗。事先工作已经提出了引入额外层的方法，以损害能耗和潜伏期。因此，我们提出了一个名为BoleFit的新框架，除了有针对性的DNN架构修改之外，还包括一种新颖的培训策略，即使具有强大的压缩速率，即使具有强大的压缩速率也能实现高精度。我们在图像分类中施加瓶装装饰品，并显示瓶装装备在想象中数据集中实现了77.1％的数据压缩，高达0.6％的精度损耗，而诸如Spinn的最佳精度高达6％。我们通过实验测量在NVIDIA Jetson Nano板（基于GPU）和覆盆子PI板上运行的图像分类应用的功耗和等待时间（GPU - 更低）。我们表明，对于（W.R.T.）本地计算分别降低了高达49％和89％的功耗和延迟，局部计算和37％和55％W.r.t.t.边缘卸载。我们还比较了具有基于最先进的自动化器的方法的瓶装方法，并显示了（i）瓶子分别将功耗和执行时间降低了高达54％和44％，覆盆子上的40％和62％ pi; （ii）在移动设备上执行的头部模型的大小为83倍。代码存储库将被公布以获得结果的完全可重复性。

大多数现有的深神经网络都是静态的，这意味着它们只能以固定的复杂性推断。但资源预算可以大幅度不同。即使在一个设备上，实惠预算也可以用不同的场景改变，并且对每个所需预算的反复培训网络是非常昂贵的。因此，在这项工作中，我们提出了一种称为Mutualnet的一般方法，以训练可以以各种资源约束运行的单个网络。我们的方法列举了具有各种网络宽度和输入分辨率的模型配置队列。这种相互学习方案不仅允许模型以不同的宽度分辨率配置运行，而且还可以在这些配置之间传输独特的知识，帮助模型来学习更强大的表示。 Mutualnet是一般的培训方法，可以应用于各种网络结构（例如，2D网络：MobileNets，Reset，3D网络：速度，X3D）和各种任务（例如，图像分类，对象检测，分段和动作识别），并证明了实现各种数据集的一致性改进。由于我们只培训了这一模型，它对独立培训多种型号而言，它也大大降低了培训成本。令人惊讶的是，如果动态资源约束不是一个问题，则可以使用Mutualnet来显着提高单个网络的性能。总之，Mutualnet是静态和自适应，2D和3D网络的统一方法。代码和预先训练的模型可用于\ url {https://github.com/tayang1122/mutualnet}。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

诸如智能手机和自治车辆的移动设备越来越依赖深神经网络（DNN）来执行复杂的推理任务，例如图像分类和语音识别等。但是，在移动设备上连续执行整个DNN可以快速消耗其电池。虽然任务卸载到云/边缘服务器可能会降低移动设备的计算负担，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致任务执行的显着延迟。最近，已经提出了基于分割计算（SC）的方法，其中DNN被分成在移动设备上和边缘服务器上执行的头部和尾模型。最终，这可能会降低带宽使用以及能量消耗。另一种叫做早期退出（EE）的方法，列车模型在架构中呈现多个“退出”，每个都提供越来越高的目标准确性。因此，可以根据当前条件或应用需求进行准确性和延迟之间的权衡。在本文中，我们通过呈现最相关方法的比较，对SC和EE策略进行全面的综合调查。我们通过提供一系列引人注目的研究挑战来结束论文。

Slimmable Neural Networks (S-Net) is a novel network which enabled to select one of the predefined proportions of channels (sub-network) dynamically depending on the current computational resource availability. The accuracy of each sub-network on S-Net, however, is inferior to that of individually trained networks of the same size due to its difficulty of simultaneous optimization on different sub-networks. In this paper, we propose Slimmable Pruned Neural Networks (SP-Net), which has sub-network structures learned by pruning instead of adopting structures with the same proportion of channels in each layer (width multiplier) like S-Net, and we also propose new pruning procedures: multi-base pruning instead of one-shot or iterative pruning to realize high accuracy and huge training time saving. We also introduced slimmable channel sorting (scs) to achieve calculation as fast as S-Net and zero padding match (zpm) pruning to prune residual structure in more efficient way. SP-Net can be combined with any kind of channel pruning methods and does not require any complicated processing or time-consuming architecture search like NAS models. Compared with each sub-network of the same FLOPs on S-Net, SP-Net improves accuracy by 1.2-1.5% for ResNet-50, 0.9-4.4% for VGGNet, 1.3-2.7% for MobileNetV1, 1.4-3.1% for MobileNetV2 on ImageNet. Furthermore, our methods outperform other SOTA pruning methods and are on par with various NAS models according to our experimental results on ImageNet. The code is available at https://github.com/hideakikuratsu/SP-Net.

Many applications require sparse neural networks due to space or inference time restrictions. There is a large body of work on training dense networks to yield sparse networks for inference, but this limits the size of the largest trainable sparse model to that of the largest trainable dense model. In this paper we introduce a method to train sparse neural networks with a fixed parameter count and a fixed computational cost throughout training, without sacrificing accuracy relative to existing dense-tosparse training methods. Our method updates the topology of the sparse network during training by using parameter magnitudes and infrequent gradient calculations. We show that this approach requires fewer floating-point operations (FLOPs) to achieve a given level of accuracy compared to prior techniques. We demonstrate state-of-the-art sparse training results on a variety of networks and datasets, including ResNet-50, MobileNets on Imagenet-2012, and RNNs on WikiText-103. Finally, we provide some insights into why allowing the topology to change during the optimization can overcome local minima encountered when the topology remains static * .

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。

Despite the fact that deep neural networks are powerful models and achieve appealing results on many tasks, they are too large to be deployed on edge devices like smartphones or embedded sensor nodes. There have been efforts to compress these networks, and a popular method is knowledge distillation, where a large (teacher) pre-trained network is used to train a smaller (student) network. However, in this paper, we show that the student network performance degrades when the gap between student and teacher is large. Given a fixed student network, one cannot employ an arbitrarily large teacher, or in other words, a teacher can effectively transfer its knowledge to students up to a certain size, not smaller. To alleviate this shortcoming, we introduce multi-step knowledge distillation, which employs an intermediate-sized network (teacher assistant) to bridge the gap between the student and the teacher. Moreover, we study the effect of teacher assistant size and extend the framework to multi-step distillation. Theoretical analysis and extensive experiments on CIFAR-10,100 and ImageNet datasets and on CNN and ResNet architectures substantiate the effectiveness of our proposed approach.

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

深度卷积神经网络（CNNS）通常是复杂的设计，具有许多可学习的参数，用于准确性原因。为了缓解在移动设备上部署它们的昂贵成本，最近的作品使挖掘预定识别架构中的冗余作出了巨大努力。然而，尚未完全研究现代CNN的输入分辨率的冗余，即输入图像的分辨率是固定的。在本文中，我们观察到，用于准确预测给定图像的最小分辨率使用相同的神经网络是不同的。为此，我们提出了一种新颖的动态分辨率网络（DRNET），其中基于每个输入样本动态地确定输入分辨率。其中，利用所需网络共同地探索具有可忽略的计算成本的分辨率预测器。具体地，预测器学习可以保留的最小分辨率，并且甚至超过每个图像的原始识别准确性。在推断过程中，每个输入图像将被调整为其预测的分辨率，以最小化整体计算负担。然后，我们对几个基准网络和数据集进行了广泛的实验。结果表明，我们的DRNET可以嵌入到任何现成的网络架构中，以获得计算复杂性的相当大降低。例如，DR-RESET-50实现了类似的性能，计算减少约34％，同时增加了1.4％的准确度，与原始Resnet-50上的计算减少相比，在ImageNet上的原始resnet-50增加了10％。

我们提出了一种多移民通道（MGIC）方法，该方法可以解决参数数量相对于标准卷积神经网络（CNN）中的通道数的二次增长。因此，我们的方法解决了CNN中的冗余，这也被轻量级CNN的成功所揭示。轻巧的CNN可以达到与参数较少的标准CNN的可比精度。但是，权重的数量仍然随CNN的宽度四倍地缩放。我们的MGIC体系结构用MGIC对应物代替了每个CNN块，该块利用了小组大小的嵌套分组卷积的层次结构来解决此问题。因此，我们提出的架构相对于网络的宽度线性扩展，同时保留了通道的完整耦合，如标准CNN中。我们对图像分类，分割和点云分类进行的广泛实验表明，将此策略应用于Resnet和MobilenetV3等不同体系结构，可以减少参数的数量，同时获得相似或更好的准确性。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

尽管深度神经网络模型在各种应用程序中表现出出色的性能，但它们的较大模型大小和广泛的浮点操作使移动计算平台上的部署成为主要挑战，尤其是在物联网设备上。一种吸引人的解决方案是模型量化，可降低模型大小并使用微控制器通常支持的整数操作。为此，1位量化的DNN模型或深二进制神经网络可最大化存储效率，其中BNN模型中的每个参数仅具有1位。在本文中，我们提出了一个可重构的BNN（RBNN），以进一步扩大资源约束的物联网设备的内存效率。通常，可以根据需要重新配置RBNN，以实现具有相同参数集的M（m> 1）不同的任务，因此只有一个任务决定了内存要求。换句话说，通过时间M改善了内存利用率。我们的广泛实验证实了多达七个常用的任务可以共存（M的值更大）。这些具有不同类别的任务在三个二氧化流行的DNN体系结构（包括VGG，Resnet和ReactNet）上没有准确性或微不足道的准确性下降。这些任务跨越了不同域，例如本文验证的计算机视觉和音频域，并以模型体系结构可以服务于这些跨域任务的先决条件。为了保护RBNN模型的知识属性，可以通过用户密钥和由固有硬件指纹生成的设备唯一的根键来控制重新配置。通过这样做，RBNN模型只能使用每个授权设备的每个付费用户使用，从而使用户和模型提供商受益。