深度卷积神经网络（CNNS）通常是复杂的设计，具有许多可学习的参数，用于准确性原因。为了缓解在移动设备上部署它们的昂贵成本，最近的作品使挖掘预定识别架构中的冗余作出了巨大努力。然而，尚未完全研究现代CNN的输入分辨率的冗余，即输入图像的分辨率是固定的。在本文中，我们观察到，用于准确预测给定图像的最小分辨率使用相同的神经网络是不同的。为此，我们提出了一种新颖的动态分辨率网络（DRNET），其中基于每个输入样本动态地确定输入分辨率。其中，利用所需网络共同地探索具有可忽略的计算成本的分辨率预测器。具体地，预测器学习可以保留的最小分辨率，并且甚至超过每个图像的原始识别准确性。在推断过程中，每个输入图像将被调整为其预测的分辨率，以最小化整体计算负担。然后，我们对几个基准网络和数据集进行了广泛的实验。结果表明，我们的DRNET可以嵌入到任何现成的网络架构中，以获得计算复杂性的相当大降低。例如，DR-RESET-50实现了类似的性能，计算减少约34％，同时增加了1.4％的准确度，与原始Resnet-50上的计算减少相比，在ImageNet上的原始resnet-50增加了10％。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

Deploying convolutional neural networks (CNNs) on embedded devices is difficult due to the limited memory and computation resources. The redundancy in feature maps is an important characteristic of those successful CNNs, but has rarely been investigated in neural architecture design. This paper proposes a novel Ghost module to generate more feature maps from cheap operations. Based on a set of intrinsic feature maps, we apply a series of linear transformations with cheap cost to generate many ghost feature maps that could fully reveal information underlying intrinsic features. The proposed Ghost module can be taken as a plug-and-play component to upgrade existing convolutional neural networks. Ghost bottlenecks are designed to stack Ghost modules, and then the lightweight Ghost-Net can be easily established. Experiments conducted on benchmarks demonstrate that the proposed Ghost module is an impressive alternative of convolution layers in baseline models, and our GhostNet can achieve higher recognition performance (e.g. 75.7% top-1 accuracy) than MobileNetV3 with similar computational cost on the ImageNet ILSVRC-2012 classification dataset. Code is available at https: //github.com/huawei-noah/ghostnet.

与准确性和计算成本具有密切关系的图像分辨率在网络培训中发挥了关键作用。在本文中，我们观察到缩小图像保留相对完整的形状语义，但是失去了广泛的纹理信息。通过形状语义的一致性和纹理信息的脆弱的启发，我们提出了一个名为时间性解决方案递减的新颖培训策略。其中，我们在时域中随机将训练图像降低到较小的分辨率。在使用缩小图像和原始图像的替代训练期间，图像中的不稳定纹理信息导致纹理相关模式与正确标签之间的相关性较弱，自然强制执行模型，以更多地依赖于稳健的形状属性。符合人类决策规则。令人惊讶的是，我们的方法大大提高了卷积神经网络的计算效率。在Imagenet分类上，使用33％的计算量（随机将培训图像随机降低到112 $ \倍112美元）仍然可以将resnet-50从76.32％提高到77.71％，并使用63％的计算量（随机减少在50％时期的训练图像到112 x 112）可以改善resnet-50至78.18％。

端到端的文本发现最近由于其对全球优化的好处和对实际应用的高可维护性而引起了极大的关注。但是，输入量表一直是一个艰难的权衡，因为认识到一个小的文本实例通常需要扩大整个图像，从而带来了高度的计算成本。在本文中，为了解决这个问题，我们提出了一种新颖的成本效益动态低分辨率蒸馏（DLD）文本斑点框架，该框架旨在推断出不同的小但可识别的分辨率中的图像，并在准确性和效率之间取得更好的平衡。具体而言，我们采用一个分辨率选择器来动态地确定不同图像的输入分辨率，这是通过推理准确性和计算成本来限制的。在文本识别分支上进行了另一种顺序知识蒸馏策略，使低分辨率输入获得与高分辨率图像相当的性能。可以在任何当前文本斑点框架中采用提出的方法，并在任何文本斑点框架中采用以提高可实用性。对几个文本斑点基准测试的广泛实验表明，所提出的方法极大地提高了低分辨率模型的可用性。该代码可从https://github.com/hikopensource/davar-lab-ocr/获得。

空间冗余广泛存在于视觉识别任务中，即图像或视频帧中的判别特征通常对应于像素的子集，而剩余区域与手头的任务无关。因此，在时间和空间消耗方面，处理具有相等计算量的所有像素的静态模型导致相当冗余。在本文中，我们将图像识别问题标准为顺序粗致细特征学习过程，模仿人类视觉系统。具体地，所提出的浏览和焦点网络（GFNET）首先以低分辨率比例提取输入图像的快速全局表示，然后策略性地参加一系列突出（小）区域以学习更精细的功能。顺序过程自然地促进了在测试时间的自适应推断，因为一旦模型对其预测充分信心，可以终止它，避免了进一步的冗余计算。值得注意的是，在我们模型中定位判别区域的问题被制定为增强学习任务，因此不需要除分类标签之外的其他手动注释。 GFNET是一般的，灵活，因为它与任何现成的骨干网型号（例如MobileCenets，Abservennet和TSM）兼容，可以方便地部署为特征提取器。对各种图像分类和视频识别任务的广泛实验以及各种骨干模型，证明了我们方法的显着效率。例如，它通过1.3倍降低了高效MobileNet-V3的平均等待时间，而不会牺牲精度。代码和预先训练的模型可在https://github.com/blackfeather-wang/gfnet-pytorch获得。

现有作品通常集中于减少架构冗余以加速图像分类，但忽略输入图像的空间冗余。本文提出了有效的图像分类管道来解决此问题。我们首先通过称为Anchornet的轻量级补丁提案网络在输入图像上查明任务感知区域。然后，我们将这些局部语义斑块的空间冗余量喂入一般分类网络。与Deep CNN的流行设计不同，我们旨在仔细设计无中间卷积桨的锚固板的接收场。这样可以确保从高级空间位置到特定输入图像补丁的确切映射。每个补丁的贡献是可以解释的。此外，AnchOrnet与任何下游架构兼容。 Imagenet上的实验结果表明，我们的方法优于SOTA动态推理方法，其推理成本较少。我们的代码可在https://github.com/winycg/anchornet上找到。

Segblocks通过根据图像区域的复杂性动态调整处理分辨率来降低现有神经网络的计算成本。我们的方法将图像拆分为低复杂性的块和尺寸块块，从而减少了操作数量和内存消耗的数量。轻量级的政策网络选择复杂区域，是使用强化学习训练的。此外，我们介绍了CUDA中实现的几个模块以处理块中的图像。最重要的是，我们的新颖的阻止模块可以防止现有方法遭受的块边界的特征不连续性，同时保持记忆消耗受到控制。我们对语义分割的城市景观，Camvid和Mapillary Vistas数据集进行的实验表明，与具有相似复杂性的静态基准相比，动态处理图像与复杂性的折衷相对于复杂性更高。例如，我们的方法将SwiftNet-RN18的浮点操作数量降低了60％，并将推理速度提高50％，而CityScapes的MIOU准确性仅降低0.3％。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

现代卷积神经网络对图像中的每个像素应用相同的操作。但是，并非所有图像区域都同样重要。为了解决此效率低下，我们提出了一种动态应用在输入图像条件下的卷积的方法。我们引入了一个残留的块，其中一个小的门控分支学会了应评估哪些空间位置。这些离散的门控决策是使用Gumbel-Softmax技巧端到端训练的，结合了稀疏标准。我们对CIFAR，ImageNet和MPII的实验表明，与现有方法相比，我们的方法更好地关注感兴趣的区域和更好的准确性，并且在较低的计算复杂性下。此外，我们使用聚集筛选方法为我们的动态卷积提供了有效的CUDA实施，从而通过MobileNETV2残留块实现了推理速度的显着提高。根据人类姿势估计，一项固有的空间稀疏任务，处理速度增加了60％，而准确性没有损失。

基于卷积神经网络（CNN）的现代单图像超分辨率（SISR）系统实现了花哨的性能，而需要巨大的计算成本。在视觉识别任务中对特征冗余的问题进行了很好的研究，但很少在SISR中进行讨论。基于这样的观察，SISR模型中的许多功能也彼此相似，我们建议使用Shift操作来生成冗余功能（即幽灵功能）。与在类似GPU的设备上耗时的深度卷积相比，Shift操作可以为CNN带来实用的推理加速度。我们分析了SISR操作对SISR任务的好处，并根据Gumbel-SoftMax技巧使Shift取向可学习。此外，基于预训练的模型探索了聚类过程，以识别用于生成内在特征的内在过滤器。幽灵功能将通过沿特定方向移动这些内在功能来得出。最后，完整的输出功能是通过将固有和幽灵特征串联在一起来构建的。在几个基准模型和数据集上进行的广泛实验表明，嵌入了所提出方法的非压缩和轻质SISR模型都可以实现与基准的可比性能，并大大降低了参数，拖台和GPU推荐延迟。例如，我们将参数降低46％，FLOPS掉落46％，而GPU推断潜伏期则减少了$ \ times2 $ EDSR网络的42％，基本上是无损的。

在本文中，我们通过利用视觉数据中的空间稀疏性提出了一种新的模型加速方法。我们观察到，视觉变压器中的最终预测仅基于最有用的令牌的子集，这足以使图像识别。基于此观察，我们提出了一个动态的令牌稀疏框架，以根据加速视觉变压器的输入逐渐和动态地修剪冗余令牌。具体而言，我们设计了一个轻量级预测模块，以估计给定当前功能的每个令牌的重要性得分。该模块被添加到不同的层中以层次修剪冗余令牌。尽管该框架的启发是我们观察到视觉变压器中稀疏注意力的启发，但我们发现自适应和不对称计算的想法可能是加速各种体系结构的一般解决方案。我们将我们的方法扩展到包括CNN和分层视觉变压器在内的层次模型，以及更复杂的密集预测任务，这些任务需要通过制定更通用的动态空间稀疏框架，并具有渐进性的稀疏性和非对称性计算，用于不同空间位置。通过将轻质快速路径应用于少量的特征，并使用更具表现力的慢速路径到更重要的位置，我们可以维护特征地图的结构，同时大大减少整体计算。广泛的实验证明了我们框架对各种现代体系结构和不同视觉识别任务的有效性。我们的结果清楚地表明，动态空间稀疏为模型加速提供了一个新的，更有效的维度。代码可从https://github.com/raoyongming/dynamicvit获得

大多数现有的深神经网络都是静态的，这意味着它们只能以固定的复杂性推断。但资源预算可以大幅度不同。即使在一个设备上，实惠预算也可以用不同的场景改变，并且对每个所需预算的反复培训网络是非常昂贵的。因此，在这项工作中，我们提出了一种称为Mutualnet的一般方法，以训练可以以各种资源约束运行的单个网络。我们的方法列举了具有各种网络宽度和输入分辨率的模型配置队列。这种相互学习方案不仅允许模型以不同的宽度分辨率配置运行，而且还可以在这些配置之间传输独特的知识，帮助模型来学习更强大的表示。 Mutualnet是一般的培训方法，可以应用于各种网络结构（例如，2D网络：MobileNets，Reset，3D网络：速度，X3D）和各种任务（例如，图像分类，对象检测，分段和动作识别），并证明了实现各种数据集的一致性改进。由于我们只培训了这一模型，它对独立培训多种型号而言，它也大大降低了培训成本。令人惊讶的是，如果动态资源约束不是一个问题，则可以使用Mutualnet来显着提高单个网络的性能。总之，Mutualnet是静态和自适应，2D和3D网络的统一方法。代码和预先训练的模型可用于\ url {https://github.com/tayang1122/mutualnet}。

由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。

Image restoration tasks have achieved tremendous performance improvements with the rapid advancement of deep neural networks. However, most prevalent deep learning models perform inference statically, ignoring that different images have varying restoration difficulties and lightly degraded images can be well restored by slimmer subnetworks. To this end, we propose a new solution pipeline dubbed ClassPruning that utilizes networks with different capabilities to process images with varying restoration difficulties. In particular, we use a lightweight classifier to identify the image restoration difficulty, and then the sparse subnetworks with different capabilities can be sampled based on predicted difficulty by performing dynamic N:M fine-grained structured pruning on base restoration networks. We further propose a novel training strategy along with two additional loss terms to stabilize training and improve performance. Experiments demonstrate that ClassPruning can help existing methods save approximately 40% FLOPs while maintaining performance.

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

Much of the recent progress made in image classification research can be credited to training procedure refinements, such as changes in data augmentations and optimization methods. In the literature, however, most refinements are either briefly mentioned as implementation details or only visible in source code. In this paper, we will examine a collection of such refinements and empirically evaluate their impact on the final model accuracy through ablation study. We will show that, by combining these refinements together, we are able to improve various CNN models significantly. For example, we raise ResNet-50's top-1 validation accuracy from 75.3% to 79.29% on ImageNet. We will also demonstrate that improvement on image classification accuracy leads to better transfer learning performance in other application domains such as object detection and semantic segmentation.

卷积神经网络（CNN）压缩对于在资源有限的边缘设备中部署这些模型至关重要。 CNN的现有通道修剪算法在复杂模型上取得了很大的成功。他们从各个角度解决了修剪问题，并使用不同的指标来指导修剪过程。但是，这些指标主要集中于模型的“输出”或“权重”，而忽略了其“解释”信息。为了填补这一空白，我们建议通过利用模型的解释来引导修剪过程，从而从新颖的角度解决通道修剪问题，从而利用来自模型的输入和输出的信息。但是，现有的解释方法不能被部署以实现我们的目标，因为它们的修剪效率低下，或者可能预测了非固定解释。我们通过引入选择器模型来解决这一挑战，该模型可以预测修剪模型的实时平滑显着性掩码。我们通过径向基函数（RBF）函数来参数化解释性掩码的分布，以在我们选择器模型的电感偏置中纳入自然图像的几何事物。因此，我们可以获得解释的紧凑表示，以降低修剪方法的计算成本。我们利用我们的选择器模型来引导网络修剪，以最大程度地提高修剪和原始模型的解释性表示的相似性。关于CIFAR-10和Imagenet基准数据集的广泛实验证明了我们提出的方法的功效。我们的实现可在\ url {https://github.com/alii-ganjj/interpretationssteerpruning}中获得

多EXIT体系结构由骨干和分支分类器组成，这些分类器提供缩短的推理途径，以减少深神经网络的运行时间。在本文中，我们分析了不同分支模式在分支分类器的计算复杂性分配方面有所不同。恒定复杂性分支使所有分支保持相同，同时复杂性增强和复杂性降低分支位置分别在骨架后期或更早的骨架上更复杂的分支。通过对多个骨干和数据集进行广泛的实验，我们发现复杂性削弱分支比恒定复杂性或复杂性增长分支更有效，这实现了最佳的准确性成本折衷。我们通过使用知识一致性来研究原因，以探测将分支添加到主链上的效果。我们的发现表明，复杂性降低的分支对骨干的特征抽象层次结构产生最小的破坏，这解释了分支模式的有效性。