本文提出了一种用于拆分计算的神经体系结构搜索（NAS）方法。拆分计算是一种新兴的机器学习推理技术，可解决在物联网系统中部署深度学习的隐私和延迟挑战。在拆分计算中，神经网络模型通过网络使用Edge服务器和IoT设备进行了分离和合作处理。因此，神经网络模型的体系结构显着影响通信有效载荷大小，模型准确性和计算负载。在本文中，我们解决了优化神经网络体系结构以进行拆分计算的挑战。为此，我们提出了NASC，该NASC共同探讨了最佳模型架构和一个拆分点，以达到延迟需求（即，计算和通信的总延迟较小，都比某个阈值较小）。 NASC采用单发NAS，不需要重复模型培训进行计算高效的体系结构搜索。我们使用硬件（HW） - 基准数据的NAS基础的绩效评估表明，拟议的NASC可以改善``通信潜伏期和模型准确性''的权衡，即，将延迟降低了约40-60％，从基线降低了约40-60％有轻微的精度降解。

在移动边缘网络上部署深神经网络（DNN）的主要挑战是如何分离DNN模型，以匹配网络架构以及所有节点的计算和通信容量。这基本上涉及两个高耦合程序：模型生成和模型分裂。在本文中，提出了一种联合模型分割和神经结构搜索（JMSNAS）框架以在移动边缘网络上自动生成和部署DNN模型。考虑到计算和通信资源约束，配制计算图形搜索问题以查找DNN模型的多分裂点，然后培训模型以满足一些精度要求。此外，通过正确设计目标函数来实现模型精度和完成延迟之间的权衡。实验结果证实了通过最先进的分机学习设计方法的提出框架的优越性。

分布式推理（DI）框架已经获得了牵引力作为用于实时应用的技术，用于在资源受限的内容（物联网）设备上的尖端深机学习（ML）。在DI中，计算任务通过IOT设备通过有损的物联网网络从物联网设备卸载到边缘服务器。然而，通常，在通信延迟和可靠性之间存在通信系统级权衡;因此，为了提供准确的DI结果，需要一种可靠和高等待的通信系统来调整，这导致DI的不可忽略的端到端潜伏期。这激励我们通过ML技术的努力来改善通信延迟与准确性之间的权衡。具体而言，我们提出了一种以通信为导向的模型调谐（ComTune），其旨在通过低延迟但不可靠的通信链路实现高度精确的DI。在Comtune中，关键的想法是通过应用辍学技术的应用来微调不可靠通信链路的效果。这使得DI系统能够针对不可靠的通信链路获得鲁棒性。我们的ML实验表明，ComTune使得能够以低延迟和有损网络在低延迟和损失网络下准确预测。

诸如智能手机和自治车辆的移动设备越来越依赖深神经网络（DNN）来执行复杂的推理任务，例如图像分类和语音识别等。但是，在移动设备上连续执行整个DNN可以快速消耗其电池。虽然任务卸载到云/边缘服务器可能会降低移动设备的计算负担，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致任务执行的显着延迟。最近，已经提出了基于分割计算（SC）的方法，其中DNN被分成在移动设备上和边缘服务器上执行的头部和尾模型。最终，这可能会降低带宽使用以及能量消耗。另一种叫做早期退出（EE）的方法，列车模型在架构中呈现多个“退出”，每个都提供越来越高的目标准确性。因此，可以根据当前条件或应用需求进行准确性和延迟之间的权衡。在本文中，我们通过呈现最相关方法的比较，对SC和EE策略进行全面的综合调查。我们通过提供一系列引人注目的研究挑战来结束论文。

Designing accurate and efficient ConvNets for mobile devices is challenging because the design space is combinatorially large. Due to this, previous neural architecture search (NAS) methods are computationally expensive. ConvNet architecture optimality depends on factors such as input resolution and target devices. However, existing approaches are too resource demanding for case-by-case redesigns. Also, previous work focuses primarily on reducing FLOPs, but FLOP count does not always reflect actual latency. To address these, we propose a differentiable neural architecture search (DNAS) framework that uses gradient-based methods to optimize Con-vNet architectures, avoiding enumerating and training individual architectures separately as in previous methods. FBNets (Facebook-Berkeley-Nets), a family of models discovered by DNAS surpass state-of-the-art models both designed manually and generated automatically. FBNet-B achieves 74.1% top-1 accuracy on ImageNet with 295M FLOPs and 23.1 ms latency on a Samsung S8 phone, 2.4x smaller and 1.5x faster than MobileNetV2-1.3[17] with similar accuracy. Despite higher accuracy and lower latency than MnasNet[20], we estimate FBNet-B's search cost is 420x smaller than MnasNet's, at only 216 GPUhours. Searched for different resolutions and channel sizes, FBNets achieve 1.5% to 6.4% higher accuracy than Mo-bileNetV2. The smallest FBNet achieves 50.2% accuracy and 2.9 ms latency (345 frames per second) on a Samsung S8. Over a Samsung-optimized FBNet, the iPhone-Xoptimized model achieves a 1.4x speedup on an iPhone X. FBNet models are open-sourced at https://github. com/facebookresearch/mobile-vision. * Work done while interning at Facebook.… Figure 1. Differentiable neural architecture search (DNAS) for ConvNet design. DNAS explores a layer-wise space that each layer of a ConvNet can choose a different block. The search space is represented by a stochastic super net. The search process trains the stochastic super net using SGD to optimize the architecture distribution. Optimal architectures are sampled from the trained distribution. The latency of each operator is measured on target devices and used to compute the loss for the super net.

由于其计算资源有限，在物联网和移动设备上部署深层神经网络（DNN）是一项艰巨的任务。因此，苛刻的任务通常完全被卸载到可以加速推理的边缘服务器上，但是，这也会导致沟通成本并唤起隐私问题。此外，这种方法使端设备的计算能力未使用。拆分计算是一个范式，其中DNN分为两个部分。第一部分是在终点设备上执行的，并且输出将传输到执行最终部分的边缘服务器。在这里，我们介绍动态拆分计算，其中最佳拆分位置是根据通信通道的状态动态选择的。通过使用现代DNN体系结构中已经存在的天然瓶颈，动态拆分计算避免了再培训和超参数优化，并且对DNN的最终准确性没有任何负面影响。通过广泛的实验，我们表明动态拆分计算在数据速率和服务器负载随时间变化的边缘计算环境中的推断速度更快。

神经体系结构搜索（NAS）旨在自动化体系结构设计过程并改善深神经网络的性能。平台感知的NAS方法同时考虑性能和复杂性，并且可以找到具有低计算资源的表现良好的体系结构。尽管普通的NAS方法由于模型培训的重复而导致了巨大的计算成本，但在搜索过程中，训练包含所有候选架构的超级网的权重训练了一杆NAS，据报道会导致搜索成本较低。这项研究着重于体系结构复杂性的单发NAS，该NA优化了由两个指标的加权总和组成的目标函数，例如预测性能和参数数量。在现有方法中，必须使用加权总和的不同系数多次运行架构搜索过程，以获得具有不同复杂性的多个体系结构。这项研究旨在降低与寻找多个体系结构相关的搜索成本。提出的方法使用多个分布来生成具有不同复杂性的体系结构，并使用基于重要性采样的多个分布获得的样本来更新每个分布。提出的方法使我们能够在单个体系结构搜索中获得具有不同复杂性的多个体系结构，从而降低了搜索成本。所提出的方法应用于CIAFR-10和Imagenet数据集上卷积神经网络的体系结构搜索。因此，与基线方法相比，提出的方法发现了多个复杂性不同的架构，同时需要减少计算工作。

为了部署，神经架构搜索应该是硬件感知的，以满足设备特定的约束（例如，内存使用，延迟和能量消耗），并提高模型效率。硬件感知NAS的现有方法从目标设备收集大量样本（例如，精度和延迟），要么构建查找表或延迟估计器。然而，这种方法在现实世界方案中是不切实际的，因为存在具有不同硬件规格的许多器件，并从这些大量设备收集样本将需要禁止的计算和货币成本。为了克服这些限制，我们提出了硬件 - 自适应高效延迟预测器（帮助），其将设备特定的延迟估计问题交给了元学习问题，使得我们可以估计模型对给定任务的性能的延迟有一些样品的看不见的装置。为此，我们引入了新颖的硬件嵌入，将任何设备嵌入，将其视为输出延迟的黑盒功能，并使用硬件嵌入式以设备依赖方式学习硬件自适应延迟预测器。我们验证了在看不见的平台上实现了延迟估计性能的提议帮助，其中它达到了高估计性能，少于10个测量样本，优于所有相关基线。我们还验证了在没有它的帮助下使用帮助的端到端NAS框架，并表明它在很大程度上降低了基础NAS方法的总时间成本，在延迟约束的设置中。代码可在https://github.com/hayeonlee/help获得。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

尽管关键任务应用需要使用深神经网络（DNN），但它们在移动设备的连续执行导致能耗的显着增加。虽然边缘卸载可以降低能量消耗，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致系统的关键操作严重中断。一种被称为分割计算的替代方法，在模型中生成压缩表示（称为“瓶颈”），以降低带宽使用和能量消耗。事先工作已经提出了引入额外层的方法，以损害能耗和潜伏期。因此，我们提出了一个名为BoleFit的新框架，除了有针对性的DNN架构修改之外，还包括一种新颖的培训策略，即使具有强大的压缩速率，即使具有强大的压缩速率也能实现高精度。我们在图像分类中施加瓶装装饰品，并显示瓶装装备在想象中数据集中实现了77.1％的数据压缩，高达0.6％的精度损耗，而诸如Spinn的最佳精度高达6％。我们通过实验测量在NVIDIA Jetson Nano板（基于GPU）和覆盆子PI板上运行的图像分类应用的功耗和等待时间（GPU - 更低）。我们表明，对于（W.R.T.）本地计算分别降低了高达49％和89％的功耗和延迟，局部计算和37％和55％W.r.t.t.边缘卸载。我们还比较了具有基于最先进的自动化器的方法的瓶装方法，并显示了（i）瓶子分别将功耗和执行时间降低了高达54％和44％，覆盆子上的40％和62％ pi; （ii）在移动设备上执行的头部模型的大小为83倍。代码存储库将被公布以获得结果的完全可重复性。

我们提出了三种新型的修剪技术，以提高推理意识到的可区分神经结构搜索（DNAS）的成本和结果。首先，我们介绍了DNA的随机双路构建块，它可以通过内存和计算复杂性在内部隐藏尺寸上进行搜索。其次，我们在搜索过程中提出了一种在超级网的随机层中修剪块的算法。第三，我们描述了一种在搜索过程中修剪不必要的随机层的新技术。由搜索产生的优化模型称为Prunet，并在Imagenet Top-1图像分类精度的推理潜伏期中为NVIDIA V100建立了新的最先进的Pareto边界。将Prunet作为骨架还优于COCO对象检测任务的GPUNET和EFIDENENET，相对于平均平均精度（MAP）。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

从搜索效率中受益，可区分的神经体系结构搜索（NAS）已发展为自动设计竞争性深神经网络（DNNS）的最主要替代品。我们注意到，必须在现实世界中严格的性能限制下执行DNN，例如，自动驾驶汽车的运行时间延迟。但是，要获得符合给定性能限制的体系结构，先前的硬件可区分的NAS方法必须重复多次搜索运行，以通过反复试验和错误手动调整超参数，因此总设计成本会成比例地增加。为了解决这个问题，我们引入了一个轻巧的硬件可区分的NAS框架，称为lightnas，努力找到所需的架构，通过一次性搜索来满足各种性能约束（即，\ \ suesperline {\ textIt {您只搜索一次}}）） 。进行了广泛的实验，以显示LINDNA的优越性，而不是先前的最新方法。

卷积神经网络（CNNS）用于许多现实世界应用，例如基于视觉的自主驾驶和视频内容分析。要在各种目标设备上运行CNN推断，硬件感知神经结构搜索（NAS）至关重要。有效的硬件感知NAS的关键要求是对推理延迟的快速评估，以便对不同的架构进行排名。在构建每个目标设备的延迟预测器的同时，在本领域中通常使用，这是一个非常耗时的过程，在极定的设备存在下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战 - 不同设备上的架构延迟排名通常相关。当存在强烈的延迟单调性时，我们可以重复使用在新目标设备上搜索一个代理设备的架构，而不会丢失最佳状态。在没有强烈的延迟单调性的情况下，我们提出了一种有效的代理适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并在多个主流搜索空间上使用不同平台的设备进行实验，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，Proxylessnas和FBNet。我们的结果突出显示，通过仅使用一个代理设备，我们可以找到几乎与现有的每个设备NAS相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的禁止成本。 github：https://github.com/ren-research/oneproxy.

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

神经结构搜索（NAS）引起了日益增长的兴趣。为了降低搜索成本，最近的工作已经探讨了模型的重量分享，并在单枪NAS进行了重大进展。然而，已经观察到，单次模型精度较高的模型并不一定在独立培训时更好地执行更好。为了解决这个问题，本文提出了搜索空间的逐步自动设计，名为Pad-NAS。与超字幕中的所有层共享相同操作搜索空间的先前方法不同，我们根据操作修剪制定逐行搜索策略，并构建层面操作搜索空间。通过这种方式，Pad-NAS可以自动设计每层的操作，并在搜索空间质量和模型分集之间实现权衡。在搜索过程中，我们还考虑了高效神经网络模型部署的硬件平台约束。关于Imagenet的广泛实验表明我们的方法可以实现最先进的性能。

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.Equal contribution. This work is done when Haoyuan Mu and Zechun Liu are interns at MEGVII Technology.

通过利用数据示例多样性，早期的exit网络最近成为一种突出的神经网络体系结构，以加速深度学习推断过程。但是，早期出口的中间分类器会引入其他计算开销，这对于资源约束的边缘人工智能（AI）不利。在本文中，我们提出了一种早期退出预测机制，以减少由早期EXIT网络支持的设备边缘共同指导系统中的设备计算开销。具体而言，我们设计了一个低复杂性模块，即出口预测指标，以指导一些明显的“硬”样品以绕过早期出口的计算。此外，考虑到不同的通信带宽，我们扩展了潜伏期感知的边缘推理的提前退出预测机制，该机制通过一些简单的回归模型适应了出口预测变量的预测阈值和早期EXEST网络的置信阈值。广泛的实验结果证明了退出预测因子在早期EXIT网络的准确性和设备计算开销之间取得更好的权衡。此外，与基线方法相比，在不同的带宽条件下，提出的延迟感知边缘推理的方法可以达到更高的推理精度。