For time-critical IoT applications using deep learning, inference acceleration through distributed computing is a promising approach to meet a stringent deadline. In this paper, we implement a working prototype of a new distributed inference acceleration method HALP using three raspberry Pi 4. HALP accelerates inference by designing a seamless collaboration among edge devices (EDs) in Edge Computing. We maximize the parallelization between communication and computation among the collaborative EDs by optimizing the task partitioning ratio based on the segment-based partitioning. Experimental results show that the distributed inference HALP achieves 1.7x inference acceleration for VGG-16. Then, we combine distributed inference with conventional neural network model compression by setting up different shrinking hyperparameters for MobileNet-V1. In this way, we can further accelerate inference but at the cost of inference accuracy loss. To strike a balance between latency and accuracy, we propose dynamic model selection to select a model which provides the highest accuracy within the latency constraint. It is shown that the model selection with distributed inference HALP can significantly improve service reliability compared to the conventional stand-alone computation.

本文在协作边缘计算中使用分布式卷积神经网络（CNN）研究推断加速度。为了确保推理任务分配的推断准确性，我们在执行基于细分的分区时考虑接受场。为了最大化通信和计算过程之间的并行化，从而最大程度地减少了推理任务的总推理时间，我们设计了一种新颖的任务协作方案，在该方案中，在该方案中，在辅助边缘服务器上的子任务区域（ESS）上的重叠区域（ESS）执行主持人ES，称为HALP。我们进一步将HALP扩展到了多个任务的情况。实验结果表明，对于单个任务，HALP可以加速VGG-16中的CNN推断1.7-2.0倍，在GTX 1080TI和Jetson Agx Xavier上，每批4个任务1.7-1.8x，均超过了最新的ARTART AGX Xavier工作modnn。此外，我们评估了在时间变化渠道下的服务可靠性，这表明HALP是一个有效的解决方案，可在严格的服务截止日期内确保高服务可靠性。

本文在协作边缘计算网络中使用分布式卷积神经网络（CNN）研究推断加速度。为了避免推理任务分配中的推断准确性丧失，我们提出了基于田间的分割（RFS）。为了减少计算时间和通信开销，我们提出了一种使用熔融层并行化的新颖协作边缘计算，以将CNN模型划分为多个卷积层的块。在此方案中，协作边缘服务器（ESS）只需要在计算每个Fused块后交换子输出的小部分。此外，为了找到将CNN模型划分为多个块的最佳解决方案，我们使用动态编程，称为融合层并行化（DPFP）的动态编程。实验结果表明，与预训练的模型相比，DPFP可以加速VGG-16最高73％的推断，在所有测试的情况下，这都胜过现有的工作模型。此外，我们评估了DPFP在时变频道下的服务可靠性，这表明DPFP是一个有效的解决方案，可在严格的服务截止日期内确保高服务可靠性。

This paper aims to design robust Edge Intelligence using semantic communication for time-critical IoT applications. We systematically analyze the effect of image DCT coefficients on inference accuracy and propose the channel-agnostic effectiveness encoding for offloading by transmitting the most meaningful task data first. This scheme can well utilize all available communication resource and strike a balance between transmission latency and inference accuracy. Then, we design an effectiveness decoding by implementing a novel image augmentation process for convolutional neural network (CNN) training, through which an original CNN model is transformed into a Robust CNN model. We use the proposed training method to generate Robust MobileNet-v2 and Robust ResNet-50. The proposed Edge Intelligence framework consists of the proposed effectiveness encoding and effectiveness decoding. The experimental results show that the effectiveness decoding using the Robust CNN models perform consistently better under various image distortions caused by channel errors or limited communication resource. The proposed Edge Intelligence framework using semantic communication significantly outperforms the conventional approach under latency and data rate constraints, in particular, under ultra stringent deadlines and low data rate.

通过利用数据示例多样性，早期的exit网络最近成为一种突出的神经网络体系结构，以加速深度学习推断过程。但是，早期出口的中间分类器会引入其他计算开销，这对于资源约束的边缘人工智能（AI）不利。在本文中，我们提出了一种早期退出预测机制，以减少由早期EXIT网络支持的设备边缘共同指导系统中的设备计算开销。具体而言，我们设计了一个低复杂性模块，即出口预测指标，以指导一些明显的“硬”样品以绕过早期出口的计算。此外，考虑到不同的通信带宽，我们扩展了潜伏期感知的边缘推理的提前退出预测机制，该机制通过一些简单的回归模型适应了出口预测变量的预测阈值和早期EXEST网络的置信阈值。广泛的实验结果证明了退出预测因子在早期EXIT网络的准确性和设备计算开销之间取得更好的权衡。此外，与基线方法相比，在不同的带宽条件下，提出的延迟感知边缘推理的方法可以达到更高的推理精度。

随着人工智能（AI）的积极发展，基于深神经网络（DNN）的智能应用会改变人们的生活方式和生产效率。但是，从网络边缘生成的大量计算和数据成为主要的瓶颈，传统的基于云的计算模式无法满足实时处理任务的要求。为了解决上述问题，通过将AI模型训练和推理功能嵌入网络边缘，Edge Intelligence（EI）成为AI领域的尖端方向。此外，云，边缘和终端设备之间的协作DNN推断提供了一种有希望的方法来增强EI。然而，目前，以EI为导向的协作DNN推断仍处于早期阶段，缺乏对现有研究工作的系统分类和讨论。因此，我们已经对有关以EI为导向的协作DNN推断的最新研究进行了全面调查。在本文中，我们首先回顾了EI的背景和动机。然后，我们为EI分类了四个典型的DNN推理范例，并分析其特征和关键技术。最后，我们总结了协作DNN推断的当前挑战，讨论未来的发展趋势并提供未来的研究方向。

最近，使用卷积神经网络（CNNS）存在移动和嵌入式应用的爆炸性增长。为了减轻其过度的计算需求，开发人员传统上揭示了云卸载，突出了高基础设施成本以及对网络条件的强烈依赖。另一方面，强大的SOC的出现逐渐启用设备执行。尽管如此，低端和中层平台仍然努力充分运行最先进的CNN。在本文中，我们展示了Dyno，一种分布式推断框架，将两全其人的最佳框架结合起来解决了几个挑战，例如设备异质性，不同的带宽和多目标要求。启用这是其新的CNN特定数据包装方法，其在onloading计算时利用CNN的不同部分的精度需求的可变性以及其新颖的调度器，该调度器共同调谐分区点并在运行时传输数据精度适应其执行环境的推理。定量评估表明，Dyno优于当前最先进的，通过竞争对手的CNN卸载系统，在竞争对手的CNN卸载系统上提高吞吐量超过一个数量级，最高可达60倍的数据。

尽管关键任务应用需要使用深神经网络（DNN），但它们在移动设备的连续执行导致能耗的显着增加。虽然边缘卸载可以降低能量消耗，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致系统的关键操作严重中断。一种被称为分割计算的替代方法，在模型中生成压缩表示（称为“瓶颈”），以降低带宽使用和能量消耗。事先工作已经提出了引入额外层的方法，以损害能耗和潜伏期。因此，我们提出了一个名为BoleFit的新框架，除了有针对性的DNN架构修改之外，还包括一种新颖的培训策略，即使具有强大的压缩速率，即使具有强大的压缩速率也能实现高精度。我们在图像分类中施加瓶装装饰品，并显示瓶装装备在想象中数据集中实现了77.1％的数据压缩，高达0.6％的精度损耗，而诸如Spinn的最佳精度高达6％。我们通过实验测量在NVIDIA Jetson Nano板（基于GPU）和覆盆子PI板上运行的图像分类应用的功耗和等待时间（GPU - 更低）。我们表明，对于（W.R.T.）本地计算分别降低了高达49％和89％的功耗和延迟，局部计算和37％和55％W.r.t.t.边缘卸载。我们还比较了具有基于最先进的自动化器的方法的瓶装方法，并显示了（i）瓶子分别将功耗和执行时间降低了高达54％和44％，覆盆子上的40％和62％ pi; （ii）在移动设备上执行的头部模型的大小为83倍。代码存储库将被公布以获得结果的完全可重复性。

通过在计算机视觉（CV）领域深度学习算法的良好性能，卷积神经网络（CNN）体系结构已成为计算机视觉任务的主要骨干。随着移动设备的广泛使用，基于计算能力低的平台的神经网络模型逐渐引起人们的注意。但是，由于计算能力的限制，移动设备上通常无法使用深度学习算法。本文提出了一个轻巧的卷积神经网络TripLenet，可以在Raspberry Pi上轻松运行。从阈值中的块连接概念中采用，新提出的网络模型会压缩并加速网络模型，减少网络的参数量，并在确保准确性的同时缩短每个图像的推理时间。我们提出的TripLenet和其他最先进的（SOTA）神经网络在Raspberry Pi上使用CIFAR-10和SVHN数据集进行了图像分类实验。实验结果表明，与GhostNet，Mobilenet，Theashnet，EdefityNet和HardNet相比，每图像的推理时间分别缩短了15％，16％，17％，24％和30％。

低功耗边缘设备上的计算机视觉使应用程序包括搜索和救援和安全性。最先进的计算机视觉算法，例如深神经网络（DNN），对于低功率边缘设备推断而言太大。为了提高效率，一些现有方法并将DNN推断并行于多个边缘设备。但是，这些技术引入了显着的通信和同步开销，或者无法在设备上平衡工作负载。本文展示了分层DNN架构非常适合于多个边缘设备上的并行处理。我们设计一种新的方法，该方法为使用分层DNN的计算机视觉问题创建一个并行推理管道。该方法余额跨越协作设备加载，并降低通信成本，以便于以更高的吞吐量同时处理多个视频帧。我们的实验考虑了一个代表性的计算机视觉问题，其中在每个视频帧上执行图像识别，在多个覆盆子PI 4bs上运行。通过四个合作的低功耗边缘设备，我们的方法达到3.21倍的吞吐量，每帧的每个设备的能耗较低68％，与现有的单设备分层DNN相比，内存减少58％。

最近，由于其优越的特征提取性能，深度神经网络（DNN）的应用在诸如计算机视觉（CV）和自然语言处理（NLP）之类的许多领域非常突出。但是，高维参数模型和大规模数学计算限制了执行效率，尤其是用于物联网（IoT）设备。与以前的云/边缘模式不同，为上行链路通信和仅用于设备的设备的巨大压力承担了无法实现的计算强度，我们突出了DNN模型的设备和边缘之间的协作计算，这可以实现良好的平衡通信负载和执行准确性。具体地，提出了一种系统的按需共引起框架来利用多分支结构，其中预先接受的alexNet通过\ emph {早期出口}右尺寸，并在中间DNN层划分。实施整数量化以进一步压缩传输位。结果，我们建立了一个新的深度加强学习（DRL）优化器 - 软演员 - 软件 - 软演员批评者，用于离散（SAC-D），它生成\ emph {退出点}，\ emph {partition point}，\ emph {压缩位通过软策略迭代。基于延迟和准确性意识奖励设计，这种优化器可以很好地适应动态无线信道等复杂环境和任意CPU处理，并且能够支持5G URLLC。 Raspberry PI 4和PC上的真实世界实验显示了所提出的解决方案的表现。

随着计算机愿景任务中的神经网络的不断发展，越来越多的网络架构取得了突出的成功。作为最先进的神经网络架构之一，DenSenet捷径所有特征映射都可以解决模型深度的问题。虽然这种网络架构在低MAC（乘法和累积）上具有优异的准确性，但它需要过度推理时间。为了解决这个问题，HardNet减少了特征映射之间的连接，使得其余连接类似于谐波。然而，这种压缩方法可能导致模型精度和增加的MAC和模型大小降低。该网络架构仅减少了内存访问时间，需要改进其整体性能。因此，我们提出了一种新的网络架构，使用阈值机制来进一步优化连接方法。丢弃不同卷积层的不同数量的连接以压缩阈值中的特征映射。所提出的网络架构使用了三个数据集，CiFar-10，CiFar-100和SVHN，以评估图像分类的性能。实验结果表明，与DENSENET相比，阈值可降低推理时间高达60％，并且在这些数据集上的硬盘相比，训练速度快高达35％的训练速度和20％的误差率降低。

尽管深度神经网络（DNN）已成为多个无处不在的应用程序的骨干技术，但它们在资源受限的机器中的部署，例如物联网（IoT）设备，仍然具有挑战性。为了满足这种范式的资源要求，引入了与IoT协同作用的深入推断。但是，DNN网络的分布遭受严重的数据泄漏。已经提出了各种威胁，包括黑盒攻击，恶意参与者可以恢复送入其设备的任意输入。尽管许多对策旨在实现隐私的DNN，但其中大多数会导致额外的计算和较低的准确性。在本文中，我们提出了一种方法，该方法通过重新考虑分配策略而无需牺牲模型性能来针对协作深度推断的安全性。特别是，我们检查了使该模型容易受到黑盒威胁的不同DNN分区，并得出了应分配每个设备的数据量以隐藏原始输入的所有权。我们将这种方法制定为一种优化，在该方法中，我们在共同推导的延迟与数据级别的数据级别之间建立了权衡。接下来，为了放大最佳解决方案，我们将方法塑造为支持异质设备以及多个DNN/数据集的增强学习（RL）设计。

神经网络的推理通常是通过在边缘设备的资源（例如，计算能力，存储器，带宽）的限制。除了改善硬件设计和部署高效的机型，它可以聚集很多设备的计算能力，以使机器学习模型。在本文中，我们提议使用模型并行到分布式推理分离的神经网络的一个新方法。为了实现通信延迟，延迟计算和性能之间取得更好的平衡，我们采用神经结构搜索（NAS），以寻找最佳的传输策略，减少通信量。我们发现，最好的模式通过与基线相比，数据传输量的86.6％减少和多不影响性能。在设备和车型配置适当的规范，我们的实验显示，边缘集群大神经网络的推理可以分发和加速，它提供了智能应用在物联网（IOT）部署新的解决方案。

在监控和搜索和救援应用程序中，重要的是在低端设备上实时执行多目标跟踪（MOT）。今天的MOT解决方案采用深度神经网络，往往具有高计算复杂性。识别帧大小对跟踪性能的影响，我们提出了深度，一种模型不可知框架尺寸选择方法，可在现有的全卷积网络基跟踪器之上进行操作，以加速跟踪吞吐量。在培训阶段，我们将可检测性分数纳入单次跟踪器架构，使得DeepScale以自我监督的方式学习不同帧大小的表示估计。在推理期间，它可以根据基于用户控制参数根据视觉内容的复杂性来调整帧大小。为了利用边缘服务器上的计算资源，我们提出了两个计算分区模式，即仅使用自适应帧大小传输和边缘服务器辅助跟踪仅适用于MOT，即边缘服务器。 MOT数据集的广泛实验和基准测试证明了深度的有效性和灵活性。与最先进的追踪器相比，DeepScale ++，DeepScale的变种实现1.57倍加速，仅在一个配置中的MOT15数据集上跟踪准确性。我们已经实现和评估了DeepScale ++，以及由NVIDIA JETSON TX2板和GPU服务器组成的小型测试平台上所提出的计算分区方案。实验显示与仅服务器或智能相机的解决方案相比跟踪性能和延迟之间的非琐碎权衡。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

卷积神经网络（CNN）已在许多物联网（IoT）设备中应用于多种下游任务。但是，随着边缘设备上的数据量的增加，CNN几乎无法及时完成某些任务，而计算和存储资源有限。最近，过滤器修剪被认为是压缩和加速CNN的有效技术，但是从压缩高维张量的角度来看，现有的方法很少是修剪CNN。在本文中，我们提出了一种新颖的理论，可以在三维张量中找到冗余信息，即量化特征图（QSFM）之间的相似性，并利用该理论来指导滤波器修剪过程。我们在数据集（CIFAR-10，CIFAR-100和ILSVRC-12）上执行QSFM和Edge设备，证明所提出的方法可以在神经网络中找到冗余信息，具有可比的压缩和可耐受的准确性下降。没有任何微调操作，QSFM可以显着压缩CIFAR-56（48.7％的Flops和57.9％的参数），而TOP-1的准确性仅损失0.54％。对于边缘设备的实际应用，QSFM可以将Mobilenet-V2推理速度加速1.53倍，而ILSVRC-12 TOP-1的精度仅损失1.23％。

在物联网（IoT）支持的网络边缘（IOT）上的人工智能（AI）的最新进展已通过启用低延期性和计算效率来实现多种应用程序（例如智能农业，智能医院和智能工厂）的优势情报。但是，部署最先进的卷积神经网络（CNN），例如VGG-16和在资源约束的边缘设备上的重新连接，由于其大量参数和浮点操作（Flops），因此实际上是不可行的。因此，将网络修剪作为一种模型压缩的概念正在引起注意在低功率设备上加速CNN。结构化或非结构化的最先进的修剪方法都不认为卷积层表现出的复杂性的不同基本性质，并遵循训练放回训练的管道，从而导致其他计算开销。在这项工作中，我们通过利用CNN的固有层层级复杂性来提出一种新颖和计算高效的修剪管道。与典型的方法不同，我们提出的复杂性驱动算法根据其对整体网络复杂性的贡献选择了特定层用于滤波器。我们遵循一个直接训练修剪模型并避免计算复杂排名和微调步骤的过程。此外，我们定义了修剪的三种模式，即参数感知（PA），拖网（FA）和内存感知（MA），以引入CNN的多功能压缩。我们的结果表明，我们的方法在准确性和加速方面的竞争性能。最后，我们提出了不同资源和准确性之间的权衡取舍，这对于开发人员在资源受限的物联网环境中做出正确的决策可能会有所帮助。

Deploying convolutional neural networks (CNNs) on embedded devices is difficult due to the limited memory and computation resources. The redundancy in feature maps is an important characteristic of those successful CNNs, but has rarely been investigated in neural architecture design. This paper proposes a novel Ghost module to generate more feature maps from cheap operations. Based on a set of intrinsic feature maps, we apply a series of linear transformations with cheap cost to generate many ghost feature maps that could fully reveal information underlying intrinsic features. The proposed Ghost module can be taken as a plug-and-play component to upgrade existing convolutional neural networks. Ghost bottlenecks are designed to stack Ghost modules, and then the lightweight Ghost-Net can be easily established. Experiments conducted on benchmarks demonstrate that the proposed Ghost module is an impressive alternative of convolution layers in baseline models, and our GhostNet can achieve higher recognition performance (e.g. 75.7% top-1 accuracy) than MobileNetV3 with similar computational cost on the ImageNet ILSVRC-2012 classification dataset. Code is available at https: //github.com/huawei-noah/ghostnet.

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.