我们探索了知识蒸馏（KD）的使用来学习紧凑和准确的模型，这些模型可以从可穿戴设备上的加速度计算数据中分类动物行为。为此，我们采用了一个深厚而复杂的卷积神经网络，称为残留神经网络（RESNET）作为教师模型。 RESNET专为多元时间序列分类而设计。我们使用Resnet将动物行为分类数据集的知识歪曲到软标签中，其中由每个数据点的每个类别的伪概率组成。然后，我们使用软标签来训练我们的复杂学生模型，这些模型基于门控复发单元（GRU）和多层感知器（MLP）。使用两个现实世界动物行为分类数据集的评估结果表明，学生GRU-MLP模型的分类准确性通过KD明显改善，接近教师Resnet模型的分类精度。为了进一步减少使用KD训练的学生模型执行推理的计算和记忆要求，我们通过适当修改模型的计算图来利用动态定量量化。我们在我们专门构建的衣领的嵌入式系统和耳牌设备的嵌入式系统上实施了未量化和量化的版本，以实时和实时对动物行为进行分类。结果证实了KD和量化在分类准确性以及计算和记忆效率方面提高推理性能的有效性。

我们开发了一种基于端到端的深神经网络基于基于网络的基于网络行为，用于使用安装在可穿戴式衣领标签中的嵌入式系统的嵌入式系统上的加速度数据进行分类动物行为。该算法共同执行利用一组无限脉冲响应（IIR）和有限脉冲响应（FIR）滤波器与多层的感知响应（FIR）滤波器共同执行特征提取和分类。使用的IIR和FIR滤波器可以分别被视为特定类型的复发和卷积神经网络层。我们通过从放牧牛收集的两个现实世界数据集评估所提出的算法的性能。结果表明，该算法提供了良好的数据集和数据集良好的分类准确性，并且优于其最接近的竞争者，包括基于两个最先进的卷积神经网络的时间序列分类算法，这些分类算法显着更复杂。我们在套领标签的AIOT设备的嵌入式系统上实施了所提出的算法，以便对动物行为的原位分类。我们从加速度数据中实现了实时的原位行为，而不会对嵌入式系统的可用计算，内存或能量资源产生任何应变。

我们通过各种经常性神经网络（RNN）模型来研究使用加速度数据的动物行为的分类。我们评估所考虑模型的分类性能和复杂性，该模型具有长短短时间内存储器（LSTM）或具有不同深度和宽度的GET的经常性单元（GRU）架构，使用来自牛或耳朵标签获取的四个数据集。我们还包括两种最先进的卷积神经网络（CNN）基本的时间级分类模型在评估中。结果表明，与基于CNN的模型相比，基于RNN的模型可以实现相似或更高的分类精度，同时具有较少的计算和内存要求。我们还观察到，尽管不太复杂，但是Gru架构的模型通常以LSTM架构的架构优于架构。具有64个隐藏单元的单层单向GRU模型似乎在准确性和复杂性之间提供了良好的平衡，使其适合在边缘/嵌入式设备上实现。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

基于可穿戴传感器的人类动作识别（HAR）最近取得了杰出的成功。但是，基于可穿戴传感器的HAR的准确性仍然远远落后于基于视觉模式的系统（即RGB视频，骨架和深度）。多样化的输入方式可以提供互补的提示，从而提高HAR的准确性，但是如何利用基于可穿戴传感器的HAR的多模式数据的优势很少探索。当前，可穿戴设备（即智能手表）只能捕获有限的非视态模式数据。这阻碍了多模式HAR关联，因为它无法同时使用视觉和非视态模态数据。另一个主要挑战在于如何在有限的计算资源上有效地利用可穿戴设备上的多模式数据。在这项工作中，我们提出了一种新型的渐进骨骼到传感器知识蒸馏（PSKD）模型，该模型仅利用时间序列数据，即加速度计数据，从智能手表来解决基于可穿戴传感器的HAR问题。具体而言，我们使用来自教师（人类骨架序列）和学生（时间序列加速度计数据）模式的数据构建多个教师模型。此外，我们提出了一种有效的渐进学习计划，以消除教师和学生模型之间的绩效差距。我们还设计了一种称为自适应信心语义（ACS）的新型损失功能，以使学生模型可以自适应地选择其中一种教师模型或所需模拟的地面真实标签。为了证明我们提出的PSKD方法的有效性，我们对伯克利-MHAD，UTD-MHAD和MMACT数据集进行了广泛的实验。结果证实，与以前的基于单传感器的HAR方法相比，提出的PSKD方法具有竞争性能。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

深神经网络（DNN）已成为许多应用程序域（包括基于Web的服务）的重要组成部分。这些服务需要高吞吐量和（接近）实时功能，例如，对用户的请求做出反应或反应，或者按时处理传入数据流。但是，DNN设计的趋势是朝着具有许多层和参数的较大模型，以实现更准确的结果。尽管这些模型通常是预先训练的，但是在如此大的模型中，计算复杂性仍然相对显着，从而阻碍了低推断潜伏期。实施缓存机制是用于加速服务响应时间的典型系统工程解决方案。但是，传统的缓存通常不适合基于DNN的服务。在本文中，我们提出了一种端到端自动化解决方案，以根据其计算复杂性和推理延迟来提高基于DNN的服务的性能。我们的缓存方法采用了DNN模型和早期出口的自我介绍的思想。提出的解决方案是一种自动化的在线层缓存机制，如果提前出口之一中的高速缓存模型足够有信心，则可以在推理时间提早退出大型模型。本文的主要贡献之一是，我们将该想法实施为在线缓存，这意味着缓存模型不需要访问培训数据，并且仅根据运行时的传入数据执行，使其适用于应用程序使用预训练的模型。我们的实验在两个下游任务（面部和对象分类）上结果表明，平均而言，缓存可以将这些服务的计算复杂性降低到58 \％（就FLOPS计数而言），并将其推断潜伏期提高到46 \％精度低至零至零。

The rising popularity of intelligent mobile devices and the daunting computational cost of deep learning-based models call for efficient and accurate on-device inference schemes. We propose a quantization scheme that allows inference to be carried out using integer-only arithmetic, which can be implemented more efficiently than floating point inference on commonly available integer-only hardware. We also co-design a training procedure to preserve end-to-end model accuracy post quantization. As a result, the proposed quantization scheme improves the tradeoff between accuracy and on-device latency. The improvements are significant even on MobileNets, a model family known for run-time efficiency, and are demonstrated in ImageNet classification and COCO detection on popular CPUs.

我们从任务特定的BERT基教师模型执行知识蒸馏（KD）基准到各种学生模型：Bilstm，CNN，Bert-Tiny，Bert-Mini和Bert-small。我们的实验涉及在两个任务中分组的12个数据集：印度尼西亚语言中的文本分类和序列标记。我们还比较蒸馏的各个方面，包括使用Word Embeddings和未标记的数据增强的使用。我们的实验表明，尽管基于变压器的模型的普及程度不断上升，但是使用Bilstm和CNN学生模型，与修剪的BERT模型相比，使用Bilstm和CNN学生模型提供了性能和计算资源（CPU，RAM和存储）之间的最佳权衡。我们进一步提出了一些快速胜利，通过涉及涉及丢失功能，Word Embeddings和未标记的数据准备的简单选择的高效KD培训机制来生产小型NLP模型。

深神经网络（DNN）的庞大计算和记忆成本通常排除了它们在资源约束设备中的使用。将参数和操作量化为较低的位精确，为神经网络推断提供了可观的记忆和能量节省，从而促进了在边缘计算平台上使用DNN。量化DNN的最新努力采用了一系列技术，包括渐进式量化，步进尺寸的适应性和梯度缩放。本文提出了一种针对边缘计算的混合精度卷积神经网络（CNN）的新量化方法。我们的方法在模型准确性和内存足迹上建立了一个新的Pareto前沿，展示了一系列量化模型，可提供低于4.3 MB的权重（WGTS。）和激活（ACTS。）。我们的主要贡献是：（i）用张量学的学习精度，（ii）WGTS的靶向梯度修饰，（i）硬件感知的异质可区分量化。和行为。为了减轻量化错误，以及（iii）多相学习时间表，以解决从更新到学习的量化器和模型参数引起的学习不稳定性。我们证明了我们的技术在Imagenet数据集上的有效性，包括高效网络lite0（例如，WGTS。的4.14MB和ACTS。以67.66％的精度）和MobilenEtV2（例如3.51MB WGTS。 ％ 准确性）。

基于惯性数据的人类活动识别（HAR）是从智能手机到超低功率传感器的嵌入式设备上越来越扩散的任务。由于深度学习模型的计算复杂性很高，因此大多数嵌入式HAR系统基于简单且不那么精确的经典机器学习算法。这项工作弥合了在设备上的HAR和深度学习之间的差距，提出了一组有效的一维卷积神经网络（CNN），可在通用微控制器（MCUS）上部署。我们的CNN获得了将超参数优化与子字节和混合精确量化的结合，以在分类结果和记忆职业之间找到良好的权衡。此外，我们还利用自适应推断作为正交优化，以根据处理后的输入来调整运行时的推理复杂性，从而产生更灵活的HAR系统。通过在四个数据集上进行实验，并针对超低功率RISC-V MCU，我们表明（i）我们能够为HAR获得一组丰富的帕累托（Pareto）最佳CNN，以范围超过1个数量级记忆，潜伏期和能耗； （ii）由于自适应推断，我们可以从单个CNN开始得出> 20个运行时操作模式，分类分数的不同程度高达10％，并且推理复杂性超过3倍，并且内存开销有限； （iii）在四个基准中的三个基准中，我们的表现都超过了所有以前的深度学习方法，将记忆占用率降低了100倍以上。获得更好性能（浅层和深度）的少数方法与MCU部署不兼容。 （iv）我们所有的CNN都与推理延迟<16ms的实时式evice Har兼容。他们的记忆职业在0.05-23.17 kb中有所不同，其能源消耗为0.005和61.59 UJ，可在较小的电池供应中进行多年的连续操作。

复发性神经网络已被证明是高能量物理中许多任务的有效体系结构，因此已被广泛采用。然而，由于在现场可编程门阵列（FPGAS）上实现经常性体系结构的困难，它们在低延迟环境中的使用受到了限制。在本文中，我们介绍了HLS4ML框架内两种类型的复发性神经网络层（长期短期内存和封闭式复发单元）的实现。我们证明，我们的实施能够为小型和大型模型生产有效的设计，并且可以定制以满足推理潜伏期和FPGA资源的特定设计要求。我们显示了多个神经网络的性能和合成设计，其中许多是专门针对CERN大型强子对撞机的喷气识别任务的培训。

Recurrent neural networks (RNN) are the backbone of many text and speech applications. These architectures are typically made up of several computationally complex components such as; non-linear activation functions, normalization, bi-directional dependence and attention. In order to maintain good accuracy, these components are frequently run using full-precision floating-point computation, making them slow, inefficient and difficult to deploy on edge devices. In addition, the complex nature of these operations makes them challenging to quantize using standard quantization methods without a significant performance drop. We present a quantization-aware training method for obtaining a highly accurate integer-only recurrent neural network (iRNN). Our approach supports layer normalization, attention, and an adaptive piecewise linear (PWL) approximation of activation functions, to serve a wide range of state-of-the-art RNNs. The proposed method enables RNN-based language models to run on edge devices with $2\times$ improvement in runtime, and $4\times$ reduction in model size while maintaining similar accuracy as its full-precision counterpart.

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.

基于蒸馏的压缩网络的性能受蒸馏质量的管辖。大型网络（教师）到较小网络（学生）的次优蒸馏的原因主要归因于给定教师与学生对的学习能力中的差距。虽然很难蒸馏所有教师的知识，但可以在很大程度上控制蒸馏质量以实现更好的性能。我们的实验表明，蒸馏品质主要受教师响应的质量来限制，这反过来又受到其反应中存在相似信息的影响。训练有素的大容量老师在学习细粒度辨别性质的过程中丢失了类别之间的相似性信息。没有相似性信息导致蒸馏过程从一个例子 - 许多阶级学习减少到一个示例 - 一类学习，从而限制了教师的不同知识的流程。由于隐式假设只能蒸馏出灌输所知，而不是仅关注知识蒸馏过程，我们仔细审查了知识序列过程。我们认为，对于给定的教师 - 学生对，通过在训练老师的同时找到批量大小和时代数量之间的甜蜜点，可以提高蒸馏品。我们讨论了找到这种甜蜜点以便更好地蒸馏的步骤。我们还提出了蒸馏假设，以区分知识蒸馏和正则化效果之间的蒸馏过程的行为。我们在三个不同的数据集中进行我们的所有实验。

诸如智能手机和自治车辆的移动设备越来越依赖深神经网络（DNN）来执行复杂的推理任务，例如图像分类和语音识别等。但是，在移动设备上连续执行整个DNN可以快速消耗其电池。虽然任务卸载到云/边缘服务器可能会降低移动设备的计算负担，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致任务执行的显着延迟。最近，已经提出了基于分割计算（SC）的方法，其中DNN被分成在移动设备上和边缘服务器上执行的头部和尾模型。最终，这可能会降低带宽使用以及能量消耗。另一种叫做早期退出（EE）的方法，列车模型在架构中呈现多个“退出”，每个都提供越来越高的目标准确性。因此，可以根据当前条件或应用需求进行准确性和延迟之间的权衡。在本文中，我们通过呈现最相关方法的比较，对SC和EE策略进行全面的综合调查。我们通过提供一系列引人注目的研究挑战来结束论文。

One of the most efficient methods for model compression is hint distillation, where the student model is injected with information (hints) from several different layers of the teacher model. Although the selection of hint points can drastically alter the compression performance, conventional distillation approaches overlook this fact and use the same hint points as in the early studies. Therefore, we propose a clustering based hint selection methodology, where the layers of teacher model are clustered with respect to several metrics and the cluster centers are used as the hint points. Our method is applicable for any student network, once it is applied on a chosen teacher network. The proposed approach is validated in CIFAR-100 and ImageNet datasets, using various teacher-student pairs and numerous hint distillation methods. Our results show that hint points selected by our algorithm results in superior compression performance compared to state-of-the-art knowledge distillation algorithms on the same student models and datasets.

基于深度神经网络的时间序列分类方法很容易在UCR数据集上过度拟合，这是由这些数据集的几次拍摄问题引起的。因此，为了减轻进一步提高准确性的过度拟合现象，我们首先提出标记为IncepionTime（LSTIME）的标记平滑，这与软标签的信息相比，与硬标签相比。接下来，提出了通过LSTIME手动调整软标签，提出了成立时间（KDTIME）的知识蒸馏，以便通过教师模型自动生成软标签。最后，为了纠正来自教师模型的错误预测的软标签，提出了具有成立时间（KDCTIME）的校准的知识蒸馏，在其中包含两个可选的校准策略，即通过重新排序（KDCR）通过翻译（KDCT）和KDC的可选校准策略（KDC）（KDCR ）。实验结果表明，KDCTIME的准确性很有前景，而其推理时间比火箭速度快两个数量级，具有可接受的训练时间开销。