Model compression via quantization and sparsity enhancement has gained an immense interest to enable the deployment of deep neural networks (DNNs) in resource-constrained edge environments. Although these techniques have shown promising results in reducing the energy, latency and memory requirements of the DNNs, their performance in non-ideal real-world settings (such as in the presence of hardware faults) is yet to be completely understood. In this paper, we investigate the impact of bit-flip and stuck-at faults on activation-sparse quantized DNNs (QDNNs). We show that a high level of activation sparsity comes at the cost of larger vulnerability to faults. For instance, activation-sparse QDNNs exhibit up to 17.32% lower accuracy than the standard QDNNs. We also establish that one of the major cause of the degraded accuracy is sharper minima in the loss landscape for activation-sparse QDNNs, which makes them more sensitive to perturbations in the weight values due to faults. Based on this observation, we propose the mitigation of the impact of faults by employing a sharpness-aware quantization (SAQ) training scheme. The activation-sparse and standard QDNNs trained with SAQ have up to 36.71% and 24.76% higher inference accuracy, respectively compared to their conventionally trained equivalents. Moreover, we show that SAQ-trained activation-sparse QDNNs show better accuracy in faulty settings than standard QDNNs trained conventionally. Thus the proposed technique can be instrumental in achieving sparsity-related energy/latency benefits without compromising on fault tolerance.

深度神经网络（DNN）越来越多地部署在诸如个人医疗设备和自动驾驶汽车等安全关键系统中。在基于DNN的系统中，由于DNN推理的故障可能导致错误预测和安全危险，因此错误弹性是一个顶级优先级。对于资源受限边缘设备对延迟关键的DNN推断，它是非应用传统的冗余基于故障公差技术。在本文中，我们提出了合适的方法，通过部署细粒度可训练的激活功能来增强DNN的误差弹性的低成本方法。主要思想是通过神经元 - 明亮的激活功能精确地绑定每个单独神经元的激活值，以便它可以防止网络中的故障传播。为避免复杂的DNN模型重新培训，我们建议将精度培训和恢复力培训解耦，并开发轻量级训练阶段，以了解这些激活功能的精确界限。关于广泛使用的DNN模型（如AlexNet，VGG16和Reset50）的实验结果表明，装配优惠的最先进的研究（如Clip-Act和Ranger）在增强DNN误差弹性方面，在添加可管理的同时增加了各种故障率运行时和内存空间开销。

网络量化是一种有效的压缩方法，以降低模型大小和计算成本。尽管压缩比高，但训练低精度模型由于量化的离散和不可分散的性质，难以实现相当大的性能下降。最近，提出了清晰度感知最小化（SAM），以通过同时最小化损耗值和损耗曲率来改善模型的泛化性能。在本文中，我们设计了锐度感知量化（SAQ）方法来培训量化模型，从而导致更好的泛化性能。此外，由于每个层与网络的损耗和损耗锐度有不同的贡献，我们进一步设计了一种有效的方法，该方法学习配置生成器以自动确定每层的位宽度配置，鼓励平面区域的较低位，反之亦然尖锐的景观，同时促进最小值的平整度，以实现更积极的量化。对CiFar-100和Imagenet的广泛实验显示了所提出的方法的优越性。例如，我们的量化Reset-18具有55.1X比特操作（BOP）减少甚至在前1个精度方面均匀地优于0.7％。代码可在https://github.com/zhuang-group/saq获得。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

深度神经网络（DNN）的记录断裂性能具有沉重的参数化，导致外部动态随机存取存储器（DRAM）进行存储。 DRAM访问的禁用能量使得在资源受限的设备上部署DNN是不普遍的，呼叫最小化重量和数据移动以提高能量效率。我们呈现SmartDeal（SD），算法框架，以进行更高成本的存储器存储/访问的较低成本计算，以便在推理和培训中积极提高存储和能量效率。 SD的核心是一种具有结构约束的新型重量分解，精心制作以释放硬件效率潜力。具体地，我们将每个重量张量分解为小基矩阵的乘积以及大的结构稀疏系数矩阵，其非零被量化为-2的功率。由此产生的稀疏和量化的DNN致力于为数据移动和重量存储而大大降低的能量，因为由于稀疏的比特 - 操作和成本良好的计算，恢复原始权重的最小开销。除了推理之外，我们采取了另一次飞跃来拥抱节能培训，引入创新技术，以解决培训时出现的独特障碍，同时保留SD结构。我们还设计专用硬件加速器，充分利用SD结构来提高实际能源效率和延迟。我们在不同的设置中对多个任务，模型和数据集进行实验。结果表明：1）应用于推理，SD可实现高达2.44倍的能效，通过实际硬件实现评估; 2）应用于培训，储存能量降低10.56倍，减少了10.56倍和4.48倍，与最先进的训练基线相比，可忽略的准确性损失。我们的源代码在线提供。

随着最近在移动和边缘设备上部署神经网络模型的需求，希望提高模型对看不见的测试数据的普遍性，以及提高模型在固定点量化下的稳健性，以实现有效部署。然而，最大限度地减少培训损失在泛化和量化性能上提供了一些保证。在这项工作中，我们通过在改善模型对界限重量扰动的框架下理论上统一它们的理论上统一并最小化模型权重的稳健性并最小化了模型权重的框架的框架，同时履行泛化和量化性能。因此，我们提出了HESSIAN增强的鲁棒优化方法，以通过基于梯度的训练过程最小化Hessian特征值，同时提高泛化和量化性能。 HERO在测试准确性上高达3.8％，高度高达30％，在80％的培训标签扰动下的准确性高达30％，以及各种精度范围内的最佳训练后量化精度，包括在SGD上的高精度改善> 10％在各种数据集上的共同模型架构培训模型。

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

我们提出了HashTAG，这是一种在检测性能上具有可证实范围的深度神经网络（DNN）对故障注射攻击的高精度检测的第一个框架。故障注射攻击中最近的文献显示了尺寸翻转引起的严重DNN精度劣化。在这种情况下，攻击者通过篡改程序的DRAM存储器来在DNN执行期间改变几个权重位。要检测运行时位翻转，HashTag在部署之前从良性DNN中提取唯一签名。签名后来用于验证DNN的完整性，并验证推动输出在速度。我们提出了一种新颖的敏感性分析方案，可准确地将最脆弱的DNN层识别到故障注射攻击。然后通过使用低碰撞散列函数对易受攻击层中的基础重量进行编码来构建DNN签名。部署DNN时，在推理期间从目标层提取新的哈希，并与地面真相签名进行比较。 HASHTAG采用了一种轻量级方法，可确保嵌入式平台上的低开销和实时故障检测。对各种DNN的最先进的位翻转攻击的广泛评估在攻击检测和执行开销方面，展示了HashTAG的竞争优势。

在当今智能网络物理系统时代，由于它们在复杂的现实世界应用中的最新性能，深度神经网络（DNN）已无处不在。这些网络的高计算复杂性转化为增加的能源消耗，这是在资源受限系统中部署大型DNN的首要障碍。通过培训后量化实现的定点（FP）实现通常用于减少这些网络的能源消耗。但是，FP中的均匀量化间隔将数据结构的位宽度限制为大值，因为需要以足够的分辨率来表示大多数数字并避免较高的量化误差。在本文中，我们利用了关键见解，即（在大多数情况下）DNN的权重和激活主要集中在零接近零，只有少数几个具有较大的幅度。我们提出了Conlocnn，该框架是通过利用来实现节能低精度深度卷积神经网络推断的框架：（1）重量的不均匀量化，以简化复杂的乘法操作的简化； （2）激活值之间的相关性，可以在低成本的情况下以低成本进行部分补偿，而无需任何运行时开销。为了显着从不均匀的量化中受益，我们还提出了一种新颖的数据表示格式，编码低精度二进制签名数字，以压缩重量的位宽度，同时确保直接使用编码的权重来使用新颖的多重和处理 - 积累（MAC）单元设计。

通过移除昂贵的乘法操作并将连续权重量化成低比特离散值来减少计算复杂性，与传统的神经网络相比，这是快速且节能的低比特离散值。然而，现有的换档网络对重量初始化敏感，并且还产生由消失梯度和重量率冻结问题引起的降级性能。为了解决这些问题，我们提出了一种低点重新参数化，这是一种用于训练低位换档网络的新技术。我们的方法以符号稀疏偏移3倍的方式分解离散参数。以这种方式，它有效地学习了一个低比特网络，其权重动力学类似于全精密网络并对重量初始化不敏感。我们所提出的培训方法推动移位神经网络的界限，并以在想象中的前1个精度方面显示出3位换档网络。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

由于神经网络变得更加强大，因此在现实世界中部署它们的愿望是一个上升的愿望;然而，神经网络的功率和准确性主要是由于它们的深度和复杂性，使得它们难以部署，尤其是在资源受限的设备中。最近出现了神经网络量化，以满足这种需求通过降低网络的精度来降低神经网络的大小和复杂性。具有较小和更简单的网络，可以在目标硬件的约束中运行神经网络。本文调查了在过去十年中开发的许多神经网络量化技术。基于该调查和神经网络量化技术的比较，我们提出了该地区的未来研究方向。

深神经网络（DNN）的庞大计算和记忆成本通常排除了它们在资源约束设备中的使用。将参数和操作量化为较低的位精确，为神经网络推断提供了可观的记忆和能量节省，从而促进了在边缘计算平台上使用DNN。量化DNN的最新努力采用了一系列技术，包括渐进式量化，步进尺寸的适应性和梯度缩放。本文提出了一种针对边缘计算的混合精度卷积神经网络（CNN）的新量化方法。我们的方法在模型准确性和内存足迹上建立了一个新的Pareto前沿，展示了一系列量化模型，可提供低于4.3 MB的权重（WGTS。）和激活（ACTS。）。我们的主要贡献是：（i）用张量学的学习精度，（ii）WGTS的靶向梯度修饰，（i）硬件感知的异质可区分量化。和行为。为了减轻量化错误，以及（iii）多相学习时间表，以解决从更新到学习的量化器和模型参数引起的学习不稳定性。我们证明了我们的技术在Imagenet数据集上的有效性，包括高效网络lite0（例如，WGTS。的4.14MB和ACTS。以67.66％的精度）和MobilenEtV2（例如3.51MB WGTS。 ％ 准确性）。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

人们通常认为，修剪网络不仅会降低深网的计算成本，而且还可以通过降低模型容量来防止过度拟合。但是，我们的工作令人惊讶地发现，网络修剪有时甚至会加剧过度拟合。我们报告了出乎意料的稀疏双后裔现象，随着我们通过网络修剪增加模型稀疏性，首先测试性能变得更糟（由于过度拟合），然后变得更好（由于过度舒适），并且终于变得更糟（由于忘记了有用的有用信息）。尽管最近的研究集中在模型过度参数化方面，但他们未能意识到稀疏性也可能导致双重下降。在本文中，我们有三个主要贡献。首先，我们通过广泛的实验报告了新型的稀疏双重下降现象。其次，对于这种现象，我们提出了一种新颖的学习距离解释，即$ \ ell_ {2} $稀疏模型的学习距离（从初始化参数到最终参数）可能与稀疏的双重下降曲线良好相关，并更好地反映概括比最小平坦。第三，在稀疏的双重下降的背景下，彩票票假设中的获胜票令人惊讶地并不总是赢。

Model quantization enables the deployment of deep neural networks under resource-constrained devices. Vector quantization aims at reducing the model size by indexing model weights with full-precision embeddings, i.e., codewords, while the index needs to be restored to 32-bit during computation. Binary and other low-precision quantization methods can reduce the model size up to 32$\times$, however, at the cost of a considerable accuracy drop. In this paper, we propose an efficient framework for ternary quantization to produce smaller and more accurate compressed models. By integrating hyperspherical learning, pruning and reinitialization, our proposed Hyperspherical Quantization (HQ) method reduces the cosine distance between the full-precision and ternary weights, thus reducing the bias of the straight-through gradient estimator during ternary quantization. Compared with existing work at similar compression levels ($\sim$30$\times$, $\sim$40$\times$), our method significantly improves the test accuracy and reduces the model size.

During the deployment of deep neural networks (DNNs) on edge devices, many research efforts are devoted to the limited hardware resource. However, little attention is paid to the influence of dynamic power management. As edge devices typically only have a budget of energy with batteries (rather than almost unlimited energy support on servers or workstations), their dynamic power management often changes the execution frequency as in the widely-used dynamic voltage and frequency scaling (DVFS) technique. This leads to highly unstable inference speed performance, especially for computation-intensive DNN models, which can harm user experience and waste hardware resources. We firstly identify this problem and then propose All-in-One, a highly representative pruning framework to work with dynamic power management using DVFS. The framework can use only one set of model weights and soft masks (together with other auxiliary parameters of negligible storage) to represent multiple models of various pruning ratios. By re-configuring the model to the corresponding pruning ratio for a specific execution frequency (and voltage), we are able to achieve stable inference speed, i.e., keeping the difference in speed performance under various execution frequencies as small as possible. Our experiments demonstrate that our method not only achieves high accuracy for multiple models of different pruning ratios, but also reduces their variance of inference latency for various frequencies, with minimal memory consumption of only one model and one soft mask.

强大的量化提高了网络对各种实现的公差，从而允许在不同的位宽度或零散的低精度算术中可靠的输出。在这项工作中，我们进行了广泛的分析以确定量化误差的来源，并提出了三个见解以鲁棒化的网络，以防止量化：减少误差传播，范围夹紧误差最小化以及遗传的稳健性，以抗量化。基于这些见解，我们提出了两种称为对称正则化（Symreg）和饱和非线性（SATNL）的新方法。在培训期间应用提出的方法可以增强对现有训练后量化（PTQ）和量化感知培训（QAT）算法的量化的任意神经网络的鲁棒性各种条件。我们对CIFAR和Imagenet数据集进行了广泛的研究，并验证了所提出的方法的有效性。

深神经网络（DNNS）的研究重点是提高现实部署的性能和准确性，导致新模型，例如尖峰神经网络（SNNS）以及优化技术，例如压缩网络的量化和修剪。但是，这些创新模型和优化技术的部署引入了可能的可靠性问题，这是DNNS在安全至关重要应用中广泛使用的支柱，例如自主驾驶。此外，缩放技术节点具有同时发生多个故障的相关风险，在最新的弹性分析中未解决。为了对DNN的更好可靠性分析，我们提出了Enpheeph，这是用于尖峰和压缩DNN的断层注入框架。 Enpheeph框架可以在专用硬件设备（例如GPU）上进行优化的执行，同时提供完整的自定义性来研究不同的故障模型，从而模拟各种可靠性约束和用例。因此，这些故障可以在SNN上执行，以及对基础代码进行最小化修改的压缩网络，这一壮举是其他最先进的工具无法实现的。为了评估我们的Enpheeph框架，我们通过不同的压缩技术分析了不同DNN和SNN模型的弹性。通过注射随机和增加的故障，我们表明DNN可以显示出每个参数的断层率低至7 x 10 ^（-7）故障的准确性降低，精度下降高于40％。当执行ENPHEEPH时，运行时间开销不到基线执行时间的20％，同时执行100 000个故障，至少比最新的框架低10倍，从而使Enpheeph Future-Proffure-Future-Profforn用于复杂的故障注入方案。我们在https://github.com/alexei95/enpheeph上发布Enpheeph。

With time, machine learning models have increased in their scope, functionality and size. Consequently, the increased functionality and size of such models requires high-end hardware to both train and provide inference after the fact. This paper aims to explore the possibilities within the domain of model compression, discuss the efficiency of combining various levels of pruning and quantization, while proposing a quality measurement metric to objectively decide which combination is best in terms of minimizing the accuracy delta and maximizing the size reduction factor.