深度学习一直是近来最具破坏性的技术进步之一。深度学习模型的高性能以高度计算，存储和功率要求为代价。感知到加速和压缩这些模型以提高设备性能的直接需求，我们引入了Deeplite Neutrino，以便对模型的生产优化和Deeplite运行时进行介绍，以在基于ARM的平台上部署超低位量化模型。我们为ARMV7和ARMV8架构实施低级量化内核，可在32位和64位基于ARM的设备上进行部署。通过使用矢量化，并行化和平铺的有效实现，与具有XNNPACK后端的TensorFlow Lite相比，我们在分类和检测模型上分别实现了高达2倍和2.2倍的速度。与ONNX运行时相比，我们还获得了高达5倍和3.2倍的显着加速，分别用于分类和检测模型。

The rising popularity of intelligent mobile devices and the daunting computational cost of deep learning-based models call for efficient and accurate on-device inference schemes. We propose a quantization scheme that allows inference to be carried out using integer-only arithmetic, which can be implemented more efficiently than floating point inference on commonly available integer-only hardware. We also co-design a training procedure to preserve end-to-end model accuracy post quantization. As a result, the proposed quantization scheme improves the tradeoff between accuracy and on-device latency. The improvements are significant even on MobileNets, a model family known for run-time efficiency, and are demonstrated in ImageNet classification and COCO detection on popular CPUs.

近年来，边缘计算设备和人工智能应用程序的数量过多。在边缘计算中，决策过程和计算从服务器转移到边缘设备。因此，需要便宜和低电源设备。 FPGA具有非常低的功率，倾向于进行平行操作和用于运行卷积神经网络（CNN）的非常合适的设备，这是人工智能应用程序的基本单位。监视系统上的面部检测是安全市场上最期待的应用。在这项工作中，重新设计了Tinyyolov3体系结构并部署了面部检测。它是一种基于CNN的对象检测方法，并为嵌入式系统开发。 Pynq-Z2被选为具有低端Xilinx Zynq 7020 System-On-Chip（SOC）的目标板。重新设计的TinyYolov3模型是用Brevitas库以许多位宽度精度定义的，Brevitas库将基本的CNN层和激活以整数量化形式。然后，使用宽面数据集对模型进行了量化结构的训练。为了减少延迟和功耗，FPGA的ONCHIP内存被配置为整个网络参数的存储，最后一个激活函数被修改为重新定制的Harttanh而不是Sigmoid。同样，高度的并行性应用于FPGA的逻辑资源。使用FINN Framework和Finn-HLS库将模型转换为基于HLS的应用程序，其中包括C ++中的图层定义。后来，该模型被合成和部署。 SOC的CPU采用多线程机制，负责预处理，后处理和TCP/IP流操作。因此，使用4位精确模型可实现2.4瓦总板的功耗，每秒18帧（FPS）吞吐量和0.757地图精度率。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

本文介绍了有关如何架构，设计和优化深神经网络（DNN）的最新概述，以提高性能并保留准确性。该论文涵盖了一组跨越整个机器学习处理管道的优化。我们介绍两种类型的优化。第一个改变了DNN模型，需要重新训练，而第二个则不训练。我们专注于GPU优化，但我们认为提供的技术可以与其他AI推理平台一起使用。为了展示DNN模型优化，我们在流行的Edge AI推理平台（Nvidia Jetson Agx Xavier）上改善了光流的最先进的深层网络体系结构之一，RAFT ARXIV：2003.12039。

In recent years, image and video delivery systems have begun integrating deep learning super-resolution (SR) approaches, leveraging their unprecedented visual enhancement capabilities while reducing reliance on networking conditions. Nevertheless, deploying these solutions on mobile devices still remains an active challenge as SR models are excessively demanding with respect to workload and memory footprint. Despite recent progress on on-device SR frameworks, existing systems either penalize visual quality, lead to excessive energy consumption or make inefficient use of the available resources. This work presents NAWQ-SR, a novel framework for the efficient on-device execution of SR models. Through a novel hybrid-precision quantization technique and a runtime neural image codec, NAWQ-SR exploits the multi-precision capabilities of modern mobile NPUs in order to minimize latency, while meeting user-specified quality constraints. Moreover, NAWQ-SR selectively adapts the arithmetic precision at run time to equip the SR DNN's layers with wider representational power, improving visual quality beyond what was previously possible on NPUs. Altogether, NAWQ-SR achieves an average speedup of 7.9x, 3x and 1.91x over the state-of-the-art on-device SR systems that use heterogeneous processors (MobiSR), CPU (SplitSR) and NPU (XLSR), respectively. Furthermore, NAWQ-SR delivers an average of 3.2x speedup and 0.39 dB higher PSNR over status-quo INT8 NPU designs, but most importantly mitigates the negative effects of quantization on visual quality, setting a new state-of-the-art in the attainable quality of NPU-based SR.

由于神经网络变得更加强大，因此在现实世界中部署它们的愿望是一个上升的愿望;然而，神经网络的功率和准确性主要是由于它们的深度和复杂性，使得它们难以部署，尤其是在资源受限的设备中。最近出现了神经网络量化，以满足这种需求通过降低网络的精度来降低神经网络的大小和复杂性。具有较小和更简单的网络，可以在目标硬件的约束中运行神经网络。本文调查了在过去十年中开发的许多神经网络量化技术。基于该调查和神经网络量化技术的比较，我们提出了该地区的未来研究方向。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

Large language models (LLMs) show excellent performance but are compute- and memory-intensive. Quantization can reduce memory and accelerate inference. However, for LLMs beyond 100 billion parameters, existing methods cannot maintain accuracy or do not run efficiently on hardware. We propose SmoothQuant, a training-free, accuracy-preserving, and general-purpose post-training quantization (PTQ) solution to enable 8-bit weight, 8-bit activation (W8A8) quantization for LLMs that can be implemented efficiently. We observe that systematic outliers appear at fixed activation channels. Based on the fact that weights are easy to quantize while activations are not, SmoothQuant smooths the activation outliers by offline migrating the quantization difficulty from activations to weights with a mathematically equivalent transformation. SmoothQuant enables an INT8 quantization of both weights and activations for all the GEMMs in LLMs, including OPT-175B, BLOOM-176B, and GLM-130B. SmoothQuant has better hardware efficiency than existing techniques using mixed-precision activation quantization or weight-only quantization. We demonstrate up to 1.56x speedup and 2x memory reduction for LLMs with negligible loss in accuracy. Thanks to the hardware-friendly design, we integrate SmoothQuant into FasterTransformer, a state-of-the-art LLM serving framework, and achieve faster inference speed with half the number of GPUs compared to FP16. Our work offers a turn-key solution that reduces hardware costs and democratizes LLMs. Code is available at: https://github.com/mit-han-lab/smoothquant.

最近，使用卷积神经网络（CNNS）存在移动和嵌入式应用的爆炸性增长。为了减轻其过度的计算需求，开发人员传统上揭示了云卸载，突出了高基础设施成本以及对网络条件的强烈依赖。另一方面，强大的SOC的出现逐渐启用设备执行。尽管如此，低端和中层平台仍然努力充分运行最先进的CNN。在本文中，我们展示了Dyno，一种分布式推断框架，将两全其人的最佳框架结合起来解决了几个挑战，例如设备异质性，不同的带宽和多目标要求。启用这是其新的CNN特定数据包装方法，其在onloading计算时利用CNN的不同部分的精度需求的可变性以及其新颖的调度器，该调度器共同调谐分区点并在运行时传输数据精度适应其执行环境的推理。定量评估表明，Dyno优于当前最先进的，通过竞争对手的CNN卸载系统，在竞争对手的CNN卸载系统上提高吞吐量超过一个数量级，最高可达60倍的数据。

对将AI功能从云上的数据中心转移到边缘或最终设备的需求越来越大，这是由在智能手机，AR/VR设备，自动驾驶汽车和各种汽车上运行的快速实时AI的应用程序举例说明的。物联网设备。然而，由于DNN计算需求与边缘或最终设备上的计算能力之间的较大增长差距，这种转变受到了严重的阻碍。本文介绍了XGEN的设计，这是DNN的优化框架，旨在弥合差距。 XGEN将横切共同设计作为其一阶考虑。它的全栈AI面向AI的优化包括在DNN软件堆栈的各个层的许多创新优化，所有这些优化都以合作的方式设计。独特的技术使XGEN能够优化各种DNN，包括具有极高深度的DNN（例如Bert，GPT，其他变形金刚），并生成代码比现有DNN框架中的代码快几倍，同时提供相同的准确性水平。

胶囊网络（CAPSNET）是图像处理的新兴趋势。与卷积神经网络相反，CAPSNET不容易受到对象变形的影响，因为对象的相对空间信息在整个网络中保存。但是，它们的复杂性主要与胶囊结构和动态路由机制有关，这使得以其原始形式部署封闭式以由小型微控制器（MCU）供电的设备几乎是不合理的。在一个智力从云到边缘迅速转移的时代，这种高复杂性对在边缘的采用capsnets的采用构成了严重的挑战。为了解决此问题，我们提出了一个API，用于执行ARM Cortex-M和RISC-V MCUS中的量化capsnet。我们的软件内核扩展了ARM CMSIS-NN和RISC-V PULP-NN，以用8位整数作为操作数支持胶囊操作。随之而来的是，我们提出了一个框架，以执行CAPSNET的训练后量化。结果显示，记忆足迹的减少近75％，准确性损失范围从0.07％到0.18％。在吞吐量方面，我们的ARM Cortex-M API可以分别在仅119.94和90.60毫秒（MS）的中型胶囊和胶囊层执行（STM32H7555ZIT6U，Cortex-M7 @ 480 MHz）。对于GAP-8 SOC（RISC-V RV32IMCXPULP @ 170 MHz），延迟分别降至7.02和38.03 ms。

The recent breakthroughs in machine learning (ML) and deep learning (DL) have enabled many new capabilities across plenty of application domains. While most existing machine learning models require large memory and computing power, efforts have been made to deploy some models on resource-constrained devices as well. There are several systems that perform inference on the device, while direct training on the device still remains a challenge. On-device training, however, is attracting more and more interest because: (1) it enables training models on local data without needing to share data over the cloud, thus enabling privacy preserving computation by design; (2) models can be refined on devices to provide personalized services and cope with model drift in order to adapt to the changes of the real-world environment; and (3) it enables the deployment of models in remote, hardly accessible locations or places without stable internet connectivity. We summarize and analyze the-state-of-art systems research to provide the first survey of on-device training from a systems perspective.

在边缘设备上部署深层神经网络〜（DNNS）为现实世界任务提供了有效的解决方案。边缘设备已用于在不同域中有效地收集大量数据。DNN是用于数据处理和分析的有效工具。但是，由于计算资源和内存有限，在边缘设备上设计DNN是具有挑战性的。为了应对这一挑战，我们演示了最大78000 DNN加速器上边缘设备的对象检测系统。它分别与摄像头和用于图像采集和检测展览的LCD显示器集成了启动DNN的推断。床是一种简洁，有效且详细的解决方案，包括模型培训，量化，合成和部署。实验结果表明，床可以通过300 kb微小的DNN模型产生准确的检测，该模型仅需91.9 ms的推理时间和1.845 MJ的能量。

通过FPGA加速神经网络推断作为一种流行的选择，因为FPGA的重新配置性和高性能计算能力本质上满足了快速发展神经算法的计算需求。然而，FPGA（例如，Xilinx DPU）上的受欢迎的神经加速器主要利用DSP资源来构建其处理单元，而丰富的LUT资源没有充分利用。通过软件 - 硬件共同设计方法，在这项工作中，我们开发了一种基于FPGA的异构计算系统，用于神经网络加速度。从硬件角度来看，所提出的加速器由基于DSP和LUT的一般矩阵乘法（GEMM）计算核心组成，其以异质方式形成整个计算系统。基于DSP和LUT的GEMM核心计算为W.R.T统一指令集架构（ISA）和Unified Buffers。沿着神经网络推理路径的数据流，卷积/完全连接层的计算分为两部分，由基于DSP和LUT的GEMM核心异步处理。从软件的角度来看，我们在数学上和系统地模拟所提出的异构加速器的延迟和资源利用，关于不同的系统设计配置。通过利用加强学习技术，我们构建一个框架，实现目标异构加速器的设计规范的端到端选择和优化，包括工作量分裂策略，混合精度量化方案和DSP和LUT的资源分配 - 核。凭借提出的设计框架和异构计算系统，我们的设计优于最先进的混合和匹配设计，延迟减少了1.12-1.32倍，推理准确性更高。 N3H核心是开放的：https://github.com/elliothe/n3h_core。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

我们向开放的神经网络交换（ONNX）中间表示格式提出扩展，以表示任意量化的量化神经网络。我们首先通过利用整数剪辑来引入对现有基于ONX的量化格式低精度量化的支持，从而产生了两个新的向后兼容的变体：带有剪辑和量化clip-dequantize（QCDQ）格式的量化运算符格式。然后，我们引入了一种新型的高级ONNX格式，称为量化ONNX（QONNX），该格式介绍了三个新运算符 - Quant，Biporlquant和Trunc，以表示均匀的量化。通过保持QONNX IR高级和灵活性，我们可以针对更广泛的平台。我们还介绍了与QONNX合作的实用程序，以及其在FINN和HLS4ML工具链中使用的示例。最后，我们介绍了QONNX模型动物园，以共享低精确的量化神经网络。

多年来，通过广泛研究了与量化的神经网络。遗憾的是，在GPU上的有限精度支持（例如，INT1和INT4）上通常限制具有多样化的精度（例如，1位重量和2位激活）的事先努力。为了打破这种限制，我们介绍了第一个任意精密神经网络框架（APNN-TC），以充分利用对AMPERE GPU张量核心的量化优势。具体地，APNN-TC首先结合了一种新的仿真算法来支持与INT1计算基元和XOR /和BOOLEAN操作的任意短比特宽度计算。其次，APNN-TC集成了任意精密层设计，以有效地将仿真算法映射到带有新型批处理策略和专业内存组织的张量核心。第三，APNN-TC体现了一种新型任意精密NN设计，可最大限度地减少层次的内存访问，并进一步提高性能。广泛的评估表明，APNN-TC可以通过Cutlass内核和各种NN模型实现显着加速，例如Reset和VGG。

各种图形渲染和处理操作需要深度图。当在分布式系统中执行此类操作时，经常需要深度图流量流，并且在大多数情况下需要快速执行压缩，这就是为什么经常使用视频编解码器的原因。标准视频编解码器的硬件实现甚至可以在资源约束的设备上实现相对较高的分辨率和帧率组合，但是不幸的是，这些实现当前不支持RGB+深度扩展。但是，它们可以通过将深度图填充到RGB或YUV框架中来用于深度压缩。我们使用深度图包装的组合研究深度图压缩，然后使用标准视频编解码器进行编码。我们表明，深度图被包装的精度对由包装方案的组合和限制性压缩造成的误差产生了巨大而无处不在的影响。因此，我们提出了一个由神经网络模型辅助的可变精度包装方案，该模型可以预测给定比特率约束的每个深度图的最佳精度。我们证明该模型的产生几乎最佳的预测，并且可以将其集成到具有现代硬件的高架开销的游戏引擎中。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。