定制硬件（HW）的快速进展，用于加速深神经网络（DNN）的推广速度。以前，软MAX层不是DNN加速HW的主要关注点，因为其部分在多层的感知或卷积神经网络中相对较小。然而，由于注意机制广泛用于各种现代DNN，因此软墨幅层的成本效益实现变得非常重要。在本文中，我们提出了两种方法来近似软MAX计算，这是基于查找表（LUT）的使用。所需的LUT大小非常小（约700字节），因为如果将归一化应用于输入，则Softmax的分子和分母的范围是稳定的。我们通过各种基准（Coco17，WMT14，WMT17，胶水）验证了通过不同AI任务（对象检测，机器翻译，情感分析和语义等效）和DNN型号（DETR，Transformer，BERT）的提出的技术（Detr，Transformer，Bert）。我们表明，8位近似允许获得可接受的精度损失低于1.0 \％$。

Recurrent neural networks (RNN) are the backbone of many text and speech applications. These architectures are typically made up of several computationally complex components such as; non-linear activation functions, normalization, bi-directional dependence and attention. In order to maintain good accuracy, these components are frequently run using full-precision floating-point computation, making them slow, inefficient and difficult to deploy on edge devices. In addition, the complex nature of these operations makes them challenging to quantize using standard quantization methods without a significant performance drop. We present a quantization-aware training method for obtaining a highly accurate integer-only recurrent neural network (iRNN). Our approach supports layer normalization, attention, and an adaptive piecewise linear (PWL) approximation of activation functions, to serve a wide range of state-of-the-art RNNs. The proposed method enables RNN-based language models to run on edge devices with $2\times$ improvement in runtime, and $4\times$ reduction in model size while maintaining similar accuracy as its full-precision counterpart.

诸如GELU，LIZESION和SOFTMAX之类的非线性操作是变压器模型的必备且昂贵的构建块。有几种先前的作品简化了这些操作，使用查找表或整数计算，但是这种近似值遭受了更低的精度或相当大的硬件成本，并且长期延迟。本文提出了一种精确且硬件友好的近似框架，用于高效变压器推断。我们的框架采用简单的神经网络作为通用近似器，其结构等效地转换成LUT。拟议的框架，称为NN-LUT可以准确地更换流行伯特模型中的所有非线性操作，在面积，功耗和延迟中显着降低。

基于变压器的神经模型在许多AI应用中使用。培训这些模型很昂贵，因为它需要大量的GPU资源和较长的持续时间。这是具有挑战性的，因为诸如句子之类的典型数据具有可变的长度，而变压器的计算模式比卷积神经网络更为复杂。现有系统要么仅专注于模型推理，要么仅针对BERT样编码器模型进行优化。在本文中，我们提出了LightSeq2，该系统是为GPU上的一般变压器模型加速培训的系统。我们提出了一系列针对变压器模型的特定计算流量和内存访问模式量身定制的GPU优化技术。 LightSeq2支持许多模型体系结构，包括BERT（仅编码），GPT（仅解码器），变压器（编码器编码器）和视觉变压器。我们对各种模型和基准测试的实验表明，LightSeq2始终比不同GPU上的先前系统更快（1.4-3.5倍）。特别是，与大型公共机器翻译基准（WMT14英语 - 德国人）上的现有系统相比，它获得了308％的培训速度。

量化是一种降低DNN模型的计算和记忆成本的技术，DNN模型越来越大。现有的量化解决方案使用固定点整数或浮点类类型，这些量子的好处有限，因为两者都需要更多位以保持原始型号的准确性。另一方面，可变长度量化使用低位量化对正常值和高精度的分数对异常值的一部分。即使这项工作带来了算法的好处，但由于长度的编码和解码，它也引入了重要的硬件开销。在这项工作中，我们提出了一种称为ANT的固定长度自适应数值数据类型，以通过微小的硬件开销实现低位量化。我们的数据类型ANT利用了两项关键创新来利用DNN模型中的张贴内和调整的自适应机会。首先，我们提出了一种特定的数据类型Flint，该数据类型结合了Float和INT的优势，以适应张量中不同值的重要性。其次，我们提出了一个自适应框架，该框架根据其分布特性选择每个张量的最佳类型。我们为蚂蚁设计了统一的处理元件体系结构，并显示其与现有DNN加速器的易于集成。我们的设计导致2.8 $ \ times $速度和2.5 $ \ times $ $ $ $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $比最先进的量化加速器提高了能源效率。

The rising popularity of intelligent mobile devices and the daunting computational cost of deep learning-based models call for efficient and accurate on-device inference schemes. We propose a quantization scheme that allows inference to be carried out using integer-only arithmetic, which can be implemented more efficiently than floating point inference on commonly available integer-only hardware. We also co-design a training procedure to preserve end-to-end model accuracy post quantization. As a result, the proposed quantization scheme improves the tradeoff between accuracy and on-device latency. The improvements are significant even on MobileNets, a model family known for run-time efficiency, and are demonstrated in ImageNet classification and COCO detection on popular CPUs.

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

与变压器架构相关的自我监督学习的最新进展使自然语言处理（NLP）表现出极低的困惑。如此强大的模型需要越来越多的模型大小，因此需要大量的计算和内存足迹。在本文中，我们为大规模生成语言模型提出了一个有效的推理框架。作为减少模型大小的关键，我们通过不均匀的量化方法量化权重。然后，我们提出的称为NUQMM的量化矩阵乘法加速了，该内核可以在压缩比和准确性之间进行广泛的权衡。我们提出的NUQMM不仅减少了每个GPU的延迟，还减少了大LMS的全部推断，因为高压缩比（通过低位量化）减轻了最小所需的GPU数量。我们证明NUQMM可以将GPT-3（175b）模型的推理速度加速约14.4倍，并将能源消耗降低93％。

大型语言模型已被广泛采用，但需要大量的GPU记忆进行推理。我们为变形金刚中的进料前进和注意力投影层开发了一个INT8矩阵乘法的过程，该过程将推断所需的记忆减少了一半，同时保留了完整的精度性能。使用我们的方法，可以加载175b参数16/32位检查点，转换为INT8，并立即使用而不会降解。通过理解和围绕变压器语言模型中高度系统的新兴特征的属性来理解和工作，这些属性主导着注意力和变压器预测性能。为了应对这些功能，我们开发了两部分量化程序，llm.int8（）。我们首先将矢量量化与矩阵乘法中每个内部产品的单独归一化常数一起使用，以量化大多数特征。但是，对于新兴的离群值，我们还包括一种新的混合精液分解方案，该方案将离群特征尺寸分离为16位矩阵乘法，而在8位中仍超过99.9％的值乘以99.9％。使用llm.int8（），我们从经验上显示，可以在LLM中执行最多175B参数的推断，而无需任何性能降解。这个结果使此类模型更容易访问，例如，可以在带有消费者GPU的单个服务器上使用Opt-175b/Bloom。

网络量化显着降低了模型推理复杂性，并且已广泛用于现实世界部署。然而，大多数现有量化方法已经开发并主要测试并测试卷积神经网络（CNN），并且当应用于基于变压器的架构时遭受严重的降级。在这项工作中，我们提出了一种系统方法，以降低量化变压器的性能下降和推理复杂性。特别是，我们提出了两种规模（PTS）的权力以以硬件友好的方式处理LAbernorm输入的严重频道间变化。此外，我们提出了可以维持注意力映射的极端不均匀分布的log-int-softmax（LIS），同时通过使用4位量化和比特速度操作员简化推断。关于各种变压器的架构和基准测试的综合实验表明，我们的方法在使用Leference Maps中使用甚至更低的位宽度时，我们的方法始终以前的性能。例如，我们在Imagenet上达到85.17％的高精度，51.4地图与Coco上的级联面罩R-CNN（Swin-S）。据我们所知，我们是第一个在完全量化的视觉变压器上实现可比准确性降级（〜1％）的最初。代码可在https://github.com/linyang-zhh/fq-vit使用。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

We introduce a method to train Quantized Neural Networks (QNNs) -neural networks with extremely low precision (e.g., 1-bit) weights and activations, at run-time. At traintime the quantized weights and activations are used for computing the parameter gradients. During the forward pass, QNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations. As a result, power consumption is expected to be drastically reduced. We trained QNNs over the MNIST, CIFAR-10, SVHN and ImageNet datasets. The resulting QNNs achieve prediction accuracy comparable to their 32-bit counterparts. For example, our quantized version of AlexNet with 1-bit weights and 2-bit activations achieves 51% top-1 accuracy. Moreover, we quantize the parameter gradients to 6-bits as well which enables gradients computation using only bit-wise operation. Quantized recurrent neural networks were tested over the Penn Treebank dataset, and achieved comparable accuracy as their 32-bit counterparts using only 4-bits. Last but not least, we programmed a binary matrix multiplication GPU kernel with which it is possible to run our MNIST QNN 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The QNN code is available online.

基于变压器的模型用于实现各种深度学习任务的最新性能。由于基于变压器的模型具有大量参数，因此在下游任务上进行微调是计算密集型和饥饿的能量。此类型号的自动混合精液FP32/FP16微调以前已用于降低计算资源需求。但是，随着低位整数背面传播的最新进展，有可能进一步减少计算和记忆脚印。在这项工作中，我们探索了一种新颖的整数训练方法，该方法使用整数算术来进行正向传播和梯度计算，对基于变压器的模型中的线性，卷积，层和层和嵌入层的梯度计算。此外，我们研究了各种整数位宽度的效果，以找到基于变压器模型的整数微调所需的最小位宽度。我们使用整数层对流行的下游任务进行了微调和VIT模型。我们表明，16位整数模型与浮点基线性能匹配。将位宽度降低到10，我们观察到0.5平均得分下降。最后，将位宽度的进一步降低到8的平均得分下降为1.7分。

视觉变压器（VIT）在各种计算机视觉应用程序上都达到了最先进的性能。但是，这些模型具有相当大的存储和计算开销，使其部署和对边缘设备的有效推断充满了挑战。量化是降低模型复杂性的一种有前途的方法。不幸的是，现有的量化VIT的努力是模拟量化（又称假量化），该量化在推理过程中仍然是浮点算术的，因此对模型加速度无济于事。在本文中，我们提出了I-VIT，即VIT的仅整数量化方案，以使VIT能够使用整数操作和位移动和无浮点操作执行整个推理的计算图。在I-VIT中，线性操作（例如，矩阵和密集）遵循具有二元算术的仅整数管道，而非线性操作（例如，SoftMax，Gelu和Layernorm和Layernorm）近似于提议的轻量级近似算术方法。特别是，I-Vit应用了所提出的ShiftMax和ShiftGelu，它们旨在使用整数位移动来近似相应的浮点操作。我们在各种基准模型上评估了I-VIT，结果表明，仅整数INT8量化具有与完整精确（FP）基线相当（甚至更高）的精度。此外，我们在GPU的整数算术单元上使用TVM进行实用的硬件部署，与FP模型相比，实现了3.72〜4.11 $ \ times $推理的速度。

With the development of deep learning and Transformer-based pre-trained models like BERT, the accuracy of many NLP tasks has been dramatically improved. However, the large number of parameters and computations also pose challenges for their deployment. For instance, using BERT can improve the predictions in the financial sentiment analysis (FSA) task but slow it down, where speed and accuracy are equally important in terms of profits. To address these issues, we first propose an efficient and lightweight BERT (ELBERT) along with a novel confidence-window-based (CWB) early exit mechanism. Based on ELBERT, an innovative method to accelerate text processing on the GPU platform is developed, solving the difficult problem of making the early exit mechanism work more effectively with a large input batch size. Afterward, a fast and high-accuracy FSA system is built. Experimental results show that the proposed CWB early exit mechanism achieves significantly higher accuracy than existing early exit methods on BERT under the same computation cost. By using this acceleration method, our FSA system can boost the processing speed by nearly 40 times to over 1000 texts per second with sufficient accuracy, which is nearly twice as fast as FastBERT, thus providing a more powerful text processing capability for modern trading systems.

变压器被认为是自2018年以来最重要的深度学习模型之一，部分原因是它建立了最先进的记录（SOTA）记录，并有可能取代现有的深神经网络（DNNS）。尽管取得了显着的胜利，但变压器模型的延长周转时间是公认的障碍。序列长度的多样性施加了其他计算开销，其中需要将输入零填充到批处理中的最大句子长度，以容纳并行计算平台。本文针对现场可编程的门阵列（FPGA），并提出了一个连贯的序列长度自适应算法 - 硬件与变压器加速度的共同设计。特别是，我们开发了一个适合硬件的稀疏注意操作员和长度意识的硬件资源调度算法。提出的稀疏注意操作员将基于注意力的模型的复杂性降低到线性复杂性，并减轻片外记忆流量。提出的长度感知资源硬件调度算法动态分配了硬件资源以填充管道插槽并消除了NLP任务的气泡。实验表明，与CPU和GPU实施相比，我们的设计准确度损失很小，并且具有80.2 $ \ times $和2.6 $ \ times $速度，并且比先进的GPU加速器高4 $ \ times $ $ $ \ times $通过Cublas Gemm优化。

代表低精度的深度神经网络（DNN）是一种有希望的方法来实现有效的加速和记忆力。以前的方法在低精度中培训DNN的方法通常在重量更新期间在高精度中保持重量的重量副本。由于低精度数字系统与学习算法之间的复杂相互作用，直接具有低精度重量的培训导致精度下降。为了解决这个问题，我们开发了一个共同设计的低精度训练框架，被称为LNS-MADAM，我们共同设计了对数号系统（LNS）和乘法权重算法（MADAM）。我们证明了LNS-MADAM在重量更新期间导致低量化误差，即使精度有限，也导致稳定的收敛。我们进一步提出了LNS-MADAM的硬件设计，可以解决实现LNS计算的有效数据路径的实际挑战。我们的实现有效地降低了LNS - 整数转换和部分总和累积所产生的能量开销。实验结果表明，LNS-MADAM为全精密对应物达到了可比的准确性，只有8位对流行的计算机视觉和自然语言任务。与全精密浮点实施相比，LNS-MADAM将能耗降低超过90。

当今的大多数计算机视觉管道都是围绕深神经网络构建的，卷积操作需要大部分一般的计算工作。与标准算法相比，Winograd卷积算法以更少的MAC计算卷积，当使用具有2x2尺寸瓷砖$ F_2 $的版本时，3x3卷积的操作计数为2.25倍。即使收益很大，Winograd算法具有较大的瓷砖尺寸，即$ f_4 $，在提高吞吐量和能源效率方面具有更大的潜力，因为它将所需的MAC降低了4倍。不幸的是，具有较大瓷砖尺寸的Winograd算法引入了数值问题，这些问题阻止了其在整数域特异性加速器上的使用和更高的计算开销，以在空间和Winograd域之间转换输入和输出数据。为了解锁Winograd $ F_4 $的全部潜力，我们提出了一种新颖的Tap-Wise量化方法，该方法克服了使用较大瓷砖的数值问题，从而实现了仅整数的推断。此外，我们介绍了以功率和区域效率的方式处理Winograd转换的自定义硬件单元，并展示了如何将此类自定义模块集成到工业级，可编程的DSA中。对大量最先进的计算机视觉基准进行了广泛的实验评估表明，Tap-Wise量化算法使量化的Winograd $ F_4 $网络几乎与FP32基线一样准确。 Winograd增强的DSA可实现高达1.85倍的能源效率，最高可用于最先进的细分和检测网络的端到端速度高达1.83倍。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

数据剪辑对于降低量化操作中的噪声和提高量化感知训练（QAT）的准确性至关重要。当前的实践依靠启发式方法来设置剪接阈值标量，不能证明是最佳的。我们提出了最佳的剪切张量和向量（octav），这是一种递归算法，以确定MSE最佳的剪切标量。 OCTAV源自Fast Newton-Raphson方法，在QAT例程的每一个迭代中，都可以随时发现最佳的剪切标量。因此，QAT算法在每个步骤中都具有可证明的最小量化噪声配制。此外，我们揭示了QAT中常见梯度估计技术的局限性，并提出了幅度感知的分化，以进一步提高准确性。在实验上，启用了八度的QAT在多个任务上实现了最先进的精度。其中包括在ImageNet上进行训练，并在ImageNet上进行重新注册和Mobilenets，以及使用BERT模型进行微调，其中启用八叶速度的QAT始终以低精度（4到6位）保持准确性。我们的结果不需要对基线训练配方进行任何修改，除了在适当的情况下插入量化操作。