我们为深神经网络引入了两个低位训练后训练量化（PTQ）方法，该方法满足硬件要求，并且不需要长期重新训练。两次量化的能力可以将通过量化和去除化引入的乘法转换为许多有效加速器采用的位移位。但是，两次量表因子的候选值较少，这会导致更多的舍入或剪辑错误。我们提出了一种新型的两个PTQ框架，称为RAPQ，该框架被动态调整了整个网络的两个尺度，而不是静态地确定它们一层。从理论上讲，它可以权衡整个网络的舍入错误和剪辑错误。同时，RAPQ中的重建方法基于每个单元的BN信息。对Imagenet的广泛实验证明了我们提出的方法的出色性能。没有铃铛和哨声，REPQ在RESNET-18和MOBILENETV2上的准确度可以达到65％和48％，分别具有INT2激活INT4的精度。我们是第一个为低位PTQ提出更受限制但对硬件友好型的两次量化方案的人，并证明它可以达到与SOTA PTQ方法几乎相同的准确性。该代码已发布。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

训练后量化（PTQ）由于其在部署量化的神经网络方面的便利性而引起了越来越多的关注。 Founding是量化误差的主要来源，仅针对模型权重进行了优化，而激活仍然使用圆形至最终操作。在这项工作中，我们首次证明了精心选择的激活圆形方案可以提高最终准确性。为了应对激活舍入方案动态性的挑战，我们通过简单的功能适应圆形边框，以在推理阶段生成圆形方案。边界函数涵盖了重量误差，激活错误和传播误差的影响，以消除元素误差的偏差，从而进一步受益于模型的准确性。我们还使边境意识到全局错误，以更好地拟合不同的到达激活。最后，我们建议使用Aquant框架来学习边界功能。广泛的实验表明，与最先进的作品相比，Aquant可以通过可忽略不计的开销来取得明显的改进，并将Resnet-18的精度提高到2位重量和激活后训练后量化下的精度最高60.3 \％。

As a neural network compression technique, post-training quantization (PTQ) transforms a pre-trained model into a quantized model using a lower-precision data type. However, the prediction accuracy will decrease because of the quantization noise, especially in extremely low-bit settings. How to determine the appropriate quantization parameters (e.g., scaling factors and rounding of weights) is the main problem facing now. Many existing methods determine the quantization parameters by minimizing the distance between features before and after quantization. Using this distance as the metric to optimize the quantization parameters only considers local information. We analyze the problem of minimizing local metrics and indicate that it would not result in optimal quantization parameters. Furthermore, the quantized model suffers from overfitting due to the small number of calibration samples in PTQ. In this paper, we propose PD-Quant to solve the problems. PD-Quant uses the information of differences between network prediction before and after quantization to determine the quantization parameters. To mitigate the overfitting problem, PD-Quant adjusts the distribution of activations in PTQ. Experiments show that PD-Quant leads to better quantization parameters and improves the prediction accuracy of quantized models, especially in low-bit settings. For example, PD-Quant pushes the accuracy of ResNet-18 up to 53.08% and RegNetX-600MF up to 40.92% in weight 2-bit activation 2-bit. The code will be released at https://github.com/hustvl/PD-Quant.

无数据量化是一项将神经网络压缩到低位的任务，而无需访问原始培训数据。大多数现有的无数据量化方法导致由于不准确的激活剪辑范围和量化误差而导致严重的性能降解，尤其是对于低位宽度。在本文中，我们提出了一种简单而有效的无数据量化方法，具有准确的激活剪辑和自适应批准化。精确的激活剪辑（AAC）通过利用完全精确模型的准确激活信息来提高模型的准确性。自适应批准归一化首先建议通过自适应更新批处理层次来解决分布更改中的量化误差。广泛的实验表明，所提出的无数据量化方法可以产生令人惊讶的性能，在Imagenet数据集上达到RESNET18的64.33％的TOP-1准确性，绝对改进的3.7％优于现有的最新方法。

目前，神经网络模型的量化方法主要分为训练后量化（PTQ）和量化意识培训（QAT）。培训后量化仅需要一小部分数据即可完成量化过程，但是其定量模型的性能不如量化意识培训。本文提出了一种新颖的量化方法，称为注意弹。该方法给出了参数w有机会映射到所有可能的量化值，而不仅仅是在量化过程中w附近的两个量化值。被映射到不同量化值的概率与量化值和W之间的距离负相关，并随高斯函数衰减。此外，本文使用有损耗的编码长度作为衡量标准，将位宽度分配给模型的不同层以解决混合精度量化的问题，从而有效避免了解决组合优化问题。本文还对不同模型进行了定量实验，结果证实了该方法的有效性。对于RESNET18和MOBILENETV2，本文提出的后培训量化仅需要1,024个培训数据和10分钟即可完成量化过程，这可以在量化意识培训的情况下实现量化性能。

由于神经网络变得更加强大，因此在现实世界中部署它们的愿望是一个上升的愿望;然而，神经网络的功率和准确性主要是由于它们的深度和复杂性，使得它们难以部署，尤其是在资源受限的设备中。最近出现了神经网络量化，以满足这种需求通过降低网络的精度来降低神经网络的大小和复杂性。具有较小和更简单的网络，可以在目标硬件的约束中运行神经网络。本文调查了在过去十年中开发的许多神经网络量化技术。基于该调查和神经网络量化技术的比较，我们提出了该地区的未来研究方向。

模型二进制化是一种压缩神经网络并加速其推理过程的有效方法。但是，1位模型和32位模型之间仍然存在显着的性能差距。实证研究表明，二进制会导致前进和向后传播中的信息损失。我们提出了一个新颖的分布敏感信息保留网络（DIR-NET），该网络通过改善内部传播和引入外部表示，将信息保留在前后传播中。 DIR-NET主要取决于三个技术贡献：（1）最大化二进制（IMB）的信息：最小化信息损失和通过重量平衡和标准化同时同时使用权重/激活的二进制误差； （2）分布敏感的两阶段估计器（DTE）：通过共同考虑更新能力和准确的梯度来通过分配敏感的软近似来保留梯度的信息； （3）代表性二进制 - 意识蒸馏（RBD）：通过提炼完整精确和二元化网络之间的表示来保留表示信息。 DIR-NET从统一信息的角度研究了BNN的前进过程和后退过程，从而提供了对网络二进制机制的新见解。我们的DIR-NET中的三种技术具有多功能性和有效性，可以在各种结构中应用以改善BNN。关于图像分类和客观检测任务的综合实验表明，我们的DIR-NET始终优于主流和紧凑型体系结构（例如Resnet，vgg，vgg，EfficityNet，darts和mobilenet）下最新的二进制方法。此外，我们在现实世界中的资源有限设备上执行DIR-NET，该设备可实现11.1倍的存储空间和5.4倍的速度。

已经证明量化是提高深神经网络推理效率的重要方法（DNN）。然而，在将DNN权重或从高精度格式从高精度格式量化到它们量化的对应物的同时，在准确性和效率之间取得良好的平衡仍然具有挑战性。我们提出了一种称为弹性显着位量化（ESB）的新方法，可控制量化值的有效位数，以获得具有更少资源的更好的推理准确性。我们设计一个统一的数学公式，以限制ESB的量化值，具有灵活的有效位。我们还引入了分布差对准器（DDA），以定量对齐全精密重量或激活值和量化值之间的分布。因此，ESB适用于各种重量和DNN的激活的各种钟形分布，从而保持高推理精度。从较少的量化值中受益于较少的量化值，ESB可以降低乘法复杂性。我们将ESB实施为加速器，并定量评估其对FPGA的效率。广泛的实验结果表明，ESB量化始终如一地优于最先进的方法，并分别通过AlexNet，Resnet18和MobileNetv2的平均精度提高4.78％，1.92％和3.56％。此外，ESB作为加速器可以在Xilinx ZCU102 FPGA平台上实现1K LUT的10.95 GOPS峰值性能。与FPGA上的CPU，GPU和最先进的加速器相比，ESB加速器可以分别将能效分别提高到65倍，11x和26倍。

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.

最近，低精确的深度学习加速器（DLA）由于其在芯片区域和能源消耗方面的优势而变得流行，但是这些DLA上的低精确量化模型导致严重的准确性降解。达到高精度和高效推断的一种方法是在低精度DLA上部署高精度神经网络，这很少被研究。在本文中，我们提出了平行的低精确量化（PALQUANT）方法，该方法通过从头开始学习并行低精度表示来近似高精度计算。此外，我们提出了一个新型的循环洗牌模块，以增强平行低精度组之间的跨组信息通信。广泛的实验表明，PALQUANT的精度和推理速度既优于最先进的量化方法，例如，对于RESNET-18网络量化，PALQUANT可以获得0.52 \％的准确性和1.78 $ \ times $ speedup同时获得在最先进的2位加速器上的4位反片机上。代码可在\ url {https://github.com/huqinghao/palquant}中获得。

为了弥合深度神经网络的复杂性和硬件能力之间不断增加的差距，网络量化引起了越来越多的研究关注。混合精度量化的最新趋势利用硬件的多个位宽度算术运算来释放网络量化的全部潜力。然而，这也导致困难的整数编程配方，并且即使使用各种放松，大多数现有方法也能使用极其耗时的搜索过程。我们建议优化一个代理度量，而不是解决原始整数编程的问题，而是与整数编程的丢失高度相关的网络正交性的概念，而是用线性编程易于优化。该方法通过数量级的秩序减少了搜索时间和所需的数据量，符合量化精度几乎没有妥协。具体而言，我们在Reset-18上获得72.08％的前1个精度，6.7MB不需要任何搜索迭代。鉴于我们的算法的高效率和低数据依赖性，我们将其用于训练后量化，该量化仅在MobileNetv2上实现71.27％的前1个精度，只有1.5MB。我们的代码可在https://github.com/mac-automl/oppq上获得。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

量化是压缩神经网络最有效的方法之一，这在卷积神经网络（CNNS）上取得了巨大的成功。最近，视觉变压器在计算机视觉中表现出很大的潜力。然而，先前的训练后量化方法在视觉变压器上不良好地执行，即使在8位量化中也导致高精度下降超过1％。因此，我们分析视觉变压器的量化问题。我们观察Softmax和Gelu功能与高斯分布完全不同的激活值的分布。我们还观察到，诸如MSE和余弦距离之类的常见量化度量是不准确的以确定最佳缩放因子。在本文中，我们提出了双均匀的量化方法来减少这些激活值上的量化误差。我们建议使用Hessian的指导指标来评估不同的缩放因子，这提高了校准的准确性，成本小。为了实现Vision变形金刚的快速量化，我们开发了一个有效的框架PTQ4VIT。实验表明，量化的视觉变压器在想象集分类任务上实现了近无损预测准确度（在8位量化的8％量值下降0.5％）。

深神经网络（DNN）的庞大计算和记忆成本通常排除了它们在资源约束设备中的使用。将参数和操作量化为较低的位精确，为神经网络推断提供了可观的记忆和能量节省，从而促进了在边缘计算平台上使用DNN。量化DNN的最新努力采用了一系列技术，包括渐进式量化，步进尺寸的适应性和梯度缩放。本文提出了一种针对边缘计算的混合精度卷积神经网络（CNN）的新量化方法。我们的方法在模型准确性和内存足迹上建立了一个新的Pareto前沿，展示了一系列量化模型，可提供低于4.3 MB的权重（WGTS。）和激活（ACTS。）。我们的主要贡献是：（i）用张量学的学习精度，（ii）WGTS的靶向梯度修饰，（i）硬件感知的异质可区分量化。和行为。为了减轻量化错误，以及（iii）多相学习时间表，以解决从更新到学习的量化器和模型参数引起的学习不稳定性。我们证明了我们的技术在Imagenet数据集上的有效性，包括高效网络lite0（例如，WGTS。的4.14MB和ACTS。以67.66％的精度）和MobilenEtV2（例如3.51MB WGTS。 ％ 准确性）。

最近，生成的数据无量子化作为一种​​实用的方法，将神经网络压缩到低位宽度而不访问真实数据。它通过利用其全精密对应物的批量归一化（BN）统计来生成数据来量化网络。然而，我们的研究表明，在实践中，BN统计的合成数据在分布和样品水平时严重均匀化，这导致量化网络的严重劣化。本文提出了一种通用不同的样本生成（DSG）方案，用于生成无数据的训练后量化和量化感知培训，以减轻有害的均质化。在我们的DSG中，我们首先将统计对齐缩写为BN层中的功能，以放宽分配约束。然后，我们加强特定BN层对不同样品的损失影响，并抑制了生成过程中样品之间的相关性，分别从统计和空间角度分别多样化样本。广泛的实验表明，对于大规模的图像分类任务，我们的DSG可以始终如一地优于各种神经结构上的现有数据无数据量化方法，尤其是在超低比特宽度下（例如，在W4A4设置下的22％的增益下）。此外，由我们的DSG引起的数据多样化引起了各种量化方法的一般增益，证明了多样性是无数据量化的高质量合成数据的重要特性。

It has been witnessed that learned image compression has outperformed conventional image coding techniques and tends to be practical in industrial applications. One of the most critical issues that need to be considered is the non-deterministic calculation, which makes the probability prediction cross-platform inconsistent and frustrates successful decoding. We propose to solve this problem by introducing well-developed post-training quantization and making the model inference integer-arithmetic-only, which is much simpler than presently existing training and fine-tuning based approaches yet still keeps the superior rate-distortion performance of learned image compression. Based on that, we further improve the discretization of the entropy parameters and extend the deterministic inference to fit Gaussian mixture models. With our proposed methods, the current state-of-the-art image compression models can infer in a cross-platform consistent manner, which makes the further development and practice of learned image compression more promising.

为了以计算有效的方式部署深层模型，经常使用模型量化方法。此外，由于新的硬件支持混合的位算术操作，最近对混合精度量化（MPQ）的研究开始通过搜索网络中不同层和模块的优化位低宽，从而完全利用表示的能力。但是，先前的研究主要是在使用强化学习，神经体系结构搜索等的昂贵方案中搜索MPQ策略，或者简单地利用部分先验知识来进行位于刻度分配，这可能是有偏见和优势的。在这项工作中，我们提出了一种新颖的随机量化量化（SDQ）方法，该方法可以在更灵活，更全球优化的空间中自动学习MPQ策略，并具有更平滑的梯度近似。特别是，可区分的位宽参数（DBP）被用作相邻位意选择之间随机量化的概率因素。在获取最佳MPQ策略之后，我们将进一步训练网络使用熵感知的bin正则化和知识蒸馏。我们广泛评估了不同硬件（GPU和FPGA）和数据集的多个网络的方法。 SDQ的表现优于所有最先进的混合或单个精度量化，甚至比较低的位置量化，甚至比各种重新网络和Mobilenet家族的全精度对应物更好，这表明了我们方法的有效性和优势。

神经网络量化能够在边缘设备上部署模型。对其硬件效率的基本要求是平衡器是硬件友好的：均匀，对称，以及两个阈值的功率。据我们所知，目前的训练后量化方法不同时支持所有这些约束。在这项工作中，我们引入了硬件友好的训练量化（HPTQ）框架，通过协同组合几种已知的量化方法来解决这个问题。我们对四个任务进行了大规模的研究：在各种网络架构上进行分类，对象检测，语义分割和姿势估计。我们广泛的实验表明，可以在硬件友好的限制下获得竞争结果。

当量化神经网络以进行有效推断时，低位整数是效率的首选格式。但是，低位浮点数具有额外的自由度，分配了一些以指数级的工作。本文深入研究了神经网络推断的浮点格式的这种好处。我们详细介绍了可以为FP8格式做出的选择，包括对Mantissa和Exponent的位数的重要选择，并通过分析显示这些选择可以提供更好的性能。然后，我们展示了这些发现如何转化为真实网络，为FP8模拟提供有效的实现，以及一种新算法，该算法能够学习比例参数和FP8格式中的指数位数。我们的主要结论是，在对各种网络进行培训后量化时，就准确性而言，FP8格式优于INT8，并且指数位数量的选择是由网络中异常值的严重性驱动的。我们还通过量化感知训练进行实验，在训练网络以降低离群值的效果时，格式的差异消失。