网络量化显着降低了模型推理复杂性，并且已广泛用于现实世界部署。然而，大多数现有量化方法已经开发并主要测试并测试卷积神经网络（CNN），并且当应用于基于变压器的架构时遭受严重的降级。在这项工作中，我们提出了一种系统方法，以降低量化变压器的性能下降和推理复杂性。特别是，我们提出了两种规模（PTS）的权力以以硬件友好的方式处理LAbernorm输入的严重频道间变化。此外，我们提出了可以维持注意力映射的极端不均匀分布的log-int-softmax（LIS），同时通过使用4位量化和比特速度操作员简化推断。关于各种变压器的架构和基准测试的综合实验表明，我们的方法在使用Leference Maps中使用甚至更低的位宽度时，我们的方法始终以前的性能。例如，我们在Imagenet上达到85.17％的高精度，51.4地图与Coco上的级联面罩R-CNN（Swin-S）。据我们所知，我们是第一个在完全量化的视觉变压器上实现可比准确性降级（〜1％）的最初。代码可在https://github.com/linyang-zhh/fq-vit使用。

Post-training quantization (PTQ), which only requires a tiny dataset for calibration without end-to-end retraining, is a light and practical model compression technique. Recently, several PTQ schemes for vision transformers (ViTs) have been presented; unfortunately, they typically suffer from non-trivial accuracy degradation, especially in low-bit cases. In this paper, we propose RepQ-ViT, a novel PTQ framework for ViTs based on quantization scale reparameterization, to address the above issues. RepQ-ViT decouples the quantization and inference processes, where the former employs complex quantizers and the latter employs scale-reparameterized simplified quantizers. This ensures both accurate quantization and efficient inference, which distinguishes it from existing approaches that sacrifice quantization performance to meet the target hardware. More specifically, we focus on two components with extreme distributions: post-LayerNorm activations with severe inter-channel variation and post-Softmax activations with power-law features, and initially apply channel-wise quantization and log$\sqrt{2}$ quantization, respectively. Then, we reparameterize the scales to hardware-friendly layer-wise quantization and log2 quantization for inference, with only slight accuracy or computational costs. Extensive experiments are conducted on multiple vision tasks with different model variants, proving that RepQ-ViT, without hyperparameters and expensive reconstruction procedures, can outperform existing strong baselines and encouragingly improve the accuracy of 4-bit PTQ of ViTs to a usable level.

在本文中，我们提出了一种称为Q-Vit的视觉变压器（VIT）的完全可区分的量化方法，其中两个量化标度和位宽度都是可学习的参数。具体而言，根据我们的观察，即VIT显示出不同的量化鲁棒性，我们利用头部宽度的位宽度来挤压Q-Vit的大小，同时保持性能。此外，我们提出了一种名为“可切换量表”的新技术，以解决量级和位宽度的联合训练中的收敛问题。这样，Q-Vit将VIT量化的限制推向了3位，而不会降低性能。此外，我们分析了VIT的每个体系结构成分的量化鲁棒性，并表明多头自我注意力（MSA）和高斯误差线性单元（GELU）是VIT量化的关键方面。这项研究提供了一些有关VIT量化的进一步研究的见解。在不同的VIT模型（例如DEIT和SWIN Transformer）上进行的广泛实验显示了我们量化方法的有效性。特别是，我们的方法优于最先进的统一量化方法，而Deit微型的量化方法则优于1.5％。

量化被疯狂地作为模型压缩技术，该技术通过将神经网络中的浮点重量和激活转换为低位整数来获得有效的模型。量化已被证明可以很好地在卷积神经网络和基于变压器的模型上运行。尽管这些模型具有符合性的典型性，但最近的工作表明，基于MLP的模型能够在从计算机视觉，NLP到3D点云等各种任务上取得可比的结果，同时由于并行性和网络简单性，可以实现更高的吞吐量。但是，正如我们在论文中所显示的那样，将量化直接应用于基于MLP的模型将导致明显的准确性降解。基于我们的分析，两个主要问题说明了准确性差距：1）基于MLP的模型中的激活范围可能太大而无法量化，而2）基于MLP的模型中的特定组件对量化很敏感。因此，我们建议1）应用分层以控制激活的量化范围，2）使用有界的激活功能，3）在激活上应用百分位量化，4）使用我们的改进的模块，称为多个令牌混合MLP，5）应用线性态度敏感操作的不对称量化器。我们的Q-MLP模型配备了上述技术，可以使用8位均匀量化（型号30 MB）和78.47％的Imagenet获得79.68％的精度，而4位量化（15 MB）。

量化是压缩神经网络最有效的方法之一，这在卷积神经网络（CNNS）上取得了巨大的成功。最近，视觉变压器在计算机视觉中表现出很大的潜力。然而，先前的训练后量化方法在视觉变压器上不良好地执行，即使在8位量化中也导致高精度下降超过1％。因此，我们分析视觉变压器的量化问题。我们观察Softmax和Gelu功能与高斯分布完全不同的激活值的分布。我们还观察到，诸如MSE和余弦距离之类的常见量化度量是不准确的以确定最佳缩放因子。在本文中，我们提出了双均匀的量化方法来减少这些激活值上的量化误差。我们建议使用Hessian的指导指标来评估不同的缩放因子，这提高了校准的准确性，成本小。为了实现Vision变形金刚的快速量化，我们开发了一个有效的框架PTQ4VIT。实验表明，量化的视觉变压器在想象集分类任务上实现了近无损预测准确度（在8位量化的8％量值下降0.5％）。

视觉变压器（VIT）在各种计算机视觉应用程序上都达到了最先进的性能。但是，这些模型具有相当大的存储和计算开销，使其部署和对边缘设备的有效推断充满了挑战。量化是降低模型复杂性的一种有前途的方法。不幸的是，现有的量化VIT的努力是模拟量化（又称假量化），该量化在推理过程中仍然是浮点算术的，因此对模型加速度无济于事。在本文中，我们提出了I-VIT，即VIT的仅整数量化方案，以使VIT能够使用整数操作和位移动和无浮点操作执行整个推理的计算图。在I-VIT中，线性操作（例如，矩阵和密集）遵循具有二元算术的仅整数管道，而非线性操作（例如，SoftMax，Gelu和Layernorm和Layernorm）近似于提议的轻量级近似算术方法。特别是，I-Vit应用了所提出的ShiftMax和ShiftGelu，它们旨在使用整数位移动来近似相应的浮点操作。我们在各种基准模型上评估了I-VIT，结果表明，仅整数INT8量化具有与完整精确（FP）基线相当（甚至更高）的精度。此外，我们在GPU的整数算术单元上使用TVM进行实用的硬件部署，与FP模型相比，实现了3.72〜4.11 $ \ times $推理的速度。

视觉变压器最近在各种计算机视觉任务上取得了巨大成功。然而，他们的高模型复杂性使部署在资源约束设备上的挑战。量化是一种有效的方法，可以减少模型复杂性，并且可以在模型部署期间解决数据隐私和安全问题的无数据量化已获得广泛的兴趣。不幸的是，所有现有的方法（例如BN正则化）都是为卷积神经网络而设计的，不能应用于具有明显不同模型体系结构的视觉变压器。在本文中，我们提出了PSAQ-VIT，这是视觉变压器的贴片相似性无数据量化框架，以根据视觉变压器的唯一属性来生成“现实”样品，以校准量化参数。具体而言，我们分析了自我发场模块的特性，并在处理高斯噪声和真实图像的处理中揭示了一般差异（斑块相似性）。以上见解指导我们设计一个相对值度量，以优化高斯噪声以近似真实的图像，然后将其用于校准量化参数。对各种基准进行了广泛的实验和消融研究，以验证PSAQ-VIT的有效性，这甚至可以优于实现DATA驱动的方法。

在设计高性能变压器方面有兴趣爆发。虽然变形金刚提供了显着的性能改进，但由于存储在背部经历期间梯度计算所需的所有中间激活，尤其是长序列，虽然变形金刚提供了显着的性能改进，但培训这种网络非常内存。为此，我们展示了MESA，一个用于变压器的节省记忆资源有效的训练框架。具体而言，MESA在转发过程中使用精确的激活，同时存储低精度版本的激活，以减少训练期间的内存消耗。然后在返回传播期间对低精度激活进行拆分以计算梯度。此外，为了解决多头自我注意层中的异构激活分布，我们提出了一种头脑激活量化策略，其基于每个头的统计量来量化激活，以最小化近似误差。为了进一步提高训练效率，我们通过运行估计来学习量化参数。更重要的是，通过在采用更大的批量大小或缩放模型尺寸时重新投资所保存的内存，我们可以进一步提高受约束的计算资源下的性能。关于Imagenet的广泛实验，CiFar-100和ADE20K表明，MESA可以在训练期间减少一半的内存足迹，同时实现可比或更好的性能。代码在https://github.com/zhuang-group/mesa获得

The complicated architecture and high training cost of vision transformers urge the exploration of post-training quantization. However, the heavy-tailed distribution of vision transformer activations hinders the effectiveness of previous post-training quantization methods, even with advanced quantizer designs. Instead of tuning the quantizer to better fit the complicated activation distribution, this paper proposes NoisyQuant, a quantizer-agnostic enhancement for the post-training activation quantization performance of vision transformers. We make a surprising theoretical discovery that for a given quantizer, adding a fixed Uniform noisy bias to the values being quantized can significantly reduce the quantization error under provable conditions. Building on the theoretical insight, NoisyQuant achieves the first success on actively altering the heavy-tailed activation distribution with additive noisy bias to fit a given quantizer. Extensive experiments show NoisyQuant largely improves the post-training quantization performance of vision transformer with minimal computation overhead. For instance, on linear uniform 6-bit activation quantization, NoisyQuant improves SOTA top-1 accuracy on ImageNet by up to 1.7%, 1.1% and 0.5% for ViT, DeiT, and Swin Transformer respectively, achieving on-par or even higher performance than previous nonlinear, mixed-precision quantization.

无数据量化可以潜在地解决模型压缩中的数据隐私和安全问题，因此已得到广泛研究。最近，PSAQ-VIT设计了一个相对值度量，贴片相似性，以生成预训练视觉变压器（VIT）的数据，从而实现了VIT的第一次无数据量化尝试。在本文中，我们提出了PSAQ-VIT V2，这是在PSAQ-VIT之上建立的更准确，无数据的VIT的更准确和无数据的量化框架。更具体地说，按照PSAQ-VIT中的贴片相似性度量，我们引入了一种自适应的教师学生策略，该策略促进了生成的样品的持续环节演变和量化的模型（学生），并在竞争性和互动方式下以竞争性和互动方式进行。完整的模型（教师），因此显着提高了量化模型的准确性。此外，没有辅助类别指导，我们采用了任务和模型独立的先验信息，使通用方案与广泛的视觉任务和模型兼容。对图像分类，对象检测和语义分割任务和PSAQ-VIT V2进行了各种模型进行了广泛的实验，并具有幼稚的量化策略，并且没有访问现实世界数据，从而始终取得了竞争性的结果，显示出潜力作为强大的基线的潜力关于VIT的无数据量化。例如，使用SWIN-S作为（骨干）模型，8位量化达到ImageNet上的82.13 TOP-1精度，50.9盒AP和可可的44.1 Mask AP，而ADE20K上的47.2 miOU。我们希望准确，一般的PSAQ-VIT V2可以作为涉及敏感数据的现实应用程序中的潜在和实践解决方案。代码将在以下网址发布并合并：https：//github.com/zkkli/psaq-vit。

视觉变压器（VIT）正在出现，并且在计算机视觉任务中的准确性显着提高。但是，它们的复杂架构和巨大的计算/存储需求对新硬件加速器设计方法施加了紧迫的需求。这项工作提出了基于提议的混合速度量化的FPGA感知自动VIT加速框架。据我们所知，这是探索模型量化的第一个基于FPGA的VIT加速框架。与最先进的VIT量化工作（仅无硬件加速的算法方法）相比，我们的量化在相同的位宽度下可实现0.47％至1.36％的TOP-1精度。与32位浮点基线FPGA加速器相比，我们的加速器在框架速率上的提高约为5.6倍（即56.8 fps vs. 10.0 fps），对于DeitBase的ImagEnet数据集，精度下降了0.71％。

在本文中，我们通过利用视觉数据中的空间稀疏性提出了一种新的模型加速方法。我们观察到，视觉变压器中的最终预测仅基于最有用的令牌的子集，这足以使图像识别。基于此观察，我们提出了一个动态的令牌稀疏框架，以根据加速视觉变压器的输入逐渐和动态地修剪冗余令牌。具体而言，我们设计了一个轻量级预测模块，以估计给定当前功能的每个令牌的重要性得分。该模块被添加到不同的层中以层次修剪冗余令牌。尽管该框架的启发是我们观察到视觉变压器中稀疏注意力的启发，但我们发现自适应和不对称计算的想法可能是加速各种体系结构的一般解决方案。我们将我们的方法扩展到包括CNN和分层视觉变压器在内的层次模型，以及更复杂的密集预测任务，这些任务需要通过制定更通用的动态空间稀疏框架，并具有渐进性的稀疏性和非对称性计算，用于不同空间位置。通过将轻质快速路径应用于少量的特征，并使用更具表现力的慢速路径到更重要的位置，我们可以维护特征地图的结构，同时大大减少整体计算。广泛的实验证明了我们框架对各种现代体系结构和不同视觉识别任务的有效性。我们的结果清楚地表明，动态空间稀疏为模型加速提供了一个新的，更有效的维度。代码可从https://github.com/raoyongming/dynamicvit获得

Adder Neural Network (AdderNet) provides a new way for developing energy-efficient neural networks by replacing the expensive multiplications in convolution with cheaper additions (i.e.l1-norm). To achieve higher hardware efficiency, it is necessary to further study the low-bit quantization of AdderNet. Due to the limitation that the commutative law in multiplication does not hold in l1-norm, the well-established quantization methods on convolutional networks cannot be applied on AdderNets. Thus, the existing AdderNet quantization techniques propose to use only one shared scale to quantize both the weights and activations simultaneously. Admittedly, such an approach can keep the commutative law in the l1-norm quantization process, while the accuracy drop after low-bit quantization cannot be ignored. To this end, we first thoroughly analyze the difference on distributions of weights and activations in AdderNet and then propose a new quantization algorithm by redistributing the weights and the activations. Specifically, the pre-trained full-precision weights in different kernels are clustered into different groups, then the intra-group sharing and inter-group independent scales can be adopted. To further compensate the accuracy drop caused by the distribution difference, we then develop a lossless range clamp scheme for weights and a simple yet effective outliers clamp strategy for activations. Thus, the functionality of full-precision weights and the representation ability of full-precision activations can be fully preserved. The effectiveness of the proposed quantization method for AdderNet is well verified on several benchmarks, e.g., our 4-bit post-training quantized adder ResNet-18 achieves an 66.5% top-1 accuracy on the ImageNet with comparable energy efficiency, which is about 8.5% higher than that of the previous AdderNet quantization methods.

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

当量化神经网络以进行有效推断时，低位整数是效率的首选格式。但是，低位浮点数具有额外的自由度，分配了一些以指数级的工作。本文深入研究了神经网络推断的浮点格式的这种好处。我们详细介绍了可以为FP8格式做出的选择，包括对Mantissa和Exponent的位数的重要选择，并通过分析显示这些选择可以提供更好的性能。然后，我们展示了这些发现如何转化为真实网络，为FP8模拟提供有效的实现，以及一种新算法，该算法能够学习比例参数和FP8格式中的指数位数。我们的主要结论是，在对各种网络进行培训后量化时，就准确性而言，FP8格式优于INT8，并且指数位数量的选择是由网络中异常值的严重性驱动的。我们还通过量化感知训练进行实验，在训练网络以降低离群值的效果时，格式的差异消失。

量化图像超分辨率的深卷积神经网络大大降低了它们的计算成本。然而，现有的作品既不患有4个或低位宽度的超低精度的严重性能下降，或者需要沉重的微调过程以恢复性能。据我们所知，这种对低精度的漏洞依赖于特征映射值的两个统计观察。首先，特征贴图值的分布每个通道和每个输入图像都变化显着变化。其次，特征映射具有可以主导量化错误的异常值。基于这些观察，我们提出了一种新颖的分布感知量化方案（DAQ），其促进了超低精度的准确训练量化。 DAQ的简单功能确定了具有低计算负担的特征图和权重的动态范围。此外，我们的方法通过计算每个通道的相对灵敏度来实现混合精度量化，而无需涉及任何培训过程。尽管如此，量化感知培训也适用于辅助性能增益。我们的新方法优于最近的培训甚至基于培训的量化方法，以超低精度为最先进的图像超分辨率网络。

最近，视觉变压器（VIT）在计算机视野中连续建立了新的里程碑，而高计算和内存成本使其在工业生产中的传播困难。修剪是一种用于硬件效率的传统模型压缩范例，已广泛应用于各种DNN结构。尽管如此，它含糊不清，如何在vit结构上进行独家修剪。考虑三个关键点：结构特征，VITS的内部数据模式和相关边缘设备部署，我们利用输入令牌稀疏性并提出了一种计算感知软修剪框架，可以在扁平的vanilla变压器上设置。和CNN型结构，例如基于池的Vit（坑）。更具体地说，我们设计了一种基于动态关注的多头令牌选择器，它是一个轻量级模块，用于自适应实例 - 明智令牌选择。我们进一步引入了一种软修剪技术，它将选择器模块生成的较少的信息令牌集成到将参与后续计算的包令牌，而不是完全丢弃。我们的框架通过我们所提出的计算感知培训策略，我们通过特定边缘设备的准确性和计算限制之间的权衡。实验结果表明，我们的框架显着降低了VIT的计算成本，同时在图像分类上保持了可比性。此外，我们的框架可以保证所识别的模型，以满足移动设备和FPGA的资源规范，甚至在移动平台上实现DEIT-T的实时执行。例如，我们的方法在移动设备上减少了DEIT-T至26毫秒的延迟（26％$ \ SIM 41％的41％），在移动设备上，在0.25％$ \ sim $ 4％的ImageNet上的前1个精度高出4％。我们的代码即将发布。

This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text. To address these differences, we propose a hierarchical Transformer whose representation is computed with Shifted windows. The shifted windowing scheme brings greater efficiency by limiting self-attention computation to non-overlapping local windows while also allowing for cross-window connection. This hierarchical architecture has the flexibility to model at various scales and has linear computational complexity with respect to image size. These qualities of Swin Transformer make it compatible with a broad range of vision tasks, including image classification (87.3 top-1 accuracy on ImageNet-1K) and dense prediction tasks such as object detection (58.7 box AP and 51.1 mask AP on COCO testdev) and semantic segmentation (53.5 mIoU on ADE20K val). Its performance surpasses the previous state-of-theart by a large margin of +2.7 box AP and +2.6 mask AP on COCO, and +3.2 mIoU on ADE20K, demonstrating the potential of Transformer-based models as vision backbones. The hierarchical design and the shifted window approach also prove beneficial for all-MLP architectures. The code and models are publicly available at https://github. com/microsoft/Swin-Transformer.

视觉识别的“咆哮20S”开始引入视觉变压器（VITS），这将被取代的Cummnets作为最先进的图像分类模型。另一方面，vanilla vit，当应用于一般计算机视觉任务等对象检测和语义分割时面临困难。它是重新引入多个ConvNet Priors的等级变压器（例如，Swin变压器），使变压器实际上可作为通用视觉骨干网，并在各种视觉任务上展示了显着性能。然而，这种混合方法的有效性仍然在很大程度上归功于变压器的内在优越性，而不是卷积的固有感应偏差。在这项工作中，我们重新审视设计空间并测试纯粹的Convnet可以实现的限制。我们逐渐“现代化”标准Reset朝着视觉变压器的设计设计，并发现几个有助于沿途绩效差异的关键组件。此探索的结果是一个纯粹的ConvNet型号被称为ConvNext。完全由标准的Convnet模块构建，ConvNexts在准确性和可扩展性方面与变压器竞争，实现了87.8％的ImageNet Top-1精度和表现优于COCO检测和ADE20K分割的Swin变压器，同时保持了标准Convnet的简单性和效率。

神经网络量化能够在边缘设备上部署模型。对其硬件效率的基本要求是平衡器是硬件友好的：均匀，对称，以及两个阈值的功率。据我们所知，目前的训练后量化方法不同时支持所有这些约束。在这项工作中，我们引入了硬件友好的训练量化（HPTQ）框架，通过协同组合几种已知的量化方法来解决这个问题。我们对四个任务进行了大规模的研究：在各种网络架构上进行分类，对象检测，语义分割和姿势估计。我们广泛的实验表明，可以在硬件友好的限制下获得竞争结果。