学习综合数据已成为零拍量化（ZSQ）的有希望的方向，其代表低位整数而不访问任何实际数据的神经网络。在本文中，我们在实际数据中观察到阶级内异质性的有趣现象，并表明现有方法未能在其合成图像中保留此属性，这导致有限的性能增加。要解决此问题，我们提出了一种新颖的零射量量化方法，称为IntraQ。首先，我们提出了一种局部对象加强件，该局部对象加强能够以不同的尺度和合成图像的位置定位目标对象。其次，我们引入了边缘距离约束，以形成分布在粗糙区域中的类相关的特征。最后，我们设计了一种软的成立损失，该损耗注射了软的先前标签，以防止合成图像过度接近固定物体。我们的intraQ被证明是在合成图像中提供阶级内的异质性，并且还观察到执行最先进的。例如，与高级ZSQ相比，当MobileNetv1的所有层被量化为4位时，我们的IntraIS获取9.17 \％增加了Imagenet上的前1个精度。代码是https://github.com/viperit/interq。

虽然训练后量化受到普及，但由于其逃避访问原始的完整培训数据集，但其性能差也源于此限制。为了减轻这种限制，在本文中，我们利用零击量化引入的合成数据与校准数据集，我们提出了一种细粒度的数据分布对准（FDDA）方法来提高训练后量化的性能。该方法基于我们在训练网络的深层观察到的批量归一化统计（BNS）的两个重要属性，即，阶级间分离和级别的含量。为了保留这种细粒度分布信息：1）我们计算校准数据集的每级BNS作为每个类的BNS中心，并提出了BNS集中丢失，以强制不同类的合成数据分布靠近其自己的中心。 2）我们将高斯噪声添加到中心中，以模仿压力，并提出BNS扭曲的损失，以强迫同一类的合成数据分布接近扭曲的中心。通过引入这两个细粒度的损失，我们的方法显示了在想象中心上的最先进的性能，特别是当第一层和最后一层也被量化为低比特时。我们的项目可在https://github.com/zysxmu/fdda获得。

最近，生成的数据无量子化作为一种​​实用的方法，将神经网络压缩到低位宽度而不访问真实数据。它通过利用其全精密对应物的批量归一化（BN）统计来生成数据来量化网络。然而，我们的研究表明，在实践中，BN统计的合成数据在分布和样品水平时严重均匀化，这导致量化网络的严重劣化。本文提出了一种通用不同的样本生成（DSG）方案，用于生成无数据的训练后量化和量化感知培训，以减轻有害的均质化。在我们的DSG中，我们首先将统计对齐缩写为BN层中的功能，以放宽分配约束。然后，我们加强特定BN层对不同样品的损失影响，并抑制了生成过程中样品之间的相关性，分别从统计和空间角度分别多样化样本。广泛的实验表明，对于大规模的图像分类任务，我们的DSG可以始终如一地优于各种神经结构上的现有数据无数据量化方法，尤其是在超低比特宽度下（例如，在W4A4设置下的22％的增益下）。此外，由我们的DSG引起的数据多样化引起了各种量化方法的一般增益，证明了多样性是无数据量化的高质量合成数据的重要特性。

To obtain lower inference latency and less memory footprint of deep neural networks, model quantization has been widely employed in deep model deployment, by converting the floating points to low-precision integers. However, previous methods (such as quantization aware training and post training quantization) require original data for the fine-tuning or calibration of quantized model, which makes them inapplicable to the cases that original data are not accessed due to privacy or security. This gives birth to the data-free quantization method with synthetic data generation. While current data-free quantization methods still suffer from severe performance degradation when quantizing a model into lower bit, caused by the low inter-class separability of semantic features. To this end, we propose a new and effective data-free quantization method termed ClusterQ, which utilizes the feature distribution alignment for synthetic data generation. To obtain high inter-class separability of semantic features, we cluster and align the feature distribution statistics to imitate the distribution of real data, so that the performance degradation is alleviated. Moreover, we incorporate the diversity enhancement to solve class-wise mode collapse. We also employ the exponential moving average to update the centroid of each cluster for further feature distribution improvement. Extensive experiments based on different deep models (e.g., ResNet-18 and MobileNet-V2) over the ImageNet dataset demonstrate that our proposed ClusterQ model obtains state-of-the-art performance.

量化已成为压缩和加速神经网络最普遍的方法之一。最近，无数据量化已被广泛研究作为实用和有前途的解决方案。它根据FP32批量归一化（BN）统计，合成校准量化模型的数据，并显着降低了传统量化方法中实际训练数据的沉重依赖性。不幸的是，我们发现在实践中，BN统计的合成数据在分配水平和样品水平上具有严重均匀化，并且进一步引起量化模型的显着性能下降。我们提出了各种样品生成（DSG）方案，以减轻均质化引起的不利影响。具体而言，我们松弛BN层中的特征统计的对准，以在分配水平处放宽约束，并设计一个层状增强，以加强针对不同的数据样本的特定层。我们的DSG方案是多功能的，甚至能够应用于现代训练后的训练后的量化方法，如亚马逊。我们评估大规模图像分类任务的DSG方案，并始终如一地获得各种网络架构和量化方法的显着改进，特别是当量化到较低位时（例如，在W4A4上的高达22％）。此外，从增强的多样性受益，综合数据校准的模型均接近通过实际数据校准的那些，甚至在W4A4上越优于它们。

无数据量化是一项将神经网络压缩到低位的任务，而无需访问原始培训数据。大多数现有的无数据量化方法导致由于不准确的激活剪辑范围和量化误差而导致严重的性能降解，尤其是对于低位宽度。在本文中，我们提出了一种简单而有效的无数据量化方法，具有准确的激活剪辑和自适应批准化。精确的激活剪辑（AAC）通过利用完全精确模型的准确激活信息来提高模型的准确性。自适应批准归一化首先建议通过自适应更新批处理层次来解决分布更改中的量化误差。广泛的实验表明，所提出的无数据量化方法可以产生令人惊讶的性能，在Imagenet数据集上达到RESNET18的64.33％的TOP-1准确性，绝对改进的3.7％优于现有的最新方法。

As a neural network compression technique, post-training quantization (PTQ) transforms a pre-trained model into a quantized model using a lower-precision data type. However, the prediction accuracy will decrease because of the quantization noise, especially in extremely low-bit settings. How to determine the appropriate quantization parameters (e.g., scaling factors and rounding of weights) is the main problem facing now. Many existing methods determine the quantization parameters by minimizing the distance between features before and after quantization. Using this distance as the metric to optimize the quantization parameters only considers local information. We analyze the problem of minimizing local metrics and indicate that it would not result in optimal quantization parameters. Furthermore, the quantized model suffers from overfitting due to the small number of calibration samples in PTQ. In this paper, we propose PD-Quant to solve the problems. PD-Quant uses the information of differences between network prediction before and after quantization to determine the quantization parameters. To mitigate the overfitting problem, PD-Quant adjusts the distribution of activations in PTQ. Experiments show that PD-Quant leads to better quantization parameters and improves the prediction accuracy of quantized models, especially in low-bit settings. For example, PD-Quant pushes the accuracy of ResNet-18 up to 53.08% and RegNetX-600MF up to 40.92% in weight 2-bit activation 2-bit. The code will be released at https://github.com/hustvl/PD-Quant.

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.

模型量化被称为一个有前途的方法来压缩深神经网络，特别是用于在轻量级移动或边缘设备的推论。然而，模型量化通常需要访问原始训练数据，以保持完整的精密模型的精度，这是真实世界的场景对安全和隐私问题往往是不可行的。在不访问原始数据执行量化一种流行的方法是使用合成产生的样品，基于分批的正规化统计或学习对抗性。然而，这些方法的缺点在于，它们主要依靠随机噪声输入到所述发电机以达到合成样品的多样性。我们发现，这往往是不足以捕捉原始数据的分布，特别是在决策边界。为此，我们提出Qimera，一种方法，其使用叠加潜的嵌入以产生合成的边界支撑样品。对于叠加的嵌入，以更好地反映原始分布，我们也建议使用额外的解开映射层和提取全精度模型的信息。实验结果表明，Qimera实现国家的最先进的演出上免费的数据量化的各种设置。代码可在https://github.com/iamkanghyunchoi/qimera。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

Zero-shot quantization is a promising approach for developing lightweight deep neural networks when data is inaccessible owing to various reasons, including cost and issues related to privacy. By utilizing the learned parameters (statistics) of FP32-pre-trained models, zero-shot quantization schemes focus on generating synthetic data by minimizing the distance between the learned parameters ($\mu$ and $\sigma$) and distributions of intermediate activations. Subsequently, they distill knowledge from the pre-trained model (\textit{teacher}) to the quantized model (\textit{student}) such that the quantized model can be optimized with the synthetic dataset. In general, zero-shot quantization comprises two major elements: synthesizing datasets and quantizing models. However, thus far, zero-shot quantization has primarily been discussed in the context of quantization-aware training methods, which require task-specific losses and long-term optimization as much as retraining. We thus introduce a post-training quantization scheme for zero-shot quantization that produces high-quality quantized networks within a few hours on even half an hour. Furthermore, we propose a framework called \genie~that generates data suited for post-training quantization. With the data synthesized by \genie, we can produce high-quality quantized models without real datasets, which is comparable to few-shot quantization. We also propose a post-training quantization algorithm to enhance the performance of quantized models. By combining them, we can bridge the gap between zero-shot and few-shot quantization while significantly improving the quantization performance compared to that of existing approaches. In other words, we can obtain a unique state-of-the-art zero-shot quantization approach.

在过去的十年中，许多深入学习模型都受到了良好的培训，并在各种机器智能领域取得了巨大成功，特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下，提出了知识蒸馏（KD）和域适应（DA）并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是，由于隐私，版权或机密性，原始数据并不总是可用的。最近，无数据知识转移范式吸引了吸引人的关注，因为它涉及从训练有素的模型中蒸馏宝贵的知识，而无需访问培训数据。特别是，它主要包括无数据知识蒸馏（DFKD）和源无数据域适应（SFDA）。一方面，DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络，以进行模型压缩和有效推论。另一方面，SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中，我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移，以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外，我们对未来研究的主题提供了一些见解。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

深度学习的面部识别模型通过利用具有较高计算成本的完整精确浮点网络来遵循深神经网络的共同趋势。由于完整的模型所需的大量内存，将这些网络部署在受计算需求约束的用例中通常是不可行的。以前的紧凑型面部识别方法提议设计特殊的紧凑型建筑并使用真实的培训数据从头开始训练它们，由于隐私问题，在现实世界中可能无法使用。我们在这项工作中介绍了基于低位精度格式模型量化的定量解决方案。 Quantface降低了现有面部识别模型所需的计算成本，而无需设计特定的体系结构或访问真实的培训数据。 Quantface将隐私友好的合成面数据引入量化过程中，以减轻潜在的隐私问题和与真实培训数据有关的问题。通过对七个基准和四个网络体系结构进行的广泛评估实验，我们证明了Quantface可以成功地将模型大小降低到5倍，同时在很大程度上维护完整模型的验证性能而无需访问真实的培训数据集。

轻巧的超级分辨率（SR）模型因其在移动设备中的可用性而受到了极大的关注。许多努力采用网络量化来压缩SR模型。但是，当将SR模型定量为具有低成本层量化的超低精度（例如2位和3位）时，这些方法会遭受严重的性能降解。在本文中，我们确定性能下降来自于层的对称量化器与SR模型中高度不对称的激活分布之间的矛盾。这种差异导致量化水平上的浪费或重建图像中的细节损失。因此，我们提出了一种新型的激活量化器，称为动态双训练边界（DDTB），以适应激活的不对称性。具体而言，DDTB在：1）具有可训练上限和下限的层量化器中，以应对高度不对称的激活。 2）一个动态栅极控制器，可在运行时自适应地调整上和下限，以克服不同样品上的急剧变化的激活范围。为了减少额外的开销，将动态栅极控制器定量到2位，并仅应用于部分的一部分SR网络根据引入的动态强度。广泛的实验表明，我们的DDTB在超低精度方面表现出显着的性能提高。例如，当将EDSR量化为2位并将输出图像扩展为X4时，我们的DDTB在Urban100基准测试基准上实现了0.70dB PSNR的增加。代码位于\ url {https://github.com/zysxmu/ddtb}。

网络量化是一种有效的压缩方法，以降低模型大小和计算成本。尽管压缩比高，但训练低精度模型由于量化的离散和不可分散的性质，难以实现相当大的性能下降。最近，提出了清晰度感知最小化（SAM），以通过同时最小化损耗值和损耗曲率来改善模型的泛化性能。在本文中，我们设计了锐度感知量化（SAQ）方法来培训量化模型，从而导致更好的泛化性能。此外，由于每个层与网络的损耗和损耗锐度有不同的贡献，我们进一步设计了一种有效的方法，该方法学习配置生成器以自动确定每层的位宽度配置，鼓励平面区域的较低位，反之亦然尖锐的景观，同时促进最小值的平整度，以实现更积极的量化。对CiFar-100和Imagenet的广泛实验显示了所提出的方法的优越性。例如，我们的量化Reset-18具有55.1X比特操作（BOP）减少甚至在前1个精度方面均匀地优于0.7％。代码可在https://github.com/zhuang-group/saq获得。

在本文中，我们通过合成自己的攻击数据集来提出基于零数据的重复比特翻转攻击（ZEBRA），精确地破坏了深度神经网络（DNN）。许多先前的对抗性重量攻击的作品不仅需要重量参数，而且需要在搜索易受攻击的比特中进行攻击的训练或测试数据集。我们建议通过利用受害者DNN模型中的批量归一化层统计来综合名为Dizeted目标数据的攻击数据集。配备蒸馏的目标数据，我们的Zebra算法可以在模型中搜索易受攻击的位，而无需访问培训或测试数据集。因此，我们的方法使对抗性重量攻击更致命的DNN的安全性。我们的实验结果表明，与先前的攻击方法相比，平均需要2.0倍（CiFar-10）和1.6倍（想象成）的比特翻转数量少。我们的代码可在https：// github上获得。COM / PDH930105 / ZEBRA。

无数据量化可以潜在地解决模型压缩中的数据隐私和安全问题，因此已得到广泛研究。最近，PSAQ-VIT设计了一个相对值度量，贴片相似性，以生成预训练视觉变压器（VIT）的数据，从而实现了VIT的第一次无数据量化尝试。在本文中，我们提出了PSAQ-VIT V2，这是在PSAQ-VIT之上建立的更准确，无数据的VIT的更准确和无数据的量化框架。更具体地说，按照PSAQ-VIT中的贴片相似性度量，我们引入了一种自适应的教师学生策略，该策略促进了生成的样品的持续环节演变和量化的模型（学生），并在竞争性和互动方式下以竞争性和互动方式进行。完整的模型（教师），因此显着提高了量化模型的准确性。此外，没有辅助类别指导，我们采用了任务和模型独立的先验信息，使通用方案与广泛的视觉任务和模型兼容。对图像分类，对象检测和语义分割任务和PSAQ-VIT V2进行了各种模型进行了广泛的实验，并具有幼稚的量化策略，并且没有访问现实世界数据，从而始终取得了竞争性的结果，显示出潜力作为强大的基线的潜力关于VIT的无数据量化。例如，使用SWIN-S作为（骨干）模型，8位量化达到ImageNet上的82.13 TOP-1精度，50.9盒AP和可可的44.1 Mask AP，而ADE20K上的47.2 miOU。我们希望准确，一般的PSAQ-VIT V2可以作为涉及敏感数据的现实应用程序中的潜在和实践解决方案。代码将在以下网址发布并合并：https：//github.com/zkkli/psaq-vit。

深神经网络（DNN）的庞大计算和记忆成本通常排除了它们在资源约束设备中的使用。将参数和操作量化为较低的位精确，为神经网络推断提供了可观的记忆和能量节省，从而促进了在边缘计算平台上使用DNN。量化DNN的最新努力采用了一系列技术，包括渐进式量化，步进尺寸的适应性和梯度缩放。本文提出了一种针对边缘计算的混合精度卷积神经网络（CNN）的新量化方法。我们的方法在模型准确性和内存足迹上建立了一个新的Pareto前沿，展示了一系列量化模型，可提供低于4.3 MB的权重（WGTS。）和激活（ACTS。）。我们的主要贡献是：（i）用张量学的学习精度，（ii）WGTS的靶向梯度修饰，（i）硬件感知的异质可区分量化。和行为。为了减轻量化错误，以及（iii）多相学习时间表，以解决从更新到学习的量化器和模型参数引起的学习不稳定性。我们证明了我们的技术在Imagenet数据集上的有效性，包括高效网络lite0（例如，WGTS。的4.14MB和ACTS。以67.66％的精度）和MobilenEtV2（例如3.51MB WGTS。 ％ 准确性）。