模型量化被称为一个有前途的方法来压缩深神经网络，特别是用于在轻量级移动或边缘设备的推论。然而，模型量化通常需要访问原始训练数据，以保持完整的精密模型的精度，这是真实世界的场景对安全和隐私问题往往是不可行的。在不访问原始数据执行量化一种流行的方法是使用合成产生的样品，基于分批的正规化统计或学习对抗性。然而，这些方法的缺点在于，它们主要依靠随机噪声输入到所述发电机以达到合成样品的多样性。我们发现，这往往是不足以捕捉原始数据的分布，特别是在决策边界。为此，我们提出Qimera，一种方法，其使用叠加潜的嵌入以产生合成的边界支撑样品。对于叠加的嵌入，以更好地反映原始分布，我们也建议使用额外的解开映射层和提取全精度模型的信息。实验结果表明，Qimera实现国家的最先进的演出上免费的数据量化的各种设置。代码可在https://github.com/iamkanghyunchoi/qimera。

To obtain lower inference latency and less memory footprint of deep neural networks, model quantization has been widely employed in deep model deployment, by converting the floating points to low-precision integers. However, previous methods (such as quantization aware training and post training quantization) require original data for the fine-tuning or calibration of quantized model, which makes them inapplicable to the cases that original data are not accessed due to privacy or security. This gives birth to the data-free quantization method with synthetic data generation. While current data-free quantization methods still suffer from severe performance degradation when quantizing a model into lower bit, caused by the low inter-class separability of semantic features. To this end, we propose a new and effective data-free quantization method termed ClusterQ, which utilizes the feature distribution alignment for synthetic data generation. To obtain high inter-class separability of semantic features, we cluster and align the feature distribution statistics to imitate the distribution of real data, so that the performance degradation is alleviated. Moreover, we incorporate the diversity enhancement to solve class-wise mode collapse. We also employ the exponential moving average to update the centroid of each cluster for further feature distribution improvement. Extensive experiments based on different deep models (e.g., ResNet-18 and MobileNet-V2) over the ImageNet dataset demonstrate that our proposed ClusterQ model obtains state-of-the-art performance.

最近，生成的数据无量子化作为一种​​实用的方法，将神经网络压缩到低位宽度而不访问真实数据。它通过利用其全精密对应物的批量归一化（BN）统计来生成数据来量化网络。然而，我们的研究表明，在实践中，BN统计的合成数据在分布和样品水平时严重均匀化，这导致量化网络的严重劣化。本文提出了一种通用不同的样本生成（DSG）方案，用于生成无数据的训练后量化和量化感知培训，以减轻有害的均质化。在我们的DSG中，我们首先将统计对齐缩写为BN层中的功能，以放宽分配约束。然后，我们加强特定BN层对不同样品的损失影响，并抑制了生成过程中样品之间的相关性，分别从统计和空间角度分别多样化样本。广泛的实验表明，对于大规模的图像分类任务，我们的DSG可以始终如一地优于各种神经结构上的现有数据无数据量化方法，尤其是在超低比特宽度下（例如，在W4A4设置下的22％的增益下）。此外，由我们的DSG引起的数据多样化引起了各种量化方法的一般增益，证明了多样性是无数据量化的高质量合成数据的重要特性。

虽然训练后量化受到普及，但由于其逃避访问原始的完整培训数据集，但其性能差也源于此限制。为了减轻这种限制，在本文中，我们利用零击量化引入的合成数据与校准数据集，我们提出了一种细粒度的数据分布对准（FDDA）方法来提高训练后量化的性能。该方法基于我们在训练网络的深层观察到的批量归一化统计（BNS）的两个重要属性，即，阶级间分离和级别的含量。为了保留这种细粒度分布信息：1）我们计算校准数据集的每级BNS作为每个类的BNS中心，并提出了BNS集中丢失，以强制不同类的合成数据分布靠近其自己的中心。 2）我们将高斯噪声添加到中心中，以模仿压力，并提出BNS扭曲的损失，以强迫同一类的合成数据分布接近扭曲的中心。通过引入这两个细粒度的损失，我们的方法显示了在想象中心上的最先进的性能，特别是当第一层和最后一层也被量化为低比特时。我们的项目可在https://github.com/zysxmu/fdda获得。

知识蒸馏在模型压缩方面取得了显着的成就。但是，大多数现有方法需要原始的培训数据，而实践中的实际数据通常是不可用的，因为隐私，安全性和传输限制。为了解决这个问题，我们提出了一种有条件的生成数据无数据知识蒸馏（CGDD）框架，用于培训有效的便携式网络，而无需任何实际数据。在此框架中，除了使用教师模型中提取的知识外，我们将预设标签作为额外的辅助信息介绍以培训发电机。然后，训练有素的发生器可以根据需要产生指定类别的有意义的培训样本。为了促进蒸馏过程，除了使用常规蒸馏损失，我们将预设标签视为地面真理标签，以便学生网络直接由合成训练样本类别监督。此外，我们强制学生网络模仿教师模型的注意图，进一步提高了其性能。为了验证我们方法的优越性，我们设计一个新的评估度量称为相对准确性，可以直接比较不同蒸馏方法的有效性。培训的便携式网络通过提出的数据无数据蒸馏方法获得了99.63％，99.07％和99.84％的CIFAR10，CIFAR100和CALTECH101的相对准确性。实验结果表明了所提出的方法的优越性。

Zero-shot quantization is a promising approach for developing lightweight deep neural networks when data is inaccessible owing to various reasons, including cost and issues related to privacy. By utilizing the learned parameters (statistics) of FP32-pre-trained models, zero-shot quantization schemes focus on generating synthetic data by minimizing the distance between the learned parameters ($\mu$ and $\sigma$) and distributions of intermediate activations. Subsequently, they distill knowledge from the pre-trained model (\textit{teacher}) to the quantized model (\textit{student}) such that the quantized model can be optimized with the synthetic dataset. In general, zero-shot quantization comprises two major elements: synthesizing datasets and quantizing models. However, thus far, zero-shot quantization has primarily been discussed in the context of quantization-aware training methods, which require task-specific losses and long-term optimization as much as retraining. We thus introduce a post-training quantization scheme for zero-shot quantization that produces high-quality quantized networks within a few hours on even half an hour. Furthermore, we propose a framework called \genie~that generates data suited for post-training quantization. With the data synthesized by \genie, we can produce high-quality quantized models without real datasets, which is comparable to few-shot quantization. We also propose a post-training quantization algorithm to enhance the performance of quantized models. By combining them, we can bridge the gap between zero-shot and few-shot quantization while significantly improving the quantization performance compared to that of existing approaches. In other words, we can obtain a unique state-of-the-art zero-shot quantization approach.

学习综合数据已成为零拍量化（ZSQ）的有希望的方向，其代表低位整数而不访问任何实际数据的神经网络。在本文中，我们在实际数据中观察到阶级内异质性的有趣现象，并表明现有方法未能在其合成图像中保留此属性，这导致有限的性能增加。要解决此问题，我们提出了一种新颖的零射量量化方法，称为IntraQ。首先，我们提出了一种局部对象加强件，该局部对象加强能够以不同的尺度和合成图像的位置定位目标对象。其次，我们引入了边缘距离约束，以形成分布在粗糙区域中的类相关的特征。最后，我们设计了一种软的成立损失，该损耗注射了软的先前标签，以防止合成图像过度接近固定物体。我们的intraQ被证明是在合成图像中提供阶级内的异质性，并且还观察到执行最先进的。例如，与高级ZSQ相比，当MobileNetv1的所有层被量化为4位时，我们的IntraIS获取9.17 \％增加了Imagenet上的前1个精度。代码是https://github.com/viperit/interq。

在过去的十年中，许多深入学习模型都受到了良好的培训，并在各种机器智能领域取得了巨大成功，特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下，提出了知识蒸馏（KD）和域适应（DA）并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是，由于隐私，版权或机密性，原始数据并不总是可用的。最近，无数据知识转移范式吸引了吸引人的关注，因为它涉及从训练有素的模型中蒸馏宝贵的知识，而无需访问培训数据。特别是，它主要包括无数据知识蒸馏（DFKD）和源无数据域适应（SFDA）。一方面，DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络，以进行模型压缩和有效推论。另一方面，SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中，我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移，以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外，我们对未来研究的主题提供了一些见解。

量化已成为压缩和加速神经网络最普遍的方法之一。最近，无数据量化已被广泛研究作为实用和有前途的解决方案。它根据FP32批量归一化（BN）统计，合成校准量化模型的数据，并显着降低了传统量化方法中实际训练数据的沉重依赖性。不幸的是，我们发现在实践中，BN统计的合成数据在分配水平和样品水平上具有严重均匀化，并且进一步引起量化模型的显着性能下降。我们提出了各种样品生成（DSG）方案，以减轻均质化引起的不利影响。具体而言，我们松弛BN层中的特征统计的对准，以在分配水平处放宽约束，并设计一个层状增强，以加强针对不同的数据样本的特定层。我们的DSG方案是多功能的，甚至能够应用于现代训练后的训练后的量化方法，如亚马逊。我们评估大规模图像分类任务的DSG方案，并始终如一地获得各种网络架构和量化方法的显着改进，特别是当量化到较低位时（例如，在W4A4上的高达22％）。此外，从增强的多样性受益，综合数据校准的模型均接近通过实际数据校准的那些，甚至在W4A4上越优于它们。

无数据量化是一项将神经网络压缩到低位的任务，而无需访问原始培训数据。大多数现有的无数据量化方法导致由于不准确的激活剪辑范围和量化误差而导致严重的性能降解，尤其是对于低位宽度。在本文中，我们提出了一种简单而有效的无数据量化方法，具有准确的激活剪辑和自适应批准化。精确的激活剪辑（AAC）通过利用完全精确模型的准确激活信息来提高模型的准确性。自适应批准归一化首先建议通过自适应更新批处理层次来解决分布更改中的量化误差。广泛的实验表明，所提出的无数据量化方法可以产生令人惊讶的性能，在Imagenet数据集上达到RESNET18的64.33％的TOP-1准确性，绝对改进的3.7％优于现有的最新方法。

Although considerable progress has been obtained in neural network quantization for efficient inference, existing methods are not scalable to heterogeneous devices as one dedicated model needs to be trained, transmitted, and stored for one specific hardware setting, incurring considerable costs in model training and maintenance. In this paper, we study a new vertical-layered representation of neural network weights for encapsulating all quantized models into a single one. With this representation, we can theoretically achieve any precision network for on-demand service while only needing to train and maintain one model. To this end, we propose a simple once quantization-aware training (QAT) scheme for obtaining high-performance vertical-layered models. Our design incorporates a cascade downsampling mechanism which allows us to obtain multiple quantized networks from one full precision source model by progressively mapping the higher precision weights to their adjacent lower precision counterparts. Then, with networks of different bit-widths from one source model, multi-objective optimization is employed to train the shared source model weights such that they can be updated simultaneously, considering the performance of all networks. By doing this, the shared weights will be optimized to balance the performance of different quantized models, thus making the weights transferable among different bit widths. Experiments show that the proposed vertical-layered representation and developed once QAT scheme are effective in embodying multiple quantized networks into a single one and allow one-time training, and it delivers comparable performance as that of quantized models tailored to any specific bit-width. Code will be available.

知识蒸馏是一种培训小型学生网络的流行技术，以模仿更大的教师模型，例如网络的集合。我们表明，虽然知识蒸馏可以改善学生泛化，但它通常不得如此普遍地工作：虽然在教师和学生的预测分布之间，甚至在学生容量的情况下，通常仍然存在令人惊讶的差异完美地匹配老师。我们认为优化的困难是为什么学生无法与老师匹配的关键原因。我们还展示了用于蒸馏的数据集的细节如何在学生与老师匹配的紧密关系中发挥作用 - 以及教师矛盾的教师并不总是导致更好的学生泛化。

量化浮点重量和深度卷积神经网络的激活到定点表示产生降低的存储器占用尺寸和推理时间。最近，努力已经进入零拍量量，不需要原始未标记的训练样本给定任务。这些最佳发布的作品依赖于学习批量归一化（BN）参数来推断出量化的激活范围。特别地，这些方法是基于经验估计框架或数据蒸馏方法而构建的，用于计算激活的范围。然而，当呈现不容纳BN层的网络时，这种方案的性能严重降低。在这一思路中，我们提出了广泛的零拍量化（GZSQ）框架，既不需要原始数据也不依赖于BN层统计。我们利用了数据蒸馏方法并仅利用模型的预先训练的重量来估计激活的范围校准的丰富数据。据我们所知，这是利用预制权重的分布以协助零射量量化的过程。拟议的计划显着优于现有的零点工程，例如，MobileNetv2的分类准确性的提高〜33％，以及各种任务的其他一些型号。我们还展示了拟议的工作跨多个开源量化框架的功效。重要的是，我们的作品是第一次尝试训练未来派零击中量化的零击中量化的深度神经网络。

深度神经网络易于对自然投入的离前事实制作，小而难以察觉的变化影响。对这些实例的最有效的防御机制是对逆脉训练在训练期间通过迭代最大化的损失来构建对抗性实例。然后训练该模型以最小化这些构建的实施例的损失。此最小最大优化需要更多数据，更大的容量模型和额外的计算资源。它还降低了模型的标准泛化性能。我们可以更有效地实现鲁棒性吗？在这项工作中，我们从知识转移的角度探讨了这个问题。首先，我们理论上展示了在混合增强的帮助下将鲁棒性从对接地训练的教师模型到学生模型的可转换性。其次，我们提出了一种新颖的鲁棒性转移方法，称为基于混合的激活信道图（MixacM）转移。 MixacM通过匹配未在没有昂贵的对抗扰动的匹配生成的激活频道地图将强大的教师转移到学生的鲁棒性。最后，对多个数据集的广泛实验和不同的学习情景显示我们的方法可以转移鲁棒性，同时还改善自然图像的概括。

神经网络可以从单个图像中了解视觉世界的内容是什么？虽然它显然不能包含存在的可能对象，场景和照明条件 - 在所有可能的256 ^（3x224x224）224尺寸的方形图像中，它仍然可以在自然图像之前提供强大的。为了分析这一假设，我们通过通过监控掠夺教师的知识蒸馏来制定一种训练神经网络的培训神经网络。有了这个，我们发现上述问题的答案是：“令人惊讶的是，很多”。在定量术语中，我们在CiFar-10/100上找到了94％/ 74％的前1个精度，在想象中，通过将这种方法扩展到音频，84％的语音组合。在广泛的分析中，我们解除了增强，源图像和网络架构的选择，以及在从未见过熊猫的网络中发现“熊猫神经元”。这项工作表明，一个图像可用于推断成千上万的对象类，并激励关于增强和图像的基本相互作用的更新的研究议程。

知识蒸馏（KD）是一种有效的方法，可以将知识从大型“教师”网络转移到较小的“学生”网络。传统的KD方法需要大量标记的培训样本和白盒老师（可以访问参数）才能培训好学生。但是，这些资源并不总是在现实世界应用中获得。蒸馏过程通常发生在我们无法访问大量数据的外部政党方面，并且由于安全性和隐私问题，教师没有披露其参数。为了克服这些挑战，我们提出了一种黑盒子少的KD方法，以培训学生很少的未标记培训样本和一个黑盒老师。我们的主要思想是通过使用混合和有条件的变异自动编码器生成一组不同的分布合成图像来扩展训练集。这些合成图像及其从老师获得的标签用于培训学生。我们进行了广泛的实验，以表明我们的方法在图像分类任务上明显优于最近的SOTA/零射击KD方法。代码和型号可在以下网址找到：https：//github.com/nphdang/fs-bbt

无数据知识蒸馏（DFKD）最近引起了人们的关注，这要归功于其在不使用培训数据的情况下将知识从教师网络转移到学生网络的吸引力。主要思想是使用发电机合成数据以培训学生。随着发电机的更新，合成数据的分布将发生变化。如果发电机和学生接受对手的训练，使学生忘记了先前一步获得的知识，则这种分配转换可能会很大。为了减轻这个问题，我们提出了一种简单而有效的方法，称为动量对抗蒸馏（MAD），该方法维持了发电机的指数移动平均值（EMA）副本，并使用发电机和EMA生成器的合成样品来培训学生。由于EMA发电机可以被视为发电机旧版本的合奏，并且与发电机相比，更新的更改通常会发生较小的变化，因此对其合成样本进行培训可以帮助学生回顾过去的知识，并防止学生适应太快的速度发电机的新更新。我们在六个基准数据集上进行的实验，包括ImageNet和Place365，表明MAD的性能优于竞争方法来处理大型分配转移问题。我们的方法还与现有的DFKD方法相比，甚至在某些情况下达到了最新的方法。

One of the most efficient methods for model compression is hint distillation, where the student model is injected with information (hints) from several different layers of the teacher model. Although the selection of hint points can drastically alter the compression performance, conventional distillation approaches overlook this fact and use the same hint points as in the early studies. Therefore, we propose a clustering based hint selection methodology, where the layers of teacher model are clustered with respect to several metrics and the cluster centers are used as the hint points. Our method is applicable for any student network, once it is applied on a chosen teacher network. The proposed approach is validated in CIFAR-100 and ImageNet datasets, using various teacher-student pairs and numerous hint distillation methods. Our results show that hint points selected by our algorithm results in superior compression performance compared to state-of-the-art knowledge distillation algorithms on the same student models and datasets.

在实现最先进的性能和在实际应用中负担得起的大型模型之间，计算机视觉的差异越来越大。在本文中，我们解决了这个问题，并显着弥合了这两种模型之间的差距。在我们的实证研究中，我们不一定要提出一种新方法，而是要努力确定一个可靠的有效食谱，以使最先进的大型模型在实践中负担得起。我们证明，当正确执行时，知识蒸馏可以成为减少大型尺寸而不损害其性能的强大工具。特别是，我们发现存在某些隐式设计选择，这可能会严重影响蒸馏的有效性。我们的关键贡献是对这些设计选择的明确识别，这些选择以前在文献中尚未阐明。我们通过一项全面的实证研究备份了我们的发现，在广泛的视觉数据集上展示了令人信服的结果，尤其是获得了最先进的Imagenet Resnet-50模型，该模型可实现82.8％的Top-1准确性。 。