无数据知识蒸馏（DFKD）最近引起了人们的关注，这要归功于其在不使用培训数据的情况下将知识从教师网络转移到学生网络的吸引力。主要思想是使用发电机合成数据以培训学生。随着发电机的更新，合成数据的分布将发生变化。如果发电机和学生接受对手的训练，使学生忘记了先前一步获得的知识，则这种分配转换可能会很大。为了减轻这个问题，我们提出了一种简单而有效的方法，称为动量对抗蒸馏（MAD），该方法维持了发电机的指数移动平均值（EMA）副本，并使用发电机和EMA生成器的合成样品来培训学生。由于EMA发电机可以被视为发电机旧版本的合奏，并且与发电机相比，更新的更改通常会发生较小的变化，因此对其合成样本进行培训可以帮助学生回顾过去的知识，并防止学生适应太快的速度发电机的新更新。我们在六个基准数据集上进行的实验，包括ImageNet和Place365，表明MAD的性能优于竞争方法来处理大型分配转移问题。我们的方法还与现有的DFKD方法相比，甚至在某些情况下达到了最新的方法。

无数据知识蒸馏（KD）允许从训练有素的神经网络（教师）到更紧凑的一个（学生）的知识转移在没有原始训练数据。现有的作品使用验证集来监视学生通过实际数据的准确性，并在整个过程中报告最高性能。但是，验证数据可能无法在蒸馏时间可用，使得记录实现峰值精度的学生快照即可。因此，实际的无数据KD方法应该是坚固的，理想情况下，在蒸馏过程中理想地提供单调增加的学生准确性。这是具有挑战性的，因为学生因合成数据的分布转移而经历了知识劣化。克服这个问题的直接方法是定期存储和排练生成的样本，这增加了内存占据措施并创造了隐私问题。我们建议用生成网络模拟先前观察到的合成样品的分布。特别地，我们设计了具有训练目标的变形式自动化器（VAE），其定制以最佳地学习合成数据表示。学生被生成的伪重播技术排练，其中样品由VAE产生。因此，可以防止知识劣化而不存储任何样本。在图像分类基准测试中的实验表明，我们的方法优化了蒸馏模型精度的预期值，同时消除了采样存储方法产生的大型内存开销。

随着边缘设备深度学习的普及日益普及，压缩大型神经网络以满足资源受限设备的硬件要求成为了重要的研究方向。目前正在使用许多压缩方法来降低神经网络的存储器尺寸和能量消耗。知识蒸馏（KD）是通过使用数据样本来将通过大型模型（教师）捕获的知识转移到较小的数据样本（学生）的方法和IT功能。但是，由于各种原因，在压缩阶段可能无法访问原始训练数据。因此，无数据模型压缩是各种作品所解决的正在进行的研究问题。在本文中，我们指出灾难性的遗忘是在现有的无数据蒸馏方法中可能被观察到的问题。此外，其中一些方法中的样本生成策略可能导致合成和实际数据分布之间的不匹配。为了防止此类问题，我们提出了一种无数据的KD框架，它随着时间的推移维护生成的样本的动态集合。此外，我们添加了匹配目标生成策略中的实际数据分布的约束，该策略为目标最大信息增益。我们的实验表明，与SVHN，时尚MNIST和CIFAR100数据集上的最先进方法相比，我们可以提高通过KD获得的学生模型的准确性。

知识蒸馏在模型压缩方面取得了显着的成就。但是，大多数现有方法需要原始的培训数据，而实践中的实际数据通常是不可用的，因为隐私，安全性和传输限制。为了解决这个问题，我们提出了一种有条件的生成数据无数据知识蒸馏（CGDD）框架，用于培训有效的便携式网络，而无需任何实际数据。在此框架中，除了使用教师模型中提取的知识外，我们将预设标签作为额外的辅助信息介绍以培训发电机。然后，训练有素的发生器可以根据需要产生指定类别的有意义的培训样本。为了促进蒸馏过程，除了使用常规蒸馏损失，我们将预设标签视为地面真理标签，以便学生网络直接由合成训练样本类别监督。此外，我们强制学生网络模仿教师模型的注意图，进一步提高了其性能。为了验证我们方法的优越性，我们设计一个新的评估度量称为相对准确性，可以直接比较不同蒸馏方法的有效性。培训的便携式网络通过提出的数据无数据蒸馏方法获得了99.63％，99.07％和99.84％的CIFAR10，CIFAR100和CALTECH101的相对准确性。实验结果表明了所提出的方法的优越性。

Often we wish to transfer representational knowledge from one neural network to another. Examples include distilling a large network into a smaller one, transferring knowledge from one sensory modality to a second, or ensembling a collection of models into a single estimator. Knowledge distillation, the standard approach to these problems, minimizes the KL divergence between the probabilistic outputs of a teacher and student network. We demonstrate that this objective ignores important structural knowledge of the teacher network. This motivates an alternative objective by which we train a student to capture significantly more information in the teacher's representation of the data. We formulate this objective as contrastive learning. Experiments demonstrate that our resulting new objective outperforms knowledge distillation and other cutting-edge distillers on a variety of knowledge transfer tasks, including single model compression, ensemble distillation, and cross-modal transfer. Our method sets a new state-of-the-art in many transfer tasks, and sometimes even outperforms the teacher network when combined with knowledge distillation.

在学习新知识时，班级学习学习（CIL）与灾难性遗忘和无数据CIL（DFCIL）的斗争更具挑战性，而无需访问以前学过的课程的培训数据。尽管最近的DFCIL作品介绍了诸如模型反转以合成以前类的数据，但由于合成数据和真实数据之间的严重域间隙，它们无法克服遗忘。为了解决这个问题，本文提出了有关DFCIL的关系引导的代表学习（RRL），称为R-DFCIL。在RRL中，我们引入了关系知识蒸馏，以灵活地将新数据的结构关系从旧模型转移到当前模型。我们的RRL增强DFCIL可以指导当前的模型来学习与以前类的表示更好地兼容的新课程的表示，从而大大减少了在改善可塑性的同时遗忘。为了避免表示和分类器学习之间的相互干扰，我们在RRL期间采用本地分类损失而不是全球分类损失。在RRL之后，分类头将通过全球类平衡的分类损失进行完善，以解决数据不平衡问题，并学习新课程和以前类之间的决策界限。关于CIFAR100，Tiny-Imagenet200和Imagenet100的广泛实验表明，我们的R-DFCIL显着超过了以前的方法，并实现了DFCIL的新最新性能。代码可从https://github.com/jianzhangcs/r-dfcil获得。

无数据知识蒸馏（DFKD）的目的是在没有培训数据的情况下培训从教师网络的轻量级学生网络。现有方法主要遵循生成信息样本的范式，并通过针对数据先验，边界样本或内存样本来逐步更新学生模型。但是，以前的DFKD方法很难在不同的训练阶段动态调整生成策略，这反过来又很难实现高效且稳定的训练。在本文中，我们探讨了如何从课程学习（CL）的角度来教学学生，并提出一种新方法，即“ CUDFKD”，即“使用课程的无数据知识蒸馏”。它逐渐从简单的样本到困难的样本学习，这类似于人类学习的方式。此外，我们还提供了对主要化最小化（MM）算法的理论分析，并解释了CUDFKD的收敛性。在基准数据集上进行的实验表明，使用简单的课程设计策略，CUDFKD可以在最先进的DFKD方法和不同的基准测试中实现最佳性能，例如CIFAR10上RESNET18模型的95.28 \％TOP1的精度，这是更好的而不是从头开始培训数据。训练很快，在30个时期内达到90 \％的最高精度，并且训练期间的差异稳定。同样在本文中，还分析和讨论了CUDFKD的适用性。

In recent years, generative adversarial networks (GANs) have been an actively studied topic and shown to successfully produce high-quality realistic images in various domains. The controllable synthesis ability of GAN generators suggests that they maintain informative, disentangled, and explainable image representations, but leveraging and transferring their representations to downstream tasks is largely unexplored. In this paper, we propose to distill knowledge from GAN generators by squeezing and spanning their representations. We squeeze the generator features into representations that are invariant to semantic-preserving transformations through a network before they are distilled into the student network. We span the distilled representation of the synthetic domain to the real domain by also using real training data to remedy the mode collapse of GANs and boost the student network performance in a real domain. Experiments justify the efficacy of our method and reveal its great significance in self-supervised representation learning. Code is available at https://github.com/yangyu12/squeeze-and-span.

Computational cost of training state-of-the-art deep models in many learning problems is rapidly increasing due to more sophisticated models and larger datasets. A recent promising direction for reducing training cost is dataset condensation that aims to replace the original large training set with a significantly smaller learned synthetic set while preserving the original information. While training deep models on the small set of condensed images can be extremely fast, their synthesis remains computationally expensive due to the complex bi-level optimization and second-order derivative computation. In this work, we propose a simple yet effective method that synthesizes condensed images by matching feature distributions of the synthetic and original training images in many sampled embedding spaces. Our method significantly reduces the synthesis cost while achieving comparable or better performance. Thanks to its efficiency, we apply our method to more realistic and larger datasets with sophisticated neural architectures and obtain a significant performance boost. We also show promising practical benefits of our method in continual learning and neural architecture search.

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

我们呈现了对比邻域对准（CNA），一种歧管学习方法来维持学习特征的拓扑，由此映射到源（教师）模型的附近表示的数据点也被目标（学生）模型映射到邻居。目标模型旨在模拟使用对比损耗来模拟源代表空间的局部结构。CNA是一种无人监督的学习算法，不需要对各个样本的地面真理标签。CNA在三种情况下示出：歧管学习，其中模型在尺寸减小空间中保持原始数据的本地拓扑;模型蒸馏，其中小学生模型培训以模仿更大的老师;和遗留模型更新，其中旧模型被更强大的更强大的型号。实验表明，CNA能够在高维空间中捕获歧管，并与其域中的竞争方法相比提高性能。

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

自我介绍在训练过程中利用自身的非均匀软监管，并在没有任何运行时成本的情况下提高性能。但是，在训练过程中的开销经常被忽略，但是在巨型模型的时代，培训期间的时间和记忆开销越来越重要。本文提出了一种名为ZIPF标签平滑（ZIPF的LS）的有效自我验证方法，该方法使用网络的直立预测来生成软监管，该软监管在不使用任何对比样本或辅助参数的情况下符合ZIPF分布。我们的想法来自经验观察，即当对网络进行适当训练时，在按样品的大小和平均分类后，应遵循分布的分布，让人联想到ZIPF的自然语言频率统计信息，这是在按样品中的大小和平均值进行排序之后进行的。 。通过在样本级别和整个培训期内强制执行此属性，我们发现预测准确性可以大大提高。使用INAT21细粒分类数据集上的RESNET50，与香草基线相比，我们的技术获得了 +3.61％的准确性增长，而与先前的标签平滑或自我验证策略相比，增益增加了0.88％。该实现可在https://github.com/megvii-research/zipfls上公开获得。

在过去的十年中，许多深入学习模型都受到了良好的培训，并在各种机器智能领域取得了巨大成功，特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下，提出了知识蒸馏（KD）和域适应（DA）并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是，由于隐私，版权或机密性，原始数据并不总是可用的。最近，无数据知识转移范式吸引了吸引人的关注，因为它涉及从训练有素的模型中蒸馏宝贵的知识，而无需访问培训数据。特别是，它主要包括无数据知识蒸馏（DFKD）和源无数据域适应（SFDA）。一方面，DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络，以进行模型压缩和有效推论。另一方面，SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中，我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移，以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外，我们对未来研究的主题提供了一些见解。

知识蒸馏（KD）是一种有效的方法，可以将知识从大型“教师”网络转移到较小的“学生”网络。传统的KD方法需要大量标记的培训样本和白盒老师（可以访问参数）才能培训好学生。但是，这些资源并不总是在现实世界应用中获得。蒸馏过程通常发生在我们无法访问大量数据的外部政党方面，并且由于安全性和隐私问题，教师没有披露其参数。为了克服这些挑战，我们提出了一种黑盒子少的KD方法，以培训学生很少的未标记培训样本和一个黑盒老师。我们的主要思想是通过使用混合和有条件的变异自动编码器生成一组不同的分布合成图像来扩展训练集。这些合成图像及其从老师获得的标签用于培训学生。我们进行了广泛的实验，以表明我们的方法在图像分类任务上明显优于最近的SOTA/零射击KD方法。代码和型号可在以下网址找到：https：//github.com/nphdang/fs-bbt

Neural networks are prone to catastrophic forgetting when trained incrementally on different tasks. Popular incremental learning methods mitigate such forgetting by retaining a subset of previously seen samples and replaying them during the training on subsequent tasks. However, this is not always possible, e.g., due to data protection regulations. In such restricted scenarios, one can employ generative models to replay either artificial images or hidden features to a classifier. In this work, we propose Genifer (GENeratIve FEature-driven image Replay), where a generative model is trained to replay images that must induce the same hidden features as real samples when they are passed through the classifier. Our technique therefore incorporates the benefits of both image and feature replay, i.e.: (1) unlike conventional image replay, our generative model explicitly learns the distribution of features that are relevant for classification; (2) in contrast to feature replay, our entire classifier remains trainable; and (3) we can leverage image-space augmentations, which increase distillation performance while also mitigating overfitting during the training of the generative model. We show that Genifer substantially outperforms the previous state of the art for various settings on the CIFAR-100 and CUB-200 datasets.

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

在这项工作中，我们提出了相互信息最大化知识蒸馏（MIMKD）。我们的方法使用对比目标来同时估计，并最大化教师和学生网络之间的本地和全球特征表示的相互信息的下限。我们通过广泛的实验证明，这可以通过将知识从更加性能但计算昂贵的模型转移来改善低容量模型的性能。这可用于产生更好的模型，可以在具有低计算资源的设备上运行。我们的方法灵活，我们可以将具有任意网络架构的教师蒸馏到任意学生网络。我们的经验结果表明，MIMKD优于各种学生教师对的竞争方法，具有不同的架构，以及学生网络的容量极低。我们能够通过从Reset-50蒸馏出来的知识，从基线精度为Shufflenetv2获得74.55％的精度。在Imagenet上，我们使用Reset-34教师网络将Reset-18网络从68.88％提高到70.32％的准确度（1.44％+）。