深度学习的巨大成功主要是由于大规模的网络架构和高质量的培训数据。但是，在具有有限的内存和成像能力的便携式设备上部署最近的深层模型仍然挑战。一些现有的作品通过知识蒸馏进行了压缩模型。不幸的是，这些方法不能处理具有缩小图像质量的图像，例如低分辨率（LR）图像。为此，我们采取了开创性的努力，从高分辨率（HR）图像到达将处理LR图像的紧凑型网络模型中学习的繁重网络模型中蒸馏有用的知识，从而推动了新颖的像素蒸馏的当前知识蒸馏技术。为实现这一目标，我们提出了一名教师助理 - 学生（TAS）框架，将知识蒸馏分解为模型压缩阶段和高分辨率表示转移阶段。通过装备新颖的特点超分辨率（FSR）模块，我们的方法可以学习轻量级网络模型，可以实现与重型教师模型相似的准确性，但参数更少，推理速度和较低分辨率的输入。在三个广泛使用的基准，\即，幼崽200-2011，Pascal VOC 2007和ImageNetsub上的综合实验证明了我们方法的有效性。

最近的卷积神经网络（CNN）的改进 - 基于单图像超分辨率（SISR）方法严重依赖于制造网络架构，而不是发现除了简单地降低回归损耗之外的合适的培训算法。调整知识蒸馏（KD）可以开辟一种方法，以便对SISR进行进一步改进，并且在模型效率方面也是有益的。 KD是一种模型压缩方法，可提高深神经网络（DNN）的性能而不使用其他参数进行测试。它最近越来越敏捷，以提供更好的能力性能权衡。在本文中，我们提出了一种适用于SISR的新型特征蒸馏（FD）方法。我们展示了基于FITNET的FD方法的局限性，它在SISR任务中受到影响，并建议修改现有的FD算法以专注于本地特征信息。此外，我们提出了一种基于教师 - 学生差异的软特征注意方法，其选择性地专注于特定的像素位置以提取特征信息。我们致电我们的方法本地选择性特征蒸馏（LSFD）并验证我们的方法在SISR问题中优于传统的FD方法。

One of the most efficient methods for model compression is hint distillation, where the student model is injected with information (hints) from several different layers of the teacher model. Although the selection of hint points can drastically alter the compression performance, conventional distillation approaches overlook this fact and use the same hint points as in the early studies. Therefore, we propose a clustering based hint selection methodology, where the layers of teacher model are clustered with respect to several metrics and the cluster centers are used as the hint points. Our method is applicable for any student network, once it is applied on a chosen teacher network. The proposed approach is validated in CIFAR-100 and ImageNet datasets, using various teacher-student pairs and numerous hint distillation methods. Our results show that hint points selected by our algorithm results in superior compression performance compared to state-of-the-art knowledge distillation algorithms on the same student models and datasets.

知识蒸馏（KD）可以有效地将知识从繁琐的网络（教师）转移到紧凑的网络（学生），在某些计算机视觉应用中证明了其优势。知识的表示对于知识转移和学生学习至关重要，这通常以手工制作的方式定义或直接使用中间功能。在本文中，我们建议在教师学生架构下为单像超级分辨率任务提出一种模型 - 不足的元知识蒸馏方法。它提供了一种更灵活，更准确的方法，可以通过知识代表网络（KRNET）的能力来帮助教师通过具有可学习参数的知识传输知识。为了提高知识表示对学生需求的看法能力，我们建议通过采用学生特征以及KRNET中的教师和学生之间的相关性来解决从中间产出到转移知识的转型过程。具体而言，生成纹理感知的动态内核，然后提取要改进的纹理特征，并将相应的教师指导分解为质地监督，以进一步促进高频细节的恢复质量。此外，KRNET以元学习方式进行了优化，以确保知识转移和学生学习有益于提高学生的重建质量。在各种单个图像超分辨率数据集上进行的实验表明，我们所提出的方法优于现有的定义知识表示相关的蒸馏方法，并且可以帮助超分辨率算法实现更好的重建质量，而无需引入任何推理复杂性。

随着AI芯片（例如GPU，TPU和NPU）的改进以及物联网（IOT）的快速发展，一些强大的深神经网络（DNN）通常由数百万甚至数亿个参数组成，这些参数是可能不适合直接部署在低计算和低容量单元（例如边缘设备）上。最近，知识蒸馏（KD）被认为是模型压缩的有效方法之一，以减少模型参数。 KD的主要概念是从大型模型（即教师模型）的特征图中提取有用的信息，以引用成功训练一个小型模型（即学生模型），该模型大小比老师小得多。尽管已经提出了许多基于KD的方法来利用教师模型中中间层的特征图中的信息，但是，它们中的大多数并未考虑教师模型和学生模型之间的特征图的相似性，这可能让学生模型学习无用的信息。受到注意机制的启发，我们提出了一种新颖的KD方法，称为代表教师钥匙（RTK），该方法不仅考虑了特征地图的相似性，而且还会过滤掉无用的信息以提高目标学生模型的性能。在实验中，我们使用多个骨干网络（例如Resnet和wideresnet）和数据集（例如CIFAR10，CIFAR100，SVHN和CINIC10）验证了我们提出的方法。结果表明，我们提出的RTK可以有效地提高基于注意的KD方法的分类精度。

深度学习取得了面部识别基准的出色性能，但是对于低分辨率（LR）图像，性能大大降低了。我们提出了一种注意力相似性知识蒸馏方法，该方法将作为教师的高分辨率（HR）网络获得的注意图转移到LR网络中，以提高LR识别性能。受到人类能够基于从HR图像获得的先验知识近似物体区域的人类的启发，我们设计了使用余弦相似性的知识蒸馏损失，以使学生网络的注意力类似于教师网络的注意力。在各种LR面部相关的基准上进行的实验证实了所提出的方法通常改善了LR设置上的识别性能，通过简单地传输良好的注意力图来优于最先进的结果。 https://github.com/gist-ailab/teaching-where-where-to-look在https://github.com/github.com/github.com/phis-look中公开可用。

在语义分段中广泛采用知识蒸馏以降低计算成本。先前的知识蒸馏方法的语义分割方法的重点是像素的特征特征对齐和阶级内特征变化蒸馏，从特征空间，这对于语义分割很重要。为了解决此问题，我们提出了一种类间距离蒸馏（IDD）方法，以将特征空间中的类间距离从教师网络转移到学生网络。此外，语义分割是一项依赖位置的任务，因此我们利用位置信息蒸馏模块来帮助学生网络编码更多的位置信息。在三个受欢迎的数据集上进行了广泛的实验：CityScapes，Pascal VOC和ADE20K表明，我们的方法有助于提高语义细分模型的准确性并实现最先进的性能。例如。它在CityScapes数据集上的准确性将基准模型（“ PSPNET+RESNET18”）提高了7.50％。

知识蒸馏已成为获得紧凑又有效模型的重要方法。为实现这一目标，培训小型学生模型以利用大型训练有素的教师模型的知识。然而，由于教师和学生之间的能力差距，学生的表现很难达到老师的水平。关于这个问题，现有方法建议通过代理方式减少教师知识的难度。我们认为这些基于代理的方法忽视了教师的知识损失，这可能导致学生遇到容量瓶颈。在本文中，我们从新的角度来缓解能力差距问题，以避免知识损失的目的。我们建议通过对抗性协作学习建立一个更有力的学生，而不是牺牲教师的知识。为此，我们进一步提出了一种逆势协作知识蒸馏（ACKD）方法，有效提高了知识蒸馏的性能。具体来说，我们用多个辅助学习者构建学生模型。同时，我们设计了对抗的对抗性协作模块（ACM），引入注意机制和对抗的学习，以提高学生的能力。四个分类任务的广泛实验显示了拟议的Ackd的优越性。

大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。

知识蒸馏是通过知识转移模型压缩的有效稳定的方法。传统知识蒸馏（KD）是将来自大型和训练有素的教师网络的知识转移到小型学生网络，这是一种单向过程。最近，已经提出了深度相互学习（DML）来帮助学生网络协同和同时学习。然而，据我们所知，KD和DML从未在统一的框架中共同探索，以解决知识蒸馏问题。在本文中，我们调查教师模型在KD中支持更值得信赖的监督信号，而学生则在DML中捕获教师的类似行为。基于这些观察，我们首先建议将KD与DML联合在统一的框架中。此外，我们提出了一个半球知识蒸馏（SOKD）方法，有效提高了学生和教师的表现。在这种方法中，我们在DML中介绍了同伴教学培训时尚，以缓解学生的模仿困难，并利用KD训练有素的教师提供的监督信号。此外，我们还显示我们的框架可以轻松扩展到基于功能的蒸馏方法。在CiFAR-100和Imagenet数据集上的广泛实验证明了所提出的方法实现了最先进的性能。

端到端的文本发现最近由于其对全球优化的好处和对实际应用的高可维护性而引起了极大的关注。但是，输入量表一直是一个艰难的权衡，因为认识到一个小的文本实例通常需要扩大整个图像，从而带来了高度的计算成本。在本文中，为了解决这个问题，我们提出了一种新颖的成本效益动态低分辨率蒸馏（DLD）文本斑点框架，该框架旨在推断出不同的小但可识别的分辨率中的图像，并在准确性和效率之间取得更好的平衡。具体而言，我们采用一个分辨率选择器来动态地确定不同图像的输入分辨率，这是通过推理准确性和计算成本来限制的。在文本识别分支上进行了另一种顺序知识蒸馏策略，使低分辨率输入获得与高分辨率图像相当的性能。可以在任何当前文本斑点框架中采用提出的方法，并在任何文本斑点框架中采用以提高可实用性。对几个文本斑点基准测试的广泛实验表明，所提出的方法极大地提高了低分辨率模型的可用性。该代码可从https://github.com/hikopensource/davar-lab-ocr/获得。

Blind image super-resolution (Blind-SR) aims to recover a high-resolution (HR) image from its corresponding low-resolution (LR) input image with unknown degradations. Most of the existing works design an explicit degradation estimator for each degradation to guide SR. However, it is infeasible to provide concrete labels of multiple degradation combinations (\eg, blur, noise, jpeg compression) to supervise the degradation estimator training. In addition, these special designs for certain degradation, such as blur, impedes the models from being generalized to handle different degradations. To this end, it is necessary to design an implicit degradation estimator that can extract discriminative degradation representation for all degradations without relying on the supervision of degradation ground-truth. In this paper, we propose a Knowledge Distillation based Blind-SR network (KDSR). It consists of a knowledge distillation based implicit degradation estimator network (KD-IDE) and an efficient SR network. To learn the KDSR model, we first train a teacher network: KD-IDE$_{T}$. It takes paired HR and LR patches as inputs and is optimized with the SR network jointly. Then, we further train a student network KD-IDE$_{S}$, which only takes LR images as input and learns to extract the same implicit degradation representation (IDR) as KD-IDE$_{T}$. In addition, to fully use extracted IDR, we design a simple, strong, and efficient IDR based dynamic convolution residual block (IDR-DCRB) to build an SR network. We conduct extensive experiments under classic and real-world degradation settings. The results show that KDSR achieves SOTA performance and can generalize to various degradation processes. The source codes and pre-trained models will be released.

在本文中，我们从经验上研究了如何充分利用低分辨率框架以进行有效的视频识别。现有方法主要集中于开发紧凑的网络或减轻视频输入的时间冗余以提高效率，而压缩框架分辨率很少被认为是有希望的解决方案。一个主要问题是低分辨率帧的识别准确性不佳。因此，我们首先分析低分辨率帧上性能降解的根本原因。我们的主要发现是，降级的主要原因不是在下采样过程中的信息丢失，而是网络体系结构和输入量表之间的不匹配。通过知识蒸馏（KD）的成功，我们建议通过跨分辨率KD（RESKD）弥合网络和输入大小之间的差距。我们的工作表明，RESKD是一种简单但有效的方法，可以提高低分辨率帧的识别精度。没有铃铛和哨子，RESKD在四个大规模基准数据集（即ActivityNet，FCVID，Mini-Kinetics，sopeings soseings ossings v2）上，就效率和准确性上的所有竞争方法都大大超过了所有竞争方法。此外，我们广泛地展示了其对最先进的体系结构（即3D-CNN和视频变压器）的有效性，以及对超低分辨率帧的可扩展性。结果表明，RESKD可以作为最先进视频识别的一般推理加速方法。我们的代码将在https://github.com/cvmi-lab/reskd上找到。

In recent years, Siamese network based trackers have significantly advanced the state-of-the-art in real-time tracking. Despite their success, Siamese trackers tend to suffer from high memory costs, which restrict their applicability to mobile devices with tight memory budgets. To address this issue, we propose a distilled Siamese tracking framework to learn small, fast and accurate trackers (students), which capture critical knowledge from large Siamese trackers (teachers) by a teacher-students knowledge distillation model. This model is intuitively inspired by the one teacher vs. multiple students learning method typically employed in schools. In particular, our model contains a single teacher-student distillation module and a student-student knowledge sharing mechanism. The former is designed using a tracking-specific distillation strategy to transfer knowledge from a teacher to students. The latter is utilized for mutual learning between students to enable in-depth knowledge understanding. Extensive empirical evaluations on several popular Siamese trackers demonstrate the generality and effectiveness of our framework. Moreover, the results on five tracking benchmarks show that the proposed distilled trackers achieve compression rates of up to 18$\times$ and frame-rates of $265$ FPS, while obtaining comparable tracking accuracy compared to base models.

知识蒸馏（KD）在将学习表征从大型模型（教师）转移到小型模型（学生）方面表现出非常有希望的能力。但是，随着学生和教师之间的容量差距变得更大，现有的KD方法无法获得更好的结果。我们的工作表明，“先验知识”对KD至关重要，尤其是在应用大型老师时。特别是，我们提出了动态的先验知识（DPK），该知识将教师特征的一部分作为特征蒸馏之前的先验知识。这意味着我们的方法还将教师的功能视为“输入”，而不仅仅是``目标''。此外，我们根据特征差距动态调整训练阶段的先验知识比率，从而引导学生在适当的困难中。为了评估所提出的方法，我们对两个图像分类基准（即CIFAR100和Imagenet）和一个对象检测基准（即MS Coco）进行了广泛的实验。结果表明，在不同的设置下，我们方法在性能方面具有优势。更重要的是，我们的DPK使学生模型的表现与教师模型的表现呈正相关，这意味着我们可以通过应用更大的教师进一步提高学生的准确性。我们的代码将公开用于可重复性。

作为模型压缩的一种有前途的方法，知识蒸馏通过从繁琐的知识转移知识来改善紧凑模型的性能。用于指导学生培训的知识很重要。语义分割中的先前蒸馏方法努力从这些特征中提取各种形式的知识，涉及依靠先前信息并具有有限的性能提高的精心手动设计。在本文中，我们提出了一种称为标准化功能蒸馏（NFD）的简单而有效的特征蒸馏方法，旨在实现原始功能的有效蒸馏，而无需手动设计新的知识形式。关键的想法是防止学生专注于模仿通过归一化的教师特征响应的幅度。我们的方法可获得有关CityScapes，VOC 2012和ADE20K数据集的语义细分的最新蒸馏结果。代码将可用。

由于其能够学习全球关系和卓越的表现，变形金刚引起了很多关注。为了实现更高的性能，将互补知识从变形金刚到卷积神经网络（CNN）是很自然的。但是，大多数现有的知识蒸馏方法仅考虑同源 - 建筑蒸馏，例如将知识从CNN到CNN蒸馏。在申请跨架构方案时，它们可能不合适，例如从变压器到CNN。为了解决这个问题，提出了一种新颖的跨架构知识蒸馏方法。具体而言，引入了部分交叉注意投影仪和小组线性投影仪，而不是直接模仿老师的输出/中级功能，以使学生的功能与教师的功能保持一致。并进一步提出了多视图强大的训练方案，以提高框架的稳健性和稳定性。广泛的实验表明，所提出的方法在小规模和大规模数据集上均优于14个最先进的方法。

近年来，深度卷积神经网络在病理学图像分割方面取得了重大进展。然而，病理图像分割遇到困境，其中更高绩效网络通常需要更多的计算资源和存储。由于病理图像的固有高分辨率，这种现象限制了实际场景中的高精度网络的就业。为了解决这个问题，我们提出了一种用于病理胃癌细分的新型跨层相关（COCO）知识蒸馏网络。知识蒸馏，通过从繁琐的网络从知识转移提高紧凑型网络的性能的一般技术。具体而言，我们的Coco Distillnet模拟了不同层之间的通道混合空间相似性的相关性，然后将这些知识从预培训的繁琐的教师网络传送到非培训的紧凑学生网络。此外，我们还利用了对抗性学习策略来进一步提示被称为对抗性蒸馏（AD）的蒸馏程序。此外，为了稳定我们的培训程序，我们利用无监督的释义模块（PM）来提高教师网络中的知识释义。结果，对胃癌细分数据集进行的广泛实验表明了Coco Distillnet的突出能力，实现了最先进的性能。

知识蒸馏在模型压缩方面取得了显着的成就。但是，大多数现有方法需要原始的培训数据，而实践中的实际数据通常是不可用的，因为隐私，安全性和传输限制。为了解决这个问题，我们提出了一种有条件的生成数据无数据知识蒸馏（CGDD）框架，用于培训有效的便携式网络，而无需任何实际数据。在此框架中，除了使用教师模型中提取的知识外，我们将预设标签作为额外的辅助信息介绍以培训发电机。然后，训练有素的发生器可以根据需要产生指定类别的有意义的培训样本。为了促进蒸馏过程，除了使用常规蒸馏损失，我们将预设标签视为地面真理标签，以便学生网络直接由合成训练样本类别监督。此外，我们强制学生网络模仿教师模型的注意图，进一步提高了其性能。为了验证我们方法的优越性，我们设计一个新的评估度量称为相对准确性，可以直接比较不同蒸馏方法的有效性。培训的便携式网络通过提出的数据无数据蒸馏方法获得了99.63％，99.07％和99.84％的CIFAR10，CIFAR100和CALTECH101的相对准确性。实验结果表明了所提出的方法的优越性。

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。