无教师的在线知识蒸馏（KD）旨在培训多个学生模型的合奏，并彼此提炼知识。尽管现有的在线KD方法实现了理想的性能，但它们通常专注于阶级概率作为核心知识类型，而忽略了宝贵的特征代表性信息。我们为在线KD提供了一个相互的对比学习（MCL）框架。 MCL的核心思想是以在线方式进行对比分布的相互交互和对比度分布的转移。我们的MCL可以汇总跨网络嵌入信息，并最大化两个网络之间的相互信息的下限。这使每个网络能够从他人那里学习额外的对比知识，从而提供更好的特征表示形式，从而提高视觉识别任务的性能。除最后一层外，我们还将MCL扩展到辅助特征细化模块辅助的几个中间层。这进一步增强了在线KD的表示能力。关于图像分类和转移学习到视觉识别任务的实验表明，MCL可以针对最新的在线KD方法带来一致的性能提高。优势表明，MCL可以指导网络生成更好的特征表示。我们的代码可在https://github.com/winycg/mcl上公开获取。

知识蒸馏（KD）是一个有效的框架，旨在将有意义的信息从大型老师转移到较小的学生。通常，KD通常涉及如何定义和转移知识。以前的KD方法通常着重于挖掘各种形式的知识，例如功能地图和精致信息。但是，知识源自主要监督任务，因此是高度特定于任务的。在自我监督的代表学习的最新成功中，我们提出了一项辅助自我实施的增强任务，以指导网络学习更多有意义的功能。因此，我们可以从KD的这项任务中得出软性自我实施的增强分布作为更丰富的黑暗知识。与以前的知识不同，此分布编码从监督和自我监督的特征学习中编码联合知识。除了知识探索之外，我们建议在各个隐藏层上附加几个辅助分支，以充分利用分层特征图。每个辅助分支都被指导学习自学的增强任务，并将这种分布从教师到学生提炼。总体而言，我们称我们的KD方法为等级自我实施的增强知识蒸馏（HSSAKD）。标准图像分类的实验表明，离线和在线HSSAKD都在KD领域达到了最先进的表现。对象检测的进一步转移实验进一步验证了HSSAKD可以指导网络学习更好的功能。该代码可在https://github.com/winycg/hsakd上找到。

与常规知识蒸馏（KD）不同，自我KD允许网络在没有额外网络的任何指导的情况下向自身学习知识。本文提议从图像混合物（Mixskd）执行自我KD，将这两种技术集成到统一的框架中。 Mixskd相互蒸馏以图形和概率分布在随机的原始图像和它们的混合图像之间以有意义的方式。因此，它通过对混合图像进行监督信号进行建模来指导网络学习跨图像知识。此外，我们通过汇总多阶段功能图来构建一个自学老师网络，以提供软标签以监督骨干分类器，从而进一步提高自我增强的功效。图像分类和转移学习到对象检测和语义分割的实验表明，混合物KD优于其他最先进的自我KD和数据增强方法。该代码可在https://github.com/winycg/self-kd-lib上找到。

知识蒸馏通常涉及如何有效地定义和转移知识从教师到学生。尽管最近的自我监督的对比知识取得了最佳表现，但迫使网络学习此类知识可能会损害对原始班级识别任务的表示。因此，我们采用替代性的自我监督的增强任务来指导网络学习原始识别任务和自我监督的辅助任务的共同分布。它被证明是一种更丰富的知识，可以提高表示能力而不会失去正常的分类能力。此外，以前的方法仅在最终层之间传递概率知识是不完整的。我们建议将几个辅助分类器附加到层次中间特征图中，以生成多样化的自我监督知识，并执行一对一的转移以彻底教授学生网络。我们的方法显着超过了先前的SOTA SSKD，CIFAR-100的平均改善为2.56 \％，并且在广泛使用的网络对上的Imagenet上有0.77 \％的提高。代码可在https://github.com/winycg/hsakd上找到。

Often we wish to transfer representational knowledge from one neural network to another. Examples include distilling a large network into a smaller one, transferring knowledge from one sensory modality to a second, or ensembling a collection of models into a single estimator. Knowledge distillation, the standard approach to these problems, minimizes the KL divergence between the probabilistic outputs of a teacher and student network. We demonstrate that this objective ignores important structural knowledge of the teacher network. This motivates an alternative objective by which we train a student to capture significantly more information in the teacher's representation of the data. We formulate this objective as contrastive learning. Experiments demonstrate that our resulting new objective outperforms knowledge distillation and other cutting-edge distillers on a variety of knowledge transfer tasks, including single model compression, ensemble distillation, and cross-modal transfer. Our method sets a new state-of-the-art in many transfer tasks, and sometimes even outperforms the teacher network when combined with knowledge distillation.

虽然自我监督的表示学习（SSL）在大型模型中证明是有效的，但在遵循相同的解决方案时，轻量级模型中的SSL和监督方法之间仍然存在巨大差距。我们深入研究这个问题，发现轻量级模型在简单地执行实例对比时易于在语义空间中崩溃。为了解决这个问题，我们提出了一种与关系知识蒸馏（REKD）的关系方面的对比范例。我们介绍一个异构教师，明确地挖掘语义信息并将新颖的关系知识转移到学生（轻量级模型）。理论分析支持我们对案例对比度的主要担忧，验证了我们关系的对比学习的有效性。广泛的实验结果还表明，我们的方法达到了多种轻量级模型的显着改进。特别是，亚历谢的线性评估显然将目前的最先进从44.7％提高到50.1％，这是第一个接近监督50.5％的工作。代码将可用。

最近对知识蒸馏的研究发现，组合来自多位教师或学生的“黑暗知识”是有助于为培训创造更好的软目标，但以更大的计算和/或参数的成本为本。在这项工作中，我们通过在同一批量中传播和集合其他样本的知识来提供批处理知识合奏（烘焙）以生产用于锚固图像的精细柔软目标。具体地，对于每个感兴趣的样本，根据采样间的亲和力加权知识的传播，其与当前网络一起估计。然后可以集合传播的知识以形成更好的蒸馏靶。通过这种方式，我们的烘焙框架只通过单个网络跨多个样本进行在线知识。与现有知识合并方法相比，它需要最小的计算和内存开销。广泛的实验表明，轻质但有效的烘烤始终如一地提升多个数据集上各种架构的分类性能，例如，在想象网上的显着+ 0.7％的VINE-T的增益，只有+ 1.5％计算开销和零附加参数。烘焙不仅改善了Vanilla基线，还超越了所有基准的单一网络最先进。

神经网络二进制通过将其权重和激活量化为1位来加速深层模型。但是，二进制神经网络（BNN）与其完整精确（FP）对应物之间仍然存在巨大的性能差距。由于早期作品中权重二进制引起的量化误差已减少，因此激活二进化成为进一步提高准确性的主要障碍。 BNN表征了独特而有趣的结构，其中二进制和潜在的fp激活存在于同一正向通行证中（\ textit {i.e。} $ \ text {binarize}（\ mathbf {a} _f {a} _f）= \ mathbf {a a} _b $） 。为了减轻从FP到二元激活的二进化操作引起的信息降解，我们在通过互信息（MI）最大化的镜头训练BNN时建立了一种新颖的对比学习框架。将MI作为指标引入，以衡量二进制和FP激活之间共享的信息，这有助于对比度学习。具体而言，通过从相同输入样品中拉出二进制和FP激活的正对，以及从不同样品中推动负面对（负面对数的数量可以大大），从而极大地增强了BNN的表示能力。这使下游任务不仅有益于分类，而且还受益于分类和深度估计，〜\ textit {etc}。实验结果表明，我们的方法可以作为现有最新二元方法的堆积模块实现NYUD-V2的能力。

深度学习的成功通常伴随着神经网络深度的增长。但是，传统培训方法仅在最后一层监督神经网络并逐层传播，这导致了优化中间层的困难。最近，已经提出了深层监督，以在深神经网络的中间层中添加辅助分类器。通过通过监督任务损失优化这些辅助分类器，可以将监督直接应用于浅层层。但是，深层监督与众所周知的观察结果冲突，即浅层学习低级特征，而不是任务偏向的高级语义特征。为了解决这个问题，本文提出了一个名为“对比深度监督”的新型培训框架，该框架通过基于增强的对比学习来监督中间层。具有11个模型的九个流行数据集的实验结果证明了其对监督学习，半监督学习和知识蒸馏中一般图像分类，细粒度的图像分类和对象检测的影响。代码已在Github发布。

在这项工作中，我们提出了相互信息最大化知识蒸馏（MIMKD）。我们的方法使用对比目标来同时估计，并最大化教师和学生网络之间的本地和全球特征表示的相互信息的下限。我们通过广泛的实验证明，这可以通过将知识从更加性能但计算昂贵的模型转移来改善低容量模型的性能。这可用于产生更好的模型，可以在具有低计算资源的设备上运行。我们的方法灵活，我们可以将具有任意网络架构的教师蒸馏到任意学生网络。我们的经验结果表明，MIMKD优于各种学生教师对的竞争方法，具有不同的架构，以及学生网络的容量极低。我们能够通过从Reset-50蒸馏出来的知识，从基线精度为Shufflenetv2获得74.55％的精度。在Imagenet上，我们使用Reset-34教师网络将Reset-18网络从68.88％提高到70.32％的准确度（1.44％+）。

知识蒸馏是通过知识转移模型压缩的有效稳定的方法。传统知识蒸馏（KD）是将来自大型和训练有素的教师网络的知识转移到小型学生网络，这是一种单向过程。最近，已经提出了深度相互学习（DML）来帮助学生网络协同和同时学习。然而，据我们所知，KD和DML从未在统一的框架中共同探索，以解决知识蒸馏问题。在本文中，我们调查教师模型在KD中支持更值得信赖的监督信号，而学生则在DML中捕获教师的类似行为。基于这些观察，我们首先建议将KD与DML联合在统一的框架中。此外，我们提出了一个半球知识蒸馏（SOKD）方法，有效提高了学生和教师的表现。在这种方法中，我们在DML中介绍了同伴教学培训时尚，以缓解学生的模仿困难，并利用KD训练有素的教师提供的监督信号。此外，我们还显示我们的框架可以轻松扩展到基于功能的蒸馏方法。在CiFAR-100和Imagenet数据集上的广泛实验证明了所提出的方法实现了最先进的性能。

在线知识蒸馏会在所有学生模型之间进行知识转移，以减轻对预培训模型的依赖。但是，现有的在线方法在很大程度上依赖于预测分布并忽略了代表性知识的进一步探索。在本文中，我们提出了一种用于在线知识蒸馏的新颖的多尺度功能提取和融合方法（MFEF），其中包括三个关键组成部分：多尺度功能提取，双重注意和功能融合，以生成更有信息的特征图，以用于蒸馏。提出了在通道维度中的多尺度提取利用分界线和catenate，以提高特征图的多尺度表示能力。为了获得更准确的信息，我们设计了双重注意，以适应重要的渠道和空间区域。此外，我们通过功能融合来汇总并融合了以前的处理功能地图，以帮助培训学生模型。关于CIF AR-10，CIF AR-100和Cinic-10的广泛实验表明，MFEF转移了更有益的代表性知识，以蒸馏和胜过各种网络体系结构之间的替代方法

最先进的蒸馏方法主要基于中间层的深层特征，而logit蒸馏的重要性被极大地忽略了。为了提供研究逻辑蒸馏的新观点，我们将经典的KD损失重新分为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们凭经验研究并证明了这两个部分的影响：TCKD转移有关训练样本“难度”的知识，而NCKD是Logit蒸馏起作用的重要原因。更重要的是，我们揭示了经典的KD损失是一种耦合的配方，该配方抑制了NCKD的有效性，并且（2）限制了平衡这两个部分的灵活性。为了解决这些问题，我们提出了脱钩的知识蒸馏（DKD），使TCKD和NCKD能够更有效，更灵活地发挥其角色。与基于功能的复杂方法相比，我们的DKD可相当甚至更好的结果，并且在CIFAR-100，ImageNet和MS-Coco数据集上具有更好的培训效率，用于图像分类和对象检测任务。本文证明了Logit蒸馏的巨大潜力，我们希望它对未来的研究有所帮助。该代码可从https://github.com/megvii-research/mdistiller获得。

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

尽管自我监督的表示学习（SSL）受到社区的广泛关注，但最近的研究认为，当模型大小降低时，其性能将遭受悬崖的下降。当前的方法主要依赖于对比度学习来训练网络，在这项工作中，我们提出了一种简单而有效的蒸馏对比学习（Disco），以大幅度减轻问题。具体而言，我们发现主流SSL方法获得的最终嵌入包含最富有成果的信息，并建议提炼最终的嵌入，以最大程度地将教师的知识传播到轻量级模型中，通过约束学生的最后嵌入与学生的最后嵌入，以使其与该模型保持一致。老师。此外，在实验中，我们发现存在一种被称为蒸馏瓶颈的现象，并存在以扩大嵌入尺寸以减轻此问题。我们的方法在部署过程中不会向轻型模型引入任何额外的参数。实验结果表明，我们的方法在所有轻型模型上都达到了最先进的作用。特别是，当使用RESNET-101/RESNET-50用作教师教授有效网络-B0时，Imagenet上有效网络B0的线性结果非常接近Resnet-101/Resnet-50，但是有效网络B0的参数数量仅为9.4 \％/16.3 \％Resnet-101/resnet-50。代码可从https：// github获得。 com/yuting-gao/disco-pytorch。

知识蒸馏已成为获得紧凑又有效模型的重要方法。为实现这一目标，培训小型学生模型以利用大型训练有素的教师模型的知识。然而，由于教师和学生之间的能力差距，学生的表现很难达到老师的水平。关于这个问题，现有方法建议通过代理方式减少教师知识的难度。我们认为这些基于代理的方法忽视了教师的知识损失，这可能导致学生遇到容量瓶颈。在本文中，我们从新的角度来缓解能力差距问题，以避免知识损失的目的。我们建议通过对抗性协作学习建立一个更有力的学生，而不是牺牲教师的知识。为此，我们进一步提出了一种逆势协作知识蒸馏（ACKD）方法，有效提高了知识蒸馏的性能。具体来说，我们用多个辅助学习者构建学生模型。同时，我们设计了对抗的对抗性协作模块（ACM），引入注意机制和对抗的学习，以提高学生的能力。四个分类任务的广泛实验显示了拟议的Ackd的优越性。

混合样品正则化（MSR），例如混合或cutmix，是一种强大的数据增强策略，可以推广卷积神经网络。先前的经验分析说明了MSR与传统的离线知识蒸馏（KD）之间的正交性能增长。更具体地说，可以通过MSR参与顺序蒸馏的训练阶段来增强学生网络。然而，MSR和在线知识蒸馏之间的相互作用，这是一个更强的蒸馏范式，在那里，一群同伴互相学习的合奏仍然没有探索。为了弥合差距，我们首次尝试将cutmix纳入在线蒸馏中，我们从经验上观察到了重大改进。在这个事实的鼓舞下，我们提出了一个更强大的MSR，专门用于在线蒸馏，称为Cut^nMix。此外，一个新颖的在线蒸馏框架是在切割^nmix上设计的，以通过功能水平相互学习和自我启动的老师来增强蒸馏。对CIFAR10和CIFAR100进行六个网络体系结构的全面评估表明，我们的方法可以始终超过最先进的蒸馏方法。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

最近先进的无监督学习方法使用暹罗样框架来比较来自同一图像的两个“视图”以进行学习表示。使两个视图独特是一种保证无监督方法可以学习有意义的信息的核心。但是，如果使用用于生成两个视图的增强不足够强度，此类框架有时会易碎过度装备，导致培训数据上的过度自信的问题。此缺点会阻碍模型，从学习微妙方差和细粒度信息。为了解决这个问题，在这项工作中，我们的目标是涉及在无监督的学习中的标签空间上的距离概念，并让模型通过混合输入数据空间来了解正面或负对对之间的柔和程度，以便协同工作输入和损耗空间。尽管其概念性简单，我们凭借解决的解决方案 - 无监督图像混合（UN-MIX），我们可以从转换的输入和相应的新标签空间中学习Subtler，更强大和广义表示。广泛的实验在CiFar-10，CiFar-100，STL-10，微小的想象和标准想象中进行了流行的无人监督方法SIMCLR，BYOL，MOCO V1和V2，SWAV等。我们所提出的图像混合物和标签分配策略可以获得一致的改进在完全相同的超参数和基础方法的培训程序之后1〜3％。代码在https://github.com/szq0214/un-mix上公开提供。

尽管知识蒸馏有经验成功，但仍然缺乏理论基础，可以自然地导致计算廉价的实现。为了解决这一问题，我们使用最近提出的熵函数来促进信息理论与知识蒸馏之间的替代联系。在这样做时，我们介绍了两个不同的互补损失，旨在最大限度地提高学生和教师陈述之间的相关性和互信。我们的方法对知识蒸馏和跨模型转移任务的最先进的竞争性能实现了最先进的，同时产生明显较低的培训开销，而不是密切相关和类似的方法。我们进一步展示了我们对二元蒸馏任务的方法的有效性，由此，我们将光线光到新的最先进的二进制量化。代码，评估协议和培训的型号将公开可用。