最近，已经开发了许多自动白细胞（WBC）或白细胞分类技术。但是，所有这些方法仅利用单个模态显微图像，即基于血液涂片或荧光，因此缺少从多模式图像中学习更好的潜力。在这项工作中，我们基于WBC分类任务的第一个多模式WBC数据集开发了有效的多模式体系结构。具体而言，我们提出的想法是通过两个步骤开发的 - 1）首先，我们仅在单个网络中学习模式特定的独立子网； 2）我们通过从高复杂性独立教师网络中提取知识来进一步增强独立子网的学习能力。因此，我们提出的框架可以实现高性能，同时保持多模式数据集的复杂性较低。我们的独特贡献是两倍-1）我们提出了用于WBC分类的同类多模式WBC数据集的第一个； 2）我们开发了高性能的多模式体系结构，同时也有效且复杂性低。

在多种方式知识蒸馏研究的背景下，现有方法主要集中在唯一的学习教师最终产出问题。因此，教师网络与学生网络之间存在深处。有必要强制学生网络来学习教师网络的模态关系信息。为了有效利用从教师转移到学生的知识，采用了一种新的模型关系蒸馏范式，通过建模不同的模态之间的关系信息，即学习教师模级克矩阵。

基于可穿戴传感器的人类动作识别（HAR）最近取得了杰出的成功。但是，基于可穿戴传感器的HAR的准确性仍然远远落后于基于视觉模式的系统（即RGB视频，骨架和深度）。多样化的输入方式可以提供互补的提示，从而提高HAR的准确性，但是如何利用基于可穿戴传感器的HAR的多模式数据的优势很少探索。当前，可穿戴设备（即智能手表）只能捕获有限的非视态模式数据。这阻碍了多模式HAR关联，因为它无法同时使用视觉和非视态模态数据。另一个主要挑战在于如何在有限的计算资源上有效地利用可穿戴设备上的多模式数据。在这项工作中，我们提出了一种新型的渐进骨骼到传感器知识蒸馏（PSKD）模型，该模型仅利用时间序列数据，即加速度计数据，从智能手表来解决基于可穿戴传感器的HAR问题。具体而言，我们使用来自教师（人类骨架序列）和学生（时间序列加速度计数据）模式的数据构建多个教师模型。此外，我们提出了一种有效的渐进学习计划，以消除教师和学生模型之间的绩效差距。我们还设计了一种称为自适应信心语义（ACS）的新型损失功能，以使学生模型可以自适应地选择其中一种教师模型或所需模拟的地面真实标签。为了证明我们提出的PSKD方法的有效性，我们对伯克利-MHAD，UTD-MHAD和MMACT数据集进行了广泛的实验。结果证实，与以前的基于单传感器的HAR方法相比，提出的PSKD方法具有竞争性能。

多模式知识蒸馏（KD）将传统知识蒸馏扩展到多模式学习的领域。一种常见的做法是采用良好的多式联运网络作为老师，希望它可以将其全部知识转移到单形学生以提高绩效。在本文中，我们研究了多模式KD的功效。我们首先提供了两个失败情况，并证明KD不是多模式知识转移中的普遍治疗方法。我们介绍了维恩图的模态，以了解模态关系和焦点的假设，从而揭示了多模式KD功效的决定性因素。6个多模式数据集的实验结果有助于证明我们的假设，诊断失败情况和点方向以提高蒸馏性能。

尽管配备的远景和语言预处理（VLP）在过去两年中取得了显着的进展，但它遭受了重大缺点：VLP型号不断增加的尺寸限制了其部署到现实世界的搜索场景（高潜伏期是不可接受的）。为了减轻此问题，我们提出了一种新颖的插件动态对比度蒸馏（DCD）框架，以压缩ITR任务的大型VLP模型。从技术上讲，我们面临以下两个挑战：1）由于GPU内存有限，在处理交叉模式融合功能期间优化了太多的负样本，因此很难直接应用于跨模式任务，因此很难直接应用于跨模式任务。 。 2）从不同的硬样品中静态优化学生网络的效率效率低下，这些样本对蒸馏学习和学生网络优化具有不同的影响。我们试图从两点克服这些挑战。首先，为了实现多模式对比度学习并平衡培训成本和效果，我们建议使用教师网络估算学生的困难样本，使学生吸收了预培训的老师的强大知识，并掌握知识来自硬样品。其次，要从硬样品对学习动态，我们提出动态蒸馏以动态学习不同困难的样本，从更好地平衡知识和学生的自学能力的困难的角度。我们成功地将我们提出的DCD策略应用于两个最先进的视觉语言预处理模型，即vilt和仪表。关于MS-Coco和FlickR30K基准测试的广泛实验显示了我们DCD框架的有效性和效率。令人鼓舞的是，与现有的ITR型号相比，我们可以至少加快推断至少129美元的$ \ times $。

最初引入了知识蒸馏，以利用来自单一教师模型的额外监督为学生模型培训。为了提高学生表现，最近的一些变体试图利用多个教师利用不同的知识来源。然而，现有研究主要通过对多种教师预测的平均或将它们与其他无标签策略相结合，将知识集成在多种来源中，可能在可能存在低质量的教师预测存在中误导学生。为了解决这个问题，我们提出了信心感知的多教师知识蒸馏（CA-MKD），该知识蒸馏（CA-MKD）在地面真理标签的帮助下，适用于每个教师预测的样本明智的可靠性，与那些接近单热的教师预测标签分配了大量的重量。此外，CA-MKD包含中间层，以进一步提高学生表现。广泛的实验表明，我们的CA-MKD始终如一地优于各种教师学生架构的所有最先进的方法。

医学成像是现代医学治疗和诊断的基石。但是，对于特定静脉局体任务的成像方式的选择通常涉及使用特定模式的可行性（例如，短期等待时间，低成本，快速获取，辐射/侵入性降低）与临床上的预期性能之间的权衡。任务（例如，诊断准确性，治疗计划的功效和指导）。在这项工作中，我们旨在运用从较不可行但表现更好（优越）模式中学到的知识，以指导利用更可行但表现不佳（劣等）模式，并将其转向提高性能。我们专注于深度学习用于基于图像的诊断。我们开发了一个轻量级的指导模型，该模型在训练仅消耗劣质模式的模型时利用从优越方式中学到的潜在表示。我们在两种临床应用中检查了我们方法的优势：从临床和皮肤镜图像中的多任务皮肤病变分类以及来自多序列磁共振成像（MRI）和组织病理学图像的脑肿瘤分类。对于这两种情况，我们在不需要出色的模态的情况下显示出劣质模式的诊断性能。此外，在脑肿瘤分类的情况下，我们的方法的表现优于在上级模态上训练的模型，同时产生与推理过程中使用两种模态的模型相当的结果。

AI-powered Medical Imaging has recently achieved enormous attention due to its ability to provide fast-paced healthcare diagnoses. However, it usually suffers from a lack of high-quality datasets due to high annotation cost, inter-observer variability, human annotator error, and errors in computer-generated labels. Deep learning models trained on noisy labelled datasets are sensitive to the noise type and lead to less generalization on the unseen samples. To address this challenge, we propose a Robust Stochastic Knowledge Distillation (RoS-KD) framework which mimics the notion of learning a topic from multiple sources to ensure deterrence in learning noisy information. More specifically, RoS-KD learns a smooth, well-informed, and robust student manifold by distilling knowledge from multiple teachers trained on overlapping subsets of training data. Our extensive experiments on popular medical imaging classification tasks (cardiopulmonary disease and lesion classification) using real-world datasets, show the performance benefit of RoS-KD, its ability to distill knowledge from many popular large networks (ResNet-50, DenseNet-121, MobileNet-V2) in a comparatively small network, and its robustness to adversarial attacks (PGD, FSGM). More specifically, RoS-KD achieves >2% and >4% improvement on F1-score for lesion classification and cardiopulmonary disease classification tasks, respectively, when the underlying student is ResNet-18 against recent competitive knowledge distillation baseline. Additionally, on cardiopulmonary disease classification task, RoS-KD outperforms most of the SOTA baselines by ~1% gain in AUC score.

在线知识蒸馏会在所有学生模型之间进行知识转移，以减轻对预培训模型的依赖。但是，现有的在线方法在很大程度上依赖于预测分布并忽略了代表性知识的进一步探索。在本文中，我们提出了一种用于在线知识蒸馏的新颖的多尺度功能提取和融合方法（MFEF），其中包括三个关键组成部分：多尺度功能提取，双重注意和功能融合，以生成更有信息的特征图，以用于蒸馏。提出了在通道维度中的多尺度提取利用分界线和catenate，以提高特征图的多尺度表示能力。为了获得更准确的信息，我们设计了双重注意，以适应重要的渠道和空间区域。此外，我们通过功能融合来汇总并融合了以前的处理功能地图，以帮助培训学生模型。关于CIF AR-10，CIF AR-100和Cinic-10的广泛实验表明，MFEF转移了更有益的代表性知识，以蒸馏和胜过各种网络体系结构之间的替代方法

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

Learning style refers to a type of training mechanism adopted by an individual to gain new knowledge. As suggested by the VARK model, humans have different learning preferences like visual, auditory, etc., for acquiring and effectively processing information. Inspired by this concept, our work explores the idea of mixed information sharing with model compression in the context of Knowledge Distillation (KD) and Mutual Learning (ML). Unlike conventional techniques that share the same type of knowledge with all networks, we propose to train individual networks with different forms of information to enhance the learning process. We formulate a combined KD and ML framework with one teacher and two student networks that share or exchange information in the form of predictions and feature maps. Our comprehensive experiments with benchmark classification and segmentation datasets demonstrate that with 15% compression, the ensemble performance of networks trained with diverse forms of knowledge outperforms the conventional techniques both quantitatively and qualitatively.

Often we wish to transfer representational knowledge from one neural network to another. Examples include distilling a large network into a smaller one, transferring knowledge from one sensory modality to a second, or ensembling a collection of models into a single estimator. Knowledge distillation, the standard approach to these problems, minimizes the KL divergence between the probabilistic outputs of a teacher and student network. We demonstrate that this objective ignores important structural knowledge of the teacher network. This motivates an alternative objective by which we train a student to capture significantly more information in the teacher's representation of the data. We formulate this objective as contrastive learning. Experiments demonstrate that our resulting new objective outperforms knowledge distillation and other cutting-edge distillers on a variety of knowledge transfer tasks, including single model compression, ensemble distillation, and cross-modal transfer. Our method sets a new state-of-the-art in many transfer tasks, and sometimes even outperforms the teacher network when combined with knowledge distillation.

最先进的蒸馏方法主要基于中间层的深层特征，而logit蒸馏的重要性被极大地忽略了。为了提供研究逻辑蒸馏的新观点，我们将经典的KD损失重新分为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们凭经验研究并证明了这两个部分的影响：TCKD转移有关训练样本“难度”的知识，而NCKD是Logit蒸馏起作用的重要原因。更重要的是，我们揭示了经典的KD损失是一种耦合的配方，该配方抑制了NCKD的有效性，并且（2）限制了平衡这两个部分的灵活性。为了解决这些问题，我们提出了脱钩的知识蒸馏（DKD），使TCKD和NCKD能够更有效，更灵活地发挥其角色。与基于功能的复杂方法相比，我们的DKD可相当甚至更好的结果，并且在CIFAR-100，ImageNet和MS-Coco数据集上具有更好的培训效率，用于图像分类和对象检测任务。本文证明了Logit蒸馏的巨大潜力，我们希望它对未来的研究有所帮助。该代码可从https://github.com/megvii-research/mdistiller获得。

心电图（ECG）监测心脏产生的电活动，用于检测致命的心血管疾病（CVD）。从传统上讲，为了捕获精确的电活动，临床专家使用多铅的心电图（通常为12条线索）。但是最近，大尺寸的深度学习模型已被用于检测这些疾病。但是，这样的模型需要大量的计算资源，例如巨大的记忆和漫长的推理时间。为了减轻这些缺点，我们提出了一个低参数模型，称为低资源心脏网络（LRH-NET），该模型使用较少的潜在客户在资源受限的环境中检测ECG异常。除此之外，还使用多层次知识蒸馏过程，以在我们提出的模型上获得更好的概括性能。多层次知识蒸馏过程将知识提炼成经过培训的LRH-NET，以减少在多个线索中训练的高级参数（教师）模型减少铅的铅，以减少性能差距。在Physionet-2020挑战数据集上评估了所提出的模型，输入受限。 LRH-NET的参数比检测CVD的教师模型小106倍。与教师模型相比，LRH-NET的性能缩放高达3.2％，推理时间降低了75％。与计算和参数密集的深度学习技术相反，提出的方法使用了使用低资源LRH-NET的ECG铅的子集，使其非常适合在边缘设备上部署。

Mixup is a popular data augmentation technique based on creating new samples by linear interpolation between two given data samples, to improve both the generalization and robustness of the trained model. Knowledge distillation (KD), on the other hand, is widely used for model compression and transfer learning, which involves using a larger network's implicit knowledge to guide the learning of a smaller network. At first glance, these two techniques seem very different, however, we found that ``smoothness" is the connecting link between the two and is also a crucial attribute in understanding KD's interplay with mixup. Although many mixup variants and distillation methods have been proposed, much remains to be understood regarding the role of a mixup in knowledge distillation. In this paper, we present a detailed empirical study on various important dimensions of compatibility between mixup and knowledge distillation. We also scrutinize the behavior of the networks trained with a mixup in the light of knowledge distillation through extensive analysis, visualizations, and comprehensive experiments on image classification. Finally, based on our findings, we suggest improved strategies to guide the student network to enhance its effectiveness. Additionally, the findings of this study provide insightful suggestions to researchers and practitioners that commonly use techniques from KD. Our code is available at https://github.com/hchoi71/MIX-KD.

我们解决了一对图像之间找到密集的视觉对应关系的重要任务。由于各种因素，例如质地差，重复的模式，照明变化和运动模糊，这是一个具有挑战性的问题。与使用密集信号基础真相作为本地功能匹配培训的直接监督的方法相反，我们训练3DG-STFM：一种多模式匹配模型（教师），以在3D密集的对应性监督下执行深度一致性，并将知识转移到2D单峰匹配模型（学生）。教师和学生模型均由两个基于变压器的匹配模块组成，这些模块以粗略的方式获得密集的对应关系。教师模型指导学生模型学习RGB诱导的深度信息，以实现粗糙和精细分支的匹配目的。我们还在模型压缩任务上评估了3DG-STFM。据我们所知，3DG-STFM是第一种用于本地功能匹配任务的学生教师学习方法。该实验表明，我们的方法优于室内和室外摄像头姿势估计以及同型估计问题的最先进方法。代码可在以下网址获得：https：//github.com/ryan-prime/3dg-stfm。

自我介绍在训练过程中利用自身的非均匀软监管，并在没有任何运行时成本的情况下提高性能。但是，在训练过程中的开销经常被忽略，但是在巨型模型的时代，培训期间的时间和记忆开销越来越重要。本文提出了一种名为ZIPF标签平滑（ZIPF的LS）的有效自我验证方法，该方法使用网络的直立预测来生成软监管，该软监管在不使用任何对比样本或辅助参数的情况下符合ZIPF分布。我们的想法来自经验观察，即当对网络进行适当训练时，在按样品的大小和平均分类后，应遵循分布的分布，让人联想到ZIPF的自然语言频率统计信息，这是在按样品中的大小和平均值进行排序之后进行的。 。通过在样本级别和整个培训期内强制执行此属性，我们发现预测准确性可以大大提高。使用INAT21细粒分类数据集上的RESNET50，与香草基线相比，我们的技术获得了 +3.61％的准确性增长，而与先前的标签平滑或自我验证策略相比，增益增加了0.88％。该实现可在https://github.com/megvii-research/zipfls上公开获得。

知识蒸馏是通过知识转移模型压缩的有效稳定的方法。传统知识蒸馏（KD）是将来自大型和训练有素的教师网络的知识转移到小型学生网络，这是一种单向过程。最近，已经提出了深度相互学习（DML）来帮助学生网络协同和同时学习。然而，据我们所知，KD和DML从未在统一的框架中共同探索，以解决知识蒸馏问题。在本文中，我们调查教师模型在KD中支持更值得信赖的监督信号，而学生则在DML中捕获教师的类似行为。基于这些观察，我们首先建议将KD与DML联合在统一的框架中。此外，我们提出了一个半球知识蒸馏（SOKD）方法，有效提高了学生和教师的表现。在这种方法中，我们在DML中介绍了同伴教学培训时尚，以缓解学生的模仿困难，并利用KD训练有素的教师提供的监督信号。此外，我们还显示我们的框架可以轻松扩展到基于功能的蒸馏方法。在CiFAR-100和Imagenet数据集上的广泛实验证明了所提出的方法实现了最先进的性能。

事件相机感测每个像素强度更改，并产生具有高动态范围和运动模糊的异步事件流，显示出与传统相机的优势。训练基于事件的模型的障碍是缺乏大规模标记的数据。现有作品学习结束任务主要依赖于从有源像素传感器（APS）帧获得的标记或伪标记的数据集;然而，这种数据集的质量远远远非基于规范图像的那些。在本文中，我们提出了一种新颖的方法，称为\ textbf {evdistill}，通过来自培训的教师网络的知识蒸馏（KD）来学习未标记和未配对的事件数据（目标模型）的学生网络图像数据（源码模式）。为了使KD跨越未配对的模态，我们首先提出了双向模型重建（BMR）模块来桥接两种方式，并同时利用它们通过制造的对蒸馏到知识，从而导致推断不额外计算。 BMR通过端到端的端到端的终端任务和KD损耗得到改善。其次，我们利用两种方式的结构相似之处，并通过匹配其分布来调整知识。此外，由于大多数先前的特征KD方法是单态的，而且对我们的问题不太适用，我们建议利用亲和力图KD损失来提高蒸馏。我们对语义分割和对象识别的广泛实验表明，Evdistill达到了比现有的作品和仅具有事件和APS帧的效果更好的结果。

Electroencephalogram (EEG) has been one of the common neuromonitoring modalities for real-world brain-computer interfaces (BCIs) because of its non-invasiveness, low cost, and high temporal resolution. Recently, light-weight and portable EEG wearable devices based on low-density montages have increased the convenience and usability of BCI applications. However, loss of EEG decoding performance is often inevitable due to reduced number of electrodes and coverage of scalp regions of a low-density EEG montage. To address this issue, we introduce knowledge distillation (KD), a learning mechanism developed for transferring knowledge/information between neural network models, to enhance the performance of low-density EEG decoding. Our framework includes a newly proposed similarity-keeping (SK) teacher-student KD scheme that encourages a low-density EEG student model to acquire the inter-sample similarity as in a pre-trained teacher model trained on high-density EEG data. The experimental results validate that our SK-KD framework consistently improves motor-imagery EEG decoding accuracy when number of electrodes deceases for the input EEG data. For both common low-density headphone-like and headband-like montages, our method outperforms state-of-the-art KD methods across various EEG decoding model architectures. As the first KD scheme developed for enhancing EEG decoding, we foresee the proposed SK-KD framework to facilitate the practicality of low-density EEG-based BCI in real-world applications.