现代神经网络是强大的预测模型。但是，当认识到他们的预测可能是错误的时，他们的表现不佳。例如，对于最常见的激活函数之一，relu及其变体，即使是经过良好校准的模型也会产生不正确但置信度高的预测。在相关的动作识别任务中，大多数当前的分类方法基于剪辑级分类器，这些分类器密集地对给定的视频进行了非重叠，相同尺寸的剪辑并使用聚合函数（通常为平均值）来汇总结果，以达到视频级别预测。尽管这种方法已证明是有效的，但它在识别精度上是最佳的，并且具有较高的计算开销。为了减轻这两个问题，我们提出了信心蒸馏框架，以教导老师对学生抽样的不确定性表示，并将学生和教师模型之间的完整视频预测任务分开。我们对三个动作识别数据集进行了广泛的实验，并证明我们的框架在动作识别精度（最高20％）和计算效率（超过40％）方面取得了重大提高。

知识蒸馏是从重型网络（教师）到小型网络（学生）的有效转移，以提高学生的表现。自我知识蒸馏是知识蒸馏的一种特殊情况，已提出在保持学生表现的同时删除大型教师网络培训过程。本文通过暹罗代表学习介绍了一种新型的自我知识蒸馏方法，该方法最大程度地减少了给定样本的两个不同观点的两个表示矢量之间的差异。我们提出的方法SKD-SRL使用了软标签蒸馏和表示向量的相似性。因此，SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已在各种标准数据集上进行了评估。实验结果表明，与现有的监督学习和知识蒸馏方法相比，SKD-SRL显着提高了准确性。

在本文中，我们提出了一个名为OcSampler的框架，以探索一个紧凑而有效的视频表示，其中一个短剪辑以获得高效的视频识别。最近的作品宁愿通过根据其重要性选择一个框架作为顺序决策任务的帧采样，而我们呈现了一个专用的学习实例的视频冷凝策略的新范式，以选择仅在单个视频中表示整个视频的信息帧步。我们的基本动机是高效的视频识别任务在于一次地处理整个序列而不是顺序拾取帧。因此，这些策略在一个步骤中与简单而有效的策略网络一起导出从光加权略微脱脂网络。此外，我们以帧编号预算扩展了所提出的方法，使框架能够以尽可能少的帧的高度置信度产生正确的预测。四个基准测试，即ActivityNet，Mini-Kinetics，FCVID，Mini-Sports1M的实验证明了我们在准确性，理论计算费用，实际推理速度方面对先前方法的效果。我们还在不同分类器，采样框架和搜索空间上评估其泛化电量。特别是，我们在ActivityNet上达到76.9％的地图和21.7 GFLOPS，具有令人印象深刻的吞吐量：123.9个视频/ s在单个Titan XP GPU上。

在本文中，我们从经验上研究了如何充分利用低分辨率框架以进行有效的视频识别。现有方法主要集中于开发紧凑的网络或减轻视频输入的时间冗余以提高效率，而压缩框架分辨率很少被认为是有希望的解决方案。一个主要问题是低分辨率帧的识别准确性不佳。因此，我们首先分析低分辨率帧上性能降解的根本原因。我们的主要发现是，降级的主要原因不是在下采样过程中的信息丢失，而是网络体系结构和输入量表之间的不匹配。通过知识蒸馏（KD）的成功，我们建议通过跨分辨率KD（RESKD）弥合网络和输入大小之间的差距。我们的工作表明，RESKD是一种简单但有效的方法，可以提高低分辨率帧的识别精度。没有铃铛和哨子，RESKD在四个大规模基准数据集（即ActivityNet，FCVID，Mini-Kinetics，sopeings soseings ossings v2）上，就效率和准确性上的所有竞争方法都大大超过了所有竞争方法。此外，我们广泛地展示了其对最先进的体系结构（即3D-CNN和视频变压器）的有效性，以及对超低分辨率帧的可扩展性。结果表明，RESKD可以作为最先进视频识别的一般推理加速方法。我们的代码将在https://github.com/cvmi-lab/reskd上找到。

神经网络可以从单个图像中了解视觉世界的内容是什么？虽然它显然不能包含存在的可能对象，场景和照明条件 - 在所有可能的256 ^（3x224x224）224尺寸的方形图像中，它仍然可以在自然图像之前提供强大的。为了分析这一假设，我们通过通过监控掠夺教师的知识蒸馏来制定一种训练神经网络的培训神经网络。有了这个，我们发现上述问题的答案是：“令人惊讶的是，很多”。在定量术语中，我们在CiFar-10/100上找到了94％/ 74％的前1个精度，在想象中，通过将这种方法扩展到音频，84％的语音组合。在广泛的分析中，我们解除了增强，源图像和网络架构的选择，以及在从未见过熊猫的网络中发现“熊猫神经元”。这项工作表明，一个图像可用于推断成千上万的对象类，并激励关于增强和图像的基本相互作用的更新的研究议程。

基于可穿戴传感器的人类动作识别（HAR）最近取得了杰出的成功。但是，基于可穿戴传感器的HAR的准确性仍然远远落后于基于视觉模式的系统（即RGB视频，骨架和深度）。多样化的输入方式可以提供互补的提示，从而提高HAR的准确性，但是如何利用基于可穿戴传感器的HAR的多模式数据的优势很少探索。当前，可穿戴设备（即智能手表）只能捕获有限的非视态模式数据。这阻碍了多模式HAR关联，因为它无法同时使用视觉和非视态模态数据。另一个主要挑战在于如何在有限的计算资源上有效地利用可穿戴设备上的多模式数据。在这项工作中，我们提出了一种新型的渐进骨骼到传感器知识蒸馏（PSKD）模型，该模型仅利用时间序列数据，即加速度计数据，从智能手表来解决基于可穿戴传感器的HAR问题。具体而言，我们使用来自教师（人类骨架序列）和学生（时间序列加速度计数据）模式的数据构建多个教师模型。此外，我们提出了一种有效的渐进学习计划，以消除教师和学生模型之间的绩效差距。我们还设计了一种称为自适应信心语义（ACS）的新型损失功能，以使学生模型可以自适应地选择其中一种教师模型或所需模拟的地面真实标签。为了证明我们提出的PSKD方法的有效性，我们对伯克利-MHAD，UTD-MHAD和MMACT数据集进行了广泛的实验。结果证实，与以前的基于单传感器的HAR方法相比，提出的PSKD方法具有竞争性能。

尽管对视频表示学习的自我监督预先预测方法的突出成功，但在未标记的预测数据集很小或源任务（预先训练）中的未标记数据和目标任务中标记的数据（Fineetuning）之间的域差异。为了缓解这些问题，我们提出了一种新的方法来通过基于知识相似性蒸馏，Auxskd的辅助预押阶段补充自我监督预测，以便更好地推广，具有明显较少量的视频数据，例如，动力学-100而不是动力学-400。我们的方法通过捕获未标记的视频数据的段之间的相似信息，将其知识迭代地将其知识蒸发到学生模型。然后，学生模型通过利用此先验知识来解决借口任务。我们还介绍了一种新颖的借口任务，视频段速度预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的播放速度，以提供更可靠的自我监督的表示。我们的实验结果表明，在K100上预先训练时，UCF101和HMDB51数据集的最先进结果卓越。此外，我们表明我们的辅助辅助辅助持久性辅助阶段作为最近的艺术的自我监督方法（例如VideOpace和Rspnet），可以在UCF101和HMDB51上提高结果。我们的代码即将发布。

建模空间关系对于识别人类行为，尤其是当人类与物体相互作用时，而多个物体随着时间的推移会随着时间的推移而出现多个物体。大多数现有的行动识别模型专注于学习场景的整体视觉线索，而是无视内容的内容细粒度，可以通过学习人对象关系和互动来捕获。在本文中，我们通过利用当地和全球背景的互动来学习人对象关系。因此，我们提出了全球局部相互作用蒸馏网（GLIDN），通过空间和时间通过知识蒸馏来学习人和对象相互作用，以进行细粒度的现场理解。 Glidn将人和对象编码为Graph节点，并通过图注意网络了解本地和全球关系。本地上下文图通过在特定时间步骤中捕获它们的共同发生来了解帧级别的人类和对象之间的关系。全局关系图是基于人类和对象交互的视频级构建的，识别它们在视频序列中的长期关系。更重要的是，我们研究了如何将这些图表的知识如何蒸馏到它们的对应部分，以改善人对象相互作用（Hoi）识别。通过在两个数据集上进行全面的实验，我们评估我们的模型，包括Charades和CAD-120数据集。我们已经实现了比基线和对应方法更好的结果。

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

半监控视频动作识别倾向于使深神经网络能够实现显着性能，即使具有非常有限的标记数据。然而，现有方法主要从当前的基于图像的方法转移（例如，FixMatch）。不具体利用时间动态和固有的多模式属性，它们的结果可能是次优。为了更好地利用视频中的编码的时间信息，我们将时间梯度引入了本文中的更多细小特征提取的额外模态。具体而言，我们的方法明确地蒸馏从时间梯度（TG）的细粒度运动表示，并施加不同方式的一致性（即RGB和TG）。在推理期间，没有额外的计算或参数，在没有额外的计算或参数的情况下显着提高了半监督动作识别的性能。我们的方法在若干典型的半监督设置（即标记数据的不同比率）下实现三个视频动作识别基准（即动态-400，UCF-101和HMDB-51）的最先进的性能。

由于许多微调预先训练的语言模型〜（PLMS）具有有希望的性能，因此慷慨地释放，研究了重用这些模型的更好方法至关重要，因为它可以大大降低再培训计算成本和潜在的环境副作用。在本文中，我们探索了一种小型模型重用范式，知识合并〜（ka）。如果没有人为注释，KA旨在将来自不同教师的知识合并到一个专门从事不同的分类问题中的知识，进入多功能的学生模型。实现这一目标，我们设计了模型不确定感知知识合并〜（Muka）框架，其使用Monte-Carlo辍学来识别潜在的足够教师，以估计金色监督指导学生。实验结果表明，Muka在基准数据集上实现了对基准的基本改进。进一步的分析表明，Muka可以通过多个教师模型，异构教师，甚至交叉数据集教师概括很好的复杂设置。

这项工作提出了一个名为TEG的自我监督的学习框架，探讨学习视频表示中的时间粒度。在TEG中，我们从视频中抽出一个长剪辑，以及在长夹内部的短夹。然后我们提取密集的时间嵌入品。培训目标由两部分组成：一个细粒度的时间学习目的，以最大化短夹和长剪辑中的相应时间嵌入之间的相似性，以及持续的时间学习目标，以将两个剪辑的全局嵌入在一起。我们的研究揭示了时间粒度与三个主要发现的影响。 1）不同的视频任务可能需要不同时间粒度的特征。 2）有趣的是，广泛认为需要时间感知的一些任务实际上可以通过时间持久的功能来解决。 3）TEG的灵活性对8个视频基准测试产生最先进的结果，在大多数情况下优于监督预训练。

各种预培训模型的涌入通过提供丰富的教师资源来增强知识蒸馏〜（KD）。同时，探索大型模型存储库以选择合适的教师并进一步提取其知识成为艰巨的挑战。当训练学生提供大量预先训练的教师，即“教师”时，标准KD未能克服两个障碍。首先，我们需要有效地寻找教师中最有贡献的老师，而不是为学生列举所有教师。其次，由于教师可能会在W.R.T.的不同任务上进行培训。学生，我们必须从更通用的标签空间中提取知识。本文研究了``教师蒸馏''，学生进行教师评估和广义知识再利用。我们利用最佳运输来为两个问题构建一个统一的目标，该目标弥合了语义差距并测量一对模型之间的相关性。这个目标可以选择最相关的老师，我们将相同的目标最小化，而不是学生参数，以便随后从选定的教师转移知识。在各种环境中的实验证明了我们提出的方法的简洁性和多功能性。

Left-ventricular ejection fraction (LVEF) is an important indicator of heart failure. Existing methods for LVEF estimation from video require large amounts of annotated data to achieve high performance, e.g. using 10,030 labeled echocardiogram videos to achieve mean absolute error (MAE) of 4.10. Labeling these videos is time-consuming however and limits potential downstream applications to other heart diseases. This paper presents the first semi-supervised approach for LVEF prediction. Unlike general video prediction tasks, LVEF prediction is specifically related to changes in the left ventricle (LV) in echocardiogram videos. By incorporating knowledge learned from predicting LV segmentations into LVEF regression, we can provide additional context to the model for better predictions. To this end, we propose a novel Cyclical Self-Supervision (CSS) method for learning video-based LV segmentation, which is motivated by the observation that the heartbeat is a cyclical process with temporal repetition. Prediction masks from our segmentation model can then be used as additional input for LVEF regression to provide spatial context for the LV region. We also introduce teacher-student distillation to distill the information from LV segmentation masks into an end-to-end LVEF regression model that only requires video inputs. Results show our method outperforms alternative semi-supervised methods and can achieve MAE of 4.17, which is competitive with state-of-the-art supervised performance, using half the number of labels. Validation on an external dataset also shows improved generalization ability from using our method. Our code is available at https://github.com/xmed-lab/CSS-SemiVideo.

在本文中，我们向使用未标记的视频数据提出了用于视频变压器的自我监督培训。从给定的视频，我们创建了不同的空间尺寸和帧速率的本地和全球时空视图。我们的自我监督目标旨在匹配这些不同视图的特征，代表相同的视频，以不变于动作的时空变化。据我们所知，所提出的方法是第一个缓解对自我监督视频变压器（SVT）中的负样本或专用内存库的依赖。此外，由于变压器模型的灵活性，SVT使用动态调整的位置编码在单个架构内支持慢速视频处理，并支持沿着时空尺寸的长期关系建模。我们的方法在四个动作识别基准（动力学-400，UCF-101，HMDB-51和SSV2）上执行良好，并通过小批量尺寸更快地收敛。代码：https://git.io/j1juj.

Knowledge distillation (KD) has gained a lot of attention in the field of model compression for edge devices thanks to its effectiveness in compressing large powerful networks into smaller lower-capacity models. Online distillation, in which both the teacher and the student are learning collaboratively, has also gained much interest due to its ability to improve on the performance of the networks involved. The Kullback-Leibler (KL) divergence ensures the proper knowledge transfer between the teacher and student. However, most online KD techniques present some bottlenecks under the network capacity gap. By cooperatively and simultaneously training, the models the KL distance becomes incapable of properly minimizing the teacher's and student's distributions. Alongside accuracy, critical edge device applications are in need of well-calibrated compact networks. Confidence calibration provides a sensible way of getting trustworthy predictions. We propose BD-KD: Balancing of Divergences for online Knowledge Distillation. We show that adaptively balancing between the reverse and forward divergences shifts the focus of the training strategy to the compact student network without limiting the teacher network's learning process. We demonstrate that, by performing this balancing design at the level of the student distillation loss, we improve upon both performance accuracy and calibration of the compact student network. We conducted extensive experiments using a variety of network architectures and show improvements on multiple datasets including CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet. We illustrate the effectiveness of our approach through comprehensive comparisons and ablations with current state-of-the-art online and offline KD techniques.

Despite the fact that deep neural networks are powerful models and achieve appealing results on many tasks, they are too large to be deployed on edge devices like smartphones or embedded sensor nodes. There have been efforts to compress these networks, and a popular method is knowledge distillation, where a large (teacher) pre-trained network is used to train a smaller (student) network. However, in this paper, we show that the student network performance degrades when the gap between student and teacher is large. Given a fixed student network, one cannot employ an arbitrarily large teacher, or in other words, a teacher can effectively transfer its knowledge to students up to a certain size, not smaller. To alleviate this shortcoming, we introduce multi-step knowledge distillation, which employs an intermediate-sized network (teacher assistant) to bridge the gap between the student and the teacher. Moreover, we study the effect of teacher assistant size and extend the framework to multi-step distillation. Theoretical analysis and extensive experiments on CIFAR-10,100 and ImageNet datasets and on CNN and ResNet architectures substantiate the effectiveness of our proposed approach.

除了使用硬标签的标准监督学习外，通常在许多监督学习设置中使用辅助损失来改善模型的概括。例如，知识蒸馏增加了第二个教师模仿模型训练的损失，在该培训中，教师可能是一个验证的模型，可以输出比标签更丰富的分布。同样，在标记数据有限的设置中，弱标记信息以标签函数的形式使用。此处引入辅助损失来对抗标签函数，这些功能可能是基于嘈杂的规则的真实标签近似值。我们解决了学习以原则性方式结合这些损失的问题。我们介绍AMAL，该AMAL使用元学习在验证度量上学习实例特定的权重，以实现损失的最佳混合。在许多知识蒸馏和规则降解域中进行的实验表明，Amal在这些领域中对竞争基准的增长可显着。我们通过经验分析我们的方法，并分享有关其提供性能提升的机制的见解。

时间动作定位中的大多数现代方法将此问题分为两个部分：（i）短期特征提取和（ii）远程时间边界定位。由于处理长期未修剪的视频引起的GPU内存成本很高，因此许多方法通过冷冻骨干或使用小型空间视频分辨率来牺牲短期功能提取器的代表力。由于最近的视频变压器模型，其中许多具有二次记忆复杂性，这个问题变得更糟。为了解决这些问题，我们提出了TallFormer，这是一种具有长期内存的记忆效率和端到端的可训练时间动作定位变压器。我们的长期记忆机制消除了在每个训练迭代期间处理数百个冗余视频帧的需求，从而大大减少了GPU的记忆消耗和训练时间。这些效率节省使我们（i）可以使用功能强大的视频变压器提取器，而无需冷冻主链或减少空间视频分辨率，而（ii）也保持了远距离的时间边界定位能力。只有RGB框架作为输入，没有外部动作识别分类器，TallFormer的表现优于先前的最先前的边距，在Thumos14上获得了59.1％的平均地图，而ActivityNet-1.3的平均地图为35.6％。该代码可公开：https：//github.com/klauscc/tallformer。

知识蒸馏（KD）是压缩边缘设备深层分类模型的有效工具。但是，KD的表现受教师和学生网络之间较大容量差距的影响。最近的方法已诉诸KD的多个教师助手（TA）设置，该设置依次降低了教师模型的大小，以相对弥合这些模型之间的尺寸差距。本文提出了一种称为“知识蒸馏”课程专家选择的新技术，以有效地增强在容量差距问题下对紧凑型学生的学习。该技术建立在以下假设的基础上：学生网络应逐渐使用分层的教学课程来逐步指导，因为它可以从较低（较高的）容量教师网络中更好地学习（硬）数据样本。具体而言，我们的方法是一种基于TA的逐渐的KD技术，它每个输入图像选择单个教师，该课程是基于通过对图像进行分类的难度驱动的课程的。在这项工作中，我们凭经验验证了我们的假设，并对CIFAR-10，CIFAR-100，CINIC-10和Imagenet数据集进行了严格的实验，并在类似VGG的模型，Resnets和WideresNets架构上显示出提高的准确性。