基于可穿戴传感器的人类动作识别（HAR）最近取得了杰出的成功。但是，基于可穿戴传感器的HAR的准确性仍然远远落后于基于视觉模式的系统（即RGB视频，骨架和深度）。多样化的输入方式可以提供互补的提示，从而提高HAR的准确性，但是如何利用基于可穿戴传感器的HAR的多模式数据的优势很少探索。当前，可穿戴设备（即智能手表）只能捕获有限的非视态模式数据。这阻碍了多模式HAR关联，因为它无法同时使用视觉和非视态模态数据。另一个主要挑战在于如何在有限的计算资源上有效地利用可穿戴设备上的多模式数据。在这项工作中，我们提出了一种新型的渐进骨骼到传感器知识蒸馏（PSKD）模型，该模型仅利用时间序列数据，即加速度计数据，从智能手表来解决基于可穿戴传感器的HAR问题。具体而言，我们使用来自教师（人类骨架序列）和学生（时间序列加速度计数据）模式的数据构建多个教师模型。此外，我们提出了一种有效的渐进学习计划，以消除教师和学生模型之间的绩效差距。我们还设计了一种称为自适应信心语义（ACS）的新型损失功能，以使学生模型可以自适应地选择其中一种教师模型或所需模拟的地面真实标签。为了证明我们提出的PSKD方法的有效性，我们对伯克利-MHAD，UTD-MHAD和MMACT数据集进行了广泛的实验。结果证实，与以前的基于单传感器的HAR方法相比，提出的PSKD方法具有竞争性能。

在多种方式知识蒸馏研究的背景下，现有方法主要集中在唯一的学习教师最终产出问题。因此，教师网络与学生网络之间存在深处。有必要强制学生网络来学习教师网络的模态关系信息。为了有效利用从教师转移到学生的知识，采用了一种新的模型关系蒸馏范式，通过建模不同的模态之间的关系信息，即学习教师模级克矩阵。

运动同步反映了相互作用二元组之间身体运动的协调。强大的深度学习模型（例如变压器网络）对运动同步的估计已自动化。但是，与其设计用于运动同步估计的专业网络，不如先前基于变压器的作品从其他任务（例如人类活动识别）中广泛采用了体系结构。因此，本文提出了一种基于骨架的图形变压器来进行运动同步估计。提出的模型应用了ST-GCN，这是一种空间图卷积神经网络，用于骨骼特征提取，然后是用于空间特征生成的空间变压器。空间变压器的指导是由相同的个体相同关节之间共享的独特设计的关节位置嵌入。此外，考虑到身体运动的周期性固有性，我们将时间相似性矩阵纳入了时间注意计算中。此外，与每个关节相关的置信度得分反映了姿势的不确定性，而先前关于运动同步估计的作品尚未充分强调这一点。由于变形金刚网络要求大量的数据进行训练，因此我们使用人类36M，一个用于人类活动识别的基准数据集构建了一个用于运动同步估算的数据集，并使用对比度学习鉴定了我们的模型。我们进一步应用知识蒸馏以减轻姿势探测器失败以隐私的方式引入的信息损失。我们将我们的方法与PT13上的代表性方法进行了比较，PT13是从自闭症治疗干预措施中收集的数据集。我们的方法达到了88.98％的总体准确性，并在保持数据隐私的同时超过了同行。

基于骨架的动作识别旨在将骨骼序列投影到动作类别，其中骨骼序列源自多种形式的预测点。与较早的方法相比，该方法专注于通过图形卷积网络（GCN）探索单一形式的骨架，现有方法倾向于通过互补提示来利用多色骨架来改善GCN。但是，这些方法（GCNS的适应结构或模型集合的适应结构）都需要在训练和推理阶段共存所有形式的骨骼，而现实生活中的典型情况是仅存在推论的部分形式。为了解决这个问题，我们提出了自适应的交叉形式学习（ACFL），该学习促进了精心设计的GCN，以在不改变模型容量的情况下从单色骨架中生成互补的表示。具体而言，ACFL中的每个GCN模型不仅从单一形式的骨架中学习动作表示，而且还可以自适应地模拟从其他形式的骨骼中得出的有用表示。这样，每个GCN都可以学习如何增强所学的知识，从而利用模型潜力并促进行动识别。在三个具有挑战性的基准上进行的广泛实验，即NTU-RGB+D 120，NTU-RGB+D 60和UAV-Human，证明了该方法的有效性和普遍性。具体而言，ACFL显着改善了各种GCN模型（即CTR-GCN，MS-G3D和Shift-GCN），从而获得了基于骨架的动作识别的新记录。

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

尽管配备的远景和语言预处理（VLP）在过去两年中取得了显着的进展，但它遭受了重大缺点：VLP型号不断增加的尺寸限制了其部署到现实世界的搜索场景（高潜伏期是不可接受的）。为了减轻此问题，我们提出了一种新颖的插件动态对比度蒸馏（DCD）框架，以压缩ITR任务的大型VLP模型。从技术上讲，我们面临以下两个挑战：1）由于GPU内存有限，在处理交叉模式融合功能期间优化了太多的负样本，因此很难直接应用于跨模式任务，因此很难直接应用于跨模式任务。 。 2）从不同的硬样品中静态优化学生网络的效率效率低下，这些样本对蒸馏学习和学生网络优化具有不同的影响。我们试图从两点克服这些挑战。首先，为了实现多模式对比度学习并平衡培训成本和效果，我们建议使用教师网络估算学生的困难样本，使学生吸收了预培训的老师的强大知识，并掌握知识来自硬样品。其次，要从硬样品对学习动态，我们提出动态蒸馏以动态学习不同困难的样本，从更好地平衡知识和学生的自学能力的困难的角度。我们成功地将我们提出的DCD策略应用于两个最先进的视觉语言预处理模型，即vilt和仪表。关于MS-Coco和FlickR30K基准测试的广泛实验显示了我们DCD框架的有效性和效率。令人鼓舞的是，与现有的ITR型号相比，我们可以至少加快推断至少129美元的$ \ times $。

在3D动作识别中，存在骨骼模式之间的丰富互补信息。然而，如何建模和利用这些信息仍然是一个充满挑战的3D动作表示学习的问题。在这项工作中，我们将交叉模式相互作用作为双向知识蒸馏问题。不同于经典的蒸馏解决方案，这些解决方案将固定和预训练的教师的知识转移到学生中，在这项工作中，知识在模式之间不断更新和双向蒸馏。为此，我们提出了一个新的跨模式相互蒸馏（CMD）框架，并采用以下设计。一方面，引入了相邻的相似性分布来对每种模式中学习的知识进行建模，其中关系信息自然适合对比框架。另一方面，不对称的配置用于教师和学生来稳定蒸馏过程并在模式之间传递高信心信息。通过派生，我们发现以前作品中的跨模式阳性采矿可以被视为我们CMD的退化版本。我们对NTU RGB+D 60，NTU RGB+D 120和PKU-MMD II数据集执行了广泛的实验。我们的方法的表现优于现有的自我监督方法，并设置了一系列新记录。该代码可在以下网址找到：https：//github.com/maoyunyao/cmd

最初引入了知识蒸馏，以利用来自单一教师模型的额外监督为学生模型培训。为了提高学生表现，最近的一些变体试图利用多个教师利用不同的知识来源。然而，现有研究主要通过对多种教师预测的平均或将它们与其他无标签策略相结合，将知识集成在多种来源中，可能在可能存在低质量的教师预测存在中误导学生。为了解决这个问题，我们提出了信心感知的多教师知识蒸馏（CA-MKD），该知识蒸馏（CA-MKD）在地面真理标签的帮助下，适用于每个教师预测的样本明智的可靠性，与那些接近单热的教师预测标签分配了大量的重量。此外，CA-MKD包含中间层，以进一步提高学生表现。广泛的实验表明，我们的CA-MKD始终如一地优于各种教师学生架构的所有最先进的方法。

我们解决了一对图像之间找到密集的视觉对应关系的重要任务。由于各种因素，例如质地差，重复的模式，照明变化和运动模糊，这是一个具有挑战性的问题。与使用密集信号基础真相作为本地功能匹配培训的直接监督的方法相反，我们训练3DG-STFM：一种多模式匹配模型（教师），以在3D密集的对应性监督下执行深度一致性，并将知识转移到2D单峰匹配模型（学生）。教师和学生模型均由两个基于变压器的匹配模块组成，这些模块以粗略的方式获得密集的对应关系。教师模型指导学生模型学习RGB诱导的深度信息，以实现粗糙和精细分支的匹配目的。我们还在模型压缩任务上评估了3DG-STFM。据我们所知，3DG-STFM是第一种用于本地功能匹配任务的学生教师学习方法。该实验表明，我们的方法优于室内和室外摄像头姿势估计以及同型估计问题的最先进方法。代码可在以下网址获得：https：//github.com/ryan-prime/3dg-stfm。

这项工作侧重于老年人活动认可的任务，这是一个充满挑战的任务，因为在老年活动中的个人行为和人体对象互动存在。因此，我们试图通过专注地融合多模态特征来有效地聚合来自RGB视频和骨架序列的判别信息和与RGB视频和骨架序列的交互。最近，通过利用从挤压和激励网络（Senet）延伸的非线性关注机制来提出一些非线性多模态融合方法。灵感来自于此，我们提出了一种新颖的扩张 - 挤压激励融合网络（ESE-FN），有效地解决了老年活动识别问题，从而了解模态和渠道 - 明智的膨胀 - 挤压（ESE）注意到术语融合模态和通道方面的多模态特征。此外，我们设计了一种新的多模态损耗（ML），以通过在单个模态的最小预测损失与预测损失之间添加差异之间的差异来保持单模特征和融合多模态特征之间的一致性。融合的方式。最后，我们对最大的老年活动数据集进行实验，即ETRI-Activity3D（包括110,000多个视频和50个类别），以证明建议的ESE-FN与状态相比实现了最佳准确性 - 最新方法。此外，更广泛的实验结果表明，所提出的ESE-FN在正常动作识别任务方面也与其他方法相媲美。

我们为环境辅助生活（AAL）提出了一种新型的多模式传感器融合方法，该方法利用了使用特权信息（LUPI）学习的优势。我们解决了标准多模式方法的两个主要缺点，有限的面积覆盖率和降低的可靠性。我们的新框架将模幻幻觉的概念与三胞胎学习融合在一起，以训练具有不同模态的模型，以在推理时处理缺失的传感器。我们使用RGB视频和骨骼作为特权模式评估了来自可穿戴加速度计设备的惯性数据的拟议模型，并在UTD-MHAD数据集中表现出平均6.6％的准确性，平均为5.5％，伯克利MHAD MHAD DATASET的准确性为5.5％，在这些数据集上达到新的最新唯一分类精度。我们通过几项消融研究来验证我们的框架。

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

To properly assist humans in their needs, human activity recognition (HAR) systems need the ability to fuse information from multiple modalities. Our hypothesis is that multimodal sensors, visual and non-visual tend to provide complementary information, addressing the limitations of other modalities. In this work, we propose a multi-modal framework that learns to effectively combine features from RGB Video and IMU sensors, and show its robustness for MMAct and UTD-MHAD datasets. Our model is trained in two-stage, where in the first stage, each input encoder learns to effectively extract features, and in the second stage, learns to combine these individual features. We show significant improvements of 22% and 11% compared to video only and IMU only setup on UTD-MHAD dataset, and 20% and 12% on MMAct datasets. Through extensive experimentation, we show the robustness of our model on zero shot setting, and limited annotated data setting. We further compare with state-of-the-art methods that use more input modalities and show that our method outperforms significantly on the more difficult MMact dataset, and performs comparably in UTD-MHAD dataset.

人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用，从传感器获得的先前看不见的数据序列中。识别，理解和预测复杂人类行动的能力能够构建许多重要的应用，例如智能监视系统，人力计算机界面，医疗保健，安全和军事应用。近年来，计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型，并分析它们，以提供用于解决人类行动识别问题的深度学习算法的当前进展，以突出其优势和缺点。基于文献中报道的识别精度的定量分析，我们的研究确定了动作识别中最新的深层体系结构，然后为该领域的未来工作提供当前的趋势和开放问题。

知识蒸馏在模型压缩方面取得了显着的成就。但是，大多数现有方法需要原始的培训数据，而实践中的实际数据通常是不可用的，因为隐私，安全性和传输限制。为了解决这个问题，我们提出了一种有条件的生成数据无数据知识蒸馏（CGDD）框架，用于培训有效的便携式网络，而无需任何实际数据。在此框架中，除了使用教师模型中提取的知识外，我们将预设标签作为额外的辅助信息介绍以培训发电机。然后，训练有素的发生器可以根据需要产生指定类别的有意义的培训样本。为了促进蒸馏过程，除了使用常规蒸馏损失，我们将预设标签视为地面真理标签，以便学生网络直接由合成训练样本类别监督。此外，我们强制学生网络模仿教师模型的注意图，进一步提高了其性能。为了验证我们方法的优越性，我们设计一个新的评估度量称为相对准确性，可以直接比较不同蒸馏方法的有效性。培训的便携式网络通过提出的数据无数据蒸馏方法获得了99.63％，99.07％和99.84％的CIFAR10，CIFAR100和CALTECH101的相对准确性。实验结果表明了所提出的方法的优越性。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

多模式知识蒸馏（KD）将传统知识蒸馏扩展到多模式学习的领域。一种常见的做法是采用良好的多式联运网络作为老师，希望它可以将其全部知识转移到单形学生以提高绩效。在本文中，我们研究了多模式KD的功效。我们首先提供了两个失败情况，并证明KD不是多模式知识转移中的普遍治疗方法。我们介绍了维恩图的模态，以了解模态关系和焦点的假设，从而揭示了多模式KD功效的决定性因素。6个多模式数据集的实验结果有助于证明我们的假设，诊断失败情况和点方向以提高蒸馏性能。

知识蒸馏最近成为一种流行的技术，以改善卷积神经网络的模型泛化能力。然而，它对图形神经网络的影响小于令人满意的，因为图形拓扑和节点属性可能以动态方式改变，并且在这种情况下，静态教师模型引导学生培训不足。在本文中，我们通过在在线蒸馏时期同时培训一组图形神经网络来解决这一挑战，其中组知识发挥作用作为动态虚拟教师，并且有效地捕获了图形神经网络的结构变化。为了提高蒸馏性能，在学生之间转移两种知识，以增强彼此：在图形拓扑和节点属性中反映信息的本地知识，以及反映课程预测的全局知识。随着香草知识蒸馏等，在利用有效的对抗性循环学习框架，将全球知识与KL分歧转移。广泛的实验验证了我们提出的在线对抗蒸馏方法的有效性。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

建模空间关系对于识别人类行为，尤其是当人类与物体相互作用时，而多个物体随着时间的推移会随着时间的推移而出现多个物体。大多数现有的行动识别模型专注于学习场景的整体视觉线索，而是无视内容的内容细粒度，可以通过学习人对象关系和互动来捕获。在本文中，我们通过利用当地和全球背景的互动来学习人对象关系。因此，我们提出了全球局部相互作用蒸馏网（GLIDN），通过空间和时间通过知识蒸馏来学习人和对象相互作用，以进行细粒度的现场理解。 Glidn将人和对象编码为Graph节点，并通过图注意网络了解本地和全球关系。本地上下文图通过在特定时间步骤中捕获它们的共同发生来了解帧级别的人类和对象之间的关系。全局关系图是基于人类和对象交互的视频级构建的，识别它们在视频序列中的长期关系。更重要的是，我们研究了如何将这些图表的知识如何蒸馏到它们的对应部分，以改善人对象相互作用（Hoi）识别。通过在两个数据集上进行全面的实验，我们评估我们的模型，包括Charades和CAD-120数据集。我们已经实现了比基线和对应方法更好的结果。