To properly assist humans in their needs, human activity recognition (HAR) systems need the ability to fuse information from multiple modalities. Our hypothesis is that multimodal sensors, visual and non-visual tend to provide complementary information, addressing the limitations of other modalities. In this work, we propose a multi-modal framework that learns to effectively combine features from RGB Video and IMU sensors, and show its robustness for MMAct and UTD-MHAD datasets. Our model is trained in two-stage, where in the first stage, each input encoder learns to effectively extract features, and in the second stage, learns to combine these individual features. We show significant improvements of 22% and 11% compared to video only and IMU only setup on UTD-MHAD dataset, and 20% and 12% on MMAct datasets. Through extensive experimentation, we show the robustness of our model on zero shot setting, and limited annotated data setting. We further compare with state-of-the-art methods that use more input modalities and show that our method outperforms significantly on the more difficult MMact dataset, and performs comparably in UTD-MHAD dataset.

我们为环境辅助生活（AAL）提出了一种新型的多模式传感器融合方法，该方法利用了使用特权信息（LUPI）学习的优势。我们解决了标准多模式方法的两个主要缺点，有限的面积覆盖率和降低的可靠性。我们的新框架将模幻幻觉的概念与三胞胎学习融合在一起，以训练具有不同模态的模型，以在推理时处理缺失的传感器。我们使用RGB视频和骨骼作为特权模式评估了来自可穿戴加速度计设备的惯性数据的拟议模型，并在UTD-MHAD数据集中表现出平均6.6％的准确性，平均为5.5％，伯克利MHAD MHAD DATASET的准确性为5.5％，在这些数据集上达到新的最新唯一分类精度。我们通过几项消融研究来验证我们的框架。

基于可穿戴传感器的人类动作识别（HAR）最近取得了杰出的成功。但是，基于可穿戴传感器的HAR的准确性仍然远远落后于基于视觉模式的系统（即RGB视频，骨架和深度）。多样化的输入方式可以提供互补的提示，从而提高HAR的准确性，但是如何利用基于可穿戴传感器的HAR的多模式数据的优势很少探索。当前，可穿戴设备（即智能手表）只能捕获有限的非视态模式数据。这阻碍了多模式HAR关联，因为它无法同时使用视觉和非视态模态数据。另一个主要挑战在于如何在有限的计算资源上有效地利用可穿戴设备上的多模式数据。在这项工作中，我们提出了一种新型的渐进骨骼到传感器知识蒸馏（PSKD）模型，该模型仅利用时间序列数据，即加速度计数据，从智能手表来解决基于可穿戴传感器的HAR问题。具体而言，我们使用来自教师（人类骨架序列）和学生（时间序列加速度计数据）模式的数据构建多个教师模型。此外，我们提出了一种有效的渐进学习计划，以消除教师和学生模型之间的绩效差距。我们还设计了一种称为自适应信心语义（ACS）的新型损失功能，以使学生模型可以自适应地选择其中一种教师模型或所需模拟的地面真实标签。为了证明我们提出的PSKD方法的有效性，我们对伯克利-MHAD，UTD-MHAD和MMACT数据集进行了广泛的实验。结果证实，与以前的基于单传感器的HAR方法相比，提出的PSKD方法具有竞争性能。

这项工作侧重于老年人活动认可的任务，这是一个充满挑战的任务，因为在老年活动中的个人行为和人体对象互动存在。因此，我们试图通过专注地融合多模态特征来有效地聚合来自RGB视频和骨架序列的判别信息和与RGB视频和骨架序列的交互。最近，通过利用从挤压和激励网络（Senet）延伸的非线性关注机制来提出一些非线性多模态融合方法。灵感来自于此，我们提出了一种新颖的扩张 - 挤压激励融合网络（ESE-FN），有效地解决了老年活动识别问题，从而了解模态和渠道 - 明智的膨胀 - 挤压（ESE）注意到术语融合模态和通道方面的多模态特征。此外，我们设计了一种新的多模态损耗（ML），以通过在单个模态的最小预测损失与预测损失之间添加差异之间的差异来保持单模特征和融合多模态特征之间的一致性。融合的方式。最后，我们对最大的老年活动数据集进行实验，即ETRI-Activity3D（包括110,000多个视频和50个类别），以证明建议的ESE-FN与状态相比实现了最佳准确性 - 最新方法。此外，更广泛的实验结果表明，所提出的ESE-FN在正常动作识别任务方面也与其他方法相媲美。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

Human Activity Recognition (HAR) using on-body devices identifies specific human actions in unconstrained environments. HAR is challenging due to the inter and intra-variance of human movements; moreover, annotated datasets from on-body devices are scarce. This problem is mainly due to the difficulty of data creation, i.e., recording, expensive annotation, and lack of standard definitions of human activities. Previous works demonstrated that transfer learning is a good strategy for addressing scenarios with scarce data. However, the scarcity of annotated on-body device datasets remains. This paper proposes using datasets intended for human-pose estimation as a source for transfer learning; specifically, it deploys sequences of annotated pixel coordinates of human joints from video datasets for HAR and human pose estimation. We pre-train a deep architecture on four benchmark video-based source datasets. Finally, an evaluation is carried out on three on-body device datasets improving HAR performance.

视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。

学习自我监督的视频表示主要集中在简单数据增强方案中产生的判别实例。然而，学习的表示通常无法通过看不见的相机观点来概括。为此，我们提出了ViewClr，它将自我监督的视频表示不变到相机视点变化。我们介绍了一个视图生成器，可以被视为任何自我监督的预先文本任务的学习增强，以生成视频的潜在视点表示。ViewClr最大化潜像观点表示与原始视点表示的相似性，使学习的视频编码器能够概括未见的相机视点。在跨视图基准数据集的实验，包括NTU RGB + D数据集，显示ViewClr代表了一种最先进的ViewPoint不变自我监控方法。

手术手术室（OR）为自动化和优化提供了许多机会。来自OR的各种来源的视频越来越多。医学界试图利用这些丰富的数据来开发自动化方法，以提高介入的护理，降低成本并改善整体患者的结果。因此，来自或房间摄像机的现有数据集的大小或方式限制了，因此尚不清楚哪些传感器方式最适合诸如识别视频外科手术的任务。这项研究表明，手术动作识别性能可能会根据所使用的图像方式而有所不同。我们对几种常用的传感器方式进行有条理的分析，并提出了两种改善分类性能的融合方法。这些分析是对18个腹腔镜程序的一组多视图RGB-D视频记录进行的。

最近利用多模式数据旨在建立面部动作单元（AU）检测模型的研究。但是，由于多模式数据的异质性，多模式表示学习成为主要挑战之一。一方面，很难通过仅通过一个特征提取器从多模式中提取相关特征，另一方面，先前的研究并未完全探索多模式融合策略的潜力。例如，早期融合通常需要在推理期间存在所有方式，而晚期融合和中间融合则增加了特征学习的网络大小。与晚期融合的大量工作相反，早期融合探索渠道信息的作品很少。本文提出了一个新型的多模式网络，称为多模式通道混合（MCM），作为一种预训练的模型，以学习强大的表示形式，以促进多模式融合。我们在自动面部动作单元检测的下游任务上评估学习的表示形式。具体而言，它是一个单个流编码器网络，该网络在早期融合中使用频道混合模块，在下游检测任务中仅需要一种模态。我们还利用蒙版的VIT编码器从融合图像中学习特征，并使用两个VIT解码器重建两个模式。我们已经在两个公共数据集（称为BP4D和DISFA）上进行了广泛的实验，以评估所提出的多模式框架的有效性和鲁棒性。结果表明我们的方法是可比或优越的，它与最新的基线方法相当。

随着越来越多的长者独自生活，从远处提供护理就成为了迫切的需求，尤其是为了安全。当发生异常行为或异常活动时，实时监测和行动识别对于及时提高警觉至关重要。尽管可穿戴传感器被广泛认为是有前途的解决方案，但高度取决于用户的能力和意愿，使其效率低下。相比之下，通过非接触式光学相机收集的视频流提供了更丰富的信息，并释放了老年人的负担。在本文中，利用独立的神经网络（INDRNN），我们提出了一种基于轻量级人类行动识别（HAR）技术的新型实时老年人监测高级安全（REMS）。使用捕获的骨架图像，REMS方案能够识别异常行为或动作并保留用户的隐私。为了获得高精度，使用多个数据库对HAR模块进行了训练和微调。一项广泛的实验研究验证了REMS系统可以准确，及时执行动作识别。 REMS作为保存隐私的老年安全监控系统实现了设计目标，并具有在各种智能监控系统中采用的潜力。

Recent approaches in depth-based human activity analysis achieved outstanding performance and proved the effectiveness of 3D representation for classification of action classes. Currently available depth-based and RGB+Dbased action recognition benchmarks have a number of limitations, including the lack of training samples, distinct class labels, camera views and variety of subjects. In this paper we introduce a large-scale dataset for RGB+D human action recognition with more than 56 thousand video samples and 4 million frames, collected from 40 distinct subjects. Our dataset contains 60 different action classes including daily, mutual, and health-related actions. In addition, we propose a new recurrent neural network structure to model the long-term temporal correlation of the features for each body part, and utilize them for better action classification. Experimental results show the advantages of applying deep learning methods over state-of-the-art handcrafted features on the suggested cross-subject and crossview evaluation criteria for our dataset. The introduction of this large scale dataset will enable the community to apply, develop and adapt various data-hungry learning techniques for the task of depth-based and RGB+D-based human activity analysis.

Recent approaches in depth-based human activity analysis achieved outstanding performance and proved the effectiveness of 3D representation for classification of action classes. Currently available depth-based and RGB+Dbased action recognition benchmarks have a number of limitations, including the lack of training samples, distinct class labels, camera views and variety of subjects. In this paper we introduce a large-scale dataset for RGB+D human action recognition with more than 56 thousand video samples and 4 million frames, collected from 40 distinct subjects. Our dataset contains 60 different action classes including daily, mutual, and health-related actions. In addition, we propose a new recurrent neural network structure to model the long-term temporal correlation of the features for each body part, and utilize them for better action classification. Experimental results show the advantages of applying deep learning methods over state-of-the-art handcrafted features on the suggested cross-subject and crossview evaluation criteria for our dataset. The introduction of this large scale dataset will enable the community to apply, develop and adapt various data-hungry learning techniques for the task of depth-based and RGB+D-based human activity analysis.

本文介绍了Omnivl，这是一种新的基础模型，旨在使用一种通用体系结构来支持图像语言和视频语言任务。它为图像和视频输入采用了统一的基于变压器的视觉编码器，因此可以执行联合图像语言和视频语言预处理。我们首次证明了这样的范式受益于图像和视频任务，而不是传统的单向传输（例如，使用图像语言来帮助视频语言）。为此，我们提出了对图像语言和视频语言的脱钩关节预处理，以有效地将视觉模型分解为空间和时间维度，并在图像和视频任务上获得性能提升。此外，我们引入了一种新颖的统一视觉对比度（UNIVLC）损失，以利用图像文本，视频文本，图像标签（例如，图像分类），视频标签（例如，视频动作识别）在一起受到监督和吵闹的监督预处理数据都尽可能多地利用。无需额外的任务适配器，Omnivl可以同时支持仅视觉任务（例如，图像分类，视频操作识别），跨模式对齐任务（例如，图像/视频 - 文本检索）和多模式理解和生成任务（例如，图像/视频问答，字幕）。我们在各种下游任务上评估Omnivl，并以相似的模型大小和数据量表获得最新的或竞争结果。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

利用在大规模图像文本对中预先训练的视觉和语言模型（VLM）成为开放式视觉识别的有希望的范式。在这项工作中，我们通过利用视频中自然存在的运动和音频来扩展这种范式。我们提出\ textbf {mov}，这是\ textbf {m} ult-imodal \ textbf {o} pen- \ textbf {v} ocabulary视频分类的简单而有效的方法。在MOV中，我们直接使用具有最小修改的预训练VLM的视觉编码器来编码视频，光流和音频频谱图。我们设计一种跨模式融合机制来汇总免费的多模式信息。 Kinetics-700和VGGSOUND的实验表明，引入流量或音频模态会带来预先训练的VLM和现有方法的大量性能增长。具体而言，MOV极大地提高了基础类别的准确性，而在新颖的课程上则更好地概括了。 MOV在UCF和HMDB零摄像视频分类基准上实现了最新结果，从而极大地超过了基于VLMS的传统零摄像方法和最新方法。代码和模型将发布。

人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用，从传感器获得的先前看不见的数据序列中。识别，理解和预测复杂人类行动的能力能够构建许多重要的应用，例如智能监视系统，人力计算机界面，医疗保健，安全和军事应用。近年来，计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型，并分析它们，以提供用于解决人类行动识别问题的深度学习算法的当前进展，以突出其优势和缺点。基于文献中报道的识别精度的定量分析，我们的研究确定了动作识别中最新的深层体系结构，然后为该领域的未来工作提供当前的趋势和开放问题。

The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .

视频的对比表示高度依赖于数百万未老化视频的可用性。这对于网络上可用的视频来说是实用的，但获取真实应用的大规模视频非常昂贵和费力。因此，在本文中，我们专注于为自我监督学习设计视频增强，首先分析最佳策略来混合视频以创建新的增强视频样本。然后，问题仍然存在，我们可以利用数据混合视频中的其他方式吗？为此，我们提出了跨模块歧管Cutmix（CMMC），其将视频TESSERACT插入到两个不同模式中的特征空间中的另一个视频TESERACT中。我们发现我们的视频混合策略STC-MIX，即视频的初步混合，然后在视频中跨越不同方式的CMMC，提高了学习视频表示的质量。我们对两个下游任务进行了彻底的实验：在两个小型视频数据集UCF101和HMDB51上进行动作识别和视频检索。我们还展示了我们STC-Mix在NTU数据集上的有效性，其中域名知识有限。我们表明，我们对下游任务的STC混合的表现与其他自我监督的方法有关，同时需要较少的培训数据。