Sign language recognition (SLR) aims to overcome the communication barrier for the people with deafness or the people with hard hearing. Most existing approaches can be typically divided into two lines, i.e., Skeleton-based and RGB-based methods, but both the two lines of methods have their limitations. RGB-based approaches usually overlook the fine-grained hand structure, while Skeleton-based methods do not take the facial expression into account. In attempts to address both limitations, we propose a new framework named Spatial-temporal Part-aware network (StepNet), based on RGB parts. As the name implies, StepNet consists of two modules: Part-level Spatial Modeling and Part-level Temporal Modeling. Particularly, without using any keypoint-level annotations, Part-level Spatial Modeling implicitly captures the appearance-based properties, such as hands and faces, in the feature space. On the other hand, Part-level Temporal Modeling captures the pertinent properties over time by implicitly mining the long-short term context. Extensive experiments show that our StepNet, thanks to Spatial-temporal modules, achieves competitive Top-1 Per-instance accuracy on three widely-used SLR benchmarks, i.e., 56.89% on WLASL, 77.2% on NMFs-CSL, and 77.1% on BOBSL. Moreover, the proposed method is compatible with the optical flow input, and can yield higher performance if fused. We hope that this work can serve as a preliminary step for the people with deafness.

手语是人们表达自己的感受和情感的不同能力的窗口。但是，人们在短时间内学习手语仍然具有挑战性。为了应对这项现实世界中的挑战，在这项工作中，我们研究了运动传输系统，该系统可以将用户照片传输到特定单词的手语视频。特别是，输出视频的外观内容来自提供的用户图像，而视频的运动是从指定的教程视频中提取的。我们观察到采用最先进的运动转移方法来产生语言的两个主要局限性：（1）现有的运动转移工作忽略了人体的先前几何知识。 （2）先前的图像动画方法仅将图像对作为训练阶段的输入，这无法完全利用视频中的时间信息。为了解决上述局限性，我们提出了结构感知的时间一致性网络（STCNET），以共同优化人类的先前结构，并具有符号语言视频生成的时间一致性。本文有两个主要贡献。 （1）我们利用细粒骨骼检测器来提供人体关键点的先验知识。这样，我们确保关键点运动在有效范围内，并使模型变得更加可解释和强大。 （2）我们引入了两个周期矛盾损失，即短期周期损失和长期周期损失，这些损失是为了确保生成的视频的连续性。我们以端到端的方式优化了两个损失和关键点检测器网络。

In this paper, we develop an efficient multi-scale network to predict action classes in partial videos in an end-to-end manner. Unlike most existing methods with offline feature generation, our method directly takes frames as input and further models motion evolution on two different temporal scales.Therefore, we solve the complexity problems of the two stages of modeling and the problem of insufficient temporal and spatial information of a single scale. Our proposed End-to-End MultiScale Network (E2EMSNet) is composed of two scales which are named segment scale and observed global scale. The segment scale leverages temporal difference over consecutive frames for finer motion patterns by supplying 2D convolutions. For observed global scale, a Long Short-Term Memory (LSTM) is incorporated to capture motion features of observed frames. Our model provides a simple and efficient modeling framework with a small computational cost. Our E2EMSNet is evaluated on three challenging datasets: BIT, HMDB51, and UCF101. The extensive experiments demonstrate the effectiveness of our method for action prediction in videos.

这项工作侧重于老年人活动认可的任务，这是一个充满挑战的任务，因为在老年活动中的个人行为和人体对象互动存在。因此，我们试图通过专注地融合多模态特征来有效地聚合来自RGB视频和骨架序列的判别信息和与RGB视频和骨架序列的交互。最近，通过利用从挤压和激励网络（Senet）延伸的非线性关注机制来提出一些非线性多模态融合方法。灵感来自于此，我们提出了一种新颖的扩张 - 挤压激励融合网络（ESE-FN），有效地解决了老年活动识别问题，从而了解模态和渠道 - 明智的膨胀 - 挤压（ESE）注意到术语融合模态和通道方面的多模态特征。此外，我们设计了一种新的多模态损耗（ML），以通过在单个模态的最小预测损失与预测损失之间添加差异之间的差异来保持单模特征和融合多模态特征之间的一致性。融合的方式。最后，我们对最大的老年活动数据集进行实验，即ETRI-Activity3D（包括110,000多个视频和50个类别），以证明建议的ESE-FN与状态相比实现了最佳准确性 - 最新方法。此外，更广泛的实验结果表明，所提出的ESE-FN在正常动作识别任务方面也与其他方法相媲美。

Spatiotemporal and motion features are two complementary and crucial information for video action recognition. Recent state-of-the-art methods adopt a 3D CNN stream to learn spatiotemporal features and another flow stream to learn motion features. In this work, we aim to efficiently encode these two features in a unified 2D framework. To this end, we first propose an STM block, which contains a Channel-wise SpatioTemporal Module (CSTM) to present the spatiotemporal features and a Channel-wise Motion Module (CMM) to efficiently encode motion features. We then replace original residual blocks in the ResNet architecture with STM blcoks to form a simple yet effective STM network by introducing very limited extra computation cost. Extensive experiments demonstrate that the proposed STM network outperforms the state-of-the-art methods on both temporal-related datasets (i.e., Something-Something v1 & v2 and Jester) and scene-related datasets (i.e., Kinetics-400, UCF-101, and HMDB-51) with the help of encoding spatiotemporal and motion features together. * The work was done during an internship at SenseTime.

压缩视频动作识别最近引起了人们的注意，因为它通过用稀疏采样的RGB帧和压缩运动提示（例如运动向量和残差）替换原始视频来大大降低存储和计算成本。但是，这项任务严重遭受了粗糙和嘈杂的动力学以及异质RGB和运动方式的融合不足。为了解决上面的两个问题，本文提出了一个新颖的框架，即具有运动增强的细心跨模式相互作用网络（MEACI-NET）。它遵循两流体系结构，即一个用于RGB模式，另一个用于运动模态。特别是，该运动流采用带有denoising模块的多尺度块来增强表示表示。然后，通过引入选择性运动补充（SMC）和跨模式增强（CMA）模块来加强两条流之间的相互作用，其中SMC与时空上的局部局部运动相互补充，CMA和CMA进一步将两种模态与两种模态相结合。选择性功能增强。对UCF-101，HMDB-51和Kinetics-400基准的广泛实验证明了MEACI-NET的有效性和效率。

Deep convolutional networks have achieved great success for visual recognition in still images. However, for action recognition in videos, the advantage over traditional methods is not so evident. This paper aims to discover the principles to design effective ConvNet architectures for action recognition in videos and learn these models given limited training samples. Our first contribution is temporal segment network (TSN), a novel framework for video-based action recognition. which is based on the idea of long-range temporal structure modeling. It combines a sparse temporal sampling strategy and video-level supervision to enable efficient and effective learning using the whole action video. The other contribution is our study on a series of good practices in learning ConvNets on video data with the help of temporal segment network. Our approach obtains the state-the-of-art performance on the datasets of HMDB51 (69.4%) and UCF101 (94.2%). We also visualize the learned ConvNet models, which qualitatively demonstrates the effectiveness of temporal segment network and the proposed good practices. 1

步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。

有效地对视频中的空间信息进行建模对于动作识别至关重要。为了实现这一目标，最先进的方法通常采用卷积操作员和密集的相互作用模块，例如非本地块。但是，这些方法无法准确地符合视频中的各种事件。一方面，采用的卷积是有固定尺度的，因此在各种尺度的事件中挣扎。另一方面，密集的相互作用建模范式仅在动作 - 欧元零件时实现次优性能，给最终预测带来了其他噪音。在本文中，我们提出了一个统一的动作识别框架，以通过引入以下设计来研究视频内容的动态性质。首先，在提取本地提示时，我们会生成动态尺度的时空内核，以适应各种事件。其次，为了将这些线索准确地汇总为全局视频表示形式，我们建议仅通过变压器在一些选定的前景对象之间进行交互，从而产生稀疏的范式。我们将提出的框架称为事件自适应网络（EAN），因为这两个关键设计都适应输入视频内容。为了利用本地细分市场内的短期运动，我们提出了一种新颖有效的潜在运动代码（LMC）模块，进一步改善了框架的性能。在几个大规模视频数据集上进行了广泛的实验，例如，某种东西，动力学和潜水48，验证了我们的模型是否在低拖鞋上实现了最先进或竞争性的表演。代码可在：https：//github.com/tianyuan168326/ean-pytorch中找到。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

最近，行动识别因其在智能监视和人为计算机互动方面的全面和实用应用而受到了越来越多的关注。但是，由于数据稀缺性，很少有射击动作识别并未得到充分的探索，并且仍然具有挑战性。在本文中，我们提出了一种新型的分层组成表示（HCR）学习方法，以进行几次识别。具体而言，我们通过精心设计的层次聚类将复杂的动作分为几个子行动，并将子动作进一步分解为更细粒度的空间注意力亚actions（SAS-Actions）。尽管基类和新颖类之间存在很大的差异，但它们可以在子行动或SAS行为中共享相似的模式。此外，我们在运输问题中采用了地球移动器的距离，以测量视频样本之间的相似性在亚行动表示方面。它计算为距离度量的子行动之间的最佳匹配流，这有利于比较细粒模式。广泛的实验表明，我们的方法在HMDB51，UCF101和动力学数据集上实现了最新结果。

视频自我监督的学习是一项挑战的任务，这需要模型的显着表达力量来利用丰富的空间时间知识，并从大量未标记的视频产生有效的监督信号。但是，现有方法未能提高未标记视频的时间多样性，并以明确的方式忽略精心建模的多尺度时间依赖性。为了克服这些限制，我们利用视频中的多尺度时间依赖性，并提出了一个名为时间对比图学习（TCGL）的新型视频自我监督学习框架，该框架共同模拟了片段间和片段间的时间依赖性用混合图对比学习策略学习的时间表示学习。具体地，首先引入空间 - 时间知识发现（STKD）模块以基于离散余弦变换的频域分析从视频中提取运动增强的空间时间表。为了显式模拟未标记视频的多尺度时间依赖性，我们的TCGL将关于帧和片段命令的先前知识集成到图形结构中，即片段/间隙间时间对比图（TCG）。然后，特定的对比学习模块旨在最大化不同图形视图中节点之间的协议。为了为未标记的视频生成监控信号，我们介绍了一种自适应片段订购预测（ASOP）模块，它利用视频片段之间的关系知识来学习全局上下文表示并自适应地重新校准通道明智的功能。实验结果表明我们的TCGL在大规模行动识别和视频检索基准上的最先进方法中的优势。

在视频数据中，来自移动区域的忙碌运动细节在频域中的特定频率带宽内传送。同时，视频数据的其余频率是用具有实质冗余的安静信息编码，这导致现有视频模型中的低处理效率作为输入原始RGB帧。在本文中，我们考虑为处理重要忙碌信息的处理和对安静信息的计算的处理分配。我们设计可训练的运动带通量模块（MBPM），用于将繁忙信息从RAW视频数据中的安静信息分开。通过将MBPM嵌入到两个路径CNN架构中，我们定义了一个繁忙的网络（BQN）。 BQN的效率是通过避免由两个路径处理的特征空间中的冗余来确定：一个在低分辨率的安静特征上运行，而另一个处理繁忙功能。所提出的BQN在某物V1，Kinetics400，UCF101和HMDB51数据集中略高于最近最近的视频处理模型。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

Human activity recognition (HAR) using drone-mounted cameras has attracted considerable interest from the computer vision research community in recent years. A robust and efficient HAR system has a pivotal role in fields like video surveillance, crowd behavior analysis, sports analysis, and human-computer interaction. What makes it challenging are the complex poses, understanding different viewpoints, and the environmental scenarios where the action is taking place. To address such complexities, in this paper, we propose a novel Sparse Weighted Temporal Attention (SWTA) module to utilize sparsely sampled video frames for obtaining global weighted temporal attention. The proposed SWTA is comprised of two parts. First, temporal segment network that sparsely samples a given set of frames. Second, weighted temporal attention, which incorporates a fusion of attention maps derived from optical flow, with raw RGB images. This is followed by a basenet network, which comprises a convolutional neural network (CNN) module along with fully connected layers that provide us with activity recognition. The SWTA network can be used as a plug-in module to the existing deep CNN architectures, for optimizing them to learn temporal information by eliminating the need for a separate temporal stream. It has been evaluated on three publicly available benchmark datasets, namely Okutama, MOD20, and Drone-Action. The proposed model has received an accuracy of 72.76%, 92.56%, and 78.86% on the respective datasets thereby surpassing the previous state-of-the-art performances by a margin of 25.26%, 18.56%, and 2.94%, respectively.

在本文中，我们研究了基于骨架的动作识别的问题，该问题在学习从基础阶级到新颖类的可转移表示方面构成了独特的挑战，尤其是针对细粒度的动作。现有的元学习框架通常依赖于空间维度中的身体级表示，这限制了概括以捕获细粒标签空间中细微的视觉差异。为了克服上述局限性，我们提出了一种基于单发骨架的动作识别的部分感知的原型代表。我们的方法捕获了两个独特的空间级别的骨架运动模式，一种用于所有身体关节的全球环境，称为身体水平，另一个则参与了身体部位的局部空间区域，称为零件水平。我们还设计了一种类不足的注意机制，以突出每个动作类别的重要部分。具体而言，我们开发了一个由三个模块组成的零件感知原型图网络：我们的双层建模的级联嵌入模块，一个基于注意力的零件融合模块，用于融合零件并生成零件感知的原型，以及可以执行匹配的模块。与部分意识表示的分类。我们证明了我们方法对两个基于公共骨架的动作识别数据集的有效性：NTU RGB+D 120和NW-UCLA。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

对比学习在视频表示学习中表现出了巨大的潜力。但是，现有方法无法充分利用短期运动动态，这对于各种下游视频理解任务至关重要。在本文中，我们提出了运动敏感的对比度学习（MSCL），该学习将光学流捕获的运动信息注入RGB帧中，以增强功能学习。为了实现这一目标，除了剪辑级全球对比度学习外，我们还开发了局部运动对比度学习（LMCL），具有两种模式的框架级对比目标。此外，我们引入流动旋转增强（FRA），以生成额外的运动除件负面样品和运动差分采样（MDS）以准确筛选训练样品。对标准基准测试的广泛实验验证了该方法的有效性。以常用的3D RESNET-18为骨干，我们在UCF101上获得了91.5 \％的前1个精度，而在视频分类中进行了一些v2的v2，以及65.6 \％的top-1 top-1召回ucf1011对于视频检索，特别是改善了最新的。

建模各种时空依赖项是识别骨架序列中人类动作的关键。大多数现有方法过度依赖于遍历规则或图形拓扑的设计，以利用动态关节的依赖性，这是反映远处但重要的关节的关系不足。此外，由于本地采用的操作，因此在现有的工作中探索了重要的远程时间信息。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新型长期短期时空聚合网络，可以以时空的方式有效地捕获长/短距离依赖性。我们将我们的模型设计成纯粹的分解体系结构，可以交替执行空间特征聚合和时间特征聚合。为了改善特征聚合效果，还设计和采用了一种通道明智的注意机制。在三个公共基准数据集中进行了广泛的实验，结果表明，我们的方法可以在空间和时域中捕获长短短程依赖性，从而产生比其他最先进的方法更高的结果。代码可在https://github.com/tailin1009/lsta-net。