基于视频的人重新识别（RE-ID）是视觉监控系统中的重要技术，旨在匹配由不同摄像机捕获的人们的视频片段。现有方法主要基于卷积神经网络（CNN），其构建块一次处理局部邻居像素，或者当3D卷绕用于建模时间信息时，遭受由人移动引起的未对准问题。在本文中，我们建议克服具有以人为本的图表方法的正常卷曲的局限性。具体地，提取位于人关节键点的特征并将其作为空间时间图连接。然后通过使用图形卷积网络（GCN）从连接节点传递的消息更新这些关键点特征。在培训期间，GCN可以附加到任何基于CNN的人RE-ID模型，以协助在特征映射上进行表示学习，同时可以在培训后丢弃以获得更好的推广速度。我们的方法通过生成的人关键点和新注释的数据集：posetrackreid，对火星数据集的基于CNN的基线模型进行了重大改进。它还在与现有作品相比，在前1个精度和平均平均精度方面定义了新的最先进的方法。

现有的基于视频的人重新识别（REID）的方法主要通过功能提取器和功能聚合器来了解给定行人的外观特征。但是，当不同的行人外观相似时，外观模型将失败。考虑到不同的行人具有不同的步行姿势和身体比例，我们建议学习视频检索的外观功能之外的歧视性姿势功能。具体而言，我们实现了一个两分支的体系结构，以单独学习外观功能和姿势功能，然后将它们串联在一起进行推理。为了学习姿势特征，我们首先通过现成的姿势检测器检测到每个框架中的行人姿势，并使用姿势序列构建时间图。然后，我们利用复发图卷积网络（RGCN）来学习时间姿势图的节点嵌入，该姿势图设计了一种全局信息传播机制，以同时实现框内节点的邻域聚集，并在框架间图之间传递消息。最后，我们提出了一种由节点注意和时间注意的双重意见方法，以从节点嵌入中获得时间图表示，其中采用自我注意机制来了解每个节点和每个帧的重要性。我们在三个基于视频的REID数据集（即火星，Dukemtmc和Ilids-Vid）上验证了所提出的方法，其实验结果表明，学习的姿势功能可以有效地改善现有外观模型的性能。

图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。

视频3D人类姿势估计旨在将视频中人类关节的3D坐标定位。最近的基于变压器的方法着重于从顺序2D姿势捕获时空信息，由于在2D姿势估计的步骤中丢失了视觉深度特征，因此无法有效地对上下文深度特征进行建模。在本文中，我们将范式简化为端到端框架，实例引导的视频变压器（IVT），该范式可以有效地从视觉特征中学习时空的上下文深度信息，并直接从视频框架中预测3D姿势。特别是，我们首先将视频框架作为一系列实例引导令牌，每个令牌都可以预测人类实例的3D姿势。这些令牌包含身体结构信息，因为它们是由关节偏移从人体中心到相应身体关节的指导提取的。然后，这些令牌被发送到IVT中，以学习时空的上下文深度。此外，我们提出了一种跨尺度实例引导的注意机制，以处理多个人之间的变异量表。最后，每个人的3D姿势都是通过坐标回归从实例引导的代币中解码的。在三个广泛使用的3D姿势估计基准上进行的实验表明，拟议的IVT实现了最先进的性能。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

Sign language is the preferred method of communication of deaf or mute people, but similar to any language, it is difficult to learn and represents a significant barrier for those who are hard of hearing or unable to speak. A person's entire frontal appearance dictates and conveys specific meaning. However, this frontal appearance can be quantified as a temporal sequence of human body pose, leading to Sign Language Recognition through the learning of spatiotemporal dynamics of skeleton keypoints. I propose a novel, attention-based approach to Sign Language Recognition exclusively built upon decoupled graph and temporal self-attention: the Sign Language Graph Time Transformer (SLGTformer). SLGTformer first deconstructs spatiotemporal pose sequences separately into spatial graphs and temporal windows. SLGTformer then leverages novel Learnable Graph Relative Positional Encodings (LGRPE) to guide spatial self-attention with the graph neighborhood context of the human skeleton. By modeling the temporal dimension as intra- and inter-window dynamics, I introduce Temporal Twin Self-Attention (TTSA) as the combination of locally-grouped temporal attention (LTA) and global sub-sampled temporal attention (GSTA). I demonstrate the effectiveness of SLGTformer on the World-Level American Sign Language (WLASL) dataset, achieving state-of-the-art performance with an ensemble-free approach on the keypoint modality.

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。

基于视频的人重新识别（REID）旨在识别多个非重叠摄像机的给定的行人视频序列。为了汇总视频样本的时间和空间特征，引入了图神经网络（GNN）。但是，现有的基于图的模型（例如STGCN）在节点功能上执行\ textIt {mean}/\ textit {max boming}以获取图表表示，该图表忽略了图形拓扑和节点的重要性。在本文中，我们建议图形池网络（GPNET）学习视频检索的多粒度图表示，其中实现了\ textit {Graph boming layer}，以简化图形。我们首先构建了一个多粒图，其节点特征表示由骨架学到的图像嵌入，并且在颞和欧几里得邻域节点之间建立了边缘。然后，我们实现多个图形卷积层以在图上执行邻域聚集。为了下图，我们提出了一个多头全注意图池（MHFAPOOL）层，该图集合了现有节点群集和节点选择池的优势。具体而言，MHFAPOOL将全部注意矩阵的主要特征向量作为聚合系数涉及每个汇总节点中的全局图信息。广泛的实验表明，我们的GPNET在四个广泛使用的数据集（即火星，dukemtmc-veneoreid，ilids-vid and Prid-2011）上实现了竞争结果。

Hand and face play an important role in expressing sign language. Their features are usually especially leveraged to improve system performance. However, to effectively extract visual representations and capture trajectories for hands and face, previous methods always come at high computations with increased training complexity. They usually employ extra heavy pose-estimation networks to locate human body keypoints or rely on additional pre-extracted heatmaps for supervision. To relieve this problem, we propose a self-emphasizing network (SEN) to emphasize informative spatial regions in a self-motivated way, with few extra computations and without additional expensive supervision. Specifically, SEN first employs a lightweight subnetwork to incorporate local spatial-temporal features to identify informative regions, and then dynamically augment original features via attention maps. It's also observed that not all frames contribute equally to recognition. We present a temporal self-emphasizing module to adaptively emphasize those discriminative frames and suppress redundant ones. A comprehensive comparison with previous methods equipped with hand and face features demonstrates the superiority of our method, even though they always require huge computations and rely on expensive extra supervision. Remarkably, with few extra computations, SEN achieves new state-of-the-art accuracy on four large-scale datasets, PHOENIX14, PHOENIX14-T, CSL-Daily, and CSL. Visualizations verify the effects of SEN on emphasizing informative spatial and temporal features. Code is available at https://github.com/hulianyuyy/SEN_CSLR

图表卷积网络（GCNS）的方法在基于骨架的动作识别任务上实现了高级性能。然而，骨架图不能完全代表骨架数据中包含的运动信息。此外，基于GCN的方法中的骨架图的拓扑是根据自然连接手动设置的，并且它为所有样本都固定，这不能很好地适应不同的情况。在这项工作中，我们提出了一种新的动态超图卷积网络（DHGCN），用于基于骨架的动作识别。 DHGCN使用超图来表示骨架结构，以有效利用人类关节中包含的运动信息。根据其移动动态地分配了骨架超图中的每个接头，并且我们模型中的超图拓扑可以根据关节之间的关系动态调整到不同的样本。实验结果表明，我们的模型的性能在三个数据集中实现了竞争性能：动力学 - 骨架400，NTU RGB + D 60和NTU RGB + D 120。

现有的步态识别研究以实验室场景为主。由于人们生活在现实世界中，因此野外的步态识别是一个更实用的问题，最近引起了多媒体和计算机视觉社区的关注。在现有基准上获得最先进性能的当前方法在最近提出的野外数据集上的准确性差得多，因为这些方法几乎无法模拟不受约束场景中步态序列的各种时间动力学。因此，本文提出了一种新型的多跳时间开关方法，以实现实际场景中步态模式的有效时间建模。具体来说，我们设计了一个新型的步态识别网络，称为多跳临时交换机网络（MTSGait），以同时学习空间特征和多尺度的时间功能。与现有的3D卷积进行时间建模的方法不同，我们的MTSGAIT通过2D卷积对步态序列的时间动力学进行建模。通过这种方式，与基于3D卷积的模型相比，它以较少的模型参数来达到高效率，并减少了优化的难度。基于2D卷积内核的特定设计，我们的方法可以消除相邻帧之间特征的不对准。此外，提出了一种新的采样策略，即非环保连续采样，以使模型学习更强大的时间特征。最后，与最新方法相比，提出的方法在两个公共步态数据集（即增长和步态3D）上取得了出色的性能。

被遮挡的人重新识别（RE-ID）旨在解决跨多个摄像机感兴趣的人时解决遮挡问题。随着深度学习技术的促进和对智能视频监视的需求的不断增长，现实世界应用中的频繁闭塞使闭塞的人重新引起了研究人员的极大兴趣。已经提出了大量封闭的人重新ID方法，而很少有针对遮挡的调查。为了填补这一空白并有助于提高未来的研究，本文提供了对封闭者重新ID的系统调查。通过对人体闭塞的深入分析，发现大多数现有方法仅考虑一部分闭塞问题。因此，我们从问题和解决方案的角度回顾了与闭塞相关的人重新ID方法。我们总结了个人重新闭塞引起的四个问题，即位置错位，规模错位，嘈杂的信息和缺失的信息。然后对解决不同问题的闭塞相关方法进行分类和引入。之后，我们总结并比较了四个流行数据集上最近被遮挡的人重新ID方法的性能：部分reid，部分易边，咬合 - 固定和遮挡的dukemtmc。最后，我们提供了有关有希望的未来研究方向的见解。

Modeling the visual changes that an action brings to a scene is critical for video understanding. Currently, CNNs process one local neighbourhood at a time, thus contextual relationships over longer ranges, while still learnable, are indirect. We present TROI, a plug-and-play module for CNNs to reason between mid-level feature representations that are otherwise separated in space and time. The module relates localized visual entities such as hands and interacting objects and transforms their corresponding regions of interest directly in the feature maps of convolutional layers. With TROI, we achieve state-of-the-art action recognition results on the large-scale datasets Something-Something-V2 and EPIC-Kitchens-100.

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

基于模型的步态识别方法通常采用行人步行姿势来识别人类。但是，由于摄像头视图的改变，现有方法并未明确解决人类姿势的较大阶层差异。在本文中，我们建议通过通过低UPPER生成的对抗网络（Lugan）学习全级转换矩阵来为每个单视姿势样本生成多视图姿势序列。通过摄像机成像的先验，我们得出的是，跨视图之间的空间坐标满足了全级矩阵的线性转换，因此，本文采用了对抗性训练来从源姿势学习转换矩阵，并获得目标视图以获得目标。目标姿势序列。为此，我们实现了由图形卷积（GCN）层组成的发电机，完全连接（FC）层和两支分支卷积（CNN）层：GCN层和FC层编码源姿势序列和目标视图，然后是CNN分支最后，分别学习一个三角形基质和上三角基质，最后它们被乘以制定全级转换矩阵。出于对抗训练的目的，我们进一步设计了一个条件鉴别因子，该条件区分姿势序列是真实的还是产生的。为了启用高级相关性学习，我们提出了一个名为Multi尺度超图卷积（HGC）的插件播放模块，以替换基线中的空间图卷积层，该层可以同时模拟联合级别的部分，部分部分 - 水平和身体水平的相关性。在两个大型步态识别数据集（即CASIA-B和OUMVLP置位）上进行的广泛实验表明，我们的方法的表现优于基线模型，并以一个较大的边距基于基于姿势的方法。

人重新识别（Reid）旨在从不同摄像机捕获的图像中检索一个人。对于基于深度学习的REID方法，已经证明，使用本地特征与人物图像的全局特征可以帮助为人员检索提供强大的特征表示。人类的姿势信息可以提供人体骨架的位置，有效地指导网络在这些关键领域更加关注这些关键领域，也可能有助于减少来自背景或闭塞的噪音分散。然而，先前与姿势相关的作品提出的方法可能无法充分利用姿势信息的好处，并没有考虑不同当地特征的不同贡献。在本文中，我们提出了一种姿势引导图注意网络，一个多分支架构，包括一个用于全局特征的一个分支，一个用于中粒体特征的一个分支，一个分支用于细粒度关键点特征。我们使用预先训练的姿势估计器来生成本地特征学习的关键点热图，并仔细设计图表卷积层以通过建模相似关系来重新评估提取的本地特征的贡献权重。实验结果表明我们对歧视特征学习的方法的有效性，我们表明我们的模型在几个主流评估数据集上实现了最先进的表演。我们还对我们的网络进行了大量的消融研究和设计不同类型的比较实验，以证明其有效性和鲁棒性，包括整体数据集，部分数据集，遮挡数据集和跨域测试。

图提供了一种自然的方式来制定多个对象跟踪（MOT）和多个对象跟踪和分割（MOTS），逐个检测范式中。但是，他们还引入了学习方法的主要挑战，因为定义可以在这种结构化领域运行的模型并不是微不足道的。在这项工作中，我们利用MOT的经典网络流程公式来定义基于消息传递网络（MPN）的完全微分框架。通过直接在图形域上操作，我们的方法可以在整个检测和利用上下文特征上全球推理。然后，它共同预测了数据关联问题的最终解决方案和场景中所有对象的分割掩码，同时利用这两个任务之间的协同作用。我们在几个公开可用的数据集中获得跟踪和细分的最新结果。我们的代码可在github.com/ocetintas/mpntrackseg上找到。