现有的基于视频的人重新识别（REID）的方法主要通过功能提取器和功能聚合器来了解给定行人的外观特征。但是，当不同的行人外观相似时，外观模型将失败。考虑到不同的行人具有不同的步行姿势和身体比例，我们建议学习视频检索的外观功能之外的歧视性姿势功能。具体而言，我们实现了一个两分支的体系结构，以单独学习外观功能和姿势功能，然后将它们串联在一起进行推理。为了学习姿势特征，我们首先通过现成的姿势检测器检测到每个框架中的行人姿势，并使用姿势序列构建时间图。然后，我们利用复发图卷积网络（RGCN）来学习时间姿势图的节点嵌入，该姿势图设计了一种全局信息传播机制，以同时实现框内节点的邻域聚集，并在框架间图之间传递消息。最后，我们提出了一种由节点注意和时间注意的双重意见方法，以从节点嵌入中获得时间图表示，其中采用自我注意机制来了解每个节点和每个帧的重要性。我们在三个基于视频的REID数据集（即火星，Dukemtmc和Ilids-Vid）上验证了所提出的方法，其实验结果表明，学习的姿势功能可以有效地改善现有外观模型的性能。

基于视频的人重新识别（REID）旨在识别多个非重叠摄像机的给定的行人视频序列。为了汇总视频样本的时间和空间特征，引入了图神经网络（GNN）。但是，现有的基于图的模型（例如STGCN）在节点功能上执行\ textIt {mean}/\ textit {max boming}以获取图表表示，该图表忽略了图形拓扑和节点的重要性。在本文中，我们建议图形池网络（GPNET）学习视频检索的多粒度图表示，其中实现了\ textit {Graph boming layer}，以简化图形。我们首先构建了一个多粒图，其节点特征表示由骨架学到的图像嵌入，并且在颞和欧几里得邻域节点之间建立了边缘。然后，我们实现多个图形卷积层以在图上执行邻域聚集。为了下图，我们提出了一个多头全注意图池（MHFAPOOL）层，该图集合了现有节点群集和节点选择池的优势。具体而言，MHFAPOOL将全部注意矩阵的主要特征向量作为聚合系数涉及每个汇总节点中的全局图信息。广泛的实验表明，我们的GPNET在四个广泛使用的数据集（即火星，dukemtmc-veneoreid，ilids-vid and Prid-2011）上实现了竞争结果。

基于模型的步态识别方法通常采用行人步行姿势来识别人类。但是，由于摄像头视图的改变，现有方法并未明确解决人类姿势的较大阶层差异。在本文中，我们建议通过通过低UPPER生成的对抗网络（Lugan）学习全级转换矩阵来为每个单视姿势样本生成多视图姿势序列。通过摄像机成像的先验，我们得出的是，跨视图之间的空间坐标满足了全级矩阵的线性转换，因此，本文采用了对抗性训练来从源姿势学习转换矩阵，并获得目标视图以获得目标。目标姿势序列。为此，我们实现了由图形卷积（GCN）层组成的发电机，完全连接（FC）层和两支分支卷积（CNN）层：GCN层和FC层编码源姿势序列和目标视图，然后是CNN分支最后，分别学习一个三角形基质和上三角基质，最后它们被乘以制定全级转换矩阵。出于对抗训练的目的，我们进一步设计了一个条件鉴别因子，该条件区分姿势序列是真实的还是产生的。为了启用高级相关性学习，我们提出了一个名为Multi尺度超图卷积（HGC）的插件播放模块，以替换基线中的空间图卷积层，该层可以同时模拟联合级别的部分，部分部分 - 水平和身体水平的相关性。在两个大型步态识别数据集（即CASIA-B和OUMVLP置位）上进行的广泛实验表明，我们的方法的表现优于基线模型，并以一个较大的边距基于基于姿势的方法。

基于视频的人重新识别（RE-ID）是视觉监控系统中的重要技术，旨在匹配由不同摄像机捕获的人们的视频片段。现有方法主要基于卷积神经网络（CNN），其构建块一次处理局部邻居像素，或者当3D卷绕用于建模时间信息时，遭受由人移动引起的未对准问题。在本文中，我们建议克服具有以人为本的图表方法的正常卷曲的局限性。具体地，提取位于人关节键点的特征并将其作为空间时间图连接。然后通过使用图形卷积网络（GCN）从连接节点传递的消息更新这些关键点特征。在培训期间，GCN可以附加到任何基于CNN的人RE-ID模型，以协助在特征映射上进行表示学习，同时可以在培训后丢弃以获得更好的推广速度。我们的方法通过生成的人关键点和新注释的数据集：posetrackreid，对火星数据集的基于CNN的基线模型进行了重大改进。它还在与现有作品相比，在前1个精度和平均平均精度方面定义了新的最先进的方法。

在基于骨架的动作识别中，图形卷积网络将人类骨骼关节模拟为顶点，并通过邻接矩阵将其连接起来，可以将其视为局部注意力掩码。但是，在大多数现有的图形卷积网络中，局部注意力面膜是根据人类骨架关节的自然连接来定义的，而忽略了例如头部，手和脚关节之间的动态关系。此外，注意机制已被证明在自然语言处理和图像描述中有效，在现有方法中很少研究。在这项工作中，我们提出了一个新的自适应空间注意层，该层将局部注意力图扩展到基于相对距离和相对角度信息的全局。此外，我们设计了一个连接头部，手脚的新初始图邻接矩阵，该矩阵在动作识别精度方面显示出可见的改进。在日常生活中人类活动领域的两个大规模且挑战性的数据集上，评估了该模型：NTU-RGB+D和动力学骨架。结果表明，我们的模型在两个数据集上都有很强的性能。

人重新识别（Reid）旨在从不同摄像机捕获的图像中检索一个人。对于基于深度学习的REID方法，已经证明，使用本地特征与人物图像的全局特征可以帮助为人员检索提供强大的特征表示。人类的姿势信息可以提供人体骨架的位置，有效地指导网络在这些关键领域更加关注这些关键领域，也可能有助于减少来自背景或闭塞的噪音分散。然而，先前与姿势相关的作品提出的方法可能无法充分利用姿势信息的好处，并没有考虑不同当地特征的不同贡献。在本文中，我们提出了一种姿势引导图注意网络，一个多分支架构，包括一个用于全局特征的一个分支，一个用于中粒体特征的一个分支，一个分支用于细粒度关键点特征。我们使用预先训练的姿势估计器来生成本地特征学习的关键点热图，并仔细设计图表卷积层以通过建模相似关系来重新评估提取的本地特征的贡献权重。实验结果表明我们对歧视特征学习的方法的有效性，我们表明我们的模型在几个主流评估数据集上实现了最先进的表演。我们还对我们的网络进行了大量的消融研究和设计不同类型的比较实验，以证明其有效性和鲁棒性，包括整体数据集，部分数据集，遮挡数据集和跨域测试。

小鼠的自动社会行为分析已成为行为神经科学中越来越流行的研究领域。最近，已使用姿势信息（即关键点或骨骼的位置）来解释小鼠的社会行为。然而，很少在现有方法中研究了小鼠关键点基础的社会互动信息的有效编码和解码。特别是，由于高度变形的身体形状和模棱两可的运动模式，建模小鼠之间复杂的社交互动是一项挑战。为了处理交互建模问题，我们在这里提出了一个跨骨骼相互作用图聚合网络（CS-IGANET），以学习自由相互作用的小鼠的丰富动力学，其中使用了跨骨骼节点级交互模块（CS-NLI）建模多级相互作用（即内部，间和跨骨骼相互作用）。此外，我们设计了一种新颖的互动感知变压器（IAT），以动态学习社交行为的图形表示，并更新节点级表示，并在我们提出的互动意识到的自我注意力下的机制的指导下。最后，为了增强我们的模型的表示能力，提出了辅助自我监督的学习任务来衡量跨骨骼节点之间的相似性。标准CRMI13-SKERTON和我们的PDMB-Skeleton数据集的实验结果表明，我们所提出的模型的表现优于其他几种最先进的方法。

图形卷积网络（GCN）优于基于骨架的人类动作识别领域的先前方法，包括人类的互动识别任务。但是，在处理相互作用序列时，基于GCN的当前方法只需将两人骨架分为两个离散序列，然后以单人动作分类的方式分别执行图形卷积。这种操作忽略了丰富的交互信息，并阻碍了语义模式学习的有效空间关系建模。为了克服上述缺点，我们引入了一个新型的统一的两人图，代表关节之间的空间相互作用相关性。此外，提出了适当设计的图形标记策略，以使我们的GCN模型学习判别时空交互特征。实验显示了使用拟议的两人图形拓扑时的相互作用和单个动作的准确性提高。最后，我们提出了一个两人的图形卷积网络（2P-GCN）。提出的2P-GCN在三个相互作用数据集（SBU，NTU-RGB+D和NTU-RGB+D 120）的四个基准测试基准上获得了最新结果。

图表卷积网络（GCNS）的方法在基于骨架的动作识别任务上实现了高级性能。然而，骨架图不能完全代表骨架数据中包含的运动信息。此外，基于GCN的方法中的骨架图的拓扑是根据自然连接手动设置的，并且它为所有样本都固定，这不能很好地适应不同的情况。在这项工作中，我们提出了一种新的动态超图卷积网络（DHGCN），用于基于骨架的动作识别。 DHGCN使用超图来表示骨架结构，以有效利用人类关节中包含的运动信息。根据其移动动态地分配了骨架超图中的每个接头，并且我们模型中的超图拓扑可以根据关节之间的关系动态调整到不同的样本。实验结果表明，我们的模型的性能在三个数据集中实现了竞争性能：动力学 - 骨架400，NTU RGB + D 60和NTU RGB + D 120。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

In skeleton-based action recognition, graph convolutional networks (GCNs), which model the human body skeletons as spatiotemporal graphs, have achieved remarkable performance. However, in existing GCN-based methods, the topology of the graph is set manually, and it is fixed over all layers and input samples. This may not be optimal for the hierarchical GCN and diverse samples in action recognition tasks. In addition, the second-order information (the lengths and directions of bones) of the skeleton data, which is naturally more informative and discriminative for action recognition, is rarely investigated in existing methods. In this work, we propose a novel two-stream adaptive graph convolutional network (2s-AGCN) for skeletonbased action recognition. The topology of the graph in our model can be either uniformly or individually learned by the BP algorithm in an end-to-end manner. This data-driven method increases the flexibility of the model for graph construction and brings more generality to adapt to various data samples. Moreover, a two-stream framework is proposed to model both the first-order and the second-order information simultaneously, which shows notable improvement for the recognition accuracy. Extensive experiments on the two large-scale datasets, NTU-RGBD and Kinetics-Skeleton, demonstrate that the performance of our model exceeds the state-of-the-art with a significant margin.

骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。

图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。

视频自我监督的学习是一项挑战的任务，这需要模型的显着表达力量来利用丰富的空间时间知识，并从大量未标记的视频产生有效的监督信号。但是，现有方法未能提高未标记视频的时间多样性，并以明确的方式忽略精心建模的多尺度时间依赖性。为了克服这些限制，我们利用视频中的多尺度时间依赖性，并提出了一个名为时间对比图学习（TCGL）的新型视频自我监督学习框架，该框架共同模拟了片段间和片段间的时间依赖性用混合图对比学习策略学习的时间表示学习。具体地，首先引入空间 - 时间知识发现（STKD）模块以基于离散余弦变换的频域分析从视频中提取运动增强的空间时间表。为了显式模拟未标记视频的多尺度时间依赖性，我们的TCGL将关于帧和片段命令的先前知识集成到图形结构中，即片段/间隙间时间对比图（TCG）。然后，特定的对比学习模块旨在最大化不同图形视图中节点之间的协议。为了为未标记的视频生成监控信号，我们介绍了一种自适应片段订购预测（ASOP）模块，它利用视频片段之间的关系知识来学习全局上下文表示并自适应地重新校准通道明智的功能。实验结果表明我们的TCGL在大规模行动识别和视频检索基准上的最先进方法中的优势。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

基于骨架的人类行动识别是由于其复杂的动态而是一项长期挑战。动态的一些细颗粒细节在分类中起着至关重要的作用。现有的工作主要集中在设计带有更复杂的相邻矩阵的增量神经网络上，以捕获关节关系的细节。但是，他们仍然很难区分具有广泛相似运动模式但属于不同类别的动作。有趣的是，我们发现运动模式上的细微差异可以显着放大，并且可以轻松地通过指定的视图方向来区分观众，在这些方向上，该属性以前从未得到充分探索。与以前的工作截然不同，我们通过提出一种概念上简单而有效的多视图策略来提高性能，该策略从一系列动态视图功能中识别动作。具体而言，我们设计了一个新颖的骨骼锚定建议（SAP）模块，该模块包含一个多头结构来学习一组视图。为了学习不同观点的特征学习，我们引入了一个新的角度表示，以在不同视图下的动作转换并将转换归因于基线模型。我们的模块可以与现有的动作分类模型无缝合作。与基线模型合并，我们的SAP模块在许多具有挑战性的基准上展示了明显的性能增长。此外，全面的实验表明，我们的模型始终击败了最新的实验，并且在处理损坏的数据时保持有效和健壮。相关代码将在https://github.com/ideal-idea/sap上提供。

由于其轻质和紧凑的特性，骨架序列广泛用于动作识别任务。最近的图表卷积网络（GCN）方法为基于骨架的动作识别取得了巨大的成功，因为它的非欧几里德数据的感激建模能力。 GCN能够利用短程关节依赖性，同时缺乏直接模拟对区分各种行动至关重要的遥感关节关系。因此，许多GCN方法尝试采用分层机制来聚合更广泛的邻域信息。我们提出了一种基于新颖的自我关注的骨架锚提案（SAP）模块，全面模拟人体的内部关系进行运动特征学习。所提出的SAP模块旨在利用通过编码高阶角度信息的三联网形式而不是现有的分层GCN方法中使用的固定对骨连接来探讨人体内的固有关系。基于自我注意的锚选择方法设计在所提出的SAP模块中，用于提取编码角信息的根点。通过耦合具有流行空间 - 时间图神经网络的所提出的SAP模块，例如， MSG3D，它在具有挑战性的基准数据集上实现了新的最先进的准确性。进一步的消融研究表明了我们所提出的SAP模块的有效性，能够明显提高许多流行的基于骨架的动作识别方法的性能。

建模各种时空依赖项是识别骨架序列中人类动作的关键。大多数现有方法过度依赖于遍历规则或图形拓扑的设计，以利用动态关节的依赖性，这是反映远处但重要的关节的关系不足。此外，由于本地采用的操作，因此在现有的工作中探索了重要的远程时间信息。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新型长期短期时空聚合网络，可以以时空的方式有效地捕获长/短距离依赖性。我们将我们的模型设计成纯粹的分解体系结构，可以交替执行空间特征聚合和时间特征聚合。为了改善特征聚合效果，还设计和采用了一种通道明智的注意机制。在三个公共基准数据集中进行了广泛的实验，结果表明，我们的方法可以在空间和时域中捕获长短短程依赖性，从而产生比其他最先进的方法更高的结果。代码可在https://github.com/tailin1009/lsta-net。

对于基于骨架的动作识别中的当前方法通常是将长期时间依赖性作为骨骼序列捕获通常长的（> 128帧），这很常见，这对于先前的方法构成了一个具有挑战性的问题。在这种情况下，短期依赖性很少被正式考虑，这对于对类似动作进行分类至关重要。大多数当前的方法包括相互交织的仅空间模块和仅时间的模块，在这些模块中，在相邻框架中的关节之间的直接信息流受到阻碍，因此不如捕获短期运动并区分相似的动作对。为了应对这一限制，我们提出了一个作为stgat创造的一般框架，以建模跨天空信息流。它使仅空间模块与区域感知的时空建模相称。尽管STGAT在理论上对时空建模具有有效性，但我们提出了三个简单的模块，以减少局部时空特征冗余，并进一步释放STGAT的潜力，（1）（1）自我关注机制的范围，（2）动态重量的范围（2）沿时间尺寸的关节和（3）分别与静态特征分开的微妙运动。作为一个可靠的特征提取器，STGAT在对以前的方法进行分类时，在定性和定量结果中都证明了相似的动作。 STGAT在三个大规模数据集上实现了最先进的性能：NTU RGB+D 60，NTU RGB+D 120和动力学骨架400。释放了代码。

人类骨骼数据由于其背景鲁棒性和高效率而受到行动识别的越来越多。在基于骨架的动作识别中，图形卷积网络（GCN）已成为主流方法。本文分析了基于GCN的模型的基本因素 - 邻接矩阵。我们注意到，大多数基于GCN的方法基于人类天然骨架结构进行其邻接矩阵。根据我们以前的工作和分析，我们建议人类的自然骨骼结构邻接矩阵不适合基于骨架的动作识别。我们提出了一个新的邻接矩阵，该矩阵放弃了所有刚性邻居的连接，但使该模型可以适应地学习关节的关系。我们对两个基于骨架的动作识别数据集（NTURGBD60和FINEGYM）进行了验证模型进行广泛的实验和分析。全面的实验结果和分析表明，1）最广泛使用的人类天然骨骼结构邻接矩阵在基于骨架的动作识别中不适合； 2）所提出的邻接矩阵在模型性能，噪声稳健性和可传递性方面表现出色。