3D human pose estimation is a difficult task, due to challenges such as occluded body parts and ambiguous poses. Graph convolutional networks encode the structural information of the human skeleton in the form of an adjacency matrix, which is beneficial for better pose prediction. We propose one such graph convolutional network named PoseGraphNet for 3D human pose regression from 2D poses. Our network uses an adaptive adjacency matrix and kernels specific to neighbor groups. We evaluate our model on the Human3.6M dataset which is a standard dataset for 3D pose estimation. Our model's performance is close to the state-of-the-art, but with much fewer parameters. The model learns interesting adjacency relations between joints that have no physical connections, but are behaviorally similar.

估计3D人类姿势已被证明是一个具有挑战性的任务，主要是因为人体关节，闭塞和照明条件的可变性的复杂性。在本文中，我们介绍了一个高阶图卷积框架，具有初始剩余连接，用于2D-3D姿势估计。使用多跳邻域进行节点特征聚合，我们的模型能够捕获身体关节之间的远程依赖性。此外，我们的方法利用了通过设计中的设计集成的剩余连接，确保学习的特征表示从输入层的初始特征中保留重要信息，因为网络深度增加。在两个标准基准上进行的实验和消融研究表明了我们模型的有效性，实现了对3D人类姿态估算的强大基线方法的卓越性能。

最近的2D-3D人类姿势估计工作倾向于利用人体骨架的拓扑形成的图形结构。但是，我们认为这种骨架拓扑太稀疏，无法反映身体结构并遭受严重的2D-3D模糊问题。为了克服这些弱点，我们提出了一种新颖的图表卷积网络架构，层次图形网络（HGN）。它基于我们的多尺度图结构建筑策略产生的密度图形拓扑，从而提供更精细的几何信息。所提出的架构包含三个并行组织的稀疏微小表示子网，其中通过新颖的特征融合策略处理多尺度图形结构特征，并通过新颖的特征融合策略进行交换信息，导致丰富的分层表示。我们还介绍了3D粗网格约束，以进一步提高与细节相关的特征学习。广泛的实验表明，我们的HGN通过减少的网络参数实现了最先进的性能

我们为图形结构数据（名为Kog-Transformer）和一个名为GASE-NET的3D姿势对形状估计网络提出了一个新颖的基于注意力的2到3D姿势估计网络，并提出了一个名为KOG-Transformer的数据。先前的3D姿势估计方法集中在对图卷积内核的各种修改上，例如放弃重量共享或增加接受场。其中一些方法采用基于注意力的非本地模块作为辅助模块。为了更好地模拟图形结构数据中的节点之间的关系并以差异化的方式融合不同邻居节点的信息，我们对注意模块进行了针对性的修改，并提出了设计用于图形结构数据的两个模块，图形相对位置编码多头自我注意事项（GR-MSA）和K级面向图形的多头自我注意力（KOG-MSA）。通过堆叠GR-MSA和KOG-MSA，我们提出了一个新型的网络KOG转换器，以进行2到3D姿势估计。此外，我们提出了一个在手数据上进行形状估计的网络，称为Graistention形状估计网络（GASE-NET），该网络以3D姿势为输入，并逐渐将手的形状从稀疏到密集建模。我们通过广泛的实验从经验上证明了KOG转化器的优势。实验结果表明，KOG转换器在基准数据集Human36M上的先前最新方法显着优于先前的最新方法。我们评估了GASE-NET对两个公共可用手数据集的影响Obman和Interhand 2.6M。 GASE-NET可以预测具有强泛化能力的输入姿势的相应形状。

估计来自图像的3D人形和姿势的能力在许多环境中都可以是有用的。最近的方法探索了使用图形卷积网络并取得了有希望的结果。 3D形状由网格表示的事实是一个无向图形，使得图形卷积网络自然适合该问题。但是，图形卷积网络具有有限的表示功率。从图中的节点中的信息传递给连接的邻居，并且信息的传播需要连续的图形卷积。为了克服这种限制，我们提出了一种双尺度图形方法。我们使用从密集图中衍生的粗糙图来估计人类的3D姿势，以及密集图来估计3D形状。与密集图相比，粗糙图中的信息可以在更长的距离上传播。此外，有关姿势的信息可以指导恢复本地形状细节，反之亦然。我们认识到，粗糙和密集之间的连接本身是图形，并引入图形融合块以在具有不同尺度之间的图形之间交换信息。我们培训我们的模型端到端，并表明我们可以为几个评估数据集实现最先进的结果。

3D hand pose estimation from RGB images suffers from the difficulty of obtaining the depth information. Therefore, a great deal of attention has been spent on estimating 3D hand pose from 2D hand joints. In this paper, we leverage the advantage of spatial-temporal Graph Convolutional Neural Networks and propose LG-Hand, a powerful method for 3D hand pose estimation. Our method incorporates both spatial and temporal dependencies into a single process. We argue that kinematic information plays an important role, contributing to the performance of 3D hand pose estimation. We thereby introduce two new objective functions, Angle and Direction loss, to take the hand structure into account. While Angle loss covers locally kinematic information, Direction loss handles globally kinematic one. Our LG-Hand achieves promising results on the First-Person Hand Action Benchmark (FPHAB) dataset. We also perform an ablation study to show the efficacy of the two proposed objective functions.

现代的多层感知器（MLP）模型在不自我注意力的情况下学习视觉表现方面显示了竞争成果。但是，现有的MLP模型不擅长捕获本地细节，并且缺乏人类配置的先验知识，这限制了其骨骼表示学习的模型能力。为了解决这些问题，我们提出了一个名为GraphMLP的简单而有效的图形增强的MLP样结构，该体系结构将MLP和图形卷积网络（GCN）组合在3D人类姿势估计的全球 - 局部 - 单位图形统一体系中。GraphMLP将人体的图结构结合到MLP模型中，以满足域特异性需求，同时允许局部和全局空间相互作用。广泛的实验表明，所提出的GraphMLP在两个数据集（即Human3.6M和MPI-INF-3DHP）上实现了最先进的性能。我们的源代码和预估计的模型将公开可用。

Following the success of deep convolutional networks, state-of-the-art methods for 3d human pose estimation have focused on deep end-to-end systems that predict 3d joint locations given raw image pixels. Despite their excellent performance, it is often not easy to understand whether their remaining error stems from a limited 2d pose (visual) understanding, or from a failure to map 2d poses into 3dimensional positions.With the goal of understanding these sources of error, we set out to build a system that given 2d joint locations predicts 3d positions. Much to our surprise, we have found that, with current technology, "lifting" ground truth 2d joint locations to 3d space is a task that can be solved with a remarkably low error rate: a relatively simple deep feedforward network outperforms the best reported result by about 30% on Human3.6M, the largest publicly available 3d pose estimation benchmark. Furthermore, training our system on the output of an off-the-shelf state-of-the-art 2d detector (i.e., using images as input) yields state of the art results -this includes an array of systems that have been trained end-to-end specifically for this task. Our results indicate that a large portion of the error of modern deep 3d pose estimation systems stems from their visual analysis, and suggests directions to further advance the state of the art in 3d human pose estimation.

人类姿势估计的常规方法要么通过依靠许多惯性测量单元（IMU）或通过依赖外部摄像头来限制记录空间，要么需要高度的仪器。这些缺陷是通过从稀疏IMU数据中估计人姿势估计的方法来解决的。我们定义邻接自适应图卷积长期记忆网络（AAGC-LSTM），以基于六个IMU的人体姿势估计，同时将人体图形结构直接纳入网络。 AAGC-LSTM在单个网络操作中结合了空间依赖性和时间依赖性，比以前的方法更有效地内存。通过将图形卷积装置为邻接的适应性，这可以使其成为可能，从而消除了深层或经常性图网络中信息丢失的问题，同时还可以学习人体关节之间的未知依赖性。为了进一步提高准确性，我们提出纵向减肥来考虑自然运动模式。通过我们提出的方法，我们能够利用人体的固有图形本质，因此可以超越最稀疏IMU数据的人类姿势估计的最新状态（SOTA）。

在基于骨架的动作识别中，图形卷积网络将人类骨骼关节模拟为顶点，并通过邻接矩阵将其连接起来，可以将其视为局部注意力掩码。但是，在大多数现有的图形卷积网络中，局部注意力面膜是根据人类骨架关节的自然连接来定义的，而忽略了例如头部，手和脚关节之间的动态关系。此外，注意机制已被证明在自然语言处理和图像描述中有效，在现有方法中很少研究。在这项工作中，我们提出了一个新的自适应空间注意层，该层将局部注意力图扩展到基于相对距离和相对角度信息的全局。此外，我们设计了一个连接头部，手脚的新初始图邻接矩阵，该矩阵在动作识别精度方面显示出可见的改进。在日常生活中人类活动领域的两个大规模且挑战性的数据集上，评估了该模型：NTU-RGB+D和动力学骨架。结果表明，我们的模型在两个数据集上都有很强的性能。

人类运动预测是许多计算机视觉应用领域中的重要且挑战性的任务。最近的工作专注于利用经常性神经网络（RNN）的定时处理能力，实现短期预测的光滑且可靠的结果。但是，正如以前的工作所证明的那样，RNNS遭受错误累积，导致结果不可靠。在本文中，我们提出了一种简单的前馈深神经网络，用于运动预测，这考虑了人体关节之间的时间平滑度和空间依赖性。我们设计了一个多尺度的时空图卷积网络（GCNS），以隐式地建立人类运动过程中的时空依赖，其中在训练期间动态融合的不同尺度。整个模型适用于所有操作，然后遵循编码器解码器的框架。编码器由时间GCN组成，用于捕获帧和半自主学习空间GCN之间的运动特征，以提取关节轨迹之间的空间结构。解码器使用时间卷积网络（TCN）来维持其广泛的能力。广泛的实验表明，我们的方法优于人类3.6M和CMU Mocap的数据集上的SOTA方法，同时只需要更大的参数。代码将在https://github.com/yzg9353/dmsgcn上获得。

3D手姿势估计（HPE）是从任何视觉输入中将手关节定位在3D中的过程。由于HPE在各种人类计算机相互作用应用中的关键作用，HPE最近受到了更多的关注。最近的HPE方法证明了使用视频或多视图图像的优势，从而允许更强大的HPE系统。因此，在这项研究中，我们提出了一种新方法，用变压器进行手工姿势（sethpose）估计进行顺序学习。我们的sethpose管道首先是从单个手图像中提取视觉嵌入。然后，我们使用变压器编码器沿时间或查看角度学习顺序上下文，并生成准确的2D手关节位置。然后，使用具有U-NET配置的图形卷积神经网络将2D手关节位置转换为3D姿势。我们的实验表明，sethpose在颞叶和角度的两个手动序列品种上表现良好。此外，SETHPOSE优于该领域的其他方法，以实现两个公共可用的顺序数据集STB和Muvihand的最新结果。

大多数实时人类姿势估计方法都基于检测接头位置。使用检测到的关节位置，可以计算偏差和肢体的俯仰。然而，由于这种旋转轴仍然不观察，因此不能计算沿着肢体沿着肢体至关重要的曲折，这对于诸如体育分析和计算机动画至关重要。在本文中，我们引入了方向关键点，一种用于估计骨骼关节的全位置和旋转的新方法，仅使用单帧RGB图像。灵感来自Motion-Capture Systems如何使用一组点标记来估计全骨骼旋转，我们的方法使用虚拟标记来生成足够的信息，以便准确地推断使用简单的后处理。旋转预测改善了接头角度最佳报告的平均误差48％，并且在15个骨骼旋转中实现了93％的精度。该方法还通过MPJPE在原理数据集上测量，通过MPJPE测量，该方法还改善了当前的最新结果14％，并概括为野外数据集。

单眼3D人姿势估计技术有可能大大增加人类运动数据的可用性。单位图2D-3D提升使用图卷积网络（GCN）的表现最佳模型，通常需要一些手动输入来定义不同的身体关节之间的关系。我们提出了一种基于变压器的新型方法，该方法使用更广泛的自我发场机制来学习代表关节的代币序列。我们发现，使用中间监督以及堆叠编码器福利性能之间的剩余连接。我们还建议，将错误预测作为多任务学习框架的一部分，可以通过允许网络弥补其置信度来改善性能。我们进行广泛的消融研究，以表明我们的每项贡献都会提高性能。此外，我们表明我们的方法的表现超过了最新的单帧3D人类姿势估计的最新技术状态。我们的代码和训练有素的模型可在GitHub上公开提供。

人类骨骼数据由于其背景鲁棒性和高效率而受到行动识别的越来越多。在基于骨架的动作识别中，图形卷积网络（GCN）已成为主流方法。本文分析了基于GCN的模型的基本因素 - 邻接矩阵。我们注意到，大多数基于GCN的方法基于人类天然骨架结构进行其邻接矩阵。根据我们以前的工作和分析，我们建议人类的自然骨骼结构邻接矩阵不适合基于骨架的动作识别。我们提出了一个新的邻接矩阵，该矩阵放弃了所有刚性邻居的连接，但使该模型可以适应地学习关节的关系。我们对两个基于骨架的动作识别数据集（NTURGBD60和FINEGYM）进行了验证模型进行广泛的实验和分析。全面的实验结果和分析表明，1）最广泛使用的人类天然骨骼结构邻接矩阵在基于骨架的动作识别中不适合； 2）所提出的邻接矩阵在模型性能，噪声稳健性和可传递性方面表现出色。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。

Thanks to the development of 2D keypoint detectors, monocular 3D human pose estimation (HPE) via 2D-to-3D uplifting approaches have achieved remarkable improvements. Still, monocular 3D HPE is a challenging problem due to the inherent depth ambiguities and occlusions. To handle this problem, many previous works exploit temporal information to mitigate such difficulties. However, there are many real-world applications where frame sequences are not accessible. This paper focuses on reconstructing a 3D pose from a single 2D keypoint detection. Rather than exploiting temporal information, we alleviate the depth ambiguity by generating multiple 3D pose candidates which can be mapped to an identical 2D keypoint. We build a novel diffusion-based framework to effectively sample diverse 3D poses from an off-the-shelf 2D detector. By considering the correlation between human joints by replacing the conventional denoising U-Net with graph convolutional network, our approach accomplishes further performance improvements. We evaluate our method on the widely adopted Human3.6M and HumanEva-I datasets. Comprehensive experiments are conducted to prove the efficacy of the proposed method, and they confirm that our model outperforms state-of-the-art multi-hypothesis 3D HPE methods.

Action recognition with skeleton data has recently attracted much attention in computer vision. Previous studies are mostly based on fixed skeleton graphs, only capturing local physical dependencies among joints, which may miss implicit joint correlations. To capture richer dependencies, we introduce an encoder-decoder structure, called A-link inference module, to capture action-specific latent dependencies, i.e. actional links, directly from actions. We also extend the existing skeleton graphs to represent higherorder dependencies, i.e. structural links. Combing the two types of links into a generalized skeleton graph, we further propose the actional-structural graph convolution network (AS-GCN), which stacks actional-structural graph convolution and temporal convolution as a basic building block, to learn both spatial and temporal features for action recognition. A future pose prediction head is added in parallel to the recognition head to help capture more detailed action patterns through self-supervision. We validate AS-GCN in action recognition using two skeleton data sets, NTU-RGB+D and Kinetics. The proposed AS-GCN achieves consistently large improvement compared to the state-of-the-art methods. As a side product, AS-GCN also shows promising results for future pose prediction. Our code is available at https://github.com/limaosen0/AS-GCN . 1

骨架数据具有低维度。然而，存在使用非常深刻和复杂的前馈神经网络来模拟骨架序列的趋势，而不考虑近年的复杂性。本文提出了一种简单但有效的多尺度语义引导的神经网络（MS-SGN），用于基于骨架的动作识别。我们明确地将关节（关节类型和帧指数）的高级语义引入网络，以增强关节的特征表示能力。此外，提出了一种多尺度策略对时间尺度变化具有鲁棒。此外，我们通过两个模块分层地利用了关节的关系，即，联合级模块，用于建模同一帧中的关节的相关性和帧级模块，用于建模帧的时间依赖性。 MSSGN在NTU60，NTU120和Sysu数据集上实现了比大多数方法更小的模型尺寸。