尽管来自视频的3D人类姿势估算的巨大进展，但是充分利用冗余2D姿势序列来学习用于生成一个3D姿势的代表表示的开放问题。为此，我们提出了一种改进的基于变压器的架构，称为冲压变压器，简单地有效地将长期的2D联合位置升高到单个3D姿势。具体地，采用Vanilla变压器编码器（VTE）来模拟2D姿势序列的远程依赖性。为了减少序列的冗余，vte的前馈网络中的完全连接的层被冲击卷积替换，以逐步缩小序列长度并从本地上下文聚合信息。修改的VTE称为STRIVEIVERCHER ENCODER（STE），其构建在VTE的输出时。 STE不仅有效地将远程信息聚集到分层全球和本地时尚的单载体表示，而且显着降低了计算成本。此外，全序列和单个目标帧尺度都设计了全序，分别适用于VTE和ST的输出。该方案与单个目标帧监督结合施加额外的时间平滑度约束，因此有助于产生更平滑和更准确的3D姿势。所提出的轮廓变压器在两个具有挑战性的基准数据集，Human3.6M和HumanVa-I中进行评估，并通过更少的参数实现最先进的结果。代码和模型可用于\ url {https://github.com/vegetebird/stridedtransformer-pose3d}。

估计单眼视频的3D人类姿势是由于深度模糊和自动阻塞的具有挑战性的任务。大多数现有的作品试图通过利用空间和时间关系来解决这两个问题。然而，这些作品忽略了它是存在多种可行解决方案（即假设）的逆问题。为了减轻这种限制，我们提出了一种多假设变压器（MHFormer），其学习多个合理的姿势假设的时空表示。为了有效地模拟多假设依赖性并构建跨假设特征的强烈关系，任务分解为三个阶段：（i）生成多个初始假设表示; （ii）模型自立通信，将多个假设合并到单个融合表示中，然后将其分组成几个分歧假设; （iii）学习横向假设通信并汇总多假设特征以合成最终的3D姿势。通过上述过程，最终表示增强，合成的姿势更准确。广泛的实验表明，MHFORMER在两个具有挑战性的数据集上实现最先进的结果：Humanet3.6M和MPI-INF-3DHP。没有钟声和吹口哨，其性能超过了以人3.6M的大幅度为3％的最佳结果。代码和模型可在https://github.com/vegetebird/mhformer中找到。

现代的多层感知器（MLP）模型在不自我注意力的情况下学习视觉表现方面显示了竞争成果。但是，现有的MLP模型不擅长捕获本地细节，并且缺乏人类配置的先验知识，这限制了其骨骼表示学习的模型能力。为了解决这些问题，我们提出了一个名为GraphMLP的简单而有效的图形增强的MLP样结构，该体系结构将MLP和图形卷积网络（GCN）组合在3D人类姿势估计的全球 - 局部 - 单位图形统一体系中。GraphMLP将人体的图结构结合到MLP模型中，以满足域特异性需求，同时允许局部和全局空间相互作用。广泛的实验表明，所提出的GraphMLP在两个数据集（即Human3.6M和MPI-INF-3DHP）上实现了最先进的性能。我们的源代码和预估计的模型将公开可用。

本文介绍了一个新型的预训练的空间时间多对一（p-STMO）模型，用于2D到3D人类姿势估计任务。为了减少捕获空间和时间信息的困难，我们将此任务分为两个阶段：预训练（I期）和微调（II阶段）。在第一阶段，提出了一个自我监督的预训练子任务，称为蒙面姿势建模。输入序列中的人关节在空间和时间域中随机掩盖。利用denoising自动编码器的一般形式以恢复原始的2D姿势，并且编码器能够以这种方式捕获空间和时间依赖性。在第二阶段，将预训练的编码器加载到STMO模型并进行微调。编码器之后是一个多对一的框架聚合器，以预测当前帧中的3D姿势。尤其是，MLP块被用作STMO中的空间特征提取器，其性能比其他方法更好。此外，提出了一种时间下采样策略，以减少数据冗余。在两个基准上进行的广泛实验表明，我们的方法优于较少参数和较少计算开销的最先进方法。例如，我们的P-STMO模型在使用CPN作为输入的2D姿势时，在Human3.6M数据集上达到42.1mm MPJPE。同时，它为最新方法带来了1.5-7.1倍的速度。代码可在https://github.com/patrick-swk/p-stmo上找到。

In this work, we demonstrate that 3D poses in video can be effectively estimated with a fully convolutional model based on dilated temporal convolutions over 2D keypoints. We also introduce back-projection, a simple and effective semi-supervised training method that leverages unlabeled video data. We start with predicted 2D keypoints for unlabeled video, then estimate 3D poses and finally back-project to the input 2D keypoints. In the supervised setting, our fully-convolutional model outperforms the previous best result from the literature by 6 mm mean per-joint position error on Human3.6M, corresponding to an error reduction of 11%, and the model also shows significant improvements on HumanEva-I. Moreover, experiments with back-projection show that it comfortably outperforms previous state-of-the-art results in semisupervised settings where labeled data is scarce. Code and models are available at https://github.com/ facebookresearch/VideoPose3D

单眼3D人姿势估计技术有可能大大增加人类运动数据的可用性。单位图2D-3D提升使用图卷积网络（GCN）的表现最佳模型，通常需要一些手动输入来定义不同的身体关节之间的关系。我们提出了一种基于变压器的新型方法，该方法使用更广泛的自我发场机制来学习代表关节的代币序列。我们发现，使用中间监督以及堆叠编码器福利性能之间的剩余连接。我们还建议，将错误预测作为多任务学习框架的一部分，可以通过允许网络弥补其置信度来改善性能。我们进行广泛的消融研究，以表明我们的每项贡献都会提高性能。此外，我们表明我们的方法的表现超过了最新的单帧3D人类姿势估计的最新技术状态。我们的代码和训练有素的模型可在GitHub上公开提供。

视频3D人类姿势估计旨在将视频中人类关节的3D坐标定位。最近的基于变压器的方法着重于从顺序2D姿势捕获时空信息，由于在2D姿势估计的步骤中丢失了视觉深度特征，因此无法有效地对上下文深度特征进行建模。在本文中，我们将范式简化为端到端框架，实例引导的视频变压器（IVT），该范式可以有效地从视觉特征中学习时空的上下文深度信息，并直接从视频框架中预测3D姿势。特别是，我们首先将视频框架作为一系列实例引导令牌，每个令牌都可以预测人类实例的3D姿势。这些令牌包含身体结构信息，因为它们是由关节偏移从人体中心到相应身体关节的指导提取的。然后，这些令牌被发送到IVT中，以学习时空的上下文深度。此外，我们提出了一种跨尺度实例引导的注意机制，以处理多个人之间的变异量表。最后，每个人的3D姿势都是通过坐标回归从实例引导的代币中解码的。在三个广泛使用的3D姿势估计基准上进行的实验表明，拟议的IVT实现了最先进的性能。

基于深度学习的人网格重建方法具有构建更大网络的趋势，以实现更高的准确性。尽管是人网格重建模型的实际使用的关键特征，但往往忽略了计算复杂性和模型大小（例如，虚拟试用系统）。在本文中，我们呈现GTR，这是一种基于轻量级的姿势的方法，可以从2D人类姿势重建人网。我们提出了一种姿势分析模块，它使用曲线图形是利用结构化和隐式的关节相关性，以及将提取的姿势特征与网格模板组合以重建最终人体网格的网格回归模块。我们通过对人类3.6M和3DPW数据集进行广泛的评估，展示了GTR的效率和泛化。特别是，GTRS比SOTA姿势的方法POSE2MESH实现了更好的精度，同时仅使用10.2％的参数（PARAMS）和2.5％的跨越式3DPW数据集。代码将公开。

基于纯粹关注的深度神经网络在几个领域中取得了成功，依赖于设计师的最小建筑前瞻性。在人类行动识别（HAR）中，主要是在标准卷积或复发层的顶部采用注意机制，从而提高了整体泛化能力。在这项工作中，我们介绍了动作变压器（ACT），这是一种简单的完全自我注意的架构，可以始终如一地优于混合卷积，复发和周度的更详细的网络。为了限制计算和能量请求，建立以前的人类行动识别研究，所提出的方法利用小型时间窗口的2D姿势表示，为准确且有效的实时性能提供低延迟解决方案。此外，我们开源MOMES2021是一个新的大规模数据集，作为建立正式培训和评估基准的实时短时哈哈。拟议的方法在MOMY2021上广泛测试，并与几个最先进的架构相比，证明了行为模型的有效性并铺设了未来工作的基础。

本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。

时间动作检测（TAD）旨在确定未修剪视频中每个动作实例的语义标签和边界。先前的方法通过复杂的管道来解决此任务。在本文中，我们提出了一个具有简单集的预测管道的端到端时间动作检测变压器（TADTR）。给定一组名为“动作查询”的可学习嵌入，Tadtr可以从每个查询的视频中自适应提取时间上下文，并直接预测动作实例。为了适应TAD的变压器，我们提出了三个改进，以提高其所在地意识。核心是一个时间可变形的注意模块，在视频中有选择地参加一组稀疏的密钥片段。片段的完善机制和动作回归头旨在完善预测实例的边界和信心。 TADTR需要比以前的检测器更低的计算成本，同时保留了出色的性能。作为一个独立的检测器，它在Thumos14（56.7％地图）和HACS段（32.09％地图）上实现了最先进的性能。结合一个额外的动作分类器，它在ActivityNet-1.3上获得了36.75％的地图。我们的代码可在\ url {https://github.com/xlliu7/tadtr}上获得。

3D手姿势估计（HPE）是从任何视觉输入中将手关节定位在3D中的过程。由于HPE在各种人类计算机相互作用应用中的关键作用，HPE最近受到了更多的关注。最近的HPE方法证明了使用视频或多视图图像的优势，从而允许更强大的HPE系统。因此，在这项研究中，我们提出了一种新方法，用变压器进行手工姿势（sethpose）估计进行顺序学习。我们的sethpose管道首先是从单个手图像中提取视觉嵌入。然后，我们使用变压器编码器沿时间或查看角度学习顺序上下文，并生成准确的2D手关节位置。然后，使用具有U-NET配置的图形卷积神经网络将2D手关节位置转换为3D姿势。我们的实验表明，sethpose在颞叶和角度的两个手动序列品种上表现良好。此外，SETHPOSE优于该领域的其他方法，以实现两个公共可用的顺序数据集STB和Muvihand的最新结果。

本文提出了一个称为多视图和时间熔断变压器（MTF-Transformer）的统一框架，以适应不同的视图数字和视频长度，而无需在3D人体姿势估计中（HPE）进行摄像机校准。它由特征提取器，多视图融合变压器（MFT）和时间融合变压器（TFT）组成。特征提取器估计每个图像的2D姿势，并根据置信度融合预测。它提供以姿势为中心的功能嵌入，并使随后的模块计算轻量级。 MFT融合了不同数量的视图与新颖的相对注意区块的特征。它适应性地测量了每对视图之间的隐式相对关系，并重建更有信息的特征。 TFT聚集了整个序列的特征，并通过变压器预测3D姿势。它适应地处理任意长度的视频，并将时间信息完全统计。变压器的迁移使我们的模型能够更好地学习空间几何形状，并为不同的应用方案保留鲁棒性。我们报告了360万人类，综合赛和KTH Multiview Football II的定量和定性结果。与带有摄像头参数的最新方法相比，MTF-Transformer获得竞争结果，并以任意数量的看不见的视图良好地概括为动态捕获。

在分析人类运动视频时，来自现有姿势估计器的输出抖动是高度不平衡的。大多数帧只遭受轻微的傻瓜，而在那些具有遮挡或图像质量差的框架中发生了重要的困难。这种复杂的姿势通常持续存在于视频中，导致估计结果差和大型抖动的连续帧。现有的基于时间卷积网络，经常性神经网络或低通滤波器的现有姿态平滑解决方案不能处理这种长期抖动问题，而不考虑抖动视频段内的显着和持久的错误。通过上述观察，我们提出了一种新颖的即插即用细化网络，即光滑网络，可以附加到任何现有的姿势估计，以提高其时间平滑度，同时提高其每个帧精度。特别是，SmoothNet是一个简单而有效的数据驱动的全连接网络，具有大的接收领域，有效地减轻了长期抖动与不可靠的估计结果的影响。我们在十二个骨干网络上进行广泛的实验，跨越2D和3D姿势估算，身体恢复和下游任务。我们的结果表明，所提出的光滑网络始终如一地优于现有的解决方案，尤其是具有高误差和长期抖动的夹子。

本文提出了一个简单的基线框架，用于基于视频的2D/3D人姿势估计，该估计可以比现有作品实现10倍提高效率，而无需任何性能降级，名为Deciwatch。与当前在视频中估算每个帧的解决方案不同，Deciwatch引入了一个简单而有效的样品探测框架框架，该框架只能通过人类动作的连续性和轻巧的姿势表示，仅观看稀疏采样的框架。具体而言，DeciWatch均匀地示例少于10％的视频帧以进行详细估计，以有效的变压器体系结构来确定估计的2D/3D姿势，然后使用另一个基于变压器的网络准确地恢复其余帧。通过四个数据集的三个基于视频的人姿势估计和身体网格恢复任务的全面实验结果验证了Deciwatch的效率和有效性。代码可在https://github.com/cure-lab/deciwatch上找到。

Thanks to the development of 2D keypoint detectors, monocular 3D human pose estimation (HPE) via 2D-to-3D uplifting approaches have achieved remarkable improvements. Still, monocular 3D HPE is a challenging problem due to the inherent depth ambiguities and occlusions. To handle this problem, many previous works exploit temporal information to mitigate such difficulties. However, there are many real-world applications where frame sequences are not accessible. This paper focuses on reconstructing a 3D pose from a single 2D keypoint detection. Rather than exploiting temporal information, we alleviate the depth ambiguity by generating multiple 3D pose candidates which can be mapped to an identical 2D keypoint. We build a novel diffusion-based framework to effectively sample diverse 3D poses from an off-the-shelf 2D detector. By considering the correlation between human joints by replacing the conventional denoising U-Net with graph convolutional network, our approach accomplishes further performance improvements. We evaluate our method on the widely adopted Human3.6M and HumanEva-I datasets. Comprehensive experiments are conducted to prove the efficacy of the proposed method, and they confirm that our model outperforms state-of-the-art multi-hypothesis 3D HPE methods.

我们为图形结构数据（名为Kog-Transformer）和一个名为GASE-NET的3D姿势对形状估计网络提出了一个新颖的基于注意力的2到3D姿势估计网络，并提出了一个名为KOG-Transformer的数据。先前的3D姿势估计方法集中在对图卷积内核的各种修改上，例如放弃重量共享或增加接受场。其中一些方法采用基于注意力的非本地模块作为辅助模块。为了更好地模拟图形结构数据中的节点之间的关系并以差异化的方式融合不同邻居节点的信息，我们对注意模块进行了针对性的修改，并提出了设计用于图形结构数据的两个模块，图形相对位置编码多头自我注意事项（GR-MSA）和K级面向图形的多头自我注意力（KOG-MSA）。通过堆叠GR-MSA和KOG-MSA，我们提出了一个新型的网络KOG转换器，以进行2到3D姿势估计。此外，我们提出了一个在手数据上进行形状估计的网络，称为Graistention形状估计网络（GASE-NET），该网络以3D姿势为输入，并逐渐将手的形状从稀疏到密集建模。我们通过广泛的实验从经验上证明了KOG转化器的优势。实验结果表明，KOG转换器在基准数据集Human36M上的先前最新方法显着优于先前的最新方法。我们评估了GASE-NET对两个公共可用手数据集的影响Obman和Interhand 2.6M。 GASE-NET可以预测具有强泛化能力的输入姿势的相应形状。

在这项工作中，我们提出了MotionMixer，这是一个有效的3D人体姿势预测模型，仅基于多层感知器（MLP）。MotionMixer通过顺序混合这两种方式来学习时空3D身体姿势依赖性。给定3D身体姿势的堆叠序列，空间MLP提取物是身体关节的细粒空间依赖性。然后，随着时间的推移，身体关节的相互作用由时间MLP建模。最终将时空混合特征汇总并解码以获得未来的运动。为了校准姿势序列中每个时间步的影响，我们利用挤压和兴奋（SE）块。我们使用标准评估协议评估了36M，Amass和3DPW数据集的方法。对于所有评估，我们展示了最先进的性能，同时具有具有较少参数的模型。我们的代码可在以下网址找到：https：//github.com/motionmlp/motionmixer

时间动作本地化在视频分析中起着重要作用，该视频分析旨在将动作定位和分类在未修剪视频中。先前的方法通常可以预测单个时间尺度的特征空间上的动作。但是，低级量表的时间特征缺乏足够的语义来进行动作分类，而高级尺度则无法提供动作边界的丰富细节。为了解决这个问题，我们建议预测多个颞尺度特征空间的动作。具体而言，我们使用不同尺度的精致特征金字塔将语义从高级尺度传递到低级尺度。此外，为了建立整个视频的长时间尺度，我们使用时空变压器编码器来捕获视频帧的远程依赖性。然后，具有远距离依赖性的精制特征被送入分类器以进行粗糙的动作预测。最后，为了进一步提高预测准确性，我们建议使用框架级别的自我注意模块来完善每个动作实例的分类和边界。广泛的实验表明，所提出的方法可以超越Thumos14数据集上的最先进方法，并在ActivityNet1.3数据集上实现可比性的性能。与A2NET（tip20，avg \ {0.3：0.7 \}），sub-action（csvt2022，avg \ {0.1：0.5 \}）和afsd（cvpr21，avg \ {0.3：0.7 \}） ，提出的方法分别可以提高12.6 \％，17.4 \％和2.2 \％

Previous video-based human pose estimation methods have shown promising results by leveraging aggregated features of consecutive frames. However, most approaches compromise accuracy to mitigate jitter or do not sufficiently comprehend the temporal aspects of human motion. Furthermore, occlusion increases uncertainty between consecutive frames, which results in unsmooth results. To address these issues, we design an architecture that exploits the keypoint kinematic features with the following components. First, we effectively capture the temporal features by leveraging individual keypoint's velocity and acceleration. Second, the proposed hierarchical transformer encoder aggregates spatio-temporal dependencies and refines the 2D or 3D input pose estimated from existing estimators. Finally, we provide an online cross-supervision between the refined input pose generated from the encoder and the final pose from our decoder to enable joint optimization. We demonstrate comprehensive results and validate the effectiveness of our model in various tasks: 2D pose estimation, 3D pose estimation, body mesh recovery, and sparsely annotated multi-human pose estimation. Our code is available at https://github.com/KyungMinJin/HANet.