视频3D人类姿势估计旨在将视频中人类关节的3D坐标定位。最近的基于变压器的方法着重于从顺序2D姿势捕获时空信息，由于在2D姿势估计的步骤中丢失了视觉深度特征，因此无法有效地对上下文深度特征进行建模。在本文中，我们将范式简化为端到端框架，实例引导的视频变压器（IVT），该范式可以有效地从视觉特征中学习时空的上下文深度信息，并直接从视频框架中预测3D姿势。特别是，我们首先将视频框架作为一系列实例引导令牌，每个令牌都可以预测人类实例的3D姿势。这些令牌包含身体结构信息，因为它们是由关节偏移从人体中心到相应身体关节的指导提取的。然后，这些令牌被发送到IVT中，以学习时空的上下文深度。此外，我们提出了一种跨尺度实例引导的注意机制，以处理多个人之间的变异量表。最后，每个人的3D姿势都是通过坐标回归从实例引导的代币中解码的。在三个广泛使用的3D姿势估计基准上进行的实验表明，拟议的IVT实现了最先进的性能。

多人3D姿势估计是一项具有挑战性的任务，因为遮挡和深度歧义，尤其是在人群场景的情况下。为了解决这些问题，大多数现有方法通过使用图神经网络增强特征表示或添加结构约束来探索建模身体上下文提示。但是，这些方法对于它们的单根公式并不强大，该公式将3D从根节点带有预定义的图形。在本文中，我们提出了GR-M3D，该GR-M3D模拟了\ textbf {m} ulti-person \ textbf {3d}构成构成构成效果估计，并使用动态\ textbf {g} raph \ textbf {r textbf {r} eSounting。预测GR-M3D中的解码图而不是预定。特别是，它首先生成几个数据图，并通过刻度和深度意识到的细化模块（SDAR）增强它们。然后从这些数据图估算每个人的多个根关键点和密集的解码路径。基于它们，动态解码图是通过将路径权重分配给解码路径来构建的，而路径权重是从这些增强的数据图推断出来的。此过程被命名为动态图推理（DGR）。最后，根据每个检测到的人的动态解码图对3D姿势进行解码。 GR-M3D可以根据输入数据采用软路径权重，通过采用软路径权重来调整解码图的结构，这使得解码图最能适应不同的输入人员，并且比以前的方法更有能力处理闭塞和深度歧义。我们从经验上表明，提出的自下而上方法甚至超过自上而下的方法，并在三个3D姿势数据集上实现最先进的方法。

估计单眼视频的3D人类姿势是由于深度模糊和自动阻塞的具有挑战性的任务。大多数现有的作品试图通过利用空间和时间关系来解决这两个问题。然而，这些作品忽略了它是存在多种可行解决方案（即假设）的逆问题。为了减轻这种限制，我们提出了一种多假设变压器（MHFormer），其学习多个合理的姿势假设的时空表示。为了有效地模拟多假设依赖性并构建跨假设特征的强烈关系，任务分解为三个阶段：（i）生成多个初始假设表示; （ii）模型自立通信，将多个假设合并到单个融合表示中，然后将其分组成几个分歧假设; （iii）学习横向假设通信并汇总多假设特征以合成最终的3D姿势。通过上述过程，最终表示增强，合成的姿势更准确。广泛的实验表明，MHFORMER在两个具有挑战性的数据集上实现最先进的结果：Humanet3.6M和MPI-INF-3DHP。没有钟声和吹口哨，其性能超过了以人3.6M的大幅度为3％的最佳结果。代码和模型可在https://github.com/vegetebird/mhformer中找到。

尽管来自视频的3D人类姿势估算的巨大进展，但是充分利用冗余2D姿势序列来学习用于生成一个3D姿势的代表表示的开放问题。为此，我们提出了一种改进的基于变压器的架构，称为冲压变压器，简单地有效地将长期的2D联合位置升高到单个3D姿势。具体地，采用Vanilla变压器编码器（VTE）来模拟2D姿势序列的远程依赖性。为了减少序列的冗余，vte的前馈网络中的完全连接的层被冲击卷积替换，以逐步缩小序列长度并从本地上下文聚合信息。修改的VTE称为STRIVEIVERCHER ENCODER（STE），其构建在VTE的输出时。 STE不仅有效地将远程信息聚集到分层全球和本地时尚的单载体表示，而且显着降低了计算成本。此外，全序列和单个目标帧尺度都设计了全序，分别适用于VTE和ST的输出。该方案与单个目标帧监督结合施加额外的时间平滑度约束，因此有助于产生更平滑和更准确的3D姿势。所提出的轮廓变压器在两个具有挑战性的基准数据集，Human3.6M和HumanVa-I中进行评估，并通过更少的参数实现最先进的结果。代码和模型可用于\ url {https://github.com/vegetebird/stridedtransformer-pose3d}。

本文介绍了一个新型的预训练的空间时间多对一（p-STMO）模型，用于2D到3D人类姿势估计任务。为了减少捕获空间和时间信息的困难，我们将此任务分为两个阶段：预训练（I期）和微调（II阶段）。在第一阶段，提出了一个自我监督的预训练子任务，称为蒙面姿势建模。输入序列中的人关节在空间和时间域中随机掩盖。利用denoising自动编码器的一般形式以恢复原始的2D姿势，并且编码器能够以这种方式捕获空间和时间依赖性。在第二阶段，将预训练的编码器加载到STMO模型并进行微调。编码器之后是一个多对一的框架聚合器，以预测当前帧中的3D姿势。尤其是，MLP块被用作STMO中的空间特征提取器，其性能比其他方法更好。此外，提出了一种时间下采样策略，以减少数据冗余。在两个基准上进行的广泛实验表明，我们的方法优于较少参数和较少计算开销的最先进方法。例如，我们的P-STMO模型在使用CPN作为输入的2D姿势时，在Human3.6M数据集上达到42.1mm MPJPE。同时，它为最新方法带来了1.5-7.1倍的速度。代码可在https://github.com/patrick-swk/p-stmo上找到。

现代的多层感知器（MLP）模型在不自我注意力的情况下学习视觉表现方面显示了竞争成果。但是，现有的MLP模型不擅长捕获本地细节，并且缺乏人类配置的先验知识，这限制了其骨骼表示学习的模型能力。为了解决这些问题，我们提出了一个名为GraphMLP的简单而有效的图形增强的MLP样结构，该体系结构将MLP和图形卷积网络（GCN）组合在3D人类姿势估计的全球 - 局部 - 单位图形统一体系中。GraphMLP将人体的图结构结合到MLP模型中，以满足域特异性需求，同时允许局部和全局空间相互作用。广泛的实验表明，所提出的GraphMLP在两个数据集（即Human3.6M和MPI-INF-3DHP）上实现了最先进的性能。我们的源代码和预估计的模型将公开可用。

从视频中估算人的姿势对于人类计算机相互作用至关重要。通过精确估计人类姿势，机器人可以对人类提供适当的反应。大多数现有方法都使用光流，RNN或CNN从视频中提取时间功能。尽管这些尝试取得了积极的结果，但其中大多数仅直接整合沿时间维度的特征，而忽略了关节之间的时间相关性。与以前的方法相反，我们提出了一个基于域交叉注意机制的插件运动学建模模块（KMM），以对不同帧的关节之间的时间相关性进行建模。具体而言，提出的KMM通过计算其时间相似性来模拟任意两个关节之间的时间相关性。这样，KMM可以学习每个关节的运动提示。使用运动提示（时间域）和关节的历史位置（空间域），KMM可以提前推断关节的初始位置。此外，我们还基于KMM提出了一个运动学建模网络（KIMNET），用于通过结合姿势特征和关节的初始位置来获得关节的最终位置。通过对关节之间的时间相关性进行显式建模，Kimnet可以根据前一刻的所有关节来推断遮挡的关节。此外，KMM是通过注意机制实现的，该机制使其能够保持高度分辨率。因此，它可以将丰富的历史姿势信息转移到当前框架上，该信息为定位遮挡关节提供了有效的姿势信息。我们的方法在两个基于视频的姿势估计基准的基准上实现了最新的结果。此外，提出的Kimnet对闭塞显示了一些鲁棒性，证明了所提出的方法的有效性。

单眼3D人姿势估计技术有可能大大增加人类运动数据的可用性。单位图2D-3D提升使用图卷积网络（GCN）的表现最佳模型，通常需要一些手动输入来定义不同的身体关节之间的关系。我们提出了一种基于变压器的新型方法，该方法使用更广泛的自我发场机制来学习代表关节的代币序列。我们发现，使用中间监督以及堆叠编码器福利性能之间的剩余连接。我们还建议，将错误预测作为多任务学习框架的一部分，可以通过允许网络弥补其置信度来改善性能。我们进行广泛的消融研究，以表明我们的每项贡献都会提高性能。此外，我们表明我们的方法的表现超过了最新的单帧3D人类姿势估计的最新技术状态。我们的代码和训练有素的模型可在GitHub上公开提供。

实时3D人姿势估计对于人类计算机相互作用至关重要。仅从单眼视频中估算3D人类姿势是便宜且实用的。然而，最近基于骨剪接的3D人姿势估计方法带来了累积错误的问题。在本文中，提出了虚拟骨头的概念来解决这一挑战。虚拟骨头是非粘合关节之间的虚骨。它们在现实中并不存在，但它们为3D人类关节的估计带来了新的循环限制。本文提出的网络同时预测了真实的骨骼和虚拟骨骼。由预测的真实骨骼和虚拟骨骼构造的环的最终长度受到限制和学习。此外，考虑了连续帧中关节的运动约束。提议将网络预测的2D投影位置位移与摄像机捕获的真实2D位移之间的一致性是用于学习3D人姿势的新投影一致性损失。人类360万数据集的实验证明了该方法的良好性能。消融研究证明了拟议的框架间投影一致性约束和框内循环约束的有效性。

由于自我批判性和歧义，了解动态的手动运动和动态动作是一项基本而又具有挑战性的任务。为了解决遮挡和歧义，我们开发了一个基于变压器的框架来利用时间信息以进行稳健的估计。注意到手部姿势估计和动作识别之间的不同时间粒度和语义相关性，我们建立了一个网络层次结构，其中有两个级联变压器编码器，其中第一个利用了短期的时间cue进行手姿势估算，而后者则每次聚集物，后者每次聚集体 - 帧姿势和对象信息在更长的时间范围内识别动作。我们的方法在两个第一人称手动作基准（即FPHA和H2O）上取得了竞争成果。广泛的消融研究验证了我们的设计选择。我们将开放源代码和数据以促进未来的研究。

来自RGB视频的多人姿势理解包括三个复杂的任务：姿势估计，跟踪和运动预测。在这三个任务中，姿势估计和跟踪是相关的，跟踪对于运动预测至关重要。大多数现有作品要么专注于单个任务，要么采用级联方法来分别解决每个任务。在本文中，我们提出了狙击手，这是一个框架，以同时进行单个推断，同时进行多人3D姿势估计，跟踪和运动预测。具体而言，我们首先提出了一种可变形的注意机制，以从视频片段中汇总时空信息。基于这种可变形的注意力，学会了视觉变压器来编码从多框架图像中的时空特征，并解码信息性姿势功能以更新多人姿势查询。最后，对这些查询进行了回归，以预测一个正向传球中的多人姿势轨迹和未来动作。在实验中，我们显示了狙击手对三个具有挑战性的公共数据集的有效性，在该数据集中，通用模型竞争对手专门的姿势估计，跟踪和预测的最先进基线。代码可在\ href {https://github.com/jimmyzou/snipper} {https://github.com/jimmyzou/snipper}中获得。

时间序列内的3D人体姿势和形状估计对于理解人类行为至关重要。尽管近年来人类姿势估计取得了重大进展，这些进展通常是基于单个图像或视频，但考虑到其对实时输出和时间一致性的特殊要求，实时视频中的人类运动估计仍然是一个很少的触摸区域。为了解决这个问题，我们提出了一个时间嵌入的3D人体姿势和形状估计（Tepose）方法，以提高实时流视频中姿势估计的准确性和时间一致性。 Tepose使用以前的预测作为反馈错误的桥梁，以在当前帧中更好地估计，并了解数据框架和历史上的预测之间的对应关系。多尺度时空图形卷积网络被视为使用数据集的运动判别器，用于对抗训练，而没有任何3D标记。我们提出了一个顺序数据加载策略，以满足实时流的特殊起始数据处理要求。我们通过广泛的实验证明了每个提出的模块的重要性。结果表明，多孔在具有最先进的性能的广泛使用的人姿势基准上的有效性。

本文提出了一个简单的基线框架，用于基于视频的2D/3D人姿势估计，该估计可以比现有作品实现10倍提高效率，而无需任何性能降级，名为Deciwatch。与当前在视频中估算每个帧的解决方案不同，Deciwatch引入了一个简单而有效的样品探测框架框架，该框架只能通过人类动作的连续性和轻巧的姿势表示，仅观看稀疏采样的框架。具体而言，DeciWatch均匀地示例少于10％的视频帧以进行详细估计，以有效的变压器体系结构来确定估计的2D/3D姿势，然后使用另一个基于变压器的网络准确地恢复其余帧。通过四个数据集的三个基于视频的人姿势估计和身体网格恢复任务的全面实验结果验证了Deciwatch的效率和有效性。代码可在https://github.com/cure-lab/deciwatch上找到。

尽管近年来，在无单眼制造商的人类运动捕获上取得了重大进展，但最先进的方法仍然很难在遮挡场景中获得令人满意的结果。有两个主要原因：一个是遮挡的运动捕获本质上是模棱两可的，因为各种3D姿势可以映射到相同的2D观测值，这总是导致不可靠的估计。另一个是没有足够的封闭人类数据可用于训练健壮的模型。为了解决这些障碍，我们的钥匙界是使用非封闭式人类数据来学习以自我监督策略的封闭人类的联合时空运动。为了进一步减少合成数据和实际遮挡数据之间的差距，我们构建了第一个3D遮挡运动数据集〜（Ocmotion），可用于训练和测试。我们在2D地图中编码运动，并在非封闭数据上合成遮挡，以进行自我监督训练。然后，设计空间层层以学习联合级别的相关性。博学的先前降低了闭塞的歧义，并且对各种遮挡类型具有坚固态度，然后采用这些类型来帮助封闭的人类运动捕获。实验结果表明，我们的方法可以从具有良好概括能力和运行时效率的遮挡视频中产生准确且相干的人类动作。数据集和代码可在\ url {https://github.com/boycehbz/chomp}上公开获得。

Video Super-Resolution (VSR) aims to restore high-resolution (HR) videos from low-resolution (LR) videos. Existing VSR techniques usually recover HR frames by extracting pertinent textures from nearby frames with known degradation processes. Despite significant progress, grand challenges are remained to effectively extract and transmit high-quality textures from high-degraded low-quality sequences, such as blur, additive noises, and compression artifacts. In this work, a novel Frequency-Transformer (FTVSR) is proposed for handling low-quality videos that carry out self-attention in a combined space-time-frequency domain. First, video frames are split into patches and each patch is transformed into spectral maps in which each channel represents a frequency band. It permits a fine-grained self-attention on each frequency band, so that real visual texture can be distinguished from artifacts. Second, a novel dual frequency attention (DFA) mechanism is proposed to capture the global frequency relations and local frequency relations, which can handle different complicated degradation processes in real-world scenarios. Third, we explore different self-attention schemes for video processing in the frequency domain and discover that a ``divided attention'' which conducts a joint space-frequency attention before applying temporal-frequency attention, leads to the best video enhancement quality. Extensive experiments on three widely-used VSR datasets show that FTVSR outperforms state-of-the-art methods on different low-quality videos with clear visual margins. Code and pre-trained models are available at https://github.com/researchmm/FTVSR.

3D手姿势估计（HPE）是从任何视觉输入中将手关节定位在3D中的过程。由于HPE在各种人类计算机相互作用应用中的关键作用，HPE最近受到了更多的关注。最近的HPE方法证明了使用视频或多视图图像的优势，从而允许更强大的HPE系统。因此，在这项研究中，我们提出了一种新方法，用变压器进行手工姿势（sethpose）估计进行顺序学习。我们的sethpose管道首先是从单个手图像中提取视觉嵌入。然后，我们使用变压器编码器沿时间或查看角度学习顺序上下文，并生成准确的2D手关节位置。然后，使用具有U-NET配置的图形卷积神经网络将2D手关节位置转换为3D姿势。我们的实验表明，sethpose在颞叶和角度的两个手动序列品种上表现良好。此外，SETHPOSE优于该领域的其他方法，以实现两个公共可用的顺序数据集STB和Muvihand的最新结果。

人类的姿势估计旨在弄清不同场景中所有人的关键。尽管结果有希望，但目前的方法仍然面临一些挑战。现有的自上而下的方法单独处理一个人，而没有不同的人与所在的场景之间的相互作用。因此，当发生严重闭塞时，人类检测的表现会降低。另一方面，现有的自下而上方法同时考虑所有人，并捕获整个图像的全局知识。但是，由于尺度变化，它们的准确性不如自上而下的方法。为了解决这些问题，我们通过整合自上而下和自下而上的管道来探索不同接受场的视觉线索并实现其互补性，提出了一种新颖的双皮线整合变压器（DPIT）。具体而言，DPIT由两个分支组成，自下而上的分支介绍了整个图像以捕获全局视觉信息，而自上而下的分支则从单人类边界框中提取本地视觉的特征表示。然后，从自下而上和自上而下的分支中提取的特征表示形式被馈入变压器编码器，以交互融合全局和本地知识。此外，我们定义了关键点查询，以探索全景和单人类姿势视觉线索，以实现两个管道的相互互补性。据我们所知，这是将自下而上和自上而下管道与变压器与人类姿势估计的变压器相结合的最早作品之一。关于可可和MPII数据集的广泛实验表明，我们的DPIT与最先进的方法相当。

我们为图形结构数据（名为Kog-Transformer）和一个名为GASE-NET的3D姿势对形状估计网络提出了一个新颖的基于注意力的2到3D姿势估计网络，并提出了一个名为KOG-Transformer的数据。先前的3D姿势估计方法集中在对图卷积内核的各种修改上，例如放弃重量共享或增加接受场。其中一些方法采用基于注意力的非本地模块作为辅助模块。为了更好地模拟图形结构数据中的节点之间的关系并以差异化的方式融合不同邻居节点的信息，我们对注意模块进行了针对性的修改，并提出了设计用于图形结构数据的两个模块，图形相对位置编码多头自我注意事项（GR-MSA）和K级面向图形的多头自我注意力（KOG-MSA）。通过堆叠GR-MSA和KOG-MSA，我们提出了一个新型的网络KOG转换器，以进行2到3D姿势估计。此外，我们提出了一个在手数据上进行形状估计的网络，称为Graistention形状估计网络（GASE-NET），该网络以3D姿势为输入，并逐渐将手的形状从稀疏到密集建模。我们通过广泛的实验从经验上证明了KOG转化器的优势。实验结果表明，KOG转换器在基准数据集Human36M上的先前最新方法显着优于先前的最新方法。我们评估了GASE-NET对两个公共可用手数据集的影响Obman和Interhand 2.6M。 GASE-NET可以预测具有强泛化能力的输入姿势的相应形状。

Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.

最近，视觉变压器及其变体在人类和多视图人类姿势估计中均起着越来越重要的作用。将图像补丁视为令牌，变形金刚可以对整个图像中的全局依赖项进行建模或其他视图中的图像。但是，全球关注在计算上是昂贵的。结果，很难将这些基于变压器的方法扩展到高分辨率特征和许多视图。在本文中，我们提出了代币螺旋的姿势变压器（PPT）进行2D人姿势估计，该姿势估计可以找到粗糙的人掩模，并且只能在选定的令牌内进行自我注意。此外，我们将PPT扩展到多视图人类姿势估计。我们建立在PPT的基础上，提出了一种新的跨视图融合策略，称为人类区域融合，该策略将所有人类前景像素视为相应的候选者。可可和MPII的实验结果表明，我们的PPT可以在减少计算的同时匹配以前的姿势变压器方法的准确性。此外，对人类360万和滑雪姿势的实验表明，我们的多视图PPT可以有效地从多个视图中融合线索并获得新的最新结果。