人际关系的阻塞和深度歧义使估计单眼多人的3D姿势是以摄像头为中心的坐标，这是一个具有挑战性的问题。典型的自上而下框架具有高计算冗余，并具有额外的检测阶段。相比之下，自下而上的方法的计算成本较低，因为它们受人数的影响较小。但是，大多数现有的自下而上方法将以摄像头3D为中心的人姿势估计视为两个无关的子任务：2.5D姿势估计和以相机为中心的深度估计。在本文中，我们提出了一个统一模型，该模型利用这两个子任务的相互益处。在框架内，稳健结构的2.5D姿势估计旨在基于深度关系识别人际遮挡。此外，我们开发了一种端到端几何感知的深度推理方法，该方法利用了2.5D姿势和以摄像头为中心的根深度的相互益处。该方法首先使用2.5D姿势和几何信息来推断向前通行证中以相机为中心的根深度，然后利用根深蒂固，以进一步改善向后通过的2.5D姿势估计的表示。此外，我们设计了一种自适应融合方案，该方案利用视觉感知和身体几何形状来减轻固有的深度歧义问题。广泛的实验证明了我们提出的模型比广泛的自下而上方法的优越性。我们的准确性甚至与自上而下的同行竞争。值得注意的是，我们的模型比现有的自下而上和自上而下的方法快得多。

闭塞对单眼多人3D人体姿势估计构成了极大的威胁，这是由于封闭器的形状，外观和位置方面的差异很大。尽管现有的方法试图用姿势先验/约束，数据增强或隐性推理处理遮挡，但它们仍然无法概括地看不见姿势或遮挡案例，并且在出现多人时可能会犯大错误。受到人类从可见线索推断关节的显着能力的启发，我们开发了一种方法来显式建模该过程，该过程可以显着改善有或没有遮挡的情况下，可以显着改善自下而上的多人姿势估计。首先，我们将任务分为两个子任务：可见的关键点检测和遮挡的关键点推理，并提出了深入监督的编码器蒸馏（DSED）网络以求解第二个网络。为了训练我们的模型，我们提出了一种骨骼引导的人形拟合（SSF）方法，以在现有数据集上生成伪遮挡标签，从而实现明确的遮挡推理。实验表明，从遮挡中明确学习可以改善人类姿势估计。此外，利用可见关节的特征级信息使我们可以更准确地推理遮挡关节。我们的方法的表现优于几个基准的最新自上而下和自下而上的方法。

多人3D姿势估计是一项具有挑战性的任务，因为遮挡和深度歧义，尤其是在人群场景的情况下。为了解决这些问题，大多数现有方法通过使用图神经网络增强特征表示或添加结构约束来探索建模身体上下文提示。但是，这些方法对于它们的单根公式并不强大，该公式将3D从根节点带有预定义的图形。在本文中，我们提出了GR-M3D，该GR-M3D模拟了\ textbf {m} ulti-person \ textbf {3d}构成构成构成效果估计，并使用动态\ textbf {g} raph \ textbf {r textbf {r} eSounting。预测GR-M3D中的解码图而不是预定。特别是，它首先生成几个数据图，并通过刻度和深度意识到的细化模块（SDAR）增强它们。然后从这些数据图估算每个人的多个根关键点和密集的解码路径。基于它们，动态解码图是通过将路径权重分配给解码路径来构建的，而路径权重是从这些增强的数据图推断出来的。此过程被命名为动态图推理（DGR）。最后，根据每个检测到的人的动态解码图对3D姿势进行解码。 GR-M3D可以根据输入数据采用软路径权重，通过采用软路径权重来调整解码图的结构，这使得解码图最能适应不同的输入人员，并且比以前的方法更有能力处理闭塞和深度歧义。我们从经验上表明，提出的自下而上方法甚至超过自上而下的方法，并在三个3D姿势数据集上实现最先进的方法。

尽管单眼3D姿势估计似乎在公共数据集上取得了非常准确的结果，但它们的概括能力在很大程度上被忽略了。在这项工作中，我们对现有方法进行系统评估，并发现在对不同的摄像机，人体姿势和外观进行测试时，它们会出现更大的错误。为了解决这个问题，我们介绍了VirtualPose，这是一个两阶段的学习框架，以利用该任务特定的隐藏的“免费午餐”，即免费生成无限数量的姿势和摄像头，以免费培训模型。为此，第一阶段将图像转换为抽象的几何表示（AGR），然后第二阶段将它们映射到3D姿势。它从两个方面解决了概括问题：（1）可以在不同的2D数据集上对第一阶段进行培训，以降低过度合适外观的风险； （2）第二阶段可以接受从大量虚拟摄像机和姿势合成的不同AGR训练。它的表现优于SOTA方法，而无需使用任何配对的图像和3D姿势，从而为实用应用铺平了道路。代码可从https://github.com/wkom/virtualpose获得。

在本文中，我们考虑了同时找到和从单个2D图像中恢复多手的具有挑战性的任务。先前的研究要么关注单手重建，要么以多阶段的方式解决此问题。此外，常规的两阶段管道首先检测到手部区域，然后估计每个裁剪贴片的3D手姿势。为了减少预处理和特征提取中的计算冗余，我们提出了一条简洁但有效的单阶段管道。具体而言，我们为多手重建设计了多头自动编码器结构，每个HEAD网络分别共享相同的功能图并分别输出手动中心，姿势和纹理。此外，我们采用了一个弱监督的计划来减轻昂贵的3D现实世界数据注释的负担。为此，我们提出了一系列通过舞台训练方案优化的损失，其中根据公开可用的单手数据集生成具有2D注释的多手数据集。为了进一步提高弱监督模型的准确性，我们在单手和多个手设置中采用了几个功能一致性约束。具体而言，从本地功能估算的每只手的关键点应与全局功能预测的重新投影点一致。在包括Freihand，HO3D，Interhand 2.6M和RHD在内的公共基准测试的广泛实验表明，我们的方法在弱监督和完全监督的举止中优于基于最先进的模型方法。代码和模型可在{\ url {https://github.com/zijinxuxu/smhr}}上获得。

在多人2D姿势估计中，自下而上的方法同时预测了所有人的姿势，与自上而下的方法不同，不依赖于人类的检测。但是，与现有的自上而下方法相比，SOTA自下而上的方法的精度仍然不如较低。这是由于预测的人类姿势是根据不一致的人类边界箱中心进行回归的，并且缺乏人类规范的正常化，从而导致预测的人类姿势被遗漏了不准确和小规模的人。为了推动自下而上的姿势估计的信封，我们首先提出了多尺度训练，以增强网络以通过单尺度测试来处理规模变化，尤其是对于小规模的人。其次，我们介绍了双解剖中心（即头部和身体），在这里我们可以更准确，可靠地预测人类的姿势，尤其是对于小规模的人。此外，现有的自下而上方法采用多尺度测试来以多个额外的前向通行证的价格提高姿势估计的准确性，这削弱了自下而上方法的效率，与自上而下的方法相比，核心强度。相比之下，我们的多尺度训练使该模型能够预测单个前向通行证（即单尺度测试）中的高质量姿势。我们的方法在边界框的精度方面取得了38.4 \％的改进，在边界框上进行了39.1 \％的改进，以对可可的具有挑战性的小规模人群进行对现状（SOTA）的回忆（SOTA）。对于人类姿势AP评估，我们在带有单尺度测试的可可测试-DEV集中实现了新的SOTA（71.0 AP）。我们还在跨数据库评估中在Ochuman数据集上实现了最高的性能（40.3 AP）。

人类的姿势估计旨在弄清不同场景中所有人的关键。尽管结果有希望，但目前的方法仍然面临一些挑战。现有的自上而下的方法单独处理一个人，而没有不同的人与所在的场景之间的相互作用。因此，当发生严重闭塞时，人类检测的表现会降低。另一方面，现有的自下而上方法同时考虑所有人，并捕获整个图像的全局知识。但是，由于尺度变化，它们的准确性不如自上而下的方法。为了解决这些问题，我们通过整合自上而下和自下而上的管道来探索不同接受场的视觉线索并实现其互补性，提出了一种新颖的双皮线整合变压器（DPIT）。具体而言，DPIT由两个分支组成，自下而上的分支介绍了整个图像以捕获全局视觉信息，而自上而下的分支则从单人类边界框中提取本地视觉的特征表示。然后，从自下而上和自上而下的分支中提取的特征表示形式被馈入变压器编码器，以交互融合全局和本地知识。此外，我们定义了关键点查询，以探索全景和单人类姿势视觉线索，以实现两个管道的相互互补性。据我们所知，这是将自下而上和自上而下管道与变压器与人类姿势估计的变压器相结合的最早作品之一。关于可可和MPII数据集的广泛实验表明，我们的DPIT与最先进的方法相当。

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

尽管最近的进步，但是，尽管最近的进展，但是从单个图像中的人类姿势的全3D估计仍然是一个具有挑战性的任务。在本文中，我们探讨了关于场景几何体的强先前信息的假设可用于提高姿态估计精度。为了主弱地解决这个问题，我们已经组装了一种新的$ \ textbf {几何姿势提供} $ DataSet，包括与各种丰富的3D环境交互的人员的多视图图像。我们利用商业运动捕获系统来收集场景本身的姿势和构造精确的几何3D CAD模型的金标估计。要将对现有框架的现有框架注入图像的现有框架，我们介绍了一种新颖的，基于视图的场景几何形状，一个$ \ textbf {多层深度图} $，它采用了多次射线跟踪到简明地编码沿着每种相机视图光线方向的多个表面入口和退出点。我们提出了两种不同的机制，用于集成多层深度信息姿势估计：输入作为升降2D姿势的编码光线特征，其次是促进学习模型以支持几何一致姿态估计的可差异损失。我们通过实验展示这些技术可以提高3D姿势估计的准确性，特别是在遮挡和复杂场景几何形状的存在中。

给出了多人的形象，我们的目标是直接向所有人的姿势和形状以及相对深度的形状。然而，在图像中推断一个人的深度，在没有知道其高度的情况下从根本上模糊。当场景包含尺寸非常不同的尺寸时，这尤其有问题。从婴儿到成年人。要解决这个问题，我们需要几件事。首先，我们开发一种新的方法，可在单个图像中推断多人的姿势和深度。虽然以前的工作估计多个人通过推理在图像平面上，但我们的方法称为BEV，增加了额外的虚拟鸟瞰图表示，以明确地理解深度。在图像中的身体中心和深度和深度，通过梳理这些，估计3D身体位置的BEV原因。与现有工作不同，BEV是一种单次射击方法，即端到端可分辨率。其次，身高随着年龄而变化，无法解决深度而不估计图像中的人们的年龄。为此，我们利用3D身体模型空间，让您从婴儿推断为成年人。第三，要训练BEV，我们需要一个新的数据集。具体而言，我们创建一个“相对人类”（RH）数据集，包括图像中人们的年龄标签和相对深度关系。 RH和Agora的广泛实验证明了模型和培训计划的有效性。 BEV优于深度推理，儿童形状估计和鲁布利的现有方法。代码和数据集将用于研究目的。

尽管基于体素的方法已经获得了来自多摄像头的多人3D姿势估计的有希望的结果，但它们具有沉重的计算负担，尤其是对于大型场景。我们提出了更快的素素，以通过将特征体积重新投影到三个二维坐标平面并分别估算x，y，z坐标来解决挑战。为此，我们首先通过分别基于投影到XY平面和Z轴的体积功能来估算2D框及其高度，首先通过一个3D边界框来定位每个人。然后，对于每个人，我们分别估算三个坐标平面的部分关节坐标，然后将其融合以获得最终的3D姿势。该方法不含昂贵的3D-CNN，并将其素的速度提高了十倍，同时作为最先进的方法的竞争精度，证明了其在实时应用中的潜力。

Egocentric 3D human pose estimation with a single head-mounted fisheye camera has recently attracted attention due to its numerous applications in virtual and augmented reality. Existing methods still struggle in challenging poses where the human body is highly occluded or is closely interacting with the scene. To address this issue, we propose a scene-aware egocentric pose estimation method that guides the prediction of the egocentric pose with scene constraints. To this end, we propose an egocentric depth estimation network to predict the scene depth map from a wide-view egocentric fisheye camera while mitigating the occlusion of the human body with a depth-inpainting network. Next, we propose a scene-aware pose estimation network that projects the 2D image features and estimated depth map of the scene into a voxel space and regresses the 3D pose with a V2V network. The voxel-based feature representation provides the direct geometric connection between 2D image features and scene geometry, and further facilitates the V2V network to constrain the predicted pose based on the estimated scene geometry. To enable the training of the aforementioned networks, we also generated a synthetic dataset, called EgoGTA, and an in-the-wild dataset based on EgoPW, called EgoPW-Scene. The experimental results of our new evaluation sequences show that the predicted 3D egocentric poses are accurate and physically plausible in terms of human-scene interaction, demonstrating that our method outperforms the state-of-the-art methods both quantitatively and qualitatively.

我们提出Bapose，一种新颖的自下而上的方法，实现了多人姿态估计的最先进结果。我们的最终培训框架利用了解开的多尺度瀑布架构，并将自适应卷曲融合在拥挤的场景中更准确地推断出闭塞的关键点。由BAPOSE中的解开瀑布模块获得的多尺度表示，利用级联架构中进行逐行滤波的效率，同时保持与空间金字塔配置的多尺度视图相当。我们对挑战性的Coco和Crowdose数据集的结果表明，Bapose是多人姿态估计的高效且稳健的框架，实现了最先进的准确性的显着改善。

传统的3D人姿态估计依赖于首次检测2D身体键盘，然后求解2D到3D对应问题。提高有希望的结果，该学习范例高度依赖于2D关键点检测器的质量，这不可避免地易于闭塞和堵塞-of-image缺席。在本文中，我们提出了一种新颖的姿势定向网（PONET），其能够仅通过学习方向估计3D姿势，因此在没有图像证据的情况下绕过错误易于keypoint检测器。对于具有部分不可见的四肢的图像，Ponet通过利用本地图像证据来恢复3D姿势来估计这些肢体的3D方向。通过利用完全看不见的四肢来说，Ponet甚至可以从完全看不见的四肢的图像中推断出完整的3D姿势。可见肢体之间的取向相关性以补充估计的姿势，进一步提高了3D姿态估计的鲁棒性。我们在多个数据集中评估我们的方法，包括Human3.6M，MPII，MPI-INF-3DHP和3DPW。我们的方法在理想设置中实现了与最先进的技术的结果，但显着消除了对关键点检测器和相应的计算负担的依赖性。在截断和擦除等方面的高度挑战性方案中，我们的方法稳健地表现得非常强大，与本领域的状态相比，展示其对现实世界应用的可能性。

在本文中，提出了一种称为POP-Net的实时方法，以预测来自深度图像的多人3D。 POP-Net了解到在一次拍摄中预测自下而上的部分表示和自上而下的全球姿势。具体地，介绍了一种名为截断的零件位移场（TPDF）的新的零级表示，这使得明确的融合过程能够统一自下而上部分检测和全局姿势检测的优点。同时，引入了有效的模式选择方案以自动解决全局姿势和部分检测之间的冲突案例。最后，由于缺乏用于开发多人3D姿势估计的高质量深度数据集，我们将多人3D人类姿势数据集（MP-3DHP）引入新的基准。 MP-3DHP旨在在模型培训中实现有效的多人和背景数据增强，并在不受控制的多人场景下评估3D人类姿势估计。我们表明Pop-Net在MP-3DHP和广泛使用的ITOP数据集上实现了最先进的结果，并对多人处理的效率具有显着的优势。为了证明我们的算法管道的应用之一，我们还显示了由我们计算的3D关节位置驱动的虚拟化身的结果。 MP-3DHP数据集和评估代码已提供：https://github.com/oppo-us-research/pop-net。

在自然谈话和互动中，我们的手经常重叠或彼此接触。由于双手的均匀外观，这使得估计从图像互动的3D姿势困难。在本文中，我们证明了自我相似性，以及将像素观测分配给各自的手和它们的部分的产生的歧义是最终3D姿势错误的主要原因。通过这种洞察力，我们提出了数字，一种估计来自单眼图像的两个交互手的3D姿势的新方法。该方法包括两个交织分支，该分支处理输入图像到每个像素语义部分分段掩模和视觉特征卷。与事先工作相比，我们不会从姿势估计阶段解耦分割，而是直接利用每个像素概率直接在下游姿势估计任务中。为此，零件概率与视觉功能合并并通过全卷积层处理。我们通过实验表明，该方法在Interhand2.6M数据集中实现了新的最先进的性能。我们提供详细的消融研究，以证明我们方法的功效，并提供对像素所有权建模如何影响3D手姿势估计的见解。

视频3D人类姿势估计旨在将视频中人类关节的3D坐标定位。最近的基于变压器的方法着重于从顺序2D姿势捕获时空信息，由于在2D姿势估计的步骤中丢失了视觉深度特征，因此无法有效地对上下文深度特征进行建模。在本文中，我们将范式简化为端到端框架，实例引导的视频变压器（IVT），该范式可以有效地从视觉特征中学习时空的上下文深度信息，并直接从视频框架中预测3D姿势。特别是，我们首先将视频框架作为一系列实例引导令牌，每个令牌都可以预测人类实例的3D姿势。这些令牌包含身体结构信息，因为它们是由关节偏移从人体中心到相应身体关节的指导提取的。然后，这些令牌被发送到IVT中，以学习时空的上下文深度。此外，我们提出了一种跨尺度实例引导的注意机制，以处理多个人之间的变异量表。最后，每个人的3D姿势都是通过坐标回归从实例引导的代币中解码的。在三个广泛使用的3D姿势估计基准上进行的实验表明，拟议的IVT实现了最先进的性能。

我们观察到，由于不同身体部位的生物学约束，人类的姿势表现出强大的群体结构相关性和空间耦合。可以探索这种群体结构相关性，以提高人类姿势估计的准确性和鲁棒性。在这项工作中，我们开发了一个自我控制的预测验证网络，以表征和学习训练过程中关键点之间的结构相关性。在推理阶段，来自验证网络的反馈信息使我们能够进一步优化姿势预测，从而显着提高了人类姿势估计的性能。具体而言，我们根据人体的生物结构将关键点分组分组。在每个组中，关键点进一步分为两个子集，高信心基础关键点和低信心终端关键点。我们开发一个自我约束的预测验证网络，以在这些关键点子集之间执行前向和向后的预测。姿势估计以及通用预测任务中的一个基本挑战是，由于无法获得地面真相，因此我们没有机制可以验证获得的姿势估计或预测结果是否准确。一旦成功学习，验证网络将用作前向姿势预测的准确性验证模块。在推理阶段，它可用于指导低保持信心关键点的姿势估计结果的局部优化，而高信心关键点的自我约束损失是目标函数。我们对基准MS可可和人群数据集的广泛实验结果表明，所提出的方法可以显着改善姿势估计结果。

人类姿势和形状估计的任务中的关键挑战是闭塞，包括自闭合，对象 - 人闭塞和人际闭塞。缺乏多样化和准确的姿势和形状训练数据成为一个主要的瓶颈，特别是对于野外闭塞的场景。在本文中，我们专注于在人际闭塞的情况下估计人类姿势和形状，同时处理对象 - 人闭塞和自动闭塞。我们提出了一种新颖的框架，该框架综合了遮挡感知的轮廓和2D关键点数据，并直接回归到SMPL姿势和形状参数。利用神经3D网格渲染器以启用剪影监控，这有助于形状估计的巨大改进。此外，合成了全景视点中的关键点和轮廓驱动的训练数据，以补偿任何现有数据集中缺乏视点的多样性。实验结果表明，在姿势估计准确性方面，我们在3DPW和3DPW-Crowd数据集中是最先进的。所提出的方法在形状估计方面显着优于秩1方法。在形状预测精度方面，SSP-3D还实现了顶级性能。

我们考虑从野外拥挤的场景中恢复一个人的3D人网格的问题。尽管在3D人网估计中取得了很多进展，但当测试输入的场景拥挤时，现有的方法很难。失败的第一个原因是训练和测试数据之间的域间隙。一个运动捕获数据集为训练提供准确的3D标签，缺乏人群数据，并阻碍了网络无法学习目标人的拥挤场景射击图像特征。第二个原因是功能处理，该功能处理在空间上平均包含多个人的本地化边界框的特征图。平均整个功能映射使目标人的特征与他人无法区分。我们提出了3dcrowdnet，首先要明确针对野生野外的场景，并通过解决上述问题来估算强大的3D人网。首先，我们利用2D人姿势估计不需要带有3D标签的运动捕获数据集进行训练，并且不受域间隙的困扰。其次，我们提出了一个基于联合的回归器，将目标人的特征与他人区分开来。我们的基于联合的回归器通过对目标关节位置的采样特征来保留目标的空间激活并回归人类模型参数。结果，3DCORDNET学习了针对目标的功能，并有效地排除了附近人的无关特征。我们对各种基准进行实验，并证明3dcrowdnet对野外拥挤的场景的鲁棒性在定量和定性上。该代码可在https://github.com/hongsukchoi/3dcrowdnet_release上获得。