逆运动学（IK）系统通常相对于其输入特征很僵硬，因此需要将用户干预适应新骨架。在本文中，我们旨在创建一个适用于各种人类形态的灵活的，学到的IK求解器。我们扩展了最先进的机器学习IK求解器，以在众所周知的皮肤多人线性模型（SMPL）上运行。我们称我们的模型SMPL-IK，并表明当集成到实时3D软件中时，该扩展系统为定义新型AI-Asissist Animation Workfrows提供了机会。例如，通过允许用户在摆姿势的同时修改性别和身体形状，可以使姿势创作更加灵活。此外，当使用现有姿势估计算法链接时，SMPL-IK通过允许用户从2D图像引导3D场景来加速摆姿势，同时允许进一步编辑。最后，我们提出了一种新颖的SMPL形状反转机制（SMPL-SI），将任意类人形特征映射到SMPL空间，使艺术家能够在自定义字符上利用SMPL-IK。除了显示拟议工具的定性演示外，我们还介绍了H36M和Amass数据集上的定量SMPL-IK基准。

我们的工作重点是开发人类姿势的可学习神经代表，用于先进的AI辅助动画工具。具体而言，我们解决了基于稀疏和可变的用户输入（例如，身体关节子集的位置和/或方向）构建完整静态人姿势的问题。为了解决这个问题，我们提出了一种新型的神经结构，将残留连接与部分指定姿势编码的原型结合在一起，以从学习的潜在空间中创建一个新的完整姿势。我们表明，在准确性和计算效率方面，我们的体系结构的表现优于基准基线。此外，我们开发了一个用户界面，以将我们的神经模型集成到Unity，这是一个实时3D开发平台。此外，我们基于高质量的人类运动捕获数据，介绍了代表静态人类姿势建模问题的两个新数据集，该数据将与模型代码一起公开发布。

当今的混合现实头戴式显示器显示了用户在世界空间中的头部姿势以及用户的手，以在增强现实和虚拟现实场景中进行互动。尽管这足以支持用户输入，但不幸的是，它仅限于用户的虚拟表示形式。因此，当前的系统诉诸于浮动化身，其限制在协作环境中尤为明显。为了估算稀疏输入源的全身姿势，先前的工作已在骨盆或下半身中融合了其他跟踪器和传感器，从而增加了设置的复杂性并限制了移动设置中的实际应用。在本文中，我们提出了AvatarPoser，这是第一个基于学习的方法，该方法仅使用用户头和手中的运动输入来预测世界坐标中的全身姿势。我们的方法建立在变压器编码器上，以从输入信号中提取深度特征，并将全局运动从学到的局部关节取向中解脱出来，以指导姿势估计。为了获得类似于运动捕获动画的准确全身运动，我们使用具有逆运动学的优化程序来完善臂关节位置，以匹配原始跟踪输入。在我们的评估中，AvatarPoser实现了新的最新最新结果，从而对大型运动捕获数据集（Amass）进行了评估。同时，我们的方法的推理速度支持实时操作，提供了一个实用的接口，以支持整体化的头像控制和元应用的表示形式。

人类运动合成是机器人技术的图形，游戏和仿真环境中应用的重要问题。现有方法需要准确的运动捕获数据进行培训，这是昂贵的。取而代之的是，我们为直接从单眼RGB视频中训练物理上合理的人类运动的生成模型提出了一个框架，该模型更广泛地可用。我们方法的核心是一种新颖的优化公式，该公式通过以可区分的方式执行物理限制和有关接触的原因来纠正不完美的基于图像的姿势估计。该优化得出校正后的3D姿势和运动及其相应的接触力。结果表明，我们的物理校正运动在姿势估计上显着优于先前的工作。然后，我们可以使用它们来训练生成模型来综合未来的运动。与先前的基于运动学和物理学的方法相比，我们在人类36m数据集中〜\ cite {H36M_P​​AMI}实现了定性和定量改进的运动估计，合成质量和物理合理性。通过从视频中学习运动合成，我们的方法为大规模，现实和多样化的运动合成铺平了道路。项目页面：\ url {https://nv-tlabs.github.io/publication/iccv_2021_physics/}

It can be easy and even fun to sketch humans in different poses. In contrast, creating those same poses on a 3D graphics "mannequin" is comparatively tedious. Yet 3D body poses are necessary for various downstream applications. We seek to preserve the convenience of 2D sketching while giving users of different skill levels the flexibility to accurately and more quickly pose\slash refine a 3D mannequin. At the core of the interactive system, we propose a machine-learning model for inferring the 3D pose of a CG mannequin from sketches of humans drawn in a cylinder-person style. Training such a model is challenging because of artist variability, a lack of sketch training data with corresponding ground truth 3D poses, and the high dimensionality of human pose-space. Our unique approach to synthesizing vector graphics training data underpins our integrated ML-and-kinematics system. We validate the system by tightly coupling it with a user interface, and by performing a user study, in addition to quantitative comparisons.

We describe the first method to automatically estimate the 3D pose of the human body as well as its 3D shape from a single unconstrained image. We estimate a full 3D mesh and show that 2D joints alone carry a surprising amount of information about body shape. The problem is challenging because of the complexity of the human body, articulation, occlusion, clothing, lighting, and the inherent ambiguity in inferring 3D from 2D. To solve this, we first use a recently published CNN-based method, DeepCut, to predict (bottom-up) the 2D body joint locations. We then fit (top-down) a recently published statistical body shape model, called SMPL, to the 2D joints. We do so by minimizing an objective function that penalizes the error between the projected 3D model joints and detected 2D joints. Because SMPL captures correlations in human shape across the population, we are able to robustly fit it to very little data. We further leverage the 3D model to prevent solutions that cause interpenetration. We evaluate our method, SMPLify, on the Leeds Sports, HumanEva, and Human3.6M datasets, showing superior pose accuracy with respect to the state of the art.

我们提出了体面意识的人类姿势估计，我们根据模拟代理的本体感受和场景意识以及外部第三人称观察来估计3D构成。与经常诉诸多阶段优化的先前方法不同，非因果推理和复杂的接触建模以估计人类姿势和人类场景的相互作用，我们的方法是一个阶段，因果关系，并在模拟环境中恢复全局3D人类姿势。由于2D第三人称观察与相机姿势结合在一起，我们建议解开相机姿势，并使用在全球坐标框架中定义的多步投影梯度作为我们体现的代理的运动提示。利用物理模拟和预先的场景（例如3D网格），我们在日常环境（库，办公室，卧室等）中模拟代理，并为我们的代理配备环境传感器，以智能导航和与场景的几何形状进行智能导航和互动。我们的方法还仅依靠2D关键点，并且可以在来自流行人类运动数据库的合成数据集上进行培训。为了评估，我们使用流行的H36M和Prox数据集，并首次在具有挑战性的Prox数据集中获得96.7％的成功率，而无需使用Prox运动序列进行培训。

and ACCAD [5] datasets. The input is sparse markers and the output is SMPL body models.

我们构建了一个系统，可以通过自己的手展示动作，使任何人都可以控制机器人手和手臂。机器人通过单个RGB摄像机观察人类操作员，并实时模仿其动作。人的手和机器人的手在形状，大小和关节结构上有所不同，并且从单个未校准的相机进行这种翻译是一个高度不受约束的问题。此外，重新定位的轨迹必须有效地在物理机器人上执行任务，这要求它们在时间上平稳且没有自我收集。我们的关键见解是，虽然配对的人类机器人对应数据的收集价格昂贵，但互联网包含大量丰富而多样的人类手视频的语料库。我们利用这些数据来训练一个理解人手并将人类视频流重新定位的系统训练到机器人手臂轨迹中，该轨迹是平稳，迅速，安全和语义上与指导演示的相似的系统。我们证明，它使以前未经训练的人能够在各种灵巧的操纵任务上进行机器人的态度。我们的低成本，无手套，无标记的远程遥控系统使机器人教学更容易访问，我们希望它可以帮助机器人学习在现实世界中自主行动。视频https://robotic-telekinesis.github.io/

基于回归的方法可以通过直接以馈送方式将原始像素直接映射到模型参数来估算从单眼图像的身体，手甚至全身模型。但是，参数的微小偏差可能导致估计的网格和输入图像之间的明显未对准，尤其是在全身网格恢复的背景下。为了解决这个问题，我们建议在我们的回归网络中进行锥体网状对准反馈（PYMAF）循环，以进行良好的人类网格恢复，并将其扩展到PYMAF-X，以恢复表达全身模型。 PYMAF的核心思想是利用特征金字塔并根据网格图像对准状态明确纠正预测参数。具体而言，给定当前预测的参数，将相应地从更优质的特征中提取网格对准的证据，并将其送回以进行参数回流。为了增强一致性的看法，采用辅助密集的监督来提供网格图像对应指南，同时引入了空间对齐的注意，以使我们的网络对全球环境的认识。当扩展PYMAF以进行全身网状恢复时，PYMAF-X中提出了一种自适应整合策略来调整肘部扭转旋转，该旋转会产生自然腕部姿势，同时保持部分特定估计的良好性能。我们的方法的功效在几个基准数据集上得到了验证，以实现身体和全身网状恢复，在该数据集中，PYMAF和PYMAF-X有效地改善了网格图像的对准并实现了新的最新结果。具有代码和视频结果的项目页面可以在https://www.liuyebin.com/pymaf-x上找到。

Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.

To facilitate the analysis of human actions, interactions and emotions, we compute a 3D model of human body pose, hand pose, and facial expression from a single monocular image. To achieve this, we use thousands of 3D scans to train a new, unified, 3D model of the human body, SMPL-X, that extends SMPL with fully articulated hands and an expressive face. Learning to regress the parameters of SMPL-X directly from images is challenging without paired images and 3D ground truth. Consequently, we follow the approach of SMPLify, which estimates 2D features and then optimizes model parameters to fit the features. We improve on SMPLify in several significant ways: (1) we detect 2D features corresponding to the face, hands, and feet and fit the full SMPL-X model to these; (2) we train a new neural network pose prior using a large MoCap dataset; (3) we define a new interpenetration penalty that is both fast and accurate; (4) we automatically detect gender and the appropriate body models (male, female, or neutral); (5) our PyTorch implementation achieves a speedup of more than 8× over Chumpy. We use the new method, SMPLify-X, to fit SMPL-X to both controlled images and images in the wild. We evaluate 3D accuracy on a new curated dataset comprising 100 images with pseudo ground-truth. This is a step towards automatic expressive human capture from monocular RGB data. The models, code, and data are available for research purposes at https://smpl-x.is.tue.mpg.de.

Input Reconstruction Side and top down view Part Segmentation Input Reconstruction Side and top down view Part Segmentation Figure 1: Human Mesh Recovery (HMR): End-to-end adversarial learning of human pose and shape. We describe a real time framework for recovering the 3D joint angles and shape of the body from a single RGB image. The first two rowsshow results from our model trained with some 2D-to-3D supervision, the bottom row shows results from a model that is trained in a fully weakly-supervised manner without using any paired 2D-to-3D supervision. We infer the full 3D body even in case of occlusions and truncations. Note that we capture head and limb orientations.

This paper addresses the problem of 3D human pose and shape estimation from a single image. Previous approaches consider a parametric model of the human body, SMPL, and attempt to regress the model parameters that give rise to a mesh consistent with image evidence. This parameter regression has been a very challenging task, with modelbased approaches underperforming compared to nonparametric solutions in terms of pose estimation. In our work, we propose to relax this heavy reliance on the model's parameter space. We still retain the topology of the SMPL template mesh, but instead of predicting model parameters, we directly regress the 3D location of the mesh vertices. This is a heavy task for a typical network, but our key insight is that the regression becomes significantly easier using a Graph-CNN. This architecture allows us to explicitly encode the template mesh structure within the network and leverage the spatial locality the mesh has to offer. Image-based features are attached to the mesh vertices and the Graph-CNN is responsible to process them on the mesh structure, while the regression target for each vertex is its 3D location. Having recovered the complete 3D geometry of the mesh, if we still require a specific model parametrization, this can be reliably regressed from the vertices locations. We demonstrate the flexibility and the effectiveness of our proposed graphbased mesh regression by attaching different types of features on the mesh vertices. In all cases, we outperform the comparable baselines relying on model parameter regression, while we also achieve state-of-the-art results among model-based pose estimation approaches. 1

大多数实时人类姿势估计方法都基于检测接头位置。使用检测到的关节位置，可以计算偏差和肢体的俯仰。然而，由于这种旋转轴仍然不观察，因此不能计算沿着肢体沿着肢体至关重要的曲折，这对于诸如体育分析和计算机动画至关重要。在本文中，我们引入了方向关键点，一种用于估计骨骼关节的全位置和旋转的新方法，仅使用单帧RGB图像。灵感来自Motion-Capture Systems如何使用一组点标记来估计全骨骼旋转，我们的方法使用虚拟标记来生成足够的信息，以便准确地推断使用简单的后处理。旋转预测改善了接头角度最佳报告的平均误差48％，并且在15个骨骼旋转中实现了93％的精度。该方法还通过MPJPE在原理数据集上测量，通过MPJPE测量，该方法还改善了当前的最新结果14％，并概括为野外数据集。

虽然从图像中回归3D人类的方法迅速发展，但估计的身体形状通常不会捕获真正的人形状。这是有问题的，因为对于许多应用，准确的身体形状与姿势一样重要。身体形状准确性差姿势准确性的关键原因是缺乏数据。尽管人类可以标记2D关节，并且这些约束3D姿势，但“标记” 3D身体形状并不容易。由于配对的数据与图像和3D身体形状很少见，因此我们利用了两个信息来源：（1）我们收集了各种“时尚”模型的互联网图像，以及一系列的人体测量值； （2）我们为3D身体网眼和模型图像收集语言形状属性。综上所述，这些数据集提供了足够的约束来推断密集的3D形状。我们利用几种新型方法来利用人体测量和语言形状属性来训练称为Shapy的神经网络，从而从RGB图像中回归了3D人类的姿势和形状。我们在公共基准测试上评估shapy，但请注意，它们要么缺乏明显的身体形状变化，地面真实形状或衣服变化。因此，我们收集了一个新的数据集，用于评估3D人类形状估计，称为HBW，其中包含“野生人体”的照片，我们为其具有地面3D身体扫描。在这个新的基准测试中，Shapy在3D身体估计的任务上的最先进方法极大地胜过。这是第一次演示，即可以从易于观察的人体测量和语言形状属性中训练来自图像的3D体形回归。我们的模型和数据可在以下网址获得：shapy.is.tue.mpg.de

在3D人类姿势估计任务中存在挑战性问题，例如由遮挡和自我封闭引起的性能差。最近，IMU-Vision传感器融合被认为对于解决这些问题很有价值。但是，先前关于IMU和视觉数据的融合的研究（异质性）无法充分利用IMU原始数据或可靠的高级视觉功能。为了促进更有效的传感器融合，在这项工作中，我们提出了一个在参数人运动模型下的框架，称为\ emph {fusepose}。具体而言，我们汇总了IMU或视觉数据的不同信息，并引入了三种独特的传感器融合方法：NaiveFuse，Kinefuse和AdadeEpfuse。 NaiveFuse服务器是一种基本方法，仅融合简化的IMU数据并估计欧几里得空间中的3D姿势。在运动学空间中，KineFuse能够将校准和对齐的IMU原始数据与转换后的3D姿势参数集成在一起。 AdadeEpfuse进一步将这种运动学融合过程发展为一种适应性和端到端的训练方式。进行消融研究的综合实验表明了所提出的框架的合理性和优越性。与基线结果相比，3D人姿势估计的性能得到了提高。在Total Capture数据集上，KineFuse超过了先前的最新技术，该最新仅用于测试8.6 \％。 AdadeEpfuse超过了最新的，该技术使用IMU进行培训和测试的最新时间为8.5 \％。此外，我们通过对人类360万数据集的实验来验证框架的概括能力。

培训视频中人类姿势估计的最先进模型需要具有很难获得的注释的数据集。尽管最近已将变压器用于身体姿势序列建模，但相关方法依靠伪地真相来增强目前有限的培训数据可用于学习此类模型。在本文中，我们介绍了Posebert，Posebert是一个通过掩盖建模对3D运动捕获（MOCAP）数据进行全面训练的变压器模块。它是简单，通用和通用的，因为它可以插入任何基于图像的模型的顶部，以在基于视频的模型中使用时间信息。我们展示了Posebert的变体，不同的输入从3D骨骼关键点到全身或仅仅是手（Mano）的3D参数模型的旋转。由于Posebert培训是任务不可知论的，因此该模型可以应用于姿势细化，未来的姿势预测或运动完成等几个任务。我们的实验结果验证了在各种最新姿势估计方法之上添加Posebert始终提高其性能，而其低计算成本使我们能够在实时演示中使用它，以通过A的机器人手使机器人手通过摄像头。可以在https://github.com/naver/posebert上获得测试代码和型号。

This work addresses the problem of estimating the full body 3D human pose and shape from a single color image. This is a task where iterative optimization-based solutions have typically prevailed, while Convolutional Networks (ConvNets) have suffered because of the lack of training data and their low resolution 3D predictions. Our work aims to bridge this gap and proposes an efficient and effective direct prediction method based on ConvNets. Central part to our approach is the incorporation of a parametric statistical body shape model (SMPL) within our end-to-end framework. This allows us to get very detailed 3D mesh results, while requiring estimation only of a small number of parameters, making it friendly for direct network prediction. Interestingly, we demonstrate that these parameters can be predicted reliably only from 2D keypoints and masks. These are typical outputs of generic 2D human analysis ConvNets, allowing us to relax the massive requirement that images with 3D shape ground truth are available for training. Simultaneously, by maintaining differentiability, at training time we generate the 3D mesh from the estimated parameters and optimize explicitly for the surface using a 3D per-vertex loss. Finally, a differentiable renderer is employed to project the 3D mesh to the image, which enables further refinement of the network, by optimizing for the consistency of the projection with 2D annotations (i.e., 2D keypoints or masks). The proposed approach outperforms previous baselines on this task and offers an attractive solution for direct prediction of 3D shape from a single color image.

多个摄像机制造的视频录制的可用性越来越多，为姿势和运动重建方法中的减少和深度歧义提供了新的方法。然而，多视图算法强烈依赖于相机参数;特别地，相机之间的相对介绍。在不受控制的设置中，这种依赖变为一旦转移到动态捕获一次。我们介绍Flex（免费多视图重建），一个端到端的无参数多视图模型。 Flex是无意义的参数，即它不需要任何相机参数，都不是内在的也不是外在的。我们的关键思想是骨架部件和骨长之间的3D角度是不变的相机位置。因此，学习3D旋转和骨长而不是位置允许预测所有相机视图的公共值。我们的网络采用多个视频流，学习通过新型多视图融合层的融合深度特征，并重建单一一致的骨架，其具有时间上相干的关节旋转。我们展示了人类3.6M和KTH多视图足球II数据集的定量和定性结果，以及动态摄像头捕获的合成多人视频流。我们将模型与最先进的方法进行比较，这些方法没有参与参数，并在没有相机参数的情况下显示，我们在获得相机参数可用时获取可比结果的同时优于较大的余量。我们的项目页面上可以使用代码，培训的模型，视频示例和更多材料。