我们提出了体面意识的人类姿势估计，我们根据模拟代理的本体感受和场景意识以及外部第三人称观察来估计3D构成。与经常诉诸多阶段优化的先前方法不同，非因果推理和复杂的接触建模以估计人类姿势和人类场景的相互作用，我们的方法是一个阶段，因果关系，并在模拟环境中恢复全局3D人类姿势。由于2D第三人称观察与相机姿势结合在一起，我们建议解开相机姿势，并使用在全球坐标框架中定义的多步投影梯度作为我们体现的代理的运动提示。利用物理模拟和预先的场景（例如3D网格），我们在日常环境（库，办公室，卧室等）中模拟代理，并为我们的代理配备环境传感器，以智能导航和与场景的几何形状进行智能导航和互动。我们的方法还仅依靠2D关键点，并且可以在来自流行人类运动数据库的合成数据集上进行培训。为了评估，我们使用流行的H36M和Prox数据集，并首次在具有挑战性的Prox数据集中获得96.7％的成功率，而无需使用Prox运动序列进行培训。

我们提出了一种对象感知的3D自我监测姿势估计方法，其紧密地集成了运动学建模，动力学建模和场景对象信息。与使用两种组件的现有运动学或基于动态的方法不同，我们通过动态调节培训协同两种方法。在每个时间步骤中，用于使用视频证据和仿真状态提供目标姿势的运动模型。然后，预先注释的动力学模型试图模拟物理模拟器中的运动姿势。通过比较由动态模型对动态模型产生的姿势指示的姿势，我们可以使用它们的未对准来进一步改善运动模型。通过在场景中的6DOF姿势（例如，椅子，盒子）中，我们首次展示了使用单个可佩戴相机估计物理合理的3D人体相互作用的能力。我们在受控实验室设置和现实世界场景中评估我们的Egentric姿势估计方法。

自动设计虚拟人和类人动物在帮助游戏，电影和机器人中的角色创作过程中具有巨大的潜力。在某些情况下，角色创建者可能希望设计针对某些动作（例如空手道踢和跑酷跳跃）定制的类人体身体。在这项工作中，我们提出了一个人形设计框架，以自动生成以预先指定的人体运动为条件的身体有效的人形体。首先，我们学习了一个广义的类人动物控制器，该控制器在大型人体运动数据集上进行了训练，该数据集具有多样化的人体运动和身体形状。其次，我们使用设计与控制框架来优化类人动物的物理属性，以找到可以更好地模仿预先指定的人类运动序列的身体设计。我们的方法利用预先训练的类人动物控制器和物理模拟作为指导，能够发现经过定制以执行预先指定的人类运动的新类型类人体设计。

人类运动合成是机器人技术的图形，游戏和仿真环境中应用的重要问题。现有方法需要准确的运动捕获数据进行培训，这是昂贵的。取而代之的是，我们为直接从单眼RGB视频中训练物理上合理的人类运动的生成模型提出了一个框架，该模型更广泛地可用。我们方法的核心是一种新颖的优化公式，该公式通过以可区分的方式执行物理限制和有关接触的原因来纠正不完美的基于图像的姿势估计。该优化得出校正后的3D姿势和运动及其相应的接触力。结果表明，我们的物理校正运动在姿势估计上显着优于先前的工作。然后，我们可以使用它们来训练生成模型来综合未来的运动。与先前的基于运动学和物理学的方法相比，我们在人类36m数据集中〜\ cite {H36M_P​​AMI}实现了定性和定量改进的运动估计，合成质量和物理合理性。通过从视频中学习运动合成，我们的方法为大规模，现实和多样化的运动合成铺平了道路。项目页面：\ url {https://nv-tlabs.github.io/publication/iccv_2021_physics/}

无标记的单眼3D人类运动捕获（MOCAP）与场景相互作用是一个充满挑战的研究主题，与扩展现实，机器人技术和虚拟头像生成有关。由于单眼环境的固有深度歧义，使用现有方法捕获的3D运动通常包含严重的人工制品，例如不正确的身体场景互穿，抖动和身体漂浮。为了解决这些问题，我们提出了HULC，这是一种新的3D人类MOCAP方法，它知道场景几何形状。 HULC估计3D姿势和密集的身体环境表面接触，以改善3D定位以及受试者的绝对尺度。此外，我们基于新的姿势歧管采样，引入了3D姿势轨迹优化，该采样解决了错误的身体环境互穿。尽管所提出的方法与现有场景感知的单眼MOCAP算法相比需要较少的结构化输入，但它会产生更加可行的姿势：HULC显着且一致地在各种实验和不同指标上都优于现有方法。项目页面：https：//vcai.mpi-inf.mpg.de/projects/hulc/。

从单眼RGB图像中捕获的3D人类运动捕获符合受试者与复杂且可能可变形的环境的相互作用的相互作用是一个非常具有挑战性，不足和探索不足的问题。现有方法仅薄弱地解决它，并且当人类与场景表面互动时，通常不会建模可能发生的表面变形。相比之下，本文提出了mocapdeform，即单眼3D人体运动捕获的新框架，该框架是第一个明确模拟3D场景的非刚性变形，以改善3D人体姿势估计和可变形环境的重建。 Mocapdeform接受单眼RGB视频，并在相机空间中对齐一个3D场景。它首先使用基于新的射线广播的策略将输入单眼视频中的主题以及密集的触点标签进行定位。接下来，我们的人类环境相互作用约束被利用以共同优化全局3D人类姿势和非刚性表面变形。 Mocapdeform比在几个数据集上的竞争方法获得了更高的精度，包括我们新记录的具有变形背景场景的方法。

Fine-grained capturing of 3D HOI boosts human activity understanding and facilitates downstream visual tasks, including action recognition, holistic scene reconstruction, and human motion synthesis. Despite its significance, existing works mostly assume that humans interact with rigid objects using only a few body parts, limiting their scope. In this paper, we address the challenging problem of f-AHOI, wherein the whole human bodies interact with articulated objects, whose parts are connected by movable joints. We present CHAIRS, a large-scale motion-captured f-AHOI dataset, consisting of 16.2 hours of versatile interactions between 46 participants and 81 articulated and rigid sittable objects. CHAIRS provides 3D meshes of both humans and articulated objects during the entire interactive process, as well as realistic and physically plausible full-body interactions. We show the value of CHAIRS with object pose estimation. By learning the geometrical relationships in HOI, we devise the very first model that leverage human pose estimation to tackle the estimation of articulated object poses and shapes during whole-body interactions. Given an image and an estimated human pose, our model first reconstructs the pose and shape of the object, then optimizes the reconstruction according to a learned interaction prior. Under both evaluation settings (e.g., with or without the knowledge of objects' geometries/structures), our model significantly outperforms baselines. We hope CHAIRS will promote the community towards finer-grained interaction understanding. We will make the data/code publicly available.

从单眼视频中进行的3D人姿势估计最近看到了显着改善。但是，大多数最先进的方法都是基于运动学的，它容易出现具有明显伪影的物理上不可信的运动。当前基于动态的方法可以预测物理上合理的运动，但仅限于具有静态相机视图的简单场景。在这项工作中，我们介绍了D＆D（从动态相机中学习人类动力学），该法律利用物理定律使用移动的摄像机从野外视频中重建3D人类运动。 D＆D引入了惯性力控制（IFC），以考虑动态摄像机的惯性力来解释非惯性局部框架中的3D人运动。为了学习有限注释的接地接触，我们开发了概率接触扭矩（PCT），该概率是通过与接触概率的可区分抽样计算的，并用于生成运动。接触状态可以通过鼓励模型产生正确的动作来弱监督。此外，我们提出了一个细心的PD控制器，该控制器使用时间信息来调整目标姿势状态，以获得平稳而准确的姿势控制。我们的方法完全是基于神经的，并且在物理引擎中没有离线优化或模拟的情况下运行。大规模3D人体运动基准的实验证明了D＆D的有效性，在该基于最新的运动学基于动力学和基于动力学的方法的情况下，我们表现出卓越的性能。代码可从https://github.com/jeffsjtu/dnd获得

人类不断与日常对象互动以完成任务。为了了解这种相互作用，计算机需要从观察全身与场景的全身相互作用的相机中重建这些相互作用。由于身体和物体之间的阻塞，运动模糊，深度/比例模棱两可以及手和可抓握的物体零件的低图像分辨率，这是具有挑战性的。为了使问题可以解决，社区要么专注于互动的手，忽略身体或互动的身体，无视双手。 Grab数据集解决了灵活的全身互动，但使用基于标记的MOCAP并缺少图像，而行为则捕获了身体对象互动的视频，但缺乏手动细节。我们使用参数全身模型SMPL-X和已知的对象网格来解决一种新的方法，该方法与Intercap的先前工作局限性，该方法是一种新的方法，可重建从多视图RGB-D数据进行交互的整体和对象。为了应对上述挑战，Intercap使用了两个关键观察：（i）可以使用手和物体之间的接触来改善两者的姿势估计。 （ii）Azure Kinect传感器使我们能够建立一个简单的多视图RGB-D捕获系统，该系统在提供合理的相机间同步时最小化遮挡的效果。使用此方法，我们捕获了Intercap数据集，其中包含10个受试者（5名男性和5个女性）与10个各种尺寸和负担的物体相互作用，包括与手或脚接触。 Intercap总共有223个RGB-D视频，产生了67,357个多视图帧，每个帧包含6个RGB-D图像。我们的方法为每个视频框架提供了伪真正的身体网格和对象。我们的Intercap方法和数据集填补了文献中的重要空白，并支持许多研究方向。我们的数据和代码可用于研究目的。

推断人类场景接触（HSC）是了解人类如何与周围环境相互作用的第一步。尽管检测2D人类对象的相互作用（HOI）和重建3D人姿势和形状（HPS）已经取得了重大进展，但单个图像的3D人习惯接触的推理仍然具有挑战性。现有的HSC检测方法仅考虑几种类型的预定义接触，通常将身体和场景降低到少数原语，甚至忽略了图像证据。为了预测单个图像的人类场景接触，我们从数据和算法的角度解决了上述局限性。我们捕获了一个名为“真实场景，互动，联系和人类”的新数据集。 Rich在4K分辨率上包含多视图室外/室内视频序列，使用无标记运动捕获，3D身体扫描和高分辨率3D场景扫描捕获的地面3D人体。 Rich的一个关键特征是它还包含身体上精确的顶点级接触标签。使用Rich，我们训练一个网络，该网络可预测单个RGB图像的密集车身场景接触。我们的主要见解是，接触中的区域总是被阻塞，因此网络需要能够探索整个图像以获取证据。我们使用变压器学习这种非本地关系，并提出新的身体场景接触变压器（BSTRO）。很少有方法探索3D接触；那些只专注于脚的人，将脚接触作为后处理步骤，或从身体姿势中推断出无需看现场的接触。据我们所知，BSTRO是直接从单个图像中直接估计3D身体场景接触的方法。我们证明，BSTRO的表现明显优于先前的艺术。代码和数据集可在https://rich.is.tue.mpg.de上获得。

由于其许多潜在应用，从视频中估算人类运动是一个活跃的研究领域。大多数最先进的方法可以预测单个图像的人类形状和姿势估计，并且不利用视频中可用的时间信息。许多“野生”运动序列被移动的摄像机捕获，这为估计增加了混合的摄像头和人类运动的并发症。因此，我们介绍了Bodyslam，这是一种单眼大满贯系统，共同估计人体的位置，形状和姿势以及摄像机轨迹。我们还引入了一种新型的人类运动模型，以限制顺序身体姿势并观察场景的规模。通过通过移动的单眼相机捕获的人类运动的视频序列进行的一系列实验，我们证明了Bodyslam与单独估计这些估计相比，可以改善所有人体参数和相机的估计。

培训视频中人类姿势估计的最先进模型需要具有很难获得的注释的数据集。尽管最近已将变压器用于身体姿势序列建模，但相关方法依靠伪地真相来增强目前有限的培训数据可用于学习此类模型。在本文中，我们介绍了Posebert，Posebert是一个通过掩盖建模对3D运动捕获（MOCAP）数据进行全面训练的变压器模块。它是简单，通用和通用的，因为它可以插入任何基于图像的模型的顶部，以在基于视频的模型中使用时间信息。我们展示了Posebert的变体，不同的输入从3D骨骼关键点到全身或仅仅是手（Mano）的3D参数模型的旋转。由于Posebert培训是任务不可知论的，因此该模型可以应用于姿势细化，未来的姿势预测或运动完成等几个任务。我们的实验结果验证了在各种最新姿势估计方法之上添加Posebert始终提高其性能，而其低计算成本使我们能够在实时演示中使用它，以通过A的机器人手使机器人手通过摄像头。可以在https://github.com/naver/posebert上获得测试代码和型号。

在本文中，我们介绍一种方法来自动重建与来自单个RGB视频相互作用的人的3D运动。我们的方法估计人的3D与物体姿势，接触位置和施加在人体上的接触力的姿势。这项工作的主要贡献是三倍。首先，我们介绍一种通过建模触点和相互作用的动态来联合估计人与人的运动和致动力的方法。这是一个大规模的轨迹优化问题。其次，我们开发一种方法来从输入视频自动识别，从输入视频中识别人和物体或地面之间的2D位置和时序，从而显着简化了优化的复杂性。第三，我们在最近的视频+ Mocap数据集上验证了捕获典型的Parkour行动的方法，并在互联网视频的新数据集上展示其表现，显示人们在不受约束的环境中操纵各种工具。

Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.

尽管近年来3D人姿势和形状估计方法的性能显着提高，但是现有方法通常在相机或以人为本的坐标系中定义的3D姿势。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种用于预测世界坐标系中定义的3D人姿势和网格的相机运动不可知论方法。所提出的方法的核心思想是估计不变选择坐标系的两个相邻的全局姿势（即全局运动）之间的差异，而不是耦合到相机运动的全局姿势。为此，我们提出了一种基于双向门控复发单元（GRUS）的网络，该单元从局部姿势序列预测全局运动序列，由称为全局运动回归（GMR）的关节相对旋转组成。我们使用3DPW和合成数据集，该数据集在移动相机环境中构建，进行评估。我们进行广泛的实验，并经验证明了提出的方法的有效性。代码和数据集可在https://github.com/seonghyunkim1212/gmr获得

我们提出了一种从动态摄像机记录的单像素视频中恢复的3D全局人体网格恢复方法。即使在镜头的视野之外，我们的方法也适于严重和长期闭塞，并使人体追踪人体。为实现这一目标，我们首先提出了一种深入的生成运动infiller，该infill是基于可见运动的自向填充遮挡人体的身体运动。另外，与事先工作相比，我们的方法即使用动态摄像机也将在一致的全局坐标中重建人体网格。由于人类动作和相机姿势的联合重建是受到的，我们提出了一种全球轨迹预测因素，以基于当地机身运动产生全球人类轨迹。使用预测的轨迹作为锚点，我们介绍了一种全局优化框架，它可以改进预测的轨迹，并优化相机姿势以匹配诸如2D关键点之类的视频证据。具有动态摄像机的挑战性挑战和野外数据集的实验表明，在运动缺陷和全局网格恢复方面，所提出的方法显着优于现有方法。

Input Reconstruction Side and top down view Part Segmentation Input Reconstruction Side and top down view Part Segmentation Figure 1: Human Mesh Recovery (HMR): End-to-end adversarial learning of human pose and shape. We describe a real time framework for recovering the 3D joint angles and shape of the body from a single RGB image. The first two rowsshow results from our model trained with some 2D-to-3D supervision, the bottom row shows results from a model that is trained in a fully weakly-supervised manner without using any paired 2D-to-3D supervision. We infer the full 3D body even in case of occlusions and truncations. Note that we capture head and limb orientations.

以准确的，稳健和快速的方式拟合人体，手或面对稀疏输入信号的参数模型，这具有重要的是在AR和VR场景中显着改善浸入。解决这些问题的系统中的一个常见的第一步是直接从输入数据重新分配参数模型的参数。这种方法是快速，稳健的，并且是迭代最小化算法的良好起点。后者搜索最小的能量函数，通常由编码关于问题的结构的知识的数据项和前沿组成。虽然这无疑是一个非常成功的食谱，但前锋往往是手工定义的启发式，发现不同术语之间的正确平衡，以实现高质量的结果是一个非琐碎的任务。此外，转换和优化这些系统以表现方式运行，需要定制实现，要求从工程师和域专家进行大量时间投资。在这项工作中，我们建立了近期学习优化的进步，并提出了由Classic Levenberg-Marquardt算法启发的更新规则。我们展示了所提出的神经优化器对从2D地标的头戴式装置和面部配件的3D体表估计问题的有效性。我们的方法可以很容易地应用于新的模型拟合问题，并提供竞争替代方案，在准确性和速度方面都提供了良好的调谐“传统”模型拟合管道。

了解来自第一人称观点的社交互动对于许多应用来说至关重要，从辅助机器人到AR / VR。谈论相互作用的第一步是理解人类的姿势和形状。但是，该领域的研究目前受到数据缺乏的阻碍。现有数据集根据大小，注释，地面真实捕获方式或相互作用的多样性有限。我们通过提出EGOBODY来解决这一缺点，这是一个用于复杂3D场景中的社交交互的新型大规模数据集。我们采用Microsoft Hololens2耳机来记录富裕的EGEntric数据流（包括RGB，深度，眼睛凝视，头部和手动跟踪）。为了获得准确的3D地面真理，我们将耳机用多kinect钻机校准并配合富有呈现的SMPL-X体网格到多视图RGB-D帧，重建3D人类姿势和相对于场景的形状。我们收集68个序列，跨越不同的社会学互动类别，并提出了从自我监视视图的3D全体姿态和形状估计的第一个基准。我们的数据集和代码将在https://sanweiliti.github.io/egobody/egobody.html中进行研究。

人体运动的实时跟踪对于AR/VR中的互动和沉浸式体验至关重要。但是，有关人体的传感器数据非常有限，可以从独立的可穿戴设备（例如HMD（头部安装设备）或AR眼镜）获得。在这项工作中，我们提出了一个强化学习框架，该框架从HMD和两个控制器中获取稀疏信号，并模拟合理且身体上有效的全身运动。在训练过程中，使用高质量的全身运动作为密集的监督，一个简单的策略网络可以学会为角色，步行和慢跑的角色输出适当的扭矩，同时紧随输入信号。我们的结果表明，即使输入仅是HMD的6D变换，也没有对下半身进行任何观察到的地面真理的惊人相似的腿部运动。我们还表明，单一政策可以对各种运动风格，不同的身体尺寸和新颖的环境都有坚固的态度。