The task of reconstructing 3D human motion has wideranging applications. The gold standard Motion capture (MoCap) systems are accurate but inaccessible to the general public due to their cost, hardware and space constraints. In contrast, monocular human mesh recovery (HMR) methods are much more accessible than MoCap as they take single-view videos as inputs. Replacing the multi-view Mo- Cap systems with a monocular HMR method would break the current barriers to collecting accurate 3D motion thus making exciting applications like motion analysis and motiondriven animation accessible to the general public. However, performance of existing HMR methods degrade when the video contains challenging and dynamic motion that is not in existing MoCap datasets used for training. This reduces its appeal as dynamic motion is frequently the target in 3D motion recovery in the aforementioned applications. Our study aims to bridge the gap between monocular HMR and multi-view MoCap systems by leveraging information shared across multiple video instances of the same action. We introduce the Neural Motion (NeMo) field. It is optimized to represent the underlying 3D motions across a set of videos of the same action. Empirically, we show that NeMo can recover 3D motion in sports using videos from the Penn Action dataset, where NeMo outperforms existing HMR methods in terms of 2D keypoint detection. To further validate NeMo using 3D metrics, we collected a small MoCap dataset mimicking actions in Penn Action,and show that NeMo achieves better 3D reconstruction compared to various baselines.

来自多个RGB摄像机的无标记人类运动捕获（MOCAP）是一个广泛研究的问题。现有方法要么需要校准相机，要么相对于静态摄像头校准它们，该摄像头是MOCAP系统的参考框架。每个捕获会话都必须先验完成校准步骤，这是一个乏味的过程，并且每当有意或意外移动相机时，都需要重新校准。在本文中，我们提出了一种MOCAP方法，该方法使用了多个静态和移动的外部未校准的RGB摄像机。我们方法的关键组成部分如下。首先，由于相机和受试者可以自由移动，因此我们选择接地平面作为常见参考，以代表身体和相机运动，与代表摄像机坐标中身体的现有方法不同。其次，我们了解相对于接地平面的短人类运动序列（$ \ sim $ 1SEC）的概率分布，并利用它在摄像机和人类运动之间消除歧义。第三，我们将此分布用作一种新型的多阶段优化方法的运动，以适合SMPL人体模型，并且摄像机在图像上的人体关键点构成。最后，我们证明我们的方法可以在从航空摄像机到智能手机的各种数据集上使用。与使用静态摄像头的单眼人类MOCAP任务相比，它还提供了更准确的结果。我们的代码可在https://github.com/robot-ception-group/smartmocap上进行研究。

Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.

由于其许多潜在应用，从视频中估算人类运动是一个活跃的研究领域。大多数最先进的方法可以预测单个图像的人类形状和姿势估计，并且不利用视频中可用的时间信息。许多“野生”运动序列被移动的摄像机捕获，这为估计增加了混合的摄像头和人类运动的并发症。因此，我们介绍了Bodyslam，这是一种单眼大满贯系统，共同估计人体的位置，形状和姿势以及摄像机轨迹。我们还引入了一种新型的人类运动模型，以限制顺序身体姿势并观察场景的规模。通过通过移动的单眼相机捕获的人类运动的视频序列进行的一系列实验，我们证明了Bodyslam与单独估计这些估计相比，可以改善所有人体参数和相机的估计。

人类性能捕获是一种非常重要的计算机视觉问题，在电影制作和虚拟/增强现实中具有许多应用。许多以前的性能捕获方法需要昂贵的多视图设置，或者没有恢复具有帧到帧对应关系的密集时空相干几何。我们提出了一种新颖的深度致密人体性能捕获的深层学习方法。我们的方法是基于多视图监督的弱监督方式培训，完全删除了使用3D地面真理注释的培训数据的需求。网络架构基于两个单独的网络，将任务解散为姿势估计和非刚性表面变形步骤。广泛的定性和定量评估表明，我们的方法在质量和稳健性方面优于现有技术。这项工作是DeepCAP的扩展版本，在那里我们提供更详细的解释，比较和结果以及应用程序。

人类不断与日常对象互动以完成任务。为了了解这种相互作用，计算机需要从观察全身与场景的全身相互作用的相机中重建这些相互作用。由于身体和物体之间的阻塞，运动模糊，深度/比例模棱两可以及手和可抓握的物体零件的低图像分辨率，这是具有挑战性的。为了使问题可以解决，社区要么专注于互动的手，忽略身体或互动的身体，无视双手。 Grab数据集解决了灵活的全身互动，但使用基于标记的MOCAP并缺少图像，而行为则捕获了身体对象互动的视频，但缺乏手动细节。我们使用参数全身模型SMPL-X和已知的对象网格来解决一种新的方法，该方法与Intercap的先前工作局限性，该方法是一种新的方法，可重建从多视图RGB-D数据进行交互的整体和对象。为了应对上述挑战，Intercap使用了两个关键观察：（i）可以使用手和物体之间的接触来改善两者的姿势估计。 （ii）Azure Kinect传感器使我们能够建立一个简单的多视图RGB-D捕获系统，该系统在提供合理的相机间同步时最小化遮挡的效果。使用此方法，我们捕获了Intercap数据集，其中包含10个受试者（5名男性和5个女性）与10个各种尺寸和负担的物体相互作用，包括与手或脚接触。 Intercap总共有223个RGB-D视频，产生了67,357个多视图帧，每个帧包含6个RGB-D图像。我们的方法为每个视频框架提供了伪真正的身体网格和对象。我们的Intercap方法和数据集填补了文献中的重要空白，并支持许多研究方向。我们的数据和代码可用于研究目的。

From an image of a person in action, we can easily guess the 3D motion of the person in the immediate past and future. This is because we have a mental model of 3D human dynamics that we have acquired from observing visual sequences of humans in motion. We present a framework that can similarly learn a representation of 3D dynamics of humans from video via a simple but effective temporal encoding of image features. At test time, from video, the learned temporal representation give rise to smooth 3D mesh predictions. From a single image, our model can recover the current 3D mesh as well as its 3D past and future motion. Our approach is designed so it can learn from videos with 2D pose annotations in a semi-supervised manner. Though annotated data is always limited, there are millions of videos uploaded daily on the Internet. In this work, we harvest this Internet-scale source of unlabeled data by training our model on unlabeled video with pseudo-ground truth 2D pose obtained from an off-the-shelf 2D pose detector. Our experiments show that adding more videos with pseudo-ground truth 2D pose monotonically improves 3D prediction performance. We evaluate our model, Human Mesh and Motion Recovery (HMMR), on the recent challenging dataset of 3D Poses in the Wild and obtain state-of-the-art performance on the 3D prediction task without any fine-tuning. The project website with video, code, and data can be found at https://akanazawa.github.io/ human_dynamics/.

我们提出了一种从动态摄像机记录的单像素视频中恢复的3D全局人体网格恢复方法。即使在镜头的视野之外，我们的方法也适于严重和长期闭塞，并使人体追踪人体。为实现这一目标，我们首先提出了一种深入的生成运动infiller，该infill是基于可见运动的自向填充遮挡人体的身体运动。另外，与事先工作相比，我们的方法即使用动态摄像机也将在一致的全局坐标中重建人体网格。由于人类动作和相机姿势的联合重建是受到的，我们提出了一种全球轨迹预测因素，以基于当地机身运动产生全球人类轨迹。使用预测的轨迹作为锚点，我们介绍了一种全局优化框架，它可以改进预测的轨迹，并优化相机姿势以匹配诸如2D关键点之类的视频证据。具有动态摄像机的挑战性挑战和野外数据集的实验表明，在运动缺陷和全局网格恢复方面，所提出的方法显着优于现有方法。

尽管近年来3D人姿势和形状估计方法的性能显着提高，但是现有方法通常在相机或以人为本的坐标系中定义的3D姿势。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种用于预测世界坐标系中定义的3D人姿势和网格的相机运动不可知论方法。所提出的方法的核心思想是估计不变选择坐标系的两个相邻的全局姿势（即全局运动）之间的差异，而不是耦合到相机运动的全局姿势。为此，我们提出了一种基于双向门控复发单元（GRUS）的网络，该单元从局部姿势序列预测全局运动序列，由称为全局运动回归（GMR）的关节相对旋转组成。我们使用3DPW和合成数据集，该数据集在移动相机环境中构建，进行评估。我们进行广泛的实验，并经验证明了提出的方法的有效性。代码和数据集可在https://github.com/seonghyunkim1212/gmr获得

我们介绍了一个自由视的渲染方法 - Humannerf - 这对人类进行了复杂的身体运动的给定单曲视频工作，例如，来自YouTube的视频。我们的方法可以在任何帧中暂停视频，并从任意新相机视点呈现对象，甚至是该特定帧和身体姿势的完整360度摄像机路径。这项任务特别具有挑战性，因为它需要合成身体的光电型细节，如从输入视频中可能不存在的各种相机角度所见，以及合成布折叠和面部外观的细细节。我们的方法优化了在规范T型姿势中的人的体积表示，同时通过运动场，该运动场通过向后的警报将估计的规范表示映射到视频的每个帧。运动场分解成骨骼刚性和非刚性运动，由深网络产生。我们对现有工作显示出显着的性能改进，以及从移动人类的单眼视频的令人尖锐的观点渲染的阐释示例，以挑战不受控制的捕获场景。

电视节目描述了各种各样的人类行为，并已广泛研究其成为许多应用程序的丰富数据来源的潜力。但是，大多数现有工作都集中在2D识别任务上。在本文中，我们观察到电视节目中有一定的持久性，即对环境和人类的重复，这使得该内容的3D重建成为可能。在这种见解的基础上，我们提出了一种自动方法，该方法在整个电视节目的整个季节中运作，并在3D中汇总信息；我们构建了环境，计算摄像头信息，静态3D场景结构和身体尺度信息的3D模型。然后，我们演示了这些信息如何充当丰富的3D背景，可以指导和改善3D人类姿势和位置在这些环境中的恢复。此外，我们表明，关于人类及其环境的推理在3D中可以实现广泛的下游应用：重新识别，凝视估计，摄影和图像编辑。我们将我们的方法应用于七个标志性电视节目的环境中，并对所提出的系统进行广泛的评估。

在本文中，我们介绍一种方法来自动重建与来自单个RGB视频相互作用的人的3D运动。我们的方法估计人的3D与物体姿势，接触位置和施加在人体上的接触力的姿势。这项工作的主要贡献是三倍。首先，我们介绍一种通过建模触点和相互作用的动态来联合估计人与人的运动和致动力的方法。这是一个大规模的轨迹优化问题。其次，我们开发一种方法来从输入视频自动识别，从输入视频中识别人和物体或地面之间的2D位置和时序，从而显着简化了优化的复杂性。第三，我们在最近的视频+ Mocap数据集上验证了捕获典型的Parkour行动的方法，并在互联网视频的新数据集上展示其表现，显示人们在不受约束的环境中操纵各种工具。

多个摄像机制造的视频录制的可用性越来越多，为姿势和运动重建方法中的减少和深度歧义提供了新的方法。然而，多视图算法强烈依赖于相机参数;特别地，相机之间的相对介绍。在不受控制的设置中，这种依赖变为一旦转移到动态捕获一次。我们介绍Flex（免费多视图重建），一个端到端的无参数多视图模型。 Flex是无意义的参数，即它不需要任何相机参数，都不是内在的也不是外在的。我们的关键思想是骨架部件和骨长之间的3D角度是不变的相机位置。因此，学习3D旋转和骨长而不是位置允许预测所有相机视图的公共值。我们的网络采用多个视频流，学习通过新型多视图融合层的融合深度特征，并重建单一一致的骨架，其具有时间上相干的关节旋转。我们展示了人类3.6M和KTH多视图足球II数据集的定量和定性结果，以及动态摄像头捕获的合成多人视频流。我们将模型与最先进的方法进行比较，这些方法没有参与参数，并在没有相机参数的情况下显示，我们在获得相机参数可用时获取可比结果的同时优于较大的余量。我们的项目页面上可以使用代码，培训的模型，视频示例和更多材料。

捕获穿着人的动态变形3D形状对于许多应用，包括VR / AR，自主驾驶和人机交互必不可少。现有方法要么需要高度专业化的捕获设置，如昂贵的多视图成像系统，或者它们缺乏对挑战身体姿势的鲁棒性。在这项工作中，我们提出了一种能够从具有具有挑战性身体姿势的单眼视频捕获动态3D人形状的方法，而没有任何额外的输入。我们首先基于学习的回归模型构建了对象的3D模板人体模型。然后，我们基于2D图像观察跟踪该模板模型在具有挑战性的身体剖视下的变形。我们的方法在野外的人类视频数据集3DPW上占据了最先进的方法。此外，我们展示了IPS数据集视频中鲁棒性和普遍性的效果。

With the continuously thriving popularity around the world, fitness activity analytic has become an emerging research topic in computer vision. While a variety of new tasks and algorithms have been proposed recently, there are growing hunger for data resources involved in high-quality data, fine-grained labels, and diverse environments. In this paper, we present FLAG3D, a large-scale 3D fitness activity dataset with language instruction containing 180K sequences of 60 categories. FLAG3D features the following three aspects: 1) accurate and dense 3D human pose captured from advanced MoCap system to handle the complex activity and large movement, 2) detailed and professional language instruction to describe how to perform a specific activity, 3) versatile video resources from a high-tech MoCap system, rendering software, and cost-effective smartphones in natural environments. Extensive experiments and in-depth analysis show that FLAG3D contributes great research value for various challenges, such as cross-domain human action recognition, dynamic human mesh recovery, and language-guided human action generation. Our dataset and source code will be publicly available at https://andytang15.github.io/FLAG3D.

人类运动合成是机器人技术的图形，游戏和仿真环境中应用的重要问题。现有方法需要准确的运动捕获数据进行培训，这是昂贵的。取而代之的是，我们为直接从单眼RGB视频中训练物理上合理的人类运动的生成模型提出了一个框架，该模型更广泛地可用。我们方法的核心是一种新颖的优化公式，该公式通过以可区分的方式执行物理限制和有关接触的原因来纠正不完美的基于图像的姿势估计。该优化得出校正后的3D姿势和运动及其相应的接触力。结果表明，我们的物理校正运动在姿势估计上显着优于先前的工作。然后，我们可以使用它们来训练生成模型来综合未来的运动。与先前的基于运动学和物理学的方法相比，我们在人类36m数据集中〜\ cite {H36M_P​​AMI}实现了定性和定量改进的运动估计，合成质量和物理合理性。通过从视频中学习运动合成，我们的方法为大规模，现实和多样化的运动合成铺平了道路。项目页面：\ url {https://nv-tlabs.github.io/publication/iccv_2021_physics/}

我们构建了一个系统，可以通过自己的手展示动作，使任何人都可以控制机器人手和手臂。机器人通过单个RGB摄像机观察人类操作员，并实时模仿其动作。人的手和机器人的手在形状，大小和关节结构上有所不同，并且从单个未校准的相机进行这种翻译是一个高度不受约束的问题。此外，重新定位的轨迹必须有效地在物理机器人上执行任务，这要求它们在时间上平稳且没有自我收集。我们的关键见解是，虽然配对的人类机器人对应数据的收集价格昂贵，但互联网包含大量丰富而多样的人类手视频的语料库。我们利用这些数据来训练一个理解人手并将人类视频流重新定位的系统训练到机器人手臂轨迹中，该轨迹是平稳，迅速，安全和语义上与指导演示的相似的系统。我们证明，它使以前未经训练的人能够在各种灵巧的操纵任务上进行机器人的态度。我们的低成本，无手套，无标记的远程遥控系统使机器人教学更容易访问，我们希望它可以帮助机器人学习在现实世界中自主行动。视频https://robotic-telekinesis.github.io/

基于图像和视频的3D人类恢复（即姿势和形状估计）取得了实质性进展。但是，由于运动捕获的高度成本，现有的数据集通常受到规模和多样性的限制。在这项工作中，我们通过使用自动注释的3D地面真相玩电子游戏来获得大量的人类序列。具体来说，我们贡献了GTA-Human，这是一种由GTA-V游戏引擎生成的大规模3D人类数据集，具有高度多样化的主题，动作和场景。更重要的是，我们研究游戏玩法数据的使用并获得五个主要见解。首先，游戏数据非常有效。基于框架的简单基线对GTA-Human训练，其优于更复杂的方法的幅度很大。对于基于视频的方法，GTA-Human甚至与内域训练集相当。其次，我们发现合成数据为通常在室内收集的真实数据提供了关键补充。我们对域间隙的调查为简单但有用的数据混合策略提供了解释。第三，数据集的比例很重要。性能提升与可用的其他数据密切相关。一项系统的研究揭示了来自多个关键方面的数据密度的模型敏感性。第四，GTA-Human的有效性还归因于丰富的强制监督标签（SMPL参数），在实际数据集中获取否则它们很昂贵。第五，合成数据的好处扩展到较大的模型，例如更深层次的卷积神经网络（CNN）和变压器，也观察到了重大影响。我们希望我们的工作可以为将3D人类恢复到现实世界铺平道路。主页：https：//caizhongang.github.io/projects/gta-human/

我们从单一的图像处理多的人三维人体姿势和体形估计的问题。虽然这个问题可以通过应用单人对同一场景接近多次来解决，近期的作品都示出的建筑在深深的架构，同时推理通过强制执行，例如，深度为了所有的人都在现场以整体方式的优点限制或重建的机构之间相互渗透最小化。但是，现有的方法仍然无法捕捉所造成的内在的体规模和深度的模糊人的规模变化。在这项工作中，我们处理的，通过强制所有的人的脚留在地面制定是学习的适当机构的规模和相对相机姿态新颖的优化方案，这一挑战。在MuPoTS-3D和3DPW数据集进行彻底的评估表明，我们的做法是能够稳健地估计多的人的身体翻译和形状，而取回自己的空间布置，始终如一改善当前国家的最先进的，尤其是在场面与人非常不同的高度

To date, little attention has been given to multi-view 3D human mesh estimation, despite real-life applicability (e.g., motion capture, sport analysis) and robustness to single-view ambiguities. Existing solutions typically suffer from poor generalization performance to new settings, largely due to the limited diversity of image-mesh pairs in multi-view training data. To address this shortcoming, people have explored the use of synthetic images. But besides the usual impact of visual gap between rendered and target data, synthetic-data-driven multi-view estimators also suffer from overfitting to the camera viewpoint distribution sampled during training which usually differs from real-world distributions. Tackling both challenges, we propose a novel simulation-based training pipeline for multi-view human mesh recovery, which (a) relies on intermediate 2D representations which are more robust to synthetic-to-real domain gap; (b) leverages learnable calibration and triangulation to adapt to more diversified camera setups; and (c) progressively aggregates multi-view information in a canonical 3D space to remove ambiguities in 2D representations. Through extensive benchmarking, we demonstrate the superiority of the proposed solution especially for unseen in-the-wild scenarios.