Generating realistic 3D worlds occupied by moving humans has many applications in games, architecture, and synthetic data creation. But generating such scenes is expensive and labor intensive. Recent work generates human poses and motions given a 3D scene. Here, we take the opposite approach and generate 3D indoor scenes given 3D human motion. Such motions can come from archival motion capture or from IMU sensors worn on the body, effectively turning human movement in a "scanner" of the 3D world. Intuitively, human movement indicates the free-space in a room and human contact indicates surfaces or objects that support activities such as sitting, lying or touching. We propose MIME (Mining Interaction and Movement to infer 3D Environments), which is a generative model of indoor scenes that produces furniture layouts that are consistent with the human movement. MIME uses an auto-regressive transformer architecture that takes the already generated objects in the scene as well as the human motion as input, and outputs the next plausible object. To train MIME, we build a dataset by populating the 3D FRONT scene dataset with 3D humans. Our experiments show that MIME produces more diverse and plausible 3D scenes than a recent generative scene method that does not know about human movement. Code and data will be available for research at https://mime.is.tue.mpg.de.

生成数字人类，现实地具有许多应用，并且被广泛研究，但现有的方法专注于身体的主要肢体，忽略了手和头部。手已经分开研究，但重点是在产生现实的静态爪子上。要综合与世界互动的虚拟字符，我们需要同时生成全身运动和现实手掌。两个子问题都是挑战自己，在一起，姿势的状态空间显着更大，手和身体运动的尺度不同，而且整体姿势和手柄必须同意，满足身体限制，以及是合理的。此外，头部涉及，因为化身必须查看对象与它交互。我们第一次解决了生成一个抓住未知物体的头像的全身，手和头部运动的问题。作为输入，我们的方法，称为目标，采用3D对象，其位置和起始3D身体姿势和形状。目标使用两种新颖的网络输出一系列全身姿势。首先，GNET通过现实的身体，头部，臂和手姿势产生目标全体掌握，以及手对象接触。其次，MNET生成起始和目标姿势之间的运动。这是具有挑战性的，因为它需要头像与脚踏接触朝向物体走向物体，将头部向朝向它朝向它，伸出伸展，并用现实的手姿势和手工触点抓住它。为了实现这一网络，网络利用组合SMPL-X身体参数和3D顶点偏移的表示。我们在标准数据集上培训和评估目标，定性和定量。结果表明，目标概括了不佳的对象，表现优于基线。目标是迈向综合现实的全身对象掌握。

综合虚拟人类及其3D环境之间的自然相互作用对于众多应用程序（例如计算机游戏和AR/VR体验）至关重要。我们的目标是使人类与给定的3D场景进行互动，该场景由高级语义规格控制为动作类别和对象实例，例如“坐在椅子上”。将相互作用语义纳入生成框架中的主要挑战是学习一个共同表示，该表示有效地捕获了异质信息，包括人体的关节，3D对象几何以及相互作用的意图。为了应对这一挑战，我们设计了一种基于变压器的新型生成模型，其中铰接的3D人体表面点和3D对象共同编码在统一的潜在空间中，并且人与物体之间的相互作用语义是通过嵌入的。位置编码。此外，受到人类可以同时与多个对象相互作用的相互作用的组成性质的启发，我们将相互作用语义定义为不同原子动作对象对的组成。我们提出的生成模型自然可以结合不同数量的原子相互作用，从而无需复合相互作用数据即可合成组成的人类习惯相互作用。我们使用交互语义标签和场景实例分割扩展了Prox数据集，以评估我们的方法，并证明我们的方法可以通过语义控制生成现实的人类场景相互作用。我们的感知研究表明，我们合成的虚拟人类可以自然与3D场景相互作用，从而超过现有方法。我们将方法硬币命名，用于与语义控制的组成相互作用合成。代码和数据可在https://github.com/zkf1997/coins上获得。

人类抓握合成具有许多应用，包括AR / VR，视频游戏和机器人。虽然已经提出了一些方法来为对象抓握和操纵产生现实的手对象交互，但通常只考虑手动与对象交互。在这项工作中，我们的目标是综合全身掌握运动。鉴于3D对象，我们的目标是产生多样化和自然的全身人类动作，方法和掌握物体。这项任务是具有挑战性的，因为它需要建模全身动态和灵巧的手指运动。为此，我们提出了由两个关键部件组成的Saga（随机全身抓取）：（a）静态全身抓取姿势。具体地，我们提出了一种多任务生成模型，共同学习静态全身抓姿和人对象触点。 （b）抓住运动infilling。鉴于初始姿势和产生的全身抓握姿势作为运动的起始和结束姿势，我们设计了一种新的联络感知生成运动infilling模块，以产生各种掌握的掌握运动。我们展示了我们方法是第一代生物和表达全身运动的第一代框架，该方法是随机放置并掌握未经看的对象的逼真和表达全身运动。代码和视频可用于：https：//jiahaoplus.github.io/saga/saga.html。

推断人类场景接触（HSC）是了解人类如何与周围环境相互作用的第一步。尽管检测2D人类对象的相互作用（HOI）和重建3D人姿势和形状（HPS）已经取得了重大进展，但单个图像的3D人习惯接触的推理仍然具有挑战性。现有的HSC检测方法仅考虑几种类型的预定义接触，通常将身体和场景降低到少数原语，甚至忽略了图像证据。为了预测单个图像的人类场景接触，我们从数据和算法的角度解决了上述局限性。我们捕获了一个名为“真实场景，互动，联系和人类”的新数据集。 Rich在4K分辨率上包含多视图室外/室内视频序列，使用无标记运动捕获，3D身体扫描和高分辨率3D场景扫描捕获的地面3D人体。 Rich的一个关键特征是它还包含身体上精确的顶点级接触标签。使用Rich，我们训练一个网络，该网络可预测单个RGB图像的密集车身场景接触。我们的主要见解是，接触中的区域总是被阻塞，因此网络需要能够探索整个图像以获取证据。我们使用变压器学习这种非本地关系，并提出新的身体场景接触变压器（BSTRO）。很少有方法探索3D接触；那些只专注于脚的人，将脚接触作为后处理步骤，或从身体姿势中推断出无需看现场的接触。据我们所知，BSTRO是直接从单个图像中直接估计3D身体场景接触的方法。我们证明，BSTRO的表现明显优于先前的艺术。代码和数据集可在https://rich.is.tue.mpg.de上获得。

我们提出了一种新颖的方法，可以将3D人类动画放入3D场景中，同时保持动画中的任何人类场景相互作用。我们使用计算动画中最重要的网格的概念，以与场景进行交互，我们称之为“键框”。这些关键框架使我们能够更好地优化动画在场景中的位置，从而使动画中的互动（站立，铺设，坐着等）与场景的负担相匹配（例如，站在地板上或躺在床上）。我们将我们称为PAAK的方法与先前的方法进行了比较，包括POSA，Prox地面真理和运动合成方法，并通过感知研究突出了我们方法的好处。人类评估者更喜欢我们的PAAK方法，而不是Prox地面真相数据64.6 \％。此外，在直接比较中，与POSA相比，评估者比竞争方法比包括61.5％的竞争方法更喜欢PAAK。

人类不断与日常对象互动以完成任务。为了了解这种相互作用，计算机需要从观察全身与场景的全身相互作用的相机中重建这些相互作用。由于身体和物体之间的阻塞，运动模糊，深度/比例模棱两可以及手和可抓握的物体零件的低图像分辨率，这是具有挑战性的。为了使问题可以解决，社区要么专注于互动的手，忽略身体或互动的身体，无视双手。 Grab数据集解决了灵活的全身互动，但使用基于标记的MOCAP并缺少图像，而行为则捕获了身体对象互动的视频，但缺乏手动细节。我们使用参数全身模型SMPL-X和已知的对象网格来解决一种新的方法，该方法与Intercap的先前工作局限性，该方法是一种新的方法，可重建从多视图RGB-D数据进行交互的整体和对象。为了应对上述挑战，Intercap使用了两个关键观察：（i）可以使用手和物体之间的接触来改善两者的姿势估计。 （ii）Azure Kinect传感器使我们能够建立一个简单的多视图RGB-D捕获系统，该系统在提供合理的相机间同步时最小化遮挡的效果。使用此方法，我们捕获了Intercap数据集，其中包含10个受试者（5名男性和5个女性）与10个各种尺寸和负担的物体相互作用，包括与手或脚接触。 Intercap总共有223个RGB-D视频，产生了67,357个多视图帧，每个帧包含6个RGB-D图像。我们的方法为每个视频框架提供了伪真正的身体网格和对象。我们的Intercap方法和数据集填补了文献中的重要空白，并支持许多研究方向。我们的数据和代码可用于研究目的。

使用可穿戴的IMU传感器，可以估算可穿戴设备的人类姿势，而无需视觉输入〜\ cite {von2017sparse}。在这项工作中，我们提出了一个问题：我们能否仅根据人类轨迹信息来理解现实世界环境中的对象结构？至关重要的是，我们观察到人类的运动和互动倾向于提供有关场景中物体的强烈信息 - 例如，坐着的人表明可能存在椅子或沙发。为此，我们提出了P2R-NET，以根据环境中观察到的人类轨迹的输入，学习以其类别类别和定向的3D边界框为特征的场景中对象的概率3D模型。 P2R-NET模拟了对象类别的对象类别的概率分布以及对象盒的深高斯混合模型，从而可以从观察到的人类轨迹中对多种，不同的，可能的对象构型模式进行采样。在我们的实验中，我们表明P2R-NET可以有效地学习可能的物体可能对象的多模式分布，即使没有任何视觉信息，也可以产生环境的各种合理对象结构。结果表明，P2R-NET始终优于Prox数据集和VirtualHome平台上的基线。

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes as input textual instructions specifying the objects and the associated intentions of the virtual characters and outputs diverse sequences of full-body motions. This is in contrast to existing work, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven full-body motion generator, which uses a pair of decoupled conditional variational autoencoders (CVAE) to learn the motion of the body parts in an autoregressive manner. We also optimize for the positions of the objects with six degrees of freedom (6DoF) such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis. Through a user study, we further show that our synthesized full-body motions appear more realistic to the participants in more than 80% of scenarios compared to the current state-of-the-art methods, and are perceived to be as good as the ground truth on several occasions.

我们提出了一种从图像中推断人类对象相互作用的不同3D模型的方法。考虑到人类如何与单个2D图像中复杂场景中的对象相互作用的推理是一项具有挑战性的任务，鉴于由于通过投影而导致信息丢失引起的歧义。此外，建模3D相互作用需要对各种对象类别和交互类型的概括能力。我们提出了一种对相互作用的动作条件建模，使我们能够在接触区域或3D场景几何形状上推断人类和物体的不同3D布置。我们的方法从大语言模型（例如GPT-3）中提取高级常识性知识，并将其应用于对人类对象相互作用的3D推理。我们的关键见解是从大语言模型中提取的先验可以帮助从纹理提示中推理人类对象联系人。我们定量评估大型人类对象交互数据集上推断的3D模型，并显示我们的方法如何导致更好的3D重建。我们进一步评估方法对真实图像的有效性，并证明其对互动类型和对象类别的普遍性。

Humans constantly interact with objects in daily life tasks. Capturing such processes and subsequently conducting visual inferences from a fixed viewpoint suffers from occlusions, shape and texture ambiguities, motions, etc. To mitigate the problem, it is essential to build a training dataset that captures free-viewpoint interactions. We construct a dense multi-view dome to acquire a complex human object interaction dataset, named HODome, that consists of $\sim$75M frames on 10 subjects interacting with 23 objects. To process the HODome dataset, we develop NeuralDome, a layer-wise neural processing pipeline tailored for multi-view video inputs to conduct accurate tracking, geometry reconstruction and free-view rendering, for both human subjects and objects. Extensive experiments on the HODome dataset demonstrate the effectiveness of NeuralDome on a variety of inference, modeling, and rendering tasks. Both the dataset and the NeuralDome tools will be disseminated to the community for further development.

Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.

从单眼RGB图像中捕获的3D人类运动捕获符合受试者与复杂且可能可变形的环境的相互作用的相互作用是一个非常具有挑战性，不足和探索不足的问题。现有方法仅薄弱地解决它，并且当人类与场景表面互动时，通常不会建模可能发生的表面变形。相比之下，本文提出了mocapdeform，即单眼3D人体运动捕获的新框架，该框架是第一个明确模拟3D场景的非刚性变形，以改善3D人体姿势估计和可变形环境的重建。 Mocapdeform接受单眼RGB视频，并在相机空间中对齐一个3D场景。它首先使用基于新的射线广播的策略将输入单眼视频中的主题以及密集的触点标签进行定位。接下来，我们的人类环境相互作用约束被利用以共同优化全局3D人类姿势和非刚性表面变形。 Mocapdeform比在几个数据集上的竞争方法获得了更高的精度，包括我们新记录的具有变形背景场景的方法。

用于3D人类传感的最新技术的进展目前受到3D地面真理的缺乏视觉数据集的限制，包括多个人，运动，在现实世界环境中运行，具有复杂的照明或遮挡，并且可能观察到移动相机。复杂的场景理解需要估计人类的姿势和形状以及手势，朝着最终将有用的度量和行为信号与自由视点相结合的表示来估计的表示。为了维持进步，我们建立了一个大型的照片 - 现实数据集，人类空间（HSPACE），用于复杂的合成室内和室外环境中的动画人。我们将百种不同的年龄，性别，比例和种族相结合，以及数百个动作和场景，以及身体形状的参数变化（总共1,600种不同的人类），以产生初始数据集超过100万帧。人类的动画是通过拟合表达的人体模型，以单身扫描人们来获得，其次是新的重新定位和定位程序，支持穿着人的人类的现实动画，身体比例的统计变化，以及联合一致的场景放置多个移动的人。资产在规模上自动生成，并与现有的实时渲染和游戏引擎兼容。具有评估服务器的数据集将可用于研究。我们的大规模分析了合成数据的影响，与实际数据和弱监管有关，强调了持续质量改进和限制了这种实际设置，与模型容量增加的实际设定的相当大的潜力。

Fine-grained capturing of 3D HOI boosts human activity understanding and facilitates downstream visual tasks, including action recognition, holistic scene reconstruction, and human motion synthesis. Despite its significance, existing works mostly assume that humans interact with rigid objects using only a few body parts, limiting their scope. In this paper, we address the challenging problem of f-AHOI, wherein the whole human bodies interact with articulated objects, whose parts are connected by movable joints. We present CHAIRS, a large-scale motion-captured f-AHOI dataset, consisting of 16.2 hours of versatile interactions between 46 participants and 81 articulated and rigid sittable objects. CHAIRS provides 3D meshes of both humans and articulated objects during the entire interactive process, as well as realistic and physically plausible full-body interactions. We show the value of CHAIRS with object pose estimation. By learning the geometrical relationships in HOI, we devise the very first model that leverage human pose estimation to tackle the estimation of articulated object poses and shapes during whole-body interactions. Given an image and an estimated human pose, our model first reconstructs the pose and shape of the object, then optimizes the reconstruction according to a learned interaction prior. Under both evaluation settings (e.g., with or without the knowledge of objects' geometries/structures), our model significantly outperforms baselines. We hope CHAIRS will promote the community towards finer-grained interaction understanding. We will make the data/code publicly available.

我们提出了TOCH，这是一种使用数据先验来完善不正确的3D手对象交互序列的方法。现有的手动跟踪器，尤其是那些依靠很少相机的手动跟踪器，通常会通过手动相交或缺失的触点产生视觉上不切实际的结果。尽管纠正此类错误需要有关交互的时间方面的推理，但大多数以前的作品都集中在静态抓取和触点上。我们方法的核心是Toch Fields，这是一种新颖的时空表示，用于在交互过程中建模手和物体之间的对应关系。 Toch字段是一个以对象为中心的表示，它相对于对象编码手的位置。利用这种新颖的表示，我们学习了具有暂时性的自动编码器的合理象征领域的潜在流形。实验表明，Toch优于最先进的3D手动相互作用模型，这些模型仅限于静态抓取和触点。更重要的是，我们的方法甚至在接触之前和之后都会产生平滑的相互作用。使用单个训练有素的TOCH模型，我们定量和定性地证明了其有用性，可用于纠正现成的RGB/RGB/RGB-D手动重建方法，并跨对象传输grasps。

以自我为中心的视频为人类行为的高保真建模提供了细粒度的信息。手和互动对象是理解观众的行为和意图的一个关键方面。我们提供了一个标记的数据集，该数据集由11,243张以egentric的图像组成，并在各种日常活动中与手动和物体相互作用的每个像素分割标签。我们的数据集是第一个标记详细的手动触点边界的数据集。我们介绍了一种上下文感知的组成数据增强技术，以适应YouTube Eginbecentric视频的分布。我们表明，我们的强大手动分割模型和数据集可以作为基础工具，以提高或启用几个下游视觉应用程序，包括手状态分类，视频活动识别，3D网格对手相互作用的3D网格重建以及视频的视频介绍。 - 以自我为中心的视频中的对象前景。数据集和代码可在以下网址找到：https：//github.com/owenzlz/egohos

我们提出了一种从动态摄像机记录的单像素视频中恢复的3D全局人体网格恢复方法。即使在镜头的视野之外，我们的方法也适于严重和长期闭塞，并使人体追踪人体。为实现这一目标，我们首先提出了一种深入的生成运动infiller，该infill是基于可见运动的自向填充遮挡人体的身体运动。另外，与事先工作相比，我们的方法即使用动态摄像机也将在一致的全局坐标中重建人体网格。由于人类动作和相机姿势的联合重建是受到的，我们提出了一种全球轨迹预测因素，以基于当地机身运动产生全球人类轨迹。使用预测的轨迹作为锚点，我们介绍了一种全局优化框架，它可以改进预测的轨迹，并优化相机姿势以匹配诸如2D关键点之类的视频证据。具有动态摄像机的挑战性挑战和野外数据集的实验表明，在运动缺陷和全局网格恢复方面，所提出的方法显着优于现有方法。

我们提出了一种新颖的场景表示，其编码达到距离 - 沿着可行轨迹的场景中的任何位置之间的距离。我们证明，该环境现场表示可以直接指导2D迷宫或3D室内场景中代理的动态行为。我们的环境领域是一种连续表示，通过使用离散采样的培训数据通过神经隐式功能学习。我们展示其在2D迷宫中的代理导航应用，3D室内环境中的人为轨迹预测。为了为人类生产物理似品和自然的轨迹，我们还学习了一种生成模型，该模型预测了人类通常出现的区域，并强制执行要在这些区域内定义的环境场。广泛的实验表明，所提出的方法可以有效准确地产生可行和合理的轨迹。

无标记的单眼3D人类运动捕获（MOCAP）与场景相互作用是一个充满挑战的研究主题，与扩展现实，机器人技术和虚拟头像生成有关。由于单眼环境的固有深度歧义，使用现有方法捕获的3D运动通常包含严重的人工制品，例如不正确的身体场景互穿，抖动和身体漂浮。为了解决这些问题，我们提出了HULC，这是一种新的3D人类MOCAP方法，它知道场景几何形状。 HULC估计3D姿势和密集的身体环境表面接触，以改善3D定位以及受试者的绝对尺度。此外，我们基于新的姿势歧管采样，引入了3D姿势轨迹优化，该采样解决了错误的身体环境互穿。尽管所提出的方法与现有场景感知的单眼MOCAP算法相比需要较少的结构化输入，但它会产生更加可行的姿势：HULC显着且一致地在各种实验和不同指标上都优于现有方法。项目页面：https：//vcai.mpi-inf.mpg.de/projects/hulc/。