人类性能捕获是一种非常重要的计算机视觉问题，在电影制作和虚拟/增强现实中具有许多应用。许多以前的性能捕获方法需要昂贵的多视图设置，或者没有恢复具有帧到帧对应关系的密集时空相干几何。我们提出了一种新颖的深度致密人体性能捕获的深层学习方法。我们的方法是基于多视图监督的弱监督方式培训，完全删除了使用3D地面真理注释的培训数据的需求。网络架构基于两个单独的网络，将任务解散为姿势估计和非刚性表面变形步骤。广泛的定性和定量评估表明，我们的方法在质量和稳健性方面优于现有技术。这项工作是DeepCAP的扩展版本，在那里我们提供更详细的解释，比较和结果以及应用程序。

捕获穿着人的动态变形3D形状对于许多应用，包括VR / AR，自主驾驶和人机交互必不可少。现有方法要么需要高度专业化的捕获设置，如昂贵的多视图成像系统，或者它们缺乏对挑战身体姿势的鲁棒性。在这项工作中，我们提出了一种能够从具有具有挑战性身体姿势的单眼视频捕获动态3D人形状的方法，而没有任何额外的输入。我们首先基于学习的回归模型构建了对象的3D模板人体模型。然后，我们基于2D图像观察跟踪该模板模型在具有挑战性的身体剖视下的变形。我们的方法在野外的人类视频数据集3DPW上占据了最先进的方法。此外，我们展示了IPS数据集视频中鲁棒性和普遍性的效果。

我们向渲染和时间（4D）重建人类的渲染和时间（4D）重建的神经辐射场，通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示，新颖的综合合成和隐式统计几何人称的人类表示相结合，耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型，而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息，并概括超出在训练中观察到的姿势或视图。此外，我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性，其概括能力显着超出了一系列的姿势和视图，以及超出所观察到的形状的统计外推。

虚拟网格是在线通信的未来。服装是一个人身份和自我表达的重要组成部分。然而，目前，在培训逼真的布置动画的远程介绍模型的必需分子和准确性中，目前无法使用注册衣服的地面真相数据。在这里，我们提出了一条端到端的管道，用于建造可驱动的服装代表。我们方法的核心是一种多视图图案的布跟踪算法，能够以高精度捕获变形。我们进一步依靠跟踪方法生产的高质量数据来构建服装头像：一件衣服的表达和完全驱动的几何模型。可以使用一组稀疏的视图来对所得模型进行动画，并产生高度逼真的重建，这些重建忠于驾驶信号。我们证明了管道对现实的虚拟电视应用程序的功效，在该应用程序中，从两种视图中重建了衣服，并且用户可以根据自己的意愿进行选择和交换服装设计。此外，当仅通过身体姿势驱动时，我们表现出一个具有挑战性的场景，我们可驾驶的服装Avatar能够生产出比最先进的面包质量明显更高的逼真的布几何形状。

Figure 1: Frankenstein (silver) and Adam (gold). This paper presents a 3D human model capable of concurrently tracking the large-scale posture of the body along with the smaller details of a persons facial expressions and hand gestures.

Humans constantly interact with objects in daily life tasks. Capturing such processes and subsequently conducting visual inferences from a fixed viewpoint suffers from occlusions, shape and texture ambiguities, motions, etc. To mitigate the problem, it is essential to build a training dataset that captures free-viewpoint interactions. We construct a dense multi-view dome to acquire a complex human object interaction dataset, named HODome, that consists of $\sim$75M frames on 10 subjects interacting with 23 objects. To process the HODome dataset, we develop NeuralDome, a layer-wise neural processing pipeline tailored for multi-view video inputs to conduct accurate tracking, geometry reconstruction and free-view rendering, for both human subjects and objects. Extensive experiments on the HODome dataset demonstrate the effectiveness of NeuralDome on a variety of inference, modeling, and rendering tasks. Both the dataset and the NeuralDome tools will be disseminated to the community for further development.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

捕获一般的变形场景对于许多计算机图形和视觉应用至关重要，当只有单眼RGB视频可用时，这尤其具有挑战性。竞争方法假设密集的点轨道，3D模板，大规模训练数据集或仅捕获小规模的变形。与这些相反，我们的方法UB4D在挑战性的情况下超过了先前的艺术状态，而没有做出这些假设。我们的技术包括两个新的，在非刚性3D重建的背景下，组件，即1）1）针对非刚性场景的基于坐标的和隐性的神经表示，这使动态场景无偏重建，2）新颖的新颖。动态场景流量损失，可以重建较大的变形。我们的新数据集（将公开可用）的结果表明，就表面重建精度和对大变形的鲁棒性而言，对最新技术的明显改善。访问项目页面https://4dqv.mpi-inf.mpg.de/ub4d/。

从单眼RGB图像中捕获的3D人类运动捕获符合受试者与复杂且可能可变形的环境的相互作用的相互作用是一个非常具有挑战性，不足和探索不足的问题。现有方法仅薄弱地解决它，并且当人类与场景表面互动时，通常不会建模可能发生的表面变形。相比之下，本文提出了mocapdeform，即单眼3D人体运动捕获的新框架，该框架是第一个明确模拟3D场景的非刚性变形，以改善3D人体姿势估计和可变形环境的重建。 Mocapdeform接受单眼RGB视频，并在相机空间中对齐一个3D场景。它首先使用基于新的射线广播的策略将输入单眼视频中的主题以及密集的触点标签进行定位。接下来，我们的人类环境相互作用约束被利用以共同优化全局3D人类姿势和非刚性表面变形。 Mocapdeform比在几个数据集上的竞争方法获得了更高的精度，包括我们新记录的具有变形背景场景的方法。

尽管最近在开发动画全身化身方面取得了进展，但服装的现实建模（人类自我表达的核心方面之一）仍然是一个开放的挑战。最先进的物理模拟方法可以以交互速度产生现实行为的服装几何形状。但是，建模光真逼真的外观通常需要基于物理的渲染，这对于交互式应用来说太昂贵了。另一方面，数据驱动的深度外观模型能够有效地产生逼真的外观，但在合成高度动态服装的几何形状和处理具有挑战性的身体套构型方面挣扎。为此，我们通过对服装的明确建模介绍了姿势驱动的化身，这些化身表现出逼真的服装动力学和从现实世界数据中学到的逼真的外观。关键的想法是引入一个在显式几何形状之上运行的神经服装外观模型：在火车时，我们使用高保真跟踪，而在动画时期，我们依靠物理模拟的几何形状。我们的关键贡献是一个具有物理启发的外观网络，能够生成具有视图依赖性和动态阴影效果的影像逼真的外观，即使对于看不见的身体透明构型也是如此。我们对我们的模型进行了彻底的评估，并在几种受试者和不同类型的衣服上展示了不同的动画结果。与以前关于影迷全身化身的工作不同，我们的方法甚至可以为宽松的衣服产生更丰富的动力和更现实的变形。我们还证明，我们的配方自然允许服装与不同人的头像一起使用，同时保持完全动画，因此首次可以采用新颖的衣服来实现逼真的化身。

We present HARP (HAnd Reconstruction and Personalization), a personalized hand avatar creation approach that takes a short monocular RGB video of a human hand as input and reconstructs a faithful hand avatar exhibiting a high-fidelity appearance and geometry. In contrast to the major trend of neural implicit representations, HARP models a hand with a mesh-based parametric hand model, a vertex displacement map, a normal map, and an albedo without any neural components. As validated by our experiments, the explicit nature of our representation enables a truly scalable, robust, and efficient approach to hand avatar creation. HARP is optimized via gradient descent from a short sequence captured by a hand-held mobile phone and can be directly used in AR/VR applications with real-time rendering capability. To enable this, we carefully design and implement a shadow-aware differentiable rendering scheme that is robust to high degree articulations and self-shadowing regularly present in hand motion sequences, as well as challenging lighting conditions. It also generalizes to unseen poses and novel viewpoints, producing photo-realistic renderings of hand animations performing highly-articulated motions. Furthermore, the learned HARP representation can be used for improving 3D hand pose estimation quality in challenging viewpoints. The key advantages of HARP are validated by the in-depth analyses on appearance reconstruction, novel-view and novel pose synthesis, and 3D hand pose refinement. It is an AR/VR-ready personalized hand representation that shows superior fidelity and scalability.

了解来自第一人称观点的社交互动对于许多应用来说至关重要，从辅助机器人到AR / VR。谈论相互作用的第一步是理解人类的姿势和形状。但是，该领域的研究目前受到数据缺乏的阻碍。现有数据集根据大小，注释，地面真实捕获方式或相互作用的多样性有限。我们通过提出EGOBODY来解决这一缺点，这是一个用于复杂3D场景中的社交交互的新型大规模数据集。我们采用Microsoft Hololens2耳机来记录富裕的EGEntric数据流（包括RGB，深度，眼睛凝视，头部和手动跟踪）。为了获得准确的3D地面真理，我们将耳机用多kinect钻机校准并配合富有呈现的SMPL-X体网格到多视图RGB-D帧，重建3D人类姿势和相对于场景的形状。我们收集68个序列，跨越不同的社会学互动类别，并提出了从自我监视视图的3D全体姿态和形状估计的第一个基准。我们的数据集和代码将在https://sanweiliti.github.io/egobody/egobody.html中进行研究。

我们提出了CrossHuman，这是一种新颖的方法，该方法从参数人类模型和多帧RGB图像中学习了交叉指导，以实现高质量的3D人类重建。为了恢复几何细节和纹理，即使在无形区域中，我们设计了一个重建管道，结合了基于跟踪的方法和无跟踪方法。给定一个单眼RGB序列，我们在整个序列中跟踪参数人模型，与目标框架相对应的点（体素）被参数体运动扭曲为参考框架。在参数体的几何学先验和RGB序列的空间对齐特征的指导下，稳健隐式表面被融合。此外，将多帧变压器（MFT）和一个自我监管的经过修补模块集成到框架中，以放宽参数主体的要求并帮助处理非常松散的布。与以前的作品相比，我们的十字人类可以在可见的和无形区域启用高保真的几何细节和纹理，并提高人类重建的准确性，即使在估计的不准确的参数人类模型下也是如此。实验表明我们的方法达到了最新的（SOTA）性能。

我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

推断人类场景接触（HSC）是了解人类如何与周围环境相互作用的第一步。尽管检测2D人类对象的相互作用（HOI）和重建3D人姿势和形状（HPS）已经取得了重大进展，但单个图像的3D人习惯接触的推理仍然具有挑战性。现有的HSC检测方法仅考虑几种类型的预定义接触，通常将身体和场景降低到少数原语，甚至忽略了图像证据。为了预测单个图像的人类场景接触，我们从数据和算法的角度解决了上述局限性。我们捕获了一个名为“真实场景，互动，联系和人类”的新数据集。 Rich在4K分辨率上包含多视图室外/室内视频序列，使用无标记运动捕获，3D身体扫描和高分辨率3D场景扫描捕获的地面3D人体。 Rich的一个关键特征是它还包含身体上精确的顶点级接触标签。使用Rich，我们训练一个网络，该网络可预测单个RGB图像的密集车身场景接触。我们的主要见解是，接触中的区域总是被阻塞，因此网络需要能够探索整个图像以获取证据。我们使用变压器学习这种非本地关系，并提出新的身体场景接触变压器（BSTRO）。很少有方法探索3D接触；那些只专注于脚的人，将脚接触作为后处理步骤，或从身体姿势中推断出无需看现场的接触。据我们所知，BSTRO是直接从单个图像中直接估计3D身体场景接触的方法。我们证明，BSTRO的表现明显优于先前的艺术。代码和数据集可在https://rich.is.tue.mpg.de上获得。

我们介绍了一个自由视的渲染方法 - Humannerf - 这对人类进行了复杂的身体运动的给定单曲视频工作，例如，来自YouTube的视频。我们的方法可以在任何帧中暂停视频，并从任意新相机视点呈现对象，甚至是该特定帧和身体姿势的完整360度摄像机路径。这项任务特别具有挑战性，因为它需要合成身体的光电型细节，如从输入视频中可能不存在的各种相机角度所见，以及合成布折叠和面部外观的细细节。我们的方法优化了在规范T型姿势中的人的体积表示，同时通过运动场，该运动场通过向后的警报将估计的规范表示映射到视频的每个帧。运动场分解成骨骼刚性和非刚性运动，由深网络产生。我们对现有工作显示出显着的性能改进，以及从移动人类的单眼视频的令人尖锐的观点渲染的阐释示例，以挑战不受控制的捕获场景。

对于场景重建和新型视图综合的数量表示形式的普及最近，人们的普及使重点放在以高视觉质量和实时为实时的体积内容动画上。尽管基于学习功能的隐性变形方法可以产生令人印象深刻的结果，但它们是艺术家和内容创建者的“黑匣子”，但它们需要大量的培训数据才能有意义地概括，并且在培训数据之外不会产生现实的外推。在这项工作中，我们通过引入实时的音量变形方法来解决这些问题，该方法是实时的，易于使用现成的软件编辑，并且可以令人信服地推断出来。为了证明我们方法的多功能性，我们将其应用于两种情况：基于物理的对象变形和触发性，其中使用Blendshapes控制着头像。我们还进行了彻底的实验，表明我们的方法与两种体积方法相比，结合了基于网格变形的隐式变形和方法。

We introduce Structured 3D Features, a model based on a novel implicit 3D representation that pools pixel-aligned image features onto dense 3D points sampled from a parametric, statistical human mesh surface. The 3D points have associated semantics and can move freely in 3D space. This allows for optimal coverage of the person of interest, beyond just the body shape, which in turn, additionally helps modeling accessories, hair, and loose clothing. Owing to this, we present a complete 3D transformer-based attention framework which, given a single image of a person in an unconstrained pose, generates an animatable 3D reconstruction with albedo and illumination decomposition, as a result of a single end-to-end model, trained semi-supervised, and with no additional postprocessing. We show that our S3F model surpasses the previous state-of-the-art on various tasks, including monocular 3D reconstruction, as well as albedo and shading estimation. Moreover, we show that the proposed methodology allows novel view synthesis, relighting, and re-posing the reconstruction, and can naturally be extended to handle multiple input images (e.g. different views of a person, or the same view, in different poses, in video). Finally, we demonstrate the editing capabilities of our model for 3D virtual try-on applications.

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

逼真的触觉需要高保真的身体建模和忠实的驾驶才能使动态合成的外观与现实无法区分。在这项工作中，我们提出了一个端到端框架，该框架解决了建模和推动真实人的全身化身方面的两个核心挑战。一个挑战是驾驶头像，同时忠实地遵守细节和动态，而这些细节和动态无法被全球低维参数化（例如身体姿势）所捕捉。我们的方法支持驾驶穿着皱纹和运动的衣服化身，而真正的驾驶表演者展出了训练语料库。与现有的全局状态表示或非参数屏幕空间方法不同，我们介绍了Texel对准功能 - 一种本地化表示，可以利用基于骨架的参数模型的结构先验和同时观察到的稀疏图像信号。另一个挑战是建模临时连贯的衣服头像，通常需要精确的表面跟踪。为了避免这种情况，我们通过将体积原语的混合物扩展到清晰的物体，提出了一种新型的体积化头像表示。通过明确合并表达，我们的方法自然而然地概括了看不见的姿势。我们还介绍了局部视点条件，从而导致了依赖视图的外观的概括。拟议的体积表示不需要高质量的网格跟踪作为先决条件，并且与基于网格的对应物相比，具有显着的质量改进。在我们的实验中，我们仔细研究了我们的设计选择，并证明了方法的功效，超过了最新方法在挑战驾驶方案方面的最新方法。