3D单眼图像的人体重建是在多个域中具有更广泛应用的计算机视觉中有趣和不良的问题。在本文中，我们提出了一种新颖的端到端培训网络，可从单眼图像中准确地恢复3D人的详细几何和外观。在衣服模型的非参数去皮深度图表示之前，我们提出了稀疏和有效的参数体融合。参数正文以两种方式进行了限制我们的模型：首先，网络保留不受衣服封闭的几何一致身体部位，而第二件，它提供了改善剥离深度图的预测的身体形状上下文。这使得能够在给定输入图像的情况下，在2D地图上的L1损耗仅恢复细粒度的3D几何细节。我们在公开可用的布料3D和Thuman数据集中评估夏普，并向最先进的方法报告卓越的性能。

3D服装重建的现有方法要么假设服装几何形状的预定义模板（将其限制为固定服装样式），要么产生顶点有色网眼（缺少高频纹理细节）。我们的新型框架共同学习的几何和语义信息来自输入单眼图像，用于无模板纹理的3D服装数字化。更具体地说，我们建议扩展去皮的表示，以预测像素对齐的分层深度和语义图以提取3D服装。进一步利用分层表示，以参数化提取服装的任意表面，而没有任何人类干预以形成紫外线图集。然后，通过将像素从输入图像从输入图像投射到可见区域的UV空间，然后以混合方式将纹理以混合方式赋予，然后添加封闭的区域。因此，我们能够将任意放松的衣服样式数字化，同时从单眼图像中保留高频纹理细节。我们在三个公开可用的数据集中获得了高保真3D服装重建结果，并在Internet图像上概括。

The combination of artist-curated scans, and deep implicit functions (IF), is enabling the creation of detailed, clothed, 3D humans from images. However, existing methods are far from perfect. IF-based methods recover free-form geometry but produce disembodied limbs or degenerate shapes for unseen poses or clothes. To increase robustness for these cases, existing work uses an explicit parametric body model to constrain surface reconstruction, but this limits the recovery of free-form surfaces such as loose clothing that deviates from the body. What we want is a method that combines the best properties of implicit and explicit methods. To this end, we make two key observations: (1) current networks are better at inferring detailed 2D maps than full-3D surfaces, and (2) a parametric model can be seen as a "canvas" for stitching together detailed surface patches. ECON infers high-fidelity 3D humans even in loose clothes and challenging poses, while having realistic faces and fingers. This goes beyond previous methods. Quantitative, evaluation of the CAPE and Renderpeople datasets shows that ECON is more accurate than the state of the art. Perceptual studies also show that ECON's perceived realism is better by a large margin. Code and models are available for research purposes at https://xiuyuliang.cn/econ

我们提出了CrossHuman，这是一种新颖的方法，该方法从参数人类模型和多帧RGB图像中学习了交叉指导，以实现高质量的3D人类重建。为了恢复几何细节和纹理，即使在无形区域中，我们设计了一个重建管道，结合了基于跟踪的方法和无跟踪方法。给定一个单眼RGB序列，我们在整个序列中跟踪参数人模型，与目标框架相对应的点（体素）被参数体运动扭曲为参考框架。在参数体的几何学先验和RGB序列的空间对齐特征的指导下，稳健隐式表面被融合。此外，将多帧变压器（MFT）和一个自我监管的经过修补模块集成到框架中，以放宽参数主体的要求并帮助处理非常松散的布。与以前的作品相比，我们的十字人类可以在可见的和无形区域启用高保真的几何细节和纹理，并提高人类重建的准确性，即使在估计的不准确的参数人类模型下也是如此。实验表明我们的方法达到了最新的（SOTA）性能。

最近，基于神经辐射场（NERF）的进步，在3D人类渲染方面取得了迅速的进展，包括新的视图合成和姿势动画。但是，大多数现有方法集中在特定于人的培训上，他们的培训通常需要多视频视频。本文涉及一项新的挑战性任务 - 为在培训中看不见的人提供新颖的观点和新颖的姿势，仅使用多视图图像作为输入。对于此任务，我们提出了一种简单而有效的方法，以训练具有多视图像作为条件输入的可推广的NERF。关键成分是结合规范NERF和体积变形方案的专用表示。使用规范空间使我们的方法能够学习人类的共享特性，并轻松地推广到不同的人。音量变形用于将规范空间与输入和目标图像以及查询图像特征连接起来，以进行辐射和密度预测。我们利用拟合在输入图像上的参数3D人类模型来得出变形，与我们的规范NERF结合使用，它在实践中效果很好。具有新的观点合成和构成动画任务的真实和合成数据的实验共同证明了我们方法的功效。

Single-image 3D human reconstruction aims to reconstruct the 3D textured surface of the human body given a single image. While implicit function-based methods recently achieved reasonable reconstruction performance, they still bear limitations showing degraded quality in both surface geometry and texture from an unobserved view. In response, to generate a realistic textured surface, we propose ReFu, a coarse-to-fine approach that refines the projected backside view image and fuses the refined image to predict the final human body. To suppress the diffused occupancy that causes noise in projection images and reconstructed meshes, we propose to train occupancy probability by simultaneously utilizing 2D and 3D supervisions with occupancy-based volume rendering. We also introduce a refinement architecture that generates detail-preserving backside-view images with front-to-back warping. Extensive experiments demonstrate that our method achieves state-of-the-art performance in 3D human reconstruction from a single image, showing enhanced geometry and texture quality from an unobserved view.

对人类的逼真渲染和安息对于实现增强现实体验至关重要。我们提出了一个新颖的框架，以重建人类和场景，可以用新颖的人类姿势和景色从一个单一的野外视频中呈现。给定一个由移动摄像机捕获的视频，我们训练了两个NERF模型：人类NERF模型和一个场景NERF模型。为了训练这些模型，我们依靠现有方法来估计人类和场景的粗糙几何形状。这些粗糙的几何估计值使我们能够创建一个从观察空间到独立姿势独立的空间的翘曲场10秒的视频剪辑，并以新颖的观点以及背景提供新颖的姿势，提供人类的高质量效果。

Pixel-aligned Implicit function (PIFu): We present pixel-aligned implicit function (PIFu), which allows recovery of high-resolution 3D textured surfaces of clothed humans from a single input image (top row). Our approach can digitize intricate variations in clothing, such as wrinkled skirts and high-heels, including complex hairstyles. The shape and textures can be fully recovered including largely unseen regions such as the back of the subject. PIFu can also be naturally extended to multi-view input images (bottom row).

虽然3D人类重建方法使用像素对齐的隐式功能（PIFU）开发快速，但我们观察到重建细节的质量仍然不令人满意。扁平的面部表面经常发生在基于PIFU的重建结果中。为此，我们提出了一个双重PIFU表示，以提高重建的面部细节的质量。具体地，我们利用两只MLP分别代表面部和人体的PIFU。专用于三维面重建的MLP可以提高网络容量，并降低面部细节重建的难度，如前一级PIFU表示。要解决拓扑错误，我们利用3个RGBD传感器捕获多视图RGBD数据作为网络的输入，稀疏，轻量级捕获设置。由于深度噪声严重影响重建结果，我们设计深度细化模块，以减少输入RGB图像的引导下的原始深度的噪声。我们还提出了一种自适应融合方案来熔化身体的预测占用场和面部的预测占用场，以消除其边界处的不连续性伪影。实验证明了我们在重建生动的面部细节和变形体形状方面的效果，并验证了其优于最先进的方法。

目前用于学习现实和可动画3D穿衣服的方法需要带有仔细控制的用户的构成3D扫描或2D图像。相比之下，我们的目标是从不受约束的姿势中只有2D人的人们学习化身。给定一组图像，我们的方法估计来自每个图像的详细3D表面，然后将它们组合成一个可动画的化身。隐式功能非常适合第一个任务，因为他们可以捕获像头发或衣服等细节。然而，目前的方法对各种人类的姿势并不稳健，并且通常会产生破碎或肢体的3D表面，缺少细节或非人形状。问题是这些方法使用对全局姿势敏感的全局特征编码器。为了解决这个问题，我们提出图标（“从正规中获得的隐式衣物人类”），它使用本地特征。图标有两个主要模块，两者都利用SMPL（-X）正文模型。首先，图标Infers详细的衣服 - 人类法线（前/后）在SMPL（-X）法线上。其次，可视性感知隐式表面回归系统产生人占用场的ISO表面。重要的是，在推断时间下，反馈回路在使用推断的布料正线改进SMPL（-X）网格之间交替，然后改装正常。给定多种姿势的多个重建帧，我们使用扫描来从中生成可动画的化身。对Agora和Cape数据集的评估显示，即使具有大量有限的培训数据，图标越优于重建中的最新状态。另外，它对分布外样品进行更强大，例如，野外的姿势/图像和帧外裁剪。图标从野外图像中迈向强大的3D穿上人体重建。这使得能够使用个性化和天然姿势依赖布变形来直接从视频创建化身。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

为了解决由单眼人类体积捕获中部分观察结果引起的不足问题，我们提出了Avatarcap，这是一个新颖的框架，该框架将可动画的化身引入了可见和不可见区域中高保真重建的捕获管道中。我们的方法首先为该主题创建一个可动画化的化身，从少量（〜20）的3D扫描作为先验。然后给出了该主题的单眼RGB视频，我们的方法集成了图像观察和头像先验的信息，因此无论可见性如何，都会重新构建具有动态细节的高保真3D纹理模型。为了学习有效的头像，仅从少数样品中捕获体积捕获，我们提出了GeoteXavatar，该地理Xavatar利用几何和纹理监督以分解的隐式方式限制了姿势依赖性动力学。进一步提出了一种涉及规范正常融合和重建网络的头像条件的体积捕获方法，以在观察到的区域和无形区域中整合图像观测和化身动力学，以整合图像观测和头像动力学。总体而言，我们的方法可以通过详细的和姿势依赖性动力学实现单眼人体体积捕获，并且实验表明我们的方法优于最新的最新状态。代码可在https://github.com/lizhe00/avatarcap上找到。

最近，数据驱动的单视图重建方法在建模3D穿着人类中表现出很大的进展。然而，这种方法严重影响了单视图输入所固有的深度模糊和闭塞。在本文中，我们通过考虑一小部分输入视图并调查从这些视图中适当利用信息的最佳策略来解决这个问题。我们提出了一种数据驱动的端到端方法，其从稀疏相机视图重建穿着人的人类的隐式3D表示。具体而言，我们介绍了三个关键组件：首先是使用透视相机模型的空间一致的重建，允许使用人员在输入视图中的任意放置;第二个基于关注的融合层，用于从多个观点来看聚合视觉信息;第三种机制在多视图上下文下编码本地3D模式。在实验中，我们展示了所提出的方法优于定量和定性地在标准数据上表达现有技术。为了展示空间一致的重建，我们将我们的方法应用于动态场景。此外，我们在使用多摄像头平台获取的真实数据上应用我们的方法，并证明我们的方法可以获得与多视图立体声相当的结果，从而迅速更少的视图。

无监督的生成的虚拟人类具有各种外观和动画姿势对于创建3D人体化身和其他AR/VR应用非常重要。现有方法要么仅限于刚性对象建模，要么不生成，因此无法合成高质量的虚拟人类并使它们进行动画化。在这项工作中，我们提出了Avatargen，这是第一种不仅可以具有不同外观的非刚性人类产生的方法，而且还可以完全控制姿势和观点，同时仅需要2D图像进行训练。具体而言，它通过利用粗糙的人体模型作为代理将观察空间扭曲到规范空间下的标准头像，将最近的3D甘斯扩展到了人类的衣服。为了建模非刚性动力学，它引入了一个变形网络，以学习规范空间中的姿势依赖性变形。为了提高生成的人类化身的几何质量，它利用签名距离字段作为几何表示，从而可以从几何学学习上的身体模型中进行更直接的正则化。从这些设计中受益，我们的方法可以生成具有高质量外观和几何形状建模的动画人体化身，从而极大地表现了先前的3D gan。此外，它有能力用于许多应用，例如单视重构造，复活和文本引导的合成。代码和预培训模型将可用。

用于运动中的人类的新型视图综合是一个具有挑战性的计算机视觉问题，使得诸如自由视视频之类的应用。现有方法通常使用具有多个输入视图，3D监控或预训练模型的复杂设置，这些模型不会概括为新标识。旨在解决这些限制，我们提出了一种新颖的视图综合框架，以从单视图传感器捕获的任何人的看法生成现实渲染，其具有稀疏的RGB-D，类似于低成本深度摄像头，而没有参与者特定的楷模。我们提出了一种架构来学习由基于球体的神经渲染获得的小说视图中的密集功能，并使用全局上下文修复模型创建完整的渲染。此外，增强剂网络利用了整体保真度，即使在原始视图中的遮挡区域中也能够产生细节的清晰渲染。我们展示了我们的方法为单个稀疏RGB-D输入产生高质量的合成和真实人体演员的新颖视图。它概括了看不见的身份，新的姿势，忠实地重建面部表情。我们的方法优于现有人体观测合成方法，并且对不同水平的输入稀疏性具有稳健性。

Humans constantly interact with objects in daily life tasks. Capturing such processes and subsequently conducting visual inferences from a fixed viewpoint suffers from occlusions, shape and texture ambiguities, motions, etc. To mitigate the problem, it is essential to build a training dataset that captures free-viewpoint interactions. We construct a dense multi-view dome to acquire a complex human object interaction dataset, named HODome, that consists of $\sim$75M frames on 10 subjects interacting with 23 objects. To process the HODome dataset, we develop NeuralDome, a layer-wise neural processing pipeline tailored for multi-view video inputs to conduct accurate tracking, geometry reconstruction and free-view rendering, for both human subjects and objects. Extensive experiments on the HODome dataset demonstrate the effectiveness of NeuralDome on a variety of inference, modeling, and rendering tasks. Both the dataset and the NeuralDome tools will be disseminated to the community for further development.

我们提出了一种新型神经渲染管线，混合体积纹理渲染（HVTR），其合成了从任意姿势和高质量的任意姿势的虚拟人体化身。首先，我们学会在人体表面的致密UV歧管上编码铰接的人体运动。为了处理复杂的运动（例如，自闭电），我们将基于动态姿势的神经辐射场建造关于UV歧管的编码信息来构建基于动态姿态条件的神经辐射场的3D体积表示。虽然这允许我们表示具有更改拓扑的3D几何形状，但体积渲染是计算沉重的。因此，我们仅使用姿势调节的下采样的神经辐射场（PD-NERF）使用粗糙的体积表示，我们可以以低分辨率有效地呈现。此外，我们学习2D纹理功能，这些功能与图像空间中呈现的体积功能融合。我们的方法的关键优势是，我们可以通过快速GaN的纹理渲染器将融合功能转换为高分辨率，高质量的化身。我们证明混合渲染使HVTR能够处理复杂的动作，在用户控制的姿势/形状下呈现高质量的化身，甚至松散的衣服，最重要的是，在推理时间快速。我们的实验结果还证明了最先进的定量结果。

表示为深度学习近似的隐式功能对于重建3D表面是强大的。然而，它们只能产生不可控制的静态表面，这提供了通过编辑其姿势或形状参数来修改所得模型的有限能力。尽管如此，这些功能对于构建计算机图形和计算机视觉的灵活模型至关重要。在这项工作中，我们呈现了结合丰富的隐式功能和参数表示的方法，以重建即使在衣服的存在下也能够控制和准确的人的3D模型。给定稀疏的3D点云在衣服的人的表面上采样，我们使用隐式零件网络（IP-Net）共同预测穿衣服的人，内部主体表面的外3D表面，以及对参数的语义对应身体模型。我们随后使用对应关系将主体模型适合于我们的内表面，然后在外表面上非刚性地变形（在参数体+位移模型下），以捕获服装，面部和头发细节。在全身数据和手中的定量和定性实验中，我们表明所提出的方法概括，甚至给出了从单视图深度图像收集的不完整点云。我们的模型和代码可以从http://virtualhumans.mpi-inf.mpg.de/ipnet下载。

本文解决了从多视频视频中重建动画人类模型的挑战。最近的一些作品提出，将一个非刚性变形的场景分解为规范的神经辐射场和一组变形场，它们映射观察空间指向规范空间，从而使它们能够从图像中学习动态场景。但是，它们代表变形场作为转换矢量场或SE（3）字段，这使得优化高度不受限制。此外，这些表示无法通过输入动议明确控制。取而代之的是，我们基于线性混合剥皮算法引入了一个姿势驱动的变形场，该算法结合了混合重量场和3D人类骨架，以产生观察到的对应对应。由于3D人类骨骼更容易观察到，因此它们可以正规化变形场的学习。此外，可以通过输入骨骼运动来控制姿势驱动的变形场，以生成新的变形字段来动画规范人类模型。实验表明，我们的方法显着优于最近的人类建模方法。该代码可在https://zju3dv.github.io/animatable_nerf/上获得。