学习重建3D服装对于在不同的姿势中穿着不同形状的3D人体来说是重要的。以前的作品通常依赖于2D图像作为输入，但是遭受尺度和构成歧义。为了规避由2D图像引起的问题，我们提出了一个原则的框架，服装4D，它使用穿着人的3D点云序列来服装重建。 Garment4D有三个专用步骤：顺序服装登记，典型服装估算和摆动衣服重建。主要挑战是两倍：1）有效的3D特征学习精细细节，2）捕获由服装和人体之间的相互作用引起的服装动力学，特别是对于像裙子这样的松散服装。为了解开这些问题，我们介绍了一种新的提议引导的分层特征网络和迭代图卷积网络，其集成了高级语义特征和低级几何特征，以进行精细细节重建。此外，我们提出了一种用于平滑服装运动的时间变压器。与非参数方法不同，我们的方法的重建服装网格可与人体分离，并且具有很强的解释性，这对于下游任务是期望的。作为本任务的第一次尝试，通过广泛的实验定性和定量地说明了高质量的重建结果。代码在https://github.com/hongfz16/garment4d提供。
translated by 谷歌翻译
SMPL（SMPL）的参数3D身体模型仅代表最小衣服的人，并且很难扩展到衣服，因为它们具有固定的网格拓扑和分辨率。为了解决这些局限性，最近的工作使用隐式表面或点云来建模衣服。虽然不受拓扑的限制，但这种方法仍然很难为偏离身体的偏离的衣服建模，例如裙子和连衣裙。这是因为他们依靠身体来通过将衣服表面放置为参考形状。不幸的是，当衣服远离身体时，这个过程的定义很差。此外，他们使用线性混合剥皮来摆姿势，并将皮肤重量与下面的身体部位绑在一起。相比之下，我们在没有规范化的情况下对局部坐标空间中的衣服变形进行了建模。我们还放松皮肤重量以使多个身体部位影响表面。具体而言，我们用粗糙的阶段扩展了基于点的方法，该方法用学习的姿势独立的“粗大形状”代替了规范化，该方法可以捕获裙子（如裙子）的粗糙表面几何形状。然后，我们使用一个网络来完善该网络，该网络会渗透到粗糙表示中的线性混合剥皮权重和姿势依赖的位移。该方法适合符合身体并偏离身体的服装。我们通过从示例中学习特定于人的化身，然后展示如何以新的姿势和动作来展示它们的有用性。我们还表明，该方法可以直接从原始扫描中学习缺少数据，从而大大简化了创建逼真的化身的过程。代码可用于研究目的，可在{\ small \ url {https://qianlim.github.io/skirt}}中使用。
translated by 谷歌翻译
4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。
translated by 谷歌翻译
现有的数据驱动方法用于披上姿势的人体，尽管有效，但无法处理任意拓扑的服装，并且通常不是端到端的。为了解决这些局限性，我们提出了一条端到端可区分管道，该管道用隐式表面表示服装，并学习以铰接式身体模型的形状和姿势参数为条件的皮肤场。为了限制身体的插入和人工制品，我们提出了一种解释意识的训练数据的预处理策略和新颖的训练损失，在覆盖服装的同时惩罚了自身交流。我们证明，我们的方法可以针对最新方法产生更准确的结果和变形。此外，我们表明我们的方法凭借其端到端的可不同性，可以从图像观察中共同恢复身体和服装参数，这是以前的工作无法做到的。
translated by 谷歌翻译
我们提出了FITE，这是一种对服装中的人体化身进行建模的第一刻度框架。我们的框架首先学习了代表粗衣拓扑的隐式表面模板，然后采用模板来指导点集的产生，从而进一步捕获姿势依赖的服装变形，例如皱纹。我们的管道结合了隐式和明确表示的优点，即处理变化拓扑的能力以及有效捕获细节的能力。我们还提出了扩散的皮肤，以促进模板训练，尤其是用于宽松衣服的模板训练，以及基于投影的姿势编码，以从网格模板中提取姿势信息，而无需预定义的紫外线图或连接性。我们的代码可在https://github.com/jsnln/fite上公开获取。
translated by 谷歌翻译
我们提出了一种基于优化的新型范式，用于在图像和扫描上拟合3D人类模型。与直接回归输入图像中低维统计体模型（例如SMPL）的参数的现有方法相反，我们训练了每个vertex神经场网络的集合。该网络以分布式的方式预测基于当前顶点投影处提取的神经特征的顶点下降方向。在推断时，我们在梯度降低的优化管道中采用该网络，称为LVD，直到其收敛性为止，即使将所有顶点初始化为单个点，通常也会以一秒钟的分数出现。一项详尽的评估表明，我们的方法能够捕获具有截然不同的身体形状的穿着的人体，与最先进的人相比取得了重大改进。 LVD也适用于人类和手的3D模型配合，为此，我们以更简单，更快的方法对SOTA显示出显着改善。
translated by 谷歌翻译
表示为深度学习近似的隐式功能对于重建3D表面是强大的。然而，它们只能产生不可控制的静态表面，这提供了通过编辑其姿势或形状参数来修改所得模型的有限能力。尽管如此，这些功能对于构建计算机图形和计算机视觉的灵活模型至关重要。在这项工作中，我们呈现了结合丰富的隐式功能和参数表示的方法，以重建即使在衣服的存在下也能够控制和准确的人的3D模型。给定稀疏的3D点云在衣服的人的表面上采样，我们使用隐式零件网络（IP-Net）共同预测穿衣服的人，内部主体表面的外3D表面，以及对参数的语义对应身体模型。我们随后使用对应关系将主体模型适合于我们的内表面，然后在外表面上非刚性地变形（在参数体+位移模型下），以捕获服装，面部和头发细节。在全身数据和手中的定量和定性实验中，我们表明所提出的方法概括，甚至给出了从单视图深度图像收集的不完整点云。我们的模型和代码可以从http://virtualhumans.mpi-inf.mpg.de/ipnet下载。
translated by 谷歌翻译
本文提出了一种新颖的自我监督方法，可以从嘈杂的点云数据重建人类形状和姿势。依靠大量数据集与地面真实的注释，最近基于学习的方法预测点云上的每个顶点的对应关系;倒角距离通常用于最小化变形模板模型和输入点云之间的距离。然而，倒角距离对噪声和异常值非常敏感，因此可以不可靠地分配通信。为了解决这些问题，我们在高斯混合模型下从参数人模型产生的输入点云的概率分布。通过更新给定输入的模板模型的后验概率，我们通过更新模板模型的后视概率来代替明确地对准对应关系，而不是显式对准的对应关系。进一步推导出一种新颖的自我监督损失，这惩罚了变形模板和在后后概率上的输入点云之间的差异。我们的方法非常灵活，适用于完整点云和不完整的云，包括甚至是单个深度图像作为输入。与以前的自我监督方法相比，我们的方法显示了处理大量噪声和异常值的能力。在各种公共合成数据集以及非常嘈杂的真实数据集（即CMU Panoptic）上进行了广泛的实验，证明了我们对最先进的方法的方法的卓越性能。
translated by 谷歌翻译
新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。
translated by 谷歌翻译
我们提出了CrossHuman，这是一种新颖的方法，该方法从参数人类模型和多帧RGB图像中学习了交叉指导，以实现高质量的3D人类重建。为了恢复几何细节和纹理，即使在无形区域中，我们设计了一个重建管道，结合了基于跟踪的方法和无跟踪方法。给定一个单眼RGB序列，我们在整个序列中跟踪参数人模型，与目标框架相对应的点（体素）被参数体运动扭曲为参考框架。在参数体的几何学先验和RGB序列的空间对齐特征的指导下，稳健隐式表面被融合。此外，将多帧变压器（MFT）和一个自我监管的经过修补模块集成到框架中，以放宽参数主体的要求并帮助处理非常松散的布。与以前的作品相比，我们的十字人类可以在可见的和无形区域启用高保真的几何细节和纹理，并提高人类重建的准确性，即使在估计的不准确的参数人类模型下也是如此。实验表明我们的方法达到了最新的（SOTA）性能。
translated by 谷歌翻译
我们建议使用点云上的几何感知体系结构，考虑到学习局部结构的数据局部结构，以学习数据的局部结构，以学习数据的局部结构，以了解数据的局部结构，并使用点云上的几何感知体系结构来学习数据的局部结构，以考虑到局部数据结构。估计时间一致的3D变形，而无需在训练时间，通过利用周期一致性来进行密集的对应关系。除了学习密集对应的能力外，GNPM还可以实现潜在空间操作，例如插值和形状/姿势转移。我们在各种衣服的人类数据集上评估了GNPM，并表明它与需要在训练过程中需要密集对应的最新方法相当。
translated by 谷歌翻译
Recent approaches to drape garments quickly over arbitrary human bodies leverage self-supervision to eliminate the need for large training sets. However, they are designed to train one network per clothing item, which severely limits their generalization abilities. In our work, we rely on self-supervision to train a single network to drape multiple garments. This is achieved by predicting a 3D deformation field conditioned on the latent codes of a generative network, which models garments as unsigned distance fields. Our pipeline can generate and drape previously unseen garments of any topology, whose shape can be edited by manipulating their latent codes. Being fully differentiable, our formulation makes it possible to recover accurate 3D models of garments from partial observations -- images or 3D scans -- via gradient descent. Our code will be made publicly available.
translated by 谷歌翻译
为了使3D人的头像广泛可用，我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状，复杂的关节和由此产生的丰富，随机几何细节，这项任务是挑战的挑战。因此，目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中，我们提出了一种新的方法，这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言，我们设计了一个多主题前进的剥皮模块，这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性，我们利用对抗的侵害制定，鼓励模型捕获潜在统计数据。我们提供了经验证据，这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外，我们表明我们的方法可以用于拟合人类模型到原始扫描的任务，优于以前的最先进。
translated by 谷歌翻译
虽然3D人类重建方法使用像素对齐的隐式功能（PIFU）开发快速，但我们观察到重建细节的质量仍然不令人满意。扁平的面部表面经常发生在基于PIFU的重建结果中。为此，我们提出了一个双重PIFU表示，以提高重建的面部细节的质量。具体地，我们利用两只MLP分别代表面部和人体的PIFU。专用于三维面重建的MLP可以提高网络容量，并降低面部细节重建的难度，如前一级PIFU表示。要解决拓扑错误，我们利用3个RGBD传感器捕获多视图RGBD数据作为网络的输入，稀疏，轻量级捕获设置。由于深度噪声严重影响重建结果，我们设计深度细化模块，以减少输入RGB图像的引导下的原始深度的噪声。我们还提出了一种自适应融合方案来熔化身体的预测占用场和面部的预测占用场，以消除其边界处的不连续性伪影。实验证明了我们在重建生动的面部细节和变形体形状方面的效果，并验证了其优于最先进的方法。
translated by 谷歌翻译
虚拟网格是在线通信的未来。服装是一个人身份和自我表达的重要组成部分。然而，目前，在培训逼真的布置动画的远程介绍模型的必需分子和准确性中，目前无法使用注册衣服的地面真相数据。在这里，我们提出了一条端到端的管道，用于建造可驱动的服装代表。我们方法的核心是一种多视图图案的布跟踪算法，能够以高精度捕获变形。我们进一步依靠跟踪方法生产的高质量数据来构建服装头像：一件衣服的表达和完全驱动的几何模型。可以使用一组稀疏的视图来对所得模型进行动画，并产生高度逼真的重建，这些重建忠于驾驶信号。我们证明了管道对现实的虚拟电视应用程序的功效，在该应用程序中，从两种视图中重建了衣服，并且用户可以根据自己的意愿进行选择和交换服装设计。此外，当仅通过身体姿势驱动时，我们表现出一个具有挑战性的场景，我们可驾驶的服装Avatar能够生产出比最先进的面包质量明显更高的逼真的布几何形状。
translated by 谷歌翻译
3D单眼图像的人体重建是在多个域中具有更广泛应用的计算机视觉中有趣和不良的问题。在本文中，我们提出了一种新颖的端到端培训网络，可从单眼图像中准确地恢复3D人的详细几何和外观。在衣服模型的非参数去皮深度图表示之前，我们提出了稀疏和有效的参数体融合。参数正文以两种方式进行了限制我们的模型：首先，网络保留不受衣服封闭的几何一致身体部位，而第二件，它提供了改善剥离深度图的预测的身体形状上下文。这使得能够在给定输入图像的情况下，在2D地图上的L1损耗仅恢复细粒度的3D几何细节。我们在公开可用的布料3D和Thuman数据集中评估夏普，并向最先进的方法报告卓越的性能。
translated by 谷歌翻译
3D服装重建的现有方法要么假设服装几何形状的预定义模板（将其限制为固定服装样式），要么产生顶点有色网眼（缺少高频纹理细节）。我们的新型框架共同学习的几何和语义信息来自输入单眼图像，用于无模板纹理的3D服装数字化。更具体地说，我们建议扩展去皮的表示，以预测像素对齐的分层深度和语义图以提取3D服装。进一步利用分层表示，以参数化提取服装的任意表面，而没有任何人类干预以形成紫外线图集。然后，通过将像素从输入图像从输入图像投射到可见区域的UV空间，然后以混合方式将纹理以混合方式赋予，然后添加封闭的区域。因此，我们能够将任意放松的衣服样式数字化，同时从单眼图像中保留高频纹理细节。我们在三个公开可用的数据集中获得了高保真3D服装重建结果，并在Internet图像上概括。
translated by 谷歌翻译
在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型，将可能的身体的空间限制在线性组合。近来，一些方法才试图利用人体建模的神经隐式表示，同时展示令人印象深刻的结果，它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中，我们提出了一种用于人体的新型神经隐含表示，其具有完全可分辨：无戒开的形状和姿势潜在空间的优化。与事先工作相反，我们的代表是基于运动模型设计的，这使得可以为姿势动画等任务提供可控制的表示，同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整，直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能，并显示了我们的方法来形状插值，模型拟合，姿势跟踪和运动重新定位的适用性。
translated by 谷歌翻译
尽管在3D服装的人类重建中取得了很多进展，但大多数现有方法无法从野外图像产生强大的结果，其中包含各种人类的姿势和外观。这主要是由于训练数据集和野外数据集之间存在较大的域间隙。训练数据集通常是合成数据集，其中包含来自GT 3D扫描的渲染图像。但是，与真实的野外数据集相比，此类数据集包含简单的人类姿势和较少的自然图像外观，这使其对野外图像的概括非常具有挑战性。为了解决这个问题，在这项工作中，我们提出了一个3D衣服的人类重建框架，该框架首先解决了露天图像的稳健性。首先，为了使域间隙的鲁棒性，我们提出了一条弱监督的管道，该管道可通过野外数据集的2D监督目标进行训练。其次，我们设计了基于密集的损失功能，以减少弱监督的歧义。对几个公共野外数据集进行的广泛经验测试表明，我们提议的布牛会产生比最先进的方法更准确和强大的结果。这些代码可在此处提供：https：//github.com/hygenie1228/clothwild_release。
translated by 谷歌翻译
为了解决由单眼人类体积捕获中部分观察结果引起的不足问题，我们提出了Avatarcap，这是一个新颖的框架，该框架将可动画的化身引入了可见和不可见区域中高保真重建的捕获管道中。我们的方法首先为该主题创建一个可动画化的化身，从少量（〜20）的3D扫描作为先验。然后给出了该主题的单眼RGB视频，我们的方法集成了图像观察和头像先验的信息，因此无论可见性如何，都会重新构建具有动态细节的高保真3D纹理模型。为了学习有效的头像，仅从少数样品中捕获体积捕获，我们提出了GeoteXavatar，该地理Xavatar利用几何和纹理监督以分解的隐式方式限制了姿势依赖性动力学。进一步提出了一种涉及规范正常融合和重建网络的头像条件的体积捕获方法，以在观察到的区域和无形区域中整合图像观测和化身动力学，以整合图像观测和头像动力学。总体而言，我们的方法可以通过详细的和姿势依赖性动力学实现单眼人体体积捕获，并且实验表明我们的方法优于最新的最新状态。代码可在https://github.com/lizhe00/avatarcap上找到。
translated by 谷歌翻译