动画字符上的现实动态服装具有许多AR/VR应用程序。在创作这种动态服装几何形状仍然是一项具有挑战性的任务时,数据驱动的模拟提供了一个有吸引力的替代方案,尤其是如果可以简单地使用基础字符的运动来控制它。在这项工作中,我们专注于动态3D服装,尤其是对于松散的服装。在数据驱动的设置中,我们首先学习了合理服装几何形状的生成空间。然后,我们学会了对该空间的映射,以捕获运动依赖的动态变形,该变形在服装的先前状态以及相对于基础体的相对位置为条件。从技术上讲,我们通过在服装的规范状态下预测富含框架依赖的皮肤重量的服装状态下的人均局部位移来对服装动力学进行建模,从而将服装带入全球空间。我们通过预测剩余的局部位移来解决所有剩余的人均碰撞。所得的服装几何形状被用作历史记录,以实现迭代推出预测。我们证明了对看不见的身体形状和运动输入的合理概括,并在多个最新的替代方案中显示出改进。
translated by 谷歌翻译
我们提出了神经演员(NA),一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作,从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放,具有神经隐含方法的照片 - 现实重建和人类的渲染,特别是在用户控制的新颖姿势下,仍然很困难。为了解决这个问题,我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图,我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明,我们的方法能够比播放的最先进,以及新的姿势合成来实现更好的质量,并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外,我们的方法还支持对合成结果的体形控制。
translated by 谷歌翻译
尽管最近在开发动画全身化身方面取得了进展,但服装的现实建模(人类自我表达的核心方面之一)仍然是一个开放的挑战。最先进的物理模拟方法可以以交互速度产生现实行为的服装几何形状。但是,建模光真逼真的外观通常需要基于物理的渲染,这对于交互式应用来说太昂贵了。另一方面,数据驱动的深度外观模型能够有效地产生逼真的外观,但在合成高度动态服装的几何形状和处理具有挑战性的身体套构型方面挣扎。为此,我们通过对服装的明确建模介绍了姿势驱动的化身,这些化身表现出逼真的服装动力学和从现实世界数据中学到的逼真的外观。关键的想法是引入一个在显式几何形状之上运行的神经服装外观模型:在火车时,我们使用高保真跟踪,而在动画时期,我们依靠物理模拟的几何形状。我们的关键贡献是一个具有物理启发的外观网络,能够生成具有视图依赖性和动态阴影效果的影像逼真的外观,即使对于看不见的身体透明构型也是如此。我们对我们的模型进行了彻底的评估,并在几种受试者和不同类型的衣服上展示了不同的动画结果。与以前关于影迷全身化身的工作不同,我们的方法甚至可以为宽松的衣服产生更丰富的动力和更现实的变形。我们还证明,我们的配方自然允许服装与不同人的头像一起使用,同时保持完全动画,因此首次可以采用新颖的衣服来实现逼真的化身。
translated by 谷歌翻译
生成数字人类,现实地具有许多应用,并且被广泛研究,但现有的方法专注于身体的主要肢体,忽略了手和头部。手已经分开研究,但重点是在产生现实的静态爪子上。要综合与世界互动的虚拟字符,我们需要同时生成全身运动和现实手掌。两个子问题都是挑战自己,在一起,姿势的状态空间显着更大,手和身体运动的尺度不同,而且整体姿势和手柄必须同意,满足身体限制,以及是合理的。此外,头部涉及,因为化身必须查看对象与它交互。我们第一次解决了生成一个抓住未知物体的头像的全身,手和头部运动的问题。作为输入,我们的方法,称为目标,采用3D对象,其位置和起始3D身体姿势和形状。目标使用两种新颖的网络输出一系列全身姿势。首先,GNET通过现实的身体,头部,臂和手姿势产生目标全体掌握,以及手对象接触。其次,MNET生成起始和目标姿势之间的运动。这是具有挑战性的,因为它需要头像与脚踏接触朝向物体走向物体,将头部向朝向它朝向它,伸出伸展,并用现实的手姿势和手工触点抓住它。为了实现这一网络,网络利用组合SMPL-X身体参数和3D顶点偏移的表示。我们在标准数据集上培训和评估目标,定性和定量。结果表明,目标概括了不佳的对象,表现优于基线。目标是迈向综合现实的全身对象掌握。
translated by 谷歌翻译
4D隐式表示中的最新进展集中在全球控制形状和运动的情况下,低维潜在向量,这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果,但它们的4D对应物尚不存在。在本文中,我们通过提出一个新颖的局部4D隐性代表来填补这一空白,以动态穿衣人,名为Lord,具有4D人类建模和局部代表的优点,并实现具有详细的表面变形的高保真重建,例如衣服皱纹。特别是,我们的主要见解是鼓励网络学习本地零件级表示的潜在代码,能够解释本地几何形状和时间变形。为了在测试时间进行推断,我们首先估计内部骨架运动在每个时间步中跟踪本地零件,然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明,该提出的方法具有强大的代表4D人类的能力,并且在实际应用上胜过最先进的方法,包括从稀疏点,非刚性深度融合(质量和定量)进行的4D重建。
translated by 谷歌翻译
尽管最近取得了成功,但基于学习的深度学习方法用于预测身体运动下的3D服装变形,却遇到了服装与身体之间的互穿问题。为了解决这个问题,我们提出了一种新颖的碰撞处理神经网络层,称为排斥力单位(REFU)。根据基础主体的签名距离函数(SDF)和当前的服装顶点位置,Repu预测了将任何互穿顶点推向无冲突的配置,同时保留精细的几何学细节,这些偏移量将任何互穿顶点推向无冲突的配置。我们表明,RECU可以通过可训练的参数进行区分,并且可以集成到预测3D服装变形的不同网络骨架中。我们的实验表明,与基于碰撞损失或后处理优化的先前方法相比,相比,RECU可显着减少身体与服装之间的碰撞数量,并更好地保留几何细节。
translated by 谷歌翻译
我们提出了一种新的基于网格的学习方法(N-Cloth),适用于合理的3D布变形预测。我们的方法是通用的,可以处理具有任意拓扑的三角网格表示的布料或障碍物。我们使用Graph卷积将布料和对象网格转换为潜在空间以减少网格空间中的非线性。我们的网络可以基于初始布网格模板和目标障碍物网的状态来预测目标3D布网格变形。我们的方法可以处理复杂的布料网格,最高可达100美元的k三角形和场景,具有与SMPL人,非SMPL人或刚体相对应的各种对象。在实践中,我们的方法展示了连续输入框架之间的良好时间相干性,并且可用于在NVIDIA GeForce RTX 3090 GPU上以30-45美元的$ 30-45 $ FPS产生合理的布料模拟。我们突出了以前基于学习的方法和基于物理的布料模拟器的好处。
translated by 谷歌翻译
本文介绍了一种新型的基于学习的服装变形方法,为各种动画中的各种形状佩戴的服装产生丰富和合理的详细变形。与现有的基于学习的方法相比,需要为不同的服装拓扑或姿势进行众多培训的型号,并且无法轻易实现丰富的细节,我们使用统一的框架有效且容易地产生高保真变形。为了解决预测受多源属性影响的变形的具有挑战性问题,我们提出了三种策略从新颖的角度来看。具体而言,我们首先发现衣服和身体之间的配合对折叠程度具有重要影响。然后,我们设计了一个属性解析器,以生成详细信息感知的编码并将它们注入图形神经网络,从而增强了各种属性下的细节的辨别。此外,为了实现更好的收敛并避免过度平稳变形,我们提出了输出重建以减轻学习任务的复杂性。实验结果表明,我们所提出的变形方法在泛化能力和细节质量方面实现了更好的现有方法。
translated by 谷歌翻译
SMPL(SMPL)的参数3D身体模型仅代表最小衣服的人,并且很难扩展到衣服,因为它们具有固定的网格拓扑和分辨率。为了解决这些局限性,最近的工作使用隐式表面或点云来建模衣服。虽然不受拓扑的限制,但这种方法仍然很难为偏离身体的偏离的衣服建模,例如裙子和连衣裙。这是因为他们依靠身体来通过将衣服表面放置为参考形状。不幸的是,当衣服远离身体时,这个过程的定义很差。此外,他们使用线性混合剥皮来摆姿势,并将皮肤重量与下面的身体部位绑在一起。相比之下,我们在没有规范化的情况下对局部坐标空间中的衣服变形进行了建模。我们还放松皮肤重量以使多个身体部位影响表面。具体而言,我们用粗糙的阶段扩展了基于点的方法,该方法用学习的姿势独立的“粗大形状”代替了规范化,该方法可以捕获裙子(如裙子)的粗糙表面几何形状。然后,我们使用一个网络来完善该网络,该网络会渗透到粗糙表示中的线性混合剥皮权重和姿势依赖的位移。该方法适合符合身体并偏离身体的服装。我们通过从示例中学习特定于人的化身,然后展示如何以新的姿势和动作来展示它们的有用性。我们还表明,该方法可以直接从原始扫描中学习缺少数据,从而大大简化了创建逼真的化身的过程。代码可用于研究目的,可在{\ small \ url {https://qianlim.github.io/skirt}}中使用。
translated by 谷歌翻译
我们提出了一个框架来学习一个结构化的潜在空间来代表4D人体运动,其中每个潜在向量都编码整个3D人类形状的全部运动。一方面,存在一些数据驱动的骨骼动画模型,提出了时间密集运动信号的运动空间,但基于几何稀疏的运动学表示。另一方面,存在许多方法来构建密集的3D几何形状的形状空间,但对于静态帧。我们将两个概念汇总在一起,提出一个运动空间,该运动空间在时间和几何上都很密集。经过训练后,我们的模型将基于低维潜在空间中的单个点生成多帧序列。该潜在空间是构建为结构化的,因此类似的运动形成簇。它还嵌入了潜在矢量中的持续时间变化,允许语义上的接近序列,这些序列仅因时间展开而不同以共享相似的潜在矢量。我们通过实验证明了潜在空间的结构特性,并表明它可用于在不同动作之间生成合理的插值。我们还将模型应用于4D人类运动的完成,显示其有希望学习人类运动时空特征的能力。
translated by 谷歌翻译
为了使3D人的头像广泛可用,我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状,复杂的关节和由此产生的丰富,随机几何细节,这项任务是挑战的挑战。因此,目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中,我们提出了一种新的方法,这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言,我们设计了一个多主题前进的剥皮模块,这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性,我们利用对抗的侵害制定,鼓励模型捕获潜在统计数据。我们提供了经验证据,这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外,我们表明我们的方法可以用于拟合人类模型到原始扫描的任务,优于以前的最先进。
translated by 谷歌翻译
最近,我们看到了照片真实的人类建模和渲染的神经进展取得的巨大进展。但是,将它们集成到现有的下游应用程序中的现有网络管道中仍然具有挑战性。在本文中,我们提出了一种全面的神经方法,用于从密集的多视频视频中对人类表演进行高质量重建,压缩和渲染。我们的核心直觉是用一系列高效的神经技术桥接传统的动画网格工作流程。我们首先引入一个神经表面重建器,以在几分钟内进行高质量的表面产生。它与多分辨率哈希编码的截短签名距离场(TSDF)的隐式体积渲染相结合。我们进一步提出了一个混合神经跟踪器来生成动画网格,该网格将明确的非刚性跟踪与自我监督框架中的隐式动态变形结合在一起。前者将粗糙的翘曲返回到规范空间中,而后者隐含的一个隐含物进一步预测了使用4D哈希编码的位移,如我们的重建器中。然后,我们使用获得的动画网格讨论渲染方案,从动态纹理到各种带宽设置下的Lumigraph渲染。为了在质量和带宽之间取得复杂的平衡,我们通过首先渲染6个虚拟视图来涵盖表演者,然后进行闭塞感知的神经纹理融合,提出一个分层解决方案。我们证明了我们方法在各种平台上的各种基于网格的应用程序和照片真实的自由观看体验中的功效,即,通过移动AR插入虚拟人类的表演,或通过移动AR插入真实环境,或带有VR头戴式的人才表演。
translated by 谷歌翻译
We propose a method that leverages graph neural networks, multi-level message passing, and unsupervised training to enable real-time prediction of realistic clothing dynamics. Whereas existing methods based on linear blend skinning must be trained for specific garments, our method is agnostic to body shape and applies to tight-fitting garments as well as loose, free-flowing clothing. Our method furthermore handles changes in topology (e.g., garments with buttons or zippers) and material properties at inference time. As one key contribution, we propose a hierarchical message-passing scheme that efficiently propagates stiff stretching modes while preserving local detail. We empirically show that our method outperforms strong baselines quantitatively and that its results are perceived as more realistic than state-of-the-art methods.
translated by 谷歌翻译
Recent approaches to drape garments quickly over arbitrary human bodies leverage self-supervision to eliminate the need for large training sets. However, they are designed to train one network per clothing item, which severely limits their generalization abilities. In our work, we rely on self-supervision to train a single network to drape multiple garments. This is achieved by predicting a 3D deformation field conditioned on the latent codes of a generative network, which models garments as unsigned distance fields. Our pipeline can generate and drape previously unseen garments of any topology, whose shape can be edited by manipulating their latent codes. Being fully differentiable, our formulation makes it possible to recover accurate 3D models of garments from partial observations -- images or 3D scans -- via gradient descent. Our code will be made publicly available.
translated by 谷歌翻译
我们认为人类变形转移问题,目标是在不同角色之间的零件姿势。解决此问题的传统方法需要清晰的姿势定义,并使用此定义在字符之间传输姿势。在这项工作中,我们采取了不同的方法,将角色的身份转换为新的身份,而无需修改角色的姿势。这提供了不必在3D人类姿势之间定义等效性的优点,这在姿势往往会根据执行它们的角色的身份而变化并不简单,并且由于它们的含义是高度上下文的。为了实现变形转移,我们提出了一种神经编码器 - 解码器架构,其中仅编码身份信息以及解码器在姿势上调节的位置。我们使用姿势独立表示,例如等距 - 不变形状特征,以表示身份特征。我们的模型使用这些功能来监督从变形姿势的偏移预测到转移结果。我们通过实验展示了我们的方法优于最先进的方法,定量和定性,并且更好地推广在训练期间没有看到。我们还介绍了一个微调步骤,可以为极端身份获得竞争力的结果,并允许转移简单的衣服。
translated by 谷歌翻译
我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现,该两步处理维持内部3D姿势和形状表示,Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列,该类别由Motion2Video进行处理和呈现,以形成2D视频。具体而言,Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器(VAE)。此外,给定衣服人物的额外输入图像,提出了整个管道以提取他/她的3D详细形状,并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理,索引,动画和渲染的现有方法来实现这一点,以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验,包括消融研究,定性和定量评估表现出我们的方法的适用性,并展示了解决相关任务的竞争力,其中我们的方法的组成部分与最先进的方式比较。
translated by 谷歌翻译
虚拟网格是在线通信的未来。服装是一个人身份和自我表达的重要组成部分。然而,目前,在培训逼真的布置动画的远程介绍模型的必需分子和准确性中,目前无法使用注册衣服的地面真相数据。在这里,我们提出了一条端到端的管道,用于建造可驱动的服装代表。我们方法的核心是一种多视图图案的布跟踪算法,能够以高精度捕获变形。我们进一步依靠跟踪方法生产的高质量数据来构建服装头像:一件衣服的表达和完全驱动的几何模型。可以使用一组稀疏的视图来对所得模型进行动画,并产生高度逼真的重建,这些重建忠于驾驶信号。我们证明了管道对现实的虚拟电视应用程序的功效,在该应用程序中,从两种视图中重建了衣服,并且用户可以根据自己的意愿进行选择和交换服装设计。此外,当仅通过身体姿势驱动时,我们表现出一个具有挑战性的场景,我们可驾驶的服装Avatar能够生产出比最先进的面包质量明显更高的逼真的布几何形状。
translated by 谷歌翻译
新兴的元应用需要人类手的可靠,准确和逼真的复制品,以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼,肌肉,肌腱和皮肤之间最复杂的协调之一,但最先进的技术一致专注于仅建模手的骨架。在本文中,我们提出了Nimble,这是一种新型的参数手模型,其中包括缺少的密钥组件,将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手(MRI手)数据集上注释肌肉,骨骼和皮肤,然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成,作为三角形网格,7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习,它进一步产生形状的混合形状,姿势混合形状和关节回归器。我们证明将敏捷性应用于建模,渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则,Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观,我们进一步构建了一个光度法,以获取高质量的纹理和正常地图,以模型皱纹和棕榈印刷。最后,敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。
translated by 谷歌翻译
人类抓握合成具有许多应用,包括AR / VR,视频游戏和机器人。虽然已经提出了一些方法来为对象抓握和操纵产生现实的手对象交互,但通常只考虑手动与对象交互。在这项工作中,我们的目标是综合全身掌握运动。鉴于3D对象,我们的目标是产生多样化和自然的全身人类动作,方法和掌握物体。这项任务是具有挑战性的,因为它需要建模全身动态和灵巧的手指运动。为此,我们提出了由两个关键部件组成的Saga(随机全身抓取):(a)静态全身抓取姿势。具体地,我们提出了一种多任务生成模型,共同学习静态全身抓姿和人对象触点。 (b)抓住运动infilling。鉴于初始姿势和产生的全身抓握姿势作为运动的起始和结束姿势,我们设计了一种新的联络感知生成运动infilling模块,以产生各种掌握的掌握运动。我们展示了我们方法是第一代生物和表达全身运动的第一代框架,该方法是随机放置并掌握未经看的对象的逼真和表达全身运动。代码和视频可用于:https://jiahaoplus.github.io/saga/saga.html。
translated by 谷歌翻译
我们人类正在进入虚拟时代,确实想将动物带到虚拟世界中。然而,计算机生成的(CGI)毛茸茸的动物受到乏味的离线渲染的限制,更不用说交互式运动控制了。在本文中,我们提出了Artemis,这是一种新型的神经建模和渲染管道,用于生成具有外观和运动合成的清晰神经宠物。我们的Artemis可以实现互动运动控制,实时动画和毛茸茸的动物的照片真实渲染。我们的Artemis的核心是神经生成的(NGI)动物引擎,该动物发动机采用了有效的基于OCTREE的动物动画和毛皮渲染的代表。然后,该动画等同于基于显式骨骼翘曲的体素级变形。我们进一步使用快速的OCTREE索引和有效的体积渲染方案来生成外观和密度特征地图。最后,我们提出了一个新颖的阴影网络,以在外观和密度特征图中生成外观和不透明度的高保真细节。对于Artemis中的运动控制模块,我们将最新动物运动捕获方法与最近的神经特征控制方案相结合。我们引入了一种有效的优化方案,以重建由多视图RGB和Vicon相机阵列捕获的真实动物的骨骼运动。我们将所有捕获的运动馈送到神经角色控制方案中,以生成具有运动样式的抽象控制信号。我们将Artemis进一步整合到支持VR耳机的现有引擎中,提供了前所未有的沉浸式体验,用户可以与各种具有生动动作和光真实外观的虚拟动物进行紧密互动。我们可以通过https://haiminluo.github.io/publication/artemis/提供我们的Artemis模型和动态毛茸茸的动物数据集。
translated by 谷歌翻译