尽管最近取得了成功，但基于学习的深度学习方法用于预测身体运动下的3D服装变形，却遇到了服装与身体之间的互穿问题。为了解决这个问题，我们提出了一种新颖的碰撞处理神经网络层，称为排斥力单位（REFU）。根据基础主体的签名距离函数（SDF）和当前的服装顶点位置，Repu预测了将任何互穿顶点推向无冲突的配置，同时保留精细的几何学细节，这些偏移量将任何互穿顶点推向无冲突的配置。我们表明，RECU可以通过可训练的参数进行区分，并且可以集成到预测3D服装变形的不同网络骨架中。我们的实验表明，与基于碰撞损失或后处理优化的先前方法相比，相比，RECU可显着减少身体与服装之间的碰撞数量，并更好地保留几何细节。

我们提出了一种新的基于网格的学习方法（N-Cloth），适用于合理的3D布变形预测。我们的方法是通用的，可以处理具有任意拓扑的三角网格表示的布料或障碍物。我们使用Graph卷积将布料和对象网格转换为潜在空间以减少网格空间中的非线性。我们的网络可以基于初始布网格模板和目标障碍物网的状态来预测目标3D布网格变形。我们的方法可以处理复杂的布料网格，最高可达100美元的k三角形和场景，具有与SMPL人，非SMPL人或刚体相对应的各种对象。在实践中，我们的方法展示了连续输入框架之间的良好时间相干性，并且可用于在NVIDIA GeForce RTX 3090 GPU上以30-45美元的$ 30-45 $ FPS产生合理的布料模拟。我们突出了以前基于学习的方法和基于物理的布料模拟器的好处。

现有的数据驱动方法用于披上姿势的人体，尽管有效，但无法处理任意拓扑的服装，并且通常不是端到端的。为了解决这些局限性，我们提出了一条端到端可区分管道，该管道用隐式表面表示服装，并学习以铰接式身体模型的形状和姿势参数为条件的皮肤场。为了限制身体的插入和人工制品，我们提出了一种解释意识的训练数据的预处理策略和新颖的训练损失，在覆盖服装的同时惩罚了自身交流。我们证明，我们的方法可以针对最新方法产生更准确的结果和变形。此外，我们表明我们的方法凭借其端到端的可不同性，可以从图像观察中共同恢复身体和服装参数，这是以前的工作无法做到的。

在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型，将可能的身体的空间限制在线性组合。近来，一些方法才试图利用人体建模的神经隐式表示，同时展示令人印象深刻的结果，它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中，我们提出了一种用于人体的新型神经隐含表示，其具有完全可分辨：无戒开的形状和姿势潜在空间的优化。与事先工作相反，我们的代表是基于运动模型设计的，这使得可以为姿势动画等任务提供可控制的表示，同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整，直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能，并显示了我们的方法来形状插值，模型拟合，姿势跟踪和运动重新定位的适用性。

动画字符上的现实动态服装具有许多AR/VR应用程序。在创作这种动态服装几何形状仍然是一项具有挑战性的任务时，数据驱动的模拟提供了一个有吸引力的替代方案，尤其是如果可以简单地使用基础字符的运动来控制它。在这项工作中，我们专注于动态3D服装，尤其是对于松散的服装。在数据驱动的设置中，我们首先学习了合理服装几何形状的生成空间。然后，我们学会了对该空间的映射，以捕获运动依赖的动态变形，该变形在服装的先前状态以及相对于基础体的相对位置为条件。从技术上讲，我们通过在服装的规范状态下预测富含框架依赖的皮肤重量的服装状态下的人均局部位移来对服装动力学进行建模，从而将服装带入全球空间。我们通过预测剩余的局部位移来解决所有剩余的人均碰撞。所得的服装几何形状被用作历史记录，以实现迭代推出预测。我们证明了对看不见的身体形状和运动输入的合理概括，并在多个最新的替代方案中显示出改进。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

Recent approaches to drape garments quickly over arbitrary human bodies leverage self-supervision to eliminate the need for large training sets. However, they are designed to train one network per clothing item, which severely limits their generalization abilities. In our work, we rely on self-supervision to train a single network to drape multiple garments. This is achieved by predicting a 3D deformation field conditioned on the latent codes of a generative network, which models garments as unsigned distance fields. Our pipeline can generate and drape previously unseen garments of any topology, whose shape can be edited by manipulating their latent codes. Being fully differentiable, our formulation makes it possible to recover accurate 3D models of garments from partial observations -- images or 3D scans -- via gradient descent. Our code will be made publicly available.

我们呈现Hipnet，一个在许多姿势的多个科目上培训的神经隐式姿势网络。HIPNET可以从姿势特定的细节中解散特定主题细节，有效地使我们能够从一个受试者到另一个受试者的retrarget运动，或通过潜在空间插值在关键帧之间设置动画。为此，我们采用基于分层的基于骨架的表示，以便在规范的未浮现空间上学习符号距离功能。这种基于联合的分解使我们能够代表本地围绕身体关节周围的空间的细微细节。与以前的神经隐式方法不同，需要基础真实SDF进行培训，我们的模型我们只需要一个构成的骨架和点云进行培训，我们没有对传统的参数模型或传统的剥皮方法的依赖。我们在各种单一主题和多主题基准上实现最先进的结果。

有效地表示人体诸如人体之类的铰接物体是计算机视觉和图形中的重要问题。为了有效地模拟变形，现有方法使用多边形网格表示3D对象，并使用皮肤技术变形。本文介绍了神经表达的形状近似（NASA），这是一种替代框架，可以使用以姿势调节的神经指示函数有效地表示明显的可变形物体。使用NASA进行的占用测试是直接的，可以规定网格的复杂性和水紧身问题。我们证明了NASA对3D跟踪应用的有效性，并讨论了其他潜在扩展。

我们介绍DMTET，深度3D条件生成模型，可以使用诸如粗体素的简单用户指南来合成高分辨率3D形状。它通过利用新型混合3D表示来结婚隐式和显式3D表示的优点。与当前隐含的方法相比，培训涉及符号距离值，DMTET直接针对重建的表面进行了优化，这使我们能够用更少的伪像来合成更精细的几何细节。与直接生成诸如网格之类的显式表示的深度3D生成模型不同，我们的模型可以合成具有任意拓扑的形状。 DMTET的核心包括可变形的四面体网格，其编码离散的符号距离函数和可分行的行进Tetrahedra层，其将隐式符号距离表示转换为显式谱图表示。这种组合允许使用在表面网格上明确定义的重建和对抗性损耗来联合优化表面几何形状和拓扑以及生成细分层次结构。我们的方法显着优于来自粗体素输入的条件形状合成的现有工作，培训在复杂的3D动物形状的数据集上。项目页面：https://nv-tlabs.github.io/dmtet/

最近的工作建模3D开放表面培训深度神经网络以近似无符号距离字段（UDF）并隐含地代表形状。要将此表示转换为显式网格，它们要么使用计算上昂贵的方法来对表面的致密点云采样啮合，或者通过将其膨胀到符号距离字段（SDF）中来扭曲表面。相比之下，我们建议直接将深度UDFS直接以延伸行进立方体的开放表面，通过本地检测表面交叉。我们的方法是幅度的序列，比啮合致密点云，比膨胀开口表面更准确。此外，我们使我们的表面提取可微分，并显示它可以帮助稀疏监控信号。

本文介绍了一种新型的基于学习的服装变形方法，为各种动画中的各种形状佩戴的服装产生丰富和合理的详细变形。与现有的基于学习的方法相比，需要为不同的服装拓扑或姿势进行众多培训的型号，并且无法轻易实现丰富的细节，我们使用统一的框架有效且容易地产生高保真变形。为了解决预测受多源属性影响的变形的具有挑战性问题，我们提出了三种策略从新颖的角度来看。具体而言，我们首先发现衣服和身体之间的配合对折叠程度具有重要影响。然后，我们设计了一个属性解析器，以生成详细信息感知的编码并将它们注入图形神经网络，从而增强了各种属性下的细节的辨别。此外，为了实现更好的收敛并避免过度平稳变形，我们提出了输出重建以减轻学习任务的复杂性。实验结果表明，我们所提出的变形方法在泛化能力和细节质量方面实现了更好的现有方法。

Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.

We propose a differentiable sphere tracing algorithm to bridge the gap between inverse graphics methods and the recently proposed deep learning based implicit signed distance function. Due to the nature of the implicit function, the rendering process requires tremendous function queries, which is particularly problematic when the function is represented as a neural network. We optimize both the forward and backward passes of our rendering layer to make it run efficiently with affordable memory consumption on a commodity graphics card. Our rendering method is fully differentiable such that losses can be directly computed on the rendered 2D observations, and the gradients can be propagated backwards to optimize the 3D geometry. We show that our rendering method can effectively reconstruct accurate 3D shapes from various inputs, such as sparse depth and multi-view images, through inverse optimization. With the geometry based reasoning, our 3D shape prediction methods show excellent generalization capability and robustness against various noises. * Work done while Shaohui Liu was an academic guest at ETH Zurich.

微弱的物理是计算机视觉和机器人的强大工具，用于了解互动的场景理解和推理。现有方法经常被限于具有预先已知的简单形状或形状的物体。在本文中，我们提出了一种新的方法来具有摩擦触点的可分解物理学，其利用符号距离场（SDF）隐含地表示物理形状。我们的模拟即使涉及的形状为非凸形表示，也支持接触点计算。此外，我们提出了区分对象形状的动力学来利用基于梯度的方法来促进形状优化。在我们的实验中，我们证明我们的方法允许从轨迹和深度图像观察的诸如摩擦系数，质量，力或形状参数的物理参数的基于模型的推断，并且在几个具有挑战性的合成场景和真实图像序列中。

The recent neural implicit representation-based methods have greatly advanced the state of the art for solving the long-standing and challenging problem of reconstructing a discrete surface from a sparse point cloud. These methods generally learn either a binary occupancy or signed/unsigned distance field (SDF/UDF) as surface representation. However, all the existing SDF/UDF-based methods use neural networks to implicitly regress the distance in a purely data-driven manner, thus limiting the accuracy and generalizability to some extent. In contrast, we propose the first geometry-guided method for UDF and its gradient estimation that explicitly formulates the unsigned distance of a query point as the learnable affine averaging of its distances to the tangent planes of neighbouring points. Besides, we model the local geometric structure of the input point clouds by explicitly learning a quadratic polynomial for each point. This not only facilitates upsampling the input sparse point cloud but also naturally induces unoriented normal, which further augments UDF estimation. Finally, to extract triangle meshes from the predicted UDF we propose a customized edge-based marching cube module. We conduct extensive experiments and ablation studies to demonstrate the significant advantages of our method over state-of-the-art methods in terms of reconstruction accuracy, efficiency, and generalizability. The source code is publicly available at https://github.com/rsy6318/GeoUDF.

3D漫画是对人脸的夸张的3D描述。本文的目的是对紧凑的参数空间中的3D漫画的变化进行建模，以便我们可以为处理3D漫画变形提供有用的数据驱动工具包。为了实现目标，我们提出了一个基于MLP的框架，用于构建可变形的表面模型，该模型采用潜在代码并产生3D表面。在框架中，警笛MLP模拟了在固定模板表面上采用3D位置并返回输入位置的3D位移向量的函数。我们通过学习采用潜在代码并产生MLP参数的超网络来创建3D表面的变化。一旦了解到，我们的可变形模型为3D漫画提供了一个不错的编辑空间，支持基于标签的语义编辑和基于尖的基于尖的变形，这两者都产生了高度夸张和自然的3D讽刺形状。我们还展示了可变形模型的其他应用，例如自动3D漫画创建。

3D互动手重建对于促进人机互动和人类行为理解至关重要。以前的工作在此字段中依赖于辅助输入，例如深度图像，或者如果使用单目的RGB图像，则只能处理单手。当应用于紧密互动时，单手方法倾向于产生碰撞手网格，因为它们无法明确地模拟两只手之间的相互作用。在本文中，我们首次尝试重建从单眼单rgb图像的三维交互手。我们的方法可以通过精确的3D姿势和最小冲突生成3D手网格。这是通过两级框架实现的。具体地，第一阶段采用卷积神经网络来产生容忍碰撞但鼓励姿势准确的手网格的粗略预测。第二阶段通过一系列分解改进逐渐改善碰撞，同时保留3D姿势的精确性。考虑到效率和准确性之间的权衡，我们仔细研究了分解改进的潜在实现。大规模数据集的广泛定量和定性结果，例如Interwand2.6m，证明了所提出的方法的有效性。

在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战（例如噪声，异常值，自我结合等）挑战时，现有方法通常会显示出弱的弹性。另一方面，自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是，它们在\ emph {形状分析}中的使用受到限制。在本文中，我们介绍了一种基于自动码头框架的方法，该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场，并通过小说\ emph {签名距离正则化}（SDR）正规化点偏面的正规化，我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训，\ emph {没有}任何数据启发，我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。

最近，基于神经辐射场（NERF）的进步，在3D人类渲染方面取得了迅速的进展，包括新的视图合成和姿势动画。但是，大多数现有方法集中在特定于人的培训上，他们的培训通常需要多视频视频。本文涉及一项新的挑战性任务 - 为在培训中看不见的人提供新颖的观点和新颖的姿势，仅使用多视图图像作为输入。对于此任务，我们提出了一种简单而有效的方法，以训练具有多视图像作为条件输入的可推广的NERF。关键成分是结合规范NERF和体积变形方案的专用表示。使用规范空间使我们的方法能够学习人类的共享特性，并轻松地推广到不同的人。音量变形用于将规范空间与输入和目标图像以及查询图像特征连接起来，以进行辐射和密度预测。我们利用拟合在输入图像上的参数3D人类模型来得出变形，与我们的规范NERF结合使用，它在实践中效果很好。具有新的观点合成和构成动画任务的真实和合成数据的实验共同证明了我们方法的功效。