我们认为人类变形转移问题，目标是在不同角色之间的零件姿势。解决此问题的传统方法需要清晰的姿势定义，并使用此定义在字符之间传输姿势。在这项工作中，我们采取了不同的方法，将角色的身份转换为新的身份，而无需修改角色的姿势。这提供了不必在3D人类姿势之间定义等效性的优点，这在姿势往往会根据执行它们的角色的身份而变化并不简单，并且由于它们的含义是高度上下文的。为了实现变形转移，我们提出了一种神经编码器 - 解码器架构，其中仅编码身份信息以及解码器在姿势上调节的位置。我们使用姿势独立表示，例如等距 - 不变形状特征，以表示身份特征。我们的模型使用这些功能来监督从变形姿势的偏移预测到转移结果。我们通过实验展示了我们的方法优于最先进的方法，定量和定性，并且更好地推广在训练期间没有看到。我们还介绍了一个微调步骤，可以为极端身份获得竞争力的结果，并允许转移简单的衣服。

我们为姿势传输任务提供了一种定制的3D网格变压器模型。随着3D姿势转移基本上是依赖于给定网格的变形过程，这项工作的直觉是在具有强大的自我关注机制之间感知给定网格之间的几何不一致。具体而言，我们提出了一种新的几何对比变压器，其具有高效的3D结构感知能力，对给定网格的全局几何不一致。此外，在本地，进一步提出了一种简单但高效的中央测地对比损失，以改善区域几何不一致学习。最后，我们将潜在的等距正则化模块与新的半合成数据集一起呈现，用于跨DataSet 3D姿势传输任务对未知空间。大规模的实验结果证明了我们对SMPL-NPT，浮点和新建议的数据集SMG-3D数据集的最新定量表演的效果，以及在MG布和SMAL数据集中有前途的定性结果。结果证明，我们的方法可以实现鲁棒3D姿势传输，并且广泛地挑战来自跨数据集任务的未知空间的网格。代码和数据集可用。代码可用：https://github.com/mikecheninoulu/cgt。

The goal of 3D pose transfer is to transfer the pose from the source mesh to the target mesh while preserving the identity information (e.g., face, body shape) of the target mesh. Deep learning-based methods improved the efficiency and performance of 3D pose transfer. However, most of them are trained under the supervision of the ground truth, whose availability is limited in real-world scenarios. In this work, we present X-DualNet, a simple yet effective approach that enables unsupervised 3D pose transfer. In X-DualNet, we introduce a generator $G$ which contains correspondence learning and pose transfer modules to achieve 3D pose transfer. We learn the shape correspondence by solving an optimal transport problem without any key point annotations and generate high-quality meshes with our elastic instance normalization (ElaIN) in the pose transfer module. With $G$ as the basic component, we propose a cross consistency learning scheme and a dual reconstruction objective to learn the pose transfer without supervision. Besides that, we also adopt an as-rigid-as-possible deformer in the training process to fine-tune the body shape of the generated results. Extensive experiments on human and animal data demonstrate that our framework can successfully achieve comparable performance as the state-of-the-art supervised approaches.

在本文中，我们展示了Facetunegan，一种新的3D面部模型表示分解和编码面部身份和面部表情。我们提出了对图像到图像翻译网络的第一次适应，该图像已经成功地用于2D域，到3D面几何。利用最近释放的大面扫描数据库，神经网络已经过培训，以便与面部更好的了解，使面部表情转移和中和富有效应面的变异因素。具体而言，我们设计了一种适应基础架构的对抗架构，并使用Spiralnet ++进行卷积和采样操作。使用两个公共数据集（FACESCAPE和COMA），Facetunegan具有比最先进的技术更好的身份分解和面部中和。它还通过预测较近地面真实数据的闪烁形状并且由于源极和目标之间的面部形态过于不同的面部形态而越来越多的不期望的伪像来优异。

3D姿势传输是最具挑战性的3D生成任务之一。它旨在将源网的姿势传递到目标网格，并保持目标网格的身份（例如，体形）。某些以前的作品需要关键点注释来构建源网格和目标网格之间的可靠对应，而其他方法不考虑源和目标之间的任何形状对应，这导致了有限的发电质量。在这项工作中，我们提出了一种通信细化网络，以帮助为人类和动物网格进行3D姿势转移。首先通过解决最佳运输问题来建立源网和目标网格之间的对应关系。然后，我们根据密集的对应探讨源网格并获得粗糙的翘曲网格。通过我们提出的弹性实例标准化，翘曲的网格将更好地精制，这是一个条件归一化层，可以帮助产生高质量网格。广泛的实验结果表明，所提出的架构可以有效地将源从源转移到目标网格，并提供比最先进的方法满意的视觉性能更好的结果。

动画字符上的现实动态服装具有许多AR/VR应用程序。在创作这种动态服装几何形状仍然是一项具有挑战性的任务时，数据驱动的模拟提供了一个有吸引力的替代方案，尤其是如果可以简单地使用基础字符的运动来控制它。在这项工作中，我们专注于动态3D服装，尤其是对于松散的服装。在数据驱动的设置中，我们首先学习了合理服装几何形状的生成空间。然后，我们学会了对该空间的映射，以捕获运动依赖的动态变形，该变形在服装的先前状态以及相对于基础体的相对位置为条件。从技术上讲，我们通过在服装的规范状态下预测富含框架依赖的皮肤重量的服装状态下的人均局部位移来对服装动力学进行建模，从而将服装带入全球空间。我们通过预测剩余的局部位移来解决所有剩余的人均碰撞。所得的服装几何形状被用作历史记录，以实现迭代推出预测。我们证明了对看不见的身体形状和运动输入的合理概括，并在多个最新的替代方案中显示出改进。

我们建议使用点云上的几何感知体系结构，考虑到学习局部结构的数据局部结构，以学习数据的局部结构，以学习数据的局部结构，以了解数据的局部结构，并使用点云上的几何感知体系结构来学习数据的局部结构，以考虑到局部数据结构。估计时间一致的3D变形，而无需在训练时间，通过利用周期一致性来进行密集的对应关系。除了学习密集对应的能力外，GNPM还可以实现潜在空间操作，例如插值和形状/姿势转移。我们在各种衣服的人类数据集上评估了GNPM，并表明它与需要在训练过程中需要密集对应的最新方法相当。

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

在这项工作中，我们解决了4D面部表情生成的问题。通常，通过对中性3D面动画来达到表达峰，然后回到中立状态来解决这一问题。但是，在现实世界中，人们表现出更复杂的表情，并从一个表达式转换为另一种表达。因此，我们提出了一个新模型，该模型在不同表达式之间产生过渡，并综合了长长的4D表达式。这涉及三个子问题：（i）建模表达式的时间动力学，（ii）它们之间的学习过渡，以及（iii）变形通用网格。我们建议使用一组3D地标的运动编码表达式的时间演变，我们学会通过训练一个具有歧管值的gan（Motion3dgan）来生成。为了允许生成组成的表达式，该模型接受两个编码起始和结尾表达式的标签。网格的最终顺序是由稀疏的2块网格解码器（S2D-DEC）生成的，该解码器将地标位移映射到已知网格拓扑的密集，每位vertex位移。通过明确处理运动轨迹，该模型完全独立于身份。五个公共数据集的广泛实验表明，我们提出的方法在以前的解决方案方面带来了重大改进，同时保留了良好的概括以看不见数据。

在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型，将可能的身体的空间限制在线性组合。近来，一些方法才试图利用人体建模的神经隐式表示，同时展示令人印象深刻的结果，它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中，我们提出了一种用于人体的新型神经隐含表示，其具有完全可分辨：无戒开的形状和姿势潜在空间的优化。与事先工作相反，我们的代表是基于运动模型设计的，这使得可以为姿势动画等任务提供可控制的表示，同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整，直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能，并显示了我们的方法来形状插值，模型拟合，姿势跟踪和运动重新定位的适用性。

在面孔和机构的3D生成模型中学习解除一致，可解释和结构化的潜在代表仍然是一个开放的问题。当需要对身份特征的控制时，问题特别严重。在本文中，我们提出了一种直观但有效的自我监督方法来训练3D形变形自动化器（VAE），鼓励身份特征的解开潜在表示。通过在不同形状上交换任意特征来造成迷你批处理允许定义利用潜在表示中已知差异和相似性的损耗功能。在3D网眼上进行的实验结果表明，最先进的潜在解剖学方法无法解散面部和身体的身份特征。我们所提出的方法适当地解耦了这些特征的产生，同时保持了良好的表示和重建能力。

我们呈现Hipnet，一个在许多姿势的多个科目上培训的神经隐式姿势网络。HIPNET可以从姿势特定的细节中解散特定主题细节，有效地使我们能够从一个受试者到另一个受试者的retrarget运动，或通过潜在空间插值在关键帧之间设置动画。为此，我们采用基于分层的基于骨架的表示，以便在规范的未浮现空间上学习符号距离功能。这种基于联合的分解使我们能够代表本地围绕身体关节周围的空间的细微细节。与以前的神经隐式方法不同，需要基础真实SDF进行培训，我们的模型我们只需要一个构成的骨架和点云进行培训，我们没有对传统的参数模型或传统的剥皮方法的依赖。我们在各种单一主题和多主题基准上实现最先进的结果。

在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战（例如噪声，异常值，自我结合等）挑战时，现有方法通常会显示出弱的弹性。另一方面，自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是，它们在\ emph {形状分析}中的使用受到限制。在本文中，我们介绍了一种基于自动码头框架的方法，该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场，并通过小说\ emph {签名距离正则化}（SDR）正规化点偏面的正规化，我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训，\ emph {没有}任何数据启发，我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

为了使3D人的头像广泛可用，我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状，复杂的关节和由此产生的丰富，随机几何细节，这项任务是挑战的挑战。因此，目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中，我们提出了一种新的方法，这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言，我们设计了一个多主题前进的剥皮模块，这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性，我们利用对抗的侵害制定，鼓励模型捕获潜在统计数据。我们提供了经验证据，这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外，我们表明我们的方法可以用于拟合人类模型到原始扫描的任务，优于以前的最先进。

Recent approaches to drape garments quickly over arbitrary human bodies leverage self-supervision to eliminate the need for large training sets. However, they are designed to train one network per clothing item, which severely limits their generalization abilities. In our work, we rely on self-supervision to train a single network to drape multiple garments. This is achieved by predicting a 3D deformation field conditioned on the latent codes of a generative network, which models garments as unsigned distance fields. Our pipeline can generate and drape previously unseen garments of any topology, whose shape can be edited by manipulating their latent codes. Being fully differentiable, our formulation makes it possible to recover accurate 3D models of garments from partial observations -- images or 3D scans -- via gradient descent. Our code will be made publicly available.

人类性能捕获是一种非常重要的计算机视觉问题，在电影制作和虚拟/增强现实中具有许多应用。许多以前的性能捕获方法需要昂贵的多视图设置，或者没有恢复具有帧到帧对应关系的密集时空相干几何。我们提出了一种新颖的深度致密人体性能捕获的深层学习方法。我们的方法是基于多视图监督的弱监督方式培训，完全删除了使用3D地面真理注释的培训数据的需求。网络架构基于两个单独的网络，将任务解散为姿势估计和非刚性表面变形步骤。广泛的定性和定量评估表明，我们的方法在质量和稳健性方面优于现有技术。这项工作是DeepCAP的扩展版本，在那里我们提供更详细的解释，比较和结果以及应用程序。

本文介绍了一种新型的基于学习的服装变形方法，为各种动画中的各种形状佩戴的服装产生丰富和合理的详细变形。与现有的基于学习的方法相比，需要为不同的服装拓扑或姿势进行众多培训的型号，并且无法轻易实现丰富的细节，我们使用统一的框架有效且容易地产生高保真变形。为了解决预测受多源属性影响的变形的具有挑战性问题，我们提出了三种策略从新颖的角度来看。具体而言，我们首先发现衣服和身体之间的配合对折叠程度具有重要影响。然后，我们设计了一个属性解析器，以生成详细信息感知的编码并将它们注入图形神经网络，从而增强了各种属性下的细节的辨别。此外，为了实现更好的收敛并避免过度平稳变形，我们提出了输出重建以减轻学习任务的复杂性。实验结果表明，我们所提出的变形方法在泛化能力和细节质量方面实现了更好的现有方法。

我们提出了一种新的基于网格的学习方法（N-Cloth），适用于合理的3D布变形预测。我们的方法是通用的，可以处理具有任意拓扑的三角网格表示的布料或障碍物。我们使用Graph卷积将布料和对象网格转换为潜在空间以减少网格空间中的非线性。我们的网络可以基于初始布网格模板和目标障碍物网的状态来预测目标3D布网格变形。我们的方法可以处理复杂的布料网格，最高可达100美元的k三角形和场景，具有与SMPL人，非SMPL人或刚体相对应的各种对象。在实践中，我们的方法展示了连续输入框架之间的良好时间相干性，并且可用于在NVIDIA GeForce RTX 3090 GPU上以30-45美元的$ 30-45 $ FPS产生合理的布料模拟。我们突出了以前基于学习的方法和基于物理的布料模拟器的好处。

Spectral geometric methods have brought revolutionary changes to the field of geometry processing. Of particular interest is the study of the Laplacian spectrum as a compact, isometry and permutation-invariant representation of a shape. Some recent works show how the intrinsic geometry of a full shape can be recovered from its spectrum, but there are approaches that consider the more challenging problem of recovering the geometry from the spectral information of partial shapes. In this paper, we propose a possible way to fill this gap. We introduce a learning-based method to estimate the Laplacian spectrum of the union of partial non-rigid 3D shapes, without actually computing the 3D geometry of the union or any correspondence between those partial shapes. We do so by operating purely in the spectral domain and by defining the union operation between short sequences of eigenvalues. We show that the approximated union spectrum can be used as-is to reconstruct the complete geometry [MRC*19], perform region localization on a template [RTO*19] and retrieve shapes from a database, generalizing ShapeDNA [RWP06] to work with partialities. Working with eigenvalues allows us to deal with unknown correspondence, different sampling, and different discretizations (point clouds and meshes alike), making this operation especially robust and general. Our approach is data-driven and can generalize to isometric and non-isometric deformations of the surface, as long as these stay within the same semantic class (e.g., human bodies or horses), as well as to partiality artifacts not seen at training time.