我们提出了一种新的基于网格的学习方法（N-Cloth），适用于合理的3D布变形预测。我们的方法是通用的，可以处理具有任意拓扑的三角网格表示的布料或障碍物。我们使用Graph卷积将布料和对象网格转换为潜在空间以减少网格空间中的非线性。我们的网络可以基于初始布网格模板和目标障碍物网的状态来预测目标3D布网格变形。我们的方法可以处理复杂的布料网格，最高可达100美元的k三角形和场景，具有与SMPL人，非SMPL人或刚体相对应的各种对象。在实践中，我们的方法展示了连续输入框架之间的良好时间相干性，并且可用于在NVIDIA GeForce RTX 3090 GPU上以30-45美元的$ 30-45 $ FPS产生合理的布料模拟。我们突出了以前基于学习的方法和基于物理的布料模拟器的好处。

本文介绍了一种新型的基于学习的服装变形方法，为各种动画中的各种形状佩戴的服装产生丰富和合理的详细变形。与现有的基于学习的方法相比，需要为不同的服装拓扑或姿势进行众多培训的型号，并且无法轻易实现丰富的细节，我们使用统一的框架有效且容易地产生高保真变形。为了解决预测受多源属性影响的变形的具有挑战性问题，我们提出了三种策略从新颖的角度来看。具体而言，我们首先发现衣服和身体之间的配合对折叠程度具有重要影响。然后，我们设计了一个属性解析器，以生成详细信息感知的编码并将它们注入图形神经网络，从而增强了各种属性下的细节的辨别。此外，为了实现更好的收敛并避免过度平稳变形，我们提出了输出重建以减轻学习任务的复杂性。实验结果表明，我们所提出的变形方法在泛化能力和细节质量方面实现了更好的现有方法。

尽管最近取得了成功，但基于学习的深度学习方法用于预测身体运动下的3D服装变形，却遇到了服装与身体之间的互穿问题。为了解决这个问题，我们提出了一种新颖的碰撞处理神经网络层，称为排斥力单位（REFU）。根据基础主体的签名距离函数（SDF）和当前的服装顶点位置，Repu预测了将任何互穿顶点推向无冲突的配置，同时保留精细的几何学细节，这些偏移量将任何互穿顶点推向无冲突的配置。我们表明，RECU可以通过可训练的参数进行区分，并且可以集成到预测3D服装变形的不同网络骨架中。我们的实验表明，与基于碰撞损失或后处理优化的先前方法相比，相比，RECU可显着减少身体与服装之间的碰撞数量，并更好地保留几何细节。

动画字符上的现实动态服装具有许多AR/VR应用程序。在创作这种动态服装几何形状仍然是一项具有挑战性的任务时，数据驱动的模拟提供了一个有吸引力的替代方案，尤其是如果可以简单地使用基础字符的运动来控制它。在这项工作中，我们专注于动态3D服装，尤其是对于松散的服装。在数据驱动的设置中，我们首先学习了合理服装几何形状的生成空间。然后，我们学会了对该空间的映射，以捕获运动依赖的动态变形，该变形在服装的先前状态以及相对于基础体的相对位置为条件。从技术上讲，我们通过在服装的规范状态下预测富含框架依赖的皮肤重量的服装状态下的人均局部位移来对服装动力学进行建模，从而将服装带入全球空间。我们通过预测剩余的局部位移来解决所有剩余的人均碰撞。所得的服装几何形状被用作历史记录，以实现迭代推出预测。我们证明了对看不见的身体形状和运动输入的合理概括，并在多个最新的替代方案中显示出改进。

我们提出了一个基于网格的神经网络（MESH2IR），以生成使用网格代表的室内3D场景的声脉冲响应（IRS）。国税局用于在交互式应用程序和音频处理中创建高质量的声音体验。我们的方法可以处理具有任意拓扑结构（2K -3M三角形）的输入三角网格。我们提出了一种新颖的训练技术，可以使用能量衰减缓解培训网格2IR并突出其优势。我们还表明，使用我们提出的技术对IRS进行预处理的培训MESH2IR可显着提高IR发电的准确性。我们通过使用图形卷积网络将3D场景网格转换为潜在空间，从而降低了网格空间中的非线性性。我们的网格2IR比CPU上的几何声学算法快200倍以上，并且在给定的室内3D场景中，在NVIDIA GEFORCE RTX 2080 TI GPU上可以在NVIDIA GEFORCE RTX 2080 TI GPU上产生10,000多个IRS。声学指标用于表征声学环境。我们表明，从我们的网格2IR中预测的IRS的声学指标与地面真相相匹配，误差少于10％。我们还强调了Mesh2ir对音频和语音处理应用的好处，例如语音覆盖和语音分离。据我们所知，我们的是第一种基于神经网络的方法，可以实时预测给定的3D场景网格。

我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

尽管最近在开发动画全身化身方面取得了进展，但服装的现实建模（人类自我表达的核心方面之一）仍然是一个开放的挑战。最先进的物理模拟方法可以以交互速度产生现实行为的服装几何形状。但是，建模光真逼真的外观通常需要基于物理的渲染，这对于交互式应用来说太昂贵了。另一方面，数据驱动的深度外观模型能够有效地产生逼真的外观，但在合成高度动态服装的几何形状和处理具有挑战性的身体套构型方面挣扎。为此，我们通过对服装的明确建模介绍了姿势驱动的化身，这些化身表现出逼真的服装动力学和从现实世界数据中学到的逼真的外观。关键的想法是引入一个在显式几何形状之上运行的神经服装外观模型：在火车时，我们使用高保真跟踪，而在动画时期，我们依靠物理模拟的几何形状。我们的关键贡献是一个具有物理启发的外观网络，能够生成具有视图依赖性和动态阴影效果的影像逼真的外观，即使对于看不见的身体透明构型也是如此。我们对我们的模型进行了彻底的评估，并在几种受试者和不同类型的衣服上展示了不同的动画结果。与以前关于影迷全身化身的工作不同，我们的方法甚至可以为宽松的衣服产生更丰富的动力和更现实的变形。我们还证明，我们的配方自然允许服装与不同人的头像一起使用，同时保持完全动画，因此首次可以采用新颖的衣服来实现逼真的化身。

新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

We propose a method that leverages graph neural networks, multi-level message passing, and unsupervised training to enable real-time prediction of realistic clothing dynamics. Whereas existing methods based on linear blend skinning must be trained for specific garments, our method is agnostic to body shape and applies to tight-fitting garments as well as loose, free-flowing clothing. Our method furthermore handles changes in topology (e.g., garments with buttons or zippers) and material properties at inference time. As one key contribution, we propose a hierarchical message-passing scheme that efficiently propagates stiff stretching modes while preserving local detail. We empirically show that our method outperforms strong baselines quantitatively and that its results are perceived as more realistic than state-of-the-art methods.

我们为姿势传输任务提供了一种定制的3D网格变压器模型。随着3D姿势转移基本上是依赖于给定网格的变形过程，这项工作的直觉是在具有强大的自我关注机制之间感知给定网格之间的几何不一致。具体而言，我们提出了一种新的几何对比变压器，其具有高效的3D结构感知能力，对给定网格的全局几何不一致。此外，在本地，进一步提出了一种简单但高效的中央测地对比损失，以改善区域几何不一致学习。最后，我们将潜在的等距正则化模块与新的半合成数据集一起呈现，用于跨DataSet 3D姿势传输任务对未知空间。大规模的实验结果证明了我们对SMPL-NPT，浮点和新建议的数据集SMG-3D数据集的最新定量表演的效果，以及在MG布和SMAL数据集中有前途的定性结果。结果证明，我们的方法可以实现鲁棒3D姿势传输，并且广泛地挑战来自跨数据集任务的未知空间的网格。代码和数据集可用。代码可用：https://github.com/mikecheninoulu/cgt。

我们介绍了PhysxNet，一种基于学习的方法来预测可佩戴这些衣服的人类的3D骨架运动序列的可变形衣服的动态。该拟议的模型适用于各种各样的服装和改变拓扑，而无需被烫伤。这种模拟通常由需要手动人类专业知识的物理发动机进行，并且由计算密集的计算进行。相比之下，PhysXNet是一种完全可差的深网络，在推理时能够估计毫秒的致密布网格的几何形状，因此，可以容易地部署为更大的深度学习架构层。由于我们考虑的衣服的特定参数，基于编码空间服装位移的3D UV地图，因此实现了这种效率。然后将该问题制定为人类运动学空间（也由脱衣服的身体网的3D UV地图表示）进入衣服位移UV地图之间的映射，我们使用具有实施可行变形的鉴别器的鉴别器来学习。我们同时训练我们的三种服装模板，顶部，底部和连衣裙，我们模拟了50个不同人类行为的变形。尽管如此，我们认为的UV地图表示允许封装许多不同的布拓扑，并且在测试时，即使我们没有专门为他们训练，我们也可以模拟服装。彻底的评估表明，PhysxNet在非常接近使用物理发动机计算的布变形，打开门，以有效地集成在Deeplearning管道内。

3D漫画是对人脸的夸张的3D描述。本文的目的是对紧凑的参数空间中的3D漫画的变化进行建模，以便我们可以为处理3D漫画变形提供有用的数据驱动工具包。为了实现目标，我们提出了一个基于MLP的框架，用于构建可变形的表面模型，该模型采用潜在代码并产生3D表面。在框架中，警笛MLP模拟了在固定模板表面上采用3D位置并返回输入位置的3D位移向量的函数。我们通过学习采用潜在代码并产生MLP参数的超网络来创建3D表面的变化。一旦了解到，我们的可变形模型为3D漫画提供了一个不错的编辑空间，支持基于标签的语义编辑和基于尖的基于尖的变形，这两者都产生了高度夸张和自然的3D讽刺形状。我们还展示了可变形模型的其他应用，例如自动3D漫画创建。

Recent approaches to drape garments quickly over arbitrary human bodies leverage self-supervision to eliminate the need for large training sets. However, they are designed to train one network per clothing item, which severely limits their generalization abilities. In our work, we rely on self-supervision to train a single network to drape multiple garments. This is achieved by predicting a 3D deformation field conditioned on the latent codes of a generative network, which models garments as unsigned distance fields. Our pipeline can generate and drape previously unseen garments of any topology, whose shape can be edited by manipulating their latent codes. Being fully differentiable, our formulation makes it possible to recover accurate 3D models of garments from partial observations -- images or 3D scans -- via gradient descent. Our code will be made publicly available.

对于场景重建和新型视图综合的数量表示形式的普及最近，人们的普及使重点放在以高视觉质量和实时为实时的体积内容动画上。尽管基于学习功能的隐性变形方法可以产生令人印象深刻的结果，但它们是艺术家和内容创建者的“黑匣子”，但它们需要大量的培训数据才能有意义地概括，并且在培训数据之外不会产生现实的外推。在这项工作中，我们通过引入实时的音量变形方法来解决这些问题，该方法是实时的，易于使用现成的软件编辑，并且可以令人信服地推断出来。为了证明我们方法的多功能性，我们将其应用于两种情况：基于物理的对象变形和触发性，其中使用Blendshapes控制着头像。我们还进行了彻底的实验，表明我们的方法与两种体积方法相比，结合了基于网格变形的隐式变形和方法。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

基于深度学习的人网格重建方法具有构建更大网络的趋势，以实现更高的准确性。尽管是人网格重建模型的实际使用的关键特征，但往往忽略了计算复杂性和模型大小（例如，虚拟试用系统）。在本文中，我们呈现GTR，这是一种基于轻量级的姿势的方法，可以从2D人类姿势重建人网。我们提出了一种姿势分析模块，它使用曲线图形是利用结构化和隐式的关节相关性，以及将提取的姿势特征与网格模板组合以重建最终人体网格的网格回归模块。我们通过对人类3.6M和3DPW数据集进行广泛的评估，展示了GTR的效率和泛化。特别是，GTRS比SOTA姿势的方法POSE2MESH实现了更好的精度，同时仅使用10.2％的参数（PARAMS）和2.5％的跨越式3DPW数据集。代码将公开。

现有的数据驱动方法用于披上姿势的人体，尽管有效，但无法处理任意拓扑的服装，并且通常不是端到端的。为了解决这些局限性，我们提出了一条端到端可区分管道，该管道用隐式表面表示服装，并学习以铰接式身体模型的形状和姿势参数为条件的皮肤场。为了限制身体的插入和人工制品，我们提出了一种解释意识的训练数据的预处理策略和新颖的训练损失，在覆盖服装的同时惩罚了自身交流。我们证明，我们的方法可以针对最新方法产生更准确的结果和变形。此外，我们表明我们的方法凭借其端到端的可不同性，可以从图像观察中共同恢复身体和服装参数，这是以前的工作无法做到的。

社会VR，绩效捕获和虚拟试验的领域通常面临着忠实地在虚拟世界中重现真正的服装。一项关键的任务是由于织物特性，物理力和与身体接触而导致的固有服装形状不构成形状。我们建议使用一种逼真而紧凑的服装描述来促进固有的服装形状估计。另一个主要挑战是该域中的形状和设计多样性。 3D服装深度学习的最常见方法是为单个服装或服装类型建立专门的模型。我们认为，为各种服装设计建立统一的模型具有对新型服装类型的概括的好处，因此涵盖了比单个模型更大的设计领域。我们介绍了Neuraltailor，这是一种基于点级的新型架构，以可变的基数为基础回归，并将其应用于从3D点重建2D服装缝制模式的任务，可以使用服装模型。我们的实验表明，NeuralTailor成功地重建了缝纫模式，并将其推广到训练过程中未见模式拓扑的服装类型。

生成数字人类，现实地具有许多应用，并且被广泛研究，但现有的方法专注于身体的主要肢体，忽略了手和头部。手已经分开研究，但重点是在产生现实的静态爪子上。要综合与世界互动的虚拟字符，我们需要同时生成全身运动和现实手掌。两个子问题都是挑战自己，在一起，姿势的状态空间显着更大，手和身体运动的尺度不同，而且整体姿势和手柄必须同意，满足身体限制，以及是合理的。此外，头部涉及，因为化身必须查看对象与它交互。我们第一次解决了生成一个抓住未知物体的头像的全身，手和头部运动的问题。作为输入，我们的方法，称为目标，采用3D对象，其位置和起始3D身体姿势和形状。目标使用两种新颖的网络输出一系列全身姿势。首先，GNET通过现实的身体，头部，臂和手姿势产生目标全体掌握，以及手对象接触。其次，MNET生成起始和目标姿势之间的运动。这是具有挑战性的，因为它需要头像与脚踏接触朝向物体走向物体，将头部向朝向它朝向它，伸出伸展，并用现实的手姿势和手工触点抓住它。为了实现这一网络，网络利用组合SMPL-X身体参数和3D顶点偏移的表示。我们在标准数据集上培训和评估目标，定性和定量。结果表明，目标概括了不佳的对象，表现优于基线。目标是迈向综合现实的全身对象掌握。