物理产品通常是复杂的组件，组合计算机辅助设计（CAD）软件中建模的多个3D零件。CAD Designers通过使用称为关节的约束对齐各个部件来构建这些程序集。在本文中，我们介绍了可连接，一种基于学习的方法，可以将部件组合在一起以形成关节。可加入使用标准参数CAD文件中提供的弱监管，而无需对象类标签或人类指导。我们的研究结果表明，通过对实体模型的图表表示进行网络预测，我们可以优于多种基线方法，精度（79.53％）接近人类性能（80％）。最后，为了支持未来的研究，我们释放了Fusion 360 Gallery集合数据集，其中包含了具有关于关节，接触表面，孔和底层装配图结构的丰富信息的程序集。

我们描述了我们使用对CAD表示的深度学习来推断机械组件中交配部分之间的自由度的工作。我们使用由CAD零件和配偶将它们组成的大型实际机械组件的大型数据集训练我们的模型。我们提出了重新定义这些伴侣的方法，以使它们更好地反映组件的运动，并缩小可能的运动轴。我们还进行了一项用户研究，以创建具有更可靠标签的运动声音测试集。

成功的材料选择对于设计和制造产品的设计自动化至关重要。设计师通过通过性能，制造性和可持续性评估选择最合适的材料来利用他们的知识和经验来创建高质量的设计。智能工具可以通过提供从先前的设计中学到的建议来帮助具有不同专业知识的设计师。为了实现这一目标，我们介绍了一个图表表示学习框架，该框架支持组装中身体的物质预测。我们将材料选择任务作为节点级预测任务，对CAD模型的汇编图表示，并使用图形神经网络（GNN）对其进行处理。在Fusion 360画廊数据集上执行的三个实验协议的评估表明我们的方法的可行性，达到了0.75 TOP-3 Micro-F1分数。提出的框架可以扩展到大型数据集，并将设计师的知识纳入学习过程。这些功能使该框架可以作为设计自动化的推荐系统以及未来工作的基准，从而缩小了人类设计师与智能设计代理之间的差距。

制造物体的3D模型对于填充虚拟世界和视觉和机器人技术的合成数据很重要。为了最有用，应该阐明此类对象：它们的部分应在与之互动时移动。尽管存在铰接式对象数据集，但创建它们是劳动密集型的。基于学习的零件动作预测可以有所帮助，但是所有现有方法都需要带注释的培训数据。在本文中，我们提出了一种无监督的方法，用于发现部分分段的3D形状集合中的铰接运动。我们的方法基于我们称之为闭合的概念：对象的部分的任何有效表达都应将对象保留在同一语义类别中（例如，椅子保持椅子）。我们使用一种算法来实现此概念，该算法优化了形状的零件运动参数，从而可以转换为集合中的其他形状。我们通过使用Partnet-Mobility数据集重新发现零件动作来评估我们的方法。对于几乎所有形状类别，我们方法的预测运动参数在地面真实注释方面的错误较低，表现优于两种监督运动预测方法。

3D反向工程是一个备受追捧的人，但在计算机辅助设计（CAD）行业中却没有完全实现。目的是恢复CAD模型的施工历史。从CAD模型的边界表示（B-REP）开始，本文提出了一个新的深神经网络CADOPS-NET，该网络共同学习了CAD操作类型和分解为不同的CAD操作步骤。这种联合学习允许将B-REP划分为在同一施工步骤中由各种CAD操作创建的部分；因此，提供相关信息以进一步恢复设计历史记录。此外，我们提出了新颖的CC3D-OPS数据集，其中包括带有CAD操作类型标签和步骤标签注释的37K $ CAD型号。与现有数据集相比，CC3D-OPS模型的复杂性和种类更接近用于工业目的的模型。我们对拟议的CC3D-OPS和公开融合360数据集进行的实验证明了Cadops-NET相对于最先进的竞争性能，并确认了CAD操作类型和步骤联合学习的重要性。

新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。

社会VR，绩效捕获和虚拟试验的领域通常面临着忠实地在虚拟世界中重现真正的服装。一项关键的任务是由于织物特性，物理力和与身体接触而导致的固有服装形状不构成形状。我们建议使用一种逼真而紧凑的服装描述来促进固有的服装形状估计。另一个主要挑战是该域中的形状和设计多样性。 3D服装深度学习的最常见方法是为单个服装或服装类型建立专门的模型。我们认为，为各种服装设计建立统一的模型具有对新型服装类型的概括的好处，因此涵盖了比单个模型更大的设计领域。我们介绍了Neuraltailor，这是一种基于点级的新型架构，以可变的基数为基础回归，并将其应用于从3D点重建2D服装缝制模式的任务，可以使用服装模型。我们的实验表明，NeuralTailor成功地重建了缝纫模式，并将其推广到训练过程中未见模式拓扑的服装类型。

反向工程从其他表示形式进行的CAD形状是许多下游应用程序的重要几何处理步骤。在这项工作中，我们介绍了一种新型的神经网络体系结构，以解决这项具有挑战性的任务，并使用可编辑，受约束的棱镜CAD模型近似平滑的签名距离函数。在训练过程中，我们的方法通过将形状分解为一系列2D轮廓图像和1D包膜函数来重建体素空间中的输入几何形状。然后可以以不同的方式重新组合这些，以允许定义几何损失函数。在推断期间，我们通过首先搜索2D约束草图的数据库来获取CAD数据，以找到近似配置文件图像的曲线，然后将它们挤出并使用布尔操作来构建最终的CAD模型。我们的方法比其他方法更接近目标形状，并输出与现有CAD软件兼容的高度可编辑的约束参数草图。

我们通过执行基于接触的推理，提供了一种形状部分插槽机，一种用于组装来自现有部件的新型3D形状。我们的方法表示每个形状作为“槽”的图形，其中每个槽是两个形状部件之间的接触区域。基于此表示，我们设计了一种基于图形 - 神经网络的模型，用于生成新的插槽图和检索兼容部分，以及基于梯度 - 下降的优化方案，用于将检索到的部分组装成尊重所生成的完整形状插槽图。这种方法不需要任何语义部分标签;有趣的是，它还不需要完整的部分几何形状 - 推理零件连接的区域足以产生新颖的，高质量的3D形状。我们展示了我们的方法在质量，多样性和结构复杂性方面产生了优于现有的逐个拟合方法的形状。

SMPL（SMPL）的参数3D身体模型仅代表最小衣服的人，并且很难扩展到衣服，因为它们具有固定的网格拓扑和分辨率。为了解决这些局限性，最近的工作使用隐式表面或点云来建模衣服。虽然不受拓扑的限制，但这种方法仍然很难为偏离身体的偏离的衣服建模，例如裙子和连衣裙。这是因为他们依靠身体来通过将衣服表面放置为参考形状。不幸的是，当衣服远离身体时，这个过程的定义很差。此外，他们使用线性混合剥皮来摆姿势，并将皮肤重量与下面的身体部位绑在一起。相比之下，我们在没有规范化的情况下对局部坐标空间中的衣服变形进行了建模。我们还放松皮肤重量以使多个身体部位影响表面。具体而言，我们用粗糙的阶段扩展了基于点的方法，该方法用学习的姿势独立的“粗大形状”代替了规范化，该方法可以捕获裙子（如裙子）的粗糙表面几何形状。然后，我们使用一个网络来完善该网络，该网络会渗透到粗糙表示中的线性混合剥皮权重和姿势依赖的位移。该方法适合符合身体并偏离身体的服装。我们通过从示例中学习特定于人的化身，然后展示如何以新的姿势和动作来展示它们的有用性。我们还表明，该方法可以直接从原始扫描中学习缺少数据，从而大大简化了创建逼真的化身的过程。代码可用于研究目的，可在{\ small \ url {https://qianlim.github.io/skirt}}中使用。

Assembly planning is the core of automating product assembly, maintenance, and recycling for modern industrial manufacturing. Despite its importance and long history of research, planning for mechanical assemblies when given the final assembled state remains a challenging problem. This is due to the complexity of dealing with arbitrary 3D shapes and the highly constrained motion required for real-world assemblies. In this work, we propose a novel method to efficiently plan physically plausible assembly motion and sequences for real-world assemblies. Our method leverages the assembly-by-disassembly principle and physics-based simulation to efficiently explore a reduced search space. To evaluate the generality of our method, we define a large-scale dataset consisting of thousands of physically valid industrial assemblies with a variety of assembly motions required. Our experiments on this new benchmark demonstrate we achieve a state-of-the-art success rate and the highest computational efficiency compared to other baseline algorithms. Our method also generalizes to rotational assemblies (e.g., screws and puzzles) and solves 80-part assemblies within several minutes.

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

我们研究了将人类设计师创建的基于图像的，逐步组装手册转换为机器可解剖说明的问题。我们将此问题提出为顺序预测任务：在每个步骤中，我们的模型都读取手册，将要添加到当前形状中的组件定位，并注入其3D姿势。此任务构成了在手动图像和实际3D对象之间建立2D-3D对应关系的挑战，以及对看不见的3D对象的3D姿势估计，因为要在步骤中添加的新组件可以是从前一个步骤中构建的对象。为了应对这两个挑战，我们提出了一个基于学习的新型框架，即手动到执行计划网络（MEPNET），该网络（MEPNET）从一系列手动图像中重建了组装步骤。关键思想是将神经2D关键点检测模块和2D-3D投影算法进行高精度预测和强有力的概括为看不见的组件。 MEPNET在三个新收集的乐高手册数据集和Minecraft House数据集上优于现有方法。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

在本文中，我们介绍一种方法来自动重建与来自单个RGB视频相互作用的人的3D运动。我们的方法估计人的3D与物体姿势，接触位置和施加在人体上的接触力的姿势。这项工作的主要贡献是三倍。首先，我们介绍一种通过建模触点和相互作用的动态来联合估计人与人的运动和致动力的方法。这是一个大规模的轨迹优化问题。其次，我们开发一种方法来从输入视频自动识别，从输入视频中识别人和物体或地面之间的2D位置和时序，从而显着简化了优化的复杂性。第三，我们在最近的视频+ Mocap数据集上验证了捕获典型的Parkour行动的方法，并在互联网视频的新数据集上展示其表现，显示人们在不受约束的环境中操纵各种工具。

人类对象与铰接物体的相互作用在日常生活中很普遍。尽管单视图3D重建方面取得了很多进展，但从RGB视频中推断出一个铰接的3D对象模型仍然具有挑战性，显示一个人操纵对象的人。我们从RGB视频中划定了铰接的3D人体对象相互作用重建的任务，并对这项任务进行了五个方法家族的系统基准：3D平面估计，3D Cuboid估计，CAD模型拟合，隐式现场拟合以及自由 - 自由 - 形式网状配件。我们的实验表明，即使提供了有关观察到的对象的地面真相信息，所有方法也难以获得高精度结果。我们确定使任务具有挑战性的关键因素，并为这项具有挑战性的3D计算机视觉任务提出指示。短视频摘要https://www.youtube.com/watch?v=5talkbojzwc

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

希望启用能够自动组装的机器人。对物体部件的结构理解在这项任务中起着至关重要的作用，但仍未探索。在本文中，我们专注于从一组零件几何形状组中设置家具组件的设置，这实质上是一个六型零件姿势估计问题。我们提出了一个基于多层变压器的框架，该框架涉及零件之间的几何和关系推理，以迭代地更新零件。我们仔细设计了一个独特的实例编码，以解决几何相似零件之间的歧义，以便可以区分所有零件。除了从头开始组装外，我们还将我们的框架扩展到一个名为“进程零件组件”的新任务。类似于家具维护，它要求机器人继续使用未完成的产品，并将其余部分组装成适当的位置。我们的方法在公共Partnet数据集上的多个指标中的最新指标比当前的最新指标取得了10％以上。广泛的实验和定量比较证明了所提出的框架的有效性。

我们的工作重点是开发人类姿势的可学习神经代表，用于先进的AI辅助动画工具。具体而言，我们解决了基于稀疏和可变的用户输入（例如，身体关节子集的位置和/或方向）构建完整静态人姿势的问题。为了解决这个问题，我们提出了一种新型的神经结构，将残留连接与部分指定姿势编码的原型结合在一起，以从学习的潜在空间中创建一个新的完整姿势。我们表明，在准确性和计算效率方面，我们的体系结构的表现优于基准基线。此外，我们开发了一个用户界面，以将我们的神经模型集成到Unity，这是一个实时3D开发平台。此外，我们基于高质量的人类运动捕获数据，介绍了代表静态人类姿势建模问题的两个新数据集，该数据将与模型代码一起公开发布。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。