制造物体的3D模型对于填充虚拟世界和视觉和机器人技术的合成数据很重要。为了最有用，应该阐明此类对象：它们的部分应在与之互动时移动。尽管存在铰接式对象数据集，但创建它们是劳动密集型的。基于学习的零件动作预测可以有所帮助，但是所有现有方法都需要带注释的培训数据。在本文中，我们提出了一种无监督的方法，用于发现部分分段的3D形状集合中的铰接运动。我们的方法基于我们称之为闭合的概念：对象的部分的任何有效表达都应将对象保留在同一语义类别中（例如，椅子保持椅子）。我们使用一种算法来实现此概念，该算法优化了形状的零件运动参数，从而可以转换为集合中的其他形状。我们通过使用Partnet-Mobility数据集重新发现零件动作来评估我们的方法。对于几乎所有形状类别，我们方法的预测运动参数在地面真实注释方面的错误较低，表现优于两种监督运动预测方法。

人类对象与铰接物体的相互作用在日常生活中很普遍。尽管单视图3D重建方面取得了很多进展，但从RGB视频中推断出一个铰接的3D对象模型仍然具有挑战性，显示一个人操纵对象的人。我们从RGB视频中划定了铰接的3D人体对象相互作用重建的任务，并对这项任务进行了五个方法家族的系统基准：3D平面估计，3D Cuboid估计，CAD模型拟合，隐式现场拟合以及自由 - 自由 - 形式网状配件。我们的实验表明，即使提供了有关观察到的对象的地面真相信息，所有方法也难以获得高精度结果。我们确定使任务具有挑战性的关键因素，并为这项具有挑战性的3D计算机视觉任务提出指示。短视频摘要https://www.youtube.com/watch?v=5talkbojzwc

在这项工作中，我们解决了共同跟踪手对象姿势并从野外深度点云序列重建形状的具有挑战性，HandTrackNet，以估计框架间的手动运动。我们的HandTrackNet提出了一个新型的手姿势构成典型化模块，以简化跟踪任务，从而产生准确且稳健的手工关节跟踪。然后，我们的管道通过将预测的手关节转换为基于模板的参数手模型mano来重建全手。对于对象跟踪，我们设计了一个简单而有效的模块，该模块从第一帧估算对象SDF并执行基于优化的跟踪。最后，采用联合优化步骤执行联合手和物体推理，从而减轻了闭塞引起的歧义并进一步完善了手姿势。在训练过程中，整个管道仅看到纯粹的合成数据，这些数据与足够的变化并通过深度模拟合成，以易于概括。整个管道与概括差距有关，因此可以直接传输到真实的野外数据。我们在两个真实的手对象交互数据集上评估我们的方法，例如HO3D和DEXYCB，没有任何填充。我们的实验表明，所提出的方法显着优于先前基于深度的手和对象姿势估计和跟踪方法，以9 fps的帧速率运行。

作为自治机器人的互动和导航在诸如房屋之类的真实环境中，可靠地识别和操纵铰接物体，例如门和橱柜是有用的。在对象铰接识别中许多先前的作品需要通过机器人或人类操纵物体。虽然最近的作品已经解决了从视觉观测的预测，但他们经常假设根据其运动约束的铰接部件移动的类别级运动模型或观察序列的先验知识。在这项工作中，我们提出了Formnet，是一种神经网络，该神经网络识别来自RGB-D图像和分段掩模的单帧对象部分的对象部分之间的铰接机制。从6个类别的149个铰接对象的100K合成图像培训网络培训。通过具有域随机化的光保护模拟器呈现合成图像。我们所提出的模型预测物体部件的运动残余流动，并且这些流量用于确定铰接类型和参数。该网络在训练有素的类别中的新对象实例上实现了82.5％的铰接式分类精度。实验还展示了该方法如何实现新颖类别的泛化，并且在没有微调的情况下应用于现实世界图像。

Recovering the skeletal shape of an animal from a monocular video is a longstanding challenge. Prevailing animal reconstruction methods often adopt a control-point driven animation model and optimize bone transforms individually without considering skeletal topology, yielding unsatisfactory shape and articulation. In contrast, humans can easily infer the articulation structure of an unknown animal by associating it with a seen articulated character in their memory. Inspired by this fact, we present CASA, a novel Category-Agnostic Skeletal Animal reconstruction method consisting of two major components: a video-to-shape retrieval process and a neural inverse graphics framework. During inference, CASA first retrieves an articulated shape from a 3D character assets bank so that the input video scores highly with the rendered image, according to a pretrained language-vision model. CASA then integrates the retrieved character into an inverse graphics framework and jointly infers the shape deformation, skeleton structure, and skinning weights through optimization. Experiments validate the efficacy of CASA regarding shape reconstruction and articulation. We further demonstrate that the resulting skeletal-animated characters can be used for re-animation.

控制铰接对象时控制其姿势对于电影虚拟现实或动画等应用至关重要。然而，操纵对象的姿势需要了解其基础结构，即其关节以及它们如何互相互动。不幸的是，假设要知道的结构，因为现有方法所做的，排除了在新的对象类别上工作的能力。我们建议通过观察它们从多个视图移动，没有额外的监督，例如联合注释或有关该结构的信息，从而了解先前看不见的对象的外观和结构。我们的洞察力是，相对于彼此移动的相邻部件必须通过接头连接。为了利用这一观察，我们将3D的物体部分塑造为椭圆体，这使我们能够识别关节。我们将这种明确表示与隐式的表示，该显式表示可以补偿引入的近似值。我们表明我们的方法为不同的结构，从四足动物到单臂机器人到人类工作。

有效地表示人体诸如人体之类的铰接物体是计算机视觉和图形中的重要问题。为了有效地模拟变形，现有方法使用多边形网格表示3D对象，并使用皮肤技术变形。本文介绍了神经表达的形状近似（NASA），这是一种替代框架，可以使用以姿势调节的神经指示函数有效地表示明显的可变形物体。使用NASA进行的占用测试是直接的，可以规定网格的复杂性和水紧身问题。我们证明了NASA对3D跟踪应用的有效性，并讨论了其他潜在扩展。

建筑环境中许多物体的形状由他们与人体的关系决定：一个人将如何与这个对象进行互动？ 3D形状的现有数据驱动的生成模型产生合理的物体，但不会理由对人体的那些物体的关系。在本文中，我们学习了3D形状的身体感知生成模型。具体而言，我们培养椅子的生成型号，一种无处不在的形状类别，可以在给定的身体形状或坐姿姿势调节。身体形状调节的型号生产椅子，为具有给定体形的人舒适;姿势调节模型生产适应坐姿的椅子。要训​​练这些模型，我们定义了“坐姿匹配”度量标准和小说“坐姿舒适”度量。计算这些指标需要昂贵的优化将身体置于椅子上，这太慢被用作用于训练生成模型的损耗功能。因此，我们训练神经网络以有效地近似这些度量。我们使用我们的方法培训三个身体感知生成形状模型：基于结构的零件的发电机，点云发生器和隐式表面发生器。在所有情况下，我们的方法都生产适应其输出椅形状以输入人体规格的型号。

铰接的物体在日常生活中很丰富。发现它们的部位，关节和运动学对于机器人与这些物体相互作用至关重要。我们从Action（SFA）引入结构，该框架通过一系列推断相互作用来发现3D部分的几何形状和未看到的表达对象的关节参数。我们的主要见解是，应考虑构建3D明显的CAD模型的3D相互作用和感知，尤其是在训练过程中未见的类别的情况下。通过选择信息丰富的交互，SFA发现零件并揭示最初遮挡的表面，例如封闭抽屉的内部。通过在3D中汇总视觉观测，SFA可以准确段段多个部分，重建零件几何形状，并在规范坐标框架中渗透所有关节参数。我们的实验表明，在模拟中训练的单个SFA模型可以推广到具有未知运动结构和现实世界对象的许多看不见的对象类别。代码和数据将公开可用。

最近的工作取得了令人印象深刻的进展，从单眼颜色图像中联合重建手和操纵物体。现有的方法着重于两个替代表示，以参数网格或签名的距离字段（SDF）。一方面，参数模型可以以有限的形状变形和网格分辨率的成本从先验知识中受益。因此，网格模型可能无法精确地重建细节，例如手和物体的接触表面。另一方面，基于SDF的方法可以代表任意细节，但缺乏明确的先验。在这项工作中，我们旨在使用参数表示提供的PRIOR来改善SDF模型。特别是，我们提出了一个联合学习框架，该框架可以解散姿势和形状。我们从参数模型中获取手和对象摆姿势，并使用它们在3D空间中对齐SDF。我们表明，这种对齐的SDF可以更好地专注于重建形状细节，并提高手和物体的重建精度。我们评估了我们的方法，并在挑战性的OBMAN和DEXYCB基准方面证明了对最新技术的显着改善。

我们呈现Hipnet，一个在许多姿势的多个科目上培训的神经隐式姿势网络。HIPNET可以从姿势特定的细节中解散特定主题细节，有效地使我们能够从一个受试者到另一个受试者的retrarget运动，或通过潜在空间插值在关键帧之间设置动画。为此，我们采用基于分层的基于骨架的表示，以便在规范的未浮现空间上学习符号距离功能。这种基于联合的分解使我们能够代表本地围绕身体关节周围的空间的细微细节。与以前的神经隐式方法不同，需要基础真实SDF进行培训，我们的模型我们只需要一个构成的骨架和点云进行培训，我们没有对传统的参数模型或传统的剥皮方法的依赖。我们在各种单一主题和多主题基准上实现最先进的结果。

物理产品通常是复杂的组件，组合计算机辅助设计（CAD）软件中建模的多个3D零件。CAD Designers通过使用称为关节的约束对齐各个部件来构建这些程序集。在本文中，我们介绍了可连接，一种基于学习的方法，可以将部件组合在一起以形成关节。可加入使用标准参数CAD文件中提供的弱监管，而无需对象类标签或人类指导。我们的研究结果表明，通过对实体模型的图表表示进行网络预测，我们可以优于多种基线方法，精度（79.53％）接近人类性能（80％）。最后，为了支持未来的研究，我们释放了Fusion 360 Gallery集合数据集，其中包含了具有关于关节，接触表面，孔和底层装配图结构的丰富信息的程序集。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

在这项工作中，我们探索在野外重建手对象交互。这个问题的核心挑战是缺乏适当的3D标记数据。为了克服这个问题，我们提出了一种基于优化的程序，该过程不需要直接的3D监督。我们采用的一般策略是利用所有可用的相关数据（2D边界框，2D手键盘，2D实例掩码，3D对象模型，实验室Mocap）为3D重建提供约束。我们不是单独优化手和对象，我们共同优化它们，这使我们能够基于手动对象触点，碰撞和遮挡来施加额外的约束。我们的方法在史诗厨房和100天的手中数据集中产生令人信服的重建，跨越一系列对象类别。定量地，我们证明我们的方法对现有的实验室设置中的现有方法有利地进行了比较，其中地面真理3D注释提供。

我们呈现FURTIT，这是一种简单的3D形状分割网络的高效学习方法。FURTIT基于自我监督的任务，可以将3D形状的表面分解成几何基元。可以很容易地应用于用于3D形状分割的现有网络架构，并提高了几张拍摄设置中的性能，因为我们在广泛使用的ShapEnet和Partnet基准中展示。FISHIT在这种环境中优于现有的现有技术，表明对基元的分解是在学习对语义部分预测的陈述之前的有用。我们提出了许多实验，改变了几何基元和下游任务的选择，以证明该方法的有效性。

铰接物对象在日常生活中普遍存在。然而，由于内在的高DOF结构，铰接物的关节状态很难估计。为了模拟铰接物体，应考虑两种形状变形即几何和姿势变形。在这项工作中，我们提出了一种具有铰接变形（OMAD）的特定于对象模型的专用类别参数表示，以显式模拟铰接对象。在OMAD中，类别与具有共享形状的线性形状函数与非线性接合功能相关联。这两个函数都可以从大型对象模型数据集中学习并固定为特定于类别的前瞻。然后，我们提出了一个OMADNet，以预测来自对象的单个观察的形状参数和关节状态。通过对象形状和联合状态的完整表示，我们可以解决多种任务，包括类别级对象姿势估计和铰接对象检索。为了评估这些任务，我们根据Partnet-Mobility创建一个合成数据集。广泛的实验表明，我们的简单OMADNet可以作为两个任务的强基线。

我们的方法从单个RGB-D观察中研究了以对象为中心的3D理解的复杂任务。由于这是一个不适的问题，因此现有的方法在3D形状和6D姿势和尺寸估计中都遭受了遮挡的复杂多对象方案的尺寸估计。我们提出了Shapo，这是一种联合多对象检测的方法，3D纹理重建，6D对象姿势和尺寸估计。 Shapo的关键是一条单杆管道，可回归形状，外观和构成潜在的代码以及每个对象实例的口罩，然后以稀疏到密集的方式进一步完善。首先学到了一种新颖的剖面形状和前景数据库，以将对象嵌入各自的形状和外观空间中。我们还提出了一个基于OCTREE的新颖的可区分优化步骤，使我们能够以分析的方式进一步改善对象形状，姿势和外观。我们新颖的联合隐式纹理对象表示使我们能够准确地识别和重建新颖的看不见的对象，而无需访问其3D网格。通过广泛的实验，我们表明我们的方法在模拟的室内场景上进行了训练，可以准确地回归现实世界中新颖物体的形状，外观和姿势，并以最小的微调。我们的方法显着超过了NOCS数据集上的所有基准，对于6D姿势估计，MAP的绝对改进为8％。项目页面：https：//zubair-irshad.github.io/projects/shapo.html

在本文中，我们将3D点云的古典表示作为线性形状模型。我们的主要洞察力是利用深度学习，代表一种形状的集合，作为低维线性形状模型的仿射变换。每个线性模型的特征在于形状原型，低维形状基础和两个神经网络。网络以输入点云作为输入，并在线性基础中预测形状的坐标和最能近似输入的仿射变换。使用单一的重建损耗来学习线性模型和神经网络的结束。我们方法的主要优点是，与近期学习基于特征的复杂形状表示的许多深度方法相比，我们的模型是显式的，并且在3D空间中发生每个操作。结果，我们的线性形状模型可以很容易地可视化和注释，并且可以在视觉上了解故障情况。虽然我们的主要目标是引入紧凑且可解释的形状收集表示，但我们表明它导致最新的最先进结果对几次射击分割。

在两个非辅助变形形状之间建立对应关系是视觉计算中最根本的问题之一。当对现实世界中的挑战（例如噪声，异常值，自我结合等）挑战时，现有方法通常会显示出弱的弹性。另一方面，自动描述器在学习几何学上有意义的潜在嵌入方面表现出强大的表现力。但是，它们在\ emph {形状分析}中的使用受到限制。在本文中，我们介绍了一种基于自动码头框架的方法，该方法在固定模板上学习了一个连续形状的变形字段。通过监督点在表面上的变形场，并通过小说\ emph {签名距离正则化}（SDR）正规化点偏面的正规化，我们学习了模板和Shape \ Emph {卷}之间的对齐。经过干净的水密网眼培训，\ emph {没有}任何数据启发，我们证明了在受损的数据和现实世界扫描上表现出令人信服的性能。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。