尽管3D形状表示能够在许多视觉和感知应用中实现强大的推理，但学习3D形状先验倾向于将其限制在培训的特定类别中，从而导致学习效率低下，尤其是对于具有看不见类别的一般应用。因此，我们提出了补丁程序，该贴片可以根据多分辨率的本地贴片来学习有效的形状先验，这些贴片通常比完整的形状（例如，椅子和桌子经常共享腿）更一般，因此可以对看不见的类别类别进行几何推理。为了学习这些共享的子结构，我们学习了所有火车类别的多分辨率补丁验证者，然后通过整个贴片研究人员的注意与输入部分形状观察相关联，并最终被解码为完整的形状重建。此类基于补丁的先验避免过度适合特定的火车类别，并在测试时间对完全看不见的类别进行重建。我们证明了方法对合成造型数据的有效性以及扫描仪的挑战的实扫描对象，包括噪音和混乱，在新型类别形状的完成状态下改善了塑形距离的新型类别形状的状态，并提高了19.3％扫描仪9.0％。

Our method completes a partial 3D scan using a 3D Encoder-Predictor network that leverages semantic features from a 3D classification network. The predictions are correlated with a shape database, which we use in a multi-resolution 3D shape synthesis step. We obtain completed high-resolution meshes that are inferred from partial, low-resolution input scans.

我们的方法从单个RGB-D观察中研究了以对象为中心的3D理解的复杂任务。由于这是一个不适的问题，因此现有的方法在3D形状和6D姿势和尺寸估计中都遭受了遮挡的复杂多对象方案的尺寸估计。我们提出了Shapo，这是一种联合多对象检测的方法，3D纹理重建，6D对象姿势和尺寸估计。 Shapo的关键是一条单杆管道，可回归形状，外观和构成潜在的代码以及每个对象实例的口罩，然后以稀疏到密集的方式进一步完善。首先学到了一种新颖的剖面形状和前景数据库，以将对象嵌入各自的形状和外观空间中。我们还提出了一个基于OCTREE的新颖的可区分优化步骤，使我们能够以分析的方式进一步改善对象形状，姿势和外观。我们新颖的联合隐式纹理对象表示使我们能够准确地识别和重建新颖的看不见的对象，而无需访问其3D网格。通过广泛的实验，我们表明我们的方法在模拟的室内场景上进行了训练，可以准确地回归现实世界中新颖物体的形状，外观和姿势，并以最小的微调。我们的方法显着超过了NOCS数据集上的所有基准，对于6D姿势估计，MAP的绝对改进为8％。项目页面：https：//zubair-irshad.github.io/projects/shapo.html

点云的语义场景重建是3D场景理解的必不可少的任务。此任务不仅需要识别场景中的每个实例，而且还需要根据部分观察到的点云恢复其几何形状。现有方法通常尝试基于基于检测的主链的不完整点云建议直接预测完整对象的占用值。但是，由于妨碍了各种检测到的假阳性对象建议以及对完整对象学习占用值的不完整点观察的歧义，因此该框架始终无法重建高保真网格。为了绕开障碍，我们提出了一个分离的实例网格重建（DIMR）框架，以了解有效的点场景。采用基于分割的主链来减少假阳性对象建议，这进一步使我们对识别与重建之间关系的探索有益。根据准确的建议，我们利用网状意识的潜在代码空间来解开形状完成和网格生成的过程，从而缓解了由不完整的点观测引起的歧义。此外，通过在测试时间访问CAD型号池，我们的模型也可以通过在没有额外训练的情况下执行网格检索来改善重建质量。我们用多个指标彻底评估了重建的网格质量，并证明了我们在具有挑战性的扫描仪数据集上的优越性。代码可在\ url {https://github.com/ashawkey/dimr}上获得。

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

从单视图重建3D形状是一个长期的研究问题。在本文中，我们展示了深度隐式地面网络，其可以通过预测底层符号距离场来从2D图像产生高质量的细节的3D网格。除了利用全局图像特征之外，禁止2D图像上的每个3D点的投影位置，并从图像特征映射中提取本地特征。结合全球和局部特征显着提高了符合距离场预测的准确性，特别是对于富含细节的区域。据我们所知，伪装是一种不断捕获从单视图图像中存在于3D形状中存在的孔和薄结构等细节的方法。 Disn在从合成和真实图像重建的各种形状类别上实现最先进的单视性重建性能。代码可在https://github.com/xharlie/disn提供补充可以在https://xharlie.github.io/images/neUrips_2019_Supp.pdf中找到补充

本文介绍了一种数据驱动的形状完成方法，该方法着重于完成3D形状缺失区域的几何细节。我们观察到，现有的生成方法缺乏训练数据和表示能力，可以通过复杂的几何形状和拓扑合成合理的，细粒度的细节。我们的关键见解是从部分输入复制和变形补丁以完成缺失区域。这使我们能够保留本地几何特征的风格，即使它与培训数据有很大不同。我们的全自动方法分为两个阶段。首先，我们学会从输入形状检索候选补丁。其次，我们选择并变形了一些检索到的候选者，以无缝将它们融合到完整的形状中。该方法结合了两种最常见的完成方法的优点：基于相似性的单稳定性完成，以及通过学习形状空间来完成。我们通过从部分输入中检索贴片来利用重复模式，并通过使用神经网络来指导检索和变形步骤来学习全球结构先验。实验结果表明，我们的方法在多个数据集和形状类别上的表现非常优于基线。代码和数据可在https://github.com/gitbosun/patchrd上找到。

我们基于最近普及的隐式神经形状表示，探索了从点云进行基于学习形状重建的新想法。我们将这个问题作为对特征空间中隐式神经签名距离函数的几次学习，我们使用基于梯度的元学习来处理。我们使用卷积编码器在给定输入点云的情况下构建特征空间。隐式解码器学会了预测此特征空间中表示的签名距离值。设置输入点云，即从目标形状函数的零级别设置中的样本，作为支持（即上下文）的少数学习术语的支持（即上下文），我们训练解码器，以便它可以通过使用该上下文的基础形状使其重新调整。几（5）个调整步骤。因此，我们首次同时结合了两种类型的隐式神经网络调节机制，即具有编码和元学习。我们的数值和定性评估表明，在稀疏点云中隐性重建的背景下，我们提出的策略，即在特征空间中的元学习，优于现有的替代方案，即特征空间中的标准监督学习，以及在欧几里得空间中的元学习。 ，同时仍提供快速推理。

了解单个图像的3D场景是各种任务的基础，例如用于机器人，运动规划或增强现实。来自单个RGB图像的3D感知的现有工作倾向于专注于几何重建，或用语义分割或实例分割的几何重建。受到2D Panoptic分割的启发，我们建议统一几何重建，3D语义分割和3D实例分段的任务，进入Panoptic 3D场景重建的任务 - 从单个RGB图像预测相机中场景的完整几何重建图像的截图，以及语义和实例分割。因此，我们为从单个RGB图像提出了一种全新3D场景的新方法，该方法学习从输入图像到达3D容量场景表示来升力和传播2D特征。我们证明，这种联合场景重建，语义和实例分割的整体视图是有益的，独立地处理任务，从而优于替代方法。

Training parts from ShapeNet. (b) t-SNE plot of part embeddings. (c) Reconstructing entire scenes with Local Implicit Grids Figure 1:We learn an embedding of parts from objects in ShapeNet [3] using a part autoencoder with an implicit decoder. We show that this representation of parts is generalizable across object categories, and easily scalable to large scenes. By localizing implicit functions in a grid, we are able to reconstruct entire scenes from points via optimization of the latent grid.

从单个视图中重建高质量的3D对象，从单个视图中的部分观测可能对计算机视觉，机器人和图形的各种应用来说至关重要。虽然最近的神经隐式建模方法显示了合成或密集数据的有希望的结果，但它们在稀疏和嘈杂的现实世界数据上表现不佳。我们发现流行的神经隐式模型的局限性是由于缺乏鲁棒形状的主管和缺乏适当的正则化。在这项工作中，我们展示了使用：（i）一个深度编码器作为形状潜在代码的鲁棒初始化器的深度编码器; （ii）正规化的测试时间优化潜在代码; （iii）以学习的高维形状为深度鉴别者; （iv）一种新颖的课程学习策略，允许模型学习合成数据的形状前瞻，并将其平稳地将它们转移到稀疏的现实世界数据。我们的方法更好地捕获了全局结构，在遮挡和稀疏观测上表现良好，并用地面真理形状良好寄存。我们在两个现实世界数据集上展示了最先进的3D对象重建方法的卓越性能。

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.

Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.

从单个2D图像推断3D位置和多个对象的形状是计算机视觉的长期目标。大多数现有的作品都预测这些3D属性之一或专注于解决单个对象。一个基本挑战在于如何学习适合3D检测和重建的图像的有效表示。在这项工作中，我们建议从输入图像中学习3D体素特征的常规网格，其通过3D特征升降操作员与3D场景空间对齐。基于3D体素特征，我们的新型中心-3D检测头在3D空间中配制了3D检测作为关键点检测。此外，我们设计了一种高效的粗致细重建模块，包括粗级体轴和新的本地PCA-SDF形状表示，其能够精细的细节重建和比现有方法更快地推理的阶数。通过3D检测和重建的互补监督，可以使3D体素特征成为几何和上下文保留，从而通过单个对象中的3D检测和重建来证明我们的方法的有效性和多个对象场景。

With the rising industrial attention to 3D virtual modeling technology, generating novel 3D content based on specified conditions (e.g. text) has become a hot issue. In this paper, we propose a new generative 3D modeling framework called Diffusion-SDF for the challenging task of text-to-shape synthesis. Previous approaches lack flexibility in both 3D data representation and shape generation, thereby failing to generate highly diversified 3D shapes conforming to the given text descriptions. To address this, we propose a SDF autoencoder together with the Voxelized Diffusion model to learn and generate representations for voxelized signed distance fields (SDFs) of 3D shapes. Specifically, we design a novel UinU-Net architecture that implants a local-focused inner network inside the standard U-Net architecture, which enables better reconstruction of patch-independent SDF representations. We extend our approach to further text-to-shape tasks including text-conditioned shape completion and manipulation. Experimental results show that Diffusion-SDF is capable of generating both high-quality and highly diversified 3D shapes that conform well to the given text descriptions. Diffusion-SDF has demonstrated its superiority compared to previous state-of-the-art text-to-shape approaches.

我们呈现圆圈，基于本地隐式符号距离函数的大规模场景完成和几何精致的框架。它基于端到端的稀疏卷积网络，Circnet，共同模拟局部几何细节和全局场景结构背景，使其能够在传统3D场景数据中恢复通常产生的缺失区域的同时保留细粒度的对象细节。一种新颖的可分解渲染模块，可以进行测试时间精制以获得更好的重建质量。对现实世界和合成数据集的广泛实验表明，我们的简明框架是高效且有效的，实现比最接近竞争对手更好的重建质量，同时速度更快。

隐式神经网络已成功用于点云的表面重建。然而，它们中的许多人面临着可扩展性问题，因为它们将整个对象或场景的异构面功能编码为单个潜在载体。为了克服这种限制，一些方法在粗略普通的3D网格或3D补丁上推断潜伏向量，并将它们插入以应对占用查询。在这样做时，它们可以与对象表面上采样的输入点进行直接连接，并且它们在空间中均匀地附加信息，而不是其最重要的信息，即在表面附近。此外，依赖于固定的补丁大小可能需要离散化调整。要解决这些问题，我们建议使用点云卷积并计算每个输入点的潜伏向量。然后，我们使用推断的权重在最近的邻居上执行基于学习的插值。对象和场景数据集的实验表明，我们的方法在大多数古典指标上显着优于其他方法，产生更精细的细节和更好的重建更薄的卷。代码可在https://github.com/valeoai/poco获得。

场景完成是从场景的部分扫描中完成缺失几何形状的任务。大多数以前的方法使用3D网格上的截断签名距离函数（T-SDF）计算出隐式表示，作为神经网络的输入。截断限制，但不会删除由非关闭表面符号引入的模棱两可的案例。作为替代方案，我们提出了一个未签名的距离函数（UDF），称为未签名的加权欧几里得距离（UWED）作为场景完成神经网络的输入表示。 UWED作为几何表示是简单而有效的，并且可以在任何点云上计算，而与通常的签名距离函数（SDF）相比，UWED不需要正常的计算。为了获得明确的几何形状，我们提出了一种从常规网格上离散的UDF值提取点云的方法。我们比较了从RGB-D和LIDAR传感器收集的室内和室外点云上的场景完成任务的不同SDF和UDFS，并使用建议的UWED功能显示了改进的完成。