多年来,3D形状抽象引起了极大的兴趣。除了诸如网格和体素之类的低级表示外,研究人员还试图用基本的几何原始素来抽象的语义上抽象的复杂对象。最近的深度学习方法在很大程度上依赖于数据集,而一般性的一般性有限。此外,准确地将对象抽象为少数原始物仍然是一个挑战。在本文中,我们提出了一种新型的非参数贝叶斯统计方法来推断从点云中推断出由未知数的几何原始物组成的抽象。我们将点的生成模拟为从高斯超质锥模型(GSTM)的无限混合物采样的观测值。我们的方法将抽象作为聚类问题提出,其中:1)通过中国餐厅过程(CRP)将每个点分配给集群; 2)针对每个集群优化了原始表示形式,3)合并后制品合并以提供简洁的表示。我们在两个数据集上进行了广泛的实验。结果表明,我们的方法在准确性方面优于最先进的方法,并且可以推广到各种类型的对象。
translated by 谷歌翻译
在计算机愿景中已经研究了具有基本几何基元的对象。在几何原语中,超级助理性是众所周知的,其简单的隐式表达式和能力表示具有少数参数的各种形状。然而,作为第一个和最重要的步骤,从3D数据准确且强大地恢复超级助理仍然仍然具有挑战性。现有方法受到本地最佳的影响,并且对现实世界方案中的噪声和异常值敏感,导致捕获几何形状频繁失败。在本文中,我们提出了从点云中恢复超级化的第一种概率方法。我们的方法在超级式的参数表面上构建了高斯均匀的混合物模型(GUM),其明确地模拟了异常值和噪声的产生。超级恢复被制定为最大似然估计(MLE)问题。我们提出了一种算法,期望,最大化和切换(EMS)来解决这个问题,其中:(1)从后视角预测异常值; (2)SuperQuadric参数由信任区域反射算法进行优化; (3)通过在编码类似SuperQuadrics的参数之间进行全局搜索和切换,避免了本地Optima。我们表明我们的方法可以扩展到复杂对象的多叠加恢复。所提出的方法在合成和现实世界数据集的准确性,效率和鲁棒性方面优于最先进的。代码将被释放。
translated by 谷歌翻译
我们呈现FURTIT,这是一种简单的3D形状分割网络的高效学习方法。FURTIT基于自我监督的任务,可以将3D形状的表面分解成几何基元。可以很容易地应用于用于3D形状分割的现有网络架构,并提高了几张拍摄设置中的性能,因为我们在广泛使用的ShapEnet和Partnet基准中展示。FISHIT在这种环境中优于现有的现有技术,表明对基元的分解是在学习对语义部分预测的陈述之前的有用。我们提出了许多实验,改变了几何基元和下游任务的选择,以证明该方法的有效性。
translated by 谷歌翻译
Figure 1. Given input as either a 2D image or a 3D point cloud (a), we automatically generate a corresponding 3D mesh (b) and its atlas parameterization (c). We can use the recovered mesh and atlas to apply texture to the output shape (d) as well as 3D print the results (e).
translated by 谷歌翻译
我们提出了一个Point2cyl,一个监督网络将原始3D点云变换到一组挤出缸。从原始几何到CAD模型的逆向工程是能够在形状编辑软件中操纵3D数据的重要任务,从而在许多下游应用中扩展其使用。特别地,具有挤出圆柱序列的CAD模型的形式 - 2D草图加上挤出轴和范围 - 以及它们的布尔组合不仅广泛应用于CAD社区/软件,而且相比具有很大的形状表现性具有有限类型的基元(例如,平面,球形和汽缸)。在这项工作中,我们介绍了一种神经网络,通过首先学习底层几何代理来解决挤出汽缸分解问题的挤出圆柱分解问题。精确地,我们的方法首先预测每点分割,基础/桶标签和法线,然后估计可分离和闭合形式配方中的底层挤出参数。我们的实验表明,我们的方法展示了两个最近CAD数据集,融合画廊和Deepcad上的最佳性能,我们进一步展示了逆向工程和编辑的方法。
translated by 谷歌翻译
近年来,由于其表达力和灵活性,神经隐式表示在3D重建中获得了普及。然而,神经隐式表示的隐式性质导致缓慢的推理时间并且需要仔细初始化。在本文中,我们重新审视经典且无处不在的点云表示,并使用泊松表面重建(PSR)的可分辨率配方引入可分化的点对网格层,其允许给予定向的GPU加速的指示灯的快速解决方案点云。可微分的PSR层允许我们通过隐式指示器字段有效地和分散地桥接与3D网格的显式3D点表示,从而实现诸如倒角距离的表面重建度量的端到端优化。因此,点和网格之间的这种二元性允许我们以面向点云表示形状,这是显式,轻量级和富有表现力的。与神经内隐式表示相比,我们的形状 - 点(SAP)模型更具可解释,轻量级,并通过一个级别加速推理时间。与其他显式表示相比,如点,补丁和网格,SA​​P产生拓扑无关的水密歧管表面。我们展示了SAP对无知点云和基于学习的重建的表面重建任务的有效性。
translated by 谷歌翻译
最近对隐含形状表示的兴趣日益增长。与明确的陈述相反,他们没有解决局限性,他们很容易处理各种各样的表面拓扑。为了了解这些隐式表示,电流方法依赖于一定程度的形状监督(例如,内部/外部信息或距离形状知识),或者至少需要密集点云(以近似距离 - 到 - 到 - 形状)。相比之下,我们介绍{\方法},一种用于学习形状表示的自我监督方法,从可能极其稀疏的点云。就像在水牛的针问题一样,我们在点云上“掉落”(样本)针头,认为,静统计地靠近表面,针端点位于表面的相对侧。不需要形状知识,点云可以高稀疏,例如,作为车辆获取的Lidar点云。以前的自我监督形状表示方法未能在这种数据上产生良好的结果。我们获得定量结果与现有的形状重建数据集上现有的监督方法标准,并在Kitti等硬自动驾驶数据集中显示有前途的定性结果。
translated by 谷歌翻译
Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.
translated by 谷歌翻译
本文通过学习的基于零件的自相似性解决了无监督的零件感知点云产生的问题。我们的SPA-VAE可为任何给定物体提供一组潜在的典型候选形状,以及每种此类候选形状的一组刚体转换,以在组装的对象中为一个或多个位置。通过这种方式,可以有效地组合在表面上的嘈杂样品,以估计单腿原型。当原始数据中存在基于零件的自相似性时,以这种方式共享数据会赋予许多优势:建模准确性,适当的自相似生成输出,闭塞的精确填充和模型简约。 Spa-vae是使用各种贝叶斯方法的端到端训练的,该方法使用Gumbel-Softmax Trick进行共享零件分配,并提供各种新颖的损失,以提供适当的电感偏见。对塑料的定量和定性分析证明了SPA-VAE的优势。
translated by 谷歌翻译
Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.
translated by 谷歌翻译
Implicit shape representations, such as Level Sets, provide a very elegant formulation for performing computations involving curves and surfaces. However, including implicit representations into canonical Neural Network formulations is far from straightforward. This has consequently restricted existing approaches to shape inference, to significantly less effective representations, perhaps most commonly voxels occupancy maps or sparse point clouds.To overcome this limitation we propose a novel formulation that permits the use of implicit representations of curves and surfaces, of arbitrary topology, as individual layers in Neural Network architectures with end-to-end trainability. Specifically, we propose to represent the output as an oriented level set of a continuous and discretised embedding function. We investigate the benefits of our approach on the task of 3D shape prediction from a single image and demonstrate its ability to produce a more accurate reconstruction compared to voxel-based representations. We further show that our model is flexible and can be applied to a variety of shape inference problems.
translated by 谷歌翻译
三维(3D)建筑模型在许多现实世界应用中发挥着越来越竞触的作用,同时获得紧凑的建筑物的表现仍然是一个公开的问题。在本文中,我们提出了一种从点云中重建紧凑,水密的多边形建筑模型的新框架。我们的框架包括三个组件:(a)通过自适应空间分区生成一个单元复合物,该分区提供了作为候选集的多面体嵌入; (b)由深度神经网络学习隐式领域,促进建立占用估计; (c)配制马尔可夫随机场,通过组合优化提取建筑物的外表面。我们在形状重建,表面逼近和几何简化中评估和比较我们的最先进方法的方法。综合性和现实世界点云的实验表明,通过我们的神经引导策略,可以获得高质量的建筑模型,在保真度,紧凑性和计算效率方面具有显着的优势。我们的方法显示了对噪声和测量不足的鲁棒性,并且可以从合成扫描到现实世界测量中直接概括。
translated by 谷歌翻译
基于单个草图图像重建3D形状是由于稀疏,不规则的草图和常规,密集的3D形状之间的较大域间隙而具有挑战性的。现有的作品尝试采用从草图提取的全局功能来直接预测3D坐标,但通常会遭受失去对输入草图不忠心的细节。通过分析3D到2D投影过程,我们注意到表征2D点云分布的密度图(即,投影平面每个位置的点的概率)可以用作代理,以促进该代理重建过程。为此,我们首先通过图像翻译网络将草图翻译成一个更有信息的2D表示,可用于生成密度映射。接下来,通过两个阶段的概率采样过程重建一个3D点云:首先通过对密度映射进行采样,首先恢复2D点(即X和Y坐标);然后通过在每个2D点确定的射线处采样深度值来预测深度​​(即Z坐标)。进行了广泛的实验,定量和定性结果都表明,我们提出的方法显着优于其他基线方法。
translated by 谷歌翻译
深层隐式功能在各种3D计算机视觉任务中显示出显着的形状建模能力。一个缺点是,他们很难将3D形状表示为多个部分。当前的解决方案学习了各种原语,并直接在空间空间中融合了原语,这些原始物仍难以准确近似3D形状。为了解决这个问题,我们引入了一种新颖的隐式表示,以将单个3D形状表示为潜在空间中的一组零件,以高度准确和可解释的形状建模。我们在这里的洞察力是,在潜在空间中,零件学习和零件混合都比在空间空间中容易得多。我们将我们的方法命名为潜在分区隐式(LPI),因为它可以将全局形状建模施放到多个局部零件建模中,从而将全局形状统一分开。 LPI使用表面代码表示形状作为签名距离函数(SDF)。每个表面代码都是一个潜在代码,代表中心位于表面上的部分,这使我们能够灵活采用形状的内在属性或其他表面属性。最终,LPI可以重建形状和形状上的部分,它们都是合理的网格。 LPI是一种多级表示,可以在训练后将形状划分为不同数量的零件。可以在没有地面真相签名的距离,点正常或任何部分分区监督的情况下学习LPI。从重建精度和建模可解释性方面,LPI的表现优于广泛使用基准下的最新方法。我们的代码,数据和模型可在https://github.com/chenchao15/lpi上获得。
translated by 谷歌翻译
给定日常工件,例如桌子和椅子,人类识别其中的高级规律性,例如桌子的对称性,腿的重复,同时拥有低级的几何学,例如,表面是平稳的,边缘是光滑的,边缘是光滑的。锋利。这种知识构成了人类感知理解和推理的重要组成部分。在这种知识中的表现以及如何推理,以及其获取的习得仍然是人工智能(AI)和认知科学中的开放问题。基于\ emph {3D形状程序}的先前建议,单独使用\ citet {tian2019llear}的随附的神经发电机和执行者,我们提出了一个分析性但可不同的执行者,在解释形状程序中更忠实,可以控制外推)和更有效的样本效率(不需要培训)。当无法获得地面真理程序时,这些促进了发电机的学习,当人类设计师或 - 在图书馆学习的背景下,当新的形状编程组件被录入时,应该特别有用。关于使用它进行适应的初步实验说明了所提出的模块的上述优势,鼓励在建筑机器中探索类似的方法,这些方法学会通过上述知识来推理推理,甚至学习这些知识本身。
translated by 谷歌翻译
从点云中自动创建几何模型在CAD(例如,逆向工程,制造,组装)中具有许多应用,并且通常在形状建模和处理中。给定一个代表人造对象的分段点云,我们提出了一种识别简单几何原语及其相互关系的方法。我们的方法基于Hough Transform(HT),以应对噪音,缺失零件和离群值的能力。在我们的方法中,我们介绍了一种用于处理分段点云的新技术,该技术通过投票程序能够提供表征每种原始类型的几何参数的初始估计。通过使用这些估计值,我们将对最佳解决方案的搜索定位在尺寸还原的参数空间中,从而使将HT扩展到比文献(即平面和球体中通常发现的)更有效。然后,我们提取了许多以唯一特征段的几何描述符,并且根据这些描述符,我们展示了如何汇总原语(段)(段)。对合成和工业扫描的实验揭示了原始拟合方法的鲁棒性及其在推断细分之间关系的有效性。
translated by 谷歌翻译
With the advent of deep neural networks, learning-based approaches for 3D reconstruction have gained popularity. However, unlike for images, in 3D there is no canonical representation which is both computationally and memory efficient yet allows for representing high-resolution geometry of arbitrary topology. Many of the state-of-the-art learningbased 3D reconstruction approaches can hence only represent very coarse 3D geometry or are limited to a restricted domain. In this paper, we propose Occupancy Networks, a new representation for learning-based 3D reconstruction methods. Occupancy networks implicitly represent the 3D surface as the continuous decision boundary of a deep neural network classifier. In contrast to existing approaches, our representation encodes a description of the 3D output at infinite resolution without excessive memory footprint. We validate that our representation can efficiently encode 3D structure and can be inferred from various kinds of input. Our experiments demonstrate competitive results, both qualitatively and quantitatively, for the challenging tasks of 3D reconstruction from single images, noisy point clouds and coarse discrete voxel grids. We believe that occupancy networks will become a useful tool in a wide variety of learning-based 3D tasks.
translated by 谷歌翻译
深层隐式表面在建模通用形状方面表现出色,但并不总是捕获制造物体中存在的规律性,这是简单的几何原始词特别擅长。在本文中,我们提出了一个结合潜在和显式参数的表示,可以将其解码为一组彼此一致的深层隐式和几何形状。结果,我们可以有效地对制成物体共存的复杂形状和高度规则形状进行建模。这使我们能够以有效而精确的方式操纵3D形状的方法。
translated by 谷歌翻译