Point Cloud升级旨在从给定的稀疏中产生密集的点云,这是一项具有挑战性的任务,这是由于点集的不规则和无序的性质。为了解决这个问题,我们提出了一种新型的基于深度学习的模型,称为PU-Flow,该模型结合了正常的流量和权重预测技术,以产生均匀分布在基础表面上的致密点。具体而言,我们利用标准化流的可逆特征来转换欧几里得和潜在空间之间的点,并将UPSMPLING过程作为潜在空间中相邻点的集合,从本地几何环境中自适应地学习。广泛的实验表明,我们的方法具有竞争力,并且在大多数测试用例中,它在重建质量,近距到表面的准确性和计算效率方面的表现优于最先进的方法。源代码将在https://github.com/unknownue/pu-flow上公开获得。
translated by 谷歌翻译
点云降级旨在从噪音和异常值损坏的原始观察结果中恢复清洁点云,同时保留细粒细节。我们提出了一种新型的基于深度学习的DeNoising模型,该模型结合了正常的流量和噪声解散技术,以实现高降解精度。与提取点云特征以进行点校正的现有作品不同,我们从分布学习和特征分离的角度制定了denoising过程。通过将嘈杂的点云视为清洁点和噪声的联合分布,可以从将噪声对应物从潜在点表示中解​​散出来,而欧几里得和潜在空间之间的映射是通过标准化流量来建模的。我们评估了具有各种噪声设置的合成3D模型和现实世界数据集的方法。定性和定量结果表明,我们的方法表现优于先前的最先进的基于深度学习的方法。
translated by 谷歌翻译
本文解决了从给定稀疏点云生成密集点云的问题,以模拟物体/场景的底层几何结构。为了解决这一具有挑战性的问题,我们提出了一种新的基于端到端学习的框架。具体地,通过利用线性近似定理,我们首先明确地制定问题,这逐到确定内插权和高阶近似误差。然后,我们设计轻量级神经网络,通过分析输入点云的局部几何体,自适应地学习统一和分类的插值权重以及高阶改进。所提出的方法可以通过显式制定来解释,因此比现有的更高的内存效率。与仅用于预定义和固定的上采样因子的现有方法的鲜明对比,所提出的框架仅需要一个单一的神经网络,一次性训练可以在典型范围内处理各种上采样因子,这是真实的-world应用程序。此外,我们提出了一种简单但有效的培训策略来推动这种灵活的能力。此外,我们的方法可以很好地处理非均匀分布和嘈杂的数据。合成和现实世界数据的广泛实验证明了所提出的方法在定量和定性的最先进方法上的优越性。
translated by 谷歌翻译
从稀疏的原始数据中生成密集的点云使下游3D理解任务,但现有模型仅限于固定的上采样率或短范围的整数值。在本文中,我们提出了APU-SMOG,这是一种基于变压器的模型,用于任意点云上采样(APU)。首先将稀疏输入映射到高斯(烟雾)分布的球形混合物,从中可以采样任意数量的点。然后,将这些样品作为查询馈送到变压器解码器,将它们映射回目标表面。广泛的定性和定量评估表明,APU-SMOG的表现优于最先进的固定比例方法,同时使用任何缩放因子(包括非直觉值)有效地启用了以单个训练有素的模型来提高采样。该代码将可用。
translated by 谷歌翻译
点云上采样是为了使从3D传感器获得的稀疏点集致密,从而为基础表面提供了密度的表示。现有方法将输入点划分为小贴片,并分别对每个贴片进行整理,但是,忽略了补丁之间的全局空间一致性。在本文中,我们提出了一种新颖的方法PC $^2 $ -PU,该方法探讨了贴片对点和点对点相关性,以实现更有效和强大的点云上采样。具体而言,我们的网络有两个吸引人的设计:(i)我们将相邻的补丁作为补充输入来补偿单个补丁中的损失结构信息,并引入一个补丁相关模块以捕获补丁之间的差异和相似性。 (ii)在增强每个贴片的几何形状后,我们进一步引入了一个点相关模块,以揭示每个贴片内部的关系以维持局部空间一致性。对合成和真实扫描数据集进行的广泛实验表明,我们的方法超过了以前的上采样方法,尤其是在嘈杂的输入中。代码和数据位于\ url {https://github.com/chenlongwhu/pc2-pu.git}。
translated by 谷歌翻译
在本文中,我们提出了一种新的点云表示。与传统点云表示不同,其中每个点仅表示3D空间中的位置或局部平面,神经点中的每个点通过神经领域表示局部连续几何形状。因此,神经点可以表达更复杂的细节,因此具有更强的表示能力。具有含有丰富的几何细节的高分辨率表面培训神经点,使得训练模型具有足够的各种形状的表达能力。具体地,我们通过2D参数域和3D本地补丁之间的局部同构来提取点上的深度局部特征并通过局部同构构造神经字段。在决赛中,局部神经领域集成在一起以形成全局表面。实验结果表明,神经点具有强大的代表能力,展示了优异的鲁棒性和泛化能力。通过神经点,我们可以用任意分辨率重新采样点云,并优于最先进的点云上采样方法,通过大边距。
translated by 谷歌翻译
通过扫描真实世界对象或场景采集的3D点云人已经发现了广泛的应用,包括融入式远程呈现,自动驾驶,监视等。它们通常是由噪声扰动或由低密度,这妨碍下游的任务,如表面重建遭受和理解。在本文中,我们提出了点集的二次采样恢复,这获知会聚点朝向下方的表面的点云的连续梯度场的新型范例。特别是,我们表示经由其梯度场点云 - 对数概率密度函数的梯度,和执行梯度场是连续的,这样就保证了模型可解优化的连续性。基于经由提出的神经网络估计出的连续梯度场,重新采样点云量对输入噪声或稀疏的点云执行基于梯度的马尔可夫链蒙特卡洛(MCMC)。此外,我们提出了点云恢复,基本上迭代地细化中间重采样点云,并在重采样过程容纳各种先验期间引入正则化到基于梯度的MCMC。大量的实验结果表明,该点集重采样实现了代表恢复工作,包括点云去噪和采样的国家的最先进的性能。
translated by 谷歌翻译
点云的任务上采样的旨在从稀疏和不规则的点集获取密集和统一的点集。尽管通过深度学习模型取得了重大进展,但最先进的方法需要基于地面的密集点集作为监督,这使得它们有限地受到合成配对训练数据的培训,并且不适合进行现实。扫描稀疏数据。但是,获得大量的配对稀疏点集作为来自实际扫描的稀疏数据的监督,这是昂贵且乏味的。为了解决这个问题,我们提出了一个名为spu-net的自我监督点云上采样网络,以捕获位于基础对象表面上的固有的上采样模式。具体而言,我们提出了一个粗到精细的重建框架,该框架分别包含两个主要组成部分:点特征提取和点特征扩展。在点特征提取中,我们将自我发项模块与图形卷积网络(GCN)集成在一起,以同时捕获本地区域内部和之间的上下文信息。在点功能扩展中,我们引入了一种可学习的折叠策略,以生成具有可学习的2D网格的上采样点集。此外,为了进一步优化生成点集中的嘈杂点,我们提出了一种与统一和重建项相关的新颖的自预测优化,作为促进自我监督点云的关节损失。我们对合成数据集进行了各种实验,结果表明,我们实现了与最先进的监督方法相当的性能。
translated by 谷歌翻译
Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.
translated by 谷歌翻译
在本文中,我们从功能学习的角度解决了点云完成的具有挑战性的问题。我们的主要观察结果是,要恢复基础结构以及表面细节,给定部分输入,基本组件是一个很好的特征表示,可以同时捕获全球结构和局部几何细节。因此,我们首先提出了FSNET,这是一个功能结构模块,可以通过从本地区域学习多个潜在图案来适应汇总点的点功能。然后,我们将FSNET集成到粗线管道中,以完成点云完成。具体而言,采用2D卷积神经网络将特征图从FSNET解码为粗且完整的点云。接下来,使用一个点云UP抽样网络来从部分输入和粗糙的中间输出中生成密集的点云。为了有效利用局部结构并增强点分布均匀性,我们提出了IFNET,该点具有自校正机制的点提升模块,该模块可以逐步完善生成的密集点云的细节。我们已经在Shapenet,MVP和Kitti数据集上进行了定性和定量实验,这些实验表明我们的方法优于最先进的点云完成方法。
translated by 谷歌翻译
3D点云的卷积经过广泛研究,但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系,这是对差的独特特征学习的内在限制。在本文中,我们提出了自适应图卷积(AGCONV),以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比,AGCONV提高了点云卷积的灵活性,有效,精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同,AGCONV实现了卷积操作内部的适应性,而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明,我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时,AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性,我们探索了基于AGCONV的完成,DeNoing,Upsmpling,注册和圆圈提取的范式,它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
通过深度传感器捕获的点云通常被噪音污染,阻碍了进一步的分析和应用。在本文中,我们强调了点分布均匀性对下游任务的重要性。我们证明了现有基于梯度的DeNoiser产生的点云尽管取得了有希望的定量结果,但仍缺乏统一性。为此,我们提出了GPCD ++,这是一种基于梯度的DeNoiser,其超轻质网络名为UNINET,以解决均匀性。与以前的最先进方法相比,我们的方法不仅会产生竞争性甚至更好地降解结果,而且还显着改善了统一性,这在很大程度上使诸如表面重建之类的应用受益。
translated by 谷歌翻译
多尺度特征的学习和聚集对于授权神经网络以捕获点云上采样任务中的细颗粒几何细节至关重要。大多数现有方法从固定分辨率的点云中提取多尺度功能,因此仅获得有限的细节。尽管现有的方法汇总了一系列Upplampling子网络的不同分辨率的特征层次结构,但培训既复杂又具有昂贵的计算。为了解决这些问题,我们构建了一个名为BIMS-PU的新点云上采样管道,该管道将特征金字塔体系结构与双向上下采样路径集成在一起。具体而言,我们通过将目标采样因子分解为较小的因素,将上/下采样过程分解为几个上/下采​​样子步骤。多尺度特征是自然而然地以平行方式生产的,并使用快速特征融合方法进行聚合。监督信号同时应用于不同尺度的所有上采样点云。此外,我们制定一个残留块,以减轻模型的训练。不同数据集上的广泛定量和定性实验表明,我们的方法取得了优于最先进方法的结果。最后但并非最不重要的一点是,我们证明了点云上采样可以通过改善3D数据质量来改善机器人感知。
translated by 谷歌翻译
Point clouds are characterized by irregularity and unstructuredness, which pose challenges in efficient data exploitation and discriminative feature extraction. In this paper, we present an unsupervised deep neural architecture called Flattening-Net to represent irregular 3D point clouds of arbitrary geometry and topology as a completely regular 2D point geometry image (PGI) structure, in which coordinates of spatial points are captured in colors of image pixels. \mr{Intuitively, Flattening-Net implicitly approximates a locally smooth 3D-to-2D surface flattening process while effectively preserving neighborhood consistency.} \mr{As a generic representation modality, PGI inherently encodes the intrinsic property of the underlying manifold structure and facilitates surface-style point feature aggregation.} To demonstrate its potential, we construct a unified learning framework directly operating on PGIs to achieve \mr{diverse types of high-level and low-level} downstream applications driven by specific task networks, including classification, segmentation, reconstruction, and upsampling. Extensive experiments demonstrate that our methods perform favorably against the current state-of-the-art competitors. We will make the code and data publicly available at https://github.com/keeganhk/Flattening-Net.
translated by 谷歌翻译
从嘈杂的点云中恢复高质量的表面,称为点云降级,是几何处理中的一个基本而又具有挑战性的问题。大多数现有方法要么直接将嘈杂的输入或过滤器原始正态变为更新点位置。由点云降解和正常过滤之间的基本相互作用的动机,我们从多任务的角度重新访问点云,并提出一个名为PCDNF的端到端网络,以通过关节正常滤波来denoise点云。特别是,我们引入了一项辅助正常过滤任务,以帮助整体网络更有效地消除噪声,同时更准确地保留几何特征。除了整体体系结构外,我们的网络还具有两个新型模块。一方面,为了提高降噪性能,我们设计了一种形状感知的选择器,以全面考虑学习点,正常特征和几何学先验,以构建特定点的潜在切线空间表示。另一方面,点特征更适合描述几何细节,正常特征更有利于表示几何结构(例如,边缘和角落)。结合点和正常特征使我们能够克服它们的弱点。因此,我们设计一个功能改进模块,以融合点和正常功能,以更好地恢复几何信息。广泛的评估,比较和消融研究表明,所提出的方法在点云降解和正常过滤方面优于最先进的方法。
translated by 谷歌翻译
The recent neural implicit representation-based methods have greatly advanced the state of the art for solving the long-standing and challenging problem of reconstructing a discrete surface from a sparse point cloud. These methods generally learn either a binary occupancy or signed/unsigned distance field (SDF/UDF) as surface representation. However, all the existing SDF/UDF-based methods use neural networks to implicitly regress the distance in a purely data-driven manner, thus limiting the accuracy and generalizability to some extent. In contrast, we propose the first geometry-guided method for UDF and its gradient estimation that explicitly formulates the unsigned distance of a query point as the learnable affine averaging of its distances to the tangent planes of neighbouring points. Besides, we model the local geometric structure of the input point clouds by explicitly learning a quadratic polynomial for each point. This not only facilitates upsampling the input sparse point cloud but also naturally induces unoriented normal, which further augments UDF estimation. Finally, to extract triangle meshes from the predicted UDF we propose a customized edge-based marching cube module. We conduct extensive experiments and ablation studies to demonstrate the significant advantages of our method over state-of-the-art methods in terms of reconstruction accuracy, efficiency, and generalizability. The source code is publicly available at https://github.com/rsy6318/GeoUDF.
translated by 谷歌翻译
您将如何通过一些错过来修复物理物体?您可能会想象它的原始形状从先前捕获的图像中,首先恢复其整体(全局)但粗大的形状,然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此,我们提出了一个跨模式的形状转移双转化网络(称为CSDN),这是一种带有全循环参与图像的粗到精细范式,以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成,以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输,以指导点云缺失区域的几何形状生成,在其中,我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出,其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系,而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同,CSDN不仅探讨了图像中的互补信息,而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明,CSDN对十个跨模式基准的竞争对手表现出色。
translated by 谷歌翻译
最近归一化流量(NFS)在建模3D点云上已经证明了最先进的性能,同时允许在推理时间以任意分辨率进行采样。然而,这些基于流的模型仍然需要长期训练时间和大型模型来代表复杂的几何形状。这项工作通过将NFS的混合物应用于点云来增强它们的代表性。我们展示在更普遍的框架中,每个组件都学会专门以完全无监督的方式专门化对象的特定子区域。通过将每个混合组件与相对小的NF实例化,我们通过更好的细节生成点云,而与基于单流量的模型相比,使用较少的参数,并且大大减少推理运行时。我们进一步证明通过添加数据增强,各个混合组件可以学习以语义有意义的方式专注。基于ShapEnet​​ DataSet评估NFS对生成,自动编码和单视重建的混合物。
translated by 谷歌翻译
从扫描设备获得的点云通常受到噪声的扰动,这会影响下游任务,例如表面重建和分析。嘈杂的点云的分布可以看作是一组无噪声样品的分布$ p(x)$与某些噪声模型$ n $卷积,导致$(p * n)(x)$,其模式是基础干净的表面。为了确定嘈杂的点云,我们建议通过梯度上升将每个点的日志样本从$ p * n $增加 - 迭代更新每个点的位置。由于$ p * n $在测试时间是未知的,因此我们只需要分数(即对数概率函数的梯度)来执行梯度上升,因此我们提出了一个神经网络体系结构来估计分数$ P *。 n $仅给出嘈杂的点云作为输入。我们得出了训练网络并开发估计分数利用的非授权算法的目标函数。实验表明,所提出的模型在各种噪声模型下都优于最先进的方法,并显示了应用于其他任务(例如点云上采样)的潜力。该代码可在\ url {https://github.com/luost26/score-denoise}中获得。
translated by 谷歌翻译
Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.
translated by 谷歌翻译