在点云生成和完成中,用于将潜在特征转换为点云的先前方法通常基于完全连接的层(基于FC)或折叠操作(基于折叠)。然而,基于FC的方法产生的点云通常由异常值和粗糙表面困扰。对于基于折叠的方法,它们的数据流量很大,收敛速度慢,并且它们也很难处理非平滑表面的产生。在这项工作中,我们提出了Axform,一种基于注意的方法来将潜在特征转换为点云。 Axform首先使用完全连接的图层在临时空间中生成点。然后聚合这些中期点以生成目标点云。 AXFROM将参数共享和数据流入到帐户中,这使得异常值较少,更少的网络参数和更快的收敛速度。 Axform产生的点不具有强大的2歧管约束,这改善了非平滑表面的产生。当AxForm扩展到本地代以进行多个分支时,向心缩法使其具有自集群和空间一致性的属性,进一步实现了无监督的语义分割。我们还采用此方案和设计AXFormNet进行点云完成。对不同数据集的相当大的实验表明我们的方法实现了最先进的结果。
translated by 谷歌翻译
在本文中,我们从功能学习的角度解决了点云完成的具有挑战性的问题。我们的主要观察结果是,要恢复基础结构以及表面细节,给定部分输入,基本组件是一个很好的特征表示,可以同时捕获全球结构和局部几何细节。因此,我们首先提出了FSNET,这是一个功能结构模块,可以通过从本地区域学习多个潜在图案来适应汇总点的点功能。然后,我们将FSNET集成到粗线管道中,以完成点云完成。具体而言,采用2D卷积神经网络将特征图从FSNET解码为粗且完整的点云。接下来,使用一个点云UP抽样网络来从部分输入和粗糙的中间输出中生成密集的点云。为了有效利用局部结构并增强点分布均匀性,我们提出了IFNET,该点具有自校正机制的点提升模块,该模块可以逐步完善生成的密集点云的细节。我们已经在Shapenet,MVP和Kitti数据集上进行了定性和定量实验,这些实验表明我们的方法优于最先进的点云完成方法。
translated by 谷歌翻译
Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.
translated by 谷歌翻译
Point clouds captured by scanning devices are often incomplete due to occlusion. Point cloud completion aims to predict the complete shape based on its partial input. Existing methods can be classified into supervised and unsupervised methods. However, both of them require a large number of 3D complete point clouds, which are difficult to capture. In this paper, we propose Cross-PCC, an unsupervised point cloud completion method without requiring any 3D complete point clouds. We only utilize 2D images of the complete objects, which are easier to capture than 3D complete and clean point clouds. Specifically, to take advantage of the complementary information from 2D images, we use a single-view RGB image to extract 2D features and design a fusion module to fuse the 2D and 3D features extracted from the partial point cloud. To guide the shape of predicted point clouds, we project the predicted points of the object to the 2D plane and use the foreground pixels of its silhouette maps to constrain the position of the projected points. To reduce the outliers of the predicted point clouds, we propose a view calibrator to move the points projected to the background into the foreground by the single-view silhouette image. To the best of our knowledge, our approach is the first point cloud completion method that does not require any 3D supervision. The experimental results of our method are superior to those of the state-of-the-art unsupervised methods by a large margin. Moreover, compared to some supervised methods, our method achieves similar performance. We will make the source code publicly available at https://github.com/ltwu6/cross-pcc.
translated by 谷歌翻译
3D点云是捕获真实世界3D对象的重要3D表示。但是,真正扫描的3D点云通常不完整,并且对于恢复下游应用程序的完整点云非常重要。大多数现有点云完成方法使用倒角距离(CD)训练丢失。通过搜索最近的邻居,CD损耗估计两个点云之间的对应关系,该邻居不会捕获所生成的形状上的总点密度分布,因此可能导致非均匀的点云生成。为了解决这个问题,我们提出了一个新的点扩散细化(PDR)范例,用于点云完成。 PDR包括条件生成网络(CGNET)和细化网络(RFNET)。 CGNET使用称为去噪扩散概率模型(DDPM)的条件生成模型,以在部分观察中产生粗略完成。 DDPM在生成的点云和统一的地面真理之间建立一对一的映射,然后优化平均平方误差损耗以实现均匀生成。 RFNET精制CGNet的粗输出,并进一步提高完成点云的质量。此外,我们开发了两个网络的新型双路架构。该体系结构可以(1)有效且有效地从部分观察到的点云提取多级特征以指导完成,并且(2)精确地操纵3D点的空间位置以获得平滑的表面和尖锐的细节。各种基准数据集上的广泛实验结果表明,我们的PDR范例优于以前的最先进的方法,用于点云完成。值得注意的是,在RFNET的帮助下,我们可以在没有太多的性能下降的情况下加速DDPM的迭代生成过程。
translated by 谷歌翻译
随着3D扫描技术的发展,3D视觉任务已成为一个流行的研究区域。由于由传感器获得的大量数据,无监督的学习对于理解和利用点云而没有昂贵的注释过程至关重要。在本文中,我们提出了一种新颖的框架和一个名为“PSG-Net”的有效自动编码器架构,用于重建基于点云的学习。与使用固定或随机2D点使用的现有研究不同,我们的框架为潜在集合生成输入依赖的点亮功能。 PSG-Net使用编码输入来通过种子生成模块产生点明智的特征,并通过逐渐应用种子特征传播模块逐渐增加分辨率的多个阶段中提取更丰富的特征。我们通过实验证明PSG-Net的有效性; PSG-Net显示了点云重建和无监督分类的最先进的性能,并在监督完成中实现了对应于对应方法的可比性。
translated by 谷歌翻译
Given partial objects and some complete ones as references, point cloud completion aims to recover authentic shapes. However, existing methods pay little attention to general shapes, which leads to the poor authenticity of completion results. Besides, the missing patterns are diverse in reality, but existing methods can only handle fixed ones, which means a poor generalization ability. Considering that a partial point cloud is a subset of the corresponding complete one, we regard them as different samples of the same distribution and propose Structure Retrieval based Point Completion Network (SRPCN). It first uses k-means clustering to extract structure points and disperses them into distributions, and then KL Divergence is used as a metric to find the complete structure point cloud that best matches the input in a database. Finally, a PCN-like decoder network is adopted to generate the final results based on the retrieved structure point clouds. As structure plays an important role in describing the general shape of an object and the proposed structure retrieval method is robust to missing patterns, experiments show that our method can generate more authentic results and has a stronger generalization ability.
translated by 谷歌翻译
您将如何通过一些错过来修复物理物体?您可能会想象它的原始形状从先前捕获的图像中,首先恢复其整体(全局)但粗大的形状,然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此,我们提出了一个跨模式的形状转移双转化网络(称为CSDN),这是一种带有全循环参与图像的粗到精细范式,以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成,以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输,以指导点云缺失区域的几何形状生成,在其中,我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出,其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系,而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同,CSDN不仅探讨了图像中的互补信息,而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明,CSDN对十个跨模式基准的竞争对手表现出色。
translated by 谷歌翻译
Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.
translated by 谷歌翻译
点云完成任务旨在预测不完整的点云的缺失部分,并通过详细信息生成完整的点云。在本文中,我们提出了一个新颖的点云完成网络,即完成。具体而言,从具有不同分辨率的点云中学到了特征,该分辨率是从不完整输入中采样的,并根据几何结构转换为一系列\ textit {spots}。然后,提出了基于变压器的密集关系增强模块(DRA),以学习\ textit {spots}中的特征,并考虑这些\ textit {spots}之间的相关性。 DRA由点局部注意模块(PLA)和点密集的多尺度注意模块(PDMA)组成,其中PLA通过适应邻居的权重,PDMA Expolo the Local \ textit {spots}捕获本地信息。这些\ textit {spots}之间的全局关系以多尺度的密集连接方式。最后,由\ textit {spots}通过多分辨率点融合模块(MPF)预测完整形状,该模块(mpf)逐渐从\ textit {spots}中逐渐生成完整的点云,并基于这些生成的点进行更新\ textit {spots}云。实验结果表明,由于基于变压器的DRA可以从不完整的输入中学习表达性特征,并且MPF可以完全探索这些功能以预测完整的输入,因此我们的方法在很大程度上优于先进方法。
translated by 谷歌翻译
您将如何修复大量错过的物理物体?您可能首先恢复其全球且粗糙的形状,并逐步增加其本地细节。我们有动力模仿上述物理维修程序,以解决点云完成任务。我们为各种3D模型提出了一个新颖的逐步点云完成网络(SPCNET)。 SPCNET具有层次的底部网络体系结构。它以迭代方式实现形状完成,1)首先扩展了粗糙结果的全局特征; 2)然后在全球功能的帮助下注入本地功能; 3)最终借助局部特征和粗糙的结果来渗透详细的结果。除了模拟物理修复的智慧之外,我们还新设计了基于周期损失%的训练策略,以增强SPCNET的概括和鲁棒性。广泛的实验清楚地表明了我们的SPCNET优于3D点云上最先进的方法,但错过了很大。
translated by 谷歌翻译
在3D点云的一代任务中,点云完成越来越流行,因为从其部分观察结果中恢复了3D对象的完整形状是一个具有挑战性但必不可少的问题。在本文中,我们提出了一种新型的种子形式,以提高点云完成中细节保存和恢复的能力。与以前的基于全局特征向量的方法不同,我们引入了一种新的形状表示形式,即补丁种子,不仅可以从部分输入中捕获一般结构,而且还保留了本地模式的区域信息。然后,通过将种子特征集成到生成过程中,我们可以以粗到精细的方式恢复忠实的细节,以获取完整的点云。此外,我们通过将变压器结构扩展到点发生器的基本操作来设计上样本变压器,该结构有效地结合了相邻点之间的空间和语义关系。定性和定量评估表明,我们的方法在多个基准数据集上优于最先进的完成网络。我们的代码可从https://github.com/hrzhou2/seedformer获得。
translated by 谷歌翻译
本文通过学习的基于零件的自相似性解决了无监督的零件感知点云产生的问题。我们的SPA-VAE可为任何给定物体提供一组潜在的典型候选形状,以及每种此类候选形状的一组刚体转换,以在组装的对象中为一个或多个位置。通过这种方式,可以有效地组合在表面上的嘈杂样品,以估计单腿原型。当原始数据中存在基于零件的自相似性时,以这种方式共享数据会赋予许多优势:建模准确性,适当的自相似生成输出,闭塞的精确填充和模型简约。 Spa-vae是使用各种贝叶斯方法的端到端训练的,该方法使用Gumbel-Softmax Trick进行共享零件分配,并提供各种新颖的损失,以提供适当的电感偏见。对塑料的定量和定性分析证明了SPA-VAE的优势。
translated by 谷歌翻译
点云的任务上采样的旨在从稀疏和不规则的点集获取密集和统一的点集。尽管通过深度学习模型取得了重大进展,但最先进的方法需要基于地面的密集点集作为监督,这使得它们有限地受到合成配对训练数据的培训,并且不适合进行现实。扫描稀疏数据。但是,获得大量的配对稀疏点集作为来自实际扫描的稀疏数据的监督,这是昂贵且乏味的。为了解决这个问题,我们提出了一个名为spu-net的自我监督点云上采样网络,以捕获位于基础对象表面上的固有的上采样模式。具体而言,我们提出了一个粗到精细的重建框架,该框架分别包含两个主要组成部分:点特征提取和点特征扩展。在点特征提取中,我们将自我发项模块与图形卷积网络(GCN)集成在一起,以同时捕获本地区域内部和之间的上下文信息。在点功能扩展中,我们引入了一种可学习的折叠策略,以生成具有可学习的2D网格的上采样点集。此外,为了进一步优化生成点集中的嘈杂点,我们提出了一种与统一和重建项相关的新颖的自预测优化,作为促进自我监督点云的关节损失。我们对合成数据集进行了各种实验,结果表明,我们实现了与最先进的监督方法相当的性能。
translated by 谷歌翻译
完成无序部分点云是一个具有挑战性的任务。依赖于解码潜在特征来恢复完整形状的现有方法,通常导致完成的点云过度平滑,丢失细节和嘈杂。我们建议首先解码和优化低分辨率(低res)点云,而不是一次性地解码和优化低分辨率(低分辨率)点云,而不是一次性地插入整个稀疏点云,这趋于失去细节。关于缺乏最初解码的低res点云的细节的可能性,我们提出了一种迭代细化,以恢复几何细节和对称化过程,以保护来自输入部分点云的值得信赖的信息。获得稀疏和完整的点云后,我们提出了一种补丁设计的上采样策略。基于补丁的上采样允许更好地恢复精细细节与整个形状不同,然而,由于数据差异(即,这里的输入稀疏数据不是来自地面真理的输入稀疏数据,现有的上采样方法不适用于完成任务。因此,我们提出了一种补丁提取方法,在稀疏和地面 - 真值云之间生成训练补丁对,以及抑制来自稀疏点云的噪声点的异常删除步骤。我们的整个方法都能实现高保真点云完成。提供综合评估以证明所提出的方法及其各个组件的有效性。
translated by 谷歌翻译
点云完成旨在从部分点云中恢复原始形状信息,引起了人们对3D Vision社区的关注。现有方法通常成功完成标准形状,同时未能生成某些非标准形状的点云的本地细节。为了获得理想的当地细节,全球形状信息的指导至关重要。在这项工作中,我们设计了一种有效的方法来借助类内部形状的原型表示区分标准/非标准形状,可以通过建议的监督形状聚类借口任务来计算,从而导致异构组件W.R.T完成网络。代表性的原型(定义为形状类别的特征质心)可以提供全局形状的指导,该指南被称为软性知识,以多尺度方式通过所需的选择性感知特征融合模块注入下游完成网络。此外,要进行有效的培训,我们考虑了基于困难的采样策略,以鼓励网络更多地关注一些部分点云,而几何信息较少。实验结果表明,我们的方法表现优于其他最新方法,并且具有完成复杂几何形状的强大能力。
translated by 谷歌翻译
3D点云的卷积经过广泛研究,但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系,这是对差的独特特征学习的内在限制。在本文中,我们提出了自适应图卷积(AGCONV),以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比,AGCONV提高了点云卷积的灵活性,有效,精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同,AGCONV实现了卷积操作内部的适应性,而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明,我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时,AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性,我们探索了基于AGCONV的完成,DeNoing,Upsmpling,注册和圆圈提取的范式,它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
最近的研究表明,MMWave雷达感测在低可见性环境中对象检测的有效性,这使其成为自主导航系统中的理想技术。在本文中,我们将雷达介绍给点云(R2P),这是一个深度学习模型,该模型基于具有不正确点的粗糙和稀疏点云,生成具有精细几何细节的3D对象的平滑,密集且高度准确的点云表示。来自mmwave雷达。这些输入点云是从由原始MMWave雷达传感器数据生成的2D深度图像转换的,其特征是不一致,方向和形状误差。 R2P利用两个顺序的深度学习编码器块的体系结构在从多个角度观察到对象的基于雷达的输入点云的基本特征,并确保生成的输出点云及其准确的内部一致性和原始对象的详细形状重建。我们实施R2P来替换我们最近提出的3DRIMR(通过MMWave Radar)系统的第2阶段。我们的实验证明了R2P在流行的现有方法(例如PointNet,PCN和原始3DRIMR设计)上的显着性能提高。
translated by 谷歌翻译
Point Cloud升级旨在从给定的稀疏中产生密集的点云,这是一项具有挑战性的任务,这是由于点集的不规则和无序的性质。为了解决这个问题,我们提出了一种新型的基于深度学习的模型,称为PU-Flow,该模型结合了正常的流量和权重预测技术,以产生均匀分布在基础表面上的致密点。具体而言,我们利用标准化流的可逆特征来转换欧几里得和潜在空间之间的点,并将UPSMPLING过程作为潜在空间中相邻点的集合,从本地几何环境中自适应地学习。广泛的实验表明,我们的方法具有竞争力,并且在大多数测试用例中,它在重建质量,近距到表面的准确性和计算效率方面的表现优于最先进的方法。源代码将在https://github.com/unknownue/pu-flow上公开获得。
translated by 谷歌翻译
点云完成旨在从部分观察结果中预测完整的形状。当前的方法主要包括以粗到精细的方式组成的生成和精炼阶段。但是,一代阶段通常缺乏解决不同不完整变化的强大性,而精炼阶段则盲目地恢复了没有语义意识的点云。为了应对这些挑战,我们通过通用预处理预测的范式(即CP3)统一点云完成。受NLP提示方法的启发,我们创造性地重新解释了Point Cloud的生成和改进,分别为提示和预测阶段。然后,我们在提示之前引入了一个简洁的自我监督预定阶段。通过不完整(IOI)借口任务,它可以有效地提高点云生成的鲁棒性。此外,我们在预测阶段开发了一种新颖的语义条件细化(SCR)网络。它可以通过语义的指导来区分调节多尺度改进。最后,广泛的实验表明,我们的CP3优于较大边缘的最先进方法。
translated by 谷歌翻译