最近的研究表明，MMWave雷达感测在低可见性环境中对象检测的有效性，这使其成为自主导航系统中的理想技术。在本文中，我们将雷达介绍给点云（R2P），这是一个深度学习模型，该模型基于具有不正确点的粗糙和稀疏点云，生成具有精细几何细节的3D对象的平滑，密集且高度准确的点云表示。来自mmwave雷达。这些输入点云是从由原始MMWave雷达传感器数据生成的2D深度图像转换的，其特征是不一致，方向和形状误差。 R2P利用两个顺序的深度学习编码器块的体系结构在从多个角度观察到对象的基于雷达的输入点云的基本特征，并确保生成的输出点云及其准确的内部一致性和原始对象的详细形状重建。我们实施R2P来替换我们最近提出的3DRIMR（通过MMWave Radar）系统的第2阶段。我们的实验证明了R2P在流行的现有方法（例如PointNet，PCN和原始3DRIMR设计）上的显着性能提高。

In this paper, we explore the feasibility of utilizing a mmWave radar sensor installed on a UAV to reconstruct the 3D shapes of multiple objects in a space. The UAV hovers at various locations in the space, and its onboard radar senor collects raw radar data via scanning the space with Synthetic Aperture Radar (SAR) operation. The radar data is sent to a deep neural network model, which outputs the point cloud reconstruction of the multiple objects in the space. We evaluate two different models. Model 1 is our recently proposed 3DRIMR/R2P model, and Model 2 is formed by adding a segmentation stage in the processing pipeline of Model 1. Our experiments have demonstrated that both models are promising in solving the multiple object reconstruction problem. We also show that Model 2, despite producing denser and smoother point clouds, can lead to higher reconstruction loss or even loss of objects. In addition, we find that both models are robust to the highly noisy radar data obtained by unstable SAR operation due to the instability or vibration of a small UAV hovering at its intended scanning point. Our exploratory study has shown a promising direction of applying mmWave radar sensing in 3D object reconstruction.

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

基于单个草图图像重建3D形状是由于稀疏，不规则的草图和常规，密集的3D形状之间的较大域间隙而具有挑战性的。现有的作品尝试采用从草图提取的全局功能来直接预测3D坐标，但通常会遭受失去对输入草图不忠心的细节。通过分析3D到2D投影过程，我们注意到表征2D点云分布的密度图（即，投影平面每个位置的点的概率）可以用作代理，以促进该代理重建过程。为此，我们首先通过图像翻译网络将草图翻译成一个更有信息的2D表示，可用于生成密度映射。接下来，通过两个阶段的概率采样过程重建一个3D点云：首先通过对密度映射进行采样，首先恢复2D点（即X和Y坐标）；然后通过在每个2D点确定的射线处采样深度值来预测深度​​（即Z坐标）。进行了广泛的实验，定量和定性结果都表明，我们提出的方法显着优于其他基线方法。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

Point clouds captured by scanning devices are often incomplete due to occlusion. Point cloud completion aims to predict the complete shape based on its partial input. Existing methods can be classified into supervised and unsupervised methods. However, both of them require a large number of 3D complete point clouds, which are difficult to capture. In this paper, we propose Cross-PCC, an unsupervised point cloud completion method without requiring any 3D complete point clouds. We only utilize 2D images of the complete objects, which are easier to capture than 3D complete and clean point clouds. Specifically, to take advantage of the complementary information from 2D images, we use a single-view RGB image to extract 2D features and design a fusion module to fuse the 2D and 3D features extracted from the partial point cloud. To guide the shape of predicted point clouds, we project the predicted points of the object to the 2D plane and use the foreground pixels of its silhouette maps to constrain the position of the projected points. To reduce the outliers of the predicted point clouds, we propose a view calibrator to move the points projected to the background into the foreground by the single-view silhouette image. To the best of our knowledge, our approach is the first point cloud completion method that does not require any 3D supervision. The experimental results of our method are superior to those of the state-of-the-art unsupervised methods by a large margin. Moreover, compared to some supervised methods, our method achieves similar performance. We will make the source code publicly available at https://github.com/ltwu6/cross-pcc.

在本文中，我们从功能学习的角度解决了点云完成的具有挑战性的问题。我们的主要观察结果是，要恢复基础结构以及表面细节，给定部分输入，基本组件是一个很好的特征表示，可以同时捕获全球结构和局部几何细节。因此，我们首先提出了FSNET，这是一个功能结构模块，可以通过从本地区域学习多个潜在图案来适应汇总点的点功能。然后，我们将FSNET集成到粗线管道中，以完成点云完成。具体而言，采用2D卷积神经网络将特征图从FSNET解码为粗且完整的点云。接下来，使用一个点云UP抽样网络来从部分输入和粗糙的中间输出中生成密集的点云。为了有效利用局部结构并增强点分布均匀性，我们提出了IFNET，该点具有自校正机制的点提升模块，该模块可以逐步完善生成的密集点云的细节。我们已经在Shapenet，MVP和Kitti数据集上进行了定性和定量实验，这些实验表明我们的方法优于最先进的点云完成方法。

3D重建问题中的一个关键问题是如何训练机器人或机器人以模型3D对象。在实时系统（例如自动驾驶汽车）中导航等许多任务直接取决于此问题。这些系统通常具有有限的计算能力。尽管近年来3D重建系统在3D重建系统中取得了长足的进展，但由于现有方法的高复杂性和计算需求，将它们应用于自动驾驶汽车中的导航系统等实时系统仍然具有挑战性。这项研究解决了以更快（实时）方式重建单视图像中显示的对象的当前问题。为此，开发了一个简单而强大的深度神经框架。提出的框架由两个组件组成：特征提取器模块和3D发电机模块。我们将点云表示为我们的重建模块的输出。将Shapenet数据集用于将方法与计算时间和准确性方面的现有结果进行比较。模拟证明了所提出的方法的出色性能。索引术语现实时间3D重建，单视图重建，监督学习，深神经网络

您将如何修复大量错过的物理物体？您可能首先恢复其全球且粗糙的形状，并逐步增加其本地细节。我们有动力模仿上述物理维修程序，以解决点云完成任务。我们为各种3D模型提出了一个新颖的逐步点云完成网络（SPCNET）。 SPCNET具有层次的底部网络体系结构。它以迭代方式实现形状完成，1）首先扩展了粗糙结果的全局特征； 2）然后在全球功能的帮助下注入本地功能； 3）最终借助局部特征和粗糙的结果来渗透详细的结果。除了模拟物理修复的智慧之外，我们还新设计了基于周期损失％的训练策略，以增强SPCNET的概括和鲁棒性。广泛的实验清楚地表明了我们的SPCNET优于3D点云上最先进的方法，但错过了很大。

在3D点云的一代任务中，点云完成越来越流行，因为从其部分观察结果中恢复了3D对象的完整形状是一个具有挑战性但必不可少的问题。在本文中，我们提出了一种新型的种子形式，以提高点云完成中细节保存和恢复的能力。与以前的基于全局特征向量的方法不同，我们引入了一种新的形状表示形式，即补丁种子，不仅可以从部分输入中捕获一般结构，而且还保留了本地模式的区域信息。然后，通过将种子特征集成到生成过程中，我们可以以粗到精细的方式恢复忠实的细节，以获取完整的点云。此外，我们通过将变压器结构扩展到点发生器的基本操作来设计上样本变压器，该结构有效地结合了相邻点之间的空间和语义关系。定性和定量评估表明，我们的方法在多个基准数据集上优于最先进的完成网络。我们的代码可从https://github.com/hrzhou2/seedformer获得。

点云是3D内容的至关重要表示，在虚拟现实，混合现实，自动驾驶等许多领域已广泛使用，随着数据中点数的增加，如何有效地压缩点云变为一个具有挑战性的问题。在本文中，我们提出了一组基于贴片的点云压缩的重大改进，即用于熵编码的可学习上下文模型，用于采样质心点的OCTREE编码以及集成的压缩和训练过程。此外，我们提出了一个对抗网络，以改善重建过程中点的均匀性。我们的实验表明，改进的基于斑块的自动编码器在稀疏和大规模点云上的速率延伸性能方面优于最先进的。更重要的是，我们的方法可以在确保重建质量的同时保持短时间的压缩时间。

本文探讨了一种机器学习方法，用于从单芯片MMWave雷达产生高分辨率点云。与激光雷达和基于视觉的系统不同，MMWave雷达可以在恶劣的环境中运行，并通过烟雾，雾气和灰尘等遮挡。不幸的是，与激光点云相比，当前的MMWAVE处理技术可提供差的空间分辨率。本文介绍了Radarhd，这是一种端到端的神经网络，该网络从低分辨率雷达输入中构造了激光雷达点云。由于存在镜面和虚假的反射，增强雷达图像是具有挑战性的。由于信号的类似SINC的扩展模式，雷达数据也不能很好地映射到传统的图像处理技术。我们通过在大量的RAW I/Q雷达数据上训练Radarhd与各种室内环境中的LiDar Point云配对来克服这些挑战。我们的实验表明，即使在训练期间未观察到的场景和存在浓烟的情况下，也能够产生丰富的点云。此外，Radarhd的点云足够高，足以与现有的LiDAR ODOMETIRE和映射工作流程配合使用。

点云是代表和存储3D几何数据的广泛使用的技术之一。在过去，已经提出了几种用于处理点云的方法。诸如PointNet和FoldingNet之类的方法已显示出3D形状分类和分割等任务的有希望的结果。这项工作提出了一个树结构化的自动编码器框架，以使用图形卷积利用层次信息来生成点云的强大嵌入。我们执行多个实验，以评估提出的编码器体系结构生成的嵌入质量，并可视化T-SNE映射，以突出显示其区分不同对象类的能力。我们进一步证明了所提出的框架在以下应用程序中的适用性：3D点云完成和基于单图的3D重建。

完成无序部分点云是一个具有挑战性的任务。依赖于解码潜在特征来恢复完整形状的现有方法，通常导致完成的点云过度平滑，丢失细节和嘈杂。我们建议首先解码和优化低分辨率（低res）点云，而不是一次性地解码和优化低分辨率（低分辨率）点云，而不是一次性地插入整个稀疏点云，这趋于失去细节。关于缺乏最初解码的低res点云的细节的可能性，我们提出了一种迭代细化，以恢复几何细节和对称化过程，以保护来自输入部分点云的值得信赖的信息。获得稀疏和完整的点云后，我们提出了一种补丁设计的上采样策略。基于补丁的上采样允许更好地恢复精细细节与整个形状不同，然而，由于数据差异（即，这里的输入稀疏数据不是来自地面真理的输入稀疏数据，现有的上采样方法不适用于完成任务。因此，我们提出了一种补丁提取方法，在稀疏和地面 - 真值云之间生成训练补丁对，以及抑制来自稀疏点云的噪声点的异常删除步骤。我们的整个方法都能实现高保真点云完成。提供综合评估以证明所提出的方法及其各个组件的有效性。

Given partial objects and some complete ones as references, point cloud completion aims to recover authentic shapes. However, existing methods pay little attention to general shapes, which leads to the poor authenticity of completion results. Besides, the missing patterns are diverse in reality, but existing methods can only handle fixed ones, which means a poor generalization ability. Considering that a partial point cloud is a subset of the corresponding complete one, we regard them as different samples of the same distribution and propose Structure Retrieval based Point Completion Network (SRPCN). It first uses k-means clustering to extract structure points and disperses them into distributions, and then KL Divergence is used as a metric to find the complete structure point cloud that best matches the input in a database. Finally, a PCN-like decoder network is adopted to generate the final results based on the retrieved structure point clouds. As structure plays an important role in describing the general shape of an object and the proposed structure retrieval method is robust to missing patterns, experiments show that our method can generate more authentic results and has a stronger generalization ability.

Three-dimensional geometric data offer an excellent domain for studying representation learning and generative modeling. In this paper, we look at geometric data represented as point clouds. We introduce a deep AutoEncoder (AE) network with state-of-the-art reconstruction quality and generalization ability. The learned representations outperform existing methods on 3D recognition tasks and enable shape editing via simple algebraic manipulations, such as semantic part editing, shape analogies and shape interpolation, as well as shape completion. We perform a thorough study of different generative models including GANs operating on the raw point clouds, significantly improved GANs trained in the fixed latent space of our AEs, and Gaussian Mixture Models (GMMs). To quantitatively evaluate generative models we introduce measures of sample fidelity and diversity based on matchings between sets of point clouds. Interestingly, our evaluation of generalization, fidelity and diversity reveals that GMMs trained in the latent space of our AEs yield the best results overall.

倒角距离（CD）和地球移动器的距离（EMD）是两个广泛采用的度量标准，用于测量两点集之间的相似性。然而，CD通常对不匹配的局部密度不敏感，EMD通常由全球分配主导，而忽略了详细结构的保真度。此外，他们的无限值范围从异常值引起沉重的影响。这些缺陷可防止它们提供一致的评估。为了解决这些问题，我们提出了一个名为密度感知倒角距离（DCD）的新的相似度量。它来自CD的源自来自若干所需性质的效果：1）它可以检测密度分布的差异，因此与CD相比更加强烈的相似性。 2）更严格，具有详细的结构，比EMD明显更加计算; 3）界限值范围促进整个测试集更稳定和合理的评估。我们采用DCD来评估点云完成任务，实验结果表明，DCD关注整体结构和本地几何细节，即使CD和EMD相互矛盾，也能提供更可靠的评估。我们还可以使用DCD作为培训损失，这胜过与所有三个指标上的CD损失培训的相同模型。此外，我们提出了一种新的点鉴别器模块，其估计另一个引导的下采样步骤的优先级，并且它在DCD下实现了明显的改进以及CD和EMD的竞争结果。我们希望我们的工作可以为更全面而实用的点云相似性评估铺平道路。我们的代码将可用：https://github.com/wutong16/dentions_aware_Chamfer_distance。

在点云生成和完成中，用于将潜在特征转换为点云的先前方法通常基于完全连接的层（基于FC）或折叠操作（基于折叠）。然而，基于FC的方法产生的点云通常由异常值和粗糙表面困扰。对于基于折叠的方法，它们的数据流量很大，收敛速度慢，并且它们也很难处理非平滑表面的产生。在这项工作中，我们提出了Axform，一种基于注意的方法来将潜在特征转换为点云。 Axform首先使用完全连接的图层在临时空间中生成点。然后聚合这些中期点以生成目标点云。 AXFROM将参数共享和数据流入到帐户中，这使得异常值较少，更少的网络参数和更快的收敛速度。 Axform产生的点不具有强大的2歧管约束，这改善了非平滑表面的产生。当AxForm扩展到本地代以进行多个分支时，向心缩法使其具有自集群和空间一致性的属性，进一步实现了无监督的语义分割。我们还采用此方案和设计AXFormNet进行点云完成。对不同数据集的相当大的实验表明我们的方法实现了最先进的结果。