Point Cloud上采样是增强现实，虚拟现实和触觉场景所必需的。尽管对几何形状的提升进行了充分的研究以使点云坐标致密，但颜色的上采样已在很大程度上被忽略了。在本文中，我们提出了Cu-net，这是第一个深度学习点云颜色上采样模型。基于稀疏卷积和基于神经隐式函数的颜色预测模块利用特征提取器，Cu-net实现了线性时间和空间的复杂性。因此，在理论上，CU-NET比具有二次复杂性的大多数现有方法更有效。实验结果表明，Cu-net可以实时用近一百万分为单位逼真的点云上色，同时具有比基线更好的视觉质量。此外，Cu-net可以适应任意的上采样比和看不见的对象。我们的源代码将很快发布给公众。

本文解决了从给定稀疏点云生成密集点云的问题，以模拟物体/场景的底层几何结构。为了解决这一具有挑战性的问题，我们提出了一种新的基于端到端学习的框架。具体地，通过利用线性近似定理，我们首先明确地制定问题，这逐到确定内插权和高阶近似误差。然后，我们设计轻量级神经网络，通过分析输入点云的局部几何体，自适应地学习统一和分类的插值权重以及高阶改进。所提出的方法可以通过显式制定来解释，因此比现有的更高的内存效率。与仅用于预定义和固定的上采样因子的现有方法的鲜明对比，所提出的框架仅需要一个单一的神经网络，一次性训练可以在典型范围内处理各种上采样因子，这是真实的-world应用程序。此外，我们提出了一种简单但有效的培训策略来推动这种灵活的能力。此外，我们的方法可以很好地处理非均匀分布和嘈杂的数据。合成和现实世界数据的广泛实验证明了所提出的方法在定量和定性的最先进方法上的优越性。

在本文中，我们提出了一种新的点云表示。与传统点云表示不同，其中每个点仅表示3D空间中的位置或局部平面，神经点中的每个点通过神经领域表示局部连续几何形状。因此，神经点可以表达更复杂的细节，因此具有更强的表示能力。具有含有丰富的几何细节的高分辨率表面培训神经点，使得训练模型具有足够的各种形状的表达能力。具体地，我们通过2D参数域和3D本地补丁之间的局部同构来提取点上的深度局部特征并通过局部同构构造神经字段。在决赛中，局部神经领域集成在一起以形成全局表面。实验结果表明，神经点具有强大的代表能力，展示了优异的鲁棒性和泛化能力。通过神经点，我们可以用任意分辨率重新采样点云，并优于最先进的点云上采样方法，通过大边距。

多尺度特征的学习和聚集对于授权神经网络以捕获点云上采样任务中的细颗粒几何细节至关重要。大多数现有方法从固定分辨率的点云中提取多尺度功能，因此仅获得有限的细节。尽管现有的方法汇总了一系列Upplampling子网络的不同分辨率的特征层次结构，但培训既复杂又具有昂贵的计算。为了解决这些问题，我们构建了一个名为BIMS-PU的新点云上采样管道，该管道将特征金字塔体系结构与双向上下采样路径集成在一起。具体而言，我们通过将目标采样因子分解为较小的因素，将上/下采样过程分解为几个上/下采​​样子步骤。多尺度特征是自然而然地以平行方式生产的，并使用快速特征融合方法进行聚合。监督信号同时应用于不同尺度的所有上采样点云。此外，我们制定一个残留块，以减轻模型的训练。不同数据集上的广泛定量和定性实验表明，我们的方法取得了优于最先进方法的结果。最后但并非最不重要的一点是，我们证明了点云上采样可以通过改善3D数据质量来改善机器人感知。

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

点云上采样是为了使从3D传感器获得的稀疏点集致密，从而为基础表面提供了密度的表示。现有方法将输入点划分为小贴片，并分别对每个贴片进行整理，但是，忽略了补丁之间的全局空间一致性。在本文中，我们提出了一种新颖的方法PC $^2 $ -PU，该方法探讨了贴片对点和点对点相关性，以实现更有效和强大的点云上采样。具体而言，我们的网络有两个吸引人的设计：（i）我们将相邻的补丁作为补充输入来补偿单个补丁中的损失结构信息，并引入一个补丁相关模块以捕获补丁之间的差异和相似性。 （ii）在增强每个贴片的几何形状后，我们进一步引入了一个点相关模块，以揭示每个贴片内部的关系以维持局部空间一致性。对合成和真实扫描数据集进行的广泛实验表明，我们的方法超过了以前的上采样方法，尤其是在嘈杂的输入中。代码和数据位于\ url {https://github.com/chenlongwhu/pc2-pu.git}。

Point clouds are characterized by irregularity and unstructuredness, which pose challenges in efficient data exploitation and discriminative feature extraction. In this paper, we present an unsupervised deep neural architecture called Flattening-Net to represent irregular 3D point clouds of arbitrary geometry and topology as a completely regular 2D point geometry image (PGI) structure, in which coordinates of spatial points are captured in colors of image pixels. \mr{Intuitively, Flattening-Net implicitly approximates a locally smooth 3D-to-2D surface flattening process while effectively preserving neighborhood consistency.} \mr{As a generic representation modality, PGI inherently encodes the intrinsic property of the underlying manifold structure and facilitates surface-style point feature aggregation.} To demonstrate its potential, we construct a unified learning framework directly operating on PGIs to achieve \mr{diverse types of high-level and low-level} downstream applications driven by specific task networks, including classification, segmentation, reconstruction, and upsampling. Extensive experiments demonstrate that our methods perform favorably against the current state-of-the-art competitors. We will make the code and data publicly available at https://github.com/keeganhk/Flattening-Net.

从稀疏的原始数据中生成密集的点云使下游3D理解任务，但现有模型仅限于固定的上采样率或短范围的整数值。在本文中，我们提出了APU-SMOG，这是一种基于变压器的模型，用于任意点云上采样（APU）。首先将稀疏输入映射到高斯（烟雾）分布的球形混合物，从中可以采样任意数量的点。然后，将这些样品作为查询馈送到变压器解码器，将它们映射回目标表面。广泛的定性和定量评估表明，APU-SMOG的表现优于最先进的固定比例方法，同时使用任何缩放因子（包括非直觉值）有效地启用了以单个训练有素的模型来提高采样。该代码将可用。

点云的任务上采样的旨在从稀疏和不规则的点集获取密集和统一的点集。尽管通过深度学习模型取得了重大进展，但最先进的方法需要基于地面的密集点集作为监督，这使得它们有限地受到合成配对训练数据的培训，并且不适合进行现实。扫描稀疏数据。但是，获得大量的配对稀疏点集作为来自实际扫描的稀疏数据的监督，这是昂贵且乏味的。为了解决这个问题，我们提出了一个名为spu-net的自我监督点云上采样网络，以捕获位于基础对象表面上的固有的上采样模式。具体而言，我们提出了一个粗到精细的重建框架，该框架分别包含两个主要组成部分：点特征提取和点特征扩展。在点特征提取中，我们将自我发项模块与图形卷积网络（GCN）集成在一起，以同时捕获本地区域内部和之间的上下文信息。在点功能扩展中，我们引入了一种可学习的折叠策略，以生成具有可学习的2D网格的上采样点集。此外，为了进一步优化生成点集中的嘈杂点，我们提出了一种与统一和重建项相关的新颖的自预测优化，作为促进自我监督点云的关节损失。我们对合成数据集进行了各种实验，结果表明，我们实现了与最先进的监督方法相当的性能。

Point Cloud升级旨在从给定的稀疏中产生密集的点云，这是一项具有挑战性的任务，这是由于点集的不规则和无序的性质。为了解决这个问题，我们提出了一种新型的基于深度学习的模型，称为PU-Flow，该模型结合了正常的流量和权重预测技术，以产生均匀分布在基础表面上的致密点。具体而言，我们利用标准化流的可逆特征来转换欧几里得和潜在空间之间的点，并将UPSMPLING过程作为潜在空间中相邻点的集合，从本地几何环境中自适应地学习。广泛的实验表明，我们的方法具有竞争力，并且在大多数测试用例中，它在重建质量，近距到表面的准确性和计算效率方面的表现优于最先进的方法。源代码将在https://github.com/unknownue/pu-flow上公开获得。

点云压缩（PCC）是各种3-D应用程序的关键推动器，这是由于点云格式的通用性。理想情况下，3D点云努力描绘了连续的对象/场景表面。实际上，作为一组离散样本，点云是局部断开连接并稀疏分布的。这种稀疏的性质阻碍了在压缩点之间发现局部相关性的发现。通过分形维度的分析，我们提出了一种异质方法，并深入学习有损耗的点云几何压缩。在压缩输入的粗表示的基础层的顶部上，增强层的设计旨在应对具有挑战性的几何残差/详细信息。具体而言，应用基于点的网络将不稳定的本地详细信息转换为位于粗点云上的潜在特征。然后启动了在粗点云上运行的稀疏卷积神经网络。它利用粗糙几何形状的连续性/平滑度来压缩潜在特征，作为增强的位流，极大地使重建质量受益。当此位流不可用时，例如，由于数据包丢失，我们支持具有相同体系结构的跳过模式，该模式直接从粗点云中生成几何细节。对密度和稀疏点云的实验证明了我们的提案实现的最新压缩性能。我们的代码可在https://github.com/interdigitalinc/grasp-net上找到。

有效的点云压缩对于虚拟和混合现实，自动驾驶和文化遗产等应用至关重要。在本文中，我们为动态点云几何压缩提出了一个基于深度学习的框架间编码方案。我们提出了一种有损的几何压缩方案，该方案通过使用新的预测网络，使用先前的框架来预测当前帧的潜在表示。我们提出的网络利用稀疏的卷积使用层次多尺度3D功能学习来使用上一个帧编码当前帧。我们在目标坐标上采用卷积来将上一个帧的潜在表示为当前帧的降采样坐标，以预测当前帧的特征嵌入。我们的框架通过使用学习的概率分解熵模型来压缩预测功能的残差和实际特征。在接收器中，解码器层次结构通过逐步重新嵌入功能嵌入来重建当前框架。我们将我们的模型与基于最先进的视频点云压缩（V-PCC）和基于几何的点云压缩（G-PCC）方案进行了比较，该方案由Moving Picture Experts Group（MPEG）标准化。我们的方法实现了91％以上的BD率Bjontegaard三角洲率）降低了G-PCC，针对V-PCC框架内编码模式的BD率降低了62％以上，而对于V-PC。使用HEVC，基于PCC P框架的框架间编码模式。

有效处理3D数据一直是一个挑战。大规模点云上的空间操作以稀疏数据存储，需要额外的成本。由于变形金刚的成功吸引，研究人员正在使用多头关注视力任务。但是，变压器中的注意力计算在输入数量和点云等集合的空间直觉中具有二次复杂性。我们重新设计了这项工作中的“变压器”，并将它们纳入形状分类以及部分和场景细分的层次结构框架中。我们建议我们的当地注意力单元，该单元捕获了空间社区的特征。我们还通过利用每次迭代的采样和分组来计算有效且动态的全局交叉注意。最后，为了减轻点云的非异质性，我们提出了一个有效的多尺度令牌化（MST），该标记（MST）提取了尺度不变的令牌以供注意操作。所提出的分层模型以平均准确性实现最新的形状分类，并以先前的分割方法的相同，同时需要更少的计算。我们提出的体系结构预测分割标签的标签约为以前最有效方法的延迟和参数计数的一半，具有可比的性能。该代码可从https://github.com/yigewang-whu/cloudattention获得。

我们介绍了PointConvormer，这是一个基于点云的深神经网络体系结构的新颖构建块。受到概括理论的启发，PointConvormer结合了点卷积的思想，其中滤波器权重仅基于相对位置，而变形金刚则利用了基于功能的注意力。在PointConvormer中，附近点之间的特征差异是重量重量卷积权重的指标。因此，我们从点卷积操作中保留了不变，而注意力被用来选择附近的相关点进行卷积。为了验证PointConvormer的有效性，我们在点云上进行了语义分割和场景流估计任务，其中包括扫描仪，Semantickitti，FlyingThings3D和Kitti。我们的结果表明，PointConvormer具有经典的卷积，常规变压器和Voxelized稀疏卷积方法的表现，具有较小，更高效的网络。可视化表明，PointConvormer的性能类似于在平面表面上的卷积，而邻域选择效果在物体边界上更强，表明它具有两全其美。

鉴于3D扫描仪的快速发展，Point云在AI驱动的机器中变得流行。但是，点云数据本质上是稀疏和不规则的，导致机器感知的主要困难。在这项工作中，我们专注于云上采样任务，该任务旨在从稀疏输入数据生成密集的高保真点云。具体而言，为了激活变压器在代表功能方面的强大功能，我们开发了多头自我关注结构的新变体，以增强特征图的点明智和渠道关系。此外，我们利用位置融合块来全面地捕获点云数据的本地背景，提供有关分散点的更多位置相关信息。由于第一变压器模型引入点云上采样，我们通过与定量和定性的不同基准的基于基准的方法相比，通过比较了我们的方法的出色性能。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

在本文中，我们从功能学习的角度解决了点云完成的具有挑战性的问题。我们的主要观察结果是，要恢复基础结构以及表面细节，给定部分输入，基本组件是一个很好的特征表示，可以同时捕获全球结构和局部几何细节。因此，我们首先提出了FSNET，这是一个功能结构模块，可以通过从本地区域学习多个潜在图案来适应汇总点的点功能。然后，我们将FSNET集成到粗线管道中，以完成点云完成。具体而言，采用2D卷积神经网络将特征图从FSNET解码为粗且完整的点云。接下来，使用一个点云UP抽样网络来从部分输入和粗糙的中间输出中生成密集的点云。为了有效利用局部结构并增强点分布均匀性，我们提出了IFNET，该点具有自校正机制的点提升模块，该模块可以逐步完善生成的密集点云的细节。我们已经在Shapenet，MVP和Kitti数据集上进行了定性和定量实验，这些实验表明我们的方法优于最先进的点云完成方法。

最近神经网络的成功使得能够更好地解释3D点云，但是处理大规模的3D场景仍然是一个具有挑战性的问题。大多数电流方法将大型场景划分为小区，并将当地预测组合在一起。然而，该方案不可避免地涉及预处理和后处理的附加阶段，并且由于局部视角下的预测也可能降低最终输出。本文介绍了由新的轻质自我关注层组成的快速点变压器。我们的方法编码连续的3D坐标，基于体素散列的架构提高了计算效率。所提出的方法用3D语义分割和3D检测进行了说明。我们的方法的准确性对基于最佳的体素的方法具有竞争力，我们的网络达到了比最先进的点变压器更快的推理时间速度更快的136倍，具有合理的准确性权衡。

变压器一直是自然语言处理（NLP）和计算机视觉（CV）革命的核心。 NLP和CV的显着成功启发了探索变压器在点云处理中的使用。但是，变压器如何应对点云的不规则性和无序性质？变压器对于不同的3D表示（例如，基于点或体素）的合适性如何？各种3D处理任务的变压器有多大的能力？截至目前，仍然没有对这些问题的研究进行系统的调查。我们第一次为3D点云分析提供了越来越受欢迎的变压器的全面概述。我们首先介绍变压器体系结构的理论，并在2D/3D字段中审查其应用程序。然后，我们提出三种不同的分类法（即实现 - 数据表示和基于任务），它们可以从多个角度对当前的基于变压器的方法进行分类。此外，我们介绍了研究3D中自我注意机制的变异和改进的结果。为了证明变压器在点云分析中的优势，我们提供了基于各种变压器的分类，分割和对象检测方法的全面比较。最后，我们建议三个潜在的研究方向，为3D变压器的开发提供福利参考。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.