采样是原始点云数据处理的重要组成部分，例如在流行的PointNet ++方案中。最远的点采样（FPS）是最流行的采样方案之一，最远的点采样（FPS）是最远的点并执行距离更新。不幸的是，它的效率低，并且可能成为点云应用的瓶颈。我们提出了由M参数化的可调节FPS（AFP），以积极地降低FPS的复杂性，而不会损害采样性能。具体而言，它将原始点云分为M小点云，并同时将样品M点分为M点。它利用了大约分类点云数据的尺寸局部性，以最大程度地减少其性能降解。 AFPS方法可以在原始FPS上实现22至30倍的速度。此外，我们提出了最近的点距离级别（NPDU）方法，以将距离更新数限制为常数数字。 AFPS方法上的NPDU组合可以在具有2K-32K点的点云上实现34-280X的加速，其算法性能与原始FPS相当。例如，对于Shapenet部件分割任务，它可以达到0.8490实例平均MIOU（联合平均交叉点），与原始FPS相比，它仅下降0.0035。

语义细分是农业机器人了解自然果园周围环境的一项基本任务。 LIDAR技术的最新发展使机器人能够在非结构化果园中获得准确的范围测量。与RGB图像相比，3D点云具有几何特性。通过将LIDAR和相机组合在一起，可以获得有关几何和纹理的丰富信息。在这项工作中，我们提出了一种基于深度学习的分割方法，以对来自激光镜像相机视觉传感器的融合数据进行准确的语义分割。在这项工作中探索和解决了两个关键问题。第一个是如何有效地从多传感器数据中融合纹理和几何特征。第二个是如何在严重失衡类条件下有效训练3D分割网络的方法。此外，详细介绍了果园中3D分割的实现，包括LiDAR-CAMERA数据融合，数据收集和标签，网络培训和模型推断。在实验中，我们在处理从苹果园获得的高度非结构化和嘈杂的点云时，全面分析了网络设置。总体而言，我们提出的方法在高分辨率点云（100k-200k点）上的水果分割时达到了86.2％MIOU。实验结果表明，所提出的方法可以在真实的果园环境中进行准确的分割。

有效处理3D数据一直是一个挑战。大规模点云上的空间操作以稀疏数据存储，需要额外的成本。由于变形金刚的成功吸引，研究人员正在使用多头关注视力任务。但是，变压器中的注意力计算在输入数量和点云等集合的空间直觉中具有二次复杂性。我们重新设计了这项工作中的“变压器”，并将它们纳入形状分类以及部分和场景细分的层次结构框架中。我们建议我们的当地注意力单元，该单元捕获了空间社区的特征。我们还通过利用每次迭代的采样和分组来计算有效且动态的全局交叉注意。最后，为了减轻点云的非异质性，我们提出了一个有效的多尺度令牌化（MST），该标记（MST）提取了尺度不变的令牌以供注意操作。所提出的分层模型以平均准确性实现最新的形状分类，并以先前的分割方法的相同，同时需要更少的计算。我们提出的体系结构预测分割标签的标签约为以前最有效方法的延迟和参数计数的一半，具有可比的性能。该代码可从https://github.com/yigewang-whu/cloudattention获得。

大规模发光点云的快速有效语义分割是自主驾驶中的一个基本问题。为了实现这一目标，现有的基于点的方法主要选择采用随机抽样策略来处理大规模点云。但是，我们的数量和定性研究发现，随机抽样可能不适合自主驾驶场景，因为LiDAR点遵循整个空间的不均匀甚至长尾巴分布，这阻止了模型从从中捕获足够的信息，从而从中捕获了足够的信息不同的距离范围并降低了模型的学习能力。为了减轻这个问题，我们提出了一种新的极性缸平衡的随机抽样方法，该方法使下采样的点云能够保持更平衡的分布并改善不同空间分布下的分割性能。此外，引入了采样一致性损失，以进一步提高分割性能并降低模型在不同采样方法下的方差。广泛的实验证实，我们的方法在Semantickitti和Semanticposs基准测试中都产生了出色的性能，分别提高了2.8％和4.0％。

许多基于点的语义分割方法是为室内场景设计的，但如果它们被应用于户外环境中的LIDAR传感器捕获的点云，则他们挣扎。为了使这些方法更有效和坚固，使得它们可以处理LIDAR数据，我们介绍了重新建立基于3D点的操作的一般概念，使得它们可以在投影空间中运行。虽然我们通过三个基于点的方法显示了重新计算的版本速度快300到400倍，但实现了更高的准确性，但我们还证明了重新制定基于3D点的操作的概念允许设计统一益处的新架构基于点和基于图像的方法。作为示例，我们介绍一种网络，该网络将基于重新的3D点的操作集成到2D编码器 - 解码器架构中，该架构融合来自不同2D尺度的信息。我们评估了四个具有挑战性的语义LIDAR点云分割的方法，并显示利用基于2D图像的操作的重新推出的基于3D点的操作实现了所有四个数据集的非常好的结果。

学习地区内部背景和区域间关系是加强点云分析的特征表示的两项有效策略。但是，在现有方法中没有完全强调的统一点云表示的两种策略。为此，我们提出了一种名为点关系感知网络（PRA-NET）的小说框架，其由区域内结构学习（ISL）模块和区域间关系学习（IRL）模块组成。ISL模块可以通过可差的区域分区方案和基于代表的基于点的策略自适应和有效地将本地结构信息动态地集成到点特征中，而IRL模块可自适应和有效地捕获区域间关系。在涵盖形状分类，关键点估计和部分分割的几个3D基准测试中的广泛实验已经验证了PRA-Net的有效性和泛化能力。代码将在https://github.com/xiwuchen/pra-net上获得。

准确而快速的场景理解是自动驾驶的挑战性任务之一，它需要充分利用LiDar Point云进行语义细分。在本文中，我们提出了一个\ textbf {concise}和\ textbf {有效}基于图像的语义分割网络，名为\ textbf {cenet}。为了提高学习能力的描述能力并降低计算和时间复杂性，我们的CENET将卷积与较大的内核大小而不是MLP相结合。定量和定性实验是根据公开可用的基准测试和Semanticposs进行的，这表明我们的管道与最先进的模型相比，我们的管道取得了更好的MIOU和推理性能。该代码将在https://github.com/huixiancheng/cenet上找到。

由于点云数据结构的不规则性，点云分析具有挑战性。现有作品通常采用PointNet ++的临时采样组操作，然后采用复杂的本地和/或全局特征提取器来利用点云的3D几何形状。不幸的是，这些复杂的手工制作的模型设计导致过去几年的推理潜伏期和性能饱和度较差。在本文中，我们指出，不规则点云上的经典抽样组对随后的MLP层的学习难度。为了减少点云的不规则性，我们在采样组操作后引入了双向模块。 DualNorm模块由点归一化组成，该点标准化将分组的点标准化为采样点，并反向点归一化，从而将采样点归一化为分组点。拟议的PointNorm利用本地平均值和全球标准偏差从本地和全球特征中受益，同时保持忠实的推理速度。点云分类的实验表明，我们在ModelNet40和ScanoBjectNN数据集上实现了最新的精度。我们还概括了我们的模型以指向云部分细分并在ShapenetPart数据集上展示竞争性能。代码可在https://github.com/shenzheng2000/pointnorm-for-point-cloud-analysis中找到。

Raw point clouds data inevitably contains outliers or noise through acquisition from 3D sensors or reconstruction algorithms. In this paper, we present a novel endto-end network for robust point clouds processing, named PointASNL, which can deal with point clouds with noise effectively. The key component in our approach is the adaptive sampling (AS) module. It first re-weights the neighbors around the initial sampled points from farthest point sampling (FPS), and then adaptively adjusts the sampled points beyond the entire point cloud. Our AS module can not only benefit the feature learning of point clouds, but also ease the biased effect of outliers. To further capture the neighbor and long-range dependencies of the sampled point, we proposed a local-nonlocal (L-NL) module inspired by the nonlocal operation. Such L-NL module enables the learning process insensitive to noise. Extensive experiments verify the robustness and superiority of our approach in point clouds processing tasks regardless of synthesis data, indoor data, and outdoor data with or without noise. Specifically, PointASNL achieves state-of-theart robust performance for classification and segmentation tasks on all datasets, and significantly outperforms previous methods on real-world outdoor SemanticKITTI dataset with considerate noise. Our code is released through https: //github.com/yanx27/PointASNL.

与卷积神经网络相比，最近开发的纯变压器架构已经实现了对点云学习基准的有希望的准确性。然而，现有点云变压器是计算昂贵的，因为它们在构建不规则数据时浪费了大量时间。要解决此缺点，我们呈现稀疏窗口注意（SWA）模块，以收集非空体素的粗粒颗粒特征，不仅绕过昂贵的不规则数据结构和无效的空体素计算，还可以获得线性计算复杂性到体素分辨率。同时，要收集关于全球形状的细粒度特征，我们介绍了相对的注意（RA）模块，更强大的自我关注变体，用于对象的刚性变换。我们配备了SWA和RA，我们构建了我们的神经结构，称为PVT，将两个模块集成到Point云学习的联合框架中。与以前的变压器和关注的模型相比，我们的方法平均达到了分类基准和10x推理加速的最高精度为94.0％。广泛的实验还有效地验证了PVT在部分和语义分割基准上的有效性（分别为86.6％和69.2％Miou）。

随着激光雷达传感器和3D视觉摄像头的扩散，3D点云分析近年来引起了重大关注。经过先驱工作点的成功后，基于深度学习的方法越来越多地应用于各种任务，包括3D点云分段和3D对象分类。在本文中，我们提出了一种新颖的3D点云学习网络，通过选择性地执行具有动态池的邻域特征聚合和注意机制来提出作为动态点特征聚合网络（DPFA-NET）。 DPFA-Net有两个可用于三维云的语义分割和分类的变体。作为DPFA-NET的核心模块，我们提出了一个特征聚合层，其中每个点的动态邻域的特征通过自我注意机制聚合。与其他分割模型相比，来自固定邻域的聚合特征，我们的方法可以在不同层中聚合来自不同邻居的特征，在不同层中为查询点提供更具选择性和更广泛的视图，并更多地关注本地邻域中的相关特征。此外，为了进一步提高所提出的语义分割模型的性能，我们提出了两种新方法，即两级BF-Net和BF-Rengralization来利用背景前台信息。实验结果表明，所提出的DPFA-Net在S3DIS数据集上实现了最先进的整体精度分数，在S3DIS数据集上进行了语义分割，并在不同的语义分割，部分分割和3D对象分类中提供始终如一的令人满意的性能。与其他方法相比，它也在计算上更有效。

In this work, we present Point Transformer, a deep neural network that operates directly on unordered and unstructured point sets. We design Point Transformer to extract local and global features and relate both representations by introducing the local-global attention mechanism, which aims to capture spatial point relations and shape information. For that purpose, we propose SortNet, as part of the Point Transformer, which induces input permutation invariance by selecting points based on a learned score. The output of Point Transformer is a sorted and permutation invariant feature list that can directly be incorporated into common computer vision applications. We evaluate our approach on standard classification and part segmentation benchmarks to demonstrate competitive results compared to the prior work. Code is publicly available at: https://github.com/engelnico/point-transformer INDEX TERMS 3D point processing, Artificial neural networks, Computer vision, Feedforward neural networks, Transformer

We study the problem of efficient semantic segmentation for large-scale 3D point clouds. By relying on expensive sampling techniques or computationally heavy pre/postprocessing steps, most existing approaches are only able to be trained and operate over small-scale point clouds. In this paper, we introduce RandLA-Net, an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds. The key to our approach is to use random point sampling instead of more complex point selection approaches. Although remarkably computation and memory efficient, random sampling can discard key features by chance. To overcome this, we introduce a novel local feature aggregation module to progressively increase the receptive field for each 3D point, thereby effectively preserving geometric details. Extensive experiments show that our RandLA-Net can process 1 million points in a single pass with up to 200× faster than existing approaches. Moreover, our RandLA-Net clearly surpasses state-of-the-art approaches for semantic segmentation on two large-scale benchmarks Semantic3D and Se-manticKITTI.

本文解决了从给定稀疏点云生成密集点云的问题，以模拟物体/场景的底层几何结构。为了解决这一具有挑战性的问题，我们提出了一种新的基于端到端学习的框架。具体地，通过利用线性近似定理，我们首先明确地制定问题，这逐到确定内插权和高阶近似误差。然后，我们设计轻量级神经网络，通过分析输入点云的局部几何体，自适应地学习统一和分类的插值权重以及高阶改进。所提出的方法可以通过显式制定来解释，因此比现有的更高的内存效率。与仅用于预定义和固定的上采样因子的现有方法的鲜明对比，所提出的框架仅需要一个单一的神经网络，一次性训练可以在典型范围内处理各种上采样因子，这是真实的-world应用程序。此外，我们提出了一种简单但有效的培训策略来推动这种灵活的能力。此外，我们的方法可以很好地处理非均匀分布和嘈杂的数据。合成和现实世界数据的广泛实验证明了所提出的方法在定量和定性的最先进方法上的优越性。

基于混合的点云增强是一种流行的大规模公共数据集可用性问题的问题。但混合点和相应的语义标签之间的不匹配会阻碍诸如部分分割的方向任务中的进一步应用。本文提出了一种点云增强方法，Pointmanifoldcut（PMC），它取代了神经网络嵌入点，而不是欧几里德空间坐标。这种方法利用了在较高级别的神经网络的点已经培训，以培训以嵌入其邻居关系并混合这些表示不会混合自身与其标签之间的关系。我们在PointManifoldCut操作后设置了空间变换模块，以对齐嵌入式空间中的新实例。本文还讨论了不同隐藏层的效果和更换点的方法。实验表明，我们的建议方法可以增强点云分类以及分段网络的性能，并为攻击和几何变换带来了额外的鲁棒性。本文的代码可用于：https://github.com/fun0515/pinityManifoldcut。

Downsampling and feature extraction are essential procedures for 3D point cloud understanding. Existing methods are limited by the inconsistent point densities of different parts in the point cloud. In this work, we analyze the limitation of the downsampling stage and propose the pre-abstraction group-wise window-normalization module. In particular, the window-normalization method is leveraged to unify the point densities in different parts. Furthermore, the group-wise strategy is proposed to obtain multi-type features, including texture and spatial information. We also propose the pre-abstraction module to balance local and global features. Extensive experiments show that our module performs better on several tasks. In segmentation tasks on S3DIS (Area 5), the proposed module performs better on small object recognition, and the results have more precise boundaries than others. The recognition of the sofa and the column is improved from 69.2% to 84.4% and from 42.7% to 48.7%, respectively. The benchmarks are improved from 71.7%/77.6%/91.9% (mIoU/mAcc/OA) to 72.2%/78.2%/91.4%. The accuracies of 6-fold cross-validation on S3DIS are 77.6%/85.8%/91.7%. It outperforms the best model PointNeXt-XL (74.9%/83.0%/90.3%) by 2.7% on mIoU and achieves state-of-the-art performance. The code and models are available at https://github.com/DBDXSS/Window-Normalization.git.

准确的轨道位置是铁路支持驱动系统的重要组成部分，用于安全监控。激光雷达可以获得携带铁路环境的3D信息的点云，特别是在黑暗和可怕的天气条件下。在本文中，提出了一种基于3D点云的实时轨识别方法来解决挑战，如无序，不均匀的密度和大量点云的挑战。首先呈现Voxel Down-采样方法，用于铁路点云的密度平衡，并且金字塔分区旨在将3D扫描区域划分为具有不同卷的体素。然后，开发了一个特征编码模块以找到最近的邻点并聚合它们的局部几何特征。最后，提出了一种多尺度神经网络以产生每个体素和轨道位置的预测结果。该实验是在铁路的3D点云数据的9个序列下进行的。结果表明，该方法在检测直，弯曲和其他复杂的拓扑轨道方面具有良好的性能。

通过当地地区的点特征聚合来捕获的细粒度几何是对象识别和场景理解在点云中的关键。然而，现有的卓越点云骨架通常包含最大/平均池用于局部特征聚集，这在很大程度上忽略了点的位置分布，导致细粒结构组装不足。为了缓解这一瓶颈，我们提出了一个有效的替代品，可以使用新颖的图形表示明确地模拟了本地点之间的空间关系，并以位置自适应方式聚合特征，从而实现位置敏感的表示聚合特征。具体而言，Papooling分别由两个关键步骤，图形结构和特征聚合组成，分别负责构造与将中心点连接的边缘与本地区域中的每个相邻点连接的曲线图组成，以将它们的相对位置信息映射到通道 - 明智的细心权重，以及基于通过图形卷积网络（GCN）的生成权重自适应地聚合局部点特征。 Papooling简单而且有效，并且足够灵活，可以随时为PointNet ++和DGCNN等不同的流行律源，作为即插即说运算符。关于各种任务的广泛实验，从3D形状分类，部分分段对场景分割良好的表明，伪装可以显着提高预测准确性，而具有最小的额外计算开销。代码将被释放。

本文提出了一个统一的神经网络结构，用于联合3D对象检测和点云分段。我们利用检测和分割标签的丰富监督，而不是使用其中一个。另外，基于广泛应用于3D场景和对象理解的隐式功能，提出了基于单级对象检测器的扩展。扩展分支从对象检测模块作为输入采用最终特征映射，并产生隐式功能，为其对应的体素中心产生每个点的语义分布。我们展示了我们在NUSCENES-LIDARSEG上的结构的表现，这是一个大型户外数据集。我们的解决方案在与对象检测解决方案相比，在3D对象检测和点云分割中实现了针对现有的方法的竞争结果。通过实验验证了所提出的方法的有效弱监管语义分割的能力。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.