点云识别是工业机器人和自主驾驶中的重要任务。最近，几个点云处理模型已经实现了最先进的表演。然而，这些方法缺乏旋转稳健性，并且它们的性能严重降低了随机旋转，未能扩展到具有不同方向的现实情景。为此，我们提出了一种名为基于自行轮廓的转换（SCT）的方法，该方法可以灵活地集成到针对任意旋转的各种现有点云识别模型中。 SCT通过引入轮廓感知的转换（CAT）提供有效的旋转和翻译不变性，该转换（CAT）线性地将点数的笛卡尔坐标转换为翻译和旋转 - 不变表示。我们证明猫是一种基于理论分析的旋转和翻译不变的转换。此外，提出了帧对准模块来增强通过捕获轮廓并将基于自平台的帧转换为帧内帧来增强鉴别特征提取。广泛的实验结果表明，SCT在合成和现实世界基准的有效性和效率的任意旋转下表现出最先进的方法。此外，稳健性和一般性评估表明SCT是稳健的，适用于各种点云处理模型，它突出了工业应用中SCT的优势。

点云分析没有姿势前导者在真实应用中非常具有挑战性，因为点云的方向往往是未知的。在本文中，我们提出了一个全新的点集学习框架prin，即点亮旋转不变网络，专注于点云分析中的旋转不变特征提取。我们通过密度意识的自适应采样构建球形信号，以处理球形空间中的扭曲点分布。提出了球形Voxel卷积和点重新采样以提取每个点的旋转不变特征。此外，我们将Prin扩展到称为Sprin的稀疏版本，直接在稀疏点云上运行。 Prin和Sprin都可以应用于从对象分类，部分分割到3D特征匹配和标签对齐的任务。结果表明，在随机旋转点云的数据集上，Sprin比无任何数据增强的最先进方法表现出更好的性能。我们还为我们的方法提供了彻底的理论证明和分析，以实现我们的方法实现的点明智的旋转不变性。我们的代码可在https://github.com/qq456cvb/sprin上找到。

点云的特征描述符用于多种应用中，例如注册和3D点云的部分分割。毫无疑问，学习局部几何特征的判别性表示是准确的点云分析的最重要任务。但是，开发旋转或规模不变的描述符是具有挑战性的。以前的大多数研究都忽略了旋转或经验研究的最佳比例参数，这阻碍了该方法对现实世界数据集的适用性。在本文中，我们提出了一种新的本地功能描述方法，该方法对旋转，密度和比例变化具有鲁棒性。此外，为了改善本地描述符的表示，我们提出了一种全局聚合方法。首先，我们将内核沿正常方向对齐。为了避免正常矢量的符号问题，我们在切向平面中使用对称内核点分布。从每个内核点，我们首先将点从空间空间到特征空间投射，该点基于角度和距离，这是强大的到多个尺度和旋转的。随后，我们通过考虑通过全局聚合方法获得的局部内核点结构和远程全局上下文来执行图形卷积。我们在基准数据集（即ModelNet40和shapenetPart）上尝试了提出的描述符，以评估3D点云上的注册，分类和部分分割的性能。与最先进的方法相比，我们的方法表现出卓越的性能，通过减少注册任务中的旋转和翻译错误的70美元$ \％$。我们的方法还显示了具有简单和低维体系结构的分类和零件分割任务的可比性。

学习3D点云的新表示形式是3D视觉中的一个活跃研究领域，因为订单不变的点云结构仍然对神经网络体系结构的设计构成挑战。最近的作品探索了学习全球或本地功能或两者兼而有之，但是均未通过分析点的局部方向分布来捕获上下文形状信息的早期方法。在本文中，我们利用点附近的点方向分布，以获取点云的表现力局部邻里表示。我们通过将给定点的球形邻域分为预定义的锥体来实现这一目标，并将每个体积内部的统计数据用作点特征。这样，本地贴片不仅可以由所选点的最近邻居表示，还可以考虑沿该点周围多个方向定义的点密度分布。然后，我们能够构建涉及依赖MLP（多层感知器）层的Odfblock的方向分布函数（ODF）神经网络。新的ODFNET模型可实现ModelNet40和ScanObjectNN数据集的对象分类的最新精度，并在Shapenet S3DIS数据集上进行分割。

学习地区内部背景和区域间关系是加强点云分析的特征表示的两项有效策略。但是，在现有方法中没有完全强调的统一点云表示的两种策略。为此，我们提出了一种名为点关系感知网络（PRA-NET）的小说框架，其由区域内结构学习（ISL）模块和区域间关系学习（IRL）模块组成。ISL模块可以通过可差的区域分区方案和基于代表的基于点的策略自适应和有效地将本地结构信息动态地集成到点特征中，而IRL模块可自适应和有效地捕获区域间关系。在涵盖形状分类，关键点估计和部分分割的几个3D基准测试中的广泛实验已经验证了PRA-Net的有效性和泛化能力。代码将在https://github.com/xiwuchen/pra-net上获得。

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

Point cloud is an important type of geometric data structure. Due to its irregular format, most researchers transform such data to regular 3D voxel grids or collections of images. This, however, renders data unnecessarily voluminous and causes issues. In this paper, we design a novel type of neural network that directly consumes point clouds, which well respects the permutation invariance of points in the input. Our network, named PointNet, provides a unified architecture for applications ranging from object classification, part segmentation, to scene semantic parsing. Though simple, PointNet is highly efficient and effective. Empirically, it shows strong performance on par or even better than state of the art. Theoretically, we provide analysis towards understanding of what the network has learnt and why the network is robust with respect to input perturbation and corruption.

刚性变换相关的点云的注册是计算机视觉中的基本问题之一。然而，仍然缺乏在存在噪声存在下对准稀疏和不同采样的观察的实际情况的解决方案。我们在这种情况下接近注册，融合封闭形式的通用Mani-折叠嵌入（UME）方法和深神经网络。这两者组合成一个统一的框架，名为Deepume，训练的端到端并以无人监督的方式。为了在存在大转换的情况下成功提供全球解决方案，我们采用So（3） - 识别的坐标系来学习点云的联合重采样策略等（3） - variant功能。然后通过用于转换估计的几何UME方法来利用这些特征。使用度量进行优化的Dewume参数，旨在克服在对称形状的注册中出现的歧义问题，当考虑嘈杂的场景时。我们表明，我们的混合方法在各种场景中优于最先进的注册方法，并概括到未操作数据集。我们的代码公开提供。

Unlike images which are represented in regular dense grids, 3D point clouds are irregular and unordered, hence applying convolution on them can be difficult. In this paper, we extend the dynamic filter to a new convolution operation, named PointConv. PointConv can be applied on point clouds to build deep convolutional networks. We treat convolution kernels as nonlinear functions of the local coordinates of 3D points comprised of weight and density functions. With respect to a given point, the weight functions are learned with multi-layer perceptron networks and density functions through kernel density estimation. The most important contribution of this work is a novel reformulation proposed for efficiently computing the weight functions, which allowed us to dramatically scale up the network and significantly improve its performance. The learned convolution kernel can be used to compute translation-invariant and permutation-invariant convolution on any point set in the 3D space. Besides, PointConv can also be used as deconvolution operators to propagate features from a subsampled point cloud back to its original resolution. Experiments on ModelNet40, ShapeNet, and ScanNet show that deep convolutional neural networks built on PointConv are able to achieve state-of-the-art on challenging semantic segmentation benchmarks on 3D point clouds. Besides, our experiments converting CIFAR-10 into a point cloud showed that networks built on PointConv can match the performance of convolutional networks in 2D images of a similar structure.

随着激光雷达传感器和3D视觉摄像头的扩散，3D点云分析近年来引起了重大关注。经过先驱工作点的成功后，基于深度学习的方法越来越多地应用于各种任务，包括3D点云分段和3D对象分类。在本文中，我们提出了一种新颖的3D点云学习网络，通过选择性地执行具有动态池的邻域特征聚合和注意机制来提出作为动态点特征聚合网络（DPFA-NET）。 DPFA-Net有两个可用于三维云的语义分割和分类的变体。作为DPFA-NET的核心模块，我们提出了一个特征聚合层，其中每个点的动态邻域的特征通过自我注意机制聚合。与其他分割模型相比，来自固定邻域的聚合特征，我们的方法可以在不同层中聚合来自不同邻居的特征，在不同层中为查询点提供更具选择性和更广泛的视图，并更多地关注本地邻域中的相关特征。此外，为了进一步提高所提出的语义分割模型的性能，我们提出了两种新方法，即两级BF-Net和BF-Rengralization来利用背景前台信息。实验结果表明，所提出的DPFA-Net在S3DIS数据集上实现了最先进的整体精度分数，在S3DIS数据集上进行了语义分割，并在不同的语义分割，部分分割和3D对象分类中提供始终如一的令人满意的性能。与其他方法相比，它也在计算上更有效。

多视图投影方法在3D理解任务等方面表现出有希望的性能，如3D分类和分割。然而，它仍然不明确如何将这种多视图方法与广泛可用的3D点云组合。以前的方法使用未受忘掉的启发式方法在点级别结合功能。为此，我们介绍了多视图点云（vinoint云）的概念，表示每个3D点作为从多个视图点提取的一组功能。这种新颖的3D Vintor云表示将3D点云表示的紧凑性与多视图表示的自然观。当然，我们可以用卷积和汇集操作配备这一新的表示。我们以理论上建立的功能形式部署了Voint神经网络（vointnet），以学习vinite空间中的表示。我们的小说代表在ScanObjectnn，ModelNet40和ShapEnet​​ Core55上实现了3D分类和检索的最先进的性能。此外，我们在ShapeNet零件上实现了3D语义细分的竞争性能。进一步的分析表明，与其他方法相比，求力提高了旋转和闭塞的鲁棒性。

Recent investigations on rotation invariance for 3D point clouds have been devoted to devising rotation-invariant feature descriptors or learning canonical spaces where objects are semantically aligned. Examinations of learning frameworks for invariance have seldom been looked into. In this work, we review rotation invariance in terms of point cloud registration and propose an effective framework for rotation invariance learning via three sequential stages, namely rotation-invariant shape encoding, aligned feature integration, and deep feature registration. We first encode shape descriptors constructed with respect to reference frames defined over different scales, e.g., local patches and global topology, to generate rotation-invariant latent shape codes. Within the integration stage, we propose Aligned Integration Transformer to produce a discriminative feature representation by integrating point-wise self- and cross-relations established within the shape codes. Meanwhile, we adopt rigid transformations between reference frames to align the shape codes for feature consistency across different scales. Finally, the deep integrated feature is registered to both rotation-invariant shape codes to maximize feature similarities, such that rotation invariance of the integrated feature is preserved and shared semantic information is implicitly extracted from shape codes. Experimental results on 3D shape classification, part segmentation, and retrieval tasks prove the feasibility of our work. Our project page is released at: https://rotation3d.github.io/.

在3D点云上的应用程序越来越需要效率和鲁棒性，在自动驾驶和机器人技术等场景中无处不在使用边缘设备，这通常需要实时和可靠的响应。该论文通过设计一个通用框架来应对挑战，以构建具有（3）均衡和网络二元化的3D学习体系结构。然而，模棱两可的网络和二元化的幼稚组合会导致优化的计算效率或几何歧义。我们建议在网络中同时找到标量和向量特征，以避免这两种情况。确切地说，标量特征的存在使网络的主要部分是可动的，而矢量特征则可以保留丰富的结构信息并确保SO（3）均衡。提出的方法可以应用于PointNet和DGCNN等一般骨干。同时，对ModelNet40，Shapenet和现实世界数据集ScanObjectnn进行的实验表明，该方法在效率，旋转稳健性和准确性之间取决于巨大的权衡。这些代码可在https://github.com/zhuoinoulu/svnet上找到。

能够直接在原始点云上学习有效的语义表示已成为3D理解中的一个核心主题。尽管进步迅速，但最新的编码器仍限制了典型的点云，并且在遇到几何变形扭曲时的性能弱于必要的性能。为了克服这一挑战，我们提出了Point-Stree，这是一种通用点云编码器，对基于放松的K-D树的转换非常可靠。我们方法的关键是使用主组件分析（PCA）在K-d树中设计了分区规则。我们将放松的K-D树的结构用作我们的计算图，并将特征作为边框描述符建模，并将其与点式最大最大操作合并。除了这种新颖的体系结构设计外，我们还通过引入预先对准进一步提高了鲁棒性 - 一种简单但有效的基于PCA的标准化方案。我们的PointTree编码器与预先对齐的结合始终优于大边距的最先进方法，用于从对象分类到广泛基础的数据集的各种转换版本的语义分割的应用程序。代码和预训练模型可在https://github.com/immortalco/pointtree上找到。

成功的点云注册依赖于在强大的描述符上建立的准确对应关系。但是，现有的神经描述符要么利用旋转变化的主链，其性能在较大的旋转下下降，要么编码局部几何形状，而局部几何形状不太明显。为了解决这个问题，我们介绍Riga以学习由设计和全球了解的旋转不变的描述符。从稀疏局部区域的点对特征（PPF）中，旋转不变的局部几何形状被编码为几何描述符。随后，全球对3D结构和几何环境的认识都以旋转不变的方式合并。更具体地说，整个框架的3D结构首先由我们的全球PPF签名表示，从中学到了结构描述符，以帮助几何描述符感知本地区域以外的3D世界。然后将整个场景的几何上下文全局汇总到描述符中。最后，将稀疏区域的描述插值到密集的点描述符，从中提取对应关系进行注册。为了验证我们的方法，我们对对象和场景级数据进行了广泛的实验。在旋转较大的情况下，Riga就模型Net40的相对旋转误差而超过了最先进的方法8 \度，并将特征匹配的回忆提高了3DLOMATCH上的至少5个百分点。

Point clouds are characterized by irregularity and unstructuredness, which pose challenges in efficient data exploitation and discriminative feature extraction. In this paper, we present an unsupervised deep neural architecture called Flattening-Net to represent irregular 3D point clouds of arbitrary geometry and topology as a completely regular 2D point geometry image (PGI) structure, in which coordinates of spatial points are captured in colors of image pixels. \mr{Intuitively, Flattening-Net implicitly approximates a locally smooth 3D-to-2D surface flattening process while effectively preserving neighborhood consistency.} \mr{As a generic representation modality, PGI inherently encodes the intrinsic property of the underlying manifold structure and facilitates surface-style point feature aggregation.} To demonstrate its potential, we construct a unified learning framework directly operating on PGIs to achieve \mr{diverse types of high-level and low-level} downstream applications driven by specific task networks, including classification, segmentation, reconstruction, and upsampling. Extensive experiments demonstrate that our methods perform favorably against the current state-of-the-art competitors. We will make the code and data publicly available at https://github.com/keeganhk/Flattening-Net.

最近神经网络的成功使得能够更好地解释3D点云，但是处理大规模的3D场景仍然是一个具有挑战性的问题。大多数电流方法将大型场景划分为小区，并将当地预测组合在一起。然而，该方案不可避免地涉及预处理和后处理的附加阶段，并且由于局部视角下的预测也可能降低最终输出。本文介绍了由新的轻质自我关注层组成的快速点变压器。我们的方法编码连续的3D坐标，基于体素散列的架构提高了计算效率。所提出的方法用3D语义分割和3D检测进行了说明。我们的方法的准确性对基于最佳的体素的方法具有竞争力，我们的网络达到了比最先进的点变压器更快的推理时间速度更快的136倍，具有合理的准确性权衡。

In this work, we present Point Transformer, a deep neural network that operates directly on unordered and unstructured point sets. We design Point Transformer to extract local and global features and relate both representations by introducing the local-global attention mechanism, which aims to capture spatial point relations and shape information. For that purpose, we propose SortNet, as part of the Point Transformer, which induces input permutation invariance by selecting points based on a learned score. The output of Point Transformer is a sorted and permutation invariant feature list that can directly be incorporated into common computer vision applications. We evaluate our approach on standard classification and part segmentation benchmarks to demonstrate competitive results compared to the prior work. Code is publicly available at: https://github.com/engelnico/point-transformer INDEX TERMS 3D point processing, Artificial neural networks, Computer vision, Feedforward neural networks, Transformer