与卷积神经网络相比，最近开发的纯变压器架构已经实现了对点云学习基准的有希望的准确性。然而，现有点云变压器是计算昂贵的，因为它们在构建不规则数据时浪费了大量时间。要解决此缺点，我们呈现稀疏窗口注意（SWA）模块，以收集非空体素的粗粒颗粒特征，不仅绕过昂贵的不规则数据结构和无效的空体素计算，还可以获得线性计算复杂性到体素分辨率。同时，要收集关于全球形状的细粒度特征，我们介绍了相对的注意（RA）模块，更强大的自我关注变体，用于对象的刚性变换。我们配备了SWA和RA，我们构建了我们的神经结构，称为PVT，将两个模块集成到Point云学习的联合框架中。与以前的变压器和关注的模型相比，我们的方法平均达到了分类基准和10x推理加速的最高精度为94.0％。广泛的实验还有效地验证了PVT在部分和语义分割基准上的有效性（分别为86.6％和69.2％Miou）。

点云学习界见证了从CNN到变形金刚的模型转移，纯变压器架构在主要学习基准上实现了最高精度。然而，现有的点变压器是计算昂贵的，因为它们需要产生大的注意图，其相对于输入大小具有二次复杂度（空间和时间）。为了解决这种缺点，我们介绍补丁注意（PAT），以便自适应地学习计算注意力地图的更小的基础。通过对这些基础的加权求和，PAT仅捕获全局形状上下文，而且还可以实现输入大小的线性复杂性。此外，我们提出了一种轻量级的多尺度关注（MST）块来构建不同尺度特征的关注，提供具有多尺度特征的模型。我们配备了PAT和MST，我们构建了我们的神经结构，称为PatchFormer，将两个模块集成到Point云学习的联合框架中。广泛的实验表明，我们的网络对一般点云学习任务的可比准确性具有9.2倍的速度高于先前的点变压器。

The irregular domain and lack of ordering make it challenging to design deep neural networks for point cloud processing. This paper presents a novel framework named Point Cloud Transformer(PCT) for point cloud learning. PCT is based on Transformer, which achieves huge success in natural language processing and displays great potential in image processing. It is inherently permutation invariant for processing a sequence of points, making it well-suited for point cloud learning. To better capture local context within the point cloud, we enhance input embedding with the support of farthest point sampling and nearest neighbor search. Extensive experiments demonstrate that the PCT achieves the state-of-the-art performance on shape classification, part segmentation, semantic segmentation and normal estimation tasks.

最近神经网络的成功使得能够更好地解释3D点云，但是处理大规模的3D场景仍然是一个具有挑战性的问题。大多数电流方法将大型场景划分为小区，并将当地预测组合在一起。然而，该方案不可避免地涉及预处理和后处理的附加阶段，并且由于局部视角下的预测也可能降低最终输出。本文介绍了由新的轻质自我关注层组成的快速点变压器。我们的方法编码连续的3D坐标，基于体素散列的架构提高了计算效率。所提出的方法用3D语义分割和3D检测进行了说明。我们的方法的准确性对基于最佳的体素的方法具有竞争力，我们的网络达到了比最先进的点变压器更快的推理时间速度更快的136倍，具有合理的准确性权衡。

变压器一直是自然语言处理（NLP）和计算机视觉（CV）革命的核心。 NLP和CV的显着成功启发了探索变压器在点云处理中的使用。但是，变压器如何应对点云的不规则性和无序性质？变压器对于不同的3D表示（例如，基于点或体素）的合适性如何？各种3D处理任务的变压器有多大的能力？截至目前，仍然没有对这些问题的研究进行系统的调查。我们第一次为3D点云分析提供了越来越受欢迎的变压器的全面概述。我们首先介绍变压器体系结构的理论，并在2D/3D字段中审查其应用程序。然后，我们提出三种不同的分类法（即实现 - 数据表示和基于任务），它们可以从多个角度对当前的基于变压器的方法进行分类。此外，我们介绍了研究3D中自我注意机制的变异和改进的结果。为了证明变压器在点云分析中的优势，我们提供了基于各种变压器的分类，分割和对象检测方法的全面比较。最后，我们建议三个潜在的研究方向，为3D变压器的开发提供福利参考。

由于其稀疏性和不规则性，点云处理是一个具有挑战性的任务。现有作品在本地特征聚合器或全局几何架构上引入精致的设计，但很少结合两个优点。我们提出了与高频融合（DSPoint）的双模点云识别，通过同时在体素和点上运行来提取本地全局功能。我们扭转了常规设计对体素和注意点的应用卷积。具体而言，我们通过通道尺寸解开点特征，用于双尺度处理：一个逐个明智的卷积，用于细粒度的几何解析，另一个由Voxel-Wise全球关注远程结构探索。我们设计了一个共同关注的融合模块，用于混合本地 - 全局模态，通过传送高频坐标信息来进行尺度间跨模型交互。广泛采用的ModelNet40，ShapEnet​​和S3DIS上的实验和消融展示了我们的DSPoint的最先进的性能。

变压器在自然语言处理中的成功最近引起了计算机视觉领域的关注。由于能够学习长期依赖性，变压器已被用作广泛使用的卷积运算符的替代品。事实证明，这种替代者在许多任务中都取得了成功，其中几种最先进的方法依靠变压器来更好地学习。在计算机视觉中，3D字段还见证了使用变压器来增加3D卷积神经网络和多层感知器网络的增加。尽管许多调查都集中在视力中的变压器上，但由于与2D视觉相比，由于数据表示和处理的差异，3D视觉需要特别注意。在这项工作中，我们介绍了针对不同3D视觉任务的100多种变压器方法的系统和彻底审查，包括分类，细分，检测，完成，姿势估计等。我们在3D Vision中讨论了变形金刚的设计，该设计使其可以使用各种3D表示形式处理数据。对于每个应用程序，我们强调了基于变压器的方法的关键属性和贡献。为了评估这些方法的竞争力，我们将它们的性能与12个3D基准测试的常见非转化方法进行了比较。我们通过讨论3D视觉中变压器的不同开放方向和挑战来结束调查。除了提出的论文外，我们的目标是频繁更新最新的相关论文及其相应的实现：https：//github.com/lahoud/3d-vision-transformers。

我们提出CPT：卷积点变压器 - 一种用于处理3D点云数据的非结构化性质的新型深度学习架构。 CPT是对现有关注的卷曲神经网络以及以前的3D点云处理变压器的改进。由于其在创建基于新颖的基于注意力的点集合嵌入通过制作用于处理动态局部点设定的邻域的卷积投影层的嵌入来实现这一壮举。结果点设置嵌入对输入点的排列是强大的。我们的小说CPT块在网络结构中通过动态图计算获得的本地邻居构建。它是完全可差异的，可以像卷积层一样堆叠，以学习点的全局属性。我们评估我们的模型在ModelNet40，ShapEnet​​部分分割和S3DIS 3D室内场景语义分割数据集等标准基准数据集上，以显示我们的模型可以用作各种点云处理任务的有效骨干，与现有状态相比 - 艺术方法。

随着激光雷达传感器和3D视觉摄像头的扩散，3D点云分析近年来引起了重大关注。经过先驱工作点的成功后，基于深度学习的方法越来越多地应用于各种任务，包括3D点云分段和3D对象分类。在本文中，我们提出了一种新颖的3D点云学习网络，通过选择性地执行具有动态池的邻域特征聚合和注意机制来提出作为动态点特征聚合网络（DPFA-NET）。 DPFA-Net有两个可用于三维云的语义分割和分类的变体。作为DPFA-NET的核心模块，我们提出了一个特征聚合层，其中每个点的动态邻域的特征通过自我注意机制聚合。与其他分割模型相比，来自固定邻域的聚合特征，我们的方法可以在不同层中聚合来自不同邻居的特征，在不同层中为查询点提供更具选择性和更广泛的视图，并更多地关注本地邻域中的相关特征。此外，为了进一步提高所提出的语义分割模型的性能，我们提出了两种新方法，即两级BF-Net和BF-Rengralization来利用背景前台信息。实验结果表明，所提出的DPFA-Net在S3DIS数据集上实现了最先进的整体精度分数，在S3DIS数据集上进行了语义分割，并在不同的语义分割，部分分割和3D对象分类中提供始终如一的令人满意的性能。与其他方法相比，它也在计算上更有效。

变压器在图像处理领域取得了显着的成就。受到这一巨大成功的启发，变形金刚在3D点云处理中的应用引起了越来越多的关注。本文提出了一个新颖的点云表示学习网络，具有双重自我注意的3D点云变压器（3DPCT）和一个编码器解码器结构。具体而言，3DPCT具有一个层次编码器，该编码器包含两个用于分类任务的局部全球双重注意模块（分段任务的三个模块），每个模块都包含一个局部特征聚合（LFA）块和全局特征学习（ GFL）块。 GFL块是双重的自我注意事项，既有在点上的自我注意力，又可以提高特征提取。此外，在LFA中，为更好地利用了提取的本地信息，设计了一种新颖的点自我发明模型，称为点斑点自我注意力（PPSA）。在分类和分割数据集上都评估了性能，其中包含合成数据和现实世界数据。广泛的实验表明，所提出的方法在分类和分割任务上都达到了最新的结果。

我们介绍了PointConvormer，这是一个基于点云的深神经网络体系结构的新颖构建块。受到概括理论的启发，PointConvormer结合了点卷积的思想，其中滤波器权重仅基于相对位置，而变形金刚则利用了基于功能的注意力。在PointConvormer中，附近点之间的特征差异是重量重量卷积权重的指标。因此，我们从点卷积操作中保留了不变，而注意力被用来选择附近的相关点进行卷积。为了验证PointConvormer的有效性，我们在点云上进行了语义分割和场景流估计任务，其中包括扫描仪，Semantickitti，FlyingThings3D和Kitti。我们的结果表明，PointConvormer具有经典的卷积，常规变压器和Voxelized稀疏卷积方法的表现，具有较小，更高效的网络。可视化表明，PointConvormer的性能类似于在平面表面上的卷积，而邻域选择效果在物体边界上更强，表明它具有两全其美。

最近，通过单一或多个表示提出了许多方法，以提高点云语义分割的性能。但是，这些作品在性能，效率和记忆消耗中没有保持良好的平衡。为了解决这些问题，我们提出了Drinet ++，通过增强点云的点云与Voxel-Point原理来扩展Drinet。为了提高效率和性能，Drinet ++主要由两个模块组成：稀疏功能编码器和稀疏几何功能增强。稀疏特征编码器提取每个点的本地上下文信息，稀疏几何特征增强功能通过多尺度稀疏投影和细心的多尺度融合增强了稀疏点云​​的几何特性。此外，我们提出了在培训阶段的深度稀疏监督，以帮助收敛并减轻内存消耗问题。我们的Drinet ++在Semantickitti和Nuscenes数据集中实现了最先进的户外点云分段，同时运行得更快，更耗费较少的内存。

深入学习云越来越发展。将点与其邻居分组并对它们进行卷积相同的操作可以了解点云的本地特征，但此方法薄弱以提取长距离全局功能。在整个点云上执行关注的变换器可以有效地学习它的全局特征，但此方法几乎不会提取本地详细功能。在本文中，我们提出了一种新颖的模块，可以同时提取和保险熔断本地和全局功能，该功能被命名为CT-Block。 CT-块由两个分支组成，其中字母C表示卷积分支，字母T表示变压器分支。卷积分支对分组邻点的卷积进行了卷积以提取本地功能。同时，变压器分支对整个点云执行偏移注意过程以提取全局功能。通过CT-块中的特征传输元件构造的桥梁，本地和全局特征在学习期间彼此引导并有效地融合。我们应用CT-Block构建点云分类和分段网络，并评估几个公共数据集的性能。实验结果表明，由于CT-Block学习的特征是多种表现力的，所以由CT-Block构成的网络的性能在点云分类和分割任务实现现有技术。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

通过当地地区的点特征聚合来捕获的细粒度几何是对象识别和场景理解在点云中的关键。然而，现有的卓越点云骨架通常包含最大/平均池用于局部特征聚集，这在很大程度上忽略了点的位置分布，导致细粒结构组装不足。为了缓解这一瓶颈，我们提出了一个有效的替代品，可以使用新颖的图形表示明确地模拟了本地点之间的空间关系，并以位置自适应方式聚合特征，从而实现位置敏感的表示聚合特征。具体而言，Papooling分别由两个关键步骤，图形结构和特征聚合组成，分别负责构造与将中心点连接的边缘与本地区域中的每个相邻点连接的曲线图组成，以将它们的相对位置信息映射到通道 - 明智的细心权重，以及基于通过图形卷积网络（GCN）的生成权重自适应地聚合局部点特征。 Papooling简单而且有效，并且足够灵活，可以随时为PointNet ++和DGCNN等不同的流行律源，作为即插即说运算符。关于各种任务的广泛实验，从3D形状分类，部分分段对场景分割良好的表明，伪装可以显着提高预测准确性，而具有最小的额外计算开销。代码将被释放。

在本文中，我们提出了一个全面的点云语义分割网络，该网络汇总了本地和全球多尺度信息。首先，我们提出一个角度相关点卷积（ACPCONV）模块，以有效地了解点的局部形状。其次，基于ACPCONV，我们引入了局部多规模拆分（MSS）块，该块从一个单个块中连接到一个单个块中的特征，并逐渐扩大了接受场，这对利用本地上下文是有益的。第三，受HRNET的启发，在2D图像视觉任务上具有出色的性能，我们构建了一个针对Point Cloud的HRNET，以学习全局多尺度上下文。最后，我们介绍了一种融合多分辨率预测并进一步改善点云语义分割性能的点上的注意融合方法。我们在几个基准数据集上的实验结果和消融表明，与现有方法相比，我们提出的方法有效，能够实现最先进的性能。

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text. To address these differences, we propose a hierarchical Transformer whose representation is computed with Shifted windows. The shifted windowing scheme brings greater efficiency by limiting self-attention computation to non-overlapping local windows while also allowing for cross-window connection. This hierarchical architecture has the flexibility to model at various scales and has linear computational complexity with respect to image size. These qualities of Swin Transformer make it compatible with a broad range of vision tasks, including image classification (87.3 top-1 accuracy on ImageNet-1K) and dense prediction tasks such as object detection (58.7 box AP and 51.1 mask AP on COCO testdev) and semantic segmentation (53.5 mIoU on ADE20K val). Its performance surpasses the previous state-of-theart by a large margin of +2.7 box AP and +2.6 mask AP on COCO, and +3.2 mIoU on ADE20K, demonstrating the potential of Transformer-based models as vision backbones. The hierarchical design and the shifted window approach also prove beneficial for all-MLP architectures. The code and models are publicly available at https://github. com/microsoft/Swin-Transformer.

Raw point clouds data inevitably contains outliers or noise through acquisition from 3D sensors or reconstruction algorithms. In this paper, we present a novel endto-end network for robust point clouds processing, named PointASNL, which can deal with point clouds with noise effectively. The key component in our approach is the adaptive sampling (AS) module. It first re-weights the neighbors around the initial sampled points from farthest point sampling (FPS), and then adaptively adjusts the sampled points beyond the entire point cloud. Our AS module can not only benefit the feature learning of point clouds, but also ease the biased effect of outliers. To further capture the neighbor and long-range dependencies of the sampled point, we proposed a local-nonlocal (L-NL) module inspired by the nonlocal operation. Such L-NL module enables the learning process insensitive to noise. Extensive experiments verify the robustness and superiority of our approach in point clouds processing tasks regardless of synthesis data, indoor data, and outdoor data with or without noise. Specifically, PointASNL achieves state-of-theart robust performance for classification and segmentation tasks on all datasets, and significantly outperforms previous methods on real-world outdoor SemanticKITTI dataset with considerate noise. Our code is released through https: //github.com/yanx27/PointASNL.

我们提出了一种新的注意机制，称为全球分层注意（GHA），用于3D点云分析。 GHA通过在多个层次结构上进行一系列粗化和插值操作，近似于常规的全局点产生关注。 GHA的优势是两个方面。首先，它相对于点数具有线性复杂性，从而使大点云的处理能够处理。其次，GHA固有地具有归纳性偏见，可以专注于空间接近点，同时保留所有点之间的全球连通性。与前馈网络相结合，可以将GHA插入许多现有的网络体系结构中。我们尝试多个基线网络，并表明添加GHA始终如一地提高不同任务和数据集的性能。对于语义分割的任务，GHA在扫描板上的Minkowskiengine基线增加了1.7％的MIOU。对于3D对象检测任务，GHA将CenterPoint基线提高了Nuscenes数据集上的 +0.5％地图，而3DETR基线将SCANNET上的基线提高到 +2.1％MAP25和 +1.5％MAP50。