现有的最新3D点云实例分割方法依赖于基于分组的方法，该方法指向获得对象实例。尽管产生准确的分割结果方面有所改善，但这些方法缺乏可扩展性，通常需要将大量输入分为多个部分。为了处理数百万点的场景，现有的最快方法软组\ cite {vu2022222222222222222222222222222222222222ggroup}需要数十秒钟，这是满意的。我们的发现是，$ k $ neart的邻居（$ k $ -nn）是分组的先决条件，是计算瓶颈。这种瓶颈严重使现场的推理时间恶化了很多。本文提出了软组++来解决此计算瓶颈，并进一步优化了整个网络的推理速度。 SoftGroup ++建立在软组上，这在三个重要方面有所不同：（1）执行OCTREE $ K $ -NN而不是Vanilla $ k $ -nn，以将时间复杂性从$ \ Mathcal {o}（n^2）缩短到$ \ Mathcal {o}（n \ log n）$，（2）执行金字塔缩放，适应性下降样本骨干输出以减少$ k $ -nn和分组的搜索空间，并且（3）执行后期的Devoxelization，延迟了Voxels的转换指向模型的结束，以使中间组件以低计算成本运行。在各种室内和室外数据集上进行了广泛的实验，证明了拟议的软组++的功效。值得注意的是，SoftGroup ++在一个前方的情况下通过单个前方进行了大量的场景，而无需将输入分为多个部分，从而丰富了上下文信息。特别是，SoftGroup ++达到2.4点AP $ _ {50} $改进，而$ 6 \ $ 6 \ times $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $。代码和训练有素的模型将公开可用。

我们提出了一种基于动态卷积的3D点云的实例分割方法。这使其能够在推断时适应变化的功能和对象尺度。这样做避免了一些自下而上的方法的陷阱，包括对超参数调整和启发式后处理管道的依赖，以弥补物体大小的不可避免的可变性，即使在单个场景中也是如此。通过收集具有相同语义类别并为几何质心进行仔细投票的均匀点，网络的表示能力大大提高了。然后通过几个简单的卷积层解码实例，其中参数是在输入上生成的。所提出的方法是无建议的，而是利用适应每个实例的空间和语义特征的卷积过程。建立在瓶颈层上的轻重量变压器使模型可以捕获远程依赖性，并具有有限的计算开销。结果是一种简单，高效且健壮的方法，可以在各种数据集上产生强大的性能：ScannETV2，S3DIS和Partnet。基于体素和点的体系结构的一致改进意味着提出的方法的有效性。代码可在以下网址找到：https：//git.io/dyco3d

Most existing methods realize 3D instance segmentation by extending those models used for 3D object detection or 3D semantic segmentation. However, these non-straightforward methods suffer from two drawbacks: 1) Imprecise bounding boxes or unsatisfactory semantic predictions limit the performance of the overall 3D instance segmentation framework. 2) Existing method requires a time-consuming intermediate step of aggregation. To address these issues, this paper proposes a novel end-to-end 3D instance segmentation method based on Superpoint Transformer, named as SPFormer. It groups potential features from point clouds into superpoints, and directly predicts instances through query vectors without relying on the results of object detection or semantic segmentation. The key step in this framework is a novel query decoder with transformers that can capture the instance information through the superpoint cross-attention mechanism and generate the superpoint masks of the instances. Through bipartite matching based on superpoint masks, SPFormer can implement the network training without the intermediate aggregation step, which accelerates the network. Extensive experiments on ScanNetv2 and S3DIS benchmarks verify that our method is concise yet efficient. Notably, SPFormer exceeds compared state-of-the-art methods by 4.3% on ScanNetv2 hidden test set in terms of mAP and keeps fast inference speed (247ms per frame) simultaneously. Code is available at https://github.com/sunjiahao1999/SPFormer.

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

点云上的实例分割对于3D场景的理解至关重要。距离聚类通常用于最新方法（SOTA），该方法通常是有效的，但在用相同的语义标签（尤其是在共享相邻点）的相邻对象中表现不佳。由于偏移点的分布不均匀，这些现有方法几乎不能集中所有实例点。为此，我们设计了一种新颖的鸿沟和征服策略，并提出了一个名为PBNET的端到端网络，该网络将每个点二进制并分别将它们簇簇为细分实例。 PBNET将偏移实例点分为两类：高密度点（HPS vs.lps），然后分别征服。可以通过删除LPS清楚地分离相邻的对象，然后通过通过邻居投票方法分配LP来完成和完善。为了进一步减少聚类误差，我们根据平均大小开发迭代合并算法，以汇总片段实例。 ScannETV2和S3DIS数据集的实验表明了我们的模型的优势。尤其是，PBNET在ScannETV2官方基准挑战（验证集）上实现了迄今为止最好的AP50和AP25，同时证明了高效率。

我们介绍了一个3D实例表示，称为实例内核，其中实例由一维向量表示，该向量编码3D实例的语义，位置和形状信息。我们显示了实例内核通过简单地在整个场景中扫描内核，避免对标准3D实例分段管道中的建议或启发式聚类算法的严重依赖，从而实现了简单的掩盖推理。实例内核的想法是受到2D/3D实例分割中动态卷积的最新成功的启发。但是，我们发现由于点云数据的无序和非结构化的性质，代表3D实例是非平凡的，例如，糟糕的实例定位可以显着降低实例表示。为了解决这个问题，我们构建了一个编码范式的新颖3D实例。首先，潜在的实例质心定位为候选。然后，设计了一个候选人合并方案，以同时汇总重复的候选人，并收集围绕合并的质心的背景，以形成实例内核。一旦实例内核可用，就可以通过在实例内核调节的动态卷积来重建实例掩码。整个管道是通过动态内核网络（DKNET）实例化的。结果表明，DKNET的表现优于ScannETV2和S3DIS数据集的艺术状态，并具有更好的实例本地化。可用代码：https：//github.com/w1zheng/dknet。

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.

我们介绍了一种方法，例如针对3D点云的提案生成。现有技术通常直接在单个进料前进的步骤中回归建议，从而导致估计不准确。我们表明，这是一个关键的瓶颈，并提出了一种基于迭代双边滤波的方法。遵循双边滤波的精神，我们考虑了每个点的深度嵌入以及它们在3D空间中的位置。我们通过合成实验表明，在为给定的兴趣点生成实例建议时，我们的方法会带来巨大的改进。我们进一步验证了我们在挑战性扫描基准测试中的方法，从而在自上而下的方法的子类别中实现了最佳实例分割性能。

从3D点云中识别3D零件实例对于3D结构和场景理解至关重要。几种基于学习的方法使用语义细分和实例中心预测作为培训任务，并且无法进一步利用形状语义和部分实例之间的固有关系。在本文中，我们提出了一种用于3D份实例分割的新方法。我们的方法将语义分割利用为融合非本地实例特征（例如中心预测），并以多种和跨层次的方式进一步增强了融合方案。我们还提出了一个语义区域中心预测任务，以训练和利用预测结果来改善实例点的聚类。我们的方法优于现有方法，在Partnet基准测试方面有大幅度的改进。我们还证明，我们的功能融合方案可以应用于其他现有方法，以提高其在室内场景实例细分任务中的性能。

点云的语义场景重建是3D场景理解的必不可少的任务。此任务不仅需要识别场景中的每个实例，而且还需要根据部分观察到的点云恢复其几何形状。现有方法通常尝试基于基于检测的主链的不完整点云建议直接预测完整对象的占用值。但是，由于妨碍了各种检测到的假阳性对象建议以及对完整对象学习占用值的不完整点观察的歧义，因此该框架始终无法重建高保真网格。为了绕开障碍，我们提出了一个分离的实例网格重建（DIMR）框架，以了解有效的点场景。采用基于分割的主链来减少假阳性对象建议，这进一步使我们对识别与重建之间关系的探索有益。根据准确的建议，我们利用网状意识的潜在代码空间来解开形状完成和网格生成的过程，从而缓解了由不完整的点观测引起的歧义。此外，通过在测试时间访问CAD型号池，我们的模型也可以通过在没有额外训练的情况下执行网格检索来改善重建质量。我们用多个指标彻底评估了重建的网格质量，并证明了我们在具有挑战性的扫描仪数据集上的优越性。代码可在\ url {https://github.com/ashawkey/dimr}上获得。

Current 3D object detection methods are heavily influenced by 2D detectors. In order to leverage architectures in 2D detectors, they often convert 3D point clouds to regular grids (i.e., to voxel grids or to bird's eye view images), or rely on detection in 2D images to propose 3D boxes. Few works have attempted to directly detect objects in point clouds. In this work, we return to first principles to construct a 3D detection pipeline for point cloud data and as generic as possible. However, due to the sparse nature of the data -samples from 2D manifolds in 3D space -we face a major challenge when directly predicting bounding box parameters from scene points: a 3D object centroid can be far from any surface point thus hard to regress accurately in one step. To address the challenge, we propose VoteNet, an end-to-end 3D object detection network based on a synergy of deep point set networks and Hough voting. Our model achieves state-of-the-art 3D detection on two large datasets of real 3D scans, ScanNet and SUN RGB-D with a simple design, compact model size and high efficiency. Remarkably, VoteNet outperforms previous methods by using purely geometric information without relying on color images.

本文在3D Point Cloud中介绍了一个新问题：很少示例实例分割。给定一些带注释的点云举例说明了目标类，我们的目标是在查询点云中细分该目标类的所有实例。这个问题具有广泛的实用应用，在重点实例分段注释非常昂贵的收集中。为了解决此问题，我们提出了测量形式 - 第一个用于3D点云实例分割的地球引导变压器。关键的想法是利用大地距离来应对LIDAR 3D点云的密度不平衡。 LIDAR 3D点云在物体表面附近茂密，在其他地方稀疏或空，使欧几里得距离较差以区分不同的物体。另一方面，大地测量距离更合适，因为它编码了场景的几何形状，该几何形状可以用作变压器解码器中注意机制的指导信号，以生成代表实例的不同特征的内核。然后将这些内核用于动态卷积以获得最终实例掩模。为了评估新任务上的测量形式，我们提出了两个常见的3D点云实例分割数据集的新拆分：ScannETV2和S3DIS。地球形式始终优于根据最新的3D点云实例分割方法的强大基线，并具有明显的余量。代码可从https://github.com/vinairesearch/geoformer获得。

In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)

两阶段和基于查询的实例分段方法取得了显着的结果。然而，他们的分段面具仍然非常粗糙。在本文中，我们呈现了用于高质量高效的实例分割的掩模转发器。我们的掩模转发器代替常规密集的张量，而不是在常规密集的张量上进行分解，并表示作为Quadtree的图像区域。我们基于变换器的方法仅处理检测到的错误易于树节点，并并行自我纠正其错误。虽然这些稀疏的像素仅构成总数的小比例，但它们对最终掩模质量至关重要。这允许掩模转换器以低计算成本预测高精度的实例掩模。广泛的实验表明，掩模转发器在三个流行的基准上优于当前实例分段方法，显着改善了COCO和BDD100K上的大型+3.0掩模AP的+3.0掩模AP的大余量和CityScapes上的+6.6边界AP。我们的代码和培训的型号将在http://vis.xyz/pub/transfiner提供。

两阶段探测器在3D对象检测中已广受欢迎。大多数两阶段的3D检测器都使用网格点，体素电网或第二阶段的ROI特征提取的采样关键点。但是，这种方法在处理不均匀分布和稀疏的室外点方面效率低下。本文在三个方面解决了这个问题。 1）动态点聚集。我们建议补丁搜索以快速在本地区域中为每个3D提案搜索点。然后，将最远的体素采样采样用于均匀采样点。特别是，体素尺寸沿距离变化，以适应点的不均匀分布。 2）Ro-Graph Poling。我们在采样点上构建本地图，以通过迭代消息传递更好地模型上下文信息和地雷关系。 3）视觉功能增强。我们引入了一种简单而有效的融合策略，以补偿具有有限语义提示的稀疏激光雷达点。基于这些模块，我们将图形R-CNN构建为第二阶段，可以将其应用于现有的一阶段检测器，以始终如一地提高检测性能。广泛的实验表明，图R-CNN的表现优于最新的3D检测模型，而Kitti和Waymo Open DataSet的差距很大。我们在Kitti Bev汽车检测排行榜上排名第一。代码将在\ url {https://github.com/nightmare-n/graphrcnn}上找到。

目前，现有的最先进的3D对象检测器位于两阶段范例中。这些方法通常包括两个步骤：1）利用区域提案网络以自下而上的方式提出少数高质量的提案。 2）调整拟议区域的语义特征的大小和汇集，以总结Roi-Wise表示进一步改进。注意，步骤2中的这些ROI-WISE表示在馈送到遵循检测标题之后，在步骤2中的循环表示作为不相关的条目。然而，我们观察由步骤1所产生的这些提案，以某种方式从地面真理偏移，在局部邻居中兴起潜在的概率。在该提案在很大程度上用于由于坐标偏移而导致其边界信息的情况下出现挑战，而现有网络缺乏相应的信息补偿机制。在本文中，我们向点云进行了3D对象检测的$ BADET $。具体地，而不是以先前的工作独立地将每个提议进行独立地改进每个提议，我们将每个提议代表作为在给定的截止阈值内的图形构造的节点，局部邻域图形式的提案，具有明确利用的对象的边界相关性。此外，我们设计了轻量级区域特征聚合模块，以充分利用Voxel-Wise，Pixel-Wise和Point-Wise特征，具有扩展的接收领域，以实现更多信息ROI-WISE表示。我们在广泛使用的基提数据集中验证了坏人，并且具有高度挑战的Nuscenes数据集。截至4月17日，2021年，我们的坏账在基蒂3D检测排行榜上实现了Par表演，并在Kitti Bev检测排行榜上排名在$ 1 ^ {st} $ in $ superge $难度。源代码可在https://github.com/rui-qian/badet中获得。

尽管有启发式方法，贪婪的算法以及对数据统计变化的变化，但3D实例分割中的当前最新方法通常涉及聚类步骤。相比之下，我们提出了一种以每点预测方式起作用的全面3D点云实例分割方法。为此，它可以避免基于聚类的方法面临的挑战：在模型的不同任务之间引入依赖性。我们发现其成功的关键是为每个采样点分配一个合适的目标。我们建议使用最佳的传输方法来根据动态匹配成本最佳地将目标掩码分配给采样点。我们的方法在扫描仪和S3DIS基准测试方面取得了令人鼓舞的结果。所提出的方法消除了插入依赖性，因此比其他竞争方法代表了更简单，更灵活的3D实例分割框架，同时实现了提高的分割精度。

从点云的准确3D对象检测已成为自动驾驶中的重要组成部分。但是，前面的作品中的体积表示和投影方法无法在本地点集之间建立关系。在本文中，我们提出了稀疏的Voxel-Graph注意网络（SVGA-Net），一种新型端到端培训网络，主要包含Voxel-Traph模块和稀疏 - 致密的回归模块，以实现RAW的可比3D检测任务LIDAR数据。具体地，SVGA-NET通过所有体素构建每个分割的3D球形体素和全局KNN图中的本地完整图。本地和全局图作为增强提取特征的注意机制。此外，新颖的稀疏 - 密集的回归模块通过不同级别的特征映射聚合来增强3D盒估计精度。 KITTI检测基准测试的实验证明将图形表示扩展到3D对象检测的效率，并且所提出的SVGA-NET可以实现体面的检测精度。

从点云数据进行分割至关重要，例如遥感，移动机器人或自动驾驶汽车。但是，由3D范围传感器捕获的点云通常是稀疏且非结构化的，具有挑战性的有效分割。在本文中，我们提出了一个快速解决方案，以对云实例进行分割，并具有较小的计算需求。为此，我们提出了一种新颖的快速欧几里得聚类（FEC）算法，该算法在现有作品中使用的聚类方案上应用了一个方案。我们的方法在概念上是简单，易于实现的（C ++中的40行），并且在产生高质量的结果的同时，针对经典分割方法实现了两个大小。

最近神经网络的成功使得能够更好地解释3D点云，但是处理大规模的3D场景仍然是一个具有挑战性的问题。大多数电流方法将大型场景划分为小区，并将当地预测组合在一起。然而，该方案不可避免地涉及预处理和后处理的附加阶段，并且由于局部视角下的预测也可能降低最终输出。本文介绍了由新的轻质自我关注层组成的快速点变压器。我们的方法编码连续的3D坐标，基于体素散列的架构提高了计算效率。所提出的方法用3D语义分割和3D检测进行了说明。我们的方法的准确性对基于最佳的体素的方法具有竞争力，我们的网络达到了比最先进的点变压器更快的推理时间速度更快的136倍，具有合理的准确性权衡。