点云完成任务旨在预测不完整的点云的缺失部分,并通过详细信息生成完整的点云。在本文中,我们提出了一个新颖的点云完成网络,即完成。具体而言,从具有不同分辨率的点云中学到了特征,该分辨率是从不完整输入中采样的,并根据几何结构转换为一系列\ textit {spots}。然后,提出了基于变压器的密集关系增强模块(DRA),以学习\ textit {spots}中的特征,并考虑这些\ textit {spots}之间的相关性。 DRA由点局部注意模块(PLA)和点密集的多尺度注意模块(PDMA)组成,其中PLA通过适应邻居的权重,PDMA Expolo the Local \ textit {spots}捕获本地信息。这些\ textit {spots}之间的全局关系以多尺度的密集连接方式。最后,由\ textit {spots}通过多分辨率点融合模块(MPF)预测完整形状,该模块(mpf)逐渐从\ textit {spots}中逐渐生成完整的点云,并基于这些生成的点进行更新\ textit {spots}云。实验结果表明,由于基于变压器的DRA可以从不完整的输入中学习表达性特征,并且MPF可以完全探索这些功能以预测完整的输入,因此我们的方法在很大程度上优于先进方法。
translated by 谷歌翻译
由于其在各种领域的广泛应用,3D对象检测正在接受行业和学术界的增加。在本文中,我们提出了从点云的3D对象检测的基于角度基于卷曲区域的卷积神经网络(PV-RCNNS)。首先,我们提出了一种新颖的3D探测器,PV-RCNN,由两个步骤组成:Voxel-to-keyPoint场景编码和Keypoint-to-Grid ROI特征抽象。这两个步骤深入地将3D体素CNN与基于点的集合的集合进行了集成,以提取辨别特征。其次,我们提出了一个先进的框架,PV-RCNN ++,用于更高效和准确的3D对象检测。它由两个主要的改进组成:有效地生产更多代表性关键点的划分的提案中心策略,以及用于更好地聚合局部点特征的vectorpool聚合,具有更少的资源消耗。通过这两种策略,我们的PV-RCNN ++比PV-RCNN快2倍,同时还在具有150米* 150M检测范围内的大型Waymo Open DataSet上实现更好的性能。此外,我们提出的PV-RCNNS在Waymo Open DataSet和高竞争力的基蒂基准上实现最先进的3D检测性能。源代码可在https://github.com/open-mmlab/openpcdet上获得。
translated by 谷歌翻译
3D点云的卷积经过广泛研究,但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系,这是对差的独特特征学习的内在限制。在本文中,我们提出了自适应图卷积(AGCONV),以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比,AGCONV提高了点云卷积的灵活性,有效,精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同,AGCONV实现了卷积操作内部的适应性,而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明,我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时,AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性,我们探索了基于AGCONV的完成,DeNoing,Upsmpling,注册和圆圈提取的范式,它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
与卷积神经网络相比,最近开发的纯变压器架构已经实现了对点云学习基准的有希望的准确性。然而,现有点云变压器是计算昂贵的,因为它们在构建不规则数据时浪费了大量时间。要解决此缺点,我们呈现稀疏窗口注意(SWA)模块,以收集非空体素的粗粒颗粒特征,不仅绕过昂贵的不规则数据结构和无效的空体素计算,还可以获得线性计算复杂性到体素分辨率。同时,要收集关于全球形状的细粒度特征,我们介绍了相对的注意(RA)模块,更强大的自我关注变体,用于对象的刚性变换。我们配备了SWA和RA,我们构建了我们的神经结构,称为PVT,将两个模块集成到Point云学习的联合框架中。与以前的变压器和关注的模型相比,我们的方法平均达到了分类基准和10x推理加速的最高精度为94.0%。广泛的实验还有效地验证了PVT在部分和语义分割基准上的有效性(分别为86.6%和69.2%Miou)。
translated by 谷歌翻译
在本文中,我们提出了一个全面的点云语义分割网络,该网络汇总了本地和全球多尺度信息。首先,我们提出一个角度相关点卷积(ACPCONV)模块,以有效地了解点的局部形状。其次,基于ACPCONV,我们引入了局部多规模拆分(MSS)块,该块从一个单个块中连接到一个单个块中的特征,并逐渐扩大了接受场,这对利用本地上下文是有益的。第三,受HRNET的启发,在2D图像视觉任务上具有出色的性能,我们构建了一个针对Point Cloud的HRNET,以学习全局多尺度上下文。最后,我们介绍了一种融合多分辨率预测并进一步改善点云语义分割性能的点上的注意融合方法。我们在几个基准数据集上的实验结果和消融表明,与现有方法相比,我们提出的方法有效,能够实现最先进的性能。
translated by 谷歌翻译
最近,融合了激光雷达点云和相机图像,提高了3D对象检测的性能和稳健性,因为这两种方式自然具有强烈的互补性。在本文中,我们通过引入新型级联双向融合〜(CB融合)模块和多模态一致性〜(MC)损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说,所提出的CB融合模块提高点特征的丰富语义信息,以级联双向交互融合方式具有图像特征,导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性,以获得更全面且可靠的置信度分数。基蒂,JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外,我们强调一个关键但很容易被忽视的问题,这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在,EPNet ++优于现有的SOTA方法,在高稀疏点云壳中具有显着的边距,这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。
translated by 谷歌翻译
实时和高性能3D对象检测对于自动驾驶至关重要。最近表现最佳的3D对象探测器主要依赖于基于点或基于3D Voxel的卷积,这两者在计算上均无效地部署。相比之下,基于支柱的方法仅使用2D卷积,从而消耗了较少的计算资源,但它们的检测准确性远远落后于基于体素的对应物。在本文中,通过检查基于支柱和体素的探测器之间的主要性能差距,我们开发了一个实时和高性能的柱子检测器,称为Pillarnet。提出的柱子由一个强大的编码网络组成,用于有效的支柱特征学习,用于空间语义特征融合的颈网和常用的检测头。仅使用2D卷积,Pillarnet具有可选的支柱尺寸的灵活性,并与经典的2D CNN骨架兼容,例如VGGNET和RESNET.ADITIONICLY,Pillarnet受益于我们设计的方向iOu decoupled iou Recressions you Recressions损失以及IOU Aware Pareace Predication Prediction Predictight offication Branch。大规模Nuscenes数据集和Waymo Open数据集的广泛实验结果表明,在有效性和效率方面,所提出的Pillarnet在最新的3D检测器上表现良好。源代码可在https://github.com/agent-sgs/pillarnet.git上找到。
translated by 谷歌翻译
由于其稀疏性和不规则性,点云处理是一个具有挑战性的任务。现有作品在本地特征聚合器或全局几何架构上引入精致的设计,但很少结合两个优点。我们提出了与高频融合(DSPoint)的双模点云识别,通过同时在体素和点上运行来提取本地全局功能。我们扭转了常规设计对体素和注意点的应用卷积。具体而言,我们通过通道尺寸解开点特征,用于双尺度处理:一个逐个明智的卷积,用于细粒度的几何解析,另一个由Voxel-Wise全球关注远程结构探索。我们设计了一个共同关注的融合模块,用于混合本地 - 全局模态,通过传送高频坐标信息来进行尺度间跨模型交互。广泛采用的ModelNet40,ShapEnet​​和S3DIS上的实验和消融展示了我们的DSPoint的最先进的性能。
translated by 谷歌翻译
目前,现有的最先进的3D对象检测器位于两阶段范例中。这些方法通常包括两个步骤:1)利用区域提案网络以自下而上的方式提出少数高质量的提案。 2)调整拟议区域的语义特征的大小和汇集,以总结Roi-Wise表示进一步改进。注意,步骤2中的这些ROI-WISE表示在馈送到遵循检测标题之后,在步骤2中的循环表示作为不相关的条目。然而,我们观察由步骤1所产生的这些提案,以某种方式从地面真理偏移,在局部邻居中兴起潜在的概率。在该提案在很大程度上用于由于坐标偏移而导致其边界信息的情况下出现挑战,而现有网络缺乏相应的信息补偿机制。在本文中,我们向点云进行了3D对象检测的$ BADET $。具体地,而不是以先前的工作独立地将每个提议进行独立地改进每个提议,我们将每个提议代表作为在给定的截止阈值内的图形构造的节点,局部邻域图形式的提案,具有明确利用的对象的边界相关性。此外,我们设计了轻量级区域特征聚合模块,以充分利用Voxel-Wise,Pixel-Wise和Point-Wise特征,具有扩展的接收领域,以实现更多信息ROI-WISE表示。我们在广泛使用的基提数据集中验证了坏人,并且具有高度挑战的Nuscenes数据集。截至4月17日,2021年,我们的坏账在基蒂3D检测排行榜上实现了Par表演,并在Kitti Bev检测排行榜上排名在$ 1 ^ {st} $ in $ superge $难度。源代码可在https://github.com/rui-qian/badet中获得。
translated by 谷歌翻译
准确的轨道位置是铁路支持驱动系统的重要组成部分,用于安全监控。激光雷达可以获得携带铁路环境的3D信息的点云,特别是在黑暗和可怕的天气条件下。在本文中,提出了一种基于3D点云的实时轨识别方法来解决挑战,如无序,不均匀的密度和大量点云的挑战。首先呈现Voxel Down-采样方法,用于铁路点云的密度平衡,并且金字塔分区旨在将3D扫描区域划分为具有不同卷的体素。然后,开发了一个特征编码模块以找到最近的邻点并聚合它们的局部几何特征。最后,提出了一种多尺度神经网络以产生每个体素和轨道位置的预测结果。该实验是在铁路的3D点云数据的9个序列下进行的。结果表明,该方法在检测直,弯曲和其他复杂的拓扑轨道方面具有良好的性能。
translated by 谷歌翻译
虽然基于点的网络被证明是3D点云建模的准确性,但它们仍然落在3D检测中基于体素的竞争对手后面。我们观察到,用于下采样点的主要集合抽象设计可以保持太多的不重要背景信息,可以影响检测对象的特征学习。为了解决这个问题,我们提出了一种名为语义增强集抽象(SASA)的新型集抽象方法。从技术上讲,我们首先将二进制分段模块添加为侧面输出,以帮助识别前景点。基于估计的点亮前景分数,我们提出了一种语义引导的点采样算法,帮助在下采样期间保持更重要的前景点。在实践中,SASA显示有效地识别与前景对象相关的有价值的点,并改善基于点的3D检测特征学习。此外,它是一种易于插入式模块,能够提升各种基于点的探测器,包括单级和两级的探测器。对流行的基蒂和NUSCENES数据集的广泛实验验证了SASA的优越性,提升基于点的检测模型,以达到最先进的基于体素的方法。
translated by 谷歌翻译
最近神经网络的成功使得能够更好地解释3D点云,但是处理大规模的3D场景仍然是一个具有挑战性的问题。大多数电流方法将大型场景划分为小区,并将当地预测组合在一起。然而,该方案不可避免地涉及预处理和后处理的附加阶段,并且由于局部视角下的预测也可能降低最终输出。本文介绍了由新的轻质自我关注层组成的快速点变压器。我们的方法编码连续的3D坐标,基于体素散列的架构提高了计算效率。所提出的方法用3D语义分割和3D检测进行了说明。我们的方法的准确性对基于最佳的体素的方法具有竞争力,我们的网络达到了比最先进的点变压器更快的推理时间速度更快的136倍,具有合理的准确性权衡。
translated by 谷歌翻译
最近,通过单一或多个表示提出了许多方法,以提高点云语义分割的性能。但是,这些作品在性能,效率和记忆消耗中没有保持良好的平衡。为了解决这些问题,我们提出了Drinet ++,通过增强点云的点云与Voxel-Point原理来扩展Drinet。为了提高效率和性能,Drinet ++主要由两个模块组成:稀疏功能编码器和稀疏几何功能增强。稀疏特征编码器提取每个点的本地上下文信息,稀疏几何特征增强功能通过多尺度稀疏投影和细心的多尺度融合增强了稀疏点云​​的几何特性。此外,我们提出了在培训阶段的深度稀疏监督,以帮助收敛并减轻内存消耗问题。我们的Drinet ++在Semantickitti和Nuscenes数据集中实现了最先进的户外点云分段,同时运行得更快,更耗费较少的内存。
translated by 谷歌翻译
许多基于点的语义分割方法是为室内场景设计的,但如果它们被应用于户外环境中的LIDAR传感器捕获的点云,则他们挣扎。为了使这些方法更有效和坚固,使得它们可以处理LIDAR数据,我们介绍了重新建立基于3D点的操作的一般概念,使得它们可以在投影空间中运行。虽然我们通过三个基于点的方法显示了重新计算的版本速度快300到400倍,但实现了更高的准确性,但我们还证明了重新制定基于3D点的操作的概念允许设计统一益处的新架构基于点和基于图像的方法。作为示例,我们介绍一种网络,该网络将基于重新的3D点的操作集成到2D编码器 - 解码器架构中,该架构融合来自不同2D尺度的信息。我们评估了四个具有挑战性的语义LIDAR点云分割的方法,并显示利用基于2D图像的操作的重新推出的基于3D点的操作实现了所有四个数据集的非常好的结果。
translated by 谷歌翻译
许多基于LIDAR的用于检测大物体,单级对象检测或在简单情况下的方法的方法仍然很好。然而,由于未能利用图像语义,他们检测小物体或在困难情况下的性能并没有超越基于融合的那些的表现。为了提升复杂环境中的检测性能,本文提出了一种深度学习(DL)-embedded的多级3D对象检测网络,其承认LIDAR和相机传感器数据流,名为Voxel-Pixel Fusion网络( vpfnet)。在该网络内部,关键新颖组件称为体素 - 像素融合(VPF)层,其利用了体素 - 像素对的几何关系,并用适当的机制熔化体素特征和像素特征。此外,特别设计了几个参数以在考虑体素 - 像素对的特性之后引导和增强融合效果。最后,在多级难度下对多级3D对象检测任务的基准基准进行评估所提出的方法,并显示以平均平均精度(MAP)的所有最先进的方法优于所有最先进的方法。它也值得注意的是,我们这里的方法在挑战步行课上排名第一。
translated by 谷歌翻译
点云分析没有姿势前导者在真实应用中非常具有挑战性,因为点云的方向往往是未知的。在本文中,我们提出了一个全新的点集学习框架prin,即点亮旋转不变网络,专注于点云分析中的旋转不变特征提取。我们通过密度意识的自适应采样构建球形信号,以处理球形空间中的扭曲点分布。提出了球形Voxel卷积和点重新采样以提取每个点的旋转不变特征。此外,我们将Prin扩展到称为Sprin的稀疏版本,直接在稀疏点云上运行。 Prin和Sprin都可以应用于从对象分类,部分分割到3D特征匹配和标签对齐的任务。结果表明,在随机旋转点云的数据集上,Sprin比无任何数据增强的最先进方法表现出更好的性能。我们还为我们的方法提供了彻底的理论证明和分析,以实现我们的方法实现的点明智的旋转不变性。我们的代码可在https://github.com/qq456cvb/sprin上找到。
translated by 谷歌翻译
随着激光雷达传感器和3D视觉摄像头的扩散,3D点云分析近年来引起了重大关注。经过先驱工作点的成功后,基于深度学习的方法越来越多地应用于各种任务,包括3D点云分段和3D对象分类。在本文中,我们提出了一种新颖的3D点云学习网络,通过选择性地执行具有动态池的邻域特征聚合和注意机制来提出作为动态点特征聚合网络(DPFA-NET)。 DPFA-Net有两个可用于三维云的语义分割和分类的变体。作为DPFA-NET的核心模块,我们提出了一个特征聚合层,其中每个点的动态邻域的特征通过自我注意机制聚合。与其他分割模型相比,来自固定邻域的聚合特征,我们的方法可以在不同层中聚合来自不同邻居的特征,在不同层中为查询点提供更具选择性和更广泛的视图,并更多地关注本地邻域中的相关特征。此外,为了进一步提高所提出的语义分割模型的性能,我们提出了两种新方法,即两级BF-Net和BF-Rengralization来利用背景前台信息。实验结果表明,所提出的DPFA-Net在S3DIS数据集上实现了最先进的整体精度分数,在S3DIS数据集上进行了语义分割,并在不同的语义分割,部分分割和3D对象分类中提供始终如一的令人满意的性能。与其他方法相比,它也在计算上更有效。
translated by 谷歌翻译
点云是用于在自动车辆中的感知的关键模态,提供对周围环境的坚固几何理解的手段。然而,尽管传感器从自主车辆自然是季度自然的,但仍然有限地探讨了3D Sem-TIC分割的利用点云序列。在本文中,我们提出了一种新颖的稀疏时间本地注意力(StELA)模块,其聚合在先前点云帧中的本地邻域中中间特征,以向解码器提供丰富的时间上下文。使用稀疏的本地邻居使我们的方法能够更灵活地收集比直接匹配点特征的方法,比在整个点云框架上执行昂贵的全球关注的那些。我们在Semantickitti DataSet上实现了64.3%的竞争Miou,并在我们的消融研究中表现出对单一帧基线的显着改进。
translated by 谷歌翻译
学习地区内部背景和区域间关系是加强点云分析的特征表示的两项有效策略。但是,在现有方法中没有完全强调的统一点云表示的两种策略。为此,我们提出了一种名为点关系感知网络(PRA-NET)的小说框架,其由区域内结构学习(ISL)模块和区域间关系学习(IRL)模块组成。ISL模块可以通过可差的区域分区方案和基于代表的基于点的策略自适应和有效地将本地结构信息动态地集成到点特征中,而IRL模块可自适应和有效地捕获区域间关系。在涵盖形状分类,关键点估计和部分分割的几个3D基准测试中的广泛实验已经验证了PRA-Net的有效性和泛化能力。代码将在https://github.com/xiwuchen/pra-net上获得。
translated by 谷歌翻译
由于从输入方面互补的方式,RGB-D语义细分引发了研究的兴趣。现有作品通常采用两流体系结构,该体系结构并行处理光度法和几何信息,很少有方法明确利用深度线索的贡献来调整RGB图像上的采样位置。在本文中,我们提出了一个新颖的框架,以将深度信息纳入RGB卷积神经网络(CNN),称为Z-ACN(深度适应的CNN)。具体而言,我们的Z-ACN生成了一个2D适应的偏移量,该偏移完全受到低级功能的约束,以指导RGB图像上的特征提取。通过生成的偏移,我们引入了两个直观有效的操作,以取代基本的CNN操作员:深度适应的卷积和深度适应的平均池。对室内和室外语义分割任务的广泛实验证明了我们方法的有效性。
translated by 谷歌翻译