密集的预测任务对于3D点云很常见，但是在大量点及其嵌入中的固有不确定性长期以来一直被忽略。在这项工作中，我们提出了CUE，这是一种用于3D点云密集预测任务的新型不确定性估计方法。受公制学习的启发，提示的关键思想是探索传统密集的预测管道上的交叉点嵌入。具体而言，CUE涉及建立概率嵌入模型，然后在嵌入空间中执行大量点的指标。我们证明CUE是在两个不同任务中对3D点云的密集不确定性估算的通用和有效的工具：（1）在3D几何特征学习中，我们首次获得了良好的密集不确定性，（2）在语义段中我们将不确定性的预期校准误差减少了43.8％。所有不确定性均可估算，而不会损害预测性能。

位置识别是同时定位和映射（SLAM）和空间感知的关键。但是，野外的地方识别通常会因图像变化（例如改变观点和街头外观）而产生错误的预测。将不确定性估计纳入地点识别的生命周期是减轻变化对位置识别性能的影响的有前途的方法。但是，这种静脉的现有不确定性估计方法要么是计算效率低下（例如蒙特卡洛辍学），要么以降低准确性为代价。本文提出了Stun，这是一个自学框架，该框架学会同时预测位置并估计给定输入图像的预测不确定性。为此，我们首先使用标准的度量学习管道训练老师网培训网络，以生产嵌入培训。然后，在经过预告片的教师网络监督的情况下，培训了一个具有额外差异分支的学生网，以对嵌入先验的培训进行训练，并按样本估算不确定性样本。在在线推理阶段，我们仅使用学生网与不确定性结合产生位置预测。与对不确定性一无所知的位置识别系统相比，我们的框架具有自由估计的不确定性估计而无需牺牲任何预测准确性。我们对大规模匹兹堡30K数据集的实验结果表明，昏迷在识别精度和不确定性估计质量方面的表现都优于最先进的方法。

高信心重叠的预测和准确的对应关系对于以部分到派对方式对齐成对点云至关重要。但是，重叠区域和非重叠区域之间存在固有的不确定性，这些区域一直被忽略并显着影响注册绩效。除了当前的智慧之外，我们提出了一种新颖的不确定性意识到的重叠预测网络，称为Utopic，以解决模棱两可的重叠预测问题。据我们所知，这是第一个明确引入重叠不确定性以指向云注册的人。此外，我们诱导特征提取器通过完成解码器隐式感知形状知识，并为变压器提供几何关系嵌入，以获得转换 - 不变性的几何形状感知特征表示。凭借更可靠的重叠得分和更精确的密度对应关系的优点，即使对于有限的重叠区域的输入，乌托邦也可以实现稳定而准确的注册结果。关于合成和实际基准的广泛定量和定性实验证明了我们的方法优于最先进的方法。代码可从https://github.com/zhileichen99/utopic获得。

不确定性量化对于机器人感知至关重要，因为过度自信或点估计人员可以导致环境和机器人侵犯和损害。在本文中，我们评估了单视图监督深度学习中的不确定量化的可扩展方法，特别是MC辍学和深度集成。特别是对于MC辍学，我们探讨了阵列在架构中不同级别的效果。我们表明，在编码器的所有层中添加丢失会带来比文献中的其他变化更好的结果。此配置类似地执行与Deep Ensembles具有更低的内存占用，这是相关的简单。最后，我们探讨了伪RGBD ICP的深度不确定性，并展示其估计具有实际规模的准确的双视图相对运动的可能性。

随着激光雷达传感器和3D视觉摄像头的扩散，3D点云分析近年来引起了重大关注。经过先驱工作点的成功后，基于深度学习的方法越来越多地应用于各种任务，包括3D点云分段和3D对象分类。在本文中，我们提出了一种新颖的3D点云学习网络，通过选择性地执行具有动态池的邻域特征聚合和注意机制来提出作为动态点特征聚合网络（DPFA-NET）。 DPFA-Net有两个可用于三维云的语义分割和分类的变体。作为DPFA-NET的核心模块，我们提出了一个特征聚合层，其中每个点的动态邻域的特征通过自我注意机制聚合。与其他分割模型相比，来自固定邻域的聚合特征，我们的方法可以在不同层中聚合来自不同邻居的特征，在不同层中为查询点提供更具选择性和更广泛的视图，并更多地关注本地邻域中的相关特征。此外，为了进一步提高所提出的语义分割模型的性能，我们提出了两种新方法，即两级BF-Net和BF-Rengralization来利用背景前台信息。实验结果表明，所提出的DPFA-Net在S3DIS数据集上实现了最先进的整体精度分数，在S3DIS数据集上进行了语义分割，并在不同的语义分割，部分分割和3D对象分类中提供始终如一的令人满意的性能。与其他方法相比，它也在计算上更有效。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

由于激光雷达扫描数据的大规模，噪音和数据不完整，注册Urban Point Clouds是一项艰巨的任务。在本文中，我们提出了SARNET，这是一个新型的语义增强注册网络，旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同，我们的方法完全利用语义特征来提高注册精度。具体而言，我们提取具有高级语义分割网络的每点语义标签，并构建先前的语义零件到部分对应关系。然后，我们将语义信息纳入基于学习的注册管道中，该管道由三个核心模块组成：基于语义的最远点采样模块，以有效地滤除异常值和动态对象；一个语义增强的特征提取模块，用于学习更多的判别点描述符；语义改制的转换估计模块，该模块利用先前的语义匹配作为掩码，通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较，从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。

无人监督的学习目睹了自然语言理解和最近的2D图像领域的巨大成功。如何利用无监督学习的3D点云分析的力量仍然是开放的。大多数现有方法只是简单地适应2D域中使用的技术到3D域，同时不完全利用3D数据的特殊性。在这项工作中，我们提出了一种对3D点云的无监督代表学习的点辨别学习方法，该方法专门为点云数据设计，可以学习本地和全局形状特征。我们通过对骨干网络产生的中间级别和全球层面特征进行新的点歧视损失来实现这一目标。该点歧视损失强制执行与属于相应局部形状区域的点，并且与随机采样的嘈杂点不一致。我们的方法简单，设计简单，通过添加额外的适配模块和用于骨干编码器的无监督培训的点一致性模块。培训后，可以在对下游任务的分类器或解码器的监督培训期间丢弃这两个模块。我们在各种设置中对3D对象分类，3D语义和部分分割进行了广泛的实验，实现了新的最先进的结果。我们还对我们的方法进行了详细的分析，目视证明我们所学到的无监督特征的重建本地形状与地面真理形状高度一致。

大坝水库在实现可持续发展目标和全球气候目标方面发挥着重要作用。但是，特别是对于小型水坝水库，其地理位置缺乏一致的数据。为了解决此数据差距，一种有前途的方法是根据全球可用的遥感图像进行自动水坝水库提取。它可以被认为是水体提取的精细颗粒任务，涉及在图像中提取水区，然后将水坝储层与天然水体分开。我们提出了一种基于新型的深神经网络（DNN）管道，该管道将大坝水库提取到水体分割和大坝储层识别中。首先将水体与分割模型中的背景土地分开，然后将每个水体预测为大坝储层或分类模型中的天然水体。对于以前的一步，将跨图像的点级度量学习注入分段模型，以解决水域和土地区域之间的轮廓模棱两可。对于后一个步骤，将带有簇的三重态的先前引导的度量学习注入到分类模型中，以根据储层簇在细粒度中优化图像嵌入空间。为了促进未来的研究，我们建立了一个带有地球图像数据的基准数据集，并从西非和印度的河流盆地标记为人类标记的水库。在水体分割任务，水坝水库识别任务和关节坝储层提取任务中，对这个基准进行了广泛的实验。将我们的方法与艺术方法的方法进行比较时，已经在各自的任务中观察到了卓越的性能。

由遮挡，信号丢失或手动注释错误引起的3D边界框的地面真相注释的固有歧义可能会使训练过程中的深3D对象检测器混淆，从而使检测准确性恶化。但是，现有方法在某种程度上忽略了此类问题，并将标签视为确定性。在本文中，我们提出了GLENET，这是一个从条件变异自动编码器改编的生成标签不确定性估计框架，以建模典型的3D对象与其潜在的潜在基边界框之间具有潜在变量的一对一关系。 Glenet产生的标签不确定性是一个插件模块，可以方便地集成到现有的深3D检测器中，以构建概率检测器并监督本地化不确定性的学习。此外，我们提出了概率探测器中的不确定性质量估计量架构，以指导对IOU分支的培训，并预测了本地化不确定性。我们将提出的方法纳入各种流行的3D检测器中，并观察到它们的性能显着提高到Waymo Open DataSet和Kitti数据集中的当前最新技术。

Feedforward fully convolutional neural networks currently dominate in semantic segmentation of 3D point clouds. Despite their great success, they suffer from the loss of local information at low-level layers, posing significant challenges to accurate scene segmentation and precise object boundary delineation. Prior works either address this issue by post-processing or jointly learn object boundaries to implicitly improve feature encoding of the networks. These approaches often require additional modules which are difficult to integrate into the original architecture. To improve the segmentation near object boundaries, we propose a boundary-aware feature propagation mechanism. This mechanism is achieved by exploiting a multi-task learning framework that aims to explicitly guide the boundaries to their original locations. With one shared encoder, our network outputs (i) boundary localization, (ii) prediction of directions pointing to the object's interior, and (iii) semantic segmentation, in three parallel streams. The predicted boundaries and directions are fused to propagate the learned features to refine the segmentation. We conduct extensive experiments on the S3DIS and SensatUrban datasets against various baseline methods, demonstrating that our proposed approach yields consistent improvements by reducing boundary errors. Our code is available at https://github.com/shenglandu/PushBoundary.

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.

Arguably one of the top success stories of deep learning is transfer learning. The finding that pre-training a network on a rich source set (e.g., ImageNet) can help boost performance once fine-tuned on a usually much smaller target set, has been instrumental to many applications in language and vision. Yet, very little is known about its usefulness in 3D point cloud understanding. We see this as an opportunity considering the effort required for annotating data in 3D. In this work, we aim at facilitating research on 3D representation learning. Different from previous works, we focus on high-level scene understanding tasks. To this end, we select a suite of diverse datasets and tasks to measure the effect of unsupervised pre-training on a large source set of 3D scenes. Our findings are extremely encouraging: using a unified triplet of architecture, source dataset, and contrastive loss for pre-training, we achieve improvement over recent best results in segmentation and detection across 6 different benchmarks for indoor and outdoor, real and synthetic datasets -demonstrating that the learned representation can generalize across domains. Furthermore, the improvement was similar to supervised pre-training, suggesting that future efforts should favor scaling data collection over more detailed annotation. We hope these findings will encourage more research on unsupervised pretext task design for 3D deep learning. Our code is publicly available at https://github.com/facebookresearch/PointContrast

Equipping predicted segmentation with calibrated uncertainty is essential for safety-critical applications. In this work, we focus on capturing the data-inherent uncertainty (aka aleatoric uncertainty) in segmentation, typically when ambiguities exist in input images. Due to the high-dimensional output space and potential multiple modes in segmenting ambiguous images, it remains challenging to predict well-calibrated uncertainty for segmentation. To tackle this problem, we propose a novel mixture of stochastic experts (MoSE) model, where each expert network estimates a distinct mode of the aleatoric uncertainty and a gating network predicts the probabilities of an input image being segmented in those modes. This yields an efficient two-level uncertainty representation. To learn the model, we develop a Wasserstein-like loss that directly minimizes the distribution distance between the MoSE and ground truth annotations. The loss can easily integrate traditional segmentation quality measures and be efficiently optimized via constraint relaxation. We validate our method on the LIDC-IDRI dataset and a modified multimodal Cityscapes dataset. Results demonstrate that our method achieves the state-of-the-art or competitive performance on all metrics.

在最近的文献中，在最近的文献中已经过度研究了不确定性估计，通常可以被归类为炼体不确定性和认知不确定性。在当前的炼拉内不确定性估计框架中，往往忽略了炼拉线性的不确定性是数据的固有属性，只能用一个无偏见的Oracle模型正确估计。由于在大多数情况下，Oracle模型无法访问，我们提出了一个新的采样和选择策略，在火车时间近似甲骨文模型以实现炼梯不确定性估计。此外，我们在基于双头的异源型梯级不确定性估计框架中显示了一种琐碎的解决方案，并引入了新的不确定性一致性损失，以避免它。对于认知不确定性估算，我们认为条件潜在变量模型中的内部变量是模拟预测分布的另一个认识性的不确定性，并探索了关于隐藏的真实模型的有限知识。我们验证了我们对密集预测任务的观察，即伪装对象检测。我们的研究结果表明，我们的解决方案实现了准确的确定性结果和可靠的不确定性估算。

The objective of this paper is to learn dense 3D shape correspondence for topology-varying generic objects in an unsupervised manner. Conventional implicit functions estimate the occupancy of a 3D point given a shape latent code. Instead, our novel implicit function produces a probabilistic embedding to represent each 3D point in a part embedding space. Assuming the corresponding points are similar in the embedding space, we implement dense correspondence through an inverse function mapping from the part embedding vector to a corresponded 3D point. Both functions are jointly learned with several effective and uncertainty-aware loss functions to realize our assumption, together with the encoder generating the shape latent code. During inference, if a user selects an arbitrary point on the source shape, our algorithm can automatically generate a confidence score indicating whether there is a correspondence on the target shape, as well as the corresponding semantic point if there is one. Such a mechanism inherently benefits man-made objects with different part constitutions. The effectiveness of our approach is demonstrated through unsupervised 3D semantic correspondence and shape segmentation.

以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。

点云的Panoptic分割是一种重要的任务，使自动车辆能够使用高精度可靠的激光雷达传感器来理解其附近。现有的自上而下方法通过将独立的任务特定网络或转换方法从图像域转换为忽略激光雷达数据的复杂性，因此通常会导致次优性性能来解决这个问题。在本文中，我们提出了新的自上而下的高效激光乐光线分割（有效的LID）架构，该架构解决了分段激光雷达云中的多种挑战，包括距离依赖性稀疏性，严重的闭塞，大规模变化和重新投影误差。高效地板包括一种新型共享骨干，可以通过加强的几何变换建模容量进行编码，并聚合语义丰富的范围感知多尺度特征。它结合了新的不变语义和实例分段头以及由我们提出的Panoptic外围损耗功能监督的Panoptic Fusion模块。此外，我们制定了正则化的伪标签框架，通过对未标记数据的培训进行进一步提高高效性的性能。我们在两个大型LIDAR数据集中建议模型基准：NUSCENES，我们还提供了地面真相注释和Semantickitti。值得注意的是，高效地将在两个数据集上设置新的最先进状态。