建筑物的表面裂缝，天然墙壁和地下矿井隧道可以表示严重的结构完整性问题，威胁到环境中的结构和人们的安全。及时检测和监测裂缝对于管理这些风险至关重要，特别是如果系统可以通过机器人提供高度自动化。使用深神经网络的视觉裂缝检测算法表现出墙壁或土木工程隧道等结构表面的承诺，但是工作的少量工作已经解决了高度非结构化的环境，例如岩石悬崖和裸露的采矿隧道。为了解决这一挑战，本文介绍了一个用于非结构化表面的新的3D点云的裂缝检测算法。该方法包括三个关键组件：一种自适应的下采样方法，其保持足够的裂缝点密度，将每个点作为裂缝或非裂缝分类的DNN，以及将裂缝点分成裂缝的后处理聚类方法。该方法在新的大型天然岩数据集上通过实验验证，包括跨越900米^ 2和412个单独裂缝的彩色激光雷达云。结果证明裂缝检出率为97％，最大宽度为3厘米以上的裂缝100％，显着优于现有技术。此外，对于交叉验证，PointCrack3D应用于在不同位置获取的完全新数据集，并且在培训中根本不使用，并显示为检测其100％的裂缝实例。我们还表征了检测性能，裂缝宽度和点数的点数之间的关系，为其提供了对实际部署和未来研究方向作出决策的基础。

Paris-Carla-3d是由移动激光器和相机系统构建的几个浓彩色点云的数据集。数据由两组具有来自开源Carla模拟器（700百万分）的合成数据和在巴黎市中获取的真实数据（6000万分），因此Paris-Carla-3d的名称。此数据集的一个优点是在开源Carla模拟器中模拟了相同的LIDAR和相机平台，因为用于生产真实数据的开源Carla Simulator。此外，使用Carla的语义标记的手动注释在真实数据上执行，允许将转移方法从合成到实际数据进行测试。该数据集的目的是提供一个具有挑战性的数据集，以评估和改进户外环境3D映射的困难视觉任务的方法：语义分段，实例分段和场景完成。对于每项任务，我们描述了评估协议以及建立基线的实验。

语义细分是农业机器人了解自然果园周围环境的一项基本任务。 LIDAR技术的最新发展使机器人能够在非结构化果园中获得准确的范围测量。与RGB图像相比，3D点云具有几何特性。通过将LIDAR和相机组合在一起，可以获得有关几何和纹理的丰富信息。在这项工作中，我们提出了一种基于深度学习的分割方法，以对来自激光镜像相机视觉传感器的融合数据进行准确的语义分割。在这项工作中探索和解决了两个关键问题。第一个是如何有效地从多传感器数据中融合纹理和几何特征。第二个是如何在严重失衡类条件下有效训练3D分割网络的方法。此外，详细介绍了果园中3D分割的实现，包括LiDAR-CAMERA数据融合，数据收集和标签，网络培训和模型推断。在实验中，我们在处理从苹果园获得的高度非结构化和嘈杂的点云时，全面分析了网络设置。总体而言，我们提出的方法在高分辨率点云（100k-200k点）上的水果分割时达到了86.2％MIOU。实验结果表明，所提出的方法可以在真实的果园环境中进行准确的分割。

农业部门的自动化和机器人被视为该行业面临的社会经济挑战的可行解决方案。该技术经常依赖于提供有关作物，植物和整个环境的信息的智能感知系统。传统的2D视觉系统面临的挑战可以由现代3D视觉系统解决，使物体，尺寸和形状估计的直接定位或闭塞的处理能够。到目前为止，使用3D感测主要限于室内或结构化环境。在本文中，我们评估了现代传感技术，包括立体声和飞行时间摄像机，用于在农业中的形状的3D感知，并根据其形状从背景中分割软果实的可用性。为此，我们提出了一种新颖的3D深度神经网络，其利用来自基于相机的3D传感器的信息的有组织性质。与最先进的3D网络相比，我们展示了所提出的体系结构的卓越性能和效率。通过模拟研究，我们还显示了农业中对象分割的3D感测范例的潜力，并提供了洞察力和分析所需的形状质量和预期作物的进一步分析。这项工作的结果应该鼓励研究人员和公司开发更准确和强大的3D传感技术，以确保他们在实际农业应用中更广泛的采用。

准确的轨道位置是铁路支持驱动系统的重要组成部分，用于安全监控。激光雷达可以获得携带铁路环境的3D信息的点云，特别是在黑暗和可怕的天气条件下。在本文中，提出了一种基于3D点云的实时轨识别方法来解决挑战，如无序，不均匀的密度和大量点云的挑战。首先呈现Voxel Down-采样方法，用于铁路点云的密度平衡，并且金字塔分区旨在将3D扫描区域划分为具有不同卷的体素。然后，开发了一个特征编码模块以找到最近的邻点并聚合它们的局部几何特征。最后，提出了一种多尺度神经网络以产生每个体素和轨道位置的预测结果。该实验是在铁路的3D点云数据的9个序列下进行的。结果表明，该方法在检测直，弯曲和其他复杂的拓扑轨道方面具有良好的性能。

由于范围和几何形状的直接集成，基于激光雷达的本地化和映射是许多现代机器人系统中的核心组件之一，可以实时进行精确的运动估算和​​高质量的高质量图。然而，由于场景中存在不足的环境约束，这种对几何形状的依赖可能导致定位失败，发生在隧道等自对称环境中。这项工作通过提出一种基于神经网络的估计方法来检测机器人操作过程中的（非）本地化性，从而解决了此问题。特别注意扫描到扫描登记的可靠性，因为它是许多激光射击估计管道中的关键组成部分。与以前的主要检测方法相反，该方法通过估算原始传感器测量的可定位性而无需评估基本的注册优化，可以尽早检测失败。此外，由于需要启发式的脱落检测阈值，因此以前的方法在跨环境和传感器类型的概括能力上仍然有限。提出的方法通过从不同环境的集合中学习，从而避免了这个问题，从而使网络在各种情况下运行。此外，该网络专门针对模拟数据进行培训，避免了艰苦的数据收集，以挑战性和退化（通常难以访问）环境。在跨越具有挑战性的环境和两种不同的传感器类型上进行的现场实验中，对所提出的方法进行了测试。观察到的检测性能与特定环境特异性阈值调整后的最新方法相当。

随着商业深度传感器和3D扫描仪的最近可用性和可承受能力，越来越多的3D（即RGBD，点云）数据集已被宣传以促进3D计算机视觉的研究。但是，现有的数据集覆盖相对较小的区域或具有有限的语义注释。对城市规模3D场景的细粒度理解仍处于起步阶段。在本文中，我们介绍了Sensaturban，一个城市规模的UAV摄影测量点云数据集，包括从三个英国城市收集的近30亿积分，占地7.6公里^ 2。 DataSet中的每个点已标记为具有细粒度的语义注释，导致数据集是上一个现有最大摄影测量点云数据集的三倍的三倍。除了诸如道路和植被等诸如道路和植被的常见类别之外，我们的数据集还包含包括轨道，桥梁和河流的城市水平类别。基于此数据集，我们进一步构建了基准，以评估最先进的分段算法的性能。特别是，我们提供了全面的分析，确定了限制城市规模点云理解的几个关键挑战。数据集可在http://point-cloud-analysis.cs.ox.ac.uk中获取。

在多个会话中处理环境图的能力对于长时间运行的机器人至关重要。具体而言，自主代理人希望检测不同会话的地图之间的变化，以便对当前环境产生无冲突的理解。在本文中，我们研究了基于新的地图表示的变化检测问题，称为平面签名距离场（PlanesDF），其中密集的地图表示为平面的集合及其SDF体积中的相关几何成分。给定的源场和目标场景的点云，我们提出了一种基于三步的平面变更检测方法：（1）平面DF卷在每个场景中实例化并使用平面姿势在场景中注册；通过高度投影和连接的组件分析提取2D高度图和对象图。 （2）比较高度图并与对象图相交，以生成2D更改位置掩码，以用于源场景中更改的对象候选者。 （3）使用SDF衍生的每个对象候选者进行更改掩码细化的功能进行3D几何验证。我们在合成数据集和现实世界数据集上评估我们的方法，并通过更改对象检测的任务来证明其有效性。

植物点云的分割以获得高精度的形态特征对于植物表型和作物育种至关重要。尽管深度学习方法的绽放促进了对植物点云的分割的大量研究，但大多数作品遵循基于硬素化或基于下采样的方法的共同实践。它们仅限于细分简单的植物器官，忽略了解决具有高空间分辨率的复杂植物点云的困难。在这项研究中，我们提出了一个深度学习网络分割变压器（PST），以实现MLS（移动激光扫描）油料种子强奸点云的语义和实例分割，该强奸点云将其特征在于微小的硅酸盐和致密点作为主要特征。 PST由：（i）一个动态体素特征编码器（DVFE），可通过原始空间分辨率进行每个点特征聚集； （ii）双窗口设置注意力块以捕获上下文信息； （iii）一个密集的特征传播模块，以获得最终的致密点特征图。结果证明，PST和PST-PointGroup（PG）在语义和实例分段任务中实现了最新性能。对于语义细分，PST分别达到93.96％，97.29％，96.52％，96.88％和97.07％的平均值，平均精度，平均召回率，平均F1得分和整体准确性。例如，在MCOV，MWCOV，MPERC90和MREC90中，分割的PST-PG分别达到89.51％，89.85％，88.83％和82.53％。这项研究以端到端的方式扩展了油料强奸的表型，并证明了深度学习方法具有巨大的潜力，可以理解具有复杂形态特征的密集植物点云。

尽管深度神经网络在各个领域中受到欢迎，但从机载激光扫描（ALS）点云中提取数字地形模型（DTM）仍然具有挑战性。这可能是由于缺乏专用的大规模注释数据集以及点云和DTMS之间的数据结构差异。为了促进数据驱动的DTM提取，本文从开源的ALS点云和相应的DTM中收集了带有各种城市，森林和山区场景的相应DTM。提出了一种基线方法，作为第一次尝试通过栅格化技术（即涂层的深层）从ALS点云中直接从ALS点云中提取数字地形模型的尝试。进行了良好的方法进行广泛的研究，以基准数据集对数据集进行基准测试，并分析学习从点云中提取DTM的挑战。实验结果显示了不可知论数据驱动的方法的兴趣，与为DTM提取设计的方法相比，次级误差级别。数据和源代码可在https://lhoangan.github.io/deepterra/上提供可重复性和进一步的类似研究。

本文首先提出了一个有效的3D点云学习架构，名为PWCLO-NET的LIDAR ODOMORY。在该架构中，提出了3D点云的投影感知表示来将原始的3D点云组织成有序数据表单以实现效率。 LIDAR ODOMOMERY任务的金字塔，翘曲和成本量（PWC）结构是为估计和优化在分层和高效的粗良好方法中的姿势。建立一个投影感知的细心成本卷，以直接关联两个离散点云并获得嵌入运动模式。然后，提出了一种可训练的嵌入掩模来称量局部运动模式以回归整体姿势和过滤异常值点。可训练的姿势经线细化模块迭代地与嵌入式掩码进行分层优化，使姿势估计对异常值更加强大。整个架构是全能优化的端到端，实现成本和掩码的自适应学习，并且涉及点云采样和分组的所有操作都是通过投影感知的3D特征学习方法加速。在Kitti Ocomatry DataSet上证明了我们的激光乐队内径架构的卓越性能和有效性。我们的方法优于基于学习的所有基于学习的方法，甚至基于几何的方法，在大多数基于Kitti Odomatry数据集的序列上具有映射优化的遗传。

Semantic segmentation of aerial point cloud data can be utilised to differentiate which points belong to classes such as ground, buildings, or vegetation. Point clouds generated from aerial sensors mounted to drones or planes can utilise LIDAR sensors or cameras along with photogrammetry. Each method of data collection contains unique characteristics which can be learnt independently with state-of-the-art point cloud segmentation models. Utilising a single point cloud segmentation model can be desirable in situations where point cloud sensors, quality, and structures can change. In these situations it is desirable that the segmentation model can handle these variations with predictable and consistent results. Although deep learning can segment point clouds accurately it often suffers in generalisation, adapting poorly to data which is different than the training data. To address this issue, we propose to utilise multiple available open source fully annotated datasets to train and test models that are better able to generalise. In this paper we discuss the combination of these datasets into a simple training set and challenging test set. Combining datasets allows us to evaluate generalisation performance on known variations in the point cloud data. We show that a naive combination of datasets produces a model with improved generalisation performance as expected. We go on to show that an improved sampling strategy which decreases sampling variations increases the generalisation performance substantially on top of this. Experiments to find which sample variations give this performance boost found that consistent densities are the most important.

Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.

在这项工作中，我们介绍了一个新颖的全球描述符，称为3D位置识别的稳定三角形描述符（STD）。对于一个三角形，其形状由侧面或包含角度的长度唯一决定。此外，三角形的形状对于刚性转换完全不变。基于此属性，我们首先设计了一种算法，以从3D点云中有效提取本地密钥点，并将这些关键点编码为三角形描述符。然后，通过匹配点云之间描述符的侧面长度（以及其他一些信息）来实现位置识别。从描述符匹配对获得的点对应关系可以在几何验证中进一步使用，从而大大提高了位置识别的准确性。在我们的实验中，我们将我们提出的系统与公共数据集（即Kitti，NCLT和Complex-ublan）和我们自我收集的数据集（即M2DP，扫描上下文）进行了广泛的比较（即M2DP，扫描上下文）（即带有非重复扫描固态激光雷达）。所有定量结果表明，性病具有更强的适应性，并且在其对应物方面的精度有了很大的提高。为了分享我们的发现并为社区做出贡献，我们在GitHub上开放代码：https：//github.com/hku-mars/std。

Current 3D object detection methods are heavily influenced by 2D detectors. In order to leverage architectures in 2D detectors, they often convert 3D point clouds to regular grids (i.e., to voxel grids or to bird's eye view images), or rely on detection in 2D images to propose 3D boxes. Few works have attempted to directly detect objects in point clouds. In this work, we return to first principles to construct a 3D detection pipeline for point cloud data and as generic as possible. However, due to the sparse nature of the data -samples from 2D manifolds in 3D space -we face a major challenge when directly predicting bounding box parameters from scene points: a 3D object centroid can be far from any surface point thus hard to regress accurately in one step. To address the challenge, we propose VoteNet, an end-to-end 3D object detection network based on a synergy of deep point set networks and Hough voting. Our model achieves state-of-the-art 3D detection on two large datasets of real 3D scans, ScanNet and SUN RGB-D with a simple design, compact model size and high efficiency. Remarkably, VoteNet outperforms previous methods by using purely geometric information without relying on color images.

自动驾驶应用中使用的激光雷达传感器会受到不利天气条件的负面影响。一种常见但有研究的效果是在寒冷的天气中凝结车辆气体的凝结。这种日常现象会严重影响雷达测量值的质量，从而通过创建像幽灵对象检测之类的人工制品，从而导致不太准确的环境感知。在文献中，使用基于学习的方法来实现雨水和雾之类的不利天气影响的语义分割。但是，这样的方法需要大量标记的数据，这可能非常昂贵且艰辛。我们通过提出两步方法来检测冷凝车气排气的方法来解决这个问题。首先，我们在场景中为每辆车确定其排放区域，并在存在的情况下检测气体排气。然后，通过对可能存在气体排气的空间区域进行建模来检测到孤立的云。我们测试了实际城市数据的方法，表明我们的方法可以可靠地检测到不同情况下的气体排气，从而吸引了离线预标和在线应用程序（例如幽灵对象检测）的吸引力。

特征提取和匹配是许多计算机视觉任务的基本部分，例如2D或3D对象检测，识别和注册。众所周知，2D功能提取和匹配已经取得了巨大的成功。不幸的是，在3D领域，由于描述性和效率低下，目前的方法无法支持3D激光雷达传感器在视觉任务中的广泛应用。为了解决此限制，我们提出了一种新颖的3D特征表示方法：3D激光点云的线性关键点表示，称为link3d。 Link3D的新颖性在于它完全考虑了LiDar Point Cloud的特征（例如稀疏性，场景的复杂性），并用其强大的邻居键盘来表示当前关键点，从而对当前关键点的描述提供了强烈的约束。提出的链接3D已在两个公共数据集（即Kitti，Steven VLP16）上进行了评估，实验结果表明，我们的方法在匹配性能方面的最先进表现都大大优于最先进的方法。更重要的是，Link3D显示出出色的实时性能（基于LIDAR的频率10 Hz）。 Link3D平均仅需32毫秒即可从64射线激光束收集的点云中提取功能，并且仅需大约8毫秒即可匹配两次LIDAR扫描，当时用Intel Core i7 @2.2 GHz处理器执行笔记本。此外，我们的方法可以广泛扩展到各种3D视觉应用。在本文中，我们已将Link3D应用于3D注册，LiDAR ODOMETIRE和放置识别任务，并与最先进的方法相比实现了竞争成果。

从点云数据进行分割至关重要，例如遥感，移动机器人或自动驾驶汽车。但是，由3D范围传感器捕获的点云通常是稀疏且非结构化的，具有挑战性的有效分割。在本文中，我们提出了一个快速解决方案，以对云实例进行分割，并具有较小的计算需求。为此，我们提出了一种新颖的快速欧几里得聚类（FEC）算法，该算法在现有作品中使用的聚类方案上应用了一个方案。我们的方法在概念上是简单，易于实现的（C ++中的40行），并且在产生高质量的结果的同时，针对经典分割方法实现了两个大小。

Distribution-to-distribution (D2D) point cloud registration techniques such as the Normal Distributions Transform (NDT) can align point clouds sampled from unstructured scenes and provide accurate bounds of their own solution error covariance-- an important feature for safety-of life navigation tasks. D2D methods rely on the assumption of a static scene and are therefore susceptible to bias from range-shadowing, self-occlusion, moving objects, and distortion artifacts as the recording device moves between frames. Deep Learning-based approaches can achieve higher accuracy in dynamic scenes by relaxing these constraints, however, DNNs produce uninterpratable solutions which can be problematic from a safety perspective. In this paper, we propose a method of down-sampling LIDAR point clouds to exclude voxels that violate the assumption of a static scene and introduce error to the D2D scan matching process. Our approach uses a solution consistency filter, identifying and flagging voxels where D2D contributions disagree with local estimates from a PointNet-based registration network.

手术场景的语义分割是机器人辅助干预措施中任务自动化的先决条件。我们提出了LapseG3D，这是一种基于DNN的新方法，用于代表手术场景的点云的素云注释。由于训练数据的手动注释非常耗时，因此我们引入了一条半自治的基于聚类的管道，用于胆囊的注释，该管道用于为DNN生成分段标签。当对手动注释数据进行评估时，LapseG3D在前体猪肝的各种数据集上的胆囊分割达到了0.94的F1得分。我们显示LapseG3D可以准确地跨越具有不同RGB-D摄像机系统记录的不同胆囊和数据集。