Semantic segmentation of aerial point cloud data can be utilised to differentiate which points belong to classes such as ground, buildings, or vegetation. Point clouds generated from aerial sensors mounted to drones or planes can utilise LIDAR sensors or cameras along with photogrammetry. Each method of data collection contains unique characteristics which can be learnt independently with state-of-the-art point cloud segmentation models. Utilising a single point cloud segmentation model can be desirable in situations where point cloud sensors, quality, and structures can change. In these situations it is desirable that the segmentation model can handle these variations with predictable and consistent results. Although deep learning can segment point clouds accurately it often suffers in generalisation, adapting poorly to data which is different than the training data. To address this issue, we propose to utilise multiple available open source fully annotated datasets to train and test models that are better able to generalise. In this paper we discuss the combination of these datasets into a simple training set and challenging test set. Combining datasets allows us to evaluate generalisation performance on known variations in the point cloud data. We show that a naive combination of datasets produces a model with improved generalisation performance as expected. We go on to show that an improved sampling strategy which decreases sampling variations increases the generalisation performance substantially on top of this. Experiments to find which sample variations give this performance boost found that consistent densities are the most important.

尽管深度神经网络在各个领域中受到欢迎，但从机载激光扫描（ALS）点云中提取数字地形模型（DTM）仍然具有挑战性。这可能是由于缺乏专用的大规模注释数据集以及点云和DTMS之间的数据结构差异。为了促进数据驱动的DTM提取，本文从开源的ALS点云和相应的DTM中收集了带有各种城市，森林和山区场景的相应DTM。提出了一种基线方法，作为第一次尝试通过栅格化技术（即涂层的深层）从ALS点云中直接从ALS点云中提取数字地形模型的尝试。进行了良好的方法进行广泛的研究，以基准数据集对数据集进行基准测试，并分析学习从点云中提取DTM的挑战。实验结果显示了不可知论数据驱动的方法的兴趣，与为DTM提取设计的方法相比，次级误差级别。数据和源代码可在https://lhoangan.github.io/deepterra/上提供可重复性和进一步的类似研究。

随着商业深度传感器和3D扫描仪的最近可用性和可承受能力，越来越多的3D（即RGBD，点云）数据集已被宣传以促进3D计算机视觉的研究。但是，现有的数据集覆盖相对较小的区域或具有有限的语义注释。对城市规模3D场景的细粒度理解仍处于起步阶段。在本文中，我们介绍了Sensaturban，一个城市规模的UAV摄影测量点云数据集，包括从三个英国城市收集的近30亿积分，占地7.6公里^ 2。 DataSet中的每个点已标记为具有细粒度的语义注释，导致数据集是上一个现有最大摄影测量点云数据集的三倍的三倍。除了诸如道路和植被等诸如道路和植被的常见类别之外，我们的数据集还包含包括轨道，桥梁和河流的城市水平类别。基于此数据集，我们进一步构建了基准，以评估最先进的分段算法的性能。特别是，我们提供了全面的分析，确定了限制城市规模点云理解的几个关键挑战。数据集可在http://point-cloud-analysis.cs.ox.ac.uk中获取。

建筑物的表面裂缝，天然墙壁和地下矿井隧道可以表示严重的结构完整性问题，威胁到环境中的结构和人们的安全。及时检测和监测裂缝对于管理这些风险至关重要，特别是如果系统可以通过机器人提供高度自动化。使用深神经网络的视觉裂缝检测算法表现出墙壁或土木工程隧道等结构表面的承诺，但是工作的少量工作已经解决了高度非结构化的环境，例如岩石悬崖和裸露的采矿隧道。为了解决这一挑战，本文介绍了一个用于非结构化表面的新的3D点云的裂缝检测算法。该方法包括三个关键组件：一种自适应的下采样方法，其保持足够的裂缝点密度，将每个点作为裂缝或非裂缝分类的DNN，以及将裂缝点分成裂缝的后处理聚类方法。该方法在新的大型天然岩数据集上通过实验验证，包括跨越900米^ 2和412个单独裂缝的彩色激光雷达云。结果证明裂缝检出率为97％，最大宽度为3厘米以上的裂缝100％，显着优于现有技术。此外，对于交叉验证，PointCrack3D应用于在不同位置获取的完全新数据集，并且在培训中根本不使用，并显示为检测其100％的裂缝实例。我们还表征了检测性能，裂缝宽度和点数的点数之间的关系，为其提供了对实际部署和未来研究方向作出决策的基础。

Paris-Carla-3d是由移动激光器和相机系统构建的几个浓彩色点云的数据集。数据由两组具有来自开源Carla模拟器（700百万分）的合成数据和在巴黎市中获取的真实数据（6000万分），因此Paris-Carla-3d的名称。此数据集的一个优点是在开源Carla模拟器中模拟了相同的LIDAR和相机平台，因为用于生产真实数据的开源Carla Simulator。此外，使用Carla的语义标记的手动注释在真实数据上执行，允许将转移方法从合成到实际数据进行测试。该数据集的目的是提供一个具有挑战性的数据集，以评估和改进户外环境3D映射的困难视觉任务的方法：语义分段，实例分段和场景完成。对于每项任务，我们描述了评估协议以及建立基线的实验。

大规模发光点云的快速有效语义分割是自主驾驶中的一个基本问题。为了实现这一目标，现有的基于点的方法主要选择采用随机抽样策略来处理大规模点云。但是，我们的数量和定性研究发现，随机抽样可能不适合自主驾驶场景，因为LiDAR点遵循整个空间的不均匀甚至长尾巴分布，这阻止了模型从从中捕获足够的信息，从而从中捕获了足够的信息不同的距离范围并降低了模型的学习能力。为了减轻这个问题，我们提出了一种新的极性缸平衡的随机抽样方法，该方法使下采样的点云能够保持更平衡的分布并改善不同空间分布下的分割性能。此外，引入了采样一致性损失，以进一步提高分割性能并降低模型在不同采样方法下的方差。广泛的实验证实，我们的方法在Semantickitti和Semanticposs基准测试中都产生了出色的性能，分别提高了2.8％和4.0％。

Our dataset provides dense annotations for each scan of all sequences from the KITTI Odometry Benchmark [19]. Here, we show multiple scans aggregated using pose information estimated by a SLAM approach.

2D和3D建筑图提供了宝贵的信息，以了解人类活动及其对地球及其环境的影响。尽管为提高建筑地图的质量而做出了巨大努力，但自动化方法产生的当前大规模建筑地图仍存在许多错误和不确定性，并且通常仅限于提供2D建筑信息。这项研究提出了一种开源无监督的2D和3D建筑物提取算法，并带有适用于大型建筑物映射的机载LIDAR数据。我们的算法以完全无监督的方式运行，不需要任何培训标签或培训程序。我们的算法由形态过滤和基于平面的过滤组成。因此，计算是有效的，结果易于预测，这可以大大减少所得建筑图中的不确定性。丹佛和纽约市的大规模数据集（> 550 $ km^2 $）的定量和定性评估表明，我们的算法比通过基于深度学习的方法生成的Microsoft Building Footprints可以产生更准确的建筑图。在不同条件下进行的广泛评估证实，我们的算法是可扩展的，可以通过适当的参数选择进一步改进。我们还详细介绍了参数和潜在错误来源的影响，以帮助我们算法的潜在用户。我们的基于激光雷达的算法具有优势，即生成2D和3D构建图在计算上有效，而它产生了准确且可解释的结果。我们提出的算法为带有机载激光雷达数据的全球尺度2D和3D建筑物映射提供了巨大的潜力。

为了训练一个表现出色的神经网络进行语义细分，至关重要的是，拥有一个具有可用地面真相的大数据集以供网络概括为看不见的数据。在本文中，我们提出了新颖的点云增强方法，以人为地使数据集多样化。我们以传感器为中心的方法保持数据结构与LIDAR传感器功能一致。由于这些新方法，我们能够通过高价值实例丰富低价值数据，并创建全新的场景。我们使用公共Semantickitti数据集验证了在多个神经网络上的方法，并证明与各自的基线相比，所有网络都会有所改善。此外，我们表明我们的方法能够使用非常小的数据集，节省注释时间，培训时间和相关成本。

我们向传感器独立性（Sensei）介绍了一种新型神经网络架构 - 光谱编码器 - 通过该传感器独立性（Sensei） - 通过其中具有不同组合的光谱频带组合的多个多光谱仪器可用于训练广义深度学习模型。我们专注于云屏蔽的问题，使用几个预先存在的数据集，以及Sentinel-2的新的自由可用数据集。我们的模型显示在卫星上实现最先进的性能，它受过训练（Sentinel-2和Landsat 8），并且能够推断到传感器，它在训练期间尚未见过Landsat 7，每\ 'USAT-1，和Sentinel-3 SLST。当多种卫星用于培训，接近或超越专用单传感器型号的性能时，模型性能显示出改善。这项工作是激励遥感社区可以使用巨大各种传感器采取的数据的动机。这不可避免地导致标记用于不同传感器的努力，这限制了深度学习模型的性能，因为他们需要最佳地执行巨大的训练。传感器独立性可以使深度学习模型能够同时使用多个数据集进行培训，提高性能并使它们更广泛适用。这可能导致深入学习方法，用于在板载应用程序和地面分段数据处理中更频繁地使用，这通常需要模型在推出时或之后即将开始。

许多基于点的语义分割方法是为室内场景设计的，但如果它们被应用于户外环境中的LIDAR传感器捕获的点云，则他们挣扎。为了使这些方法更有效和坚固，使得它们可以处理LIDAR数据，我们介绍了重新建立基于3D点的操作的一般概念，使得它们可以在投影空间中运行。虽然我们通过三个基于点的方法显示了重新计算的版本速度快300到400倍，但实现了更高的准确性，但我们还证明了重新制定基于3D点的操作的概念允许设计统一益处的新架构基于点和基于图像的方法。作为示例，我们介绍一种网络，该网络将基于重新的3D点的操作集成到2D编码器 - 解码器架构中，该架构融合来自不同2D尺度的信息。我们评估了四个具有挑战性的语义LIDAR点云分割的方法，并显示利用基于2D图像的操作的重新推出的基于3D点的操作实现了所有四个数据集的非常好的结果。

语义细分是农业机器人了解自然果园周围环境的一项基本任务。 LIDAR技术的最新发展使机器人能够在非结构化果园中获得准确的范围测量。与RGB图像相比，3D点云具有几何特性。通过将LIDAR和相机组合在一起，可以获得有关几何和纹理的丰富信息。在这项工作中，我们提出了一种基于深度学习的分割方法，以对来自激光镜像相机视觉传感器的融合数据进行准确的语义分割。在这项工作中探索和解决了两个关键问题。第一个是如何有效地从多传感器数据中融合纹理和几何特征。第二个是如何在严重失衡类条件下有效训练3D分割网络的方法。此外，详细介绍了果园中3D分割的实现，包括LiDAR-CAMERA数据融合，数据收集和标签，网络培训和模型推断。在实验中，我们在处理从苹果园获得的高度非结构化和嘈杂的点云时，全面分析了网络设置。总体而言，我们提出的方法在高分辨率点云（100k-200k点）上的水果分割时达到了86.2％MIOU。实验结果表明，所提出的方法可以在真实的果园环境中进行准确的分割。

Deep learning techniques for point cloud data have demonstrated great potentials in solving classical problems in 3D computer vision such as 3D object classification and segmentation. Several recent 3D object classification methods have reported state-of-the-art performance on CAD model datasets such as ModelNet40 with high accuracy (∼92%). Despite such impressive results, in this paper, we argue that object classification is still a challenging task when objects are framed with real-world settings. To prove this, we introduce ScanObjectNN, a new real-world point cloud object dataset based on scanned indoor scene data. From our comprehensive benchmark, we show that our dataset poses great challenges to existing point cloud classification techniques as objects from real-world scans are often cluttered with background and/or are partial due to occlusions. We identify three key open problems for point cloud object classification, and propose new point cloud classification neural networks that achieve state-of-the-art performance on classifying objects with cluttered background. Our dataset and code are publicly available in our project page 1 .

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

准确的轨道位置是铁路支持驱动系统的重要组成部分，用于安全监控。激光雷达可以获得携带铁路环境的3D信息的点云，特别是在黑暗和可怕的天气条件下。在本文中，提出了一种基于3D点云的实时轨识别方法来解决挑战，如无序，不均匀的密度和大量点云的挑战。首先呈现Voxel Down-采样方法，用于铁路点云的密度平衡，并且金字塔分区旨在将3D扫描区域划分为具有不同卷的体素。然后，开发了一个特征编码模块以找到最近的邻点并聚合它们的局部几何特征。最后，提出了一种多尺度神经网络以产生每个体素和轨道位置的预测结果。该实验是在铁路的3D点云数据的9个序列下进行的。结果表明，该方法在检测直，弯曲和其他复杂的拓扑轨道方面具有良好的性能。

由于范围和几何形状的直接集成，基于激光雷达的本地化和映射是许多现代机器人系统中的核心组件之一，可以实时进行精确的运动估算和​​高质量的高质量图。然而，由于场景中存在不足的环境约束，这种对几何形状的依赖可能导致定位失败，发生在隧道等自对称环境中。这项工作通过提出一种基于神经网络的估计方法来检测机器人操作过程中的（非）本地化性，从而解决了此问题。特别注意扫描到扫描登记的可靠性，因为它是许多激光射击估计管道中的关键组成部分。与以前的主要检测方法相反，该方法通过估算原始传感器测量的可定位性而无需评估基本的注册优化，可以尽早检测失败。此外，由于需要启发式的脱落检测阈值，因此以前的方法在跨环境和传感器类型的概括能力上仍然有限。提出的方法通过从不同环境的集合中学习，从而避免了这个问题，从而使网络在各种情况下运行。此外，该网络专门针对模拟数据进行培训，避免了艰苦的数据收集，以挑战性和退化（通常难以访问）环境。在跨越具有挑战性的环境和两种不同的传感器类型上进行的现场实验中，对所提出的方法进行了测试。观察到的检测性能与特定环境特异性阈值调整后的最新方法相当。

在本文中，我们介绍了一个新的建筑数据集，并提出了一种新颖的域泛化方法，以促进从高分辨率遥感图像中提取建筑物的开发。当前建筑数据集的问题涉及它们缺乏多样性，标签的质量不令人满意，并且几乎不用于培训具有良好概括能力的建筑提取模型，以便正确地评估模型在实践中的真实性能场景。为了解决这些问题，我们建立了一个名为WHU-MIX建筑数据集的多样化，大规模和高质量的建筑数据集，该数据集更加面向实践。 WHU-MIX建筑物数据集由一个培训/验证集组成，该培训/验证集包含来自世界各地的43,727个不同图像，以及一个测试集，其中包含来自五大洲其他五个城市的8402张图像。此外，为了进一步提高建筑物提取模型的概括能力，我们提出了一种名为批处理样式混合（BSM）的域概括方法，该方法可以嵌入建筑物的frond-end中，以嵌入为有效的插件模块提取模型，为模型提供逐渐更大的数据分布，以学习数据不变知识。这项研究中进行的实验证实了WHU-MIX建筑数据集的潜力，以提高建筑物提取模型的性能，与其他现有数据集相比，MIOU提高了6-36％。其他数据集中标签不准确的不利影响可能会导致约20％的IOU减少。该实验还证实了所提出的BSM模块在增强模型的概括能力和鲁棒性方面的高性能，超过了13％的基线模型，而MIOU中最新的域概括方法则超过了4-15％。

小型太阳能光伏（PV）阵列中电网的有效集成计划需要访问高质量的数据：单个太阳能PV阵列的位置和功率容量。不幸的是，不存在小型太阳能光伏的国家数据库。那些确实有限的空间分辨率，通常汇总到州或国家一级。尽管已经发布了几种有希望的太阳能光伏检测方法，但根据研究，研究这些模型的性能通常是高度异质的。这些方法对能源评估的实际应用的比较变得具有挑战性，可能意味着报告的绩效评估过于乐观。异质性有多种形式，我们在这项工作中探讨了每种形式：空间聚集的水平，地面真理的验证，培训和验证数据集的不一致以及培训的位置和传感器的多样性程度和验证数据始发。对于每个人，我们都会讨论文献中的新兴实践，以解决它们或暗示未来研究的方向。作为调查的一部分，我们评估了两个大区域的太阳PV识别性能。我们的发现表明，由于验证过程中的共同局限性，从卫星图像对太阳PV自动识别的传统绩效评估可能是乐观的。这项工作的收获旨在为能源研究人员和专业人员提供自动太阳能光伏评估技术的大规模实用应用。

在过去几年中，自动驾驶一直是最受欢迎，最具挑战性的主题之一。在实现完全自治的道路上，研究人员使用了各种传感器，例如LIDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用程序的智能算法，例如对象检测，对象段，障碍，避免障碍物，避免障碍物和障碍物，以及路径计划。近年来，高清（HD）地图引起了很多关注。由于本地化中高清图的精度和信息水平很高，因此它立即成为自动驾驶的关键组成部分之一。从Baidu Apollo，Nvidia和TomTom等大型组织到个别研究人员，研究人员创建了用于自主驾驶的不同场景和用途的高清地图。有必要查看高清图生成的最新方法。本文回顾了最新的高清图生成技术，这些技术利用了2D和3D地图生成。这篇评论介绍了高清图的概念及其在自主驾驶中的有用性，并详细概述了高清地图生成技术。我们还将讨论当前高清图生成技术的局限性，以激发未来的研究。

自动驾驶数据集通常是倾斜的，特别是，缺乏距自工载体远距离的物体的训练数据。随着检测到的对象的距离增加，数据的不平衡导致性能下降。在本文中，我们提出了模式识的地面真相抽样，一种数据增强技术，该技术基于LIDAR的特征缩小对象的点云。具体地，我们模拟了用于深度的物体的自然发散点模式变化，以模拟更远的距离。因此，网络具有更多样化的训练示例，并且可以更有效地概括地检测更远的物体。我们评估了使用点删除或扰动方法的现有数据增强技术，并发现我们的方法优于所有这些。此外，我们建议使用相等的元素AP箱，以评估跨距离的3D对象探测器的性能。我们在距离大于25米的距离上的Kitti验证分裂上提高了PV-RCNN对车载PV-RCNN的性能。