我们提出了一种新的基于深入学习的方法，用于估计从空中平台捕获的3D点云估算植被层的占用。我们的模型预测了三个植被阶层的光栅占用地图：下层，中等和更高的地层。我们的培训方案允许我们的网络仅使用圆柱形图中聚合的值，这更容易产生比像素 - 明智的或点明智的注释。我们的方法在精度方面占据了手工制作和深度学习的基线，同时提供视觉和可解释的预测。我们沿着199农业地块的数据集提供了我们的方法的开源实现，以培训和评估占用回归算法。

我们提出了一种生成，预测和使用时空占用网格图（SOGM）的方法，该方法嵌入了真实动态场景的未来语义信息。我们提出了一个自动标记的过程，该过程从嘈杂的真实导航数据中创建SOGM。我们使用3D-2D馈电体系结构，经过训练，可以预测SOGM的未来时间步骤，并给定3D激光镜框架作为输入。我们的管道完全是自我监督的，从而为真正的机器人提供了终身学习。该网络由一个3D后端组成，该后端提取丰富的特征并实现了激光镜框架的语义分割，以及一个2D前端，可预测SOGM表示中嵌入的未来信息，从而有可能捕获房地产的复杂性和不确定性世界多代理，多未来的互动。我们还设计了一个导航系统，该导航系统在计划中使用这些预测的SOGM在计划中，之后它们已转变为时空风险图（SRMS）。我们验证导航系统在模拟中的能力，在真实的机器人上对其进行验证，在各种情况下对真实数据进行研究SOGM预测，并提供一种新型的室内3D LIDAR数据集，该数据集在我们的实验中收集，其中包括我们的自动注释。

Paris-Carla-3d是由移动激光器和相机系统构建的几个浓彩色点云的数据集。数据由两组具有来自开源Carla模拟器（700百万分）的合成数据和在巴黎市中获取的真实数据（6000万分），因此Paris-Carla-3d的名称。此数据集的一个优点是在开源Carla模拟器中模拟了相同的LIDAR和相机平台，因为用于生产真实数据的开源Carla Simulator。此外，使用Carla的语义标记的手动注释在真实数据上执行，允许将转移方法从合成到实际数据进行测试。该数据集的目的是提供一个具有挑战性的数据集，以评估和改进户外环境3D映射的困难视觉任务的方法：语义分段，实例分段和场景完成。对于每项任务，我们描述了评估协议以及建立基线的实验。

We propose a new self-supervised method for pre-training the backbone of deep perception models operating on point clouds. The core idea is to train the model on a pretext task which is the reconstruction of the surface on which the 3D points are sampled, and to use the underlying latent vectors as input to the perception head. The intuition is that if the network is able to reconstruct the scene surface, given only sparse input points, then it probably also captures some fragments of semantic information, that can be used to boost an actual perception task. This principle has a very simple formulation, which makes it both easy to implement and widely applicable to a large range of 3D sensors and deep networks performing semantic segmentation or object detection. In fact, it supports a single-stream pipeline, as opposed to most contrastive learning approaches, allowing training on limited resources. We conducted extensive experiments on various autonomous driving datasets, involving very different kinds of lidars, for both semantic segmentation and object detection. The results show the effectiveness of our method to learn useful representations without any annotation, compared to existing approaches. Code is available at \href{https://github.com/valeoai/ALSO}{github.com/valeoai/ALSO}

点云实例分割在深度学习的出现方面取得了巨大进展。然而，这些方法通常是具有昂贵且耗时的密度云注释的数据饥饿。为了减轻注释成本，在任务中仍申请未标记或弱标记的数据。在本文中，我们使用标记和未标记的边界框作为监控，介绍第一个半监控点云实例分段框架（SPIB）。具体而言，我们的SPIB架构涉及两级学习程序。对于阶段，在具有扰动一致性正则化（SPCR）的半监控设置下培训边界框提案生成网络。正规化通过强制执行对应用于输入点云的不同扰动的边界框预测的不变性，为网络学习提供自我监督。对于阶段，使用SPCR的边界框提案被分组为某些子集，并且使用新颖的语义传播模块和属性一致性图模块中的每个子集中挖掘实例掩码。此外，我们介绍了一种新型占用比导改进模块，以优化实例掩码。对挑战队的攻击v2数据集进行了广泛的实验，证明了我们的方法可以实现与最近的完全监督方法相比的竞争性能。

最近对隐含形状表示的兴趣日益增长。与明确的陈述相反，他们没有解决局限性，他们很容易处理各种各样的表面拓扑。为了了解这些隐式表示，电流方法依赖于一定程度的形状监督（例如，内部/外部信息或距离形状知识），或者至少需要密集点云（以近似距离 - 到 - 到 - 形状）。相比之下，我们介绍{\方法}，一种用于学习形状表示的自我监督方法，从可能极其稀疏的点云。就像在水牛的针问题一样，我们在点云上“掉落”（样本）针头，认为，静统计地靠近表面，针端点位于表面的相对侧。不需要形状知识，点云可以高稀疏，例如，作为车辆获取的Lidar点云。以前的自我监督形状表示方法未能在这种数据上产生良好的结果。我们获得定量结果与现有的形状重建数据集上现有的监督方法标准，并在Kitti等硬自动驾驶数据集中显示有前途的定性结果。

We present an approach to semantic scene analysis using deep convolutional networks. Our approach is based on tangent convolutions -a new construction for convolutional networks on 3D data. In contrast to volumetric approaches, our method operates directly on surface geometry. Crucially, the construction is applicable to unstructured point clouds and other noisy real-world data. We show that tangent convolutions can be evaluated efficiently on large-scale point clouds with millions of points. Using tangent convolutions, we design a deep fully-convolutional network for semantic segmentation of 3D point clouds, and apply it to challenging real-world datasets of indoor and outdoor 3D environments. Experimental results show that the presented approach outperforms other recent deep network constructions in detailed analysis of large 3D scenes.

场景完成是从场景的部分扫描中完成缺失几何形状的任务。大多数以前的方法使用3D网格上的截断签名距离函数（T-SDF）计算出隐式表示，作为神经网络的输入。截断限制，但不会删除由非关闭表面符号引入的模棱两可的案例。作为替代方案，我们提出了一个未签名的距离函数（UDF），称为未签名的加权欧几里得距离（UWED）作为场景完成神经网络的输入表示。 UWED作为几何表示是简单而有效的，并且可以在任何点云上计算，而与通常的签名距离函数（SDF）相比，UWED不需要正常的计算。为了获得明确的几何形状，我们提出了一种从常规网格上离散的UDF值提取点云的方法。我们比较了从RGB-D和LIDAR传感器收集的室内和室外点云上的场景完成任务的不同SDF和UDFS，并使用建议的UWED功能显示了改进的完成。

最近的体积三维重建方法可以产生非常精确的结果，即使对于未观察的表面，也可以具有合理的几何形状。然而，当涉及多视图融合时，它们面临着不希望的权衡。它们可以通过全局平均来熔断所有可用视图信息，从而丢失精细的细节，或者他们可以启发式群集对本地融合的群集视图，从而限制他们共同考虑所有视图的能力。我们的关键洞察力是通过在摄像机姿势和图像内容上学习视图融合功能，可以在不限制视图多样性的情况下保留更详细的详细信息。我们建议使用变压器学习此多视图融合。为此，我们使用变压器介绍Vortx，一个端到端的体积3D重建网络，用于宽基线，多视图功能融合。我们的模型是遮挡感知的，利用变压器架构来预测初始投影场景几何估计。该估计用于避免将反射图像特征通过曲面到遮挡区域。我们在Scannet上培训我们的模型，并显示它比最先进的方法产生更好的重建。我们还展示了概括，没有任何微调，优于两个其他数据集，Tum-RGBD和ICL-Nuim的相同最先进的方法。

自动驾驶汽车的主要挑战是在看不见的动态环境中导航。将移动对象与静态对象分开对于导航，姿势估计以及了解其他交通参与者在不久的将来可能如何移动至关重要。在这项工作中，我们解决了区分当前移动物体（如行人行人或驾驶汽车）的3D激光雷达点的问题，从非移动物体（如墙壁）中获得的点，但还停放了汽车。我们的方法采用了一系列观察到的激光扫描，并将它们变成素化的稀疏4D点云。我们应用计算有效的稀疏4D旋转来共同提取空间和时间特征，并预测序列中所有点的移动对象置信得分。我们制定了一种退化的地平线策略，使我们能够在线预测移动对象，并根据新观察结果对GO进行预测。我们使用二进制贝叶斯过滤器递归整合了扫描的新预测，从而产生了更强的估计。我们在Semantickitti移动对象细分挑战中评估我们的方法，并显示出比现有方法更准确的预测。由于我们的方法仅在随着时间的推移随时间范围的几何信息上运行，因此它可以很好地概括为新的，看不见的环境，我们在阿波罗数据集中评估了这些环境。

机器人技术中的安全运动规划需要已验证的空间规划，这些空间没有障碍。但是，由于其深度测量值的稀疏性，使用LiDARS获得此类环境表示是具有挑战性的。我们提出了一个学习辅助的3D激光雷达重建框架，该框架借助重叠的摄像头图像来为稀疏的激光雷达深度测量，以生成比单独使用原始liDar测量值可以实现更明确的自由空间的较密集的重建。我们使用带有编码器解码器结构的神经网络来预测密集的深度图像以及使用体积映射系统融合的深度不确定性估计。我们在使用手持式传感设备和腿部机器人捕获的现实世界室外数据集上进行实验。我们使用来自16束束激光雷达映射建筑网络的输入数据，我们的实验表明，通过我们的方法，估计的自由空间的量增加了40％以上。我们还表明，我们在合成数据集通用上训练的方法非常适合现实世界户外场景，而无需进行其他微调。最后，我们演示了运动计划任务如何从这些密集的重建中受益。

Robust object recognition is a crucial skill for robots operating autonomously in real world environments. Range sensors such as LiDAR and RGBD cameras are increasingly found in modern robotic systems, providing a rich source of 3D information that can aid in this task. However, many current systems do not fully utilize this information and have trouble efficiently dealing with large amounts of point cloud data. In this paper, we propose VoxNet, an architecture to tackle this problem by integrating a volumetric Occupancy Grid representation with a supervised 3D Convolutional Neural Network (3D CNN). We evaluate our approach on publicly available benchmarks using LiDAR, RGBD, and CAD data. VoxNet achieves accuracy beyond the state of the art while labeling hundreds of instances per second.

Recently, implicit neural representations have gained popularity for learning-based 3D reconstruction. While demonstrating promising results, most implicit approaches are limited to comparably simple geometry of single objects and do not scale to more complicated or large-scale scenes. The key limiting factor of implicit methods is their simple fullyconnected network architecture which does not allow for integrating local information in the observations or incorporating inductive biases such as translational equivariance. In this paper, we propose Convolutional Occupancy Networks, a more flexible implicit representation for detailed reconstruction of objects and 3D scenes. By combining convolutional encoders with implicit occupancy decoders, our model incorporates inductive biases, enabling structured reasoning in 3D space. We investigate the effectiveness of the proposed representation by reconstructing complex geometry from noisy point clouds and low-resolution voxel representations. We empirically find that our method enables the fine-grained implicit 3D reconstruction of single objects, scales to large indoor scenes, and generalizes well from synthetic to real data.

强大而准确的本地化是移动自主系统的基本要求。类似杆状的物体，例如交通标志，杆子和灯，由于其局部独特性和长期稳定性，经常使用地标在城市环境中定位。在本文中，我们基于在线运行并且几乎没有计算需求的几何特征，提出了一种新颖，准确，快速的杆提取方法。我们的方法直接对3D LIDAR扫描生成的范围图像执行所有计算，该图像避免了显式处理3D点云，并为每次扫描启用快速的极点提取。我们进一步使用提取的杆子作为伪标签来训练深层神经网络，以基于图像的极点分割。我们测试了我们的几何和基于学习的极点提取方法，用于在不同的扫描仪，路线和季节性变化的不同数据集上定位。实验结果表明，我们的方法表现优于其他最先进的方法。此外，通过从多个数据集提取的伪极标签增强，我们基于学习的方法可以跨不同的数据集运行，并且与基于几何的方法相比，可以实现更好的本地化结果。我们向公众发布了杆数据集，以评估杆的性能以及我们的方法的实施。

3D语义分割的最新作品建议通过使用专用网络处理每种模式并将学习的2D功能投射到3D点上，从而利用图像和点云之间的协同作用。合并大规模点云和图像会引起几个挑战，例如在点和像素之间构建映射，以及在多个视图之间汇总特征。当前方法需要网格重建或专门传感器来恢复闭塞，并使用启发式方法选择和汇总可用的图像。相比之下，我们提出了一个可端到端的可训练的多视图聚合模型，该模型利用3D点的观看条件从任意位置拍摄的图像中合并特征。我们的方法可以结合标准2D和3D网络，并优于在有色点云和混合2D/3D网络上运行的3D模型，而无需进行着色，网格融化或真实的深度图。我们为S3DIS（74.7 MIOU 6倍）和Kitti-360（58.3 MIOU）设置了大型室内/室外语义细分的新最先进的。我们的完整管道可以在https://github.com/drprojects/deepviewagg上访问，并且仅需要原始的3D扫描以及一组图像和姿势。

以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。

准确的移动对象细分是自动驾驶的重要任务。它可以为许多下游任务提供有效的信息，例如避免碰撞，路径计划和静态地图构建。如何有效利用时空信息是3D激光雷达移动对象分割（LIDAR-MOS）的关键问题。在这项工作中，我们提出了一个新型的深神经网络，利用了时空信息和不同的LiDAR扫描表示方式，以提高LIDAR-MOS性能。具体而言，我们首先使用基于图像图像的双分支结构来分别处理可以从顺序的LiDAR扫描获得的空间和时间信息，然后使用运动引导的注意模块组合它们。我们还通过3D稀疏卷积使用点完善模块来融合LIDAR范围图像和点云表示的信息，并减少对象边界上的伪像。我们验证了我们提出的方法对Semantickitti的LiDAR-MOS基准的有效性。我们的方法在LiDar-Mos IOU方面大大优于最先进的方法。从设计的粗到精细体系结构中受益，我们的方法以传感器框架速率在线运行。我们方法的实现可作为开源可用：https：//github.com/haomo-ai/motionseg3d。

自动驾驶的车辆和自动地面机器人需要一种可靠，准确的方法来分析周围环境的遍历以进行安全导航。本文提出并评估了一种基于机器学习的遍历性分析方法，该方法将基于SVM分类器的混合方法中的几何特征与基于外观的特征相结合。特别是，我们表明，整合一组新的几何和视觉特征并专注于重要的实施细节，可以显着提高性能和可靠性。已提出的方法已与最先进的深度学习方法进行了比较。在不同的复杂性方面，它的准确性为89.2％，表明其有效性和鲁棒性。该方法在CPU上完全运行，并在其他方法方面达到可比的结果，运行速度更快，并且需要更少的硬件资源。

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

LIDAR语义分割提供有关环境的3D语义信息，在其决策过程中为智能系统提供基本提示。深度神经网络正在实现这项任务的大型公共基准的最先进结果。不幸的是，找到概括井或适应其他域的模型，其中数据分布不同，仍然是一个重大挑战。这项工作解决了LIDAR语义分段模型的无监督域适应问题。我们的方法将新颖的想法结合在最新的最先进的方法之上，并产生了新的最先进的结果。我们提出了简单但有效的策略，以通过对齐输入空间的数据分布来减少域移位。此外，我们提出了一种基于学习的方法，使目标域的语义类的分布对准到源域。呈现的消融研究表明，每个部分如何促成最终表现。我们的策略显示在三个不同的域上运行的比较以前的域适应方法。