对环境变化进行推理的能力对于长时间运行的机器人至关重要。期望代理在操作过程中捕获变化，以便可以采取行动以确保工作会议的平稳进展。但是，由于低观测重叠和漂移对象关联，不同的视角和累积的本地化错误使机器人可以轻松地检测周围世界的变化。在本文中，基于最近提出的类别级神经描述符字段（NDFS），我们开发了一种对象级在线变更检测方法，该方法可用于部分重叠观测和嘈杂的本地化结果。利用形状的完成功能和NDF的SE（3） - 均衡性，我们表示具有紧凑形状代码的对象，从部分观测中编码完整的对象形状。然后，基于从NDF恢复的对象中心以快速查询对象社区的对象中心，将对象组织在空间树结构中。通过通过形状代码相似性与对象关联并比较局部对象 - 邻居空间布局，我们提出的方法证明了对低观察重叠和本地化噪声的鲁棒性。与多种基线方法相比，我们对合成和现实世界序列进行实验，并获得改进的变化检测结果。项目网页：https：//yilundu.github.io/ndf_change

在多个会话中处理环境图的能力对于长时间运行的机器人至关重要。具体而言，自主代理人希望检测不同会话的地图之间的变化，以便对当前环境产生无冲突的理解。在本文中，我们研究了基于新的地图表示的变化检测问题，称为平面签名距离场（PlanesDF），其中密集的地图表示为平面的集合及其SDF体积中的相关几何成分。给定的源场和目标场景的点云，我们提出了一种基于三步的平面变更检测方法：（1）平面DF卷在每个场景中实例化并使用平面姿势在场景中注册；通过高度投影和连接的组件分析提取2D高度图和对象图。 （2）比较高度图并与对象图相交，以生成2D更改位置掩码，以用于源场景中更改的对象候选者。 （3）使用SDF衍生的每个对象候选者进行更改掩码细化的功能进行3D几何验证。我们在合成数据集和现实世界数据集上评估我们的方法，并通过更改对象检测的任务来证明其有效性。

保持最新的地图以反映现场的最新变化非常重要，尤其是在涉及在延长环境中操作的机器人重复遍历的情况。未发现的变化可能会导致地图质量恶化，导致本地化差，操作效率低下和机器人丢失。体积方法，例如截断的签名距离功能（TSDF），由于其实时生产致密而详细的地图，尽管在随着时间的推移随着时间的流逝而变化的地图更新仍然是一个挑战，但由于它们的实时生产而迅速获得了吸引力。我们提出了一个框架，该框架引入了一种新颖的概率对象状态表示，以跟踪对象在半静态场景中的姿势变化。该表示为每个对象共同对平稳性评分和TSDF变更度量进行建模。同时加入几何信息和语义信息的贝叶斯更新规则被得出以实现一致的在线地图维护。为了与最先进的方法一起广泛评估我们的方法，我们在仓库环境中发布了一个新颖的现实数据集。我们还评估了公共Toycar数据集。我们的方法优于半静态环境重建质量的最先进方法。

我们呈现神经描述符字段（NDFS），对象表示，其通过类别级别描述符在对象和目标（例如用于悬挂的机器人夹具或用于悬挂的机架）之间进行编码和相对姿势。我们使用此表示进行对象操作，在这里，在给定任务演示时，我们要在同一类别中对新对象实例重复相同的任务。我们建议通过搜索（通过优化）来实现这一目标，为演示中观察到的描述符匹配的姿势。 NDFS通过不依赖于专家标记的关键点的3D自动编码任务，方便地以自我监督的方式培训。此外，NDFS是SE（3） - 保证在所有可能的3D对象翻译和旋转中推广的性能。我们展示了在仿真和真正的机器人上的少数（5-10）示范中的操纵任务的学习。我们的性能遍历两个对象实例和6-DOF对象姿势，并且显着优于最近依赖于2D描述符的基线。项目网站：https://yilundu.github.io/ndf/。

尽管在移动机器人技术中常用的2D占用图可以在室内环境中进行安全导航，但为了让机器人理解和与其环境互动及其代表3D几何和语义环境信息的居民。语义信息对于有效解释人类归因于空间不同部分的含义至关重要，而3D几何形状对于安全性和高级理解很重要。我们提出了一条管道，该管道可以生成用于机器人应用的室内环境的多层表示。提出的表示形式包括3D度量语义层，2D占用层和对象实例层，其中已知对象被通过新型模型匹配方法获得的近似模型代替。将度量层和对象实例层组合在一起以形成对环境的增强表示形式。实验表明，当任务完成场景中对象的一部分时，提出的形状匹配方法优于最先进的深度学习方法。如F1得分分析所示，管道性能从模拟到现实世界都很好，使用蒙版R-CNN作为主要瓶颈具有语义分割精度。最后，我们还在真正的机器人平台上演示了多层地图如何用于提高导航安全性。

基于图形的大量系统的关键组成部分是能够检测轨迹中的环闭合以减少从探视法累积的漂移。大多数基于激光雷达的方法仅通过仅使用几何信息来实现此目标，而无视场景的语义。在这项工作中，我们介绍了Padloc，这是一种基于激光雷达的环路闭合检测和注册体系结构，其中包括共享的3D卷积特征提取主链，用于环路闭合检测的全局描述符，以及用于点云匹配和注册的新型变压器头。我们提出了多种方法，用于估计基于多样性指数的点匹配置信度。此外，为了提高前向后的一致性，我们建议使用两个共享匹配和注册头，并通过利用估计的相对转换必须相互倒数来交换其源和目标输入。此外，我们以新颖的损失函数的形式利用综合信息在培训期间，将匹配问题折叠为语义标签的分类任务，并作为实例标签的图形连接分配。我们在多个现实世界数据集上对PADLOC进行了广泛的评估，证明它可以实现最新的性能。我们的工作代码可在http://padloc.cs.uni-freiburg.de上公开获得。

本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以（3）-equivariance属性的特征空间中的嵌入，通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先，由于网络架构中类似于PointNet的网络体系结构中的置换不变性，因此删除了数据关联的必要性。其次，由于SO（3）的性能，可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三，由于注册和隐含形状重建的联合培训，注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。

RGB图像的刚性对象的可伸缩6D构成估计旨在处理多个对象并推广到新物体。我们建立在一个著名的自动编码框架的基础上，以应对对象对称性和缺乏标记的训练数据，我们通过将自动编码器的潜在表示形状分解为形状并构成子空间来实现可伸缩性。潜在形状空间通过对比度度量学习模型不同对象的相似性，并将潜在姿势代码与旋转检索的规范旋转进行比较。由于不同的对象对称会诱导不一致的潜在姿势空间，因此我们用规范旋转重新输入形状表示，以生成形状依赖的姿势代码簿以进行旋转检索。我们在两个基准上显示了最新的性能，其中包含无类别和每日对象的无纹理CAD对象，并通过扩展到跨类别的每日对象的更具挑战性的设置，进一步证明了可扩展性。

6D object pose estimation problem has been extensively studied in the field of Computer Vision and Robotics. It has wide range of applications such as robot manipulation, augmented reality, and 3D scene understanding. With the advent of Deep Learning, many breakthroughs have been made; however, approaches continue to struggle when they encounter unseen instances, new categories, or real-world challenges such as cluttered backgrounds and occlusions. In this study, we will explore the available methods based on input modality, problem formulation, and whether it is a category-level or instance-level approach. As a part of our discussion, we will focus on how 6D object pose estimation can be used for understanding 3D scenes.

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

循环闭合检测是同时定位和映射（SLAM）系统的重要组成部分，这减少了随时间累积的漂移。多年来，已经提出了一些深入的学习方法来解决这项任务，但是与手工制作技术相比，他们的表现一直是SubPar，特别是在处理反向环的同时。在本文中，我们通过同时识别先前访问的位置并估计当前扫描与地图之间的6-DOF相对变换，有效地检测LIDAR点云中的LINAS点云中的环闭环的新颖LCDNET。 LCDNET由共享编码器组成，一个地方识别头提取全局描述符，以及估计两个点云之间的变换的相对姿势头。我们基于不平衡的最佳运输理论介绍一种新颖的相对姿势，我们以可分散的方式实现，以便实现端到端训练。在多个现实世界自主驾驶数据集中的LCDNET广泛评估表明我们的方法优于最先进的环路闭合检测和点云登记技术，特别是在处理反向环的同时。此外，我们将所提出的循环闭合检测方法集成到LIDAR SLAM库中，以提供完整的映射系统，并在看不见的城市中使用不同的传感器设置展示泛化能力。

我们提出了一种新颖的方法来重新定位或放置识别，这是许多机器人技术，自动化和AR应用中要解决的基本问题。我们不依靠通常不稳定的外观信息，而是考虑以局部对象形式给出参考图的情况。我们的本地化框架依赖于3D语义对象检测，然后与地图中的对象关联。可能的配对关联集是基于评估空间兼容性的合并度量的层次聚类而生长的。后者特别使用有关​​相对对象配置的信息，该信息相对于全局转换是不变的。随着相机逐步探索环境并检测更多对象，关联集将进行更新和扩展。我们在几种具有挑战性的情况下测试我们的算法，包括动态场景，大型视图变化以及具有重复实例的场景。我们的实验表明，我们的方法在鲁棒性和准确性方面都优于先前的艺术。

We introduce an approach for recovering the 6D pose of multiple known objects in a scene captured by a set of input images with unknown camera viewpoints. First, we present a single-view single-object 6D pose estimation method, which we use to generate 6D object pose hypotheses. Second, we develop a robust method for matching individual 6D object pose hypotheses across different input images in order to jointly estimate camera viewpoints and 6D poses of all objects in a single consistent scene. Our approach explicitly handles object symmetries, does not require depth measurements, is robust to missing or incorrect object hypotheses, and automatically recovers the number of objects in the scene. Third, we develop a method for global scene refinement given multiple object hypotheses and their correspondences across views. This is achieved by solving an object-level bundle adjustment problem that refines the poses of cameras and objects to minimize the reprojection error in all views. We demonstrate that the proposed method, dubbed Cosy-Pose, outperforms current state-of-the-art results for single-view and multi-view 6D object pose estimation by a large margin on two challenging benchmarks: the YCB-Video and T-LESS datasets. Code and pre-trained models are available on the project webpage. 5

通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。

在这项工作中，我们探讨了对物体在看不见的世界中同时本地化和映射中的使用，并提出了一个对象辅助系统（OA-Slam）。更确切地说，我们表明，与低级点相比，物体的主要好处在于它们的高级语义和歧视力。相反，要点比代表对象（Cuboid或椭圆形）的通用粗模型具有更好的空间定位精度。我们表明，将点和对象组合非常有趣，可以解决相机姿势恢复的问题。我们的主要贡献是：（1）我们使用高级对象地标提高了SLAM系统的重新定位能力； （2）我们构建了一个能够使用3D椭圆形识别，跟踪和重建对象的自动系统； （3）我们表明，基于对象的本地化可用于重新初始化或恢复相机跟踪。我们的全自动系统允许对象映射和增强姿势跟踪恢复，我们认为这可以极大地受益于AR社区。我们的实验表明，可以从经典方法失败的视点重新定位相机。我们证明，尽管跟踪损失损失，但这种本地化使SLAM系统仍可以继续工作，而这种损失可能会经常发生在不理会的用户中。我们的代码和测试数据在gitlab.inria.fr/tangram/oa-slam上发布。

我们提出了一种基于学习的方法，以通过穿越城市环境的移动机器人来重建当地地形进行机车。使用板载摄像头和机器人轨迹的深度测量流，该算法估计机器人附近的地形。这些相机的原始测量值嘈杂，仅提供部分和遮挡的观察结果，在许多情况下，这些观察结果并未显示机器人所占据的地形。因此，我们提出了一个3D重建模型，该模型忠实地重建了场景，尽管嘈杂的测量和大量丢失的数据来自相机布置的盲点。该模型由点云上的4D完全卷积网络组成，该网络学习了几何先验，以从上下文中完成场景和自动回归反馈，以利用时空的一致性并使用过去的证据。该网络只能通过合成数据对网络进行训练，并且由于广泛的增强，它在现实世界中是强大的，如四足机器人（Anymal）验证中所示，Anymal，遍历具有挑战性的设置。我们使用有效的稀疏张量实现在机器人的机载低功率计算机上运行管道，并表明所提出的方法的表现优于经典地图表示。

In this paper, we propose a novel 3D graph convolution based pipeline for category-level 6D pose and size estimation from monocular RGB-D images. The proposed method leverages an efficient 3D data augmentation and a novel vector-based decoupled rotation representation. Specifically, we first design an orientation-aware autoencoder with 3D graph convolution for latent feature learning. The learned latent feature is insensitive to point shift and size thanks to the shift and scale-invariance properties of the 3D graph convolution. Then, to efficiently decode the rotation information from the latent feature, we design a novel flexible vector-based decomposable rotation representation that employs two decoders to complementarily access the rotation information. The proposed rotation representation has two major advantages: 1) decoupled characteristic that makes the rotation estimation easier; 2) flexible length and rotated angle of the vectors allow us to find a more suitable vector representation for specific pose estimation task. Finally, we propose a 3D deformation mechanism to increase the generalization ability of the pipeline. Extensive experiments show that the proposed pipeline achieves state-of-the-art performance on category-level tasks. Further, the experiments demonstrate that the proposed rotation representation is more suitable for the pose estimation tasks than other rotation representations.

我们提出了一种新的方法，用于从室内环境中的RGB-D序列进行连接3D多对象跟踪和重建。为此，我们在每个帧中检测并重建对象，同时预测密集的对应关系映射到归一化对象空间中。我们利用这些对应关系来告知图神经网络，以解决所有对象的最佳，时间一致的7-DOF姿势轨迹。我们方法的新颖性是两个方面：首先，我们提出了一种基于图的新方法，用于随着时间的流逝而进行区分姿势估计，以学习最佳的姿势轨迹。其次，我们提出了沿时间轴的重建和姿势估计的联合公式，以实现健壮和几何一致的多对象跟踪。为了验证我们的方法，我们引入了一个新的合成数据集，其中包含2381个唯一室内序列，总共有60k渲染的RGB-D图像，用于多对象跟踪，并带有移动对象和来自合成3D-Front数据集的相机位置。我们证明，与现有最新方法相比，我们的方法将所有测试序列的累积MOTA得分提高了24.8％。在关于合成和现实世界序列的几个消融中，我们表明我们的基于图的完全端到端学习方法可以显着提高跟踪性能。