在同时定位和映射（SLAM）中，环路闭合检测（LCD）对于在识别先前访问的地方时最小化漂移至关重要。视觉袋（VBOW）一直是许多最先进的大满贯系统的LCD算法。它使用一组视觉功能来提供健壮的位置识别，但无法感知特征点之间的语义或空间关系。先前的工作主要集中在解决这些问题上，通过将VBOW与现场对象的语义和空间信息相结合。但是，他们无法利用局部视觉特征的空间信息，并且缺乏统一语义对象和视觉特征的结构，因此限制了两个组件之间的共生。本文提出了SymbiolCD2，该symbiolcd2创建了一个统一的图形结构，以在共生的方式集成语义对象和视觉特征。我们的新型基于图的LCD系统通过应用具有时间限制的Weisfeiler-Lehman图内核来利用统一的图结构，以稳健地预测循环闭合候选者。对所提出的系统的评估表明，具有结合语义对象和视觉特征的统一图结构提高了LCD预测精度，这说明了所提出的图形结构在这两个互补组件之间提供了强烈的共生。它还优于其他机器学习算法 - 例如SVM，决策树，随机森林，神经网络和基于GNN的图形匹配网络。此外，它在比最先进的SLAM系统的早期检测循环闭合候选方面表现出良好的性能，这表明统一图结构的扩展语义和空间意识会显着影响LCD的性能。

我们提出了人类和几何重要性SLAM（HGI-SLAM），这是一种使用显着和几何特征循环封闭的新方法。循环闭合是SLAM的关键要素，具有许多已建立的方法来解决此问题。但是，使用基于几何或显着的特征，当前方法是狭窄的。我们将他们的成功合并为一个模型，该模型仅优于两种类型的方法。我们的方法利用廉价的单眼相机，不依赖于深度传感器或LIDAR。 HGI-SLAM利用几何和显着特征，将它们处理成描述符，并将其优化为一袋单词算法。通过使用并发线程并将我们的环闭合检测与Orb-Slam2梳理，我们的系统是一个完整的SLAM框架。我们对Kitti和Euroc数据集进行了HGI循环检测和HGI-SLAM的广泛评估。我们还对我们的功能进行定性分析。我们的方法是实时运行的，并且在有机环境中保持准确的方式对巨大的观点变化是可靠的。 HGI-SLAM是一种端到端的大满贯系统，仅需要单眼视觉，并且在性能上与最先进的SLAM方法相当。

3D场景图最近已成为3D环境的强大高级表示。一个3D场景图将环境描述为一个分层图，其中节点在多个级别的抽象和边缘表示概念之间的关系。尽管3D场景图可以用作机器人的高级“心理模型”，但如何实时建立如此丰富的代表仍然是未知的领域。本文描述了一个实时空间感知系统，这是一套算法，可实时从传感器数据构建3D场景图。我们的第一个贡献是开发实时算法，以在机器人探索环境时逐步构建场景图的层。这些算法在当前机器人位置构建了本地欧几里得签名的距离功能（ESDF），从ESDF中提取位置的拓扑图，然后使用受社区检测技术启发的方法将其分为房间。我们的第二个贡献是研究3D场景图中的循环闭合检测和优化。我们表明，3D场景图允许定义层次描述符以进行循环闭合检测；我们的描述符捕获场景图中跨层的统计信息，从低级视觉外观到有关对象和位置的摘要统计信息。然后，我们提出了第一种算法来优化3D场景图，以响应循环封闭。我们的方法依靠嵌入式变形图同时校正场景图的所有层。我们将提出的空间感知系统实施到一个名为Hydra的体系结构中，该体系结合了快速的早期和中级感知过程与较慢的高级感知。我们在模拟和真实数据上评估了Hydra，并证明它能够以与批处理离线方法相当的准确性重建3D场景图，尽管在线运行。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

完全自主移动机器人的现实部署取决于能够处理动态环境的强大的大满贯（同时本地化和映射）系统，其中对象在机器人的前面移动以及不断变化的环境，在此之后移动或更换对象。机器人已经绘制了现场。本文介绍了更换式SLAM，这是一种在动态和不断变化的环境中强大的视觉猛烈抨击的方法。这是通过使用与长期数据关联算法结合的贝叶斯过滤器来实现的。此外，它采用了一种有效的算法，用于基于对象检测的动态关键点过滤，该对象检测正确识别了不动态的边界框中的特征，从而阻止了可能导致轨道丢失的功能的耗竭。此外，开发了一个新的数据集，其中包含RGB-D数据，专门针对评估对象级别的变化环境，称为PUC-USP数据集。使用移动机器人，RGB-D摄像头和运动捕获系统创建了六个序列。这些序列旨在捕获可能导致跟踪故障或地图损坏的不同情况。据我们所知，更换 - 峰是第一个对动态和不断变化的环境既有坚固耐用的视觉大满贯系统，又不假设给定的相机姿势或已知地图，也能够实时运行。使用基准数据集对所提出的方法进行了评估，并将其与其他最先进的方法进行了比较，证明是高度准确的。

近年来，机器人社区已经广泛检查了关于同时定位和映射应用范围内的地点识别任务的方法。这篇文章提出了一种基于外观的循环闭合检测管道，命名为“fild ++”（快速和增量环闭合检测） .First，系统由连续图像馈送，并且通过通过单个卷积神经网络通过两次，通过单个卷积神经网络来提取全局和局部深度特征。灵活，分级导航的小世界图逐步构建表示机器人遍历路径的可视数据库基于计算的全局特征。最后，每个时间步骤抓取查询映像，被设置为在遍历的路线上检索类似的位置。遵循的图像到图像配对，它利用本地特征来评估空间信息。因此，在拟议的文章中，我们向全球和本地特征提取提出了一个网络与我们之前的一个网络工作（FILD），而在生成的深度本地特征上采用了彻底搜索验证过程，避免利用哈希代码。关于11个公共数据集的详尽实验表现出系统的高性能（实现其中八个的最高召回得分）和低执行时间（在新学院平均22.05毫秒，这是与其他国家相比包含52480图像的最大版本） - 最艺术方法。

在本文中，我们考虑了视觉同时定位和映射（SLAM）的实际应用中的问题。随着技术在广泛范围中的普及和应用，SLAM系统的可实用性已成为一个在准确性和鲁棒性之后，例如，如何保持系统的稳定性并实现低文本和低文本和中的准确姿势估计动态环境以及如何在真实场景中改善系统的普遍性和实时性能。动态对象在高度动态的环境中的影响。我们还提出了一种新型的全局灰色相似性（GGS）算法，以实现合理的钥匙扣选择和有效的环闭合检测（LCD）。受益于GGS，PLD-SLAM可以在大多数真实场景中实现实时准确的姿势估计，而无需预先训练和加载巨大的功能词典模型。为了验证拟议系统的性能，我们将其与公共数据集Kitti，Euroc MAV和我们提供的室内立体声数据集的现有最新方法（SOTA）方法进行了比较。实验表明，实验表明PLD-SLAM在大多数情况下确保稳定性和准确性，具有更好的实时性能。此外，通过分析GGS的实验结果，我们可以发现它在关键帧选择和LCD中具有出色的性能。

Integration of multiple sensor modalities and deep learning into Simultaneous Localization And Mapping (SLAM) systems are areas of significant interest in current research. Multi-modality is a stepping stone towards achieving robustness in challenging environments and interoperability of heterogeneous multi-robot systems with varying sensor setups. With maplab 2.0, we provide a versatile open-source platform that facilitates developing, testing, and integrating new modules and features into a fully-fledged SLAM system. Through extensive experiments, we show that maplab 2.0's accuracy is comparable to the state-of-the-art on the HILTI 2021 benchmark. Additionally, we showcase the flexibility of our system with three use cases: i) large-scale (approx. 10 km) multi-robot multi-session (23 missions) mapping, ii) integration of non-visual landmarks, and iii) incorporating a semantic object-based loop closure module into the mapping framework. The code is available open-source at https://github.com/ethz-asl/maplab.

Assessing the critical view of safety in laparoscopic cholecystectomy requires accurate identification and localization of key anatomical structures, reasoning about their geometric relationships to one another, and determining the quality of their exposure. In this work, we propose to capture each of these aspects by modeling the surgical scene with a disentangled latent scene graph representation, which we can then process using a graph neural network. Unlike previous approaches using graph representations, we explicitly encode in our graphs semantic information such as object locations and shapes, class probabilities and visual features. We also incorporate an auxiliary image reconstruction objective to help train the latent graph representations. We demonstrate the value of these components through comprehensive ablation studies and achieve state-of-the-art results for critical view of safety prediction across multiple experimental settings.

对象编码和识别对于自主探索，语义场景理解和重新定位等机器人任务至关重要。以前的方法已经尝试了对象或生成用于对象标识的描述符。然而，这种系统仅限于单个视点的“固定”部分对象表示。在机器人探索设置中，由于机器人从多个视点观察对象，因此需要暂时“不断发展”的全局对象表示。此外，鉴于现实世界中未知新颖对象的广泛分布，对象识别过程必须是类无话的。在此上下文中，我们提出了一种新的时间3D对象编码方法，被称为AirObject，以获取基于对象的全局关键点图形的嵌入。具体地，使用跨从基于曲线图的编码方法获得的多个帧的结构信息的时间卷积网络生成全局3D对象嵌入。我们证明AirObject实现了视频对象识别的最先进的性能，并且对严重的遮挡，感知锯齿，视点换档，变形和缩放变换，表现出最先进的单帧和稳健顺序描述符。据我们所知，AirObject是第一个时间对象编码方法之一。

当前的全球本地化描述符通常在巨大的观点或外观变化下挣扎。一种可能的改进是添加有关语义对象的拓扑信息。然而，手工制作的拓扑描述符很难调节，并且对环境噪音，剧烈的透视变化，对象阻塞或错误进行错误而不强大。为了解决这个问题，我们通过将语义有意义的对象星座建模为图形，并使用深图卷积网络将星座映射到描述符来制定基于学习的方法。我们证明了我们深知的星座描述符（描述）在两个现实世界数据集上的有效性。尽管对随机生成的仿真数据集进行了描述培训，但它在现实世界数据集上显示出良好的概括能力。描述还优于最先进的和手工制作的星座描述符在全球本地化上，并且对不同类型的噪声非常有力。该代码可在https://github.com/ethz-asl/descriptellation上公开获得。

This paper presents ORB-SLAM3, the first system able to perform visual, visual-inertial and multi-map SLAM with monocular, stereo and RGB-D cameras, using pin-hole and fisheye lens models.The first main novelty is a feature-based tightly-integrated visual-inertial SLAM system that fully relies on Maximum-a-Posteriori (MAP) estimation, even during the IMU initialization phase. The result is a system that operates robustly in real time, in small and large, indoor and outdoor environments, and is two to ten times more accurate than previous approaches.The second main novelty is a multiple map system that relies on a new place recognition method with improved recall. Thanks to it, ORB-SLAM3 is able to survive to long periods of poor visual information: when it gets lost, it starts a new map that will be seamlessly merged with previous maps when revisiting mapped areas. Compared with visual odometry systems that only use information from the last few seconds, ORB-SLAM3 is the first system able to reuse in all the algorithm stages all previous information. This allows to include in bundle adjustment co-visible keyframes, that provide high parallax observations boosting accuracy, even if they are widely separated in time or if they come from a previous mapping session.Our experiments show that, in all sensor configurations, ORB-SLAM3 is as robust as the best systems available in the literature, and significantly more accurate. Notably, our stereo-inertial SLAM achieves an average accuracy of 3.5 cm in the EuRoC drone and 9 mm under quick hand-held motions in the room of TUM-VI dataset, a setting representative of AR/VR scenarios. For the benefit of the community we make public the source code.

Simultaneous Localization & Mapping (SLAM) is the process of building a mutual relationship between localization and mapping of the subject in its surrounding environment. With the help of different sensors, various types of SLAM systems have developed to deal with the problem of building the relationship between localization and mapping. A limitation in the SLAM process is the lack of consideration of dynamic objects in the mapping of the environment. We propose the Dynamic Object Tracking SLAM (DyOb-SLAM), which is a Visual SLAM system that can localize and map the surrounding dynamic objects in the environment as well as track the dynamic objects in each frame. With the help of a neural network and a dense optical flow algorithm, dynamic objects and static objects in an environment can be differentiated. DyOb-SLAM creates two separate maps for both static and dynamic contents. For the static features, a sparse map is obtained. For the dynamic contents, a trajectory global map is created as output. As a result, a frame to frame real-time based dynamic object tracking system is obtained. With the pose calculation of the dynamic objects and camera, DyOb-SLAM can estimate the speed of the dynamic objects with time. The performance of DyOb-SLAM is observed by comparing it with a similar Visual SLAM system, VDO-SLAM and the performance is measured by calculating the camera and object pose errors as well as the object speed error.

视觉同时定位和映射（VSLAM）在计算机视觉和机器人社区中取得了巨大进展，并已成功用于许多领域，例如自主机器人导航和AR/VR。但是，VSLAM无法在动态和复杂的环境中实现良好的定位。许多出版物报告说，通过与VSLAM结合语义信息，语义VSLAM系统具有近年来解决上述问题的能力。然而，尚无关于语义VSLAM的全面调查。为了填补空白，本文首先回顾了语义VSLAM的发展，并明确着眼于其优势和差异。其次，我们探讨了语义VSLAM的三个主要问题：语义信息的提取和关联，语义信息的应用以及语义VSLAM的优势。然后，我们收集和分析已广泛用于语义VSLAM系统的当前最新SLAM数据集。最后，我们讨论未来的方向，该方向将为语义VSLAM的未来发展提供蓝图。

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

本文使用基于实例分割和图形匹配的LIDAR点云进行了极强和轻量级的定位。我们将3D点云建模为在语义上识别的组件的完全连接图，每个顶点对应于对象实例并编码其形状。跨图的最佳顶点关联允许通过测量相似性进行完整的6度自由（DOF）姿势估计和放置识别。这种表示非常简洁，将地图的大小缩合为25倍，而最先进的图像仅需要3KB代表1.4MB激光扫描。我们验证了系统在Semantickitti数据集中的功效，在该数据集中，我们获得了新的最新识别，平均召回了88.4％的召回，而下一个最接近的竞争对手则为64.9％。我们还显示了准确的度量姿势估计性能 - 估计中位误差为10 cm和0.33度的6 -DOF姿势。

在本文中，引入了两种半监督外观循环闭合检测技术，HGCN-FABMAP和HGCN弓。此外，还提出了对艺术本地化的当前状态的扩展。提出的HGCN-FABMAP方法是以离线方式实施的，该方法结合了贝叶斯概率模式进行循环检测决策。具体而言，我们让双曲线图卷积神经网络（HGCN）在冲浪中运行，并在SLAM过程中执行矢量量化部分。先前使用HKMeans，Kmeans ++等算法以无监督的方式进行此部分。使用HGCN的主要优点是它在图形边数的数量上线性缩放。实验结果表明，HGCN-FABMAP算法比HGCN-ORB需要更多的簇质心，否则无法检测到环的封闭。因此，我们认为HGCN-ORB在记忆消耗方面更有效率，同样，我们得出了HGCN-BOW和HGCN-FABMAP相对于其他算法的优越性。

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

对象编码和识别对于许多机器人任务是至关重要的，例如自主探索和语义重建。现有的作品依赖于检测到的对象的跟踪，但难以准确调用重新审议的对象。在本文中，我们提出了一种新的对象编码方法，基于关键点的图表，该方法被命名为AirCode。为了强大到检测到的关键点的数量，我们提出了一个特征稀疏编码和对象密度编码方法，以确保每个关键点只能影响对象描述符的一小部分，导致对视点变化具有鲁棒性，缩放，闭塞，甚至物体变形。在实验中，我们表明它实现了比最先进的算法的对象识别的卓越性能，并且能够提供可靠的语义重定位化。它是一个即插即用模块，我们希望它将在各种应用中发挥重要作用。

多机器人大满贯系统在受GPS污染的环境中需要循环封闭以维护无漂移的集中式地图。随着越来越多的机器人和环境大小，检查和计算所有循环闭合候选者的转换变得不可行。在这项工作中，我们描述了一个循环闭合模块，该模块能够优先考虑哪个循环闭合以根据基础姿势图，与已知信标的接近性以及点云的特性进行计算。我们在DARPA地下挑战和许多具有挑战性的地下数据集中验证该系统，并证明该系统能够生成和保持低误差的地图。我们发现，我们提出的技术能够选择有效的循环封闭，与探空量解决方案相比，与没有优先级排序的基线版本相比，中位误差的平均值减少了51％，中位误差的平均误差和平均值减少了75％。我们还发现，与处理四个半小时内每个可能的循环封闭的系统相比，我们提出的系统能够在一小时的任务时间内找到较低的错误。可以找到此工作的代码和数据集https://github.com/nebula-autonomy/lamp