目前的大流行使医疗系统在高负荷下运行。为了减轻它，具有高自主权的机器人可用于有效地在医院中执行非接触式操作，并减少医务人员和患者之间的交叉感染。虽然语义同步定位和映射（SLAM）技术可以提高机器人的自主权，但语义对象关联仍然是一个值得研究的问题。解决这个问题的关键是通过使用语义信息来正确地将多个对象标志的对象测量相关联，并实时地改进对象地标的姿势。为此，我们提出了一个分层对象关联策略和姿势改进方法。前者由两个级别组成，即短期对象关联和全球性。在第一级，我们采用短期对象关联的多对象跟踪，通过该关联，可以避免其位置关闭的对象之间的不正确关联。此外，短期对象关联可以在第二级别为全局对象关联的对象姿势提供更丰富的对象外观和更强大的估计。为了在地图中优化对象姿势，我们开发一种方法来选择与对象地标相关联的所有对象测量的最佳对象姿势。该方法在七个模拟医院序列1，真正的医院环境和基蒂数据集中综合评估。实验结果表明，我们的方法在对象关联的鲁棒性和准确性方面显然有所改善，以及语义猛烈的轨迹估计。

视觉同时定位和映射（VSLAM）在计算机视觉和机器人社区中取得了巨大进展，并已成功用于许多领域，例如自主机器人导航和AR/VR。但是，VSLAM无法在动态和复杂的环境中实现良好的定位。许多出版物报告说，通过与VSLAM结合语义信息，语义VSLAM系统具有近年来解决上述问题的能力。然而，尚无关于语义VSLAM的全面调查。为了填补空白，本文首先回顾了语义VSLAM的发展，并明确着眼于其优势和差异。其次，我们探讨了语义VSLAM的三个主要问题：语义信息的提取和关联，语义信息的应用以及语义VSLAM的优势。然后，我们收集和分析已广泛用于语义VSLAM系统的当前最新SLAM数据集。最后，我们讨论未来的方向，该方向将为语义VSLAM的未来发展提供蓝图。

Object SLAM使用其他语义信息来检测和映射场景中的对象，以提高系统的感知和地图表示功能。四边形和立方体通常用于表示对象，但是它们的单个形状限制了对象图的准确性，从而影响下游任务的应用。在本文中，我们将具有形状参数的超Quadicrics（SQ）引入猛击中以表示对象，并提出了一种单独的参数估计方法，该方法可以准确估算对象姿势并适应不同的形状。此外，我们提出了一种轻巧的数据关联策略，用于将多个视图中的语义观察与对象地标正确关联。我们通过实时性能实施一个单眼语义大满贯系统，并在公共数据集上进行全面的实验。结果表明，我们的方法能够构建准确的对象映射，并且在对象表示中具有优势。代码将在接受后发布。

在这项工作中，我们探讨了对物体在看不见的世界中同时本地化和映射中的使用，并提出了一个对象辅助系统（OA-Slam）。更确切地说，我们表明，与低级点相比，物体的主要好处在于它们的高级语义和歧视力。相反，要点比代表对象（Cuboid或椭圆形）的通用粗模型具有更好的空间定位精度。我们表明，将点和对象组合非常有趣，可以解决相机姿势恢复的问题。我们的主要贡献是：（1）我们使用高级对象地标提高了SLAM系统的重新定位能力； （2）我们构建了一个能够使用3D椭圆形识别，跟踪和重建对象的自动系统； （3）我们表明，基于对象的本地化可用于重新初始化或恢复相机跟踪。我们的全自动系统允许对象映射和增强姿势跟踪恢复，我们认为这可以极大地受益于AR社区。我们的实验表明，可以从经典方法失败的视点重新定位相机。我们证明，尽管跟踪损失损失，但这种本地化使SLAM系统仍可以继续工作，而这种损失可能会经常发生在不理会的用户中。我们的代码和测试数据在gitlab.inria.fr/tangram/oa-slam上发布。

在本文中，我们考虑了视觉同时定位和映射（SLAM）的实际应用中的问题。随着技术在广泛范围中的普及和应用，SLAM系统的可实用性已成为一个在准确性和鲁棒性之后，例如，如何保持系统的稳定性并实现低文本和低文本和中的准确姿势估计动态环境以及如何在真实场景中改善系统的普遍性和实时性能。动态对象在高度动态的环境中的影响。我们还提出了一种新型的全局灰色相似性（GGS）算法，以实现合理的钥匙扣选择和有效的环闭合检测（LCD）。受益于GGS，PLD-SLAM可以在大多数真实场景中实现实时准确的姿势估计，而无需预先训练和加载巨大的功能词典模型。为了验证拟议系统的性能，我们将其与公共数据集Kitti，Euroc MAV和我们提供的室内立体声数据集的现有最新方法（SOTA）方法进行了比较。实验表明，实验表明PLD-SLAM在大多数情况下确保稳定性和准确性，具有更好的实时性能。此外，通过分析GGS的实验结果，我们可以发现它在关键帧选择和LCD中具有出色的性能。

完全自主移动机器人的现实部署取决于能够处理动态环境的强大的大满贯（同时本地化和映射）系统，其中对象在机器人的前面移动以及不断变化的环境，在此之后移动或更换对象。机器人已经绘制了现场。本文介绍了更换式SLAM，这是一种在动态和不断变化的环境中强大的视觉猛烈抨击的方法。这是通过使用与长期数据关联算法结合的贝叶斯过滤器来实现的。此外，它采用了一种有效的算法，用于基于对象检测的动态关键点过滤，该对象检测正确识别了不动态的边界框中的特征，从而阻止了可能导致轨道丢失的功能的耗竭。此外，开发了一个新的数据集，其中包含RGB-D数据，专门针对评估对象级别的变化环境，称为PUC-USP数据集。使用移动机器人，RGB-D摄像头和运动捕获系统创建了六个序列。这些序列旨在捕获可能导致跟踪故障或地图损坏的不同情况。据我们所知，更换 - 峰是第一个对动态和不断变化的环境既有坚固耐用的视觉大满贯系统，又不假设给定的相机姿势或已知地图，也能够实时运行。使用基准数据集对所提出的方法进行了评估，并将其与其他最先进的方法进行了比较，证明是高度准确的。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

动态对象感知的SLAM（DOS）利用对象级信息以在动态环境中启用强大的运动估计。现有方法主要集中于识别和排除优化的动态对象。在本文中，我们表明，基于功能的视觉量大系统也可以通过利用两个观察结果来受益于动态铰接式对象的存在：（1）随着时间的推移，铰接对象的每个刚性部分的3D结构保持一致； （2）同一刚性零件上的点遵循相同的运动。特别是，我们提出了Airdos，这是一种动态的对象感知系统，该系统将刚度和运动限制引入模型铰接对象。通过共同优化相机姿势，对象运动和对象3D结构，我们可以纠正摄像头姿势估计，防止跟踪损失，并为动态对象和静态场景生成4D时空图。实验表明，我们的算法改善了在挑战拥挤的城市环境中的视觉大满贯算法的鲁棒性。据我们所知，Airdos是第一个动态对象感知的大满贯系统，该系统表明可以通过合并动态铰接式对象来改善相机姿势估计。

Simultaneous Localization & Mapping (SLAM) is the process of building a mutual relationship between localization and mapping of the subject in its surrounding environment. With the help of different sensors, various types of SLAM systems have developed to deal with the problem of building the relationship between localization and mapping. A limitation in the SLAM process is the lack of consideration of dynamic objects in the mapping of the environment. We propose the Dynamic Object Tracking SLAM (DyOb-SLAM), which is a Visual SLAM system that can localize and map the surrounding dynamic objects in the environment as well as track the dynamic objects in each frame. With the help of a neural network and a dense optical flow algorithm, dynamic objects and static objects in an environment can be differentiated. DyOb-SLAM creates two separate maps for both static and dynamic contents. For the static features, a sparse map is obtained. For the dynamic contents, a trajectory global map is created as output. As a result, a frame to frame real-time based dynamic object tracking system is obtained. With the pose calculation of the dynamic objects and camera, DyOb-SLAM can estimate the speed of the dynamic objects with time. The performance of DyOb-SLAM is observed by comparing it with a similar Visual SLAM system, VDO-SLAM and the performance is measured by calculating the camera and object pose errors as well as the object speed error.

Ego-pose estimation and dynamic object tracking are two critical problems for autonomous driving systems. The solutions to these problems are generally based on their respective assumptions, \ie{the static world assumption for simultaneous localization and mapping (SLAM) and the accurate ego-pose assumption for object tracking}. However, these assumptions are challenging to hold in dynamic road scenarios, where SLAM and object tracking become closely correlated. Therefore, we propose DL-SLOT, a dynamic LiDAR SLAM and object tracking method, to simultaneously address these two coupled problems. This method integrates the state estimations of both the autonomous vehicle and the stationary and dynamic objects in the environment into a unified optimization framework. First, we used object detection to identify all points belonging to potentially dynamic objects. Subsequently, a LiDAR odometry was conducted using the filtered point cloud. Simultaneously, we proposed a sliding window-based object association method that accurately associates objects according to the historical trajectories of tracked objects. The ego-states and those of the stationary and dynamic objects are integrated into the sliding window-based collaborative graph optimization. The stationary objects are subsequently restored from the potentially dynamic object set. Finally, a global pose-graph is implemented to eliminate the accumulated error. Experiments on KITTI datasets demonstrate that our method achieves better accuracy than SLAM and object tracking baseline methods. This confirms that solving SLAM and object tracking simultaneously is mutually advantageous, dramatically improving the robustness and accuracy of SLAM and object tracking in dynamic road scenarios.

单眼语义同时定位和映射（SLAM）的有效对象级别表示仍然缺乏广泛接受的解决方案。在本文中，我们提出了基于结构点的有效表示的使用，以基于姿势格式的配方在单眼语义大满贯系统中用作地标的几何形状。特别是，为姿势图中的地标节点提出了一个反深度参数化，以存储对象位置，方向和大小/比例。所提出的配方是一般的，可以应用于不同的几何形状。在本文中，我们关注的是室内环境，其中人工制品通常具有平面矩形形状，例如窗户，门，橱柜等。模拟中的实验表现出良好的性能，尤其是在对象几何重建中。

去中心化的国家估计是GPS贬低的地区自动空中群体系统中最基本的组成部分之一，但它仍然是一个极具挑战性的研究主题。本文提出了Omni-swarm，一种分散的全向视觉惯性-UWB状态估计系统，用于解决这一研究利基市场。为了解决可观察性，复杂的初始化，准确性不足和缺乏全球一致性的问题，我们在Omni-warm中引入了全向感知前端。它由立体宽型摄像机和超宽带传感器，视觉惯性探测器，基于多无人机地图的本地化以及视觉无人机跟踪算法组成。前端的测量值与后端的基于图的优化融合在一起。所提出的方法可实现厘米级的相对状态估计精度，同时确保空中群中的全球一致性，这是实验结果证明的。此外，在没有任何外部设备的情况下，可以在全面的无人机间碰撞方面支持，表明全旋转的潜力是自动空中群的基础。

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

在本文中，我们提出了一个紧密耦合的视觉惯性对象级多效性动态大满贯系统。即使在极其动态的场景中，它也可以为摄像机姿势，速度，IMU偏见并构建一个密集的3D重建对象级映射图。我们的系统可以通过稳健的传感器和对象跟踪，可以强牢固地跟踪和重建任意对象的几何形状，其语义和运动的几何形状，其语义和运动的几何形状，并通过逐步融合相关的颜色，深度，语义和前景对象概率概率。此外，当对象在视野视野外丢失或移动时，我们的系统可以在重新观察时可靠地恢复其姿势。我们通过定量和定性测试现实世界数据序列来证明我们方法的鲁棒性和准确性。

我们使用从环境物体中提取的语义标志物，用于具有固定固定单眼相机的地面机器人，提出了一种视觉教学和重复（VTR）算法。所提出的算法对摄像机/机器人的起始姿势的变化具有鲁棒性，其中姿势定义为平面位置以及垂直轴周围的方向。 VTR由一个教学阶段组成，其中机器人在规定的路径中移动，以及一个重复阶段，在该阶段中，机器人试图从相同或其他姿势开始重复相同的路径。大多数可用的VTR算法是姿势依赖性的，并且从远离教学阶段的初始姿势开始时，在重复阶段无法表现良好。为了实现更强大的姿势独立性，关键是在教学阶段生成包含摄像头轨迹和周围物体位置的环境的3D语义图。对于特定的实现，我们使用Orb-Slam收集相机姿势和环境的3D点云，而Yolov3则检测环境中的对象。然后，我们组合两个输出以构建语义图。在重复阶段，我们基于检测到的对象和存储的语义映射重新定位机器人。然后，机器人能够朝教学路径移动，并在向前和向后重复。我们已经在不同的情况下测试了所提出的算法，并将其与两项最相关的研究进行了比较。另外，我们将算法与两种基于图像的重新定位方法进行了比较。一个纯粹基于球形 - 萨克，另一个纯粹是结合了超级胶水和兰萨克。结果表明，我们的算法在姿势变化和环境改变方面更加强大。我们的代码和数据可在以下github页面上获得：https：//github.com/mmahdavian/semantic_visual_teach_repeat。

传统的大满贯算法通常基于缺乏高级信息的人工特征。通过引入语义信息，SLAM可以拥有更高的稳定性和鲁棒性，而不是纯手工制作的功能。但是，语义检测网络的高不确定性禁止高级信息的实际功能。为了解决语义引入的不确定性属性，本文提出了基于高斯分布假设的新概率图。该地图将语义二进制对象检测转换为概率结果，从而有助于建立人工特征和语义信息之间的概率数据关联。通过我们的算法，在每个更新步骤中将给予更高的置信度，而检测区域的边缘将以较低的置信度赋予。然后，不确定性受到破坏，对非线性优化的影响较小。实验是在TUM RGBD数据集中进行的，结果表明，在室内环境的错误中，我们的系统将ORB-SLAM2提高了约15％。我们已经证明该方法可以成功应用于包含动态对象的环境。

在不同情况下，已经探索了相对旋转和翻译估计任务的最小解决方案，通常依赖于所谓的共同可见度图。但是，如何在没有重叠的两个框架之间建立直接旋转关系仍然是一个公开主题，如果解决了，它可以大大提高视觉尾声的准确性。在本文中，提出了一种新的最小解决方案，以通过利用新的图形结构来求解两个图像之间没有重叠区域的相对旋转估计，我们将其称为扩展性图（E-Graph）。与共同可见度图不同，高级标志（包括消失方向和平面正常）存储在我们的电子图纸中，这些图形在几何上可扩展。基于电子图表，旋转估计问题变得更简单，更优雅，因为它可以处理纯粹的旋转运动，并且需要更少的假设，例如曼哈顿/亚特兰大世界，平面/垂直运动。最后，我们将旋转估计策略嵌入完整的相机跟踪和映射系统中，该系统获得了6-DOF相机姿势和密集的3D网格模型。对公共基准测试的广泛实验表明，所提出的方法实现了最新的跟踪性能。

a) Stereo input: trajectory and sparse reconstruction of an urban environment with multiple loop closures. (b) RGB-D input: keyframes and dense pointcloud of a room scene with one loop closure. The pointcloud is rendered by backprojecting the sensor depth maps from estimated keyframe poses. No fusion is performed.

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

本文提出了一个新颖的框架，用于在参考图中对车辆的实时定位和自负跟踪。核心想法是映射车辆观察到的语义对象，并将其注册到参考图中的相应对象。尽管最近的几项作品利用语义信息进行了跨视图本地化，但这项工作的主要贡献是一种视图不变的公式，该方法使该方法直接适用于可检测到对象的任何观点配置。另一个独特的特征是，由于适用于极端异常相群方案的数据关联方案，环境/对象变化的鲁棒性（例如，关联离群值90％）。为了展示我们的框架，我们考虑了仅使用汽车作为对象将地面车辆定位在参考对象图中的示例。虽然仅使用立体声摄像头用于接地车辆，但我们考虑使用立体声摄像机和激光扫描从地面观点构建了先验地图，并在不同日期捕获的地理参与的空中图像以证明框架对不同方式，观点和观点和观点和观点，观点和观点的稳健性，环境变化。对Kitti数据集的评估表明，在3.7 km的轨迹上，本地化发生在36秒内，其次是在激光雷达参考图中的平均位置误差为8.5 m，在空中对象图中的平均位置误差为8.5 m，其中77％对象是离群值，在71秒内实现定位，平均位置误差为7.9 m。