协作本地化是一支机器人团队的基本能力，例如连通的车辆与依赖合作的多个角度协作估计对象位置。为了实现协作本地化，必须解决四个关键挑战，包括在观察到的对象之间建模复杂关系，从任意数量的协作机器人，量化定位不确定性以及解决机器人通信的延迟来建立复杂的观察。在本文中，我们介绍了一种新的方法，它集成了不确定性感知的时空图学习和基于模型的状态估计，以使机器人团队协作定位对象。具体而言，我们介绍了一种新的不确定感知图形学习模型，用于了解时空图，以表示每个机器人随时间观察到的对象的历史运动，并在对象本地化中提供不确定性。此外，我们提出了一种新颖的基于综合学习和模型的状态估计方法，其融合了从任意数量的机器人获得的异步观察以进行协作本地化。我们在模拟和实际机器人的两个协作对象本地化方案中评估了我们的方法。实验结果表明，我们的方法优于以前的方法，并实现了异步协作本地化的最先进的性能。

移动机器人的精确位置信息对于导航和任务处理至关重要，尤其是对于多机器人系统（MRS），可以从该领域进行协作和收集有价值的数据。但是，在无法访问GPS信号（例如在环境控制，室内或地下环境中）的机器人发现很难单独使用其传感器找到。结果，机器人共享其本地信息以改善其本地化估计，使整个MRS团队受益。已经尝试使用无线电信号强度指标（RSSI）作为计算轴承信息的来源进行了几次尝试模拟基于多机器人的定位。我们还利用了通过系统中多个机器人的通信生成的无线网络，并旨在在动态环境中具有很高准确性和效率的定位代理，以共享信息融合以完善本地化估计。该估计器结构减少了一个测量相关性的来源，同时适当地纳入了其他相关性。本文提出了一个分散的多机器人协同定位系统（MRSL），以实现密集和动态的环境。每当从邻居那里收到新信息时，机器人都会更新其位置估计。当系统感觉到该地区其他机器人的存在时，它会交换位置估计并将接收到的数据合并以提高其本地化精度。我们的方法使用基于贝叶斯规则的集成，该集成已证明在计算上是有效的，适用于异步机器人通信。我们已经使用数量不同的机器人进行了广泛的仿真实验，以分析算法。 MRSL与RSSI的本地化准确性优于文献中的其他算法，对未来发展有很大的希望。

在协作人类机器人语义传感问题中，例如为了进行科学探索，机器人可能会通过人类伴侣提供过度质疑的信息，从而导致次优的状态估计和团队绩效差。当人类不能被视为牙齿时，机器人需要更新状态信念，以正确解释人类语义观察与导致这些观察的现实世界状态之间可能存在的差异。这项工作为在一般环境中针对语义可能性的概率语义数据关联（PSDA）概率进行了严格的在线计算制定了策略，这与以前的工作不同，这些工作开发了针对特定设置的天真或启发式近似。新的PSDA方法纳入了混合贝叶斯数据融合方案中，该方案将高斯混合先验用于对象状态和SoftMax函数用于语义人类传感器观察可能性，并在Monte Carlo模拟中证明了合作的多对象搜索任务的范围人类感测特征（例如错误的检测率）。结果表明，每当语义人类传感器数据包含重要的目标参考歧义性，用于自主对象搜索和本地化时，PSDA会导致在广泛条件下对观察关联概率的强大估计。

同时本地化和映射（SLAM）是自动移动机器人中的基本问题之一，在该机器人需要重建以前看不见的环境的同时，同时在地图上进行了本身。特别是，Visual-Slam使用移动机器人中的各种传感器来收集和感测地图的表示。传统上，基于几何模型的技术被用来解决大满贯问题，在充满挑战的环境下，该问题往往容易出错。诸如深度学习技术之类的计算机视觉方面的最新进展提供了一种数据驱动的方法来解决视觉范围问题。这篇综述总结了使用各种基于学习的方法的视觉 - 峰领域的最新进展。我们首先提供了基于几何模型的方法的简洁概述，然后进行有关SLAM当前范式的技术评论。然后，我们介绍了从移动机器人那里收集感官输入并执行场景理解的各种基于学习的方法。讨论并将基于深度学习的语义理解中的当前范式讨论并置于视觉峰的背景下。最后，我们讨论了在视觉 - 峰中基于学习的方法方向上的挑战和进一步的机会。

Efficient localization plays a vital role in many modern applications of Unmanned Ground Vehicles (UGV) and Unmanned aerial vehicles (UAVs), which would contribute to improved control, safety, power economy, etc. The ubiquitous 5G NR (New Radio) cellular network will provide new opportunities for enhancing localization of UAVs and UGVs. In this paper, we review the radio frequency (RF) based approaches for localization. We review the RF features that can be utilized for localization and investigate the current methods suitable for Unmanned vehicles under two general categories: range-based and fingerprinting. The existing state-of-the-art literature on RF-based localization for both UAVs and UGVs is examined, and the envisioned 5G NR for localization enhancement, and the future research direction are explored.

在本文中，我们证明了基于深度学习的方法可用于融合多对象密度。给定一个带有几个传感器可能不同视野的传感器的方案，跟踪器在每个传感器中在本地执行跟踪，该跟踪器会产生随机有限的集合多对象密度。为了融合来自不同跟踪器的输出，我们调整了最近提出的基于变压器的多对象跟踪器，其中融合结果是一个全局的多对象密度，描述了当前时间的所有活物体。我们将基于变压器的融合方法与基于模型的贝叶斯融合方法的性能进行比较，在几种模拟方案中，使用合成数据进行了不同的参数设置。仿真结果表明，基于变压器的融合方法在我们的实验场景中优于基于模型的贝叶斯方法。

视觉内径（VO）估计是车辆状态估计和自主驾驶的重要信息来源。最近，基于深度学习的方法已经开始出现在文献中。但是，在驾驶的背景下，由于环境因素，摄像机放置等因素而导致的图像质量降低，单个传感器的方法通常容易出现故障。要解决这个问题，我们提出了一个深度传感器融合框架，其使用两者估计车辆运动来自多个板上摄像头的姿势和不确定性估计。我们使用混合CNN - RNN模型从一组连续图像中提取短时间形特征表示。然后，我们利用混合密度网络（MDN）来估计作为分布的混合和融合模块的6-DOF姿势，以使用来自多摄像机的MDN输出来估计最终姿势。我们在公开的大规模自动车辆数据集，Nuscenes上评估我们的方法。结果表明，与基于相机的估计相比，所提出的融合方法超越了最先进的，并提供了坚固的估计和准确的轨迹。

协作感知最近显示出具有对单一主体感知的感知能力的巨大潜力。现有的协作感知方法通常考虑理想的交流环境。但是，实际上，通信系统不可避免地遭受了延迟问题，从而导致潜在的性能降解和安全关键应用程序（例如自动驾驶）的高风险。从机器学习的角度来看，为了减轻不可避免的沟通潜伏期造成的效果，我们提出了第一个延迟感知的协作感知系统，该系统积极采用从多个代理到同一时间戳的异步感知特征，从而促进了协作的稳健性和有效性。为了实现此类特征级别的同步，我们提出了一个新型的延迟补偿模块，称为Syncnet，该模块利用特征注意的共生估计和时间调制技术。实验结果表明，在最新的协作感知数据集V2X-SIM上，我们的方法优于最先进的协作感知方法15.6％。

与单个机器人通过在代理商中实现合作，可以自然适用于额外的灵活性，弹性和稳健性，以提供额外的灵活性，弹性和鲁棒性。为了提高自主机器人决策过程和情境感知，多机器人系统必须以有效和有意义的方式协调他们在代理中收集，共享和融合环境信息，以便准确地获得适当的上下文信息或增强传感器噪音或故障的能力。在本文中，我们提出了一种通用图形神经网络（GNN），主要目标是增加，以多机器人感知任务，单一机器人的推论感知精度以及传感器故障和干扰的弹性。我们表明，所提出的框架可以解决多视觉视觉感知问题，例如单眼深度估计和语义分割。使用从多个空中机器人的观点收集的照片 - 现实和真实数据的几个实验表明了提出的方法在具有挑战性的推理条件下的有效性，包括由大噪声和摄像机闭塞或故障损坏的图像。

主动位置估计（APE）是使用一个或多个传感平台本地化一个或多个目标的任务。 APE是搜索和拯救任务，野生动物监测，源期限估计和协作移动机器人的关键任务。 APE的成功取决于传感平台的合作水平，他们的数量，他们的自由度和收集的信息的质量。 APE控制法通过满足纯粹剥削或纯粹探索性标准，可以实现主动感测。前者最大限度地减少了位置估计的不确定性;虽然后者驱动了更接近其任务完成的平台。在本文中，我们定义了系统地分类的主要元素，并批判地讨论该域中的最新状态。我们还提出了一个参考框架作为对截图相关的解决方案的形式主义。总体而言，本调查探讨了主要挑战，并设想了本地化任务的自主感知系统领域的主要研究方向。促进用于搜索和跟踪应用的强大主动感测方法的开发也有益。

地面机器人需要遍历非结构化和毫无准备的地形的关键能力，避免障碍，以完成灾害响应的现实机器人应用中的完整任务。当机器人在诸如森林等越野场环境中运行时，机器人的实际行为通常与其预期或计划的行为相匹配，这是由于地形和机器人本身的特征的变化。因此，机器人适应对于一致行为生成的能力对于非结构化的越野地形上的可动性至关重要。为了解决挑战，我们提出了一种新颖的自我反思地形感知的方法，用于造型机器人的自我反思，以产生一致的控制，以导航非结构化的越野地形，这使得机器人能够通过机器人自我进行更准确地执行预期行为。反思，同时适应不同的非结构化地形。为了评估我们的方法的性能，我们使用具有各种功能的实际机器人进行广泛的实验，这些功能在不同的非结构化越野地形上变化。综合实验结果表明，我们的自我反光地形感知的适应方法使得地机器人能够产生一致的导航行为，并且优于比较的先前和基线技术。

近年来我们目睹了巨大进展的动机，本文提出了对协作同时定位和映射（C-SLAM）主题的科学文献的调查，也称为多机器人猛击。随着地平线上的自动驾驶车队和工业应用中的多机器人系统的兴起，我们相信合作猛击将很快成为未来机器人应用的基石。在本调查中，我们介绍了C-Slam的基本概念，并呈现了彻底的文献综述。我们还概述了C-Slam在鲁棒性，通信和资源管理方面的主要挑战和限制。我们通过探索该地区目前的趋势和有前途的研究途径得出结论。

Vehicle-to-Everything (V2X) communication has been proposed as a potential solution to improve the robustness and safety of autonomous vehicles by improving coordination and removing the barrier of non-line-of-sight sensing. Cooperative Vehicle Safety (CVS) applications are tightly dependent on the reliability of the underneath data system, which can suffer from loss of information due to the inherent issues of their different components, such as sensors failures or the poor performance of V2X technologies under dense communication channel load. Particularly, information loss affects the target classification module and, subsequently, the safety application performance. To enable reliable and robust CVS systems that mitigate the effect of information loss, we proposed a Context-Aware Target Classification (CA-TC) module coupled with a hybrid learning-based predictive modeling technique for CVS systems. The CA-TC consists of two modules: A Context-Aware Map (CAM), and a Hybrid Gaussian Process (HGP) prediction system. Consequently, the vehicle safety applications use the information from the CA-TC, making them more robust and reliable. The CAM leverages vehicles path history, road geometry, tracking, and prediction; and the HGP is utilized to provide accurate vehicles' trajectory predictions to compensate for data loss (due to communication congestion) or sensor measurements' inaccuracies. Based on offline real-world data, we learn a finite bank of driver models that represent the joint dynamics of the vehicle and the drivers' behavior. We combine offline training and online model updates with on-the-fly forecasting to account for new possible driver behaviors. Finally, our framework is validated using simulation and realistic driving scenarios to confirm its potential in enhancing the robustness and reliability of CVS systems.

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

主动映射的传统方法专注于构建几何图。但是，对于大多数真实世界应用程序，可行的信息与环境中的语义有意义的对象有关。我们提出了一种用于主动度量语义映射问题的方法，该方法使多个异质机器人能够协作构建环境地图。这些机器人积极探索以最大程度地减少语义（对象分类）和几何（对象建模）信息中的不确定性。我们使用信息丰富但稀疏的对象模型表示环境，每个模型由基本形状和语义类标签组成，并使用大量现实世界数据在经验上表征不确定性。鉴于先前的地图，我们使用此模型为每个机器人选择动作以最大程度地减少不确定性。通过多种现实世界环境中的多机器人实验证明了我们的算法的性能。所提出的框架适用于广泛的现实问题，例如精确农业，基础设施检查和工厂中的资产映射。

多年来，运动规划，映射和人类轨迹预测的单独领域显着提出。然而，在提供能够使移动操纵器能够执行全身运动并考虑移动障碍物的预测运动时，文献在提供实际框架方面仍然稀疏。基于以前的优化的运动计划方法，使用距离字段遭受更新环境表示所需的高计算成本。我们证明，与从头划痕计算距离场相比，GPU加速预测的复合距离场显着降低计算时间。我们将该技术与完整的运动规划和感知框架集成，其占据动态环境中的人类的预测运动，从而实现了包含预测动作的反应性和先发制人的运动规划。为实现这一目标，我们提出并实施了一种新颖的人类轨迹预测方法，该方法结合了基于轨迹优化的运动规划的意图识别。我们在现实世界丰田人类支持机器人（HSR）上验证了我们的由Onboard Camera的现场RGB-D传感器数据验证了我们的结果框架。除了在公开的数据集提供分析外，我们还释放了牛津室内人类运动（牛津-IHM）数据集，并在人类轨迹预测中展示了最先进的性能。牛津-IHM数据集是一个人类轨迹预测数据集，人们在室内环境中的兴趣区域之间行走。静态和机器人安装的RGB-D相机都观察了用运动捕获系统跟踪的人员。

神经形态的愿景是一种生物启发技术，它已经引发了计算机视觉界的范式转变，并作为众多应用的关键推动器。该技术提供了显着的优势，包括降低功耗，降低处理需求和通信加速。然而，神经形态摄像机患有大量的测量噪声。这种噪声恶化了基于神经形态事件的感知和导航算法的性能。在本文中，我们提出了一种新的噪声过滤算法来消除不代表观察场景中的实际记录强度变化的事件。我们采用图形神经网络（GNN） - 驱动的变压器算法，称为GNN变换器，将原始流中的每个活动事件像素分类为实木强度变化或噪声。在GNN中，传递一个名为EventConv的消息传递框架，以反映事件之间的时空相关性，同时保留它们的异步性质。我们还介绍了在各种照明条件下生成事件流的近似地面真理标签（KogT1）方法。 Kogtl用于生成标记的数据集，从记录在充满挑战的照明条件下进行的实验。这些数据集用于培训和广泛测试我们所提出的算法。在取消检测的数据集上测试时，所提出的算法在过滤精度方面优于现有方法12％。还对公共数据集进行了额外的测试，以展示在存在照明变化和不同运动动态的情况下所提出的算法的泛化能力。与现有解决方案相比，定性结果验证了所提出的算法的卓越能力，以消除噪音，同时保留有意义的场景事件。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

视觉同时定位和映射（VSLAM）在计算机视觉和机器人社区中取得了巨大进展，并已成功用于许多领域，例如自主机器人导航和AR/VR。但是，VSLAM无法在动态和复杂的环境中实现良好的定位。许多出版物报告说，通过与VSLAM结合语义信息，语义VSLAM系统具有近年来解决上述问题的能力。然而，尚无关于语义VSLAM的全面调查。为了填补空白，本文首先回顾了语义VSLAM的发展，并明确着眼于其优势和差异。其次，我们探讨了语义VSLAM的三个主要问题：语义信息的提取和关联，语义信息的应用以及语义VSLAM的优势。然后，我们收集和分析已广泛用于语义VSLAM系统的当前最新SLAM数据集。最后，我们讨论未来的方向，该方向将为语义VSLAM的未来发展提供蓝图。