我们提出了一种新颖的轨迹遍历性估计和计划在复杂室外环境中机器人导航的算法。我们将RGB摄像头，3D LIDAR和机器人的探针传感器中的多模式感觉输入结合在一起，以训练预测模型，以估算基于部分可靠的多模式传感器观测值的候选轨迹轨迹的成功概率。我们使用编码器网络对低维特征向量编码高维多模式的感觉输入，并将它们表示为连接的图形，以训练基于注意力的图形神经网络（GNN）模型，以预测轨迹成功概率。我们进一步分别分析图像和点云数据，以量化传感器的可靠性，以增强我们GNN中使用的特征图表示的权重。在运行时，我们的模型利用多传感器输入来预测本地规划师生成的轨迹的成功概率，以避免潜在的碰撞和故障。当一个或多个传感器模态在复杂的室外环境中不可靠或不可用时，我们的算法证明了可靠的预测。我们使用现实世界中户外环境中的点机器人评估算法的导航性能。

我们提出了Terrapn，这是一种新颖的方法，它可以通过自我监督的学习直接从机器人 - 泰林相互作用中了解复杂室外地形的表面特性（牵引力，颠簸，可变形等），并将其用于自动驾驶机器人导航。我们的方法使用地形表面和机器人的速度的RGB图像作为输入，以及机器人作为自我选择的标签所经历的IMU振动和探测错误。我们的方法计算了一个表面成本图，该图将平滑，高吸收表面（低导航成本）与颠簸，滑水，可变形表面（高导航成本）区分开。我们通过检测表面之间的边界来计算从输入RGB图像的非均匀采样贴片来计算成本图，从而与均匀的采样和现有分割方法相比，导致推理时间较低（低47.27％）。我们提出了一种新颖的导航算法，该算法可以说明表面成本，计算机器人的基于成本的加速度限制以及动态可行的无碰撞轨迹。 Terrapn的表面成本预测可以在约25分钟内进行五个不同的表面进行训练，而先前基于学习的分割方法数小时。在导航方面，我们的方法在成功率（高达35.84％），轨迹的振动成本（降低21.52％）方面优于先前的工作，并在颠簸，可变形的表面上放慢机器人（最高46.76％）在不同的情况下较慢）。

我们提出了一种新颖的户外导航算法，以生成稳定，有效的动作，以将机器人导航到目标。我们使用多阶段的训练管道，并表明我们的模型产生了政策，从而在复杂的地形上导致稳定且可靠的机器人导航。基于近端政策优化（PPO）算法，我们开发了一种新颖的方法来实现户外导航任务的多种功能，即：减轻机器人的漂移，使机器人在颠簸的地形上保持稳定，避免在山丘上攀登，并具有陡峭的山坡，并改变了山坡，并保持了陡峭的高度变化，并使机器人稳定在山坡上，并避免了攀岩地面上的攀登，并避免了机器人的攀岩地形，并避免了机器人的攀岩地形。避免碰撞。我们的培训过程通过引入更广泛的环境和机器人参数以及统一模拟器中LIDAR感知的丰富特征来减轻现实（SIM到现实）差距。我们使用Clearphith Husky和Jackal在模拟和现实世界中评估我们的方法。此外，我们将我们的方法与最先进的方法进行了比较，并表明在现实世界中，它在不平坦的地形上至少提高了30.7％通过防止机器人在高梯度的区域移动，机器人在每个运动步骤处的高程变化。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

我们提出了GANAV，这是一种新颖的小组注意机制，可以从RGB图像中识别出越野地形和非结构化环境中的安全和可通道的区域。我们的方法根据其可通道的语义分割根据其可通道水平对地形进行了分类。我们新颖的小组注意力损失使任何骨干网络都能明确关注具有低空间分辨率的不同组的特征。与现有的SOTA方法相比，我们的设计可提供有效的推断，同时保持高度的准确性。我们对RUGD和Rellis-3D数据集的广泛评估表明，GANAV在RUGD上的改善对SOTA MIOU的改善增长了2.25-39.05％，Rellis-3d的RUGD提高了5.17-19.06％。我们与Ganav进行了深入的增强基于学习的导航算法的接口，并在现实世界中的非结构化地形中突出了其在导航方面的好处。我们将基于GANAV的导航算法与ClearPath Jackal和Husky Robots集成在一起，并观察到成功率增加了10％，在选择表面最佳的可通道性和4.6-13.9％的表面方面为2-47％在轨迹粗糙度中。此外，加纳夫将禁区的假阳性降低37.79％。代码，视频和完整的技术报告可在https://gamma.umd.edu/offroad/上找到。

在本文中，我们介绍了一种新的端到端学习的LIDAR重新定位框架，被称为Pointloc，其仅使用单点云直接姿势作为输入，不需要预先构建的地图。与RGB基于图像的重建化相比，LIDAR帧可以提供有关场景的丰富和强大的几何信息。然而，LIDAR点云是无序的并且非结构化，使得难以为此任务应用传统的深度学习回归模型。我们通过提出一种具有自我关注的小说点风格架构来解决这个问题，从而有效地估计660 {\ DEG} LIDAR输入框架的6-DOF姿势。关于最近发布的巨大恐怖雷达机器人数据集和现实世界机器人实验的扩展实验表明ProposedMethod可以实现准确的重定位化性能。

In this work, we propose a new approach that combines data from multiple sensors for reliable obstacle avoidance. The sensors include two depth cameras and a LiDAR arranged so that they can capture the whole 3D area in front of the robot and a 2D slide around it. To fuse the data from these sensors, we first use an external camera as a reference to combine data from two depth cameras. A projection technique is then introduced to convert the 3D point cloud data of the cameras to its 2D correspondence. An obstacle avoidance algorithm is then developed based on the dynamic window approach. A number of experiments have been conducted to evaluate our proposed approach. The results show that the robot can effectively avoid static and dynamic obstacles of different shapes and sizes in different environments.

在本文中，我们评估了八种流行和开源的3D激光雷达和视觉大满贯（同时定位和映射）算法，即壤土，乐高壤土，lio sam，hdl graph，orb slam3，basalt vio和svo2。我们已经设计了室内和室外的实验，以研究以下项目的影响：i）传感器安装位置的影响，ii）地形类型和振动的影响，iii）运动的影响（线性和角速速度的变化）。我们根据相对和绝对姿势误差比较它们的性能。我们还提供了他们所需的计算资源的比较。我们通过我们的多摄像机和多大摄像机室内和室外数据集进行彻底分析和讨论结果，并确定环境案例的最佳性能系统。我们希望我们的发现可以帮助人们根据目标环境选择一个适合其需求的传感器和相应的SLAM算法组合。

我们提出了一种自我监督的方法，用于预测需要良好牵引力才能导航的轮式移动机器人的可穿越路径。我们的算法称为Wayfast（无路线自动驾驶系统用于遍历性），使用RGB和深度数据以及导航经验，自主在室外非结构化环境中自主生成可遍历的路径。我们的主要灵感是，可以使用动力动力学模型估算滚动机器人的牵引力。使用在线退化的视野估计器提供的牵引力估计值，我们能够以自我监督的方式训练遍历性预测神经网络，而无需以前的方法使用的启发式方法。我们通过在各种环境中进行广泛的现场测试来证明Wayfast的有效性，从沙滩到森林檐篷和积雪覆盖的草田不等。我们的结果清楚地表明，Wayfast可以学会避免几何障碍物以及不可传输的地形，例如雪，这很难避免使用仅提供几何数据（例如LiDAR）的传感器。此外，我们表明，基于在线牵引力估计的培训管道比其他基于启发式的方法更有效率。

对于在城市环境中导航的自主机器人，对于机器人而言，要保持在指定的旅行路径（即小径），并避免使用诸如草和花园床之类的区域，以确保安全和社会符合性考虑因素。本文为未知的城市环境提供了一种自主导航方法，该方法结合了语义分割和激光雷达数据的使用。所提出的方法使用分段的图像掩码创建环境的3D障碍物图，从中计算了人行道的边界。与现有方法相比，我们的方法不需要预先建造的地图，并提供了对安全区域的3D理解，从而使机器人能够计划通过人行道的任何路径。将我们的方法与仅使用LiDAR或仅使用语义分割的两种替代方案进行比较的实验表明，总体而言，我们所提出的方法在户外的成功率大于91％的成功率，并且在室内大于66％。我们的方法使机器人始终保持在安全的旅行道路上，并减少了碰撞数量。

估计越野环境中的地形横穿性需要关于机器人和这些地形之间复杂相互作用动态的推理。但是，建立准确的物理模型，或创建有益的标签来以有监督的方式学习模型是有挑战性的。我们提出了一种方法，该方法通过将外部感受性的环境信息与本体感受性的地形相互作用反馈相结合，以自我监督的方式将遍历性成本映像结合在一起。此外，我们提出了一种将机器人速度纳入Costmap预测管道中的新型方法。我们在具有挑战性的越野地形上，在多个大型，自动的全地形车辆（ATV）上验证了我们的方法，并在单独的大型地面机器人上易于集成。我们的短尺寸导航结果表明，使用我们学到的Costmaps可以使整体航行更顺畅，并为机器人提供了对机器人与不同地形类型（例如草和砾石）之间相互作用的更细粒度的了解。我们的大规模导航试验表明，与基于占用率的导航基线相比，我们可以将干预措施的数量减少多达57％，这是在挑战400 m至3150 m不等的越野课程中。

Underwater navigation presents several challenges, including unstructured unknown environments, lack of reliable localization systems (e.g., GPS), and poor visibility. Furthermore, good-quality obstacle detection sensors for underwater robots are scant and costly; and many sensors like RGB-D cameras and LiDAR only work in-air. To enable reliable mapless underwater navigation despite these challenges, we propose a low-cost end-to-end navigation system, based on a monocular camera and a fixed single-beam echo-sounder, that efficiently navigates an underwater robot to waypoints while avoiding nearby obstacles. Our proposed method is based on Proximal Policy Optimization (PPO), which takes as input current relative goal information, estimated depth images, echo-sounder readings, and previous executed actions, and outputs 3D robot actions in a normalized scale. End-to-end training was done in simulation, where we adopted domain randomization (varying underwater conditions and visibility) to learn a robust policy against noise and changes in visibility conditions. The experiments in simulation and real-world demonstrated that our proposed method is successful and resilient in navigating a low-cost underwater robot in unknown underwater environments. The implementation is made publicly available at https://github.com/dartmouthrobotics/deeprl-uw-robot-navigation.

高速偏离地面车辆的高速偏离道路导航的主要挑战之一是，车辆地形相互作用的动力动力学会根据地形而大不相同。以前解决这一挑战的方法已经考虑学习一种基于车辆的惯性信息，以感知运动动力学相互作用。在本文中，我们假设，除了过去的惯性信息外，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来的动力学相互作用，以实现精确的高速越野导航。为此，我们引入了视觉惯性逆动力动力学（VI-IKD），这是一种新型的基于学习的IKD模型，除了过去的惯性信息外，还基于从机器人前面的地形贴片的视觉信息进行条件，使其能够预期会素动力学相互作用在将来。我们在室内和室外环境中验证了VI-IKD在实验上进行实验性高速越野导航的有效性ART方法，VI-IKD可以以高达3.5 m/s的速度在各种不同的地形上更准确，更强大的越野导航。

机器人车使用成本图来规划无碰撞路径。与地图中的每个单元相关的成本表示感知的环境信息，这些信息通常是在经过几次反复试验后手动确定的。在越野环境中，由于存在几种类型的功能，将与每个功能相关的成本值进行手工制作是挑战。此外，不同手工制作的成本值可以导致相同环境的不同路径，而不可取的环境。在本文中，我们解决了从感知的稳健车辆路径计划中学习成本图值的问题。我们使用深度学习方法提出了一个名为“骆驼”的新颖框架，该方法通过演示来学习参数，从而为路径规划提供适应性和强大的成本图。骆驼已接受过多模式数据集的培训，例如Rellis-3D。骆驼的评估是在越野场景模拟器（MAV）和IISER-B校园的现场数据上进行的。我们还在地面流动站上执行了骆驼的现实实施。结果表明，在非结构化的地形上没有碰撞的情况下，车辆的灵活而强大的运动。

机器人导航传统上依赖于构建用于计划无碰撞轨迹的显式映射到所需的目标。在可变形的复杂地形中，使用基于几何的方法可以不能找到由于错误的可变形物体而像刚性和不可能的那样的路径。相反，我们学习预测地形区域的可迁移性以及更喜欢更容易导航的区域的估计（例如，小草上的小灌木）。与规范动态模型相比，我们而不是预测碰撞，而不是在实现的错误上回归。我们用一个政策方法训练，导致使用跨模拟和现实世界的培训数据分裂的50分钟的成功导航政策。我们基于学习的导航系统是一个示例高效的短期计划，我们在通过包括草原和森林的各种地形导航的清晰路径哈士摩克

通过学习占用和公制地图来解决开放世界越野导航任务的几何方法，提供良好的泛化，但在违反他们的假设（例如，高草）的户外环境中可能是脆弱的。基于学习的方法可以直接从原始观察中学习无碰撞行为，但难以与标准的基于几何的管道集成。这创造了一个不幸的冲突 - 要么使用学习，要么丢失很好的几何导航组件，要么不使用它，或者不使用它，支持广泛的手动调整几何的成本图。在这项工作中，我们通过以一种方式设计学习和非学习的组件来拒绝这种二分法，使得它们可以以自我监督的方式有效地组合。这两个组件都有助于规划标准：学习组件作为奖励有助于预测的可遍历，而几何组件会有助于障碍成本信息。我们实例化并相对评价我们的系统在分销和分发的外部环境中，表明这种方法继承了来自学习和几何成分的互补收益，并显着优于其中任何一个。我们的结果视频在https://sites.google.com/view/hybrid -imitative-planning托管

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

目前，移动机器人正在迅速发展，并在工业中寻找许多应用。然而，仍然存在与其实际使用相关的一些问题，例如对昂贵的硬件及其高功耗水平的需要。在本研究中，我们提出了一种导航系统，该导航系统可在具有RGB-D相机的低端计算机上操作，以及用于操作集成自动驱动系统的移动机器人平台。建议的系统不需要Lidars或GPU。我们的原始深度图像接地分割方法提取用于低体移动机器人的安全驾驶的遍历图。它旨在保证具有集成的SLAM，全局路径规划和运动规划的低成本现成单板计算机上的实时性能。我们使用Traversability Map应用基于规则的基于学习的导航策略。同时运行传感器数据处理和其他自主驾驶功能，我们的导航策略以18Hz的刷新率为控制命令而迅速执行，而其他系统则具有较慢的刷新率。我们的方法在有限的计算资源中优于当前最先进的导航方法，如3D模拟测试所示。此外，我们通过在室内环境中成功的自动驾驶来展示移动机器人系统的适用性。我们的整个作品包括硬件和软件在开源许可（https://github.com/shinkansan/2019-ugrp-doom）下发布。我们的详细视频是https://youtu.be/mf3iufuhppm提供的。

同时本地化和映射（SLAM）是自动移动机器人中的基本问题之一，在该机器人需要重建以前看不见的环境的同时，同时在地图上进行了本身。特别是，Visual-Slam使用移动机器人中的各种传感器来收集和感测地图的表示。传统上，基于几何模型的技术被用来解决大满贯问题，在充满挑战的环境下，该问题往往容易出错。诸如深度学习技术之类的计算机视觉方面的最新进展提供了一种数据驱动的方法来解决视觉范围问题。这篇综述总结了使用各种基于学习的方法的视觉 - 峰领域的最新进展。我们首先提供了基于几何模型的方法的简洁概述，然后进行有关SLAM当前范式的技术评论。然后，我们介绍了从移动机器人那里收集感官输入并执行场景理解的各种基于学习的方法。讨论并将基于深度学习的语义理解中的当前范式讨论并置于视觉峰的背景下。最后，我们讨论了在视觉 - 峰中基于学习的方法方向上的挑战和进一步的机会。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。