我们提出了一种新颖的户外导航算法，以生成稳定，有效的动作，以将机器人导航到目标。我们使用多阶段的训练管道，并表明我们的模型产生了政策，从而在复杂的地形上导致稳定且可靠的机器人导航。基于近端政策优化（PPO）算法，我们开发了一种新颖的方法来实现户外导航任务的多种功能，即：减轻机器人的漂移，使机器人在颠簸的地形上保持稳定，避免在山丘上攀登，并具有陡峭的山坡，并改变了山坡，并保持了陡峭的高度变化，并使机器人稳定在山坡上，并避免了攀岩地面上的攀登，并避免了机器人的攀岩地形，并避免了机器人的攀岩地形。避免碰撞。我们的培训过程通过引入更广泛的环境和机器人参数以及统一模拟器中LIDAR感知的丰富特征来减轻现实（SIM到现实）差距。我们使用Clearphith Husky和Jackal在模拟和现实世界中评估我们的方法。此外，我们将我们的方法与最先进的方法进行了比较，并表明在现实世界中，它在不平坦的地形上至少提高了30.7％通过防止机器人在高梯度的区域移动，机器人在每个运动步骤处的高程变化。

我们提出了一种新的方法，以改善基于深入强化学习（DRL）的室外机器人导航系统的性能。大多数现有的DRL方法基于精心设计的密集奖励功能，这些功能可以学习环境中的有效行为。我们仅通过稀疏的奖励（易于设计）来解决这个问题，并提出了一种新颖的自适应重尾增强算法，用于户外导航，称为Htron。我们的主要思想是利用重尾政策参数化，这些参数隐含在稀疏的奖励环境中引起探索。我们在三种不同的室外场景中评估了针对钢琴，PPO和TRPO算法的htron的性能：进球，避免障碍和地形导航不均匀。我们平均观察到成功率的平均增加了34.41％，与其他方法相比，与其他方法获得的导航政策相比，为达到目标的平均时间步骤下降了15.15％，高程成本下降了24.9％。此外，我们证明我们的算法可以直接转移到Clearpath Husky机器人中，以在现实情况下进行户外地形导航。

Underwater navigation presents several challenges, including unstructured unknown environments, lack of reliable localization systems (e.g., GPS), and poor visibility. Furthermore, good-quality obstacle detection sensors for underwater robots are scant and costly; and many sensors like RGB-D cameras and LiDAR only work in-air. To enable reliable mapless underwater navigation despite these challenges, we propose a low-cost end-to-end navigation system, based on a monocular camera and a fixed single-beam echo-sounder, that efficiently navigates an underwater robot to waypoints while avoiding nearby obstacles. Our proposed method is based on Proximal Policy Optimization (PPO), which takes as input current relative goal information, estimated depth images, echo-sounder readings, and previous executed actions, and outputs 3D robot actions in a normalized scale. End-to-end training was done in simulation, where we adopted domain randomization (varying underwater conditions and visibility) to learn a robust policy against noise and changes in visibility conditions. The experiments in simulation and real-world demonstrated that our proposed method is successful and resilient in navigating a low-cost underwater robot in unknown underwater environments. The implementation is made publicly available at https://github.com/dartmouthrobotics/deeprl-uw-robot-navigation.

为多个机器人制定安全，稳定和高效的避免障碍政策是具有挑战性的。大多数现有研究要么使用集中控制，要么需要与其他机器人进行通信。在本文中，我们提出了一种基于对数地图的新型对数深度强化学习方法，以避免复杂且无通信的多机器人方案。特别是，我们的方法将激光信息转换为对数图。为了提高训练速度和概括性能，我们的政策将在两个专门设计的多机器人方案中进行培训。与其他方法相比，对数图可以更准确地表示障碍，并提高避免障碍的成功率。我们最终在各种模拟和现实情况下评估了我们的方法。结果表明，我们的方法为复杂的多机器人场景和行人场景中的机器人提供了一种更稳定，更有效的导航解决方案。视频可在https://youtu.be/r0esuxe6mze上找到。

我们解决了动态环境中感知力的问题。在这个问题中，四足动物的机器人必须对环境混乱和移动的障碍物表现出强大而敏捷的步行行为。我们提出了一个名为Prelude的分层学习框架，该框架将感知力的问题分解为高级决策，以预测导航命令和低级步态生成以实现目标命令。在此框架中，我们通过在可进入手推车上收集的人类示范和使用加固学习（RL）的低级步态控制器（RL）上收集的人类示范中的模仿学习来训练高级导航控制器。因此，我们的方法可以从人类监督中获取复杂的导航行为，并从反复试验中发现多功能步态。我们证明了方法在模拟和硬件实验中的有效性。可以在https://ut-aut-autin-rpl.github.io/prelude上找到视频和代码。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

随着腿部机器人和嵌入式计算都变得越来越有能力，研究人员已经开始专注于这些机器人的现场部署。在非结构化环境中的强大自治需要对机器人周围的世界感知，以避免危害。但是，由于处理机车动力学所需的复杂规划人员和控制器，因此在网上合并在线的同时在线保持敏捷运动对腿部机器人更具挑战性。该报告将比较三种最新的感知运动方法，并讨论可以使用视觉来实现腿部自主权的不同方式。

我们提出了Terrapn，这是一种新颖的方法，它可以通过自我监督的学习直接从机器人 - 泰林相互作用中了解复杂室外地形的表面特性（牵引力，颠簸，可变形等），并将其用于自动驾驶机器人导航。我们的方法使用地形表面和机器人的速度的RGB图像作为输入，以及机器人作为自我选择的标签所经历的IMU振动和探测错误。我们的方法计算了一个表面成本图，该图将平滑，高吸收表面（低导航成本）与颠簸，滑水，可变形表面（高导航成本）区分开。我们通过检测表面之间的边界来计算从输入RGB图像的非均匀采样贴片来计算成本图，从而与均匀的采样和现有分割方法相比，导致推理时间较低（低47.27％）。我们提出了一种新颖的导航算法，该算法可以说明表面成本，计算机器人的基于成本的加速度限制以及动态可行的无碰撞轨迹。 Terrapn的表面成本预测可以在约25分钟内进行五个不同的表面进行训练，而先前基于学习的分割方法数小时。在导航方面，我们的方法在成功率（高达35.84％），轨迹的振动成本（降低21.52％）方面优于先前的工作，并在颠簸，可变形的表面上放慢机器人（最高46.76％）在不同的情况下较慢）。

在本文中，我们研究了DRL算法在本地导航问题的应用，其中机器人仅配备有限​​量距离的外部感受传感器（例如LIDAR），在未知和混乱的工作区中朝着目标位置移动。基于DRL的碰撞避免政策具有一些优势，但是一旦他们学习合适的动作的能力仅限于传感器范围，它们就非常容易受到本地最小值的影响。由于大多数机器人在非结构化环境中执行任务，因此寻求能够避免本地最小值的广义本地导航政策，尤其是在未经训练的情况下，这是非常兴趣的。为此，我们提出了一种新颖的奖励功能，该功能结合了在训练阶段获得的地图信息，从而提高了代理商故意最佳行动方案的能力。另外，我们使用SAC算法来训练我们的ANN，这表明在最先进的文献中比其他人更有效。一组SIM到SIM和SIM到现实的实验表明，我们提出的奖励与SAC相结合的表现优于比较局部最小值和避免碰撞的方法。

通过直接将感知输入映射到机器人控制命令中，深入的强化学习（DRL）算法已被证明在机器人导航中有效，尤其是在未知环境中。但是，大多数现有方法忽略导航中的局部最小问题，从而无法处理复杂的未知环境。在本文中，我们提出了第一个基于DRL的导航方法，该方法由具有连续动作空间，自适应向前模拟时间（AFST）的SMDP建模，以克服此问题。具体而言，我们通过修改其GAE来更好地估计SMDP中的策略梯度，改善了指定SMDP问题的分布式近端策略优化（DPPO）算法。我们在模拟器和现实世界中评估了我们的方法。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

本文提出了一种基于强化学习的导航方法，在其中我们将占用观测定义为运动原始启发式评估，而不是使用原始传感器数据。我们的方法可以将多传感器融合生成的占用数据快速映射到3D工作区中的轨迹值中。计算有效的轨迹评估允许对动作空间进行密集采样。我们利用不同数据结构中的占用观测来分析其对培训过程和导航性能的影响。我们在基于物理的仿真环境（包括静态和动态障碍）中对两个不同机器人进行训练和测试。我们通过最先进方法的其他常规数据结构对我们的占用表示进行基准测试。在动态环境中，通过物理机器人成功验证了训练有素的导航政策。结果表明，与其他占用表示相比，我们的方法不仅减少了所需的训练时间，还可以改善导航性能。我们的工作和所有相关信息的开源实现可从\ url {https://github.com/river-lab/tentabot}获得。

尽管数十年的努力，但在真正的情景中的机器人导航具有波动性，不确定性，复杂性和歧义（vuca短暂），仍然是一个具有挑战性的话题。受到中枢神经系统（CNS）的启发，我们提出了一个在Vuca环境中的自主导航的分层多专家学习框架。通过考虑目标位置，路径成本和安全水平的启发式探索机制，上层执行同时映射探索和路线规划，以避免陷入盲巷，类似于CNS中的大脑。使用本地自适应模型融合多种差异策略，下层追求碰撞 - 避免和直接策略之间的平衡，作为CNS中的小脑。我们在多个平台上进行仿真和实际实验，包括腿部和轮式机器人。实验结果表明我们的算法在任务成就，时间效率和安全性方面优于现有方法。

我们通过策略提取（MSVIPER）提出了多种可验证的增强学习，这是一种策略蒸馏到决策树以改进机器人导航的新方法。 MSVIPER使用任何强化学习（RL）技术来学习一项“专家”政策，涉及学习国家行动映射，然后使用模仿学习来从中学习决策树策略。我们证明，MSVIPER会导致有效的决策树，并可以准确模仿专家政策的行为。此外，我们提出了有效的政策蒸馏和树修改技术，这些技术利用决策树结构，可以改进政策而无需再培训。我们使用我们的方法来改善用于室内和室外场景的基于RL的机器人导航算法的性能。我们证明了在减少冻结和振荡行为（减少95 \％降低）方面的好处。

目前，移动机器人正在迅速发展，并在工业中寻找许多应用。然而，仍然存在与其实际使用相关的一些问题，例如对昂贵的硬件及其高功耗水平的需要。在本研究中，我们提出了一种导航系统，该导航系统可在具有RGB-D相机的低端计算机上操作，以及用于操作集成自动驱动系统的移动机器人平台。建议的系统不需要Lidars或GPU。我们的原始深度图像接地分割方法提取用于低体移动机器人的安全驾驶的遍历图。它旨在保证具有集成的SLAM，全局路径规划和运动规划的低成本现成单板计算机上的实时性能。我们使用Traversability Map应用基于规则的基于学习的导航策略。同时运行传感器数据处理和其他自主驾驶功能，我们的导航策略以18Hz的刷新率为控制命令而迅速执行，而其他系统则具有较慢的刷新率。我们的方法在有限的计算资源中优于当前最先进的导航方法，如3D模拟测试所示。此外，我们通过在室内环境中成功的自动驾驶来展示移动机器人系统的适用性。我们的整个作品包括硬件和软件在开源许可（https://github.com/shinkansan/2019-ugrp-doom）下发布。我们的详细视频是https://youtu.be/mf3iufuhppm提供的。

惯性测量单元（IMU）在机器人研究中无处不在。它为机器人提供了姿势信息，以实现平衡和导航。但是，人类和动物可以在没有精确的方向或位置值的情况下感知其身体在环境中的运动。这种互动固有地涉及感知和动作之间的快速反馈回路。这项工作提出了一种端到端方法，该方法使用高维视觉观察和动作命令来训练视觉自模型进行腿部运动。视觉自模型学习机器人身体运动与地面纹理之间的空间关系从图像序列变化。我们证明机器人可以利用视觉自模型来实现机器人在训练过程中看不见的现实环境中的各种运动任务。通过我们提出的方法，机器人可以在没有IMU的情况下或在没有GPS或弱地磁场的环境中进行运动，例如该市的室内和Urban Canyons。

我们利用了肢体机器人互动和预言的互补优势，实现了点球导航。腿系统能够穿过比轮式机器人更复杂的地形，而是为了充分利用这种能力，我们需要导航系统中的高级路径规划仪，了解在不同地形上的低级运动策略的步行能力。我们通过使用壁虎搜寻反馈来实现这一目标来估计行走政策的安全操作限制，并感知意外障碍和地形性质，如可能被视力错过的地面的平滑度或柔软度。导航系统使用车载相机来生成占用映射和相应的成本图以实现目标。然后，FMM（快速行进方法）规划器然后生成目标路径。速度命令生成器将此作为输入，以从安全顾问，意外障碍和地形速度限制生成作为输入附加约束的机车策略的所需速度。与轮式机器人（Logobot）基线（Logobot）基线和其他具有不相交的基调规划和低级控制的基线显示出卓越的性能。我们还在具有板载传感器和计算的Quadruped Robot上显示了我们系统的真实部署。 https://navigation-locomotion.github.io/camera-ready的视频

腿部运动的最新进展使四足动物在具有挑战性的地形上行走。但是，两足机器人本质上更加不稳定，因此很难为其设计步行控制器。在这项工作中，我们利用了对机车控制的快速适应的最新进展，并将其扩展到双皮亚机器人。与现有作品类似，我们从基本策略开始，该策略在将适应模块的输入中作为输入作为输入。该外部媒介包含有关环境的信息，并使步行控制器能够快速在线适应。但是，外部估计器可能是不完善的，这可能导致基本政策的性能不佳，这预计是一个完美的估计器。在本文中，我们提出了A-RMA（Adapting RMA），该A-RMA（适应RMA）还通过使用无模型RL对其进行了鉴定，从而适应了不完美的外部外部估计器的基本策略。我们证明，A-RMA在仿真中胜过许多基于RL的基线控制器和基于模型的控制器，并显示了单个A-RMA策略的零拍摄部署，以使双皮德机器人Cassie能够在各种各样的现实世界中的不同场景超出了培训期间所见。 https://ashish-kmr.github.io/a-rma/的视频和结果

在复杂环境中开发针对四足动物的强大视觉引导控制器，具有各种障碍，动力环境和不平坦的地形，这是非常具有挑战性的。尽管增强学习（RL）为敏捷的运动技能提供了有希望的范式，并在模拟中提供了视觉投入，但在现实世界中将RL政策部署仍然非常具有挑战性。我们的关键见解是，除了域间隙的差异，模拟和现实世界之间的视觉外观外，控制管道的延迟也是困难的主要原因。在本文中，我们建议在训练RL代理时解决此问题。具体而言，我们通过使用过去的观测值模拟真实硬件的延迟，并以随机时期进行采样，以进行本体感受和视觉。我们在没有任何预定义的控制器或参考运动的情况下训练RL策略在物理模拟器中以端到端的控制，并将其直接部署在野外运行的真实A1四倍的机器人上。我们在具有复杂地形和障碍的不同室外环境中评估我们的方法。我们证明机器人可以高速操纵，避免障碍物，并在基准方面显示出显着改善。我们的带有视频的项目页面位于https://mehooz.github.io/mmdr-wild/。

机器人导航传统上依赖于构建用于计划无碰撞轨迹的显式映射到所需的目标。在可变形的复杂地形中，使用基于几何的方法可以不能找到由于错误的可变形物体而像刚性和不可能的那样的路径。相反，我们学习预测地形区域的可迁移性以及更喜欢更容易导航的区域的估计（例如，小草上的小灌木）。与规范动态模型相比，我们而不是预测碰撞，而不是在实现的错误上回归。我们用一个政策方法训练，导致使用跨模拟和现实世界的培训数据分裂的50分钟的成功导航政策。我们基于学习的导航系统是一个示例高效的短期计划，我们在通过包括草原和森林的各种地形导航的清晰路径哈士摩克