深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

Underwater navigation presents several challenges, including unstructured unknown environments, lack of reliable localization systems (e.g., GPS), and poor visibility. Furthermore, good-quality obstacle detection sensors for underwater robots are scant and costly; and many sensors like RGB-D cameras and LiDAR only work in-air. To enable reliable mapless underwater navigation despite these challenges, we propose a low-cost end-to-end navigation system, based on a monocular camera and a fixed single-beam echo-sounder, that efficiently navigates an underwater robot to waypoints while avoiding nearby obstacles. Our proposed method is based on Proximal Policy Optimization (PPO), which takes as input current relative goal information, estimated depth images, echo-sounder readings, and previous executed actions, and outputs 3D robot actions in a normalized scale. End-to-end training was done in simulation, where we adopted domain randomization (varying underwater conditions and visibility) to learn a robust policy against noise and changes in visibility conditions. The experiments in simulation and real-world demonstrated that our proposed method is successful and resilient in navigating a low-cost underwater robot in unknown underwater environments. The implementation is made publicly available at https://github.com/dartmouthrobotics/deeprl-uw-robot-navigation.

为多个机器人制定安全，稳定和高效的避免障碍政策是具有挑战性的。大多数现有研究要么使用集中控制，要么需要与其他机器人进行通信。在本文中，我们提出了一种基于对数地图的新型对数深度强化学习方法，以避免复杂且无通信的多机器人方案。特别是，我们的方法将激光信息转换为对数图。为了提高训练速度和概括性能，我们的政策将在两个专门设计的多机器人方案中进行培训。与其他方法相比，对数图可以更准确地表示障碍，并提高避免障碍的成功率。我们最终在各种模拟和现实情况下评估了我们的方法。结果表明，我们的方法为复杂的多机器人场景和行人场景中的机器人提供了一种更稳定，更有效的导航解决方案。视频可在https://youtu.be/r0esuxe6mze上找到。

尽管数十年的努力，但在真正的情景中的机器人导航具有波动性，不确定性，复杂性和歧义（vuca短暂），仍然是一个具有挑战性的话题。受到中枢神经系统（CNS）的启发，我们提出了一个在Vuca环境中的自主导航的分层多专家学习框架。通过考虑目标位置，路径成本和安全水平的启发式探索机制，上层执行同时映射探索和路线规划，以避免陷入盲巷，类似于CNS中的大脑。使用本地自适应模型融合多种差异策略，下层追求碰撞 - 避免和直接策略之间的平衡，作为CNS中的小脑。我们在多个平台上进行仿真和实际实验，包括腿部和轮式机器人。实验结果表明我们的算法在任务成就，时间效率和安全性方面优于现有方法。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

我们提出了一种新颖的户外导航算法，以生成稳定，有效的动作，以将机器人导航到目标。我们使用多阶段的训练管道，并表明我们的模型产生了政策，从而在复杂的地形上导致稳定且可靠的机器人导航。基于近端政策优化（PPO）算法，我们开发了一种新颖的方法来实现户外导航任务的多种功能，即：减轻机器人的漂移，使机器人在颠簸的地形上保持稳定，避免在山丘上攀登，并具有陡峭的山坡，并改变了山坡，并保持了陡峭的高度变化，并使机器人稳定在山坡上，并避免了攀岩地面上的攀登，并避免了机器人的攀岩地形，并避免了机器人的攀岩地形。避免碰撞。我们的培训过程通过引入更广泛的环境和机器人参数以及统一模拟器中LIDAR感知的丰富特征来减轻现实（SIM到现实）差距。我们使用Clearphith Husky和Jackal在模拟和现实世界中评估我们的方法。此外，我们将我们的方法与最先进的方法进行了比较，并表明在现实世界中，它在不平坦的地形上至少提高了30.7％通过防止机器人在高梯度的区域移动，机器人在每个运动步骤处的高程变化。

援助机器人在物流和人类援助等各个行业中广泛关注。在拥挤的环境（例如机场或火车站）携带重量或货物的指导或关注人类的任务仍然是一个空旷的问题。在这些用例中，机器人不仅需要与人类智能互动，而且需要在人群中安全地进行互动。因此，尤其是高度动态的环境，由于人类的挥发性行为模式和不可预测的运动，构成了巨大的挑战。在本文中，我们提出了一种基于深入的学习媒介，用于在拥挤的环境中进行人类引导和遵守任务。因此，我们合并了语义信息，以向代理提供高级信息，例如人类，安全模型和班级类型的社会状态。我们在没有语义信息的情况下根据基准方法评估了我们的建议方法，并证明了导航的安全性和鲁棒性增强。此外，我们证明了代理可以学会将其行为适应人类，从而大大改善了人类机器人的相互作用。

本文提出了一种基于强化学习的导航方法，在其中我们将占用观测定义为运动原始启发式评估，而不是使用原始传感器数据。我们的方法可以将多传感器融合生成的占用数据快速映射到3D工作区中的轨迹值中。计算有效的轨迹评估允许对动作空间进行密集采样。我们利用不同数据结构中的占用观测来分析其对培训过程和导航性能的影响。我们在基于物理的仿真环境（包括静态和动态障碍）中对两个不同机器人进行训练和测试。我们通过最先进方法的其他常规数据结构对我们的占用表示进行基准测试。在动态环境中，通过物理机器人成功验证了训练有素的导航政策。结果表明，与其他占用表示相比，我们的方法不仅减少了所需的训练时间，还可以改善导航性能。我们的工作和所有相关信息的开源实现可从\ url {https://github.com/river-lab/tentabot}获得。

目前，移动机器人正在迅速发展，并在工业中寻找许多应用。然而，仍然存在与其实际使用相关的一些问题，例如对昂贵的硬件及其高功耗水平的需要。在本研究中，我们提出了一种导航系统，该导航系统可在具有RGB-D相机的低端计算机上操作，以及用于操作集成自动驱动系统的移动机器人平台。建议的系统不需要Lidars或GPU。我们的原始深度图像接地分割方法提取用于低体移动机器人的安全驾驶的遍历图。它旨在保证具有集成的SLAM，全局路径规划和运动规划的低成本现成单板计算机上的实时性能。我们使用Traversability Map应用基于规则的基于学习的导航策略。同时运行传感器数据处理和其他自主驾驶功能，我们的导航策略以18Hz的刷新率为控制命令而迅速执行，而其他系统则具有较慢的刷新率。我们的方法在有限的计算资源中优于当前最先进的导航方法，如3D模拟测试所示。此外，我们通过在室内环境中成功的自动驾驶来展示移动机器人系统的适用性。我们的整个作品包括硬件和软件在开源许可（https://github.com/shinkansan/2019-ugrp-doom）下发布。我们的详细视频是https://youtu.be/mf3iufuhppm提供的。

在本文中，我们研究了DRL算法在本地导航问题的应用，其中机器人仅配备有限​​量距离的外部感受传感器（例如LIDAR），在未知和混乱的工作区中朝着目标位置移动。基于DRL的碰撞避免政策具有一些优势，但是一旦他们学习合适的动作的能力仅限于传感器范围，它们就非常容易受到本地最小值的影响。由于大多数机器人在非结构化环境中执行任务，因此寻求能够避免本地最小值的广义本地导航政策，尤其是在未经训练的情况下，这是非常兴趣的。为此，我们提出了一种新颖的奖励功能，该功能结合了在训练阶段获得的地图信息，从而提高了代理商故意最佳行动方案的能力。另外，我们使用SAC算法来训练我们的ANN，这表明在最先进的文献中比其他人更有效。一组SIM到SIM和SIM到现实的实验表明，我们提出的奖励与SAC相结合的表现优于比较局部最小值和避免碰撞的方法。

强化学习（RL）通过原始像素成像和连续的控制任务在视频游戏中表现出了令人印象深刻的表现。但是，RL的性能较差，例如原始像素图像，例如原始像素图像。人们普遍认为，基于物理状态的RL策略（例如激光传感器测量值）比像素学习相比会产生更有效的样品结果。这项工作提出了一种新方法，该方法从深度地图估算中提取信息，以教授RL代理以执行无人机导航（UAV）的无地图导航。我们提出了深度模仿的对比度无监督的优先表示（DEPTH-CUPRL），该表示具有优先重播记忆的估算图像的深度。我们使用RL和对比度学习的组合，根据图像的RL问题引发。从无人驾驶汽车（UAV）对结果的分析中，可以得出结论，我们的深度cuprl方法在无MAP导航能力中对决策和优于最先进的像素的方法有效。

通过直接将感知输入映射到机器人控制命令中，深入的强化学习（DRL）算法已被证明在机器人导航中有效，尤其是在未知环境中。但是，大多数现有方法忽略导航中的局部最小问题，从而无法处理复杂的未知环境。在本文中，我们提出了第一个基于DRL的导航方法，该方法由具有连续动作空间，自适应向前模拟时间（AFST）的SMDP建模，以克服此问题。具体而言，我们通过修改其GAE来更好地估计SMDP中的策略梯度，改善了指定SMDP问题的分布式近端策略优化（DPPO）算法。我们在模拟器和现实世界中评估了我们的方法。

我们提出了Covy - 一个机器人平台，可在Covid-19等大流行期间促进社会疏远。Covy具有一种新颖的复合视觉系统，使其能够检测到社会距离的破坏，最多可达16m。Covy使用混合导航堆栈自动地导航其周围环境，该堆栈结合了深钢筋学习（DRL）和概率定位方法。我们通过模拟和现实环境中的大量实验构建了完整的系统并评估了Covy的性能。除其他外，我们的结果表明，与基于DRL的纯解决方案相比，混合导航堆栈更强大。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

Despite some successful applications of goal-driven navigation, existing deep reinforcement learning-based approaches notoriously suffers from poor data efficiency issue. One of the reasons is that the goal information is decoupled from the perception module and directly introduced as a condition of decision-making, resulting in the goal-irrelevant features of the scene representation playing an adversary role during the learning process. In light of this, we present a novel Goal-guided Transformer-enabled reinforcement learning (GTRL) approach by considering the physical goal states as an input of the scene encoder for guiding the scene representation to couple with the goal information and realizing efficient autonomous navigation. More specifically, we propose a novel variant of the Vision Transformer as the backbone of the perception system, namely Goal-guided Transformer (GoT), and pre-train it with expert priors to boost the data efficiency. Subsequently, a reinforcement learning algorithm is instantiated for the decision-making system, taking the goal-oriented scene representation from the GoT as the input and generating decision commands. As a result, our approach motivates the scene representation to concentrate mainly on goal-relevant features, which substantially enhances the data efficiency of the DRL learning process, leading to superior navigation performance. Both simulation and real-world experimental results manifest the superiority of our approach in terms of data efficiency, performance, robustness, and sim-to-real generalization, compared with other state-of-art baselines. Demonstration videos are available at \colorb{https://youtu.be/93LGlGvaN0c.

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

对于在城市环境中导航的自主机器人，对于机器人而言，要保持在指定的旅行路径（即小径），并避免使用诸如草和花园床之类的区域，以确保安全和社会符合性考虑因素。本文为未知的城市环境提供了一种自主导航方法，该方法结合了语义分割和激光雷达数据的使用。所提出的方法使用分段的图像掩码创建环境的3D障碍物图，从中计算了人行道的边界。与现有方法相比，我们的方法不需要预先建造的地图，并提供了对安全区域的3D理解，从而使机器人能够计划通过人行道的任何路径。将我们的方法与仅使用LiDAR或仅使用语义分割的两种替代方案进行比较的实验表明，总体而言，我们所提出的方法在户外的成功率大于91％的成功率，并且在室内大于66％。我们的方法使机器人始终保持在安全的旅行道路上，并减少了碰撞数量。

Robot navigation in dynamic environments shared with humans is an important but challenging task, which suffers from performance deterioration as the crowd grows. In this paper, multi-subgoal robot navigation approach based on deep reinforcement learning is proposed, which can reason about more comprehensive relationships among all agents (robot and humans). Specifically, the next position point is planned for the robot by introducing history information and interactions in our work. Firstly, based on subgraph network, the history information of all agents is aggregated before encoding interactions through a graph neural network, so as to improve the ability of the robot to anticipate the future scenarios implicitly. Further consideration, in order to reduce the probability of unreliable next position points, the selection module is designed after policy network in the reinforcement learning framework. In addition, the next position point generated from the selection module satisfied the task requirements better than that obtained directly from the policy network. The experiments demonstrate that our approach outperforms state-of-the-art approaches in terms of both success rate and collision rate, especially in crowded human environments.

Two less addressed issues of deep reinforcement learning are (1) lack of generalization capability to new target goals, and (2) data inefficiency i.e., the model requires several (and often costly) episodes of trial and error to converge, which makes it impractical to be applied to real-world scenarios. In this paper, we address these two issues and apply our model to the task of target-driven visual navigation. To address the first issue, we propose an actor-critic model whose policy is a function of the goal as well as the current state, which allows to better generalize. To address the second issue, we propose AI2-THOR framework, which provides an environment with highquality 3D scenes and physics engine. Our framework enables agents to take actions and interact with objects. Hence, we can collect a huge number of training samples efficiently.We show that our proposed method (1) converges faster than the state-of-the-art deep reinforcement learning methods, (2) generalizes across targets and across scenes, (3) generalizes to a real robot scenario with a small amount of fine-tuning (although the model is trained in simulation), ( 4) is end-to-end trainable and does not need feature engineering, feature matching between frames or 3D reconstruction of the environment.The supplementary video can be accessed at the following link: https://youtu.be/SmBxMDiOrvs.

多机器人导航是一项具有挑战性的任务，其中必须在动态环境中同时协调多个机器人。我们应用深入的加固学习（DRL）来学习分散的端到端策略，该政策将原始传感器数据映射到代理的命令速度。为了使政策概括，培训是在不同的环境和场景中进行的。在常见的多机器人场景中测试和评估了学识渊博的政策，例如切换一个地方，交叉路口和瓶颈情况。此策略使代理可以从死端恢复并浏览复杂的环境。