本文研究了如何改善接受深入增强学习训练的导航剂的概括性能和学习速度（DRL）。尽管DRL在无机MAP导航中表现出巨大的潜力，但在训练场景中表现良好的DRL代理在不熟悉的情况下经常表现不佳。在这项工作中，我们建议LIDAR读数的表示是代理商效果退化的关键因素，并提出了一种强大的输入预处理（IP）方法来解决此问题。由于这种方法使用适应性的参数倒数函数来预处理激光雷达读数，因此我们将此方法称为IPAPREC及其归一化版本为IPAPRECN。 IPAPREC/IPAPRECN可以突出显示重要的短距离值，并压缩激光扫描中较重要的长距离值的范围，该值很好地解决了由激光扫描的常规表示引起的问题。通过广泛的模拟和现实世界实验来验证它们的高性能。结果表明，与常规方法相比，我们的方法可以大大改善导航剂的概括性能，并大大减少训练时间。

本文提出了一种基于强化学习的导航方法，在其中我们将占用观测定义为运动原始启发式评估，而不是使用原始传感器数据。我们的方法可以将多传感器融合生成的占用数据快速映射到3D工作区中的轨迹值中。计算有效的轨迹评估允许对动作空间进行密集采样。我们利用不同数据结构中的占用观测来分析其对培训过程和导航性能的影响。我们在基于物理的仿真环境（包括静态和动态障碍）中对两个不同机器人进行训练和测试。我们通过最先进方法的其他常规数据结构对我们的占用表示进行基准测试。在动态环境中，通过物理机器人成功验证了训练有素的导航政策。结果表明，与其他占用表示相比，我们的方法不仅减少了所需的训练时间，还可以改善导航性能。我们的工作和所有相关信息的开源实现可从\ url {https://github.com/river-lab/tentabot}获得。

为多个机器人制定安全，稳定和高效的避免障碍政策是具有挑战性的。大多数现有研究要么使用集中控制，要么需要与其他机器人进行通信。在本文中，我们提出了一种基于对数地图的新型对数深度强化学习方法，以避免复杂且无通信的多机器人方案。特别是，我们的方法将激光信息转换为对数图。为了提高训练速度和概括性能，我们的政策将在两个专门设计的多机器人方案中进行培训。与其他方法相比，对数图可以更准确地表示障碍，并提高避免障碍的成功率。我们最终在各种模拟和现实情况下评估了我们的方法。结果表明，我们的方法为复杂的多机器人场景和行人场景中的机器人提供了一种更稳定，更有效的导航解决方案。视频可在https://youtu.be/r0esuxe6mze上找到。

在本文中，我们研究了DRL算法在本地导航问题的应用，其中机器人仅配备有限​​量距离的外部感受传感器（例如LIDAR），在未知和混乱的工作区中朝着目标位置移动。基于DRL的碰撞避免政策具有一些优势，但是一旦他们学习合适的动作的能力仅限于传感器范围，它们就非常容易受到本地最小值的影响。由于大多数机器人在非结构化环境中执行任务，因此寻求能够避免本地最小值的广义本地导航政策，尤其是在未经训练的情况下，这是非常兴趣的。为此，我们提出了一种新颖的奖励功能，该功能结合了在训练阶段获得的地图信息，从而提高了代理商故意最佳行动方案的能力。另外，我们使用SAC算法来训练我们的ANN，这表明在最先进的文献中比其他人更有效。一组SIM到SIM和SIM到现实的实验表明，我们提出的奖励与SAC相结合的表现优于比较局部最小值和避免碰撞的方法。

尽管数十年的努力，但在真正的情景中的机器人导航具有波动性，不确定性，复杂性和歧义（vuca短暂），仍然是一个具有挑战性的话题。受到中枢神经系统（CNS）的启发，我们提出了一个在Vuca环境中的自主导航的分层多专家学习框架。通过考虑目标位置，路径成本和安全水平的启发式探索机制，上层执行同时映射探索和路线规划，以避免陷入盲巷，类似于CNS中的大脑。使用本地自适应模型融合多种差异策略，下层追求碰撞 - 避免和直接策略之间的平衡，作为CNS中的小脑。我们在多个平台上进行仿真和实际实验，包括腿部和轮式机器人。实验结果表明我们的算法在任务成就，时间效率和安全性方面优于现有方法。

在狭窄的空间中，基于传统层次自治系统的运动计划可能会导致映射，定位和控制噪声引起碰撞。此外，当无映射时，它将被禁用。为了解决这些问题，我们利用深厚的加强学习，可以证明可以有效地进行自我决策，从而在狭窄的空间中自探索而无需地图，同时避免碰撞。具体而言，基于我们的Ackermann-Steering矩形Zebrat机器人及其凉亭模拟器，我们建议矩形安全区域来表示状态并检测矩形形状的机器人的碰撞，以及无需精心制作的奖励功能，不需要增强功能。目的地信息。然后，我们在模拟的狭窄轨道中基准了五种增强学习算法，包括DDPG，DQN，SAC，PPO和PPO-DISCRETE。经过训练，良好的DDPG和DQN型号可以转移到三个全新的模拟轨道上，然后转移到三个现实世界中。

多机器人导航是一项具有挑战性的任务，其中必须在动态环境中同时协调多个机器人。我们应用深入的加固学习（DRL）来学习分散的端到端策略，该政策将原始传感器数据映射到代理的命令速度。为了使政策概括，培训是在不同的环境和场景中进行的。在常见的多机器人场景中测试和评估了学识渊博的政策，例如切换一个地方，交叉路口和瓶颈情况。此策略使代理可以从死端恢复并浏览复杂的环境。

Robot navigation in dynamic environments shared with humans is an important but challenging task, which suffers from performance deterioration as the crowd grows. In this paper, multi-subgoal robot navigation approach based on deep reinforcement learning is proposed, which can reason about more comprehensive relationships among all agents (robot and humans). Specifically, the next position point is planned for the robot by introducing history information and interactions in our work. Firstly, based on subgraph network, the history information of all agents is aggregated before encoding interactions through a graph neural network, so as to improve the ability of the robot to anticipate the future scenarios implicitly. Further consideration, in order to reduce the probability of unreliable next position points, the selection module is designed after policy network in the reinforcement learning framework. In addition, the next position point generated from the selection module satisfied the task requirements better than that obtained directly from the policy network. The experiments demonstrate that our approach outperforms state-of-the-art approaches in terms of both success rate and collision rate, especially in crowded human environments.

深度强化学习（DRL）的最新进步通过允许自动控制器设计促进了机器人技术。自动控制器设计是设计群体机器人系统的关键方法，与单个机器人系统相比，它需要更复杂的控制器来领导所需的集体行为。尽管基于DRL的控制器设计方法显示出其有效性，但对中央培训服务器的依赖是在机器人服务器通信不稳定或有限的现实环境中的关键问题。我们提出了一种新型联邦学习（FL）的DRL培训策略（FLDDPG），以用于群体机器人应用。通过在有限的通信带宽方案下与基线策略进行比较，可以证明，FLDDPG方法导致更高的鲁棒性和泛化能力进入不同的环境和真正的机器人，而基线策略则遭受了通信带宽的限制。该结果表明，所提出的方法可以使在通信带宽有限的环境中运行的群体机器人系统受益，例如在高辐射，水下或地下环境中。

先前的工作表明，深-RL可以应用于无地图导航，包括混合无人驾驶空中水下车辆（Huauvs）的中等过渡。本文介绍了基于最先进的演员批评算法的新方法，以解决Huauv的导航和中型过渡问题。我们表明，具有复发性神经网络的双重评论家Deep-RL可以使用仅范围数据和相对定位来改善Huauvs的导航性能。我们的深-RL方法通过通过不同的模拟场景对学习的扎实概括，实现了更好的导航和过渡能力，表现优于先前的方法。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

我们提出了一种新颖的户外导航算法，以生成稳定，有效的动作，以将机器人导航到目标。我们使用多阶段的训练管道，并表明我们的模型产生了政策，从而在复杂的地形上导致稳定且可靠的机器人导航。基于近端政策优化（PPO）算法，我们开发了一种新颖的方法来实现户外导航任务的多种功能，即：减轻机器人的漂移，使机器人在颠簸的地形上保持稳定，避免在山丘上攀登，并具有陡峭的山坡，并改变了山坡，并保持了陡峭的高度变化，并使机器人稳定在山坡上，并避免了攀岩地面上的攀登，并避免了机器人的攀岩地形，并避免了机器人的攀岩地形。避免碰撞。我们的培训过程通过引入更广泛的环境和机器人参数以及统一模拟器中LIDAR感知的丰富特征来减轻现实（SIM到现实）差距。我们使用Clearphith Husky和Jackal在模拟和现实世界中评估我们的方法。此外，我们将我们的方法与最先进的方法进行了比较，并表明在现实世界中，它在不平坦的地形上至少提高了30.7％通过防止机器人在高梯度的区域移动，机器人在每个运动步骤处的高程变化。

通过直接将感知输入映射到机器人控制命令中，深入的强化学习（DRL）算法已被证明在机器人导航中有效，尤其是在未知环境中。但是，大多数现有方法忽略导航中的局部最小问题，从而无法处理复杂的未知环境。在本文中，我们提出了第一个基于DRL的导航方法，该方法由具有连续动作空间，自适应向前模拟时间（AFST）的SMDP建模，以克服此问题。具体而言，我们通过修改其GAE来更好地估计SMDP中的策略梯度，改善了指定SMDP问题的分布式近端策略优化（DPPO）算法。我们在模拟器和现实世界中评估了我们的方法。

援助机器人在物流和人类援助等各个行业中广泛关注。在拥挤的环境（例如机场或火车站）携带重量或货物的指导或关注人类的任务仍然是一个空旷的问题。在这些用例中，机器人不仅需要与人类智能互动，而且需要在人群中安全地进行互动。因此，尤其是高度动态的环境，由于人类的挥发性行为模式和不可预测的运动，构成了巨大的挑战。在本文中，我们提出了一种基于深入的学习媒介，用于在拥挤的环境中进行人类引导和遵守任务。因此，我们合并了语义信息，以向代理提供高级信息，例如人类，安全模型和班级类型的社会状态。我们在没有语义信息的情况下根据基准方法评估了我们的建议方法，并证明了导航的安全性和鲁棒性增强。此外，我们证明了代理可以学会将其行为适应人类，从而大大改善了人类机器人的相互作用。

强化学习（RL）通过原始像素成像和连续的控制任务在视频游戏中表现出了令人印象深刻的表现。但是，RL的性能较差，例如原始像素图像，例如原始像素图像。人们普遍认为，基于物理状态的RL策略（例如激光传感器测量值）比像素学习相比会产生更有效的样品结果。这项工作提出了一种新方法，该方法从深度地图估算中提取信息，以教授RL代理以执行无人机导航（UAV）的无地图导航。我们提出了深度模仿的对比度无监督的优先表示（DEPTH-CUPRL），该表示具有优先重播记忆的估算图像的深度。我们使用RL和对比度学习的组合，根据图像的RL问题引发。从无人驾驶汽车（UAV）对结果的分析中，可以得出结论，我们的深度cuprl方法在无MAP导航能力中对决策和优于最先进的像素的方法有效。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

精确农业正在迅速吸引研究，以有效地引入自动化和机器人解决方案，以支持农业活动。葡萄园和果园中的机器人导航在自主监控方面具有竞争优势，并轻松获取农作物来收集，喷涂和执行时必的耗时必要任务。如今，自主导航算法利用了昂贵的传感器，这也需要大量的数据处理计算成本。尽管如此，葡萄园行代表了一个具有挑战性的户外场景，在这种情况下，GPS和视觉进程技术通常难以提供可靠的定位信息。在这项工作中，我们将Edge AI与深度强化学习相结合，以提出一种尖端的轻质解决方案，以解决自主葡萄园导航的问题，而无需利用精确的本地化数据并通过基于灵活的学习方法来克服任务列出的算法。我们训练端到端的感觉运动剂，该端机直接映射嘈杂的深度图像和位置不可稳定的机器人状态信息到速度命令，并将机器人引导到一排的尽头，不断调整其标题以进行无碰撞的无碰撞中央轨迹。我们在现实的模拟葡萄园中进行的广泛实验证明了解决方案的有效性和代理的概括能力。

众所周知，很难拥有一个可靠且强大的框架来将多代理深入强化学习算法与实用的多机器人应用联系起来。为了填补这一空白，我们为称为MultiroBolearn1的多机器人系统提出并构建了一个开源框架。该框架构建了统一的模拟和现实应用程序设置。它旨在提供标准的，易于使用的模拟方案，也可以轻松地将其部署到现实世界中的多机器人环境中。此外，该框架为研究人员提供了一个基准系统，以比较不同的强化学习算法的性能。我们使用不同类型的多代理深钢筋学习算法在离散和连续的动作空间中使用不同类型的多代理深钢筋学习算法来证明框架的通用性，可扩展性和能力。

谷仓（基准自动驾驶机器人导航）挑战在宾夕法尼亚州费城的2022年IEEE国际机器人和自动化国际会议（ICRA 2022）举行。挑战的目的是评估最先进的自动地面导航系统，以安全有效的方式将机器人通过高度约束的环境移动。具体而言，任务是将标准化的差分驱动地面机器人从预定义的开始位置导航到目标位置，而不会与模拟和现实世界中的任何障碍相撞。来自世界各地的五支球队参加了合格的模拟比赛，其中三支受邀在费城会议中心的一组身体障碍课程中相互竞争。竞争结果表明，尽管表面上显得简单，即使对于经验丰富的机器人主义者来说，在高度约束空间中的自主地面导航实际上远非解决问题。在本文中，我们讨论了挑战，前三名获胜团队所使用的方法以及学到的教训以指导未来的研究。

Development of navigation algorithms is essential for the successful deployment of robots in rapidly changing hazardous environments for which prior knowledge of configuration is often limited or unavailable. Use of traditional path-planning algorithms, which are based on localization and require detailed obstacle maps with goal locations, is not possible. In this regard, vision-based algorithms hold great promise, as visual information can be readily acquired by a robot's onboard sensors and provides a much richer source of information from which deep neural networks can extract complex patterns. Deep reinforcement learning has been used to achieve vision-based robot navigation. However, the efficacy of these algorithms in environments with dynamic obstacles and high variation in the configuration space has not been thoroughly investigated. In this paper, we employ a deep Dyna-Q learning algorithm for room evacuation and obstacle avoidance in partially observable environments based on low-resolution raw image data from an onboard camera. We explore the performance of a robotic agent in environments containing no obstacles, convex obstacles, and concave obstacles, both static and dynamic. Obstacles and the exit are initialized in random positions at the start of each episode of reinforcement learning. Overall, we show that our algorithm and training approach can generalize learning for collision-free evacuation of environments with complex obstacle configurations. It is evident that the agent can navigate to a goal location while avoiding multiple static and dynamic obstacles, and can escape from a concave obstacle while searching for and navigating to the exit.