如何在人群环境中有效导航，具有社会可接受的标准仍然是移动机器人发展的关键问题。最近的工作表明了深度加强学习在寻址人群导航方面的有效性，但随着行人的速度增加，学习变得逐渐减少。为了提高深度加强学习的有效性，我们通过在奖励函数中引入相对速度的惩罚项重新设计奖励功能。新设计的奖励功能在三个主流深度加强学习算法上进行了测试：深度加强学习碰撞避免（CADRL），基于深度学习的长期记忆（LSTM RL），以及基于社会主义立阵（SARL）的加固学习。实验结果表明，我们的模型以更安全的方式导航，优先于诸如成功率，碰撞率和危险频率的关键指标中的当前模型。

人类感知机器人导航有一系列应用程序，其中移动机器人对普通人类环境中的人们带来多功能援助。虽然现有研究主要集中在以独立，故意个人为独立的，但人们进入群体;因此，移动机器人必须在围绕人们时尊重人群。本文探讨了使用深度加强学习的基于动态组形成的学习群体感知导航策略。通过仿真实验，我们展示了与忽视人类群体的基线政策相比，群体感知政策实现了更大的机器人导航性能（例如，较少的碰撞），尽量减少侵犯社会规范和不适，并减少机器人对行人的运动影响。我们的成果有助于发展社会导航和移动机器人将移动机器人集成到人类环境中。

援助机器人在物流和人类援助等各个行业中广泛关注。在拥挤的环境（例如机场或火车站）携带重量或货物的指导或关注人类的任务仍然是一个空旷的问题。在这些用例中，机器人不仅需要与人类智能互动，而且需要在人群中安全地进行互动。因此，尤其是高度动态的环境，由于人类的挥发性行为模式和不可预测的运动，构成了巨大的挑战。在本文中，我们提出了一种基于深入的学习媒介，用于在拥挤的环境中进行人类引导和遵守任务。因此，我们合并了语义信息，以向代理提供高级信息，例如人类，安全模型和班级类型的社会状态。我们在没有语义信息的情况下根据基准方法评估了我们的建议方法，并证明了导航的安全性和鲁棒性增强。此外，我们证明了代理可以学会将其行为适应人类，从而大大改善了人类机器人的相互作用。

为多个机器人制定安全，稳定和高效的避免障碍政策是具有挑战性的。大多数现有研究要么使用集中控制，要么需要与其他机器人进行通信。在本文中，我们提出了一种基于对数地图的新型对数深度强化学习方法，以避免复杂且无通信的多机器人方案。特别是，我们的方法将激光信息转换为对数图。为了提高训练速度和概括性能，我们的政策将在两个专门设计的多机器人方案中进行培训。与其他方法相比，对数图可以更准确地表示障碍，并提高避免障碍的成功率。我们最终在各种模拟和现实情况下评估了我们的方法。结果表明，我们的方法为复杂的多机器人场景和行人场景中的机器人提供了一种更稳定，更有效的导航解决方案。视频可在https://youtu.be/r0esuxe6mze上找到。

Robot navigation in dynamic environments shared with humans is an important but challenging task, which suffers from performance deterioration as the crowd grows. In this paper, multi-subgoal robot navigation approach based on deep reinforcement learning is proposed, which can reason about more comprehensive relationships among all agents (robot and humans). Specifically, the next position point is planned for the robot by introducing history information and interactions in our work. Firstly, based on subgraph network, the history information of all agents is aggregated before encoding interactions through a graph neural network, so as to improve the ability of the robot to anticipate the future scenarios implicitly. Further consideration, in order to reduce the probability of unreliable next position points, the selection module is designed after policy network in the reinforcement learning framework. In addition, the next position point generated from the selection module satisfied the task requirements better than that obtained directly from the policy network. The experiments demonstrate that our approach outperforms state-of-the-art approaches in terms of both success rate and collision rate, especially in crowded human environments.

Efficient use of the space in an elevator is very necessary for a service robot, due to the need for reducing the amount of time caused by waiting for the next elevator. To provide a solution for this, we propose a hybrid approach that combines reinforcement learning (RL) with voice interaction for robot navigation in the scene of entering the elevator. RL provides robots with a high exploration ability to find a new clear path to enter the elevator compared to traditional navigation methods such as Optimal Reciprocal Collision Avoidance (ORCA). The proposed method allows the robot to take an active clear path action towards the elevator whilst a crowd of people stands at the entrance of the elevator wherein there are still lots of space. This is done by embedding a clear path action (voice prompt) into the RL framework, and the proposed navigation policy helps the robot to finish tasks efficiently and safely. Our model approach provides a great improvement in the success rate and reward of entering the elevator compared to state-of-the-art navigation policies without active clear path operation.

这项工作通过建立最近提出的轨迹排名最大的熵深逆增强学习（T-Medirl），为拥挤的环境中具有社会意识的本地规划师的新框架提出了一个新的框架。为了解决社会导航问题，我们的多模式学习计划者明确考虑了社会互动因素以及社会意识因素，以从T-Medirl Pipeline中学习，以从人类的示范中学习奖励功能。此外，我们建议使用机器人周围行人的突然速度变化来解决人类示范中的亚临时性。我们的评估表明，这种方法可以成功地使机器人在拥挤的社交环境中导航，并在成功率，导航时间和入侵率方面胜过最先进的社会导航方法。

我们研究了密集和互动人群中安全和意图意识到的机器人导航的问题。大多数以前的强化学习（RL）方法无法考虑所有代理之间的不同类型的相互作用或忽略人的意图，从而导致绩效降级。在本文中，我们提出了一个新型的复发图神经网络，具有注意机制，以通过空间和时间捕获代理之间的异质相互作用。为了鼓励长远的机器人行为，我们通过预测其未来的轨迹在几个时间段中来推断动态代理的意图。预测被纳入无模型的RL框架中，以防止机器人侵入其他试剂的预期路径。我们证明我们的方法使机器人能够在挑战人群导航方案中实现良好的导航性能和无侵入性。我们成功地将模拟中学到的政策转移到了现实世界中的Turtlebot 2i。

模拟虚拟人群的轨迹是计算机图形中通常遇到的任务。最近的一些作品应用了强化学习方法来使虚拟代理动画，但是在基本模拟设置方面，它们通常会做出不同的设计选择。这些选择中的每一个都有合理的使用依据，因此并不明显其真正的影响是什么，以及它们如何影响结果。在这项工作中，我们从对学习绩效的影响以及根据能源效率测得的模拟的质量分析了其中一些任意选择。我们对奖励函数设计的性质进行理论分析，并经验评估使用某些观察和动作空间对各种情况的影响，并将奖励函数和能量使用作为指标。我们表明，直接使用相邻代理的信息作为观察，通常优于更广泛使用的射线播放。同样，与具有绝对观察结果的自动对照相比，使用具有以自我为中心的观察的非体力学对照倾向于产生更有效的行为。这些选择中的每一个都对结果产生重大且潜在的非平凡影响，因此研究人员应该注意选择和报告他们的工作。

社会意识的机器人导航，其中需要机器人来优化其轨迹，除了到达没有碰撞的目标的目标外，还可以保持与人类的舒适和柔顺的空间互动，是人类背景下导航机器人的基本尚容的任务-robot互动。随着基于学习的方法已经实现了比以前的基于模型的方法更好的性能，它们仍然存在一些缺点：加强学习方法，在手工制作的奖励中回复优化，不太可能全面地模拟社会合会，可以导致奖励剥削问题;通过人类示范学习政策的反增强学习方法遭受昂贵的和部分样本，并且需要广泛的特征工程来合理。在本文中，我们提出了Fapl，一种反馈高效的互动强化学习方法，蒸煮了人的偏好和舒适性，成为奖励模型，作为指导代理人探索社会合准性的潜在方面的教师。介绍了混合体验和违规学习，以提高样品和人体反馈的效率。广泛的模拟实验证明了FAPPL的优势。用户学习，在现实世界中，在现实世界的情况下与人类导航的情况，进一步评估了定性地评估了学习机器人行为的好处。

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

Autonomous navigation in crowded spaces poses a challenge for mobile robots due to the highly dynamic, partially observable environment. Occlusions are highly prevalent in such settings due to a limited sensor field of view and obstructing human agents. Previous work has shown that observed interactive behaviors of human agents can be used to estimate potential obstacles despite occlusions. We propose integrating such social inference techniques into the planning pipeline. We use a variational autoencoder with a specially designed loss function to learn representations that are meaningful for occlusion inference. This work adopts a deep reinforcement learning approach to incorporate the learned representation for occlusion-aware planning. In simulation, our occlusion-aware policy achieves comparable collision avoidance performance to fully observable navigation by estimating agents in occluded spaces. We demonstrate successful policy transfer from simulation to the real-world Turtlebot 2i. To the best of our knowledge, this work is the first to use social occlusion inference for crowd navigation.

Safe and efficient co-planning of multiple robots in pedestrian participation environments is promising for applications. In this work, a novel multi-robot social-aware efficient cooperative planner that on the basis of off-policy multi-agent reinforcement learning (MARL) under partial dimension-varying observation and imperfect perception conditions is proposed. We adopt temporal-spatial graph (TSG)-based social encoder to better extract the importance of social relation between each robot and the pedestrians in its field of view (FOV). Also, we introduce K-step lookahead reward setting in multi-robot RL framework to avoid aggressive, intrusive, short-sighted, and unnatural motion decisions generated by robots. Moreover, we improve the traditional centralized critic network with multi-head global attention module to better aggregates local observation information among different robots to guide the process of individual policy update. Finally, multi-group experimental results verify the effectiveness of the proposed cooperative motion planner.

分散的多代理导航的代理缺乏世界知识，无法可靠地制定安全和（接近）最佳计划。他们将决定基于邻居的可观察状态，这隐藏了邻居的导航意图。我们提出了通过机构间沟通的增强分散导航，以提高其绩效和援助代理，以做出合理的导航决策。在这方面，我们提出了一种新颖的增强学习方法，用于使用选择性间隔沟通来避免多代理碰撞。我们的网络学会决定“何时”并与“谁”交流，以端到端的方式索取其他信息。我们将沟通选择作为链接预测问题，在该问题中，如果可以观察到的信息，网络可以预测是否需要通信。传达的信息增加了观察到的邻居信息以选择合适的导航计划。随着机器人的邻居数量的变化，我们使用多头自发项机制来编码邻居信息并创建固定长度的观察向量。我们验证我们提出的方法在挑战模拟基准中实现了多个机器人之间的安全有效导航。通过学习的通信，我们的网络的性能比在各种指标（例如到目标和碰撞频率）中的现有分散方法的表现要好得多。此外，我们展示了网络有效地学会在高复杂性情况下进行必要时进行交流。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

多机器人导航是一项具有挑战性的任务，其中必须在动态环境中同时协调多个机器人。我们应用深入的加固学习（DRL）来学习分散的端到端策略，该政策将原始传感器数据映射到代理的命令速度。为了使政策概括，培训是在不同的环境和场景中进行的。在常见的多机器人场景中测试和评估了学识渊博的政策，例如切换一个地方，交叉路口和瓶颈情况。此策略使代理可以从死端恢复并浏览复杂的环境。

尽管数十年的努力，但在真正的情景中的机器人导航具有波动性，不确定性，复杂性和歧义（vuca短暂），仍然是一个具有挑战性的话题。受到中枢神经系统（CNS）的启发，我们提出了一个在Vuca环境中的自主导航的分层多专家学习框架。通过考虑目标位置，路径成本和安全水平的启发式探索机制，上层执行同时映射探索和路线规划，以避免陷入盲巷，类似于CNS中的大脑。使用本地自适应模型融合多种差异策略，下层追求碰撞 - 避免和直接策略之间的平衡，作为CNS中的小脑。我们在多个平台上进行仿真和实际实验，包括腿部和轮式机器人。实验结果表明我们的算法在任务成就，时间效率和安全性方面优于现有方法。

在动态人类环境中，机器人安全，以社会符合社会的方式移动是长期机器人自主权的必要基准。但是，完全在现实世界中学习和基准基准社会导航行为是不可行的，因为学习是数据密集型的，并且在培训期间提供安全保证是一项挑战。因此，需要基于仿真的基准测试，这些基准需要为社会导航提供抽象。这些基准测试的框架将需要支持各种各样的学习方法，对广泛的社会导航情景可扩展，并抽象出感知问题，以明确关注社会导航。尽管有许多提出的解决方案，包括高保真3D模拟器和网格世界近似，但现有的解决方案尚未满足上述所有用于学习和评估社会导航行为的属性。在这项工作中，我们提出了SocialGym，这是一个轻巧的2D模拟环境，用于机器人社交导航，并考虑到可扩展性，以及基于SocialGym的基准场景。此外，我们提出了基准结果，将人类工程和基于模型的学习方法比较和对比，以从演示（LFD）（LFD）和增强学习（RL）方法（RL）方法（适用于社交机器人导航）进行了构想。这些结果证明了评估的每项政策的数据效率，任务绩效，社会合规性和环境转移能力，以为未来的社会导航研究提供扎实的基础。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

通过直接将感知输入映射到机器人控制命令中，深入的强化学习（DRL）算法已被证明在机器人导航中有效，尤其是在未知环境中。但是，大多数现有方法忽略导航中的局部最小问题，从而无法处理复杂的未知环境。在本文中，我们提出了第一个基于DRL的导航方法，该方法由具有连续动作空间，自适应向前模拟时间（AFST）的SMDP建模，以克服此问题。具体而言，我们通过修改其GAE来更好地估计SMDP中的策略梯度，改善了指定SMDP问题的分布式近端策略优化（DPPO）算法。我们在模拟器和现实世界中评估了我们的方法。