Autonomous navigation in crowded spaces poses a challenge for mobile robots due to the highly dynamic, partially observable environment. Occlusions are highly prevalent in such settings due to a limited sensor field of view and obstructing human agents. Previous work has shown that observed interactive behaviors of human agents can be used to estimate potential obstacles despite occlusions. We propose integrating such social inference techniques into the planning pipeline. We use a variational autoencoder with a specially designed loss function to learn representations that are meaningful for occlusion inference. This work adopts a deep reinforcement learning approach to incorporate the learned representation for occlusion-aware planning. In simulation, our occlusion-aware policy achieves comparable collision avoidance performance to fully observable navigation by estimating agents in occluded spaces. We demonstrate successful policy transfer from simulation to the real-world Turtlebot 2i. To the best of our knowledge, this work is the first to use social occlusion inference for crowd navigation.

我们研究了密集和互动人群中安全和意图意识到的机器人导航的问题。大多数以前的强化学习（RL）方法无法考虑所有代理之间的不同类型的相互作用或忽略人的意图，从而导致绩效降级。在本文中，我们提出了一个新型的复发图神经网络，具有注意机制，以通过空间和时间捕获代理之间的异质相互作用。为了鼓励长远的机器人行为，我们通过预测其未来的轨迹在几个时间段中来推断动态代理的意图。预测被纳入无模型的RL框架中，以防止机器人侵入其他试剂的预期路径。我们证明我们的方法使机器人能够在挑战人群导航方案中实现良好的导航性能和无侵入性。我们成功地将模拟中学到的政策转移到了现实世界中的Turtlebot 2i。

自治车辆必须推理城市环境中的空间闭塞，以确保安全性而不会过于谨慎。前工作探索了观察到的道路代理人的社会行为的闭塞推动，因此将人们视为传感器。从代理行为推断出占用是一种固有的多模式问题;驾驶员可以同样地表现出与它们之前的不同占用模式类似（例如，驾驶员可以以恒定速度或在开放的道路上移动）。然而，过去的工作不考虑这种多层性，从而忽略了在驾驶员行为及其环境之间的关系中模拟了这种梯级不确定性的来源。我们提出了一种遮挡推理方法，其特征是观察人员的行为作为传感器测量，并将它们与标准传感器套件的熔断器融合。为了捕获炼泥的不确定性，我们用离散的潜在空间训练一个条件变形AutoEncoder，以学习从观察到的驾驶员轨迹到驾驶员前方视图的占用网格表示的多模式映射。我们的方法处理多代理场景，使用证据理论将来自多个观察到的驱动因素的测量结果组合以解决传感器融合问题。我们的方法在真实的数据集中验证，表现出基线，并展示实时能力的性能。我们的代码可在https://github.com/sisl/multiagentvarizingalocclusionInferience获得。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

这项工作通过建立最近提出的轨迹排名最大的熵深逆增强学习（T-Medirl），为拥挤的环境中具有社会意识的本地规划师的新框架提出了一个新的框架。为了解决社会导航问题，我们的多模式学习计划者明确考虑了社会互动因素以及社会意识因素，以从T-Medirl Pipeline中学习，以从人类的示范中学习奖励功能。此外，我们建议使用机器人周围行人的突然速度变化来解决人类示范中的亚临时性。我们的评估表明，这种方法可以成功地使机器人在拥挤的社交环境中导航，并在成功率，导航时间和入侵率方面胜过最先进的社会导航方法。

Robot navigation in dynamic environments shared with humans is an important but challenging task, which suffers from performance deterioration as the crowd grows. In this paper, multi-subgoal robot navigation approach based on deep reinforcement learning is proposed, which can reason about more comprehensive relationships among all agents (robot and humans). Specifically, the next position point is planned for the robot by introducing history information and interactions in our work. Firstly, based on subgraph network, the history information of all agents is aggregated before encoding interactions through a graph neural network, so as to improve the ability of the robot to anticipate the future scenarios implicitly. Further consideration, in order to reduce the probability of unreliable next position points, the selection module is designed after policy network in the reinforcement learning framework. In addition, the next position point generated from the selection module satisfied the task requirements better than that obtained directly from the policy network. The experiments demonstrate that our approach outperforms state-of-the-art approaches in terms of both success rate and collision rate, especially in crowded human environments.

尽管数十年的努力，但在真正的情景中的机器人导航具有波动性，不确定性，复杂性和歧义（vuca短暂），仍然是一个具有挑战性的话题。受到中枢神经系统（CNS）的启发，我们提出了一个在Vuca环境中的自主导航的分层多专家学习框架。通过考虑目标位置，路径成本和安全水平的启发式探索机制，上层执行同时映射探索和路线规划，以避免陷入盲巷，类似于CNS中的大脑。使用本地自适应模型融合多种差异策略，下层追求碰撞 - 避免和直接策略之间的平衡，作为CNS中的小脑。我们在多个平台上进行仿真和实际实验，包括腿部和轮式机器人。实验结果表明我们的算法在任务成就，时间效率和安全性方面优于现有方法。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

Learning how to navigate among humans in an occluded and spatially constrained indoor environment, is a key ability required to embodied agent to be integrated into our society. In this paper, we propose an end-to-end architecture that exploits Socially-Aware Tasks (referred as to Risk and Social Compass) to inject into a reinforcement learning navigation policy the ability to infer common-sense social behaviors. To this end, our tasks exploit the notion of immediate and future dangers of collision. Furthermore, we propose an evaluation protocol specifically designed for the Social Navigation Task in simulated environments. This is done to capture fine-grained features and characteristics of the policy by analyzing the minimal unit of human-robot spatial interaction, called Encounter. We validate our approach on Gibson4+ and Habitat-Matterport3D datasets.

人类感知机器人导航有一系列应用程序，其中移动机器人对普通人类环境中的人们带来多功能援助。虽然现有研究主要集中在以独立，故意个人为独立的，但人们进入群体;因此，移动机器人必须在围绕人们时尊重人群。本文探讨了使用深度加强学习的基于动态组形成的学习群体感知导航策略。通过仿真实验，我们展示了与忽视人类群体的基线政策相比，群体感知政策实现了更大的机器人导航性能（例如，较少的碰撞），尽量减少侵犯社会规范和不适，并减少机器人对行人的运动影响。我们的成果有助于发展社会导航和移动机器人将移动机器人集成到人类环境中。

社会意识的机器人导航，其中需要机器人来优化其轨迹，除了到达没有碰撞的目标的目标外，还可以保持与人类的舒适和柔顺的空间互动，是人类背景下导航机器人的基本尚容的任务-robot互动。随着基于学习的方法已经实现了比以前的基于模型的方法更好的性能，它们仍然存在一些缺点：加强学习方法，在手工制作的奖励中回复优化，不太可能全面地模拟社会合会，可以导致奖励剥削问题;通过人类示范学习政策的反增强学习方法遭受昂贵的和部分样本，并且需要广泛的特征工程来合理。在本文中，我们提出了Fapl，一种反馈高效的互动强化学习方法，蒸煮了人的偏好和舒适性，成为奖励模型，作为指导代理人探索社会合准性的潜在方面的教师。介绍了混合体验和违规学习，以提高样品和人体反馈的效率。广泛的模拟实验证明了FAPPL的优势。用户学习，在现实世界中，在现实世界的情况下与人类导航的情况，进一步评估了定性地评估了学习机器人行为的好处。

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

可靠的导航系统在机器人技术和自动驾驶中具有广泛的应用。当前方法采用开环过程，将传感器输入直接转换为动作。但是，这些开环方案由于概括不佳而在处理复杂而动态的现实情况方面具有挑战性。在模仿人类导航的情况下，我们添加了一个推理过程，将动作转换回内部潜在状态，形成了两阶段的感知，决策和推理的封闭环路。首先，VAE增强的演示学习赋予了模型对基本导航规则的理解。然后，在RL增强交互学习中的两个双重过程彼此产生奖励反馈，并共同增强了避免障碍能力。推理模型可以实质上促进概括和鲁棒性，并促进算法将算法的部署到现实世界的机器人，而无需精心转移。实验表明，与最先进的方法相比，我们的方法更适合新型方案。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

如何在人群环境中有效导航，具有社会可接受的标准仍然是移动机器人发展的关键问题。最近的工作表明了深度加强学习在寻址人群导航方面的有效性，但随着行人的速度增加，学习变得逐渐减少。为了提高深度加强学习的有效性，我们通过在奖励函数中引入相对速度的惩罚项重新设计奖励功能。新设计的奖励功能在三个主流深度加强学习算法上进行了测试：深度加强学习碰撞避免（CADRL），基于深度学习的长期记忆（LSTM RL），以及基于社会主义立阵（SARL）的加固学习。实验结果表明，我们的模型以更安全的方式导航，优先于诸如成功率，碰撞率和危险频率的关键指标中的当前模型。

本文提出了一种基于强化学习的导航方法，在其中我们将占用观测定义为运动原始启发式评估，而不是使用原始传感器数据。我们的方法可以将多传感器融合生成的占用数据快速映射到3D工作区中的轨迹值中。计算有效的轨迹评估允许对动作空间进行密集采样。我们利用不同数据结构中的占用观测来分析其对培训过程和导航性能的影响。我们在基于物理的仿真环境（包括静态和动态障碍）中对两个不同机器人进行训练和测试。我们通过最先进方法的其他常规数据结构对我们的占用表示进行基准测试。在动态环境中，通过物理机器人成功验证了训练有素的导航政策。结果表明，与其他占用表示相比，我们的方法不仅减少了所需的训练时间，还可以改善导航性能。我们的工作和所有相关信息的开源实现可从\ url {https://github.com/river-lab/tentabot}获得。

在动态人类环境中，机器人安全，以社会符合社会的方式移动是长期机器人自主权的必要基准。但是，完全在现实世界中学习和基准基准社会导航行为是不可行的，因为学习是数据密集型的，并且在培训期间提供安全保证是一项挑战。因此，需要基于仿真的基准测试，这些基准需要为社会导航提供抽象。这些基准测试的框架将需要支持各种各样的学习方法，对广泛的社会导航情景可扩展，并抽象出感知问题，以明确关注社会导航。尽管有许多提出的解决方案，包括高保真3D模拟器和网格世界近似，但现有的解决方案尚未满足上述所有用于学习和评估社会导航行为的属性。在这项工作中，我们提出了SocialGym，这是一个轻巧的2D模拟环境，用于机器人社交导航，并考虑到可扩展性，以及基于SocialGym的基准场景。此外，我们提出了基准结果，将人类工程和基于模型的学习方法比较和对比，以从演示（LFD）（LFD）和增强学习（RL）方法（RL）方法（适用于社交机器人导航）进行了构想。这些结果证明了评估的每项政策的数据效率，任务绩效，社会合规性和环境转移能力，以为未来的社会导航研究提供扎实的基础。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。