在动态人类环境中，机器人安全，以社会符合社会的方式移动是长期机器人自主权的必要基准。但是，完全在现实世界中学习和基准基准社会导航行为是不可行的，因为学习是数据密集型的，并且在培训期间提供安全保证是一项挑战。因此，需要基于仿真的基准测试，这些基准需要为社会导航提供抽象。这些基准测试的框架将需要支持各种各样的学习方法，对广泛的社会导航情景可扩展，并抽象出感知问题，以明确关注社会导航。尽管有许多提出的解决方案，包括高保真3D模拟器和网格世界近似，但现有的解决方案尚未满足上述所有用于学习和评估社会导航行为的属性。在这项工作中，我们提出了SocialGym，这是一个轻巧的2D模拟环境，用于机器人社交导航，并考虑到可扩展性，以及基于SocialGym的基准场景。此外，我们提出了基准结果，将人类工程和基于模型的学习方法比较和对比，以从演示（LFD）（LFD）和增强学习（RL）方法（RL）方法（适用于社交机器人导航）进行了构想。这些结果证明了评估的每项政策的数据效率，任务绩效，社会合规性和环境转移能力，以为未来的社会导航研究提供扎实的基础。

对于移动机器人来说，自主行驶安全性的能力，尤其是在动态环境中的能力至关重要。近年来，DRL方法在避免动态障碍物方面表现出了出色的表现。但是，这些基于学习的方法通常是在专门设计的仿真环境中开发的，并且很难针对传统的计划方法进行测试。此外，这些方法将这些方法的集成和部署到真正的机器人平台中尚未完全解决。在本文中，我们介绍了Arena-Bench，这是一套基准套件，可在3D环境中在不同机器人平台上进行训练，测试和评估导航计划者。它提供了设计和生成高度动态评估世界，场景和自动导航任务的工具，并已完全集成到机器人操作系统中。为了展示我们套件的功能，我们在平台上培训了DRL代理，并将其与各种相关指标上的各种现有基于模型和学习的导航方法进行了比较。最后，我们将方法部署到了真实的机器人方面，并证明了结果的可重复性。该代码可在github.com/ignc-research/arena-bench上公开获得。

这项工作通过建立最近提出的轨迹排名最大的熵深逆增强学习（T-Medirl），为拥挤的环境中具有社会意识的本地规划师的新框架提出了一个新的框架。为了解决社会导航问题，我们的多模式学习计划者明确考虑了社会互动因素以及社会意识因素，以从T-Medirl Pipeline中学习，以从人类的示范中学习奖励功能。此外，我们建议使用机器人周围行人的突然速度变化来解决人类示范中的亚临时性。我们的评估表明，这种方法可以成功地使机器人在拥挤的社交环境中导航，并在成功率，导航时间和入侵率方面胜过最先进的社会导航方法。

人类感知机器人导航有一系列应用程序，其中移动机器人对普通人类环境中的人们带来多功能援助。虽然现有研究主要集中在以独立，故意个人为独立的，但人们进入群体;因此，移动机器人必须在围绕人们时尊重人群。本文探讨了使用深度加强学习的基于动态组形成的学习群体感知导航策略。通过仿真实验，我们展示了与忽视人类群体的基线政策相比，群体感知政策实现了更大的机器人导航性能（例如，较少的碰撞），尽量减少侵犯社会规范和不适，并减少机器人对行人的运动影响。我们的成果有助于发展社会导航和移动机器人将移动机器人集成到人类环境中。

Sociability is essential for modern robots to increase their acceptability in human environments. Traditional techniques use manually engineered utility functions inspired by observing pedestrian behaviors to achieve social navigation. However, social aspects of navigation are diverse, changing across different types of environments, societies, and population densities, making it unrealistic to use hand-crafted techniques in each domain. This paper presents a data-driven navigation architecture that uses state-of-the-art neural architectures, namely Conditional Neural Processes, to learn global and local controllers of the mobile robot from observations. Additionally, we leverage a state-of-the-art, deep prediction mechanism to detect situations not similar to the trained ones, where reactive controllers step in to ensure safe navigation. Our results demonstrate that the proposed framework can successfully carry out navigation tasks regarding social norms in the data. Further, we showed that our system produces fewer personal-zone violations, causing less discomfort.

模拟虚拟人群的轨迹是计算机图形中通常遇到的任务。最近的一些作品应用了强化学习方法来使虚拟代理动画，但是在基本模拟设置方面，它们通常会做出不同的设计选择。这些选择中的每一个都有合理的使用依据，因此并不明显其真正的影响是什么，以及它们如何影响结果。在这项工作中，我们从对学习绩效的影响以及根据能源效率测得的模拟的质量分析了其中一些任意选择。我们对奖励函数设计的性质进行理论分析，并经验评估使用某些观察和动作空间对各种情况的影响，并将奖励函数和能量使用作为指标。我们表明，直接使用相邻代理的信息作为观察，通常优于更广泛使用的射线播放。同样，与具有绝对观察结果的自动对照相比，使用具有以自我为中心的观察的非体力学对照倾向于产生更有效的行为。这些选择中的每一个都对结果产生重大且潜在的非平凡影响，因此研究人员应该注意选择和报告他们的工作。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

本文提出了一种基于强化学习的导航方法，在其中我们将占用观测定义为运动原始启发式评估，而不是使用原始传感器数据。我们的方法可以将多传感器融合生成的占用数据快速映射到3D工作区中的轨迹值中。计算有效的轨迹评估允许对动作空间进行密集采样。我们利用不同数据结构中的占用观测来分析其对培训过程和导航性能的影响。我们在基于物理的仿真环境（包括静态和动态障碍）中对两个不同机器人进行训练和测试。我们通过最先进方法的其他常规数据结构对我们的占用表示进行基准测试。在动态环境中，通过物理机器人成功验证了训练有素的导航政策。结果表明，与其他占用表示相比，我们的方法不仅减少了所需的训练时间，还可以改善导航性能。我们的工作和所有相关信息的开源实现可从\ url {https://github.com/river-lab/tentabot}获得。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

This paper addresses the kinodynamic motion planning for non-holonomic robots in dynamic environments with both static and dynamic obstacles -- a challenging problem that lacks a universal solution yet. One of the promising approaches to solve it is decomposing the problem into the smaller sub problems and combining the local solutions into the global one. The crux of any planning method for non-holonomic robots is the generation of motion primitives that generates solutions to local planning sub-problems. In this work we introduce a novel learnable steering function (policy), which takes into account kinodynamic constraints of the robot and both static and dynamic obstacles. This policy is efficiently trained via the policy optimization. Empirically, we show that our steering function generalizes well to unseen problems. We then plug in the trained policy into the sampling-based and lattice-based planners, and evaluate the resultant POLAMP algorithm (Policy Optimization that Learns Adaptive Motion Primitives) in a range of challenging setups that involve a car-like robot operating in the obstacle-rich parking-lot environments. We show that POLAMP is able to plan collision-free kinodynamic trajectories with success rates higher than 92%, when 50 simultaneously moving obstacles populate the environment showing better performance than the state-of-the-art competitors.

谷仓（基准自动驾驶机器人导航）挑战在宾夕法尼亚州费城的2022年IEEE国际机器人和自动化国际会议（ICRA 2022）举行。挑战的目的是评估最先进的自动地面导航系统，以安全有效的方式将机器人通过高度约束的环境移动。具体而言，任务是将标准化的差分驱动地面机器人从预定义的开始位置导航到目标位置，而不会与模拟和现实世界中的任何障碍相撞。来自世界各地的五支球队参加了合格的模拟比赛，其中三支受邀在费城会议中心的一组身体障碍课程中相互竞争。竞争结果表明，尽管表面上显得简单，即使对于经验丰富的机器人主义者来说，在高度约束空间中的自主地面导航实际上远非解决问题。在本文中，我们讨论了挑战，前三名获胜团队所使用的方法以及学到的教训以指导未来的研究。

众所周知，很难拥有一个可靠且强大的框架来将多代理深入强化学习算法与实用的多机器人应用联系起来。为了填补这一空白，我们为称为MultiroBolearn1的多机器人系统提出并构建了一个开源框架。该框架构建了统一的模拟和现实应用程序设置。它旨在提供标准的，易于使用的模拟方案，也可以轻松地将其部署到现实世界中的多机器人环境中。此外，该框架为研究人员提供了一个基准系统，以比较不同的强化学习算法的性能。我们使用不同类型的多代理深钢筋学习算法在离散和连续的动作空间中使用不同类型的多代理深钢筋学习算法来证明框架的通用性，可扩展性和能力。

我们通过策略提取（MSVIPER）提出了多种可验证的增强学习，这是一种策略蒸馏到决策树以改进机器人导航的新方法。 MSVIPER使用任何强化学习（RL）技术来学习一项“专家”政策，涉及学习国家行动映射，然后使用模仿学习来从中学习决策树策略。我们证明，MSVIPER会导致有效的决策树，并可以准确模仿专家政策的行为。此外，我们提出了有效的政策蒸馏和树修改技术，这些技术利用决策树结构，可以改进政策而无需再培训。我们使用我们的方法来改善用于室内和室外场景的基于RL的机器人导航算法的性能。我们证明了在减少冻结和振荡行为（减少95 \％降低）方面的好处。

本文介绍了一个混合在线的部分可观察到的马尔可夫决策过程（POMDP）计划系统，该系统在存在环境中其他代理商引入的多模式不确定性的情况下解决了自主导航的问题。作为一个特别的例子，我们考虑了密集的行人和障碍物中的自主航行问题。该问题的流行方法首先使用完整的计划者（例如，混合A*）生成一条路径，具有对不确定性的临时假设，然后使用基于在线树的POMDP求解器来解决问题的不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应的实时方法，使POMDP规划师能够控制更多的自由度（例如，速度和标题），以实现更灵活，更有效的解决方案。这种修改大大扩展了POMDP规划师必须推荐的国家空间区域，从而大大提高了在实时控制提供的有限计算预算中找到有效的推出政策的重要性。我们的关键见解是使用多Query运动计划技术（例如，概率路线图或快速行进方法）作为先验，以快速生成在有限的地平线搜索中POMDP规划树可能达到的每个状态的高效推出政策。我们提出的方法产生的轨迹比以前的方法更安全，更有效，即使在较长的计划范围内密集拥挤的动态环境中。

移动操作（MM）系统是在非结构化现实世界环境中扮演个人助理角色的理想候选者。除其他挑战外，MM需要有效协调机器人的实施例，以执行需要移动性和操纵的任务。强化学习（RL）的承诺是将机器人具有自适应行为，但是大多数方法都需要大量的数据来学习有用的控制策略。在这项工作中，我们研究了机器人可及先验在参与者批判性RL方法中的整合，以加速学习和获取任务的MM学习。也就是说，我们考虑了最佳基础位置的问题以及是否激活ARM达到6D目标的后续决定。为此，我们设计了一种新型的混合RL方法，该方法可以共同处理离散和连续的动作，从而诉诸Gumbel-Softmax重新聚集化。接下来，我们使用来自经典方法的操作机器人工作区中的数据训练可及性。随后，我们得出了增强的混合RL（BHYRL），这是一种通过将其建模为残留近似器的总和来学习Q功能的新型算法。每当需要学习新任务时，我们都可以转移我们学到的残差并了解特定于任务的Q功能的组成部分，从而从先前的行为中维护任务结构。此外，我们发现将目标政策与先前的策略正规化产生更多的表达行为。我们评估了我们在达到难度增加和提取任务的模拟方面的方法，并显示了Bhyrl在基线方法上的卓越性能。最后，我们用Bhyrl零转移了我们学到的6D提取政策，以归功于我们的MM机器人Tiago ++。有关更多详细信息和代码发布，请参阅我们的项目网站：irosalab.com/rlmmbp

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

我们研究了密集和互动人群中安全和意图意识到的机器人导航的问题。大多数以前的强化学习（RL）方法无法考虑所有代理之间的不同类型的相互作用或忽略人的意图，从而导致绩效降级。在本文中，我们提出了一个新型的复发图神经网络，具有注意机制，以通过空间和时间捕获代理之间的异质相互作用。为了鼓励长远的机器人行为，我们通过预测其未来的轨迹在几个时间段中来推断动态代理的意图。预测被纳入无模型的RL框架中，以防止机器人侵入其他试剂的预期路径。我们证明我们的方法使机器人能够在挑战人群导航方案中实现良好的导航性能和无侵入性。我们成功地将模拟中学到的政策转移到了现实世界中的Turtlebot 2i。

通过直接将感知输入映射到机器人控制命令中，深入的强化学习（DRL）算法已被证明在机器人导航中有效，尤其是在未知环境中。但是，大多数现有方法忽略导航中的局部最小问题，从而无法处理复杂的未知环境。在本文中，我们提出了第一个基于DRL的导航方法，该方法由具有连续动作空间，自适应向前模拟时间（AFST）的SMDP建模，以克服此问题。具体而言，我们通过修改其GAE来更好地估计SMDP中的策略梯度，改善了指定SMDP问题的分布式近端策略优化（DPPO）算法。我们在模拟器和现实世界中评估了我们的方法。