本文介绍了一个混合在线的部分可观察到的马尔可夫决策过程（POMDP）计划系统，该系统在存在环境中其他代理商引入的多模式不确定性的情况下解决了自主导航的问题。作为一个特别的例子，我们考虑了密集的行人和障碍物中的自主航行问题。该问题的流行方法首先使用完整的计划者（例如，混合A*）生成一条路径，具有对不确定性的临时假设，然后使用基于在线树的POMDP求解器来解决问题的不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应的实时方法，使POMDP规划师能够控制更多的自由度（例如，速度和标题），以实现更灵活，更有效的解决方案。这种修改大大扩展了POMDP规划师必须推荐的国家空间区域，从而大大提高了在实时控制提供的有限计算预算中找到有效的推出政策的重要性。我们的关键见解是使用多Query运动计划技术（例如，概率路线图或快速行进方法）作为先验，以快速生成在有限的地平线搜索中POMDP规划树可能达到的每个状态的高效推出政策。我们提出的方法产生的轨迹比以前的方法更安全，更有效，即使在较长的计划范围内密集拥挤的动态环境中。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

This paper addresses the kinodynamic motion planning for non-holonomic robots in dynamic environments with both static and dynamic obstacles -- a challenging problem that lacks a universal solution yet. One of the promising approaches to solve it is decomposing the problem into the smaller sub problems and combining the local solutions into the global one. The crux of any planning method for non-holonomic robots is the generation of motion primitives that generates solutions to local planning sub-problems. In this work we introduce a novel learnable steering function (policy), which takes into account kinodynamic constraints of the robot and both static and dynamic obstacles. This policy is efficiently trained via the policy optimization. Empirically, we show that our steering function generalizes well to unseen problems. We then plug in the trained policy into the sampling-based and lattice-based planners, and evaluate the resultant POLAMP algorithm (Policy Optimization that Learns Adaptive Motion Primitives) in a range of challenging setups that involve a car-like robot operating in the obstacle-rich parking-lot environments. We show that POLAMP is able to plan collision-free kinodynamic trajectories with success rates higher than 92%, when 50 simultaneously moving obstacles populate the environment showing better performance than the state-of-the-art competitors.

这项工作研究了以下假设：与人类驾驶状态的部分可观察到的马尔可夫决策过程（POMDP）计划可以显着提高自动高速公路驾驶的安全性和效率。我们在模拟场景中评估了这一假设，即自动驾驶汽车必须在快速连续中安全执行三个车道变化。通过观测扩大（POMCPOW）算法，通过部分可观察到的蒙特卡洛计划获得了近似POMDP溶液。这种方法的表现优于过度自信和保守的MDP基准，匹配或匹配效果优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的速率降低了一半或将成功率提高50％。

不确定性下的实时计划对于在复杂的动态环境中运行的机器人至关重要。例如，考虑一下，汽车，摩托车，公共汽车等不受监管的城市交通不受监管的自动机器人车辆驾驶。机器人车辆必须在短期和长时间内计划，以便与许多具有不确定意图和不确定意图的交通参与者互动有效驾驶。然而，在很长一段时间内明确规划会产生过度的计算成本，并且在实时限制下是不切实际的。为了实现大规模计划的实时性能，这项工作从树木搜索驾驶（Lets-Drive）中引入了一种新的算法学习，该算法将计划和学习集成到封闭的循环中，并将其应用于拥挤的城市交通中的自动驾驶在模拟中。具体而言，让我们驱动器从在线规划者提供的数据中学习策略及其价值函数，该数据搜索了稀疏采样的信念树；在线规划师依次使用学习的策略和价值功能作为启发式方法来扩展其运行时性能，以实现实时机器人控制。重复这两个步骤以形成一个封闭的循环，以便计划者和学习者相互通知并同步改进。该算法以自我监督的方式自行学习，而无需人工努力明确的数据标记。实验结果表明，让驱动器的表现优于计划或学习，以及计划和学习的开环集成。

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

本研究提出了一种具有动态障碍物和不均匀地形的部分可观察环境中的BipeDal运动的安全任务和运动计划（夯实）的分层综合框架。高级任务规划师采用线性时间逻辑（LTL），用于机器人及其环境之间的反应游戏合成，并为导航安全和任务完成提供正式保证。为了解决环境部分可观察性，在高级导航计划者采用信仰抽象，以估计动态障碍的位置。因此，合成的动作规划器向中级运动规划器发送一组运动动作，同时基于运动过程的阶数模型（ROM）结合从安全定理提取的安全机置规范。运动计划程序采用ROM设计安全标准和采样算法，以生成准确跟踪高级动作的非周期性运动计划。为了解决外部扰动，本研究还调查了关键帧运动状态的安全顺序组成，通过可达性分析实现了对外部扰动的强大转变。最终插值一组基于ROM的超参数，以设计由轨迹优化生成的全身运动机器，并验证基于ROM的可行部署，以敏捷机器人设计的20多个自由的Cassie机器人。

我们向连续状态马尔可夫决策过程（MDP）提出了一种扩散近似方法，该方法可用于解决非结构化的越野环境中的自主导航和控制。与呈现完全已知的状态转换模型的大多数决策定理计划框架相比，我们设计了一种方法，该方法消除了这种强烈假设，这些假设通常非常难以在现实中工程师。我们首先采用价值函数的二阶泰勒扩展。然后通过部分微分方程近似贝尔曼的最优性方程，其仅依赖于转换模型的第一和第二矩。通过组合价值函数的内核表示，然后设计一种有效的策略迭代算法，其策略评估步骤可以表示为特征的方程式的线性系统，其特征是由有限组支持状态。我们首先通过大量的仿真以2D美元的$ 2D $避让和2.5d $地形导航问题进行验证。结果表明，拟议的方法在几个基线上导致了卓越的性能。然后，我们开发一个系统，该系统将我们的决策框架整合，与船上感知，并在杂乱的室内和非结构化的户外环境中进行现实世界的实验。物理系统的结果进一步展示了我们在挑战现实世界环境中的方法的适用性。

这项工作通过建立最近提出的轨迹排名最大的熵深逆增强学习（T-Medirl），为拥挤的环境中具有社会意识的本地规划师的新框架提出了一个新的框架。为了解决社会导航问题，我们的多模式学习计划者明确考虑了社会互动因素以及社会意识因素，以从T-Medirl Pipeline中学习，以从人类的示范中学习奖励功能。此外，我们建议使用机器人周围行人的突然速度变化来解决人类示范中的亚临时性。我们的评估表明，这种方法可以成功地使机器人在拥挤的社交环境中导航，并在成功率，导航时间和入侵率方面胜过最先进的社会导航方法。

人类行为的不确定性对拥挤的城市环境中的自动驾驶构成了重大挑战。部分可观察到的马尔可夫决策过程（POMDP）为不确定性下的计划提供了一个原则的框架，通常利用蒙特卡洛抽样来实现在线绩效进行复杂的任务。但是，抽样还通过潜在缺失关键事件引起了安全问题。为了解决这个问题，我们提出了一种新的算法，学习对驾驶行为（领导者）的关注，这些算法在计划过程中学习了批判性人类行为。领导者学习了一个神经网络生成器，以实时情况下对人类行为的关注。它将注意力集成到信仰空间计划者中，使用重要性抽样来偏向关键事件。为了训练该算法，我们让注意力生成器和计划者组成了最小游戏。通过解决Min-Max游戏，领导者学会了无需人类标签即可执行风险意识的计划。

通过连续行动解决部分可观察到的马尔可夫决策过程（POMDP）是具有挑战性的，尤其是对于高维操作空间。为了减轻这一困难，我们提出了一种新的基于采样的在线POMDP求解器，称为使用Voronoi Trees（Advt）的自适应离散化。它结合使用蒙特卡洛树搜索与动作空间的自适应离散化以及乐观的优化，以有效地采样高维连续的动作空间并计算最佳动作。具体而言，我们使用称为Voronoi树的分层分区来适应每个采样信念的动作空间。 Voronoi树是一种二进制空间分区（BSP），它隐式地将单元格的分区保留为从单元中采样的两个点的伏诺图图。这种分区策略可以保持分区和估计每个细胞的大小的成本，即使在高维空间中，需要许多采样点才能覆盖空间。 Advt使用单元格的估计尺寸形成单元的动作值的上限结合，进而使用上等信心来指导蒙特卡洛树搜索扩展并进一步离散动作空间。该策略使Advt能够更好地利用动作空间中的本地信息，从而导致动作空间离散化更具适应性，因此与现有求解器相比，计算良好的POMDP解决方案的效率更高。对四种基准问题的模拟实验表明，与最新的连续作用POMDP求解器相比，ADVT优于高维连续作用空间的表现要好于高维连续的动作空间。

我们为仓库环境中的移动机器人提供基于新颖的强化学习（RL）任务分配和分散的导航算法。我们的方法是针对各种机器人执行各种接送和交付任务的场景而设计的。我们考虑了联合分散任务分配和导航的问题，并提出了解决该问题的两层方法。在更高级别，我们通过根据马尔可夫决策过程制定任务并选择适当的奖励来最大程度地减少总旅行延迟（TTD）来解决任务分配。在较低级别，我们使用基于ORCA的分散导航方案，使每个机器人能够独立执行这些任务，并避免与其他机器人和动态障碍物发生碰撞。我们通过定义较高级别的奖励作为低级导航算法的反馈来结合这些下层和上层。我们在复杂的仓库布局中进行了广泛的评估，并具有大量代理商，并根据近视拾取距离距离最小化和基于遗憾的任务选择，突出了对最先进算法的好处。我们观察到任务完成时间的改善高达14％，并且在计算机器人的无碰撞轨迹方面提高了40％。

通过直接将感知输入映射到机器人控制命令中，深入的强化学习（DRL）算法已被证明在机器人导航中有效，尤其是在未知环境中。但是，大多数现有方法忽略导航中的局部最小问题，从而无法处理复杂的未知环境。在本文中，我们提出了第一个基于DRL的导航方法，该方法由具有连续动作空间，自适应向前模拟时间（AFST）的SMDP建模，以克服此问题。具体而言，我们通过修改其GAE来更好地估计SMDP中的策略梯度，改善了指定SMDP问题的分布式近端策略优化（DPPO）算法。我们在模拟器和现实世界中评估了我们的方法。

自动驾驶汽车是一项不断发展的技术，旨在通过自动操作从车道变更到超车来提高安全性，可访问性，效率和便利性。超车是自动驾驶汽车最具挑战性的操作之一，当前的自动超车技术仅限于简单情况。本文研究了如何通过允许动作流产来提高自主超车的安全性。我们提出了一个基于深层Q网络的决策过程，以确定是否以及何时需要中止超车的操作。拟议的算法在与交通情况不同的模拟中进行了经验评估，这表明所提出的方法可以改善超车手动过程中的安全性。此外，使用自动班车Iseauto在现实世界实验中证明了该方法。

自主驾驶的车辆必须能够以无碰撞的方式在动态和不可预测的环境中导航。到目前为止，这仅是在无人驾驶汽车和仓库装置中部分实现的，在该装置中，诸如道路，车道和交通标志之类的标记结构简化了运动计划和避免碰撞问题。我们正在为类似汽车的车辆提供一种新的控制方法，该方法基于前所未有的快节奏A*实现，该方法允许控制周期以30 Hz的频率运行。这个频率使我们能够将A*算法作为低级重型控制器，非常适合在几乎任何动态环境中导航和避免碰撞。由于有效的启发式方法由沿着目标最短路径铺设的旋转 - 翻译 - 旋转运动运动，因此我们的短期流产A*（staa*）会快速收敛，并可以尽早中止，以确保高而稳定的控制速度。尽管我们的staa*沿着最短路径扩展状态，但它会照顾与环境的碰撞检查，包括预测的移动障碍状态，并返回计算时间用完时找到的最佳解决方案。尽管计算时间有限，但由于最短路径的以下路径，我们的staa*并未被困在拐角处。在模拟和实体机器人实验中，我们证明了我们的控制方法几乎完全消除了碰撞，并且具有改进的动态窗口方法的改进版本，并具有预测性的避免功能。

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

室内运动计划的重点是解决通过混乱环境导航代理的问题。迄今为止，在该领域已经完成了很多工作，但是这些方法通常无法找到计算廉价的在线路径计划和路径最佳之间的最佳平衡。除此之外，这些作品通常证明是单一启动单目标世界的最佳性。为了应对这些挑战，我们为在未知室内环境中进行导航的多个路径路径计划者和控制器堆栈，在该环境中，路点将目标与机器人必须在达到目标之前必须穿越的中介点一起。我们的方法利用全球规划师（在任何瞬间找到下一个最佳航路点），本地规划师（计划通往特定航路点的路径）以及自适应模型预测性控制策略（用于强大的系统控制和更快的操作） 。我们在一组随机生成的障碍图，中间航路点和起始目标对上评估了算法，结果表明计算成本显着降低，具有高度准确性和可靠的控制。

为了解决复杂环境中的自主导航问题，本文新呈现了一种有效的运动规划方法。考虑到大规模，部分未知的复杂环境的挑战，精心设计了三层运动规划框架，包括全局路径规划，本地路径优化和时间最佳速度规划。与现有方法相比，这项工作的新颖性是双重的：1）提出了一种新的动作原语的启发式引导剪枝策略，并完全集成到基于国家格子的全球路径规划器中，以进一步提高图表搜索的计算效率，以及2）提出了一种新的软限制局部路径优化方法，其中充分利用底层优化问题的稀疏带系统结构以有效解决问题。我们在各种复杂的模拟场景中验证了我们方法的安全，平滑，灵活性和效率，并挑战真实世界的任务。结果表明，与最近的近期B型zier曲线的状态空间采样方法相比，全球规划阶段，计算效率提高了66.21％，而机器人的运动效率提高了22.87％。我们命名拟议的运动计划框架E $ \ mathrm {^ 3} $拖把，其中3号不仅意味着我们的方法是三层框架，而且还意味着所提出的方法是三个阶段有效。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。