This paper addresses the problem of reliably and efficiently solving broad classes of long-horizon stochastic path planning problems. Starting with a vanilla RL formulation with a stochastic dynamics simulator and an occupancy matrix of the environment, our approach computes useful options with policies as well as high-level paths that compose the discovered options. Our main contributions are (1) data-driven methods for creating abstract states that serve as endpoints for helpful options, (2) methods for computing option policies using auto-generated option guides in the form of dense pseudo-reward functions, and (3) an overarching algorithm for composing the computed options. We show that this approach yields strong guarantees of executability and solvability: under fairly general conditions, the computed option guides lead to composable option policies and consequently ensure downward refinability. Empirical evaluation on a range of robots, environments, and tasks shows that this approach effectively transfers knowledge across related tasks and that it outperforms existing approaches by a significant margin.

顺序决策的两种常见方法是AI计划（AIP）和强化学习（RL）。每个都有优点和缺点。 AIP是可解释的，易于与象征知识集成，并且通常是有效的，但需要前期逻辑域的规范，并且对噪声敏感； RL仅需要奖励的规范，并且对噪声是强大的，但效率低下，不容易提供外部知识。我们提出了一种综合方法，将高级计划与RL结合在一起，保留可解释性，转移和效率，同时允许对低级计划行动进行强有力的学习。我们的方法通过在AI计划问题的状态过渡模型与Markov决策过程（MDP）的抽象状态过渡系统（MDP）之间建立对应关系，从而定义了AIP操作员的分层增强学习（HRL）的选项。通过添加内在奖励来鼓励MDP和AIP过渡模型之间的一致性来学习选项。我们通过比较Minigrid和N房间环境中RL和HRL算法的性能来证明我们的综合方法的好处，从而显示了我们方法比现有方法的优势。

在本文中，我们提出了一种新的马尔可夫决策过程学习分层表示的方法。我们的方法通过将状态空间划分为子集，并定义用于在分区之间执行转换的子任务。我们制定将状态空间作为优化问题分区的问题，该优化问题可以使用梯度下降给出一组采样的轨迹来解决，使我们的方法适用于大状态空间的高维问题。我们经验验证方法，通过表示它可以成功地在导航域中成功学习有用的分层表示。一旦了解到，分层表示可以用于解决给定域中的不同任务，从而概括跨任务的知识。

尽管在现实生活中取得了巨大成功，但深度加固学习（DRL）仍遭受三个关键问题，这是数据效率，缺乏可解释性和可转移性。最近的研究表明，将符号知识嵌入DRL是有希望解决这些挑战。灵感来自于此，我们介绍了一种具有象征性选项的新型深度加强学习框架。此框架具有循环培训程序，可通过规划自动从交互式轨迹中学到的行动模型和符号选项来指导政策的改进。学习的象征选项减轻了专家领域知识的密集要求，并提供了政策的内在可意识性。此外，通过使用动作模型规划，可以进一步提高可转移和数据效率。为了验证这一框架的有效性，我们分别对两个域名，蒙特沙姆的复仇和办公室世界进行实验。结果证明了可比性，提高了数据效率，可解释性和可转移性。

当加强学习以稀疏的奖励应用时，代理必须花费很长时间探索未知环境而没有任何学习信号。抽象是一种为代理提供在潜在空间中过渡的内在奖励的方法。先前的工作着重于密集的连续潜在空间，或要求用户手动提供表示形式。我们的方法是第一个自动学习基础环境的离散抽象的方法。此外，我们的方法使用端到端可训练的正规后继代表模型在任意输入空间上起作用。对于抽象状态之间的过渡，我们以选项的形式训练一组时间扩展的动作，即动作抽象。我们提出的算法，离散的国家行动抽象（DSAA），在训练这些选项之间进行迭代交换，并使用它们有效地探索更多环境以改善状态抽象。结果，我们的模型不仅对转移学习，而且在在线学习环境中有用。我们从经验上表明，与基线加强学习算法相比，我们的代理能够探索环境并更有效地解决任务。我们的代码可在\ url {https://github.com/amnonattali/dsaa}上公开获得。

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

Learning long-horizon tasks such as navigation has presented difficult challenges for successfully applying reinforcement learning. However, from another perspective, under a known environment model, methods such as sampling-based planning can robustly find collision-free paths in environments without learning. In this work, we propose Control Transformer which models return-conditioned sequences from low-level policies guided by a sampling-based Probabilistic Roadmap (PRM) planner. Once trained, we demonstrate that our framework can solve long-horizon navigation tasks using only local information. We evaluate our approach on partially-observed maze navigation with MuJoCo robots, including Ant, Point, and Humanoid, and show that Control Transformer can successfully navigate large mazes and generalize to new, unknown environments. Additionally, we apply our method to a differential drive robot (Turtlebot3) and show zero-shot sim2real transfer under noisy observations.

长期以来，能够接受和利用特定于人类的任务知识的增强学习（RL）代理人被认为是开发可扩展方法来解决长途问题的可能策略。尽管以前的作品已经研究了使用符号模型以及RL方法的可能性，但他们倾向于假设高级动作模型在低级别上是可执行的，并且流利者可以专门表征所有理想的MDP状态。但是，现实世界任务的符号模型通常是不完整的。为此，我们介绍了近似符号模型引导的增强学习，其中我们将正式化符号模型与基础MDP之间的关系，这将使我们能够表征符号模型的不完整性。我们将使用这些模型来提取将用于分解任务的高级地标。在低水平上，我们为地标确定的每个可能的任务次目标学习了一组不同的政策，然后将其缝合在一起。我们通过在三个不同的基准域进行测试来评估我们的系统，并显示即使是不完整的符号模型信息，我们的方法也能够发现任务结构并有效地指导RL代理到达目标。

通过加强学习（RL）解决机器人导航任务是由于其稀疏奖励和长决策范围自然而挑战。但是，在许多导航任务中，可以使用高级（HL）任务表示，如粗略楼层。以前的工作通过HL表示中的路径规划组成的层次方法和使用从计划导出的子目标来指导源任务中的RL策略的子目标来证明了高效的学习。然而，这些方法通常忽略计划期间机器人的复杂动态和子最优的子目标达到能力。通过提出利用用于HL代表的培训计划政策的新型分层框架，这项工作克服了这些限制。因此，可以利用收集的卷展数据来学习机器人能力和环境条件。我们专门以学习的转换模型（VI-RL）为基础介绍一个规划策略。在模拟机器人导航任务中，VI-RL对Vanilla RL的一致强烈改善，与单个布局的单个布局有关，但更广泛适用于多个布局，并且与停车处的可训练HL路径规划基准相提并论具有困难的非完全动态的任务，其中它显示了显着的改进。

This paper addresses the kinodynamic motion planning for non-holonomic robots in dynamic environments with both static and dynamic obstacles -- a challenging problem that lacks a universal solution yet. One of the promising approaches to solve it is decomposing the problem into the smaller sub problems and combining the local solutions into the global one. The crux of any planning method for non-holonomic robots is the generation of motion primitives that generates solutions to local planning sub-problems. In this work we introduce a novel learnable steering function (policy), which takes into account kinodynamic constraints of the robot and both static and dynamic obstacles. This policy is efficiently trained via the policy optimization. Empirically, we show that our steering function generalizes well to unseen problems. We then plug in the trained policy into the sampling-based and lattice-based planners, and evaluate the resultant POLAMP algorithm (Policy Optimization that Learns Adaptive Motion Primitives) in a range of challenging setups that involve a car-like robot operating in the obstacle-rich parking-lot environments. We show that POLAMP is able to plan collision-free kinodynamic trajectories with success rates higher than 92%, when 50 simultaneously moving obstacles populate the environment showing better performance than the state-of-the-art competitors.

In many real-world problems, the learning agent needs to learn a problem's abstractions and solution simultaneously. However, most such abstractions need to be designed and refined by hand for different problems and domains of application. This paper presents a novel top-down approach for constructing state abstractions while carrying out reinforcement learning. Starting with state variables and a simulator, it presents a novel domain-independent approach for dynamically computing an abstraction based on the dispersion of Q-values in abstract states as the agent continues acting and learning. Extensive empirical evaluation on multiple domains and problems shows that this approach automatically learns abstractions that are finely-tuned to the problem, yield powerful sample efficiency, and result in the RL agent significantly outperforming existing approaches.

需要长马计划和持续控制能力的问题对现有的强化学习剂构成了重大挑战。在本文中，我们介绍了一种新型的分层增强学习代理，该学习代理将延时的技能与持续控制的技能与远期模型联系起来，以象征性的分离环境的计划进行计划。我们认为我们的代理商符合符号效应的多样化技能。我们制定了一种客观且相应的算法，该算法通过已知的抽象来通过内在动机来无监督学习各种技能。这些技能是通过符号前向模型共同学习的，该模型捕获了国家抽象中技能执行的影响。训练后，我们可以使用向前模型来利用符号动作的技能来进行长途计划，并随后使用学识渊博的连续行动控制技能执行计划。拟议的算法学习了技能和前瞻性模型，可用于解决复杂的任务，这些任务既需要连续控制和长效计划功能，却具有很高的成功率。它与其他平坦和分层的增强学习基线代理相比，并通过真正的机器人成功证明。

强化学习（RL）在机器人中的应用通常受高数据需求的限制。另一方面，许多机器人场景中容易获得近似模型，使基于模型的方法，如规划数据有效的替代方案。尽管如此，这些方法的性能遭受了模型不精确或错误。从这个意义上讲，RL和基于模型的规划者的各个优势和弱点是。在目前的工作中，我们调查如何将两种方法集成到结合其优势的一个框架中。我们介绍了学习执行（L2E），从而利用近似计划中包含的信息学习有关计划的普遍政策。在我们的机器人操纵实验中，与纯RL，纯规划或基线方法相比，L2E在结合学习和规划的基线方法时表现出增加的性能。

用于机器人操纵的多进球政策学习具有挑战性。先前的成功使用了对象的基于状态的表示或提供了演示数据来促进学习。在本文中，通过对域的高级离散表示形式进行手工编码，我们表明，可以使用来自像素的Q学习来学习达到数十个目标的策略。代理商将学习重点放在更简单的本地政策上，这些政策是通过在抽象空间中进行计划来对其进行测序的。我们将我们的方法与标准的多目标RL基线以及在具有挑战性的块构造域上利用离散表示的其他方法进行了比较。我们发现我们的方法可以构建一百多个不同的块结构，并证明具有新物体的结构向前转移。最后，我们将所学的政策部署在真正的机器人上的模拟中。

勘探是基于深入强化学习（DRL）的无模型导航控制的基本挑战，因为针对目标驱动的导航任务的典型勘探技术依赖于噪声或贪婪的政策，这些策略对奖励的密度敏感。实际上，机器人总是在复杂的混乱环境中部署，其中包含密集的障碍和狭窄的通道，从而提高了很难探索训练的自然备用奖励。当预定义的任务复杂并且具有丰富的表现力时，这种问题变得更加严重。在本文中，我们专注于这两个方面，并为任务指导的机器人提供了一种深层的政策梯度算法，该机器人在复杂的混乱环境中部署了未知的动态系统。线性时间逻辑（LTL）用于表达丰富的机器人规范。为了克服训练期间探索的环境挑战，我们提出了一种新颖的路径计划引导奖励方案，该方案在状态空间上密集，并且至关重要的是，由于黑盒动力学而导致计算的几何路径的不可行性。为了促进LTL满意度，我们的方法将LTL任务分解为使用分布式DRL解决的子任务，在该子任务中，可以使用深层政策梯度算法并行培训子任务。我们的框架被证明可显着提高性能（有效性，效率）和对大规模复杂环境中复杂任务的机器人的探索。可以在YouTube频道上找到视频演示：https：//youtu.be/yqrq2-ymtik。

长期的Horizo​​n机器人学习任务稀疏的奖励对当前的强化学习算法构成了重大挑战。使人类能够学习挑战的控制任务的关键功能是，他们经常获得专家干预，使他们能够在掌握低级控制动作之前了解任务的高级结构。我们为利用专家干预来解决长马增强学习任务的框架。我们考虑\ emph {选项模板}，这是编码可以使用强化学习训练的潜在选项的规格。我们将专家干预提出，因为允许代理商在学习实施之前执行选项模板。这使他们能够使用选项，然后才能为学习成本昂贵的资源学习。我们在三个具有挑战性的强化学习问题上评估了我们的方法，这表明它的表现要优于最先进的方法。训练有素的代理商和我们的代码视频可以在以下网址找到：https：//sites.google.com/view/stickymittens

我们研究了逻辑规范给出的复杂任务的学习策略问题。最近的方法从给定的规范自动生成奖励功能，并使用合适的加强学习算法来学习最大化预期奖励的策略。然而，这些方法对需要高级别计划的复杂任务奠定了差。在这项工作中，我们开发了一种称为Dirl的组成学习方法，可交织高级别的规划和强化学习。首先，Dirl将规范编码为抽象图;直观地，图的顶点和边缘分别对应于状态空间的区域和更简单的子任务。我们的方法然后结合了增强学习，以便在Dijkstra风格的规划算法内为每个边缘（子任务）学习神经网络策略，以计算图表中的高级计划。对具有连续状态和行动空间的一套具有挑战性的控制基准测试的提出方法的评估表明它优于最先进的基线。

我们提出了一种新型的参数化技能学习算法，旨在学习可转移的参数化技能并将其合成为新的动作空间，以支持长期任务中的有效学习。我们首先提出了新颖的学习目标 - 以轨迹为中心的多样性和平稳性 - 允许代理商能够重复使用的参数化技能。我们的代理商可以使用这些学习的技能来构建时间扩展的参数化行动马尔可夫决策过程，我们为此提出了一种层次的参与者 - 批判算法，旨在通过学习技能有效地学习高级控制政策。我们从经验上证明，所提出的算法使代理能够解决复杂的长途障碍源环境。

In reinforcement learning applications like robotics, agents usually need to deal with various input/output features when specified with different state/action spaces by their developers or physical restrictions. This indicates unnecessary re-training from scratch and considerable sample inefficiency, especially when agents follow similar solution steps to achieve tasks. In this paper, we aim to transfer similar high-level goal-transition knowledge to alleviate the challenge. Specifically, we propose PILoT, i.e., Planning Immediate Landmarks of Targets. PILoT utilizes the universal decoupled policy optimization to learn a goal-conditioned state planner; then, distills a goal-planner to plan immediate landmarks in a model-free style that can be shared among different agents. In our experiments, we show the power of PILoT on various transferring challenges, including few-shot transferring across action spaces and dynamics, from low-dimensional vector states to image inputs, from simple robot to complicated morphology; and we also illustrate a zero-shot transfer solution from a simple 2D navigation task to the harder Ant-Maze task.

强化学习的关键挑战是解决了长地平规划问题。最近的工作已经利用计划在这些设置中引导钢筋学习。但是，这些方法对用户施加了高手动负担，因为它们必须为每项新任务提供指导计划。部分观察到的环境进一步使编程任务复杂化，因为程序必须实现正确，理想地最佳地实现策略，处理环境的隐藏区域的所有可能配置。我们提出了一种新的方法，模型预测程序合成（MPP），它使用程序综合来自动生成指导程序。它培训了一种生成模型来预测世界的未观察到的部分，然后以鲁棒到其不确定性的方式基于来自该模型的样本来综合程序。在我们的实验中，我们表明我们的方法在一组具有挑战性的基准上显着优于非程序引导的方法，包括2D Minecraft-Inspired环境，代理商必须完成复杂的子组织序列来实现其目标，并实现类似的使用手动程序指导代理的性能。我们的结果表明，我们的方法可以在不需要用户为每项新任务提供新的指导计划的情况下获得方案引导的强化学习的好处。