使用高级想法或知识不断学习新任务是人类的关键能力。在本文中，我们提出了用序贯线性时间逻辑公式和奖励机（LSRM）的终身加强学习，这使得代理能够利用以前学习的知识来紧固逻辑指定任务的学习。为了更灵活的任务规范，我们首先介绍连续的线性时间逻辑（SLTL），这是对现有线性时间逻辑（LTL）正式语言的补充。然后，我们利用奖励机（RM）利用具有高级别事件编码的任务的结构奖励功能，并提出RM的自动扩展和高效的知识转移在寿命中连续学习的任务。实验结果表明，LSRM通过在终身学习过程中使用SLTL和知识转移通过RM的任务分解来占据从头开始从头开始学习目标任务的方法。

马尔可夫决策过程通常用于不确定性下的顺序决策。然而，对于许多方面，从受约束或安全规范到任务和奖励结构中的各种时间（非Markovian）依赖性，需要扩展。为此，近年来，兴趣已经发展成为强化学习和时间逻辑的组合，即灵活的行为学习方法的组合，具有稳健的验证和保证。在本文中，我们描述了最近引入的常规决策过程的实验调查，该过程支持非马洛维亚奖励功能以及过渡职能。特别是，我们为常规决策过程，与在线，增量学习有关的算法扩展，对无模型和基于模型的解决方案算法的实证评估，以及以常规但非马尔维亚，网格世界的应用程序的算法扩展。

Linear temporal logic (LTL) is a widely-used task specification language which has a compositional grammar that naturally induces temporally extended behaviours across tasks, including conditionals and alternative realizations. An important problem i RL with LTL tasks is to learn task-conditioned policies which can zero-shot generalize to new LTL instructions not observed in the training. However, because symbolic observation is often lossy and LTL tasks can have long time horizon, previous works can suffer from issues such as training sampling inefficiency and infeasibility or sub-optimality of the found solutions. In order to tackle these issues, this paper proposes a novel multi-task RL algorithm with improved learning efficiency and optimality. To achieve the global optimality of task completion, we propose to learn options dependent on the future subgoals via a novel off-policy approach. In order to propagate the rewards of satisfying future subgoals back more efficiently, we propose to train a multi-step value function conditioned on the subgoal sequence which is updated with Monte Carlo estimates of multi-step discounted returns. In experiments on three different domains, we evaluate the LTL generalization capability of the agent trained by the proposed method, showing its advantage over previous representative methods.

当环境稀疏和非马克维亚奖励时，使用标量奖励信号的训练加强学习（RL）代理通常是不可行的。此外，在训练之前对这些奖励功能进行手工制作很容易指定，尤其是当环境的动态仅部分知道时。本文提出了一条新型的管道，用于学习非马克维亚任务规格，作为简洁的有限状态“任务自动机”，从未知环境中的代理体验情节中。我们利用两种关键算法的见解。首先，我们通过将其视为部分可观察到的MDP并为隐藏的Markov模型使用现成的算法，从而学习了由规范的自动机和环境MDP组成的产品MDP，该模型是由规范的自动机和环境MDP组成的。其次，我们提出了一种从学习的产品MDP中提取任务自动机（假定为确定性有限自动机）的新方法。我们学到的任务自动机可以使任务分解为其组成子任务，从而提高了RL代理以后可以合成最佳策略的速率。它还提供了高级环境和任务功能的可解释编码，因此人可以轻松地验证代理商是否在没有错误的情况下学习了连贯的任务。此外，我们采取步骤确保学识渊博的自动机是环境不可静止的，使其非常适合用于转移学习。最后，我们提供实验结果，以说明我们在不同环境和任务中的算法的性能及其合并先前的领域知识以促进更有效学习的能力。

基于自动机的方法使机器人能够执行各种复杂的任务。但是，大多数现有的基于自动机的算法都高度依赖于已考虑任务的状态的手动定制表示，从而限制了其在深度强化学习算法中的适用性。为了解决这个问题，通过将变压器纳入强化学习中，我们开发了一个双转化器引导的时间逻辑框架（T2TL），该逻辑框架（T2TL）两次利用变压器的结构特征，即首先通过变压器模块编码LTL指令，以有效地理解对有效的理解培训期间的任务说明，然后再次通过变压器编码上下文变量，以改善任务性能。特别是，LTL指令由Co-Safe LTL指定。作为具有语义的改写操作，LTL的进展被利用以将复杂的任务分解为可学习的子目标，这不仅将非马克维亚奖励决策转换为马尔可夫的奖励决策过程，而且通过同时学习多个子 - 学习效率，提高了采样效率。任务。进一步纳入了环境不足的LTL预训练方案，以促进变压器模块的学习，从而改善LTL的表示。模拟和实验结果证明了T2TL框架的有效性。

The reinforcement learning paradigm is a popular way to address problems that have only limited environmental feedback, rather than correctly labeled examples, as is common in other machine learning contexts. While significant progress has been made to improve learning in a single task, the idea of transfer learning has only recently been applied to reinforcement learning tasks. The core idea of transfer is that experience gained in learning to perform one task can help improve learning performance in a related, but different, task. In this article we present a framework that classifies transfer learning methods in terms of their capabilities and goals, and then use it to survey the existing literature, as well as to suggest future directions for transfer learning work.

顺序决策的两种常见方法是AI计划（AIP）和强化学习（RL）。每个都有优点和缺点。 AIP是可解释的，易于与象征知识集成，并且通常是有效的，但需要前期逻辑域的规范，并且对噪声敏感； RL仅需要奖励的规范，并且对噪声是强大的，但效率低下，不容易提供外部知识。我们提出了一种综合方法，将高级计划与RL结合在一起，保留可解释性，转移和效率，同时允许对低级计划行动进行强有力的学习。我们的方法通过在AI计划问题的状态过渡模型与Markov决策过程（MDP）的抽象状态过渡系统（MDP）之间建立对应关系，从而定义了AIP操作员的分层增强学习（HRL）的选项。通过添加内在奖励来鼓励MDP和AIP过渡模型之间的一致性来学习选项。我们通过比较Minigrid和N房间环境中RL和HRL算法的性能来证明我们的综合方法的好处，从而显示了我们方法比现有方法的优势。

在过去的几年中，逆增强学习（\ textit {irl}）问题已经迅速发展，在机器人技术，认知和健康等领域中具有重要的应用。在这项工作中，我们探讨了当前IRL方法从描述长马，复杂的顺序任务的专家轨迹中学习代理奖励函数的效率低下。我们假设，将IRL模型带入捕获基本任务的结构图案可以实现和提高其性能。随后，我们提出了一种新颖的IRL方法Smirl，该方法首先学习任务的（近似）结构为有限状态-Satate-automaton（FSA），然后使用结构基序来解决IRL问题。我们在离散网格世界和高维连续域环境上测试我们的模型。我们从经验上表明，我们提出的方法成功地学习了所有四个复杂的任务，其中两个基础IRL基准失败了。我们的模型还优于简单的玩具任务中样本效率的基准。我们进一步在具有组成奖励函数的任务上的经过修改的连续域中显示了有希望的测试结果。

教深入的强化学习（RL）代理在多任务环境中遵循说明是一个挑战性的问题。我们认为用户通过线性时间逻辑（LTL）公式定义了每个任务。但是，用户可能未知的复杂环境中的某些因果关系依赖性未知。因此，当人类用户指定说明时，机器人无法通过简单地按照给定的说明来解决任务。在这项工作中，我们提出了一个分层增强学习（HRL）框架，其中学习了符号过渡模型，以有效地制定高级计划，以指导代理有效地解决不同的任务。具体而言，符号过渡模型是通过归纳逻辑编程（ILP）学习的，以捕获状态过渡的逻辑规则。通过计划符号过渡模型的乘积和从LTL公式得出的自动机的乘积，代理可以解决因果关系依赖性，并将因果复杂问题分解为一系列简单的低级子任务。我们在离散和连续域中的三个环境上评估了提出的框架，显示了比以前的代表性方法的优势。

我们研究了逻辑规范给出的复杂任务的学习策略问题。最近的方法从给定的规范自动生成奖励功能，并使用合适的加强学习算法来学习最大化预期奖励的策略。然而，这些方法对需要高级别计划的复杂任务奠定了差。在这项工作中，我们开发了一种称为Dirl的组成学习方法，可交织高级别的规划和强化学习。首先，Dirl将规范编码为抽象图;直观地，图的顶点和边缘分别对应于状态空间的区域和更简单的子任务。我们的方法然后结合了增强学习，以便在Dijkstra风格的规划算法内为每个边缘（子任务）学习神经网络策略，以计算图表中的高级计划。对具有连续状态和行动空间的一套具有挑战性的控制基准测试的提出方法的评估表明它优于最先进的基线。

LCRL是一种软件工具，可在未知的马尔可夫决策过程（MDPS）上实现无模型增强学习（RL）算法，合成满足给定线性时间规范具有最大概率的策略。 LCRL利用被称为极限确定性Buchi Automata（LDBA）的部分确定性有限状态机器表达给定的线性时间规范。 RL算法的奖励函数是根据LDBA的结构即时塑造的。理论保证在适当的假设下确保RL算法与最大化满意度概率的最佳策略的收敛性。我们提出了案例研究，以证明LCRL的适用性，易用性，可伸缩性和性能。由于LDBA引导的探索和无LCRL模型架构，我们观察到了稳健的性能，与标准RL方法相比（每当适用于LTL规格）时，它也可以很好地缩放。有关如何执行本文所有案例研究的完整说明，请在lcrl分发www.github.com/grockious/lcrl的GitHub页面上提供。

本文解决了以未知的马尔可夫决策过程（MDP）建模的移动机器人的学习控制策略的问题，该问题负责为时间逻辑任务，例如测序，覆盖或监视。 MDP捕获工作空间结构的不确定性和控制决策的结果。控制目标是合成一个控制策略，该策略最大化完成高级任务的可能性，该任务指定为线性时间逻辑（LTL）公式。为了解决这个问题，我们提出了一种针对LTL控制目标的新型基于模型的增强算法（RL）算法，该算法能够比相关方法更快地学习控制策略。它的样本效率依赖于偏见探索可能导致任务满意度的方向。这是通过利用LTL任务的自动机表示以及连续学习的MDP模型来完成的。最后，我们提供了比较实验，这些实验证明了针对LTL目标的最新RL方法的样本效率。

Transfer in Reinforcement Learning aims to improve learning performance on target tasks using knowledge from experienced source tasks. Successor Representations (SR) and their extension Successor Features (SF) are prominent transfer mechanisms in domains where reward functions change between tasks. They reevaluate the expected return of previously learned policies in a new target task to transfer their knowledge. The SF framework extended SR by linearly decomposing rewards into successor features and a reward weight vector allowing their application in high-dimensional tasks. But this came with the cost of having a linear relationship between reward functions and successor features, limiting its application to such tasks. We propose a novel formulation of SR based on learning the cumulative discounted probability of successor features, called Successor Feature Representations (SFR). Crucially, SFR allows to reevaluate the expected return of policies for general reward functions. We introduce different SFR variations, prove its convergence, and provide a guarantee on its transfer performance. Experimental evaluations based on SFR with function approximation demonstrate its advantage over SF not only for general reward functions but also in the case of linearly decomposable reward functions.

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

在许多实际应用程序中，强化学习（RL）代理可能必须解决多个任务，每个任务通常都是通过奖励功能建模的。如果奖励功能是线性表达的，并且代理商以前已经学会了一组针对不同任务的策略，则可以利用后继功能（SFS）来组合此类策略并确定有关新问题的合理解决方案。但是，确定的解决方案不能保证是最佳的。我们介绍了一种解决此限制的新颖算法。它允许RL代理结合现有政策并直接确定任意新问题的最佳政策，而无需与环境进行任何进一步的互动。我们首先（在轻度假设下）表明，SFS解决的转移学习问题等同于学习在RL中优化多个目标的学习问题。然后，我们引入了基于SF的乐观线性支持算法的扩展，以学习一组SFS构成凸面覆盖范围集的策略。我们证明，该集合中的策略可以通过广义策略改进组合，以构建任何可表达的新任务的最佳行为，而无需任何其他培训样本。我们从经验上表明，在价值函数近似下，我们的方法在离散和连续域中优于最先进的竞争算法。

在本文中，我们提出了一种新的马尔可夫决策过程学习分层表示的方法。我们的方法通过将状态空间划分为子集，并定义用于在分区之间执行转换的子任务。我们制定将状态空间作为优化问题分区的问题，该优化问题可以使用梯度下降给出一组采样的轨迹来解决，使我们的方法适用于大状态空间的高维问题。我们经验验证方法，通过表示它可以成功地在导航域中成功学习有用的分层表示。一旦了解到，分层表示可以用于解决给定域中的不同任务，从而概括跨任务的知识。

Recently, some challenging tasks in multi-agent systems have been solved by some hierarchical reinforcement learning methods. Inspired by the intra-level and inter-level coordination in the human nervous system, we propose a novel value decomposition framework HAVEN based on hierarchical reinforcement learning for fully cooperative multi-agent problems. To address the instability arising from the concurrent optimization of policies between various levels and agents, we introduce the dual coordination mechanism of inter-level and inter-agent strategies by designing reward functions in a two-level hierarchy. HAVEN does not require domain knowledge and pre-training, and can be applied to any value decomposition variant. Our method achieves desirable results on different decentralized partially observable Markov decision process domains and outperforms other popular multi-agent hierarchical reinforcement learning algorithms.

Safety is still one of the major research challenges in reinforcement learning (RL). In this paper, we address the problem of how to avoid safety violations of RL agents during exploration in probabilistic and partially unknown environments. Our approach combines automata learning for Markov Decision Processes (MDPs) and shield synthesis in an iterative approach. Initially, the MDP representing the environment is unknown. The agent starts exploring the environment and collects traces. From the collected traces, we passively learn MDPs that abstractly represent the safety-relevant aspects of the environment. Given a learned MDP and a safety specification, we construct a shield. For each state-action pair within a learned MDP, the shield computes exact probabilities on how likely it is that executing the action results in violating the specification from the current state within the next $k$ steps. After the shield is constructed, the shield is used during runtime and blocks any actions that induce a too large risk from the agent. The shielded agent continues to explore the environment and collects new data on the environment. Iteratively, we use the collected data to learn new MDPs with higher accuracy, resulting in turn in shields able to prevent more safety violations. We implemented our approach and present a detailed case study of a Q-learning agent exploring slippery Gridworlds. In our experiments, we show that as the agent explores more and more of the environment during training, the improved learned models lead to shields that are able to prevent many safety violations.

强化学习（RL）是人工智能中的核心问题。这个问题包括定义可以通过与环境交互学习最佳行为的人工代理 - 其中，在代理试图最大化的奖励信号的奖励信号中定义最佳行为。奖励机（RMS）提供了一种基于Automate的基于自动机的表示，该奖励功能使RL代理能够将RL问题分解为可以通过禁止策略学习有效地学习的结构化子问题。在这里，我们表明可以从经验中学习RMS，而不是由用户指定，并且可以使用所产生的问题分解来有效地解决部分可观察的RL问题。我们将学习RMS的任务作为离散优化问题构成，其中目标是找到将问题分解为一组子问题的RM，使得其最佳记忆策略的组合是原始问题的最佳策略。我们展示了这种方法在三个部分可观察的域中的有效性，在那里它显着优于A3C，PPO和宏碁，并讨论其优点，限制和更广泛的潜力。

强化学习（RL）在很大程度上依赖于探索以从环境中学习并最大程度地获得观察到的奖励。因此，必须设计一个奖励功能，以确保从收到的经验中获得最佳学习。以前的工作将自动机和基于逻辑的奖励成型与环境假设相结合，以提供自动机制，以根据任务综合奖励功能。但是，关于如何将基于逻辑的奖励塑造扩大到多代理增强学习（MARL）的工作有限。如果任务需要合作，则环境将需要考虑联合状态，以跟踪其他代理，从而遭受对代理数量的维度的诅咒。该项目探讨了如何针对不同场景和任务设计基于逻辑的奖励成型。我们提出了一种针对半偏心逻辑基于逻辑的MARL奖励成型的新方法，该方法在代理数量中是可扩展的，并在多种情况下对其进行了评估。