我们研究了学习一系列良好政策的问题，使得当结合在一起时，他们可以解决各种各样的不良加强学习任务，没有或很少的新数据。具体而言，我们考虑广义政策评估和改进的框架，其中假设所有感兴趣任务的奖励被认为是固定的一组特征的线性组合。理论上，我们在理论上显示，在某些假设下，可以访问我们称之为一组独立策略的特定的各种策略，可以易于瞬间实现高级性能，这些任务通常比那些更复杂的所有可能的下游任务经过培训的代理人。基于这一理论分析，我们提出了一种简单的算法，可以迭代构建这套策略。除了经验验证我们的理论结果外，我们还将我们的方法与最近提出的各种政策集施工方法进行了比较，并表明其他人失败，我们的方法能够建立一种行为基础，使能够瞬间转移到所有可能的下游任务。我们还经验展示了访问一组独立策略，可以更好地引导在下游任务上的学习过程，其中新奖励功能不能被描述为特征的线性组合。最后，我们证明了这一政策组可以在逼真的终身加强学习环境中有用。

在许多实际应用程序中，强化学习（RL）代理可能必须解决多个任务，每个任务通常都是通过奖励功能建模的。如果奖励功能是线性表达的，并且代理商以前已经学会了一组针对不同任务的策略，则可以利用后继功能（SFS）来组合此类策略并确定有关新问题的合理解决方案。但是，确定的解决方案不能保证是最佳的。我们介绍了一种解决此限制的新颖算法。它允许RL代理结合现有政策并直接确定任意新问题的最佳政策，而无需与环境进行任何进一步的互动。我们首先（在轻度假设下）表明，SFS解决的转移学习问题等同于学习在RL中优化多个目标的学习问题。然后，我们引入了基于SF的乐观线性支持算法的扩展，以学习一组SFS构成凸面覆盖范围集的策略。我们证明，该集合中的策略可以通过广义策略改进组合，以构建任何可表达的新任务的最佳行为，而无需任何其他培训样本。我们从经验上表明，在价值函数近似下，我们的方法在离散和连续域中优于最先进的竞争算法。

我们研究如何构建一组可以组成的政策来解决一个加强学习任务的集合。每个任务都是不同的奖励函数，被定义为已知功能的线性组合。我们考虑一下我们呼吁改进政策的特定策略组合（SIPS）：给定一套政策和一系列任务，SIP是前者的任何构成，其性能至少与其成分的表现相当好所有任务。我们专注于啜饮的最保守的实例化，Set-Max政策（SMPS），因此我们的分析扩展到任何SIP。这包括已知的策略组合运营商，如广义政策改进。我们的主要贡献是一种策略迭代算法，构建一组策略，以最大限度地提高所得SMP的最坏情况性能。该算法通过连续向集合添加新策略来工作。我们表明，生成的SMP的最坏情况性能严格地改善了每次迭代，并且算法仅在不存在导致改进性能的策略时停止。我们经验在网格世界上进行了验证评估了算法，也是来自DeepMind控制套件的一组域。我们确认了我们关于我们算法的单调性能的理论结果。有趣的是，我们还经验展示了算法计算的政策集是多样的，导致网格世界中的不同轨迹以及控制套件中的非常独特的运动技能。

找到同一问题的不同解决方案是与创造力和对新颖情况的适应相关的智能的关键方面。在钢筋学习中，一套各种各样的政策对于勘探，转移，层次结构和鲁棒性有用。我们提出了各种各样的连续政策，一种发现在继承人功能空间中多样化的政策的方法，同时确保它们接近最佳。我们将问题形式形式化为受限制的马尔可夫决策过程（CMDP），目标是找到最大化多样性的政策，其特征在于内在的多样性奖励，同时对MDP的外在奖励保持近乎最佳。我们还分析了最近提出的稳健性和歧视奖励的绩效，并发现它们对程序的初始化敏感，并且可以收敛到次优溶液。为了缓解这一点，我们提出了新的明确多样性奖励，该奖励旨在最大限度地减少集合中策略的继承人特征之间的相关性。我们比较深度控制套件中的不同多样性机制，发现我们提出的明确多样性的类型对于发现不同的行为是重要的，例如不同的运动模式。

钢筋学习的长期目标是建立智能代理，表现出快速学习，灵活地转移适于人类和动物的技能。本文调查了两个框架来解决这些目标的框架：情节控制和继承功能。epiSodic控制是一种认知的灵感方法，依赖于情节内存，是代理经历的基于实例的内存模型。同时，继承者功能和广义政策改进（SF＆GPI）是一个元和传输学习框架，允许学习可以有效地重复使用不同奖励功能的稍后任务的任务的策略。单独地，这两种技术表明令人印象深刻的结果，从而大大提高了样本效率和优雅的重复使用了先前学习的政策。因此，我们概述了两种方法中的两种方法的组合，并经验证明其益处。

奖励是加强学习代理的动力。本文致力于了解奖励的表现，作为捕获我们希望代理人执行的任务的一种方式。我们在这项研究中涉及三个新的抽象概念“任务”，可能是可取的：（1）一组可接受的行为，（2）部分排序，或者（3）通过轨迹的部分排序。我们的主要结果证明，虽然奖励可以表达许多这些任务，但每个任务类型的实例都没有Markov奖励函数可以捕获。然后，我们提供一组多项式时间算法，其构造Markov奖励函数，允许代理优化这三种类型中的每种类型的任务，并正确确定何时不存在这种奖励功能。我们得出结论，具有证实和说明我们的理论发现的实证研究。

Transfer in Reinforcement Learning aims to improve learning performance on target tasks using knowledge from experienced source tasks. Successor Representations (SR) and their extension Successor Features (SF) are prominent transfer mechanisms in domains where reward functions change between tasks. They reevaluate the expected return of previously learned policies in a new target task to transfer their knowledge. The SF framework extended SR by linearly decomposing rewards into successor features and a reward weight vector allowing their application in high-dimensional tasks. But this came with the cost of having a linear relationship between reward functions and successor features, limiting its application to such tasks. We propose a novel formulation of SR based on learning the cumulative discounted probability of successor features, called Successor Feature Representations (SFR). Crucially, SFR allows to reevaluate the expected return of policies for general reward functions. We introduce different SFR variations, prove its convergence, and provide a guarantee on its transfer performance. Experimental evaluations based on SFR with function approximation demonstrate its advantage over SF not only for general reward functions but also in the case of linearly decomposable reward functions.

在本文中，我们提出了一种新的马尔可夫决策过程学习分层表示的方法。我们的方法通过将状态空间划分为子集，并定义用于在分区之间执行转换的子任务。我们制定将状态空间作为优化问题分区的问题，该优化问题可以使用梯度下降给出一组采样的轨迹来解决，使我们的方法适用于大状态空间的高维问题。我们经验验证方法，通过表示它可以成功地在导航域中成功学习有用的分层表示。一旦了解到，分层表示可以用于解决给定域中的不同任务，从而概括跨任务的知识。

动物和人工代理商都受益于支持跨任务的快速学习的国家表示，使他们能够有效地遍历其环境以获得奖励状态。在固定政策下衡量预期累积，贴现国家占用的后续代表（SR），可以在否则的马尔可维亚环境中有效地转移到不同的奖励结构，并假设生物行为和神经活动的基础方面。然而，在现实世界中，奖励可能会移动或仅用于消费一次，可能只是将位置或者代理可以简单地旨在尽可能快地到达目标状态，而不会产生人工强加的任务视野的约束。在这种情况下，最具行为相关的代表将携带有关代理人可能首先达到兴趣国的信息的信息，而不是在可能的无限时间跨度访问它们的频率。为了反映此类需求，我们介绍了第一次占用代表（FR），该代表（FR），该代表（FR）衡量预期的时间折扣首次访问状态。我们证明FR有助于探索，选择有效的路径到所需状态，允许代理在某些条件下规划由一系列子板定义的可透明的最佳轨迹，并引起避免威胁刺激的动物类似的行为。

我们介绍了一种改进政策改进的方法，该方法在基于价值的强化学习（RL）的贪婪方法与基于模型的RL的典型计划方法之间进行了插值。新方法建立在几何视野模型（GHM，也称为伽马模型）的概念上，该模型对给定策略的折现状态验证分布进行了建模。我们表明，我们可以通过仔细的基本策略GHM的仔细组成，而无需任何其他学习，可以评估任何非马尔科夫策略，以固定的概率在一组基本马尔可夫策略之间切换。然后，我们可以将广义政策改进（GPI）应用于此类非马尔科夫政策的收集，以获得新的马尔可夫政策，通常将其表现优于其先驱。我们对这种方法提供了彻底的理论分析，开发了转移和标准RL的应用，并在经验上证明了其对标准GPI的有效性，对充满挑战的深度RL连续控制任务。我们还提供了GHM培训方法的分析，证明了关于先前提出的方法的新型收敛结果，并显示了如何在深度RL设置中稳定训练这些模型。

A long-standing challenge in artificial intelligence is lifelong learning. In lifelong learning, many tasks are presented in sequence and learners must efficiently transfer knowledge between tasks while avoiding catastrophic forgetting over long lifetimes. On these problems, policy reuse and other multi-policy reinforcement learning techniques can learn many tasks. However, they can generate many temporary or permanent policies, resulting in memory issues. Consequently, there is a need for lifetime-scalable methods that continually refine a policy library of a pre-defined size. This paper presents a first approach to lifetime-scalable policy reuse. To pre-select the number of policies, a notion of task capacity, the maximal number of tasks that a policy can accurately solve, is proposed. To evaluate lifetime policy reuse using this method, two state-of-the-art single-actor base-learners are compared: 1) a value-based reinforcement learner, Deep Q-Network (DQN) or Deep Recurrent Q-Network (DRQN); and 2) an actor-critic reinforcement learner, Proximal Policy Optimisation (PPO) with or without Long Short-Term Memory layer. By selecting the number of policies based on task capacity, D(R)QN achieves near-optimal performance with 6 policies in a 27-task MDP domain and 9 policies in an 18-task POMDP domain; with fewer policies, catastrophic forgetting and negative transfer are observed. Due to slow, monotonic improvement, PPO requires fewer policies, 1 policy for the 27-task domain and 4 policies for the 18-task domain, but it learns the tasks with lower accuracy than D(R)QN. These findings validate lifetime-scalable policy reuse and suggest using D(R)QN for larger and PPO for smaller library sizes.

In this work, we focus on the problem of safe policy transfer in reinforcement learning: we seek to leverage existing policies when learning a new task with specified constraints. This problem is important for safety-critical applications where interactions are costly and unconstrained policies can lead to undesirable or dangerous outcomes, e.g., with physical robots that interact with humans. We propose a Constrained Markov Decision Process (CMDP) formulation that simultaneously enables the transfer of policies and adherence to safety constraints. Our formulation cleanly separates task goals from safety considerations and permits the specification of a wide variety of constraints. Our approach relies on a novel extension of generalized policy improvement to constrained settings via a Lagrangian formulation. We devise a dual optimization algorithm that estimates the optimal dual variable of a target task, thus enabling safe transfer of policies derived from successor features learned on source tasks. Our experiments in simulated domains show that our approach is effective; it visits unsafe states less frequently and outperforms alternative state-of-the-art methods when taking safety constraints into account.

The reinforcement learning paradigm is a popular way to address problems that have only limited environmental feedback, rather than correctly labeled examples, as is common in other machine learning contexts. While significant progress has been made to improve learning in a single task, the idea of transfer learning has only recently been applied to reinforcement learning tasks. The core idea of transfer is that experience gained in learning to perform one task can help improve learning performance in a related, but different, task. In this article we present a framework that classifies transfer learning methods in terms of their capabilities and goals, and then use it to survey the existing literature, as well as to suggest future directions for transfer learning work.

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

Reinforcement-learning agents seek to maximize a reward signal through environmental interactions. As humans, our contribution to the learning process is through designing the reward function. Like programmers, we have a behavior in mind and have to translate it into a formal specification, namely rewards. In this work, we consider the reward-design problem in tasks formulated as reaching desirable states and avoiding undesirable states. To start, we propose a strict partial ordering of the policy space. We prefer policies that reach the good states faster and with higher probability while avoiding the bad states longer. Next, we propose an environment-independent tiered reward structure and show it is guaranteed to induce policies that are Pareto-optimal according to our preference relation. Finally, we empirically evaluate tiered reward functions on several environments and show they induce desired behavior and lead to fast learning.

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

在这项工作中，我们将注意力集中在数据分布与基于Q学基于Q学基于函数近似之间的相互作用的研究。我们提供了一个理论和实证分析，以及为什么数据分布的不同性质可以有助于调节算法不稳定性的来源。首先，我们重新审视近似动态编程算法性能的理论界限。其次，我们提供了一种新型的四态MDP，突出了在线和离线设置中具有功能近似的Q学习算法的数据分布的影响。最后，我们通过实验评估数据分布属性在离线深度Q网算法的性能中的影响。我们的结果表明：（i）数据分布需要拥有某些属性，以便在离线设置中鲁棒地学习，即距离MDP的最佳策略和高覆盖范围内的分布在状态 - 动作空间上的低距离; （ii）高熵数据分布可以有助于减轻算法不稳定性的来源。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

本文解决了逆增强学习（IRL）的问题 - 从观察其行为中推断出代理的奖励功能。 IRL可以为学徒学习提供可概括和紧凑的代表，并能够准确推断人的偏好以帮助他们。 ％并提供更准确的预测。但是，有效的IRL具有挑战性，因为许多奖励功能可以与观察到的行为兼容。我们专注于如何利用先前的强化学习（RL）经验，以使学习这些偏好更快，更高效。我们提出了IRL算法基础（通过样本中的连续功能意图推断行为获取行为），该算法利用多任务RL预培训和后继功能，使代理商可以为跨越可能的目标建立强大的基础，从而跨越可能的目标。给定的域。当仅接触一些专家演示以优化新颖目标时，代理商会使用其基础快速有效地推断奖励功能。我们的实验表明，我们的方法非常有效地推断和优化显示出奖励功能，从而准确地从少于100个轨迹中推断出奖励功能。

在线强化学习（RL）中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾，采样复杂性，状态空间覆盖范围或模型估计，我们都需要攻击不同的勘探开发权衡。在本文中，我们建议在分离方法组成的探索 - 剥削问题：1）“客观特定”算法（自适应）规定哪些样本以收集到哪些状态，似乎它可以访问a生成模型（即环境的模拟器）; 2）负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法，我们首先提供一种算法，它给出了每个状态动作对所需的样本$ B（S，a）$的样本数量，需要$ \ tilde {o} （bd + d ^ {3/2} s ^ 2 a）收集$ b = \ sum_ {s，a} b（s，a）$所需样本的$时间步骤，以$ s $各国，$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对，这些策略规定了解决各种设置的样本要求 - 例如，模型估计，稀疏奖励发现，无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。