在许多实际应用程序中，强化学习（RL）代理可能必须解决多个任务，每个任务通常都是通过奖励功能建模的。如果奖励功能是线性表达的，并且代理商以前已经学会了一组针对不同任务的策略，则可以利用后继功能（SFS）来组合此类策略并确定有关新问题的合理解决方案。但是，确定的解决方案不能保证是最佳的。我们介绍了一种解决此限制的新颖算法。它允许RL代理结合现有政策并直接确定任意新问题的最佳政策，而无需与环境进行任何进一步的互动。我们首先（在轻度假设下）表明，SFS解决的转移学习问题等同于学习在RL中优化多个目标的学习问题。然后，我们引入了基于SF的乐观线性支持算法的扩展，以学习一组SFS构成凸面覆盖范围集的策略。我们证明，该集合中的策略可以通过广义策略改进组合，以构建任何可表达的新任务的最佳行为，而无需任何其他培训样本。我们从经验上表明，在价值函数近似下，我们的方法在离散和连续域中优于最先进的竞争算法。

我们研究了学习一系列良好政策的问题，使得当结合在一起时，他们可以解决各种各样的不良加强学习任务，没有或很少的新数据。具体而言，我们考虑广义政策评估和改进的框架，其中假设所有感兴趣任务的奖励被认为是固定的一组特征的线性组合。理论上，我们在理论上显示，在某些假设下，可以访问我们称之为一组独立策略的特定的各种策略，可以易于瞬间实现高级性能，这些任务通常比那些更复杂的所有可能的下游任务经过培训的代理人。基于这一理论分析，我们提出了一种简单的算法，可以迭代构建这套策略。除了经验验证我们的理论结果外，我们还将我们的方法与最近提出的各种政策集施工方法进行了比较，并表明其他人失败，我们的方法能够建立一种行为基础，使能够瞬间转移到所有可能的下游任务。我们还经验展示了访问一组独立策略，可以更好地引导在下游任务上的学习过程，其中新奖励功能不能被描述为特征的线性组合。最后，我们证明了这一政策组可以在逼真的终身加强学习环境中有用。

我们研究如何构建一组可以组成的政策来解决一个加强学习任务的集合。每个任务都是不同的奖励函数，被定义为已知功能的线性组合。我们考虑一下我们呼吁改进政策的特定策略组合（SIPS）：给定一套政策和一系列任务，SIP是前者的任何构成，其性能至少与其成分的表现相当好所有任务。我们专注于啜饮的最保守的实例化，Set-Max政策（SMPS），因此我们的分析扩展到任何SIP。这包括已知的策略组合运营商，如广义政策改进。我们的主要贡献是一种策略迭代算法，构建一组策略，以最大限度地提高所得SMP的最坏情况性能。该算法通过连续向集合添加新策略来工作。我们表明，生成的SMP的最坏情况性能严格地改善了每次迭代，并且算法仅在不存在导致改进性能的策略时停止。我们经验在网格世界上进行了验证评估了算法，也是来自DeepMind控制套件的一组域。我们确认了我们关于我们算法的单调性能的理论结果。有趣的是，我们还经验展示了算法计算的政策集是多样的，导致网格世界中的不同轨迹以及控制套件中的非常独特的运动技能。

Transfer in Reinforcement Learning aims to improve learning performance on target tasks using knowledge from experienced source tasks. Successor Representations (SR) and their extension Successor Features (SF) are prominent transfer mechanisms in domains where reward functions change between tasks. They reevaluate the expected return of previously learned policies in a new target task to transfer their knowledge. The SF framework extended SR by linearly decomposing rewards into successor features and a reward weight vector allowing their application in high-dimensional tasks. But this came with the cost of having a linear relationship between reward functions and successor features, limiting its application to such tasks. We propose a novel formulation of SR based on learning the cumulative discounted probability of successor features, called Successor Feature Representations (SFR). Crucially, SFR allows to reevaluate the expected return of policies for general reward functions. We introduce different SFR variations, prove its convergence, and provide a guarantee on its transfer performance. Experimental evaluations based on SFR with function approximation demonstrate its advantage over SF not only for general reward functions but also in the case of linearly decomposable reward functions.

In this work, we focus on the problem of safe policy transfer in reinforcement learning: we seek to leverage existing policies when learning a new task with specified constraints. This problem is important for safety-critical applications where interactions are costly and unconstrained policies can lead to undesirable or dangerous outcomes, e.g., with physical robots that interact with humans. We propose a Constrained Markov Decision Process (CMDP) formulation that simultaneously enables the transfer of policies and adherence to safety constraints. Our formulation cleanly separates task goals from safety considerations and permits the specification of a wide variety of constraints. Our approach relies on a novel extension of generalized policy improvement to constrained settings via a Lagrangian formulation. We devise a dual optimization algorithm that estimates the optimal dual variable of a target task, thus enabling safe transfer of policies derived from successor features learned on source tasks. Our experiments in simulated domains show that our approach is effective; it visits unsafe states less frequently and outperforms alternative state-of-the-art methods when taking safety constraints into account.

我们介绍了一种改进政策改进的方法，该方法在基于价值的强化学习（RL）的贪婪方法与基于模型的RL的典型计划方法之间进行了插值。新方法建立在几何视野模型（GHM，也称为伽马模型）的概念上，该模型对给定策略的折现状态验证分布进行了建模。我们表明，我们可以通过仔细的基本策略GHM的仔细组成，而无需任何其他学习，可以评估任何非马尔科夫策略，以固定的概率在一组基本马尔可夫策略之间切换。然后，我们可以将广义政策改进（GPI）应用于此类非马尔科夫政策的收集，以获得新的马尔可夫政策，通常将其表现优于其先驱。我们对这种方法提供了彻底的理论分析，开发了转移和标准RL的应用，并在经验上证明了其对标准GPI的有效性，对充满挑战的深度RL连续控制任务。我们还提供了GHM培训方法的分析，证明了关于先前提出的方法的新型收敛结果，并显示了如何在深度RL设置中稳定训练这些模型。

找到同一问题的不同解决方案是与创造力和对新颖情况的适应相关的智能的关键方面。在钢筋学习中，一套各种各样的政策对于勘探，转移，层次结构和鲁棒性有用。我们提出了各种各样的连续政策，一种发现在继承人功能空间中多样化的政策的方法，同时确保它们接近最佳。我们将问题形式形式化为受限制的马尔可夫决策过程（CMDP），目标是找到最大化多样性的政策，其特征在于内在的多样性奖励，同时对MDP的外在奖励保持近乎最佳。我们还分析了最近提出的稳健性和歧视奖励的绩效，并发现它们对程序的初始化敏感，并且可以收敛到次优溶液。为了缓解这一点，我们提出了新的明确多样性奖励，该奖励旨在最大限度地减少集合中策略的继承人特征之间的相关性。我们比较深度控制套件中的不同多样性机制，发现我们提出的明确多样性的类型对于发现不同的行为是重要的，例如不同的运动模式。

在线强化学习（RL）中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾，采样复杂性，状态空间覆盖范围或模型估计，我们都需要攻击不同的勘探开发权衡。在本文中，我们建议在分离方法组成的探索 - 剥削问题：1）“客观特定”算法（自适应）规定哪些样本以收集到哪些状态，似乎它可以访问a生成模型（即环境的模拟器）; 2）负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法，我们首先提供一种算法，它给出了每个状态动作对所需的样本$ B（S，a）$的样本数量，需要$ \ tilde {o} （bd + d ^ {3/2} s ^ 2 a）收集$ b = \ sum_ {s，a} b（s，a）$所需样本的$时间步骤，以$ s $各国，$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对，这些策略规定了解决各种设置的样本要求 - 例如，模型估计，稀疏奖励发现，无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。

我们研究奖励设计策略，用于激励加强学习代理，从一系列可接受的政策中采用政策。奖励设计师的目标是经济高效地修改底层奖励功能，同时确保在新奖励功能下的任何大约最佳的确定性政策是可允许的，并且在原始奖励功能下执行良好。这个问题可以被视为最佳奖励中毒攻击问题的双重问题：而不是强制代理商采用特定的政策，而奖励设计师则激励一个代理人以避免采取某些州不可受理的行动。也许令人惊讶的是，与最佳奖励中毒攻击的问题相比，我们首先表明可允许的政策教学的奖励设计问题是在计算上具有挑战性的，并且难以找到近似最佳的奖励修改。然后，我们通过制定最佳解决方案的代理问题，其最佳解决方案近似于我们的环境中奖励设计问题的最佳解决方案，但更适用于优化技术和分析。对于此替代问题，我们呈现了在最佳解决方案的值上提供限制的表征结果。最后，我们设计了一个本地搜索算法来解决代理问题，并使用基于模拟的实验展示其实用程序。

动物和人工代理商都受益于支持跨任务的快速学习的国家表示，使他们能够有效地遍历其环境以获得奖励状态。在固定政策下衡量预期累积，贴现国家占用的后续代表（SR），可以在否则的马尔可维亚环境中有效地转移到不同的奖励结构，并假设生物行为和神经活动的基础方面。然而，在现实世界中，奖励可能会移动或仅用于消费一次，可能只是将位置或者代理可以简单地旨在尽可能快地到达目标状态，而不会产生人工强加的任务视野的约束。在这种情况下，最具行为相关的代表将携带有关代理人可能首先达到兴趣国的信息的信息，而不是在可能的无限时间跨度访问它们的频率。为了反映此类需求，我们介绍了第一次占用代表（FR），该代表（FR），该代表（FR）衡量预期的时间折扣首次访问状态。我们证明FR有助于探索，选择有效的路径到所需状态，允许代理在某些条件下规划由一系列子板定义的可透明的最佳轨迹，并引起避免威胁刺激的动物类似的行为。

我们研究具有多个奖励价值函数的马尔可夫决策过程（MDP）的政策优化，应根据给定的标准共同优化，例如比例公平（平滑凹面标量），硬约束（约束MDP）和Max-Min Trade-离开。我们提出了一个改变锚定的正规自然政策梯度（ARNPG）框架，该框架可以系统地将良好表现的一阶方法中的思想纳入多目标MDP问题的策略优化算法的设计。从理论上讲，基于ARNPG框架的设计算法实现了$ \ tilde {o}（1/t）$全局收敛，并具有精确的梯度。从经验上讲，与某些现有的基于策略梯度的方法相比，ARNPG引导的算法在精确梯度和基于样本的场景中也表现出卓越的性能。

Epsilon-Greedy，SoftMax或Gaussian噪声等近视探索政策在某些强化学习任务中无法有效探索，但是在许多其他方面，它们的表现都很好。实际上，实际上，由于简单性，它们通常被选为最佳选择。但是，对于哪些任务执行此类政策成功？我们可以为他们的有利表现提供理论保证吗？尽管这些政策具有显着的实际重要性，但这些关键问题几乎没有得到研究。本文介绍了对此类政策的理论分析，并为通过近视探索提供了对增强学习的首次遗憾和样本复杂性。我们的结果适用于具有有限的Bellman Eluder维度的情节MDP中的基于价值功能的算法。我们提出了一种新的复杂度度量，称为近视探索差距，用Alpha表示，该差距捕获了MDP的结构属性，勘探策略和给定的值函数类别。我们表明，近视探索的样品复杂性与该数量的倒数1 / alpha^2二次地量表。我们通过具体的例子进一步证明，由于相应的动态和奖励结构，在近视探索成功的几项任务中，近视探索差距确实是有利的。

In this work we introduce reinforcement learning techniques for solving lexicographic multi-objective problems. These are problems that involve multiple reward signals, and where the goal is to learn a policy that maximises the first reward signal, and subject to this constraint also maximises the second reward signal, and so on. We present a family of both action-value and policy gradient algorithms that can be used to solve such problems, and prove that they converge to policies that are lexicographically optimal. We evaluate the scalability and performance of these algorithms empirically, demonstrating their practical applicability. As a more specific application, we show how our algorithms can be used to impose safety constraints on the behaviour of an agent, and compare their performance in this context with that of other constrained reinforcement learning algorithms.

我们提出了世界价值函数（WVFS），这是一种面向目标的一般价值函数，它代表了如何不仅要解决给定任务，还代表代理环境中的任何其他目标任务。这是通过将代理装备内部目标空间定义为经历终端过渡的所有世界状态来实现的。然后，代理可以修改标准任务奖励以定义其自己的奖励功能，事实证明，它可以驱动其学习如何实现所有可触及的内部目标，以及在当前任务中的价值。我们在学习和计划的背景下展示了WVF的两个关键好处。特别是，给定有学习的WVF，代理可以通过简单地估计任务的奖励功能来计算新任务中的最佳策略。此外，我们表明WVF还隐式编码环境的过渡动力学，因此可以用于执行计划。实验结果表明，WVF可以比常规价值功能更快地学习，而它们的推断环境动态的能力可用于整合学习和计划方法以进一步提高样本效率。

最大化马尔可夫和固定的累积奖励函数，即在国家行动对和时间独立于时间上定义，足以在马尔可夫决策过程（MDP）中捕获多种目标。但是，并非所有目标都可以以这种方式捕获。在本文中，我们研究了凸MDP，其中目标表示为固定分布的凸功能，并表明它们不能使用固定奖励函数进行配制。凸MDP将标准加强学习（RL）问题提出概括为一个更大的框架，其中包括许多受监督和无监督的RL问题，例如学徒学习，约束MDP和所谓的“纯探索”。我们的方法是使用Fenchel二重性将凸MDP问题重新将凸MDP问题重新制定为涉及政策和成本（负奖励）的最小游戏。我们提出了一个用于解决此问题的元偏金属，并表明它统一了文献中许多现有的算法。

本文讨论了一种学习最佳Q功能的基本问题的新方法。在这种方法中，最佳Q函数被配制为源自经典Bellman最优方程的非线性拉格朗日函数的鞍点。该论文表明，尽管非线性具有非线性，但拉格朗日人仍然具有很强的双重性，这为Q-function学习的一般方法铺平了道路。作为演示，本文根据二元性理论开发了模仿学习算法，并将算法应用于最先进的机器翻译基准。然后，该论文转弯以证明有关拉格朗日鞍点的最佳性的对称性破坏现象，这证明了开发拉格朗日方法的很大程度上被忽视的方向。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

近年来，加固学习（RL）由于其各种应用的巨大成功，近年来越来越兴趣。但是，标准的RL算法只能用于单次奖励功能，并且不能快速适应未经奖励功能。在本文中，我们提倡一般的钢筋学习操作员视图，这使我们能够直接估计从奖励函数映射到价值函数的操作员。学习操作员的好处是我们可以将任何新的奖励函数作为输入纳入并以零拍方式达到其相应的值函数。为了近似这种特殊类型的操作员，我们根据其理论属性设计了许多新颖的操作员神经网络架构。我们的操作网络设计优于现有的方法和通用运营商网络的标准设计，我们展示了在几个任务中的操作员Deep Q学习框架的好处，包括奖励转移到离线政策评估（OPE）并奖励离线转移一系列任务中的策略优化。

Reinforcement-learning agents seek to maximize a reward signal through environmental interactions. As humans, our contribution to the learning process is through designing the reward function. Like programmers, we have a behavior in mind and have to translate it into a formal specification, namely rewards. In this work, we consider the reward-design problem in tasks formulated as reaching desirable states and avoiding undesirable states. To start, we propose a strict partial ordering of the policy space. We prefer policies that reach the good states faster and with higher probability while avoiding the bad states longer. Next, we propose an environment-independent tiered reward structure and show it is guaranteed to induce policies that are Pareto-optimal according to our preference relation. Finally, we empirically evaluate tiered reward functions on several environments and show they induce desired behavior and lead to fast learning.

在最大的状态熵探索框架中，代理商与无奖励环境进行交互，以学习最大程度地提高其正在引起的预期国有访问的熵的政策。 Hazan等。 （2019年）指出，马尔可夫随机策略类别足以满足最大状态熵目标，而在这种情况下，利用非马克维亚性通常被认为是毫无意义的。在本文中，我们认为非马克维亚性是有限样本制度中最大状态熵探索至关重要的。尤其是，我们重新阐明了目标在一次试验中针对诱发的国有访问的预期熵的目标。然后，我们表明，非马克维亚确定性政策的类别足以满足引入的目标，而马尔可夫政策总体上遭受了非零的遗憾。但是，我们证明找到最佳的非马克维亚政策的问题是NP-HARD。尽管结果有负面的结果，但我们讨论了以一种可行的方式解决该问题的途径，以及非马克维亚探索如何使未来工作中在线增强学习的样本效率受益。