Reinforcement-learning agents seek to maximize a reward signal through environmental interactions. As humans, our contribution to the learning process is through designing the reward function. Like programmers, we have a behavior in mind and have to translate it into a formal specification, namely rewards. In this work, we consider the reward-design problem in tasks formulated as reaching desirable states and avoiding undesirable states. To start, we propose a strict partial ordering of the policy space. We prefer policies that reach the good states faster and with higher probability while avoiding the bad states longer. Next, we propose an environment-independent tiered reward structure and show it is guaranteed to induce policies that are Pareto-optimal according to our preference relation. Finally, we empirically evaluate tiered reward functions on several environments and show they induce desired behavior and lead to fast learning.

奖励是加强学习代理的动力。本文致力于了解奖励的表现，作为捕获我们希望代理人执行的任务的一种方式。我们在这项研究中涉及三个新的抽象概念“任务”，可能是可取的：（1）一组可接受的行为，（2）部分排序，或者（3）通过轨迹的部分排序。我们的主要结果证明，虽然奖励可以表达许多这些任务，但每个任务类型的实例都没有Markov奖励函数可以捕获。然后，我们提供一组多项式时间算法，其构造Markov奖励函数，允许代理优化这三种类型中的每种类型的任务，并正确确定何时不存在这种奖励功能。我们得出结论，具有证实和说明我们的理论发现的实证研究。

The reward hypothesis posits that, "all of what we mean by goals and purposes can be well thought of as maximization of the expected value of the cumulative sum of a received scalar signal (reward)." We aim to fully settle this hypothesis. This will not conclude with a simple affirmation or refutation, but rather specify completely the implicit requirements on goals and purposes under which the hypothesis holds.

This paper investigates conditions under which modi cations to the reward function of a Markov decision process preserve the optimal policy. It is shown that, besides the positive linear transformation familiar from utility theory, one can add a reward for transitions between states that is expressible as the di erence in value of an arbitrary potential function applied to those states. Furthermore, this is shown to be a necessary condition for invariance, in the sense that any other transformation may yield suboptimal policies unless further assumptions are made about the underlying MDP. These results shed light on the practice of reward shaping, a method used in reinforcement learning whereby additional training rewards are used to guide the learning agent. In particular, some well-known \bugs" in reward shaping procedures are shown to arise from non-potential-based rewards, and methods are given for constructing shaping potentials corresponding to distance-based and subgoalbased heuristics. We show that such potentials can lead to substantial reductions in learning time.

在许多实际应用程序中，强化学习（RL）代理可能必须解决多个任务，每个任务通常都是通过奖励功能建模的。如果奖励功能是线性表达的，并且代理商以前已经学会了一组针对不同任务的策略，则可以利用后继功能（SFS）来组合此类策略并确定有关新问题的合理解决方案。但是，确定的解决方案不能保证是最佳的。我们介绍了一种解决此限制的新颖算法。它允许RL代理结合现有政策并直接确定任意新问题的最佳政策，而无需与环境进行任何进一步的互动。我们首先（在轻度假设下）表明，SFS解决的转移学习问题等同于学习在RL中优化多个目标的学习问题。然后，我们引入了基于SF的乐观线性支持算法的扩展，以学习一组SFS构成凸面覆盖范围集的策略。我们证明，该集合中的策略可以通过广义策略改进组合，以构建任何可表达的新任务的最佳行为，而无需任何其他培训样本。我们从经验上表明，在价值函数近似下，我们的方法在离散和连续域中优于最先进的竞争算法。

一种简单自然的增强学习算法（RL）是蒙特卡洛探索开始（MCES），通过平均蒙特卡洛回报来估算Q功能，并通过选择最大化Q当前估计的行动来改进策略。 -功能。探索是通过“探索开始”来执行的，即每个情节以随机选择的状态和动作开始，然后遵循当前的策略到终端状态。在Sutton＆Barto（2018）的RL经典书中，据说建立MCES算法的收敛是RL中最重要的剩余理论问题之一。但是，MCE的收敛问题证明是非常细微的。 Bertsekas＆Tsitsiklis（1996）提供了一个反例，表明MCES算法不一定会收敛。 TSITSIKLIS（2002）进一步表明，如果修改了原始MCES算法，以使Q-功能估计值以所有状态行动对以相同的速率更新，并且折现因子严格少于一个，则MCES算法收敛。在本文中，我们通过Sutton＆Barto（1998）中给出的原始，更有效的MCES算法取得进展政策。这样的MDP包括大量的环境，例如所有确定性环境和所有具有时间步长的情节环境或作为状态的任何单调变化的值。与以前使用随机近似的证据不同，我们引入了一种新型的感应方法，该方法非常简单，仅利用大量的强规律。

我们提出了世界价值函数（WVFS），这是一种面向目标的一般价值函数，它代表了如何不仅要解决给定任务，还代表代理环境中的任何其他目标任务。这是通过将代理装备内部目标空间定义为经历终端过渡的所有世界状态来实现的。然后，代理可以修改标准任务奖励以定义其自己的奖励功能，事实证明，它可以驱动其学习如何实现所有可触及的内部目标，以及在当前任务中的价值。我们在学习和计划的背景下展示了WVF的两个关键好处。特别是，给定有学习的WVF，代理可以通过简单地估计任务的奖励功能来计算新任务中的最佳策略。此外，我们表明WVF还隐式编码环境的过渡动力学，因此可以用于执行计划。实验结果表明，WVF可以比常规价值功能更快地学习，而它们的推断环境动态的能力可用于整合学习和计划方法以进一步提高样本效率。

强化学习（RL）在很大程度上依赖于探索以从环境中学习并最大程度地获得观察到的奖励。因此，必须设计一个奖励功能，以确保从收到的经验中获得最佳学习。以前的工作将自动机和基于逻辑的奖励成型与环境假设相结合，以提供自动机制，以根据任务综合奖励功能。但是，关于如何将基于逻辑的奖励塑造扩大到多代理增强学习（MARL）的工作有限。如果任务需要合作，则环境将需要考虑联合状态，以跟踪其他代理，从而遭受对代理数量的维度的诅咒。该项目探讨了如何针对不同场景和任务设计基于逻辑的奖励成型。我们提出了一种针对半偏心逻辑基于逻辑的MARL奖励成型的新方法，该方法在代理数量中是可扩展的，并在多种情况下对其进行了评估。

动物和人工代理商都受益于支持跨任务的快速学习的国家表示，使他们能够有效地遍历其环境以获得奖励状态。在固定政策下衡量预期累积，贴现国家占用的后续代表（SR），可以在否则的马尔可维亚环境中有效地转移到不同的奖励结构，并假设生物行为和神经活动的基础方面。然而，在现实世界中，奖励可能会移动或仅用于消费一次，可能只是将位置或者代理可以简单地旨在尽可能快地到达目标状态，而不会产生人工强加的任务视野的约束。在这种情况下，最具行为相关的代表将携带有关代理人可能首先达到兴趣国的信息的信息，而不是在可能的无限时间跨度访问它们的频率。为了反映此类需求，我们介绍了第一次占用代表（FR），该代表（FR），该代表（FR）衡量预期的时间折扣首次访问状态。我们证明FR有助于探索，选择有效的路径到所需状态，允许代理在某些条件下规划由一系列子板定义的可透明的最佳轨迹，并引起避免威胁刺激的动物类似的行为。

在强化学习（RL）中，目标是获得最佳政策，最佳标准在根本上至关重要。两个主要的最优标准是平均奖励和打折的奖励。虽然后者更受欢迎，但在没有固有折扣概念的情况下，在环境中申请是有问题的。这促使我们重新审视a）动态编程中最佳标准的进步，b）人工折现因子的理由和复杂性，c）直接最大化平均奖励标准的好处，这是无折扣的。我们的贡献包括对平均奖励和打折奖励之间的关系以及对RL中的利弊的讨论之间的关系。我们强调的是，平均奖励RL方法具有将无折扣优化标准（Veinott，1969）应用于RL的成分和机制。

我们提供了奖励黑客的第一个正式定义，即优化不完美的代理奖励功能的现象，$ \ Mathcal {\ tilde {r}} $，根据真实的奖励功能，$ \ MATHCAL {R} $导致性能差。 。我们说，如果增加预期的代理回报率永远无法减少预期的真实回报，则代理是不可接受的。直觉上，可以通过从奖励功能（使其“较窄”）中留出一些术语或忽略大致等效的结果之间的细粒度区分来创建一个不可接受的代理，但是我们表明情况通常不是这样。一个关键的见解是，奖励的线性性（在州行动访问计数中）使得无法实现的状况非常强烈。特别是，对于所有随机策略的集合，只有在其中一个是恒定的，只有两个奖励函数才能是不可接受的。因此，我们将注意力转移到确定性的政策和有限的随机政策集中，在这些策略中，始终存在非平凡的不可动摇的对，并为简化的存在建立必要和充分的条件，这是一个重要的不被限制的特殊情况。我们的结果揭示了使用奖励函数指定狭窄任务和对齐人类价值的AI系统之间的紧张关系。

近年来，研究人员在设计了用于优化线性时间逻辑（LTL）目标和LTL的目标中的增强学习算法方面取得了重大进展。尽管有这些进步，但解决了这个问题的基本限制，以至于以前的研究暗示，但对我们的知识而言，尚未深入检查。在本文中，我们通过一般的LTL目标理解了学习的硬度。我们在马尔可夫决策过程（PAC-MDP）框架（PAC-MDP）框架中可能大致正确学习的问题正式化，这是一种测量加固学习中的样本复杂性的标准框架。在这一形式化中，我们证明，只有在LTL层次结构中最有限的类别中，才有于仅当公式中的最有限的类别，因此才能获得PAC-MDP的最佳政策。实际上，我们的结果意味着加强学习算法无法在与非有限范围可解除的LTL目标的无限环境的相互作用之后获得其学习政策的性能的PAC-MDP保证。

马尔可夫决策过程通常用于不确定性下的顺序决策。然而，对于许多方面，从受约束或安全规范到任务和奖励结构中的各种时间（非Markovian）依赖性，需要扩展。为此，近年来，兴趣已经发展成为强化学习和时间逻辑的组合，即灵活的行为学习方法的组合，具有稳健的验证和保证。在本文中，我们描述了最近引入的常规决策过程的实验调查，该过程支持非马洛维亚奖励功能以及过渡职能。特别是，我们为常规决策过程，与在线，增量学习有关的算法扩展，对无模型和基于模型的解决方案算法的实证评估，以及以常规但非马尔维亚，网格世界的应用程序的算法扩展。

While reinforcement learning algorithms provide automated acquisition of optimal policies, practical application of such methods requires a number of design decisions, such as manually designing reward functions that not only define the task, but also provide sufficient shaping to accomplish it. In this paper, we view reinforcement learning as inferring policies that achieve desired outcomes, rather than as a problem of maximizing rewards. To solve this inference problem, we establish a novel variational inference formulation that allows us to derive a well-shaped reward function which can be learned directly from environment interactions. From the corresponding variational objective, we also derive a new probabilistic Bellman backup operator and use it to develop an off-policy algorithm to solve goal-directed tasks. We empirically demonstrate that this method eliminates the need to hand-craft reward functions for a suite of diverse manipulation and locomotion tasks and leads to effective goal-directed behaviors.

递归是有限地描述潜在无限物体的基本范例。由于最先进的强化学习（RL）算法无法直接推理递归，因此他们必须依靠从业者的创造力来设计适当的“平坦”环境代表。由此产生的手动特征结构和近似值繁琐且容易出错。他们缺乏透明度会阻碍可伸缩性。为了克服这些挑战，我们开发了能够在被描述为Markov决策过程集合（MDP）的环境中计算最佳策略的RL算法，这些算法可以递归调用。每个成分MDP的特征是几个进入点和出口点，与这些调用的输入和输出值相对应。这些递归的MDP（或RMDPS）与概率下降系统（呼叫堆栈扮演起作用堆栈的角色）相同，并且可以用递归程序性调用对概率程序进行建模。我们介绍了递归Q学习 - RMDPS的无模型RL算法 - 并证明它在轻度假设下会收敛于有限的，单位和确定性的多EXIT RMDP。

本文研究了一种使用背景计划的新方法，用于基于模型的增强学习：混合（近似）动态编程更新和无模型更新，类似于DYNA体系结构。通过学习模型的背景计划通常比无模型替代方案（例如Double DQN）差，尽管前者使用了更多的内存和计算。基本问题是，学到的模型可能是不准确的，并且经常会产生无效的状态，尤其是在迭代许多步骤时。在本文中，我们通过将背景规划限制为一组（抽象）子目标并仅学习本地，子观念模型来避免这种限制。这种目标空间计划（GSP）方法更有效地是在计算上，自然地纳入了时间抽象，以进行更快的长胜压计划，并避免完全学习过渡动态。我们表明，在各种情况下，我们的GSP算法比双DQN基线要快得多。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

Safety is still one of the major research challenges in reinforcement learning (RL). In this paper, we address the problem of how to avoid safety violations of RL agents during exploration in probabilistic and partially unknown environments. Our approach combines automata learning for Markov Decision Processes (MDPs) and shield synthesis in an iterative approach. Initially, the MDP representing the environment is unknown. The agent starts exploring the environment and collects traces. From the collected traces, we passively learn MDPs that abstractly represent the safety-relevant aspects of the environment. Given a learned MDP and a safety specification, we construct a shield. For each state-action pair within a learned MDP, the shield computes exact probabilities on how likely it is that executing the action results in violating the specification from the current state within the next $k$ steps. After the shield is constructed, the shield is used during runtime and blocks any actions that induce a too large risk from the agent. The shielded agent continues to explore the environment and collects new data on the environment. Iteratively, we use the collected data to learn new MDPs with higher accuracy, resulting in turn in shields able to prevent more safety violations. We implemented our approach and present a detailed case study of a Q-learning agent exploring slippery Gridworlds. In our experiments, we show that as the agent explores more and more of the environment during training, the improved learned models lead to shields that are able to prevent many safety violations.

我们研究了学习一系列良好政策的问题，使得当结合在一起时，他们可以解决各种各样的不良加强学习任务，没有或很少的新数据。具体而言，我们考虑广义政策评估和改进的框架，其中假设所有感兴趣任务的奖励被认为是固定的一组特征的线性组合。理论上，我们在理论上显示，在某些假设下，可以访问我们称之为一组独立策略的特定的各种策略，可以易于瞬间实现高级性能，这些任务通常比那些更复杂的所有可能的下游任务经过培训的代理人。基于这一理论分析，我们提出了一种简单的算法，可以迭代构建这套策略。除了经验验证我们的理论结果外，我们还将我们的方法与最近提出的各种政策集施工方法进行了比较，并表明其他人失败，我们的方法能够建立一种行为基础，使能够瞬间转移到所有可能的下游任务。我们还经验展示了访问一组独立策略，可以更好地引导在下游任务上的学习过程，其中新奖励功能不能被描述为特征的线性组合。最后，我们证明了这一政策组可以在逼真的终身加强学习环境中有用。