我们提出了连续表示的时间扩展变化，我们称其为t-SR。 T-SR通过在原始动作重复序列上构造后继表示，捕获了时间扩展动作的预期状态过渡动力学。这种时间抽象的这种形式不能学习相关任务结构的自上而下的层次结构，而是对耦合动作和动作重复的自下而上的组成。这减少了在没有学习层次政策的情况下控制中所需的决策数量。因此，T-SR直接考虑了时间扩展的动作序列的时间范围，而无需预定义或域特异性选项。我们表明，在具有动态奖励结构的环境中，T-SR能够利用后继表示的灵活性和时间扩展的动作提供的抽象。因此，在一系列稀疏的网格世界环境中，T-SR最佳地适应策略远比基于可比的无模型的强化学习方法快得多。我们还表明，T-SR学到的解决这些任务的方式要求学习的策略的始终如一的频率比非临时扩展的策略少。

动物和人工代理商都受益于支持跨任务的快速学习的国家表示，使他们能够有效地遍历其环境以获得奖励状态。在固定政策下衡量预期累积，贴现国家占用的后续代表（SR），可以在否则的马尔可维亚环境中有效地转移到不同的奖励结构，并假设生物行为和神经活动的基础方面。然而，在现实世界中，奖励可能会移动或仅用于消费一次，可能只是将位置或者代理可以简单地旨在尽可能快地到达目标状态，而不会产生人工强加的任务视野的约束。在这种情况下，最具行为相关的代表将携带有关代理人可能首先达到兴趣国的信息的信息，而不是在可能的无限时间跨度访问它们的频率。为了反映此类需求，我们介绍了第一次占用代表（FR），该代表（FR），该代表（FR）衡量预期的时间折扣首次访问状态。我们证明FR有助于探索，选择有效的路径到所需状态，允许代理在某些条件下规划由一系列子板定义的可透明的最佳轨迹，并引起避免威胁刺激的动物类似的行为。

当加强学习以稀疏的奖励应用时，代理必须花费很长时间探索未知环境而没有任何学习信号。抽象是一种为代理提供在潜在空间中过渡的内在奖励的方法。先前的工作着重于密集的连续潜在空间，或要求用户手动提供表示形式。我们的方法是第一个自动学习基础环境的离散抽象的方法。此外，我们的方法使用端到端可训练的正规后继代表模型在任意输入空间上起作用。对于抽象状态之间的过渡，我们以选项的形式训练一组时间扩展的动作，即动作抽象。我们提出的算法，离散的国家行动抽象（DSAA），在训练这些选项之间进行迭代交换，并使用它们有效地探索更多环境以改善状态抽象。结果，我们的模型不仅对转移学习，而且在在线学习环境中有用。我们从经验上表明，与基线加强学习算法相比，我们的代理能够探索环境并更有效地解决任务。我们的代码可在\ url {https://github.com/amnonattali/dsaa}上公开获得。

分布式多智能经纪增强学习（Marl）算法最近引起了兴趣激增，主要是由于深神经网络（DNN）的最新进步。由于利用固定奖励模型来学习基础值函数，传统的基于模型（MB）或无模型（MF）RL算法不可直接适用于MARL问题。虽然涉及单一代理时，基于DNN的解决方案完全良好地表现出，但是这种方法无法完全推广到MARL问题的复杂性。换句话说，尽管最近的基于DNN的DNN用于多种子体环境的方法取得了卓越的性能，但它们仍然容易出现过度，对参数选择的高敏感性，以及样本低效率。本文提出了多代理自适应Kalman时间差（MAK-TD）框架及其继任者表示的基于代表的变体，称为MAK-SR。直观地说，主要目标是利用卡尔曼滤波（KF）的独特特征，如不确定性建模和在线二阶学习。提议的MAK-TD / SR框架考虑了与高维多算法环境相关联的动作空间的连续性，并利用卡尔曼时间差（KTD）来解决参数不确定性。通过利用KTD框架，SR学习过程被建模到过滤问题，其中径向基函数（RBF）估计器用于将连续空间编码为特征向量。另一方面，对于学习本地化奖励功能，我们求助于多种模型自适应估计（MMAE），处理缺乏关于观察噪声协方差和观察映射功能的先前知识。拟议的MAK-TD / SR框架通过多个实验进行评估，该实验通过Openai Gym Marl基准实施。

当国家行动对具有等效的奖励和过渡动态时，动物能够从有限的经验中迅速推断出来。另一方面，现代的强化学习系统必须通过反复试验进行艰苦的学习，以使国家行动对相当于价值 - 需要从其环境中进行过多的大量样本。已经提出了MDP同态，将观察到的环境的MDP降低到抽象的MDP，这可以实现更有效的样本策略学习。因此，当可以先验地构建合适的MDP同构时，已经实现了样本效率的令人印象深刻的提高 - 通常是通过利用执业者对环境对称性的知识来实现​​的。我们提出了一种在离散作用空间中构建同态的新方法，该方法使用部分环境动力学模型来推断哪种状态作用对导致同一状态 - 将状态行动空间的大小减少了一个等于动作空间的基数。我们称此方法等效效果抽象。在GridWorld环境中，我们从经验上证明了等效效果抽象可以提高基于模型的方法的无模型设置和计划效率的样品效率。此外，我们在Cartpole上表明，我们的方法的表现优于学习同构的现有方法，同时使用33倍的培训数据。

最近的工作发现了经典的加固学习算法，贝叶斯过滤和主动推断之间的紧密联系，这使我们可以从贝叶斯后期来理解价值功能。一种替代方案但较少探索的无模型RL算法是后继表示，它以预期未来状态占领的后继矩阵来表达价值函数。在本文中，我们根据贝叶斯过滤得出了对后继表示的概率解释，从而设计了一种新型的主动推理代理体系结构，利用后继表示而不是基于模型的计划。我们证明，积极推理后继表示在计划范围和计算成本方面，与当前主动推理代理相比具有显着优势。此外，我们演示了继任代理如何推广到改变奖励功能（例如预期自由能的变体）。

Safety is still one of the major research challenges in reinforcement learning (RL). In this paper, we address the problem of how to avoid safety violations of RL agents during exploration in probabilistic and partially unknown environments. Our approach combines automata learning for Markov Decision Processes (MDPs) and shield synthesis in an iterative approach. Initially, the MDP representing the environment is unknown. The agent starts exploring the environment and collects traces. From the collected traces, we passively learn MDPs that abstractly represent the safety-relevant aspects of the environment. Given a learned MDP and a safety specification, we construct a shield. For each state-action pair within a learned MDP, the shield computes exact probabilities on how likely it is that executing the action results in violating the specification from the current state within the next $k$ steps. After the shield is constructed, the shield is used during runtime and blocks any actions that induce a too large risk from the agent. The shielded agent continues to explore the environment and collects new data on the environment. Iteratively, we use the collected data to learn new MDPs with higher accuracy, resulting in turn in shields able to prevent more safety violations. We implemented our approach and present a detailed case study of a Q-learning agent exploring slippery Gridworlds. In our experiments, we show that as the agent explores more and more of the environment during training, the improved learned models lead to shields that are able to prevent many safety violations.

Learning goal-directed behavior in environments with sparse feedback is a major challenge for reinforcement learning algorithms. The primary difficulty arises due to insufficient exploration, resulting in an agent being unable to learn robust value functions. Intrinsically motivated agents can explore new behavior for its own sake rather than to directly solve problems. Such intrinsic behaviors could eventually help the agent solve tasks posed by the environment. We present hierarchical-DQN (h-DQN), a framework to integrate hierarchical value functions, operating at different temporal scales, with intrinsically motivated deep reinforcement learning. A top-level value function learns a policy over intrinsic goals, and a lower-level function learns a policy over atomic actions to satisfy the given goals. h-DQN allows for flexible goal specifications, such as functions over entities and relations. This provides an efficient space for exploration in complicated environments. We demonstrate the strength of our approach on two problems with very sparse, delayed feedback: (1) a complex discrete stochastic decision process, and (2) the classic ATARI game 'Montezuma's Revenge'.

在这项工作中，我们提出了一种初步调查一种名为DYNA-T的新算法。在钢筋学习（RL）中，规划代理有自己的环境表示作为模型。要发现与环境互动的最佳政策，代理商会收集试验和错误时尚的经验。经验可用于学习更好的模型或直接改进价值函数和政策。通常是分离的，Dyna-Q是一种混合方法，在每次迭代，利用真实体验更新模型以及值函数，同时使用模拟数据从其模型中的应用程序进行行动。然而，规划过程是计算昂贵的并且强烈取决于国家行动空间的维度。我们建议在模拟体验上构建一个上置信树（UCT），并在在线学习过程中搜索要选择的最佳动作。我们证明了我们提出的方法对来自Open AI的三个测试平台环境的一系列初步测试的有效性。与Dyna-Q相比，Dyna-T通过选择更强大的动作选择策略来优于随机环境中的最先进的RL代理。

在发现PLACE单元格之后，HPCAPPAL（HPC）函数的想法已经扩展到预测，想象力和概念认知地图。最近的研究争论HPC代表预测地图;并且已经表明，HPC预测对特定位置的访问。这种预测地图理论基于加强学习的继承代表（SR）。基于特征的SR（SF），它使用神经网络作为学习SR的函数近似，似乎更合理的神经生物学模型。然而，尚不众知的重量（W）初始化如何影响SF学习。在本研究中，SF学习者接触到简单的迷宫环境，以分析SF学习效率，并且W模式模式变化。使用了三种W初始化模式：标识矩阵，零矩阵和小随机矩阵。使用随机重量矩阵启动的SF学习者显示出比其他三个RL代理更好的性能。我们将讨论SF重量矩阵的神经生物学含义。通过这种方法，本文试图增加我们对神经科学和人工智能视角的智力的理解。

我们提出了世界价值函数（WVFS），这是一种面向目标的一般价值函数，它代表了如何不仅要解决给定任务，还代表代理环境中的任何其他目标任务。这是通过将代理装备内部目标空间定义为经历终端过渡的所有世界状态来实现的。然后，代理可以修改标准任务奖励以定义其自己的奖励功能，事实证明，它可以驱动其学习如何实现所有可触及的内部目标，以及在当前任务中的价值。我们在学习和计划的背景下展示了WVF的两个关键好处。特别是，给定有学习的WVF，代理可以通过简单地估计任务的奖励功能来计算新任务中的最佳策略。此外，我们表明WVF还隐式编码环境的过渡动力学，因此可以用于执行计划。实验结果表明，WVF可以比常规价值功能更快地学习，而它们的推断环境动态的能力可用于整合学习和计划方法以进一步提高样本效率。

我们介绍了一种改进政策改进的方法，该方法在基于价值的强化学习（RL）的贪婪方法与基于模型的RL的典型计划方法之间进行了插值。新方法建立在几何视野模型（GHM，也称为伽马模型）的概念上，该模型对给定策略的折现状态验证分布进行了建模。我们表明，我们可以通过仔细的基本策略GHM的仔细组成，而无需任何其他学习，可以评估任何非马尔科夫策略，以固定的概率在一组基本马尔可夫策略之间切换。然后，我们可以将广义政策改进（GPI）应用于此类非马尔科夫政策的收集，以获得新的马尔可夫政策，通常将其表现优于其先驱。我们对这种方法提供了彻底的理论分析，开发了转移和标准RL的应用，并在经验上证明了其对标准GPI的有效性，对充满挑战的深度RL连续控制任务。我们还提供了GHM培训方法的分析，证明了关于先前提出的方法的新型收敛结果，并显示了如何在深度RL设置中稳定训练这些模型。

在本文中，我们提出了一种新的马尔可夫决策过程学习分层表示的方法。我们的方法通过将状态空间划分为子集，并定义用于在分区之间执行转换的子任务。我们制定将状态空间作为优化问题分区的问题，该优化问题可以使用梯度下降给出一组采样的轨迹来解决，使我们的方法适用于大状态空间的高维问题。我们经验验证方法，通过表示它可以成功地在导航域中成功学习有用的分层表示。一旦了解到，分层表示可以用于解决给定域中的不同任务，从而概括跨任务的知识。

基于模型的强化学习有望通过学习环境中的中间模型来预测未来的相互作用，从而从与环境的互动较少的相互作用中学习最佳政策。当预测一系列相互作用时，限制预测范围的推出长度是关键的超参数，因为预测的准确性会降低远离真实体验的区域。结果，从长远来看，从长远来看，总体上更糟糕的政策。因此，超参数提供了质量和效率之间的权衡。在这项工作中，我们将调整推出长度调整为元级的顺序决策问题的问题构成了问题，该问题优化了基于模型的强化学习所学到的最终策略，鉴于环境相互作用的固定预算通过基于反馈动态调整超参数来调整超参数。从学习过程中，例如模型的准确性和互动的其余预算。我们使用无模型的深度强化学习来解决元级决策问题，并证明我们的方法在两个众所周知的强化学习环境上优于共同的启发式基准。

本文研究了一种使用背景计划的新方法，用于基于模型的增强学习：混合（近似）动态编程更新和无模型更新，类似于DYNA体系结构。通过学习模型的背景计划通常比无模型替代方案（例如Double DQN）差，尽管前者使用了更多的内存和计算。基本问题是，学到的模型可能是不准确的，并且经常会产生无效的状态，尤其是在迭代许多步骤时。在本文中，我们通过将背景规划限制为一组（抽象）子目标并仅学习本地，子观念模型来避免这种限制。这种目标空间计划（GSP）方法更有效地是在计算上，自然地纳入了时间抽象，以进行更快的长胜压计划，并避免完全学习过渡动态。我们表明，在各种情况下，我们的GSP算法比双DQN基线要快得多。

Go-Explore achieved breakthrough performance on challenging reinforcement learning (RL) tasks with sparse rewards. The key insight of Go-Explore was that successful exploration requires an agent to first return to an interesting state ('Go'), and only then explore into unknown terrain ('Explore'). We refer to such exploration after a goal is reached as 'post-exploration'. In this paper, we present a clear ablation study of post-exploration in a general intrinsically motivated goal exploration process (IMGEP) framework, that the Go-Explore paper did not show. We study the isolated potential of post-exploration, by turning it on and off within the same algorithm under both tabular and deep RL settings on both discrete navigation and continuous control tasks. Experiments on a range of MiniGrid and Mujoco environments show that post-exploration indeed helps IMGEP agents reach more diverse states and boosts their performance. In short, our work suggests that RL researchers should consider to use post-exploration in IMGEP when possible since it is effective, method-agnostic and easy to implement.

在实际应用中，尽管这种知识对于确定反应性控制系统与环境的精确相互作用很重要，但我们很少可以完全观察到系统的环境。因此，我们提出了一种在部分可观察到的环境中进行加固学习方法（RL）。在假设环境的行为就像是可观察到的马尔可夫决策过程，但我们对其结构或过渡概率不了解。我们的方法将Q学习与IOALERGIA结合在一起，这是一种学习马尔可夫决策过程（MDP）的方法。通过从RL代理的发作中学习环境的MDP模型，我们可以在不明确的部分可观察到的域中启用RL，而没有明确的记忆，以跟踪以前的相互作用，以处理由部分可观察性引起的歧义。相反，我们通过模拟学习环境模型上的新体验以跟踪探索状态，以抽象环境状态的形式提供其他观察结果。在我们的评估中，我们报告了方法的有效性及其有希望的性能，与六种具有复发性神经网络和固定记忆的最先进的深度RL技术相比。

Hierarchical decomposition of control is unavoidable in large dynamical systems. In reinforcement learning (RL), it is usually solved with subgoals defined at higher policy levels and achieved at lower policy levels. Reaching these goals can take a substantial amount of time, during which it is not verified whether they are still worth pursuing. However, due to the randomness of the environment, these goals may become obsolete. In this paper, we address this gap in the state-of-the-art approaches and propose a method in which the validity of higher-level actions (thus lower-level goals) is constantly verified at the higher level. If the actions, i.e. lower level goals, become inadequate, they are replaced by more appropriate ones. This way we combine the advantages of hierarchical RL, which is fast training, and flat RL, which is immediate reactivity. We study our approach experimentally on seven benchmark environments.

长期的Horizo​​n机器人学习任务稀疏的奖励对当前的强化学习算法构成了重大挑战。使人类能够学习挑战的控制任务的关键功能是，他们经常获得专家干预，使他们能够在掌握低级控制动作之前了解任务的高级结构。我们为利用专家干预来解决长马增强学习任务的框架。我们考虑\ emph {选项模板}，这是编码可以使用强化学习训练的潜在选项的规格。我们将专家干预提出，因为允许代理商在学习实施之前执行选项模板。这使他们能够使用选项，然后才能为学习成本昂贵的资源学习。我们在三个具有挑战性的强化学习问题上评估了我们的方法，这表明它的表现要优于最先进的方法。训练有素的代理商和我们的代码视频可以在以下网址找到：https：//sites.google.com/view/stickymittens

当环境稀疏和非马克维亚奖励时，使用标量奖励信号的训练加强学习（RL）代理通常是不可行的。此外，在训练之前对这些奖励功能进行手工制作很容易指定，尤其是当环境的动态仅部分知道时。本文提出了一条新型的管道，用于学习非马克维亚任务规格，作为简洁的有限状态“任务自动机”，从未知环境中的代理体验情节中。我们利用两种关键算法的见解。首先，我们通过将其视为部分可观察到的MDP并为隐藏的Markov模型使用现成的算法，从而学习了由规范的自动机和环境MDP组成的产品MDP，该模型是由规范的自动机和环境MDP组成的。其次，我们提出了一种从学习的产品MDP中提取任务自动机（假定为确定性有限自动机）的新方法。我们学到的任务自动机可以使任务分解为其组成子任务，从而提高了RL代理以后可以合成最佳策略的速率。它还提供了高级环境和任务功能的可解释编码，因此人可以轻松地验证代理商是否在没有错误的情况下学习了连贯的任务。此外，我们采取步骤确保学识渊博的自动机是环境不可静止的，使其非常适合用于转移学习。最后，我们提供实验结果，以说明我们在不同环境和任务中的算法的性能及其合并先前的领域知识以促进更有效学习的能力。