Go-Explore achieved breakthrough performance on challenging reinforcement learning (RL) tasks with sparse rewards. The key insight of Go-Explore was that successful exploration requires an agent to first return to an interesting state ('Go'), and only then explore into unknown terrain ('Explore'). We refer to such exploration after a goal is reached as 'post-exploration'. In this paper, we present a clear ablation study of post-exploration in a general intrinsically motivated goal exploration process (IMGEP) framework, that the Go-Explore paper did not show. We study the isolated potential of post-exploration, by turning it on and off within the same algorithm under both tabular and deep RL settings on both discrete navigation and continuous control tasks. Experiments on a range of MiniGrid and Mujoco environments show that post-exploration indeed helps IMGEP agents reach more diverse states and boosts their performance. In short, our work suggests that RL researchers should consider to use post-exploration in IMGEP when possible since it is effective, method-agnostic and easy to implement.

在本文中，我们介绍了潜在的探索（LGE），这是一种基于探索加固学习（RL）的探索范式的简单而通用的方法。最初引入了Go-explore，并具有强大的域知识约束，以将状态空间划分为单元。但是，在大多数实际情况下，从原始观察中汲取域知识是复杂而乏味的。如果细胞分配不足以提供信息，则可以完全无法探索环境。我们认为，可以通过利用学习的潜在表示，可以将Go-explore方法推广到任何环境，而无需细胞。因此，我们表明LGE可以灵活地与学习潜在表示的任何策略相结合。我们表明，LGE虽然比Go-explore更简单，但在多个硬探索环境上纯粹的探索方面，更强大，并且优于所有最先进的算法。 LGE实现可在https://github.com/qgallouedec/lge上作为开源。

Non-parametric episodic memory can be used to quickly latch onto high-reward experience in reinforcement learning tasks. In contrast to parametric deep reinforcement learning approaches, these methods only need to discover the solution once, and may then repeatedly solve the task. However, episodic control solutions are stored in discrete tables, and this approach has so far only been applied to discrete action space problems. Therefore, this paper introduces Continuous Episodic Control (CEC), a novel non-parametric episodic memory algorithm for sequential decision making in problems with a continuous action space. Results on several sparse-reward continuous control environments show that our proposed method learns faster than state-of-the-art model-free RL and memory-augmented RL algorithms, while maintaining good long-run performance as well. In short, CEC can be a fast approach for learning in continuous control tasks, and a useful addition to parametric RL methods in a hybrid approach as well.

在本文中，我们提出了一种新的马尔可夫决策过程学习分层表示的方法。我们的方法通过将状态空间划分为子集，并定义用于在分区之间执行转换的子任务。我们制定将状态空间作为优化问题分区的问题，该优化问题可以使用梯度下降给出一组采样的轨迹来解决，使我们的方法适用于大状态空间的高维问题。我们经验验证方法，通过表示它可以成功地在导航域中成功学习有用的分层表示。一旦了解到，分层表示可以用于解决给定域中的不同任务，从而概括跨任务的知识。

Meta-Renifiltive学习（Meta-RL）已被证明是利用事先任务的经验，以便快速学习新的相关任务的成功框架，但是，当前的Meta-RL接近在稀疏奖励环境中学习的斗争。尽管现有的Meta-RL算法可以学习适应新的稀疏奖励任务的策略，但是使用手形奖励功能来学习实际适应策略，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了对Meta-RL的后视抢购的制定，该rl抢购了在Meta培训期间的经验，以便能够使用稀疏奖励完全学习。我们展示了我们的方法在套件挑战稀疏奖励目标达到的环境中，以前需要密集的奖励，以便在Meta训练中解决。我们的方法使用真正的稀疏奖励功能来解决这些环境，性能与具有代理密集奖励功能的培训相当。

动物和人工代理商都受益于支持跨任务的快速学习的国家表示，使他们能够有效地遍历其环境以获得奖励状态。在固定政策下衡量预期累积，贴现国家占用的后续代表（SR），可以在否则的马尔可维亚环境中有效地转移到不同的奖励结构，并假设生物行为和神经活动的基础方面。然而，在现实世界中，奖励可能会移动或仅用于消费一次，可能只是将位置或者代理可以简单地旨在尽可能快地到达目标状态，而不会产生人工强加的任务视野的约束。在这种情况下，最具行为相关的代表将携带有关代理人可能首先达到兴趣国的信息的信息，而不是在可能的无限时间跨度访问它们的频率。为了反映此类需求，我们介绍了第一次占用代表（FR），该代表（FR），该代表（FR）衡量预期的时间折扣首次访问状态。我们证明FR有助于探索，选择有效的路径到所需状态，允许代理在某些条件下规划由一系列子板定义的可透明的最佳轨迹，并引起避免威胁刺激的动物类似的行为。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

增强学习（RL）研究领域非常活跃，并具有重要的新贡献；特别是考虑到深RL（DRL）的新兴领域。但是，仍然需要解决许多科学和技术挑战，其中我们可以提及抽象行动的能力或在稀疏回报环境中探索环境的难以通过内在动机（IM）来解决的。我们建议通过基于信息理论的新分类法调查这些研究工作：我们在计算上重新审视了惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优势和缺点，并展示当前的研究前景。我们的分析表明，新颖性和惊喜可以帮助建立可转移技能的层次结构，从而进一步抽象环境并使勘探过程更加健壮。

在现实世界中经营通常需要代理商来了解复杂的环境，并应用这种理解以实现一系列目标。这个问题被称为目标有条件的强化学习（GCRL），对长地平线的目标变得特别具有挑战性。目前的方法通过使用基于图形的规划算法增强目标条件的策略来解决这个问题。然而，他们努力缩放到大型高维状态空间，并采用用于有效地收集训练数据的探索机制。在这项工作中，我们介绍了继任者功能标志性（SFL），这是一种探索大型高维环境的框架，以获得熟练的政策熟练的策略。 SFL利用继承特性（SF）来捕获转换动态的能力，通过估计状态新颖性来驱动探索，并通过将状态空间作为基于非参数标志的图形来实现高级规划。我们进一步利用SF直接计算地标遍历的目标条件调节策略，我们用于在探索状态空间边缘执行计划“前沿”地标。我们在我们的Minigrid和VizDoom进行了实验，即SFL可以高效地探索大型高维状态空间和优于长地平线GCRL任务的最先进的基线。

在这项工作中，我们提出了一种初步调查一种名为DYNA-T的新算法。在钢筋学习（RL）中，规划代理有自己的环境表示作为模型。要发现与环境互动的最佳政策，代理商会收集试验和错误时尚的经验。经验可用于学习更好的模型或直接改进价值函数和政策。通常是分离的，Dyna-Q是一种混合方法，在每次迭代，利用真实体验更新模型以及值函数，同时使用模拟数据从其模型中的应用程序进行行动。然而，规划过程是计算昂贵的并且强烈取决于国家行动空间的维度。我们建议在模拟体验上构建一个上置信树（UCT），并在在线学习过程中搜索要选择的最佳动作。我们证明了我们提出的方法对来自Open AI的三个测试平台环境的一系列初步测试的有效性。与Dyna-Q相比，Dyna-T通过选择更强大的动作选择策略来优于随机环境中的最先进的RL代理。

Model-Based Reinforcement Learning (RL) is widely believed to have the potential to improve sample efficiency by allowing an agent to synthesize large amounts of imagined experience. Experience Replay (ER) can be considered a simple kind of model, which has proved extremely effective at improving the stability and efficiency of deep RL. In principle, a learned parametric model could improve on ER by generalizing from real experience to augment the dataset with additional plausible experience. However, owing to the many design choices involved in empirically successful algorithms, it can be very hard to establish where the benefits are actually coming from. Here, we provide theoretical and empirical insight into when, and how, we can expect data generated by a learned model to be useful. First, we provide a general theorem motivating how learning a model as an intermediate step can narrow down the set of possible value functions more than learning a value function directly from data using the Bellman equation. Second, we provide an illustrative example showing empirically how a similar effect occurs in a more concrete setting with neural network function approximation. Finally, we provide extensive experiments showing the benefit of model-based learning for online RL in environments with combinatorial complexity, but factored structure that allows a learned model to generalize. In these experiments, we take care to control for other factors in order to isolate, insofar as possible, the benefit of using experience generated by a learned model relative to ER alone.

钢筋学习的最新进展证明了其在超级人类水平上解决硬质孕代环境互动任务的能力。然而，由于大多数RL最先进的算法的样本低效率，即，需要大量培训集，因此在实际和现实世界任务中的应用目前有限。例如，在Dota 2中击败人类参与者的Openai五种算法已经训练了数千年的游戏时间。存在解决样本低效问题的几种方法，可以通过更好地探索环境来提供更有效的使用或旨在获得更相关和多样化的经验。然而，为了我们的知识，没有用于基于模型的算法的这种方法，其在求解具有高维状态空间的硬控制任务方面的高采样效率。这项工作连接了探索技术和基于模型的加强学习。我们设计了一种新颖的探索方法，考虑了基于模型的方法的特征。我们还通过实验证明我们的方法显着提高了基于模型的算法梦想家的性能。

Learning goal-directed behavior in environments with sparse feedback is a major challenge for reinforcement learning algorithms. The primary difficulty arises due to insufficient exploration, resulting in an agent being unable to learn robust value functions. Intrinsically motivated agents can explore new behavior for its own sake rather than to directly solve problems. Such intrinsic behaviors could eventually help the agent solve tasks posed by the environment. We present hierarchical-DQN (h-DQN), a framework to integrate hierarchical value functions, operating at different temporal scales, with intrinsically motivated deep reinforcement learning. A top-level value function learns a policy over intrinsic goals, and a lower-level function learns a policy over atomic actions to satisfy the given goals. h-DQN allows for flexible goal specifications, such as functions over entities and relations. This provides an efficient space for exploration in complicated environments. We demonstrate the strength of our approach on two problems with very sparse, delayed feedback: (1) a complex discrete stochastic decision process, and (2) the classic ATARI game 'Montezuma's Revenge'.

本文研究了一种使用背景计划的新方法，用于基于模型的增强学习：混合（近似）动态编程更新和无模型更新，类似于DYNA体系结构。通过学习模型的背景计划通常比无模型替代方案（例如Double DQN）差，尽管前者使用了更多的内存和计算。基本问题是，学到的模型可能是不准确的，并且经常会产生无效的状态，尤其是在迭代许多步骤时。在本文中，我们通过将背景规划限制为一组（抽象）子目标并仅学习本地，子观念模型来避免这种限制。这种目标空间计划（GSP）方法更有效地是在计算上，自然地纳入了时间抽象，以进行更快的长胜压计划，并避免完全学习过渡动态。我们表明，在各种情况下，我们的GSP算法比双DQN基线要快得多。

尽管深入的强化学习（DRL）在包括机器人技术在内的许多学科中都很流行，但最先进的DRL算法仍然难以学习长途，多步骤和稀疏奖励任务，例如仅在只有一项任务的情况下堆叠几个块 - 集合奖励信号。为了提高此类任务的学习效率，本文提出了一种称为A^2的DRL探索技术，该技术集成了受人类经验启发的两个组成部分：抽象演示和适应性探索。 A^2首先将复杂的任务分解为子任务，然后提供正确的子任务订单以学习。在训练过程中，该代理商会自适应地探索环境，对良好的子任务的行为更确定性，并且更随机地对不良的子任务子任务。消融和比较实验是对几个网格世界任务和三个机器人操纵任务进行的。我们证明A^2可以帮助流行的DRL算法（DQN，DDPG和SAC）在这些环境中更有效，稳定地学习。

在RL的许多实际应用中，观察来自环境的状态过渡是昂贵的。例如，在核聚变的等离子体控制问题中，计算给定的状态对对的下一个状态需要查询昂贵的过渡功能，这可以导致许多小时的计算机模拟或美元科学研究。这种昂贵的数据收集禁止应用标准RL算法，该算法通常需要大量观察来学习。在这项工作中，我们解决了有效地学习策略的问题，同时为转换函数进行最小数量的状态动作查询。特别是，我们利用贝叶斯最优实验设计的想法，以指导选择国家行动查询以获得高效学习。我们提出了一种采集功能，该函数量化了状态动作对将提供多少信息对Markov决策过程提供的最佳解决方案。在每次迭代时，我们的算法最大限度地提高了该采集功能，选择要查询的最具信息性的状态动作对，从而产生数据有效的RL方法。我们试验各种模拟的连续控制问题，并显示我们的方法学习最佳政策，最高$ 5 $ - $ 1,000 \倍的数据，而不是基于模型的RL基线，10 ^ 3美元 - $ 10 ^ 5 \ times比无模型RL基线更少的数据。我们还提供了几种消融比较，这指出了从获得数据的原理方法产生的大量改进。

建立可以探索开放式环境的自主机器，发现可能的互动，自主构建技能的曲目是人工智能的一般目标。发展方法争辩说，这只能通过可以生成，选择和学习解决自己问题的自主和本质上动机的学习代理人来实现。近年来，我们已经看到了发育方法的融合，特别是发展机器人，具有深度加强学习（RL）方法，形成了发展机器学习的新领域。在这个新域中，我们在这里审查了一组方法，其中深入RL算法训练，以解决自主获取的开放式曲目的发展机器人问题。本质上动机的目标条件RL算法训练代理商学习代表，产生和追求自己的目标。自我生成目标需要学习紧凑的目标编码以及它们的相关目标 - 成就函数，这导致与传统的RL算法相比，这导致了新的挑战，该算法设计用于使用外部奖励信号解决预定义的目标集。本文提出了在深度RL和发育方法的交叉口中进行了这些方法的类型，调查了最近的方法并讨论了未来的途径。

在实际应用中，尽管这种知识对于确定反应性控制系统与环境的精确相互作用很重要，但我们很少可以完全观察到系统的环境。因此，我们提出了一种在部分可观察到的环境中进行加固学习方法（RL）。在假设环境的行为就像是可观察到的马尔可夫决策过程，但我们对其结构或过渡概率不了解。我们的方法将Q学习与IOALERGIA结合在一起，这是一种学习马尔可夫决策过程（MDP）的方法。通过从RL代理的发作中学习环境的MDP模型，我们可以在不明确的部分可观察到的域中启用RL，而没有明确的记忆，以跟踪以前的相互作用，以处理由部分可观察性引起的歧义。相反，我们通过模拟学习环境模型上的新体验以跟踪探索状态，以抽象环境状态的形式提供其他观察结果。在我们的评估中，我们报告了方法的有效性及其有希望的性能，与六种具有复发性神经网络和固定记忆的最先进的深度RL技术相比。

当加强学习以稀疏的奖励应用时，代理必须花费很长时间探索未知环境而没有任何学习信号。抽象是一种为代理提供在潜在空间中过渡的内在奖励的方法。先前的工作着重于密集的连续潜在空间，或要求用户手动提供表示形式。我们的方法是第一个自动学习基础环境的离散抽象的方法。此外，我们的方法使用端到端可训练的正规后继代表模型在任意输入空间上起作用。对于抽象状态之间的过渡，我们以选项的形式训练一组时间扩展的动作，即动作抽象。我们提出的算法，离散的国家行动抽象（DSAA），在训练这些选项之间进行迭代交换，并使用它们有效地探索更多环境以改善状态抽象。结果，我们的模型不仅对转移学习，而且在在线学习环境中有用。我们从经验上表明，与基线加强学习算法相比，我们的代理能够探索环境并更有效地解决任务。我们的代码可在\ url {https://github.com/amnonattali/dsaa}上公开获得。

Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policybased methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep Q-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.