Given a particular embodiment, we propose a novel method (C3PO) that learns policies able to achieve any arbitrary position and pose. Such a policy would allow for easier control, and would be re-useable as a key building block for downstream tasks. The method is two-fold: First, we introduce a novel exploration algorithm that optimizes for uniform coverage, is able to discover a set of achievable states, and investigates its abilities in attaining both high coverage, and hard-to-discover states; Second, we leverage this set of achievable states as training data for a universal goal-achievement policy, a goal-based SAC variant. We demonstrate the trained policy's performance in achieving a large number of novel states. Finally, we showcase the influence of massive unsupervised training of a goal-achievement policy with state-of-the-art pose-based control of the Hopper, Walker, Halfcheetah, Humanoid and Ant embodiments.

在本文中，我们介绍了潜在的探索（LGE），这是一种基于探索加固学习（RL）的探索范式的简单而通用的方法。最初引入了Go-explore，并具有强大的域知识约束，以将状态空间划分为单元。但是，在大多数实际情况下，从原始观察中汲取域知识是复杂而乏味的。如果细胞分配不足以提供信息，则可以完全无法探索环境。我们认为，可以通过利用学习的潜在表示，可以将Go-explore方法推广到任何环境，而无需细胞。因此，我们表明LGE可以灵活地与学习潜在表示的任何策略相结合。我们表明，LGE虽然比Go-explore更简单，但在多个硬探索环境上纯粹的探索方面，更强大，并且优于所有最先进的算法。 LGE实现可在https://github.com/qgallouedec/lge上作为开源。

增强学习（RL）研究领域非常活跃，并具有重要的新贡献；特别是考虑到深RL（DRL）的新兴领域。但是，仍然需要解决许多科学和技术挑战，其中我们可以提及抽象行动的能力或在稀疏回报环境中探索环境的难以通过内在动机（IM）来解决的。我们建议通过基于信息理论的新分类法调查这些研究工作：我们在计算上重新审视了惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优势和缺点，并展示当前的研究前景。我们的分析表明，新颖性和惊喜可以帮助建立可转移技能的层次结构，从而进一步抽象环境并使勘探过程更加健壮。

通过与环境进行互动而没有任何外部监督是一个重要的挑战，可以通过与环境进行互动来学习各种技能。特别是，获得可以达到任何给定状态的目标条件的代理在许多应用中都有用。我们提出了一种新的方法，用于训练这种目标条件的代理，而没有任何外部奖励或任何领域知识。我们使用随机步行来训练可及性网络，以预测两个状态之间的相似性。然后，该可达性网络将用于构建目标记忆，其中包含过去的观察结果，这些观察值多样化且平衡。最后，我们训练一个目标条件条件的政策网络，其目标是从目标记忆中取得的目标，并通过可达性网络和目标记忆进行奖励。当代理商发现并学习新目标时，所有组件在整个培训中都进行了更新。我们将方法应用于连续的控制导航和机器人操纵任务。

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

许多深厚的增强学习算法依赖于简单的探索形式，例如经常在连续控制域中使用的加性动作噪声。通常，该动作噪声的缩放因子被选为高参数，并在训练过程中保持恒定。在本文中，我们分析了学到的政策如何受到噪声类型，比例和缩放系数的影响。我们考虑了两种最突出的动作类型：高斯和ornstein-uhlenbeck噪声，并通过系统地改变噪声类型和规模参数以及测量感兴趣的变量（例如预期的政策回报和策略回报）来执行巨大的实验活动。探索期间的状态空间覆盖范围。对于后者，我们提出了一个新颖的状态空间覆盖量$ \ operatatorName {x} _ {\ Mathcal {u} \ text {rel}} $，对边界人工制品比以前提出的措施更强大。较大的噪声尺度通常会增加状态空间覆盖率。但是，我们发现使用较大的噪声量表增加空间覆盖范围通常是无益的。相反，在训练过程中降低噪声量表可以减少差异并通常改善学习绩效。我们得出的结论是，最好的噪声类型和尺度是环境取决于的，并且根据我们的观察结果，得出了指导选择动作噪声作为进一步优化的起点的启发式规则。

许多增强学习（RL）环境包括独立实体，这些实体稀疏地互动。在这种环境中，RL代理商在任何特定情况下对其他实体的影响仅受限。我们在这项工作中的想法是，通过了解代理人可以通过其行动的何时以及何时何地效力，可以有效地指导。为实现这一目标，我们根据条件互信息介绍\ emph {情况依赖性因果影响}，并表明它可以可靠地检测影响的态度。然后，我们提出了几种方法将这种措施集成到RL算法中，以改善探索和禁止政策学习。所有修改的算法都显示出机器人操纵任务的数据效率强劲增加。

有效的探索是深度强化学习的关键挑战。几种方法，例如行为先验，能够利用离线数据，以便在复杂任务上有效加速加强学习。但是，如果手动的任务与所证明的任务过度偏离，则此类方法的有效性是有限的。在我们的工作中，我们建议从离线数据中学习功能，这些功能由更加多样化的任务共享，例如动作与定向之间的相关性。因此，我们介绍了无国有先验，该先验直接在显示的轨迹中直接建模时间一致性，并且即使在对简单任务收集的数据进行培训时，也能够在复杂的任务中推动探索。此外，我们通过从政策和行动之前的概率混合物中动态采样动作，引入了一种新颖的集成方案，用于非政策强化学习中的动作研究。我们将我们的方法与强大的基线相提并论，并提供了经验证据，表明它可以在稀疏奖励环境下的长途持续控制任务中加速加强学习。

Meta-Renifiltive学习（Meta-RL）已被证明是利用事先任务的经验，以便快速学习新的相关任务的成功框架，但是，当前的Meta-RL接近在稀疏奖励环境中学习的斗争。尽管现有的Meta-RL算法可以学习适应新的稀疏奖励任务的策略，但是使用手形奖励功能来学习实际适应策略，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了对Meta-RL的后视抢购的制定，该rl抢购了在Meta培训期间的经验，以便能够使用稀疏奖励完全学习。我们展示了我们的方法在套件挑战稀疏奖励目标达到的环境中，以前需要密集的奖励，以便在Meta训练中解决。我们的方法使用真正的稀疏奖励功能来解决这些环境，性能与具有代理密集奖励功能的培训相当。

我们提出了一种层次结构的增强学习方法Hidio，可以以自我监督的方式学习任务不合时宜的选项，同时共同学习利用它们来解决稀疏的奖励任务。与当前倾向于制定目标的低水平任务或预定临时的低级政策不同的层次RL方法不同，Hidio鼓励下级选项学习与手头任务无关，几乎不需要假设或很少的知识任务结构。这些选项是通过基于选项子对象的固有熵最小化目标来学习的。博学的选择是多种多样的，任务不可能的。在稀疏的机器人操作和导航任务的实验中，Hidio比常规RL基准和两种最先进的层次RL方法，其样品效率更高。

大自然的一个迷人方面在于它能够产生大型和多样化的生物体，这些生物都在他们的利基中都很高兴。相比之下，大多数AI算法专注于向给定问题找到一个有效的解决方案。除了表现外，旨在实现多样性是处理勘探开发权衡的便捷方式，在学习中发挥着核心作用。当返回的集合包含对所考虑的问题的几个工作解决方案时，它还允许增加鲁棒性，使其适用于机器人等真实应用。质量 - 多样性（QD）方法是为此目的设计的进化算法。本文提出了一种新颖的QD - PG，它结合了政策梯度算法的强度和质量多样性方法，在连续控制环境中产生了各种和高性能的神经政策的集合。这项工作的主要贡献是引入多样性政策梯度（DPG），该梯度（DPG）利用时刻级别的信息以采样有效的方式培养更多样化的策略。具体而言，QD-PG从地图 - E LITES网格中选择神经控制器，并使用两个基于梯度的突变运算符来提高质量和多样性，从而产生稳定的人口更新。我们的结果表明，QD - PG产生了各种解决方案的集合，解决了具有挑战性的勘探和控制问题，同时是比其进化竞争对手更高的样本效率的两个数量级。

机器人的长期愿景是装备机器人，技能与人类的多功能性和精度相匹配。例如，在播放乒乓球时，机器人应该能够以各种方式返回球，同时精确地将球放置在所需位置。模拟这种多功能行为的常见方法是使用专家（MOE）模型的混合，其中每个专家是一个上下文运动原语。然而，由于大多数目标强迫模型涵盖整个上下文空间，因此学习此类MOS是具有挑战性的，这可以防止基元的专业化导致相当低质量的组件。从最大熵增强学习（RL）开始，我们将目标分解为优化每个混合组件的个体下限。此外，我们通过允许组件专注于本地上下文区域来介绍课程，使模型能够学习高度准确的技能表示。为此，我们使用与专家原语共同调整的本地上下文分布。我们的下限主张迭代添加新组件，其中新组件将集中在当前MOE不涵盖的本地上下文区域上。这种本地和增量学习导致高精度和多功能性的模块化MOE模型，其中可以通过在飞行中添加更多组件来缩放两个属性。我们通过广泛的消融和两个具有挑战性的模拟机器人技能学习任务来证明这一点。我们将我们的绩效与Live和Hireps进行了比较，这是一个已知的分层政策搜索方法，用于学习各种技能。

Go-Explore achieved breakthrough performance on challenging reinforcement learning (RL) tasks with sparse rewards. The key insight of Go-Explore was that successful exploration requires an agent to first return to an interesting state ('Go'), and only then explore into unknown terrain ('Explore'). We refer to such exploration after a goal is reached as 'post-exploration'. In this paper, we present a clear ablation study of post-exploration in a general intrinsically motivated goal exploration process (IMGEP) framework, that the Go-Explore paper did not show. We study the isolated potential of post-exploration, by turning it on and off within the same algorithm under both tabular and deep RL settings on both discrete navigation and continuous control tasks. Experiments on a range of MiniGrid and Mujoco environments show that post-exploration indeed helps IMGEP agents reach more diverse states and boosts their performance. In short, our work suggests that RL researchers should consider to use post-exploration in IMGEP when possible since it is effective, method-agnostic and easy to implement.

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.

需要长马计划和持续控制能力的问题对现有的强化学习剂构成了重大挑战。在本文中，我们介绍了一种新型的分层增强学习代理，该学习代理将延时的技能与持续控制的技能与远期模型联系起来，以象征性的分离环境的计划进行计划。我们认为我们的代理商符合符号效应的多样化技能。我们制定了一种客观且相应的算法，该算法通过已知的抽象来通过内在动机来无监督学习各种技能。这些技能是通过符号前向模型共同学习的，该模型捕获了国家抽象中技能执行的影响。训练后，我们可以使用向前模型来利用符号动作的技能来进行长途计划，并随后使用学识渊博的连续行动控制技能执行计划。拟议的算法学习了技能和前瞻性模型，可用于解决复杂的任务，这些任务既需要连续控制和长效计划功能，却具有很高的成功率。它与其他平坦和分层的增强学习基线代理相比，并通过真正的机器人成功证明。

在现实世界中经营通常需要代理商来了解复杂的环境，并应用这种理解以实现一系列目标。这个问题被称为目标有条件的强化学习（GCRL），对长地平线的目标变得特别具有挑战性。目前的方法通过使用基于图形的规划算法增强目标条件的策略来解决这个问题。然而，他们努力缩放到大型高维状态空间，并采用用于有效地收集训练数据的探索机制。在这项工作中，我们介绍了继任者功能标志性（SFL），这是一种探索大型高维环境的框架，以获得熟练的政策熟练的策略。 SFL利用继承特性（SF）来捕获转换动态的能力，通过估计状态新颖性来驱动探索，并通过将状态空间作为基于非参数标志的图形来实现高级规划。我们进一步利用SF直接计算地标遍历的目标条件调节策略，我们用于在探索状态空间边缘执行计划“前沿”地标。我们在我们的Minigrid和VizDoom进行了实验，即SFL可以高效地探索大型高维状态空间和优于长地平线GCRL任务的最先进的基线。

最近的工作表明，离线增强学习（RL）可以作为序列建模问题（Chen等，2021; Janner等，2021）配制，并通过类似于大规模语言建模的方法解决。但是，RL的任何实际实例化也涉及一个在线组件，在线组件中，通过与环境的任务规定相互作用对被动离线数据集进行了预测的策略。我们建议在线决策变压器（ODT），这是一种基于序列建模的RL算法，该算法将离线预处理与统一框架中的在线填充融为一体。我们的框架将序列级熵正规仪与自回归建模目标结合使用，用于样品效率探索和填充。从经验上讲，我们表明ODT在D4RL基准上的绝对性能中与最先进的表现具有竞争力，但在填充过程中显示出更大的收益。

当加强学习以稀疏的奖励应用时，代理必须花费很长时间探索未知环境而没有任何学习信号。抽象是一种为代理提供在潜在空间中过渡的内在奖励的方法。先前的工作着重于密集的连续潜在空间，或要求用户手动提供表示形式。我们的方法是第一个自动学习基础环境的离散抽象的方法。此外，我们的方法使用端到端可训练的正规后继代表模型在任意输入空间上起作用。对于抽象状态之间的过渡，我们以选项的形式训练一组时间扩展的动作，即动作抽象。我们提出的算法，离散的国家行动抽象（DSAA），在训练这些选项之间进行迭代交换，并使用它们有效地探索更多环境以改善状态抽象。结果，我们的模型不仅对转移学习，而且在在线学习环境中有用。我们从经验上表明，与基线加强学习算法相比，我们的代理能够探索环境并更有效地解决任务。我们的代码可在\ url {https://github.com/amnonattali/dsaa}上公开获得。

多进球的增强学习最近吸引了大量的研究兴趣。通过允许在相关培训任务之间共享经验，只要在被考虑的目标空间中存在某些平滑度时，这种设置有利于测试时间的新任务的概括。但是，在州或目标空间不连续的环境（例如迷宫中的墙壁）中，由于缺乏专家知识的稀疏性，大多数目标都难以实现。这意味着必须发现一些艰苦的探索，必须发现一些目标课程，以通过使培训任务适应其当前功能来帮助代理商学习。我们以最新的自动课程学习技术为目标政策，我们提出了一种新颖的方法：Stein变化目标生成（SVGG），该方法通过利用一种学识渊博的模型来寻求在代理的近端开发区域中的新目标，以寻求新的目标它的能力和目标分布在勘探空间中以颗粒为模型。我们的方法依靠Stein变分梯度下降来动态吸引适当难度领域的目标采样分布。与最近最新的RL方法相比，我们证明了该方法的性能，即目标领域的成功覆盖范围。

我们提出了一种新型的参数化技能学习算法，旨在学习可转移的参数化技能并将其合成为新的动作空间，以支持长期任务中的有效学习。我们首先提出了新颖的学习目标 - 以轨迹为中心的多样性和平稳性 - 允许代理商能够重复使用的参数化技能。我们的代理商可以使用这些学习的技能来构建时间扩展的参数化行动马尔可夫决策过程，我们为此提出了一种层次的参与者 - 批判算法，旨在通过学习技能有效地学习高级控制政策。我们从经验上证明，所提出的算法使代理能够解决复杂的长途障碍源环境。