每年，在越来越复杂的多种域名，包括GO，Poker和Starcraft II在内的著名示例中都能达到专家级的性能。这种快速的进步伴随着相应的需求，以更好地了解这种代理如何实现这种绩效，以实现其安全的部署，确定局限性并揭示其改善它们的潜力。在本文中，我们从以性能为中心的多种学习中退后一步，而是将注意力转向代理行为分析。我们介绍了一种模型 - 反应方法，用于使用变异推理在多种基因域中发现行为簇，以学习关节和局部代理水平的行为层次结构。我们的框架没有对代理的基础学习算法的假设，不需要访问其潜在状态或模型，并且可以使用完全离线观察数据进行培训。我们说明了我们方法在联合和地方代理层面上对行为的耦合理解的有效性，在整个培训过程中检测行为变更点，发现核心行为概念（例如，那些促进更高回报的核心行为概念）的有效性，并证明了方法的可扩展性高维的多基金会木叶控制结构域。

代理商学习广泛适用和通用策略具有重要意义，可以实现包括图像和文本描述在内的各种目标。考虑到这类感知的目标，深度加强学习研究的前沿是学习一个没有手工制作奖励的目标条件政策。要了解这种政策，最近的作品通常会像奖励到明确的嵌入空间中的给定目标的非参数距离。从不同的观点来看，我们提出了一种新的无监督学习方法，名为目标条件政策，具有内在动机（GPIM），共同学习抽象级别政策和目标条件的政策。摘要级别策略在潜在变量上被调节，以优化鉴别器，并发现进一步的不同状态，进一步呈现为目标条件策略的感知特定目标。学习鉴别者作为目标条件策略的内在奖励功能，以模仿抽象级别政策引起的轨迹。各种机器人任务的实验证明了我们所提出的GPIM方法的有效性和效率，其基本上优于现有技术。

在加强学习中的技能或低级政策是时间扩展的动作，可以加快学习并实现复杂的行为。离线强化学习和模仿学习的最新工作已经从一系列专家轨迹中提出了几种技能发现的技术。尽管这些方法很有希望，但发现的技能数量始终是固定的超参数，它需要有关环境的先验知识或其他参数搜索来调整它。我们首先提出了一种脱机学习选择（特定技能框架）的方法，以利用变异推理和持续放松方面的进步。然后，我们重点介绍了贝叶斯非参数和离线技能发现之间未开发的连接，并展示如何获得模型的非参数版本。由于经过精心构造的后端具有动态变化数量的选项，因此可以删除该版本，从而消除了指定K。我们还展示了我们的非参数扩展如何在其他技能框架中应用，并在经验上证明我们的方法可以拨款，我们还显示了我们的非参数扩展如何，我们还显示了如何应用我们的非参数扩展名，并显示了我们的非参数扩展如何，因此该版本是可进行的。在各种环境中的最先进的离线技能学习算法。我们的代码可在https://github.com/layer6ai-labs/bnpo上找到。

我们提出了一种新型的参数化技能学习算法，旨在学习可转移的参数化技能并将其合成为新的动作空间，以支持长期任务中的有效学习。我们首先提出了新颖的学习目标 - 以轨迹为中心的多样性和平稳性 - 允许代理商能够重复使用的参数化技能。我们的代理商可以使用这些学习的技能来构建时间扩展的参数化行动马尔可夫决策过程，我们为此提出了一种层次的参与者 - 批判算法，旨在通过学习技能有效地学习高级控制政策。我们从经验上证明，所提出的算法使代理能够解决复杂的长途障碍源环境。

有效的探索是深度强化学习的关键挑战。几种方法，例如行为先验，能够利用离线数据，以便在复杂任务上有效加速加强学习。但是，如果手动的任务与所证明的任务过度偏离，则此类方法的有效性是有限的。在我们的工作中，我们建议从离线数据中学习功能，这些功能由更加多样化的任务共享，例如动作与定向之间的相关性。因此，我们介绍了无国有先验，该先验直接在显示的轨迹中直接建模时间一致性，并且即使在对简单任务收集的数据进行培训时，也能够在复杂的任务中推动探索。此外，我们通过从政策和行动之前的概率混合物中动态采样动作，引入了一种新颖的集成方案，用于非政策强化学习中的动作研究。我们将我们的方法与强大的基线相提并论，并提供了经验证据，表明它可以在稀疏奖励环境下的长途持续控制任务中加速加强学习。

Adequate strategizing of agents behaviors is essential to solving cooperative MARL problems. One intuitively beneficial yet uncommon method in this domain is predicting agents future behaviors and planning accordingly. Leveraging this point, we propose a two-level hierarchical architecture that combines a novel information-theoretic objective with a trajectory prediction model to learn a strategy. To this end, we introduce a latent policy that learns two types of latent strategies: individual $z_A$, and relational $z_R$ using a modified Graph Attention Network module to extract interaction features. We encourage each agent to behave according to the strategy by conditioning its local $Q$ functions on $z_A$, and we further equip agents with a shared $Q$ function that conditions on $z_R$. Additionally, we introduce two regularizers to allow predicted trajectories to be accurate and rewarding. Empirical results on Google Research Football (GRF) and StarCraft (SC) II micromanagement tasks show that our method establishes a new state of the art being, to the best of our knowledge, the first MARL algorithm to solve all super hard SC II scenarios as well as the GRF full game with a win rate higher than $95\%$, thus outperforming all existing methods. Videos and brief overview of the methods and results are available at: https://sites.google.com/view/hier-strats-marl/home.

增强学习（RL）研究领域非常活跃，并具有重要的新贡献；特别是考虑到深RL（DRL）的新兴领域。但是，仍然需要解决许多科学和技术挑战，其中我们可以提及抽象行动的能力或在稀疏回报环境中探索环境的难以通过内在动机（IM）来解决的。我们建议通过基于信息理论的新分类法调查这些研究工作：我们在计算上重新审视了惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优势和缺点，并展示当前的研究前景。我们的分析表明，新颖性和惊喜可以帮助建立可转移技能的层次结构，从而进一步抽象环境并使勘探过程更加健壮。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

离线强化学习在利用大型预采用的数据集进行政策学习方面表现出了巨大的希望，使代理商可以放弃经常廉价的在线数据收集。但是，迄今为止，离线强化学习的探索相对较小，并且缺乏对剩余挑战所在的何处的了解。在本文中，我们试图建立简单的基线以在视觉域中连续控制。我们表明，对两个基于最先进的在线增强学习算法，Dreamerv2和DRQ-V2进行了简单的修改，足以超越事先工作并建立竞争性的基准。我们在现有的离线数据集中对这些算法进行了严格的评估，以及从视觉观察结果中进行离线强化学习的新测试台，更好地代表现实世界中离线增强学习问题中存在的数据分布，并开放我们的代码和数据以促进此方面的进度重要领域。最后，我们介绍并分析了来自视觉观察的离线RL所独有的几个关键Desiderata，包括视觉分散注意力和动态视觉上可识别的变化。

最近，深增强学习（DRL）方法在各种域中的任务方面取得了令人印象深刻的性能。然而，用DRL方法产生的神经网络政策不是人为可解释的，并且通常难以推广到新颖的情景。为了解决这些问题，事先作品探索学习更具可诠释和构建的概括的程序政策。然而，这些作品要么采用有限的政策表示（例如，决策树，状态机或预定义的程序模板）或需要更强的监督（例如输入/输出状态对或专家演示）。我们提出了一个框架，而是学习合成一个程序，该程序详细介绍了以灵活和表现力的方式解决任务的过程，仅来自奖励信号。为了减轻学习难以从头开始诱发所需的代理行为的难度，我们建议首先了解一个程序嵌入空间，以不传达的方式连续参加各种行为，然后搜索嵌入空间以产生程序最大化给定任务的返回。实验结果表明，所提出的框架不仅可以可靠地综合任务解决方案，而且在产生可解释和更广泛的政策的同时优于DRL和程序合成基线。我们还可以证明所提出的两级学习计划的必要性，并分析了学习计划嵌入的各种方法。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

Identifying statistical regularities in solutions to some tasks in multi-task reinforcement learning can accelerate the learning of new tasks. Skill learning offers one way of identifying these regularities by decomposing pre-collected experiences into a sequence of skills. A popular approach to skill learning is maximizing the likelihood of the pre-collected experience with latent variable models, where the latent variables represent the skills. However, there are often many solutions that maximize the likelihood equally well, including degenerate solutions. To address this underspecification, we propose a new objective that combines the maximum likelihood objective with a penalty on the description length of the skills. This penalty incentivizes the skills to maximally extract common structures from the experiences. Empirically, our objective learns skills that solve downstream tasks in fewer samples compared to skills learned from only maximizing likelihood. Further, while most prior works in the offline multi-task setting focus on tasks with low-dimensional observations, our objective can scale to challenging tasks with high-dimensional image observations.

对于在现实世界中运营的机器人来说，期望学习可以有效地转移和适应许多任务和场景的可重复使用的行为。我们提出了一种使用分层混合潜变量模型来从数据中学习抽象运动技能的方法。与现有工作相比，我们的方法利用了离散和连续潜在变量的三级层次结构，以捕获一组高级行为，同时允许如何执行它们的差异。我们在操纵域中展示该方法可以有效地将离线数据脱落到不同的可执行行为，同时保留连续潜变量模型的灵活性。由此产生的技能可以在新的任务，看不见的对象和州内转移和微调到基于视觉的策略，与现有的技能和仿制的方法相比，产生更好的样本效率和渐近性能。我们进一步分析了技能最有益的方式以及何时：他们鼓励定向探索来涵盖与任务相关的国家空间的大区域，使其在挑战稀疏奖励环境中最有效。

In recent years, advances in deep learning have resulted in a plethora of successes in the use of reinforcement learning (RL) to solve complex sequential decision tasks with high-dimensional inputs. However, existing systems lack the necessary mechanisms to provide humans with a holistic view of their competence, presenting an impediment to their adoption, particularly in critical applications where the decisions an agent makes can have significant consequences. Yet, existing RL-based systems are essentially competency-unaware in that they lack the necessary interpretation mechanisms to allow human operators to have an insightful, holistic view of their competency. In this paper, we extend a recently-proposed framework for explainable RL that is based on analyses of "interestingness." Our new framework provides various measures of RL agent competence stemming from interestingness analysis and is applicable to a wide range of RL algorithms. We also propose novel mechanisms for assessing RL agents' competencies that: 1) identify agent behavior patterns and competency-controlling conditions by clustering agent behavior traces solely using interestingness data; and 2) identify the task elements mostly responsible for an agent's behavior, as measured through interestingness, by performing global and local analyses using SHAP values. Overall, our tools provide insights about RL agent competence, both their capabilities and limitations, enabling users to make more informed decisions about interventions, additional training, and other interactions in collaborative human-machine settings.

建模其他代理的行为对于了解代理商互动和提出有效决策至关重要。代理模型的现有方法通常假设在执行期间对所建模代理的本地观测和所选操作的知识。为了消除这种假设，我们使用编码器解码器体系结构从受控代理的本地信息中提取表示。在培训期间使用所建模代理的观测和动作，我们的模型学会仅在受控剂的局部观察中提取有关所建模代理的表示。这些陈述用于增加受控代理的决定政策，这些政策通过深度加强学习培训;因此，在执行期间，策略不需要访问其他代理商的信息。我们提供合作，竞争和混合多种子体环境中的全面评估和消融研究，表明我们的方法比不使用所学习表示的基线方法实现更高的回报。

在现实世界中，通过弱势政策影响环境可能是昂贵的或非常危险的，因此妨碍了现实世界的加强学习应用。离线强化学习（RL）可以从给定数据集中学习策略，而不与环境进行交互。但是，数据集是脱机RL算法的唯一信息源，并确定学习策略的性能。我们仍然缺乏关于数据集特征如何影响不同离线RL算法的研究。因此，我们对数据集特性如何实现离散动作环境的离线RL算法的性能的全面实证分析。数据集的特点是两个度量：（1）通过轨迹质量（TQ）测量的平均数据集返回和（2）由状态 - 动作覆盖（SACO）测量的覆盖范围。我们发现，禁止政策深度Q网家族的变体需要具有高SACO的数据集来表现良好。将学习策略朝向给定数据集的算法对具有高TQ或SACO的数据集进行了良好。对于具有高TQ的数据集，行为克隆优先级或类似于最好的离线RL算法。

Recently, methods such as Decision Transformer that reduce reinforcement learning to a prediction task and solve it via supervised learning (RvS) have become popular due to their simplicity, robustness to hyperparameters, and strong overall performance on offline RL tasks. However, simply conditioning a probabilistic model on a desired return and taking the predicted action can fail dramatically in stochastic environments since trajectories that result in a return may have only achieved that return due to luck. In this work, we describe the limitations of RvS approaches in stochastic environments and propose a solution. Rather than simply conditioning on the return of a single trajectory as is standard practice, our proposed method, ESPER, learns to cluster trajectories and conditions on average cluster returns, which are independent from environment stochasticity. Doing so allows ESPER to achieve strong alignment between target return and expected performance in real environments. We demonstrate this in several challenging stochastic offline-RL tasks including the challenging puzzle game 2048, and Connect Four playing against a stochastic opponent. In all tested domains, ESPER achieves significantly better alignment between the target return and achieved return than simply conditioning on returns. ESPER also achieves higher maximum performance than even the value-based baselines.

成功部署多机构强化学习通常需要代理来适应其行为。在这项工作中，我们讨论了团队合作适应的问题，其中一组代理团队需要调整其政策以通过有限的微调解决新的任务。由代理人需要能够识别和区分任务以使其行为适应当前任务的直觉的动机，我们建议学习多代理任务嵌入（MATE）。这些任务嵌入方式是使用针对重建过渡和奖励功能进行优化的编码器架构训练的，这些功能唯一地识别任务。我们表明，在提供任务嵌入时，一组代理商可以适应新颖的任务。我们提出了三个伴侣训练范例：独立伴侣，集中式伴侣和混合伴侣，这些伴侣在任务编码的信息中有所不同。我们表明，伴侣学到的嵌入识别任务，并提供有用的信息，哪些代理在适应新任务期间利用了哪些代理。

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.