Several self-supervised representation learning methods have been proposed for reinforcement learning (RL) with rich observations. For real-world applications of RL, recovering underlying latent states is crucial, particularly when sensory inputs contain irrelevant and exogenous information. In this work, we study how information bottlenecks can be used to construct latent states efficiently in the presence of task-irrelevant information. We propose architectures that utilize variational and discrete information bottlenecks, coined as RepDIB, to learn structured factorized representations. Exploiting the expressiveness bought by factorized representations, we introduce a simple, yet effective, bottleneck that can be integrated with any existing self-supervised objective for RL. We demonstrate this across several online and offline RL benchmarks, along with a real robot arm task, where we find that compressed representations with RepDIB can lead to strong performance improvements, as the learned bottlenecks help predict only the relevant state while ignoring irrelevant information.

一个沿着城市街道行走的人试图对世界各个方面进行建模，这很快就会被许多商店，汽车和人们遵循自己的复杂且难以理解的动态所淹没。在这种环境中的探索和导航是一项日常任务，不需要大量精神资源。是否可以将这种感官信息的消防软管转变为最小的潜在状态，这是代理在世界上成功采取行动的必要和足够的？我们具体地提出了这个问题，并提出了可控制的状态发现算法（AC-State），该算法具有理论保证，并且实际上被证明可以发现\ textit {最小可控的潜在状态}，其中包含所有用于控制控制的信息代理，同时完全丢弃所有无关的信息。该算法由一个具有信息瓶颈的多步逆模型（预测遥远观察结果的动作）组成。 AC-State可以在没有奖励或示威的情况下实现本地化，探索和导航。我们证明了在三个领域中发现可控潜在状态的发现：将机器人组分散注意力（例如，照明条件和背景变化），与其他代理商一起在迷宫中进行探索，并在Matterport House Simulator中导航。

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.

有效的探索对于具有稀疏奖励或高维状态行动空间的环境中的加固学习代理至关重要。基于国家访问的数量，好奇心和熵最大化的最新作品产生了固有的奖励信号，以激励代理人参观新颖的国家进行探索。但是，代理可能会因包含新颖但任务含量信息的传感器输入的扰动而分心，例如由于传感器噪声或背景变化。在这项工作中，我们通过对时间序列观察中的测试和压缩顺序预测信息进行建模和压缩顺序预测信息，介绍了为学习压缩和时间连贯表示的顺序信息瓶颈目标。为了在嘈杂的环境中有效探索，我们进一步构建了内在的奖励，这些奖励基于学习的表示，以捕获与任务相关的状态新颖性。我们得出了顺序信息瓶颈目标的变异上限，以实用优化，并提供了对派生的上限的信息理论解释。我们对一组基于图像的模拟控制任务进行的实验表明，与基于好奇心，熵最大化和信息获得的最新方法相比，我们的方法可实现更好的样品效率，以及对白噪声和自然视频背景的鲁棒性和鲁棒性。 。

We present CURL: Contrastive Unsupervised Representations for Reinforcement Learning. CURL extracts high-level features from raw pixels using contrastive learning and performs offpolicy control on top of the extracted features. CURL outperforms prior pixel-based methods, both model-based and model-free, on complex tasks in the DeepMind Control Suite and Atari Games showing 1.9x and 1.2x performance gains at the 100K environment and interaction steps benchmarks respectively. On the DeepMind Control Suite, CURL is the first image-based algorithm to nearly match the sample-efficiency of methods that use state-based features. Our code is open-sourced and available at https://www. github.com/MishaLaskin/curl.

The past few years have seen rapid progress in combining reinforcement learning (RL) with deep learning. Various breakthroughs ranging from games to robotics have spurred the interest in designing sophisticated RL algorithms and systems. However, the prevailing workflow in RL is to learn tabula rasa, which may incur computational inefficiency. This precludes continuous deployment of RL algorithms and potentially excludes researchers without large-scale computing resources. In many other areas of machine learning, the pretraining paradigm has shown to be effective in acquiring transferable knowledge, which can be utilized for a variety of downstream tasks. Recently, we saw a surge of interest in Pretraining for Deep RL with promising results. However, much of the research has been based on different experimental settings. Due to the nature of RL, pretraining in this field is faced with unique challenges and hence requires new design principles. In this survey, we seek to systematically review existing works in pretraining for deep reinforcement learning, provide a taxonomy of these methods, discuss each sub-field, and bring attention to open problems and future directions.

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

代理商学习广泛适用和通用策略具有重要意义，可以实现包括图像和文本描述在内的各种目标。考虑到这类感知的目标，深度加强学习研究的前沿是学习一个没有手工制作奖励的目标条件政策。要了解这种政策，最近的作品通常会像奖励到明确的嵌入空间中的给定目标的非参数距离。从不同的观点来看，我们提出了一种新的无监督学习方法，名为目标条件政策，具有内在动机（GPIM），共同学习抽象级别政策和目标条件的政策。摘要级别策略在潜在变量上被调节，以优化鉴别器，并发现进一步的不同状态，进一步呈现为目标条件策略的感知特定目标。学习鉴别者作为目标条件策略的内在奖励功能，以模仿抽象级别政策引起的轨迹。各种机器人任务的实验证明了我们所提出的GPIM方法的有效性和效率，其基本上优于现有技术。

通过提供丰富的训练信号来塑造代理人的潜国空间，建模世界可以使机器人学习受益。然而，在诸如图像之类的高维观察空间上的无约束环境中学习世界模型是具有挑战性的。一个难度来源是存在无关但难以模范的背景干扰，以及不重要的任务相关实体的视觉细节。我们通过学习经常性潜在的动态模型来解决这个问题，该模型对比预测下一次观察。即使使用同时的相机，背景和色调分散，这种简单的模型也会导致令人惊讶的鲁棒机器人控制。我们优于替代品，如双刺激方法，这些方法施加来自未来奖励或未来最佳行为的不同性措施。我们在分散注意力控制套件上获得最先进的结果，是基于像素的机器人控制的具有挑战性的基准。

最近无监督的预训练方法已证明通过学习多个下游任务的有用表示，对语言和视觉域有效。在本文中，我们研究了这种无监督的预训练方法是否也可以有效地基于视觉的增强学习（RL）。为此，我们介绍了一个框架，该框架学习了通过视频的生成预训练来理解动态的表示形式。我们的框架由两个阶段组成：我们预先培训无动作的潜在视频预测模型，然后利用预训练的表示形式在看不见的环境上有效地学习动作条件的世界模型。为了在微调过程中纳入其他动作输入，我们引入了一种新的体系结构，该结构将动作条件潜在预测模型堆叠在预先训练的无动作预测模型之上。此外，为了更好地探索，我们提出了一种基于视频的内在奖励，以利用预培训的表示。我们证明，在各种操纵和运动任务中，我们的框架显着改善了基于视力的RL的最终性能和样本效率。代码可在https://github.com/younggyoseo/apv上找到。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。

强化学习（RL）的成功在很大程度上取决于从环境观察中学习强大表示的能力。在大多数情况下，根据价值功能的变化，在各州之间纯粹通过强化学习损失所学的表示形式可能会有很大差异。但是，所学的表示形式不必非常具体地针对手头的任务。仅依靠RL目标可能会产生在连续的时间步骤中变化很大的表示形式。此外，由于RL损失的目标变化，因此所学的表示将取决于当前价值/策略的良好。因此，从主要任务中解开表示形式将使他们更多地专注于捕获可以改善概括的过渡动态。为此，我们提出了局部约束的表示，辅助损失迫使国家表示由邻近状态的表示可以预测。这不仅鼓励表示形式受到价值/政策学习的驱动，还可以自我监督的学习来驱动，这会限制表示表示的变化太快。我们在几个已知的基准上评估了所提出的方法，并观察到强劲的性能。尤其是在连续控制任务中，我们的实验比强基线显示出显着的优势。

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

深度强化学习（DRL）代理通常对在训练环境中看不见的视觉变化敏感。为了解决此问题，我们利用RL的顺序性质来学习可靠的表示，这些表示仅根据无监督的多视图设置编码与任务相关的信息。具体而言，我们引入了时间数据的多视图信息瓶颈（MIB）目标的新颖对比版本。我们以这个辅助目标来训练RL代理，以学习可以压缩任务 - 无关的信息并预测与任务相关的动态的强大表示形式。这种方法使我们能够训练具有强大的视觉分散注意力的高性能政策，并且可以很好地推广到看不见的环境。我们证明，当背景被自然视频替换时，我们的方法可以在DeepMind Control Suite的各种视觉控制任务上实现SOTA性能。此外，我们表明我们的方法优于公认的基准，用于概括在Procgen基准上看不见的环境。我们的代码是开源的，可在https：// github上找到。 com/bu依赖-lab/dribo。

离线强化学习在利用大型预采用的数据集进行政策学习方面表现出了巨大的希望，使代理商可以放弃经常廉价的在线数据收集。但是，迄今为止，离线强化学习的探索相对较小，并且缺乏对剩余挑战所在的何处的了解。在本文中，我们试图建立简单的基线以在视觉域中连续控制。我们表明，对两个基于最先进的在线增强学习算法，Dreamerv2和DRQ-V2进行了简单的修改，足以超越事先工作并建立竞争性的基准。我们在现有的离线数据集中对这些算法进行了严格的评估，以及从视觉观察结果中进行离线强化学习的新测试台，更好地代表现实世界中离线增强学习问题中存在的数据分布，并开放我们的代码和数据以促进此方面的进度重要领域。最后，我们介绍并分析了来自视觉观察的离线RL所独有的几个关键Desiderata，包括视觉分散注意力和动态视觉上可识别的变化。

基于像素的控制的学习表示，最近在加固学习中获得了重大关注。已经提出了广泛的方法来实现高效学习，导致类似于完整状态设置中的复杂性。然而，超越仔细策划的像素数据集（以居中作物，适当的照明，清晰的背景等）仍然具有挑战性。在本文中，我们采用更困难的环境，纳入背景干扰者，作为解决这一挑战的第一步。我们提出了一种简单的基线方法，可以学习有意义的表示，没有基于度量的学习，没有数据增强，没有世界模型学习，也没有对比学习。然后，我们分析何时何种以及为什么先前提出的方法可能会失败或减少与此更难设置中的基线相同的表现，以及为什么我们应该仔细考虑扩展在井策良好环境之外的这种方法。我们的研究结果表明，基于奖励密度，问题的规划地平线，任务 - 无关组件等的规划等的粮食基准，对评估算法至关重要。基于这些观察，我们提出了在评估基准任务的算法时考虑不同的指标。我们希望在调查如何最佳地将RL应用于现实世界任务时激励研究人员对重新思考代表学习来激发研究人员。

In many real-world scenarios, rewards extrinsic to the agent are extremely sparse, or absent altogether. In such cases, curiosity can serve as an intrinsic reward signal to enable the agent to explore its environment and learn skills that might be useful later in its life. We formulate curiosity as the error in an agent's ability to predict the consequence of its own actions in a visual feature space learned by a self-supervised inverse dynamics model. Our formulation scales to high-dimensional continuous state spaces like images, bypasses the difficulties of directly predicting pixels, and, critically, ignores the aspects of the environment that cannot affect the agent. The proposed approach is evaluated in two environments: VizDoom and Super Mario Bros. Three broad settings are investigated: 1) sparse extrinsic reward, where curiosity allows for far fewer interactions with the environment to reach the goal; 2) exploration with no extrinsic reward, where curiosity pushes the agent to explore more efficiently; and 3) generalization to unseen scenarios (e.g. new levels of the same game) where the knowledge gained from earlier experience helps the agent explore new places much faster than starting from scratch.

从视觉感觉数据中控制人造代理是一项艰巨的任务。强化学习（RL）算法可以在这方面取得成功，但需要代理与环境之间进行大量相互作用。为了减轻该问题，无监督的RL建议采用自我监督的互动和学习，以更快地适应未来的任务。但是，目前的无监督策略是否可以改善概括能力，尤其是在视觉控制设置中。在这项工作中，我们为数据有效的视觉控制设计了有效的无监督RL策略。首先，我们表明，使用无监督的RL收集的数据预先训练的世界模型可以促进适应未来的任务。然后，我们与我们的混合计划者分析了一些设计选择，以有效地适应了代理的预训练组件，并在想象中学习和计划，并与我们的混合计划者一起使用，我们将其dub dyna-mpc进行了。通过结合一项大规模实证研究的发现，我们建立了一种方法，该方法强烈改善了无监督的RL基准测试的性能，需要20美元$ \ times $ $ $ $ $ \少于数据以符合监督方法的性能。该方法还表明了在现实词的RL基准测试上的稳健性能，暗示该方法概括为嘈杂的环境。

当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。