视觉变压器体系结构已显示在计算机视觉（CV）空间中具有竞争力，在该空间中，它在几个基准测试中剥夺了基于卷积的网络。然而，卷积神经网络（CNN）仍然是强化学习中表示模块的优先体系结构。在这项工作中，我们使用几种最先进的自我监督方法研究了视觉变压器预处理，并评估了该培训框架中的数据效率收益。我们提出了一种称为TOV-VICREG的新的自我监督的学习方法，该方法通过添加时间订单验证任务来扩展Vicreg，以更好地捕获观测值之间的时间关系。此外，我们在样本效率方面通过Atari游戏评估了所得编码器。我们的结果表明，当通过TOV-VICREG进行预估计时，视觉变压器的表现优于其他自我监督的方法，但仍在努力克服CNN。尽管如此，我们在十场比赛中的两场比赛中，我们能够胜过CNN，在我们执行100k台阶评估中。最终，我们认为，深入强化学习（DRL）中的这种方法可能是实现自然语言处理和计算机视觉中所见的新表现的关键。源代码将提供：https：//github.com/mgoulao/tov-vicreg

Transformer在学习视觉和语言表示方面取得了巨大的成功，这在各种下游任务中都是一般的。在视觉控制中，可以在不同控制任务之间转移的可转移状态表示对于减少训练样本量很重要。但是，将变压器移植到样品有效的视觉控制仍然是一个具有挑战性且未解决的问题。为此，我们提出了一种新颖的控制变压器（CTRLFORMER），具有先前艺术所没有的许多吸引人的好处。首先，CTRLFORMER共同学习视觉令牌和政策令牌之间的自我注意事项机制，在不同的控制任务之间可以学习和转移多任务表示无灾难性遗忘。其次，我们仔细设计了一种对比的增强学习范式来训练Ctrlformer，从而使其能够达到高样本效率，这在控制问题中很重要。例如，在DMControl基准测试中，与最近的高级方法不同，该方法在使用100K样品转移学习后通过在“ Cartpole”任务中产生零分数而失败，CTRLFORMER可以在维持100K样本的同时获得最先进的分数先前任务的性能。代码和模型已在我们的项目主页中发布。

We present CURL: Contrastive Unsupervised Representations for Reinforcement Learning. CURL extracts high-level features from raw pixels using contrastive learning and performs offpolicy control on top of the extracted features. CURL outperforms prior pixel-based methods, both model-based and model-free, on complex tasks in the DeepMind Control Suite and Atari Games showing 1.9x and 1.2x performance gains at the 100K environment and interaction steps benchmarks respectively. On the DeepMind Control Suite, CURL is the first image-based algorithm to nearly match the sample-efficiency of methods that use state-based features. Our code is open-sourced and available at https://www. github.com/MishaLaskin/curl.

我们研究自我监督学习（SSL）是否可以从像素中改善在线增强学习（RL）。我们扩展了对比度增强学习框架（例如卷曲），该框架共同优化了SSL和RL损失，并进行了大量的实验，并具有各种自我监督的损失。我们的观察结果表明，现有的RL的SSL框架未能在使用相同数量的数据和增强时利用图像增强来实现对基准的有意义的改进。我们进一步执行进化搜索，以找到RL的多个自我监督损失的最佳组合，但是发现即使是这种损失组合也无法有意义地超越仅利用精心设计的图像增强的方法。通常，在现有框架下使用自制损失降低了RL性能。我们在多个不同环境中评估了该方法，包括现实世界的机器人环境，并确认没有任何单一的自我监督损失或图像增强方法可以主导所有环境，并且当前的SSL和RL联合优化框架是有限的。最后，我们从经验上研究了SSL + RL的预训练框架以及使用不同方法学到的表示的特性。

无监督的视觉表示学习提供了一个机会，可以利用大型无标记轨迹的大型语料库形成有用的视觉表示，这可以使强化学习（RL）算法的培训受益。但是，评估此类表示的适应性需要培训RL算法，该算法在计算上是密集型且具有较高的差异结果。为了减轻此问题，我们为无监督的RL表示方案设计了一个评估协议，其差异较低，计算成本降低了600倍。受愿景社区的启发，我们提出了两个线性探测任务：预测在给定状态下观察到的奖励，并预测特定状态下专家的行动。这两个任务通常适用于许多RL域，我们通过严格的实验表明，它们与Atari100k基准的实际下游控制性能密切相关。这提供了一种更好的方法，可以探索预处理算法的空间，而无需为每个设置运行RL评估。利用这一框架，我们进一步改善了RL的现有自学学习（SSL）食谱，突出了前向模型的重要性，视觉骨架的大小以及无监督目标的精确配方。

Learning from visual observations is a fundamental yet challenging problem in Reinforcement Learning (RL). Although algorithmic advances combined with convolutional neural networks have proved to be a recipe for success, current methods are still lacking on two fronts: (a) data-efficiency of learning and (b) generalization to new environments. To this end, we present Reinforcement Learning with Augmented Data (RAD), a simple plug-and-play module that can enhance most RL algorithms. We perform the first extensive study of general data augmentations for RL on both pixel-based and state-based inputs, and introduce two new data augmentations -random translate and random amplitude scale. We show that augmentations such as random translate, crop, color jitter, patch cutout, random convolutions, and amplitude scale can enable simple RL algorithms to outperform complex state-of-the-art methods across common benchmarks. RAD sets a new state-of-the-art in terms of data-efficiency and final performance on the DeepMind Control Suite benchmark for pixel-based control as well as Ope-nAI Gym benchmark for state-based control. We further demonstrate that RAD significantly improves test-time generalization over existing methods on several OpenAI ProcGen benchmarks. Our RAD module and training code are available at https://www.github.com/MishaLaskin/rad.

基于像素的控制的学习表示，最近在加固学习中获得了重大关注。已经提出了广泛的方法来实现高效学习，导致类似于完整状态设置中的复杂性。然而，超越仔细策划的像素数据集（以居中作物，适当的照明，清晰的背景等）仍然具有挑战性。在本文中，我们采用更困难的环境，纳入背景干扰者，作为解决这一挑战的第一步。我们提出了一种简单的基线方法，可以学习有意义的表示，没有基于度量的学习，没有数据增强，没有世界模型学习，也没有对比学习。然后，我们分析何时何种以及为什么先前提出的方法可能会失败或减少与此更难设置中的基线相同的表现，以及为什么我们应该仔细考虑扩展在井策良好环境之外的这种方法。我们的研究结果表明，基于奖励密度，问题的规划地平线，任务 - 无关组件等的规划等的粮食基准，对评估算法至关重要。基于这些观察，我们提出了在评估基准任务的算法时考虑不同的指标。我们希望在调查如何最佳地将RL应用于现实世界任务时激励研究人员对重新思考代表学习来激发研究人员。

强化学习（RL）的成功在很大程度上取决于从环境观察中学习强大表示的能力。在大多数情况下，根据价值功能的变化，在各州之间纯粹通过强化学习损失所学的表示形式可能会有很大差异。但是，所学的表示形式不必非常具体地针对手头的任务。仅依靠RL目标可能会产生在连续的时间步骤中变化很大的表示形式。此外，由于RL损失的目标变化，因此所学的表示将取决于当前价值/策略的良好。因此，从主要任务中解开表示形式将使他们更多地专注于捕获可以改善概括的过渡动态。为此，我们提出了局部约束的表示，辅助损失迫使国家表示由邻近状态的表示可以预测。这不仅鼓励表示形式受到价值/政策学习的驱动，还可以自我监督的学习来驱动，这会限制表示表示的变化太快。我们在几个已知的基准上评估了所提出的方法，并观察到强劲的性能。尤其是在连续控制任务中，我们的实验比强基线显示出显着的优势。

当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

The potential of offline reinforcement learning (RL) is that high-capacity models trained on large, heterogeneous datasets can lead to agents that generalize broadly, analogously to similar advances in vision and NLP. However, recent works argue that offline RL methods encounter unique challenges to scaling up model capacity. Drawing on the learnings from these works, we re-examine previous design choices and find that with appropriate choices: ResNets, cross-entropy based distributional backups, and feature normalization, offline Q-learning algorithms exhibit strong performance that scales with model capacity. Using multi-task Atari as a testbed for scaling and generalization, we train a single policy on 40 games with near-human performance using up-to 80 million parameter networks, finding that model performance scales favorably with capacity. In contrast to prior work, we extrapolate beyond dataset performance even when trained entirely on a large (400M transitions) but highly suboptimal dataset (51% human-level performance). Compared to return-conditioned supervised approaches, offline Q-learning scales similarly with model capacity and has better performance, especially when the dataset is suboptimal. Finally, we show that offline Q-learning with a diverse dataset is sufficient to learn powerful representations that facilitate rapid transfer to novel games and fast online learning on new variations of a training game, improving over existing state-of-the-art representation learning approaches.

深度强化学习（DRL）代理通常对在训练环境中看不见的视觉变化敏感。为了解决此问题，我们利用RL的顺序性质来学习可靠的表示，这些表示仅根据无监督的多视图设置编码与任务相关的信息。具体而言，我们引入了时间数据的多视图信息瓶颈（MIB）目标的新颖对比版本。我们以这个辅助目标来训练RL代理，以学习可以压缩任务 - 无关的信息并预测与任务相关的动态的强大表示形式。这种方法使我们能够训练具有强大的视觉分散注意力的高性能政策，并且可以很好地推广到看不见的环境。我们证明，当背景被自然视频替换时，我们的方法可以在DeepMind Control Suite的各种视觉控制任务上实现SOTA性能。此外，我们表明我们的方法优于公认的基准，用于概括在Procgen基准上看不见的环境。我们的代码是开源的，可在https：// github上找到。 com/bu依赖-lab/dribo。

强化学习（RL）可以视为序列建模任务：给定一系列过去的状态奖励经验，代理人预测了下一步动作的序列。在这项工作中，我们提出了用于视觉RL的国家行动 - 奖励变压器（星形形式），该变压器明确对短期状态行动奖励表示（Star-epresentations）进行建模，从本质上引入了马尔可夫式的感应偏见，以改善长期的长期偏见造型。我们的方法首先通过在短暂的时间窗口内的自我管理图像状态贴片，动作和奖励令牌提取星星代表。然后将它们与纯图像状态表示结合 - 提取为卷积特征，以在整个序列上执行自我注意力。我们的实验表明，在离线RL和模仿学习设置中，StarFormer在基于图像的Atari和DeepMind Control Suite基准上的最先进的变压器方法优于最先进的变压器方法。 StarFormer也更符合更长的输入序列。我们的代码可在https://github.com/elicassion/starformer上找到。

强化学习在许多应用中取得了巨大的成功。然而，样本效率仍然是一个关键挑战，突出的方法需要训练数百万（甚至数十亿）的环境步骤。最近，基于样本的基于图像的RL算法存在显着进展;然而，Atari游戏基准上的一致人级表现仍然是一个难以捉摸的目标。我们提出了一种在Muzero上建立了基于模式的基于模型的Visual RL算法，我们名称为高效零。我们的方法达到了194.3％的人类性能和Atari 100K基准的109.0％的中位数，只有两个小时的实时游戏体验，并且在DMControl 100k基准测试中的某些任务中优于状态萨克。这是第一次算法在atari游戏中实现超级人类性能，具有如此少的数据。高效零的性能也在2亿帧的比赛中靠近DQN的性能，而我们使用的数据减少了500倍。高效零的低样本复杂性和高性能可以使RL更接近现实世界的适用性。我们以易于理解的方式实现我们的算法，它可以在https://github.com/yewr/effionszero中获得。我们希望它将加速更广泛社区中MCT的RL算法的研究。

We propose a simple data augmentation technique that can be applied to standard model-free reinforcement learning algorithms, enabling robust learning directly from pixels without the need for auxiliary losses or pre-training. The approach leverages input perturbations commonly used in computer vision tasks to transform input examples, as well as regularizing the value function and policy. Existing model-free approaches, such as Soft Actor-Critic (SAC) [22], are not able to train deep networks effectively from image pixels. However, the addition of our augmentation method dramatically improves SAC's performance, enabling it to reach state-of-the-art performance on the DeepMind control suite, surpassing model-based [23,38,24] methods and recently proposed contrastive learning [50]. Our approach, which we dub DrQ: Data-regularized Q, can be combined with any model-free reinforcement learning algorithm. We further demonstrate this by applying it to DQN [43] and significantly improve its data-efficiency on the Atari 100k [31] benchmark. An implementation can be found at https://sites. google.com/view/data-regularized-q.

在这项工作中，我们提出并评估了一种新的增强学习方法，紧凑体验重放（编者），它使用基于相似转换集的复发的预测目标值的时间差异学习，以及基于两个转换的经验重放的新方法记忆。我们的目标是减少在长期累计累计奖励的经纪人培训所需的经验。它与强化学习的相关性与少量观察结果有关，即它需要实现类似于文献中的相关方法获得的结果，这通常需要数百万视频框架来培训ATARI 2600游戏。我们举报了在八个挑战街机学习环境（ALE）挑战游戏中，为仅10万帧的培训试验和大约25,000次迭代的培训试验中报告了培训试验。我们还在与基线的同一游戏中具有相同的实验协议的DQN代理呈现结果。为了验证从较少数量的观察结果近似于良好的政策，我们还将其结果与从啤酒的基准上呈现的数百万帧中获得的结果进行比较。

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

横跨街机学习环境，彩虹实现了对人类和现代RL算法的竞争程度。然而，获得这种性能水平需要大量的数据和硬件资源，在该区域进行研究计算地昂贵并且在实际应用中使用通常是不可行的。本文的贡献是三倍：我们（1）提出了一种改进的彩虹版本，寻求大大减少彩虹的数据，培训时间和计算要求，同时保持其竞争性能; （2）我们通过实验通过对街机学习环境的实验来证明我们的方法的有效性，以及（3）我们进行了许多消融研究，以研究个体提出的修改的效果。我们改进的Rainbow版本达到了靠近经典彩虹的中位数的人为规范化分数，而使用20倍的数据，只需要7.5小时的单个GPU培训时间。我们还提供了我们的全部实施，包括预先训练的型号。

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.