The potential of offline reinforcement learning (RL) is that high-capacity models trained on large, heterogeneous datasets can lead to agents that generalize broadly, analogously to similar advances in vision and NLP. However, recent works argue that offline RL methods encounter unique challenges to scaling up model capacity. Drawing on the learnings from these works, we re-examine previous design choices and find that with appropriate choices: ResNets, cross-entropy based distributional backups, and feature normalization, offline Q-learning algorithms exhibit strong performance that scales with model capacity. Using multi-task Atari as a testbed for scaling and generalization, we train a single policy on 40 games with near-human performance using up-to 80 million parameter networks, finding that model performance scales favorably with capacity. In contrast to prior work, we extrapolate beyond dataset performance even when trained entirely on a large (400M transitions) but highly suboptimal dataset (51% human-level performance). Compared to return-conditioned supervised approaches, offline Q-learning scales similarly with model capacity and has better performance, especially when the dataset is suboptimal. Finally, we show that offline Q-learning with a diverse dataset is sufficient to learn powerful representations that facilitate rapid transfer to novel games and fast online learning on new variations of a training game, improving over existing state-of-the-art representation learning approaches.

Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN Replay Dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this fixed dataset, outperform the fully-trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN Replay Dataset surpasses strong RL baselines. Ablation studies highlight the role of offline dataset size and diversity as well as the algorithm choice in our positive results. Overall, the results here present an optimistic view that robust RL algorithms used on sufficiently large and diverse offline datasets can lead to high quality policies. To provide a testbed for offline RL and reproduce our results, the DQN Replay Dataset is released at offline-rl.github.io.

尽管经过过度公路化，但通过监督学习培训的深网络易于优化，表现出优异的概括。解释这一点的一个假设是，过正交的深网络享有随机梯度下降引起的隐含正规化的好处，这些梯度下降引起的促进解决方案概括了良好的测试输入。推动深度加强学习（RL）方法也可能受益于这种效果是合理的。在本文中，我们讨论了监督学习中SGD的隐式正则化效果如何在离线深度RL设置中有害，导致普遍性较差和退化特征表示。我们的理论分析表明，当存在对时间差异学习的现有模型的隐式正则化模型时，由此产生的衍生规则器有利于与监督学习案件的显着对比的过度“混叠”的退化解决方案。我们凭经验备份这些发现，显示通过引导训练的深网络值函数学习的特征表示确实可以变得堕落，别名出在Bellman备份的两侧出现的状态操作对的表示。要解决此问题，我们派生了这个隐式规范器的形式，并通过此推导的启发，提出了一种简单且有效的显式规范器，称为DR3，抵消了本隐式规范器的不良影响。当与现有的离线RL方法结合使用时，DR3大大提高了性能和稳定性，缓解了ATARI 2600游戏，D4RL域和来自图像的机器人操作。

Using massive datasets to train large-scale models has emerged as a dominant approach for broad generalization in natural language and vision applications. In reinforcement learning, however, a key challenge is that available data of sequential decision making is often not annotated with actions - for example, videos of game-play are much more available than sequences of frames paired with their logged game controls. We propose to circumvent this challenge by combining large but sparsely-annotated datasets from a \emph{target} environment of interest with fully-annotated datasets from various other \emph{source} environments. Our method, Action Limited PreTraining (ALPT), leverages the generalization capabilities of inverse dynamics modelling (IDM) to label missing action data in the target environment. We show that utilizing even one additional environment dataset of labelled data during IDM pretraining gives rise to substantial improvements in generating action labels for unannotated sequences. We evaluate our method on benchmark game-playing environments and show that we can significantly improve game performance and generalization capability compared to other approaches, using annotated datasets equivalent to only $12$ minutes of gameplay. Highlighting the power of IDM, we show that these benefits remain even when target and source environments share no common actions.

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.

深度神经网络是当今离线增强学习中最常用的功能近似值。先前的工作表明，接受TD学习和梯度下降训练的神经网可以表现出隐式正则化，可以通过这些网络的参数化不足来表征。具体而言，已经观察到在训练期间，倒数第二个特征层的排名（也称为\ textit {有效等级}）急剧崩溃。反过来，这种崩溃被认为是为了降低模型在学习后期进一步适应的能力，从而导致最终表现降低。有效等级和绩效之间的这种关联使离线RL的有效等级引人注目，主要用于离线政策评估。在这项工作中，我们对三个离线RL数据集的有效等级与绩效之间的关系进行了仔细的实证研究：Bsuite，Atari和DeepMind Lab。我们观察到，直接关联仅存在于受限的设置中，并且在更广泛的超参数扫描中消失。此外，我们从经验上确定了三个学习的阶段，这些阶段解释了隐式正则化对学习动力学的影响，并发现单独进行引导不足以解释有效等级的崩溃。此外，我们表明其他几个因素可能会混淆有效的等级与绩效之间的关系，并得出结论，在简单假设下研究这种关联可能会产生高度误导。

离线强化学习在利用大型预采用的数据集进行政策学习方面表现出了巨大的希望，使代理商可以放弃经常廉价的在线数据收集。但是，迄今为止，离线强化学习的探索相对较小，并且缺乏对剩余挑战所在的何处的了解。在本文中，我们试图建立简单的基线以在视觉域中连续控制。我们表明，对两个基于最先进的在线增强学习算法，Dreamerv2和DRQ-V2进行了简单的修改，足以超越事先工作并建立竞争性的基准。我们在现有的离线数据集中对这些算法进行了严格的评估，以及从视觉观察结果中进行离线强化学习的新测试台，更好地代表现实世界中离线增强学习问题中存在的数据分布，并开放我们的代码和数据以促进此方面的进度重要领域。最后，我们介绍并分析了来自视觉观察的离线RL所独有的几个关键Desiderata，包括视觉分散注意力和动态视觉上可识别的变化。

最近的工作表明，单独监督学习，没有时间差异（TD）学习，可以对离线RL显着有效。什么时候保持真实，需要哪些算法组件？通过广泛的实验，我们致力于将RL离线的监督学习到其基本要素。在我们考虑的每个环境套件中，只需通过双层前馈MLP最大化的可能性，与基于TD学习或与变压器的序列建模的基本更复杂的方法具有竞争力的竞争性。仔细选择模型容量（例如，通过正则化或架构），并选择哪些信息（例如，目标或奖励）对性能至关重要。这些见解是通过监督学习进行加强学习的从业者（我们投入“RVS学习”）的实践指南。他们还探讨了现有RVS方法的限制，在随机数据上相对较弱，并提出了许多打开问题。

The deep reinforcement learning community has made several independent improvements to the DQN algorithm. However, it is unclear which of these extensions are complementary and can be fruitfully combined. This paper examines six extensions to the DQN algorithm and empirically studies their combination. Our experiments show that the combination provides state-of-the-art performance on the Atari 2600 benchmark, both in terms of data efficiency and final performance. We also provide results from a detailed ablation study that shows the contribution of each component to overall performance.

横跨街机学习环境，彩虹实现了对人类和现代RL算法的竞争程度。然而，获得这种性能水平需要大量的数据和硬件资源，在该区域进行研究计算地昂贵并且在实际应用中使用通常是不可行的。本文的贡献是三倍：我们（1）提出了一种改进的彩虹版本，寻求大大减少彩虹的数据，培训时间和计算要求，同时保持其竞争性能; （2）我们通过实验通过对街机学习环境的实验来证明我们的方法的有效性，以及（3）我们进行了许多消融研究，以研究个体提出的修改的效果。我们改进的Rainbow版本达到了靠近经典彩虹的中位数的人为规范化分数，而使用20倍的数据，只需要7.5小时的单个GPU培训时间。我们还提供了我们的全部实施，包括预先训练的型号。

当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。

微调加强学习（RL）模型由于缺乏大规模的现成数据集以及不同环境之间可传递性的较高差异而变得具有挑战性。最近的工作着眼于从序列建模的角度来应对离线RL，并通过引入变压器体系结构的结果得到改进的结果。但是，当模型从头开始训练时，它会遭受缓慢的收敛速度。在本文中，我们希望利用这种强化学习作为序列建模的表述，并研究在离线RL任务（控制，游戏）上进行填充时，在其他领域（视觉，语言）上进行了预训练的序列模型的可传递性。为此，我们还提出了改善这些域之间传递的技术。结果表明，在各种环境上的收敛速度和奖励方面，表现出一致的性能，加速了3-6倍的训练，并使用Wikipedia-pretrenained and GPT2语言模型在各种任务中实现了最先进的绩效。我们希望这项工作不仅为RL利用通用序列建模技术和预训练模型的潜力带来启发，而且还激发了未来的工作，在完全不同领域的生成建模任务之间共享知识。

离线强化学习用于在实时访问环境昂贵或不可能的情况下培训策略。作为这些恶劣条件的自然后果，在采取行动之前，代理商可能缺乏完全遵守在线环境的资源。我们配备了这种情况资源受限的设置。这导致脱机数据集（可用于培训）的情况可以包含完全处理的功能（使用功能强大的语言模型，图像模型，复杂传感器等）在实际在线时不可用。此断开连接导致离线RL中的有趣和未开发的问题：是否可以使用丰富地处理的脱机数据集来培训可访问在线环境中的更少功能的策略？在这项工作中，我们介绍并正式化这一新颖的资源受限的问题设置。我们突出了使用有限功能培训的完整脱机数据集和策略培训的策略之间的性能差距。我们通过策略传输算法解决了这种性能缺口，该策略传输算法首先使用功能完全可用的脱机数据集列举教师代理，然后将此知识传输到仅使用资源约束功能的学生代理。为了更好地捕获此设置的挑战，我们提出了一个数据收集过程：RL（RC-D4RL）的资源受限数据集。我们在RC-D4RL和流行的D4RL基准测试中评估传输算法，并观察到基线上的一致性改进（无需传输）。实验的代码在https://github.com/jayanthrr /rc-offlinerl上获得。

基于模型的强化学习的关键承诺之一是使用世界内部模型拓展到新颖的环境和任务中的预测。然而，模型的代理商的泛化能力尚不清楚，因为现有的工作在基准测试概括时专注于无模型剂。在这里，我们明确测量模型的代理的泛化能力与其无模型对应物相比。我们专注于Muzero（Schrittwieser等，2020），强大的基于模型的代理商的分析，并评估其在过程和任务泛化方面的性能。我们确定了一个程序概括规划，自我监督代表学习和程序数据分集的三个因素 - 并表明通过组合这些技术，我们实现了普通的最先进的概括性和数据效率（Cobbe等人。，2019）。但是，我们发现这些因素并不总是为Meta-World中的任务泛化基准提供相同的益处（Yu等人，2019），表明转移仍然是一个挑战，可能需要不同的方法而不是程序泛化。总的来说，我们建议建立一个推广的代理需要超越单任务，无模型范例，并朝着在丰富，程序，多任务环境中培训的基于自我监督的模型的代理。

自成立以来，建立在广泛任务中表现出色的普通代理的任务一直是强化学习的重要目标。这个问题一直是对Alarge工作体系的研究的主题，并且经常通过观察Atari 57基准中包含的广泛范围环境的分数来衡量的性能。 Agent57是所有57场比赛中第一个超过人类基准的代理商，但这是以数据效率差的代价，需要实现近800亿帧的经验。以Agent57为起点，我们采用了各种各样的形式，以降低超过人类基线所需的经验200倍。在减少数据制度和Propose有效的解决方案时，我们遇到了一系列不稳定性和瓶颈，以构建更强大，更有效的代理。我们还使用诸如Muesli和Muzero之类的高性能方法证明了竞争性的性能。 TOOUR方法的四个关键组成部分是（1）近似信任区域方法，该方法可以从TheOnline网络中稳定引导，（2）损失和优先级的归一化方案，在学习具有广泛量表的一组值函数时，可以提高鲁棒性， （3）改进的体系结构采用了NFNET的技术技术来利用更深的网络而无需标准化层，并且（4）政策蒸馏方法可使瞬时贪婪的策略加班。

本文探讨了在深度参与者批评的增强学习模型中同时学习价值功能和政策的问题。我们发现，由于这两个任务之间的噪声水平差异差异，共同学习这些功能的共同实践是亚最佳选择。取而代之的是，我们表明独立学习这些任务，但是由于蒸馏阶段有限，可以显着提高性能。此外，我们发现可以使用较低的\ textIt {方差}返回估计值来降低策略梯度噪声水平。鉴于，值学习噪声水平降低了较低的\ textit {bias}估计值。这些见解共同为近端策略优化的扩展提供了信息，我们称为\ textit {dual Network Archituction}（DNA），这极大地超过了其前身。DNA还超过了受欢迎的彩虹DQN算法在测试的五个环境中的四个环境中的性能，即使在更困难的随机控制设置下也是如此。

We present CURL: Contrastive Unsupervised Representations for Reinforcement Learning. CURL extracts high-level features from raw pixels using contrastive learning and performs offpolicy control on top of the extracted features. CURL outperforms prior pixel-based methods, both model-based and model-free, on complex tasks in the DeepMind Control Suite and Atari Games showing 1.9x and 1.2x performance gains at the 100K environment and interaction steps benchmarks respectively. On the DeepMind Control Suite, CURL is the first image-based algorithm to nearly match the sample-efficiency of methods that use state-based features. Our code is open-sourced and available at https://www. github.com/MishaLaskin/curl.

Experience replay lets online reinforcement learning agents remember and reuse experiences from the past. In prior work, experience transitions were uniformly sampled from a replay memory. However, this approach simply replays transitions at the same frequency that they were originally experienced, regardless of their significance. In this paper we develop a framework for prioritizing experience, so as to replay important transitions more frequently, and therefore learn more efficiently. We use prioritized experience replay in Deep Q-Networks (DQN), a reinforcement learning algorithm that achieved human-level performance across many Atari games. DQN with prioritized experience replay achieves a new stateof-the-art, outperforming DQN with uniform replay on 41 out of 49 games.

Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.

无监督的视觉表示学习提供了一个机会，可以利用大型无标记轨迹的大型语料库形成有用的视觉表示，这可以使强化学习（RL）算法的培训受益。但是，评估此类表示的适应性需要培训RL算法，该算法在计算上是密集型且具有较高的差异结果。为了减轻此问题，我们为无监督的RL表示方案设计了一个评估协议，其差异较低，计算成本降低了600倍。受愿景社区的启发，我们提出了两个线性探测任务：预测在给定状态下观察到的奖励，并预测特定状态下专家的行动。这两个任务通常适用于许多RL域，我们通过严格的实验表明，它们与Atari100k基准的实际下游控制性能密切相关。这提供了一种更好的方法，可以探索预处理算法的空间，而无需为每个设置运行RL评估。利用这一框架，我们进一步改善了RL的现有自学学习（SSL）食谱，突出了前向模型的重要性，视觉骨架的大小以及无监督目标的精确配方。