街机学习环境（ALE）被提出作为凭经验评估跨越atari 2600游戏的代理的一般性的评估平台。 ALE提供各种具有挑战性的问题，并从深加固学习（RL）社区中汲取了重要的关注。从Deep Q-Networks（DQN）到Agent57，RL代理似乎在ALE中实现了超人的性能。但是，这是这种情况吗？在本文中，为了探讨这个问题，我们首先审查了Atari基准中的当前评估指标，然后揭示了实现超人表现的当前评估标准是不合适的，这使得人类的性能相对于可能的是。为了处理这些问题并促进RL研究的发展，我们提出了一种基于人类世界纪录（HWR）的新型Atari基准，这对最终表现和学习效率提出了RL代理的更高要求。此外，我们总结了ATARI基准中的最先进的（SOTA）方法，并根据人类世界记录提供基准测试新的评估指标。我们得出结论，至少四个开放的挑战阻碍了RL代理商从那些新的基准结果实现超人绩效。最后，我们还讨论了一些有希望的方法来处理这些问题。
translated by 谷歌翻译
为了获得更高的样本效率和同时获得卓越的最终性能，这是深入增强学习（DRL）的主要挑战之一。以前的工作可以应对这些挑战之一，但通常未能同时解决这些挑战。在本文中，我们尝试同时解决这两个挑战。为了实现这一目标，我们首先将这些挑战分解为两个经典的RL问题：数据丰富性和探索探索权衡取舍。然后，我们将这两个问题投入到培训数据分配优化问题中，即在有限的互动中获得所需的培训数据，并通过i）同时解决这些数据，并通过i）明确的建模和控制行为政策的能力和多样性以及ii）。使用单调数据分布优化对行为策略的选择性/采样分布的粒度和自适应控制。最后，我们将此过程集成到广义策略迭代（GPI）中，并获得一个更通用的框架，称为广义数据分布迭代（GDI）。我们使用GDI框架来介绍从DQN到Agent57的著名RL方法的基于操作的版本。总结了GDI优势与GPI的理论保证。我们还展示了我们在街机学习环境（ALE）方面的最先进（SOTA）表现，其中我们的算法达到了9620.33％的平均人类正常得分（HNS），1146.39％的中位数HNS，仅使用22种人类世界记录超越200m培训框架。我们的性能与Agent57相当，而我们消耗了500倍的数据。我们认为，在获得啤酒中真正的超人人类代理人之前，还有很长的路要走。
translated by 谷歌翻译
深度Q网络（DQN）通过将深度学习（DL）与加强学习（RL）组合，这已经注意到，已经注意到所获取的数据的分布在训练过程中将改变。 DQN发现此属性可能会导致培训不稳定，因此它提出了处理财产缺点的有效方法。而不是专注于不利的方面，我们发现RL为缓解估计的数据分布与地面真理数据分布之间的差距，而是在监督学习（SL）未能这样做的情况下是至关重要的。从这种新的角度来看，我们将称为广义策略迭代（GPI）的RL的基本范例扩展到更广泛的版本中，该版本称为广义数据分发迭代（GDI）。我们看到大规模的RL算法和技术可以统一到GDI范式，这可以被认为是GDI的特殊情况之一。我们提供理论证明，为什么GDI比GPI更好，以及它如何运作。已经提出了基于GDI的几种实用算法来验证它的有效性和广泛性。经验实验证明我们在街机学习环境（ALE）上的最先进的（SOTA）性能，其中我们的算法达到了9620.98％的平均值人类规范化得分（HNS），1146.39％的中位数HNS和22人的世界历史突破（HWRB ）仅使用仅200M的训练框架。我们的工作旨在引领RL研究进入征服人类世界纪录的旅程，并在表现和效率上寻求真正的超人代理。
translated by 谷歌翻译
Atari games have been a long-standing benchmark in the reinforcement learning (RL) community for the past decade. This benchmark was proposed to test general competency of RL algorithms. Previous work has achieved good average performance by doing outstandingly well on many games of the set, but very poorly in several of the most challenging games. We propose Agent57, the first deep RL agent that outperforms the standard human benchmark on all 57 Atari games. To achieve this result, we train a neural network which parameterizes a family of policies ranging from very exploratory to purely exploitative. We propose an adaptive mechanism to choose which policy to prioritize throughout the training process. Additionally, we utilize a novel parameterization of the architecture that allows for more consistent and stable learning.
translated by 谷歌翻译
In this article we introduce the Arcade Learning Environment (ALE): both a challenge problem and a platform and methodology for evaluating the development of general, domain-independent AI technology. ALE provides an interface to hundreds of Atari 2600 game environments, each one different, interesting, and designed to be a challenge for human players. ALE presents significant research challenges for reinforcement learning, model learning, model-based planning, imitation learning, transfer learning, and intrinsic motivation. Most importantly, it provides a rigorous testbed for evaluating and comparing approaches to these problems. We illustrate the promise of ALE by developing and benchmarking domain-independent agents designed using well-established AI techniques for both reinforcement learning and planning. In doing so, we also propose an evaluation methodology made possible by ALE, reporting empirical results on over 55 different games. All of the software, including the benchmark agents, is publicly available.
translated by 谷歌翻译
Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policybased methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep Q-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.
translated by 谷歌翻译
自成立以来，建立在广泛任务中表现出色的普通代理的任务一直是强化学习的重要目标。这个问题一直是对Alarge工作体系的研究的主题，并且经常通过观察Atari 57基准中包含的广泛范围环境的分数来衡量的性能。 Agent57是所有57场比赛中第一个超过人类基准的代理商，但这是以数据效率差的代价，需要实现近800亿帧的经验。以Agent57为起点，我们采用了各种各样的形式，以降低超过人类基线所需的经验200倍。在减少数据制度和Propose有效的解决方案时，我们遇到了一系列不稳定性和瓶颈，以构建更强大，更有效的代理。我们还使用诸如Muesli和Muzero之类的高性能方法证明了竞争性的性能。 TOOUR方法的四个关键组成部分是（1）近似信任区域方法，该方法可以从TheOnline网络中稳定引导，（2）损失和优先级的归一化方案，在学习具有广泛量表的一组值函数时，可以提高鲁棒性， （3）改进的体系结构采用了NFNET的技术技术来利用更深的网络而无需标准化层，并且（4）政策蒸馏方法可使瞬时贪婪的策略加班。
translated by 谷歌翻译
We propose a conceptually simple and lightweight framework for deep reinforcement learning that uses asynchronous gradient descent for optimization of deep neural network controllers. We present asynchronous variants of four standard reinforcement learning algorithms and show that parallel actor-learners have a stabilizing effect on training allowing all four methods to successfully train neural network controllers. The best performing method, an asynchronous variant of actor-critic, surpasses the current state-of-the-art on the Atari domain while training for half the time on a single multi-core CPU instead of a GPU. Furthermore, we show that asynchronous actor-critic succeeds on a wide variety of continuous motor control problems as well as on a new task of navigating random 3D mazes using a visual input.
translated by 谷歌翻译
深度强化学习（DRL）和深度多机构的强化学习（MARL）在包括游戏AI，自动驾驶汽车，机器人技术等各种领域取得了巨大的成功。但是，众所周知，DRL和Deep MARL代理的样本效率低下，即使对于相对简单的问题设置，通常也需要数百万个相互作用，从而阻止了在实地场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的探索问题，即如何有效地探索环境和收集信息丰富的经验，从而使政策学习受益于最佳研究。在稀疏的奖励，吵闹的干扰，长距离和非平稳的共同学习者的复杂环境中，这个问题变得更加具有挑战性。在本文中，我们对单格和多代理RL的现有勘探方法进行了全面的调查。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支外，我们还包括其他具有不同思想和技术的著名探索方法。除了算法分析外，我们还对一组常用基准的DRL进行了全面和统一的经验比较。根据我们的算法和实证研究，我们终于总结了DRL和Deep Marl中探索的公开问题，并指出了一些未来的方向。
translated by 谷歌翻译
We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw pixels and whose output is a value function estimating future rewards. We apply our method to seven Atari 2600 games from the Arcade Learning Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.
translated by 谷歌翻译
The deep reinforcement learning community has made several independent improvements to the DQN algorithm. However, it is unclear which of these extensions are complementary and can be fruitfully combined. This paper examines six extensions to the DQN algorithm and empirically studies their combination. Our experiments show that the combination provides state-of-the-art performance on the Atari 2600 benchmark, both in terms of data efficiency and final performance. We also provide results from a detailed ablation study that shows the contribution of each component to overall performance.
translated by 谷歌翻译
横跨街机学习环境，彩虹实现了对人类和现代RL算法的竞争程度。然而，获得这种性能水平需要大量的数据和硬件资源，在该区域进行研究计算地昂贵并且在实际应用中使用通常是不可行的。本文的贡献是三倍：我们（1）提出了一种改进的彩虹版本，寻求大大减少彩虹的数据，培训时间和计算要求，同时保持其竞争性能; （2）我们通过实验通过对街机学习环境的实验来证明我们的方法的有效性，以及（3）我们进行了许多消融研究，以研究个体提出的修改的效果。我们改进的Rainbow版本达到了靠近经典彩虹的中位数的人为规范化分数，而使用20倍的数据，只需要7.5小时的单个GPU培训时间。我们还提供了我们的全部实施，包括预先训练的型号。
translated by 谷歌翻译
在这项工作中，我们提出并评估了一种新的增强学习方法，紧凑体验重放（编者），它使用基于相似转换集的复发的预测目标值的时间差异学习，以及基于两个转换的经验重放的新方法记忆。我们的目标是减少在长期累计累计奖励的经纪人培训所需的经验。它与强化学习的相关性与少量观察结果有关，即它需要实现类似于文献中的相关方法获得的结果，这通常需要数百万视频框架来培训ATARI 2600游戏。我们举报了在八个挑战街机学习环境（ALE）挑战游戏中，为仅10万帧的培训试验和大约25,000次迭代的培训试验中报告了培训试验。我们还在与基线的同一游戏中具有相同的实验协议的DQN代理呈现结果。为了验证从较少数量的观察结果近似于良好的政策，我们还将其结果与从啤酒的基准上呈现的数百万帧中获得的结果进行比较。
translated by 谷歌翻译
Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN Replay Dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this fixed dataset, outperform the fully-trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN Replay Dataset surpasses strong RL baselines. Ablation studies highlight the role of offline dataset size and diversity as well as the algorithm choice in our positive results. Overall, the results here present an optimistic view that robust RL algorithms used on sufficiently large and diverse offline datasets can lead to high quality policies. To provide a testbed for offline RL and reproduce our results, the DQN Replay Dataset is released at offline-rl.github.io.
translated by 谷歌翻译
深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。
translated by 谷歌翻译
translated by 谷歌翻译
强化学习在许多应用中取得了巨大的成功。然而，样本效率仍然是一个关键挑战，突出的方法需要训练数百万（甚至数十亿）的环境步骤。最近，基于样本的基于图像的RL算法存在显着进展;然而，Atari游戏基准上的一致人级表现仍然是一个难以捉摸的目标。我们提出了一种在Muzero上建立了基于模式的基于模型的Visual RL算法，我们名称为高效零。我们的方法达到了194.3％的人类性能和Atari 100K基准的109.0％的中位数，只有两个小时的实时游戏体验，并且在DMControl 100k基准测试中的某些任务中优于状态萨克。这是第一次算法在atari游戏中实现超级人类性能，具有如此少的数据。高效零的性能也在2亿帧的比赛中靠近DQN的性能，而我们使用的数据减少了500倍。高效零的低样本复杂性和高性能可以使RL更接近现实世界的适用性。我们以易于理解的方式实现我们的算法，它可以在https://github.com/yewr/effionszero中获得。我们希望它将加速更广泛社区中MCT的RL算法的研究。
translated by 谷歌翻译
当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。
translated by 谷歌翻译
With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.
translated by 谷歌翻译
In recent years, neural networks have enjoyed a renaissance as function approximators in reinforcement learning. Two decades after Tesauro's TD-Gammon achieved near toplevel human performance in backgammon, the deep reinforcement learning algorithm DQN achieved human-level performance in many Atari 2600 games. The purpose of this study is twofold. First, we propose two activation functions for neural network function approximation in reinforcement learning: the sigmoid-weighted linear unit (SiLU) and its derivative function (dSiLU). The activation of the SiLU is computed by the sigmoid function multiplied by its input. Second, we suggest that the more traditional approach of using on-policy learning with eligibility traces, instead of experience replay, and softmax action selection with simple annealing can be competitive with DQN, without the need for a separate target network. We validate our proposed approach by, first, achieving new state-of-the-art results in both stochastic SZ-Tetris and Tetris with a small 10×10 board, using TD(λ) learning and shallow dSiLU network agents, and, then, by outperforming DQN in the Atari 2600 domain by using a deep Sarsa(λ) agent with SiLU and dSiLU hidden units.
translated by 谷歌翻译