深度加强学习（RL）的增长为该领域带来了多种令人兴奋的工具和方法。这种快速扩展使得了解RL工具箱的各个元素之间的相互作用。通过在连续控制环境中进行研究，我们从实证角度接近这项任务。我们提出了对基本性质的多个见解，包括：从相同数据培训的多个演员的平均值提升了性能;现有方法在培训运行，培训时期，培训时期和评估运行不稳定;有效培训不需要常用的添加剂动作噪声;基于后抽样的策略探讨比近似的UCB与加权Bellman备份相结合的探讨;单独加权的Bellman备份不能取代剪辑的双Q学习;批评者的初始化在基于集合的演员批评探索中起着重要作用。作为一个结论，我们展示了现有的工具如何以新颖的方式汇集，产生集合深度确定性政策梯度（ED2）方法，从Openai Gyem Mujoco的连续控制任务产生最先进的结果。从实际方面，ED2在概念上简单，易于编码，并且不需要在现有RL工具箱之外的知识。

无模型的深度增强学习（RL）已成功应用于挑战连续控制域。然而，较差的样品效率可防止这些方法广泛用于现实世界领域。我们通过提出一种新的无模型算法，现实演员 - 评论家（RAC）来解决这个问题，旨在通过学习关于Q函数的各种信任的政策家庭来解决价值低估和高估之间的权衡。我们构建不确定性惩罚Q-Learning（UPQ），该Q-Learning（UPQ）使用多个批评者的合并来控制Q函数的估计偏差，使Q函数平稳地从低于更高的置信范围偏移。随着这些批评者的指导，RAC采用通用价值函数近似器（UVFA），同时使用相同的神经网络学习许多乐观和悲观的政策。乐观的政策会产生有效的探索行为，而悲观政策会降低价值高估的风险，以确保稳定的策略更新和Q函数。该方法可以包含任何违规的演员 - 评论家RL算法。我们的方法实现了10倍的样本效率和25 \％的性能改进与SAC在最具挑战性的人形环境中，获得了11107美元的集中奖励1107美元，价格为10 ^ 6美元。所有源代码都可以在https://github.com/ihuhuhu/rac获得。

一种被称为优先体验重播（PER）的广泛研究的深钢筋学习（RL）技术使代理可以从与其时间差异（TD）误差成正比的过渡中学习。尽管已经表明，PER是离散作用域中深度RL方法总体性能的最关键组成部分之一，但许多经验研究表明，在连续控制中，它的表现非常低于参与者 - 批评算法。从理论上讲，我们表明，无法有效地通过具有较大TD错误的过渡对演员网络进行训练。结果，在Q网络下计算的近似策略梯度与在最佳Q功能下计算的实际梯度不同。在此激励的基础上，我们引入了一种新颖的经验重播抽样框架，用于演员批评方法，该框架还认为稳定性和最新发现的问题是Per的经验表现不佳。引入的算法提出了对演员和评论家网络的有效和高效培训的改进的新分支。一系列广泛的实验验证了我们的理论主张，并证明了引入的方法显着优于竞争方法，并获得了与标准的非政策参与者 - 批评算法相比，获得最先进的结果。

In value-based reinforcement learning methods such as deep Q-learning, function approximation errors are known to lead to overestimated value estimates and suboptimal policies. We show that this problem persists in an actor-critic setting and propose novel mechanisms to minimize its effects on both the actor and the critic. Our algorithm builds on Double Q-learning, by taking the minimum value between a pair of critics to limit overestimation. We draw the connection between target networks and overestimation bias, and suggest delaying policy updates to reduce per-update error and further improve performance. We evaluate our method on the suite of OpenAI gym tasks, outperforming the state of the art in every environment tested.

在无模型的深度加强学习（RL）算法中，利用嘈杂的值估计监督政策评估和优化对样品效率有害。由于这种噪声是异源的，因此可以在优化过程中使用基于不确定性的权重来缓解其效果。以前的方法依赖于采样的合奏，这不会捕获不确定性的所有方面。我们对在RL的嘈杂监管中提供了对不确定性的不确定性来源的系统分析，并引入了诸如将概率集合和批处理逆差加权组合的贝叶斯框架的逆差异RL。我们提出了一种方法，其中两个互补的不确定性估计方法占Q值和环境随机性，以更好地减轻嘈杂监督的负面影响。我们的结果表明，对离散和连续控制任务的采样效率方面显着改进。

深层确定性的非政策算法的类别有效地用于解决具有挑战性的连续控制问题。但是，当前的方法使用随机噪声作为一种常见的探索方法，该方法具有多个弱点，例如需要对给定任务进行手动调整以及在训练过程中没有探索性校准。我们通过提出一种新颖的指导探索方法来应对这些挑战，该方法使用差异方向控制器来结合可扩展的探索性动作校正。提供探索性方向的蒙特卡洛评论家合奏作为控制器。提出的方法通过动态改变勘探来改善传统探索方案。然后，我们提出了一种新颖的算法，利用拟议的定向控制器进行政策和评论家修改。所提出的算法在DMControl Suite的各种问题上都优于现代增强算法的现代增强算法。

在高维连续任务中学习的学习是具有挑战性的，主要是当体验重播记忆非常有限时。我们引入了一种简单而有效的经验共享机制，用于在未来的非政策深度强化学习应用程序中进行连续动作域中的确定性政策，其中分配的经验重播缓冲液的分配记忆受到限制。为了克服通过从其他代理商的经验中学习引起的外推误差，我们通过一种新型的非政策校正技术促进了我们的算法，而没有任何动作概率估计。我们测试方法在挑战OpenAi Gym连续控制任务方面的有效性，并得出结论，它可以在多个代理商之间获得安全的体验，并在重播记忆受到严格限制时表现出强大的性能。

不确定性量化是现实世界应用中机器学习的主要挑战之一。在强化学习中，一个代理人面对两种不确定性，称为认识论不确定性和态度不确定性。同时解开和评估这些不确定性，有机会提高代理商的最终表现，加速培训并促进部署后的质量保证。在这项工作中，我们为连续控制任务的不确定性感知强化学习算法扩展了深层确定性策略梯度算法（DDPG）。它利用了认识论的不确定性，以加快探索和不确定性来学习风险敏感的政策。我们进行数值实验，表明我们的DDPG变体在机器人控制和功率网络优化方面的基准任务中均优于香草DDPG而没有不确定性估计。

Many practical applications of reinforcement learning constrain agents to learn from a fixed batch of data which has already been gathered, without offering further possibility for data collection. In this paper, we demonstrate that due to errors introduced by extrapolation, standard offpolicy deep reinforcement learning algorithms, such as DQN and DDPG, are incapable of learning without data correlated to the distribution under the current policy, making them ineffective for this fixed batch setting. We introduce a novel class of off-policy algorithms, batch-constrained reinforcement learning, which restricts the action space in order to force the agent towards behaving close to on-policy with respect to a subset of the given data. We present the first continuous control deep reinforcement learning algorithm which can learn effectively from arbitrary, fixed batch data, and empirically demonstrate the quality of its behavior in several tasks.

与政策策略梯度技术相比，使用先前收集的数据的无模型的无模型深钢筋学习（RL）方法可以提高采样效率。但是，当利益政策的分布与收集数据的政策之间的差异时，非政策学习变得具有挑战性。尽管提出了良好的重要性抽样和范围的政策梯度技术来补偿这种差异，但它们通常需要一系列长轨迹，以增加计算复杂性并引起其他问题，例如消失或爆炸梯度。此外，由于需要行动概率，它们对连续动作领域的概括严格受到限制，这不适合确定性政策。为了克服这些局限性，我们引入了一种替代的非上政策校正算法，用于连续作用空间，参与者 - 批判性非政策校正（AC-OFF-POC），以减轻先前收集的数据引入的潜在缺陷。通过由代理商对随机采样批次过渡的状态的最新动作决策计算出的新颖差异度量，该方法不需要任何策略的实际或估计的行动概率，并提供足够的一步重要性抽样。理论结果表明，引入的方法可以使用固定的独特点获得收缩映射，从而可以进行“安全”的非政策学习。我们的经验结果表明，AC-Off-POC始终通过有效地安排学习率和Q学习和政策优化的学习率，以比竞争方法更少的步骤改善最新的回报。

准确的价值估计对于禁止禁止增强学习是重要的。基于时间差学学习的算法通常容易容易出现过度或低估的偏差。在本文中，我们提出了一种称为自适应校准批评者（ACC）的一般方法，该方法使用最近的高方差，但不偏见的on-Police Rollouts来缓解低方差时间差目标的偏差。我们将ACC应用于截断的分位数批评，这是一种连续控制的算法，允许使用每个环境调谐的超参数调节偏差。生成的算法在训练渲染渲染超参数期间自适应调整参数不必要，并在Openai健身房连续控制基准测试中设置一个新的算法中，这些算法在所有环境中没有调整HyperParameters的所有算法中。此外，我们证明ACC通过进一步将其进一步应用于TD3并在此设置中显示出改进的性能而相当一般。

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN Replay Dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this fixed dataset, outperform the fully-trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN Replay Dataset surpasses strong RL baselines. Ablation studies highlight the role of offline dataset size and diversity as well as the algorithm choice in our positive results. Overall, the results here present an optimistic view that robust RL algorithms used on sufficiently large and diverse offline datasets can lead to high quality policies. To provide a testbed for offline RL and reproduce our results, the DQN Replay Dataset is released at offline-rl.github.io.

在训练加强学习（RL）代理的过程中，随着代理商的行为随着时间的变化而变化，培训数据的分布是非平稳的。因此，有风险，代理被过度专门针对特定的分布，其性能在更大的情况下受到了影响。合奏RL可以通过学习强大的策略来减轻此问题。但是，由于新引入的价值和策略功能，它遭受了大量的计算资源消耗。在本文中，为了避免臭名昭著的资源消费问题，我们设计了一个新颖而简单的合奏深度RL框架，将多个模型集成到单个模型中。具体而言，我们提出了\下划线{m} inimalist \ usewissline {e} nsemble \ useverlline {p} olicy \ usewissline {g} radient框架（mepg），通过利用修改后的辍学者，引入了简约的bellman更新。 MEPG通过保持Bellman方程式两侧的辍学一致性来持有合奏属性。此外，辍学操作员还增加了MEPG的概括能力。此外，我们从理论上表明，MEPG中的政策评估阶段维持了两个同步的深高斯流程。为了验证MEPG框架的概括能力，我们在健身房模拟器上执行实验，该实验表明，MEPG框架的表现优于或达到与当前最新的无效合奏方法和不增加模型的方法相似的性能水平其他计算资源成本。

基于价值的深度增强学习（RL）算法遭受主要由函数近似和时间差（TD）学习引起的估计偏差。此问题会引起故障状态 - 动作值估计，因此损害了学习算法的性能和鲁棒性。尽管提出了几种技术来解决，但学习算法仍然遭受这种偏差。在这里，我们介绍一种技术，该技术使用经验重放机制消除了截止策略连续控制算法中的估计偏差。我们在加权双延迟深度确定性政策梯度算法中自适应地学习加权超参数β。我们的方法名为Adaptive-WD3（AWD3）。我们展示了Openai健身房的连续控制环境，我们的算法匹配或优于最先进的脱离政策政策梯度学习算法。

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

有效的强化学习需要适当的平衡探索和剥削，由动作分布的分散定义。但是，这种平衡取决于任务，学习过程的当前阶段以及当前的环境状态。指定动作分布分散的现有方法需要依赖问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分布：该分布应具有足够的分散，以评估未来的政策。为此，应调整色散以确保重播缓冲区中的动作和产生它们的分布模式的足够高的概率（密度），但是这种分散不应更高。这样，可以根据缓冲区中的动作有效评估策略，但是当此策略收敛时，动作的探索性随机性会降低。上述原则在挑战性的基准蚂蚁，Halfcheetah，Hopper和Walker2D上进行了验证，并取得了良好的效果。我们的方法使动作标准偏差收敛到与试验和错误优化产生的相似的值。

Dealing with sparse rewards is one of the biggest challenges in Reinforcement Learning (RL). We present a novel technique called Hindsight Experience Replay which allows sample-efficient learning from rewards which are sparse and binary and therefore avoid the need for complicated reward engineering. It can be combined with an arbitrary off-policy RL algorithm and may be seen as a form of implicit curriculum. We demonstrate our approach on the task of manipulating objects with a robotic arm. In particular, we run experiments on three different tasks: pushing, sliding, and pick-and-place, in each case using only binary rewards indicating whether or not the task is completed. Our ablation studies show that Hindsight Experience Replay is a crucial ingredient which makes training possible in these challenging environments. We show that our policies trained on a physics simulation can be deployed on a physical robot and successfully complete the task. The video presenting our experiments is available at https://goo.gl/SMrQnI.

System identification, also known as learning forward models, transfer functions, system dynamics, etc., has a long tradition both in science and engineering in different fields. Particularly, it is a recurring theme in Reinforcement Learning research, where forward models approximate the state transition function of a Markov Decision Process by learning a mapping function from current state and action to the next state. This problem is commonly defined as a Supervised Learning problem in a direct way. This common approach faces several difficulties due to the inherent complexities of the dynamics to learn, for example, delayed effects, high non-linearity, non-stationarity, partial observability and, more important, error accumulation when using bootstrapped predictions (predictions based on past predictions), over large time horizons. Here we explore the use of Reinforcement Learning in this problem. We elaborate on why and how this problem fits naturally and sound as a Reinforcement Learning problem, and present some experimental results that demonstrate RL is a promising technique to solve these kind of problems.

在时间差异增强学习算法中，价值估计的差异会导致最大目标值的不稳定性和高估。已经提出了许多算法来减少高估，包括最近的几种集合方法，但是，没有通过解决估计方差作为高估的根本原因来表现出样品效率学习的成功。在本文中，我们提出了一种简单的集合方法，将目标值估计为集合均值。尽管它很简单，但卑鄙的（还是在Atari学习环境基准测试的实验中显示出明显的样本效率）。重要的是，我们发现大小5的合奏充分降低了估计方差以消除滞后目标网络，从而消除了它作为偏见的来源并进一步获得样本效率。我们以直观和经验的方式为曲线的设计选择证明了合理性，包括独立经验抽样的必要性。在一组26个基准ATARI环境中，曲线均优于所有经过测试的基线，包括最佳的基线，日出，在16/26环境中的100K交互步骤，平均为68​​％。在21/26的环境中，曲线还优于500k步骤的Rainbow DQN，平均为49％，并使用200K（$ \ pm $ 100k）的交互步骤实现平均人级绩效。我们的实施可从https://github.com/indylab/meanq获得。