学习评估和改善政策是加强学习（RL）的核心问题。传统的RL算法学习为单个策略定义的值函数。最近探索的竞争选择是学习许多策略的单个价值功能。在这里，我们结合了基于参数的价值函数的参与者批判性架构和策略评估网络的策略嵌入，以学习评估（并从而有助于改善）的单个价值函数，以改善深度神经网络（NN）代表的任何策略。该方法产生竞争性的实验结果。在无限多个状态的连续控制问题中，我们的价值函数通过同时学习一小部分“探测状态”和从探测状态在策略返回中产生的动作的映射来最大程度地减少其预测错误。该方法以极少数状态的形式提取有关环境的重要抽象知识，足以完全指定许多政策的行为。策略仅通过改变探测状态的动作，遵循值函数的预测的梯度来改善。令人惊讶的是，只有通过分别知道如何在3和5的5个这样的国家中采取行动，才有可能克隆在游泳者V3和Hopper-V3环境中近乎最佳政策的行为。值得注意的是，我们经过评估NN策略的培训的价值功能也与政策体系结构的变化也不变：我们表明，它允许零拍学习线性策略的竞争力与培训中最佳政策竞争。我们的代码是公开的。

鉴于在特殊命令输入中编码的目标，目标条件的强化学习（RL）旨在学习最佳政策。在这里，我们研究了目标条件的神经网（NNS），这些神经网已经学会以特定于上下文特定的重量矩阵形式生成深度NN策略，类似于1990年代的快速体重程序员和其他方法。使用表单的上下文命令“生成实现预期回报的策略”，我们的NN生成器将对参数空间的强大探索与跨命令的概括相结合，以迭代地找到越来越更好的策略。体重共享的超级核武器和策略嵌入形式缩放了我们生成深度NN的方法。实验表明，单个学识渊博的政策生成器如何制定在培训过程中获得任何回报的政策。最后，我们在表现出竞争性能的一系列连续控制任务上评估了算法。我们的代码是公开的。

最近基于进化的零级优化方法和基于策略梯度的一阶方法是解决加强学习（RL）问题的两个有希望的替代方案。前者的方法与任意政策一起工作，依赖状态依赖和时间扩展的探索，具有健壮性的属性，但遭受了较高的样本复杂性，而后者的方法更有效，但仅限于可区分的政策，并且学习的政策是不太强大。为了解决这些问题，我们提出了一种新颖的零级演员 - 批评算法（ZOAC），该算法将这两种方法统一为派对演员 - 批判性结构，以保留两者的优势。 ZOAC在参数空间，一阶策略评估（PEV）和零订单策略改进（PIM）的参数空间中进行了推出集合，每次迭代中都会进行推出。我们使用不同类型的策略在广泛的挑战连续控制基准上进行广泛评估我们的方法，其中ZOAC优于零阶和一阶基线算法。

机器学习算法中多个超参数的最佳设置是发出大多数可用数据的关键。为此目的，已经提出了几种方法，例如进化策略，随机搜索，贝叶斯优化和启发式拇指规则。在钢筋学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容严重依赖于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单简单算法，这对于大多数R1任务来说是非常效率的，显着减慢学习曲线和离开用户的速度有目的地偏见数据收集的负担。在这项工作中，为了使RL算法更加用户独立，提出了一种使用贝叶斯优化的自主超参数设置的新方法。来自过去剧集和不同的超参数值的数据通过执行行为克隆在元学习水平上使用，这有助于提高最大化获取功能的加强学习变体的有效性。此外，通过紧密地整合在加强学习代理设计中的贝叶斯优化，还减少了收敛到给定任务的最佳策略所需的状态转换的数量。与其他手动调整和基于优化的方法相比，计算实验显示了有希望的结果，这突出了改变算法超级参数来增加所生成数据的信息内容的好处。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

无模型的深度增强学习（RL）已成功应用于挑战连续控制域。然而，较差的样品效率可防止这些方法广泛用于现实世界领域。我们通过提出一种新的无模型算法，现实演员 - 评论家（RAC）来解决这个问题，旨在通过学习关于Q函数的各种信任的政策家庭来解决价值低估和高估之间的权衡。我们构建不确定性惩罚Q-Learning（UPQ），该Q-Learning（UPQ）使用多个批评者的合并来控制Q函数的估计偏差，使Q函数平稳地从低于更高的置信范围偏移。随着这些批评者的指导，RAC采用通用价值函数近似器（UVFA），同时使用相同的神经网络学习许多乐观和悲观的政策。乐观的政策会产生有效的探索行为，而悲观政策会降低价值高估的风险，以确保稳定的策略更新和Q函数。该方法可以包含任何违规的演员 - 评论家RL算法。我们的方法实现了10倍的样本效率和25 \％的性能改进与SAC在最具挑战性的人形环境中，获得了11107美元的集中奖励1107美元，价格为10 ^ 6美元。所有源代码都可以在https://github.com/ihuhuhu/rac获得。

我们研究了强化学习（RL）中的策略扩展值函数近似器（PEVFA），其扩展了传统的价值函数近似器（VFA），不仅将输入的输入（和动作）而且是一个显式策略表示。这样的扩展使PEVFA能够同时保留多个策略的值，并带来吸引人的特性，即\ \ emph {策略之间的值泛化}。我们正式分析了广义政策迭代（GPI）下的价值概括。从理论和经验镜头来看，PEVFA提供的广义值估计值可能对连续策略的真实值较低的初始近似误差，这预计将在GPI期间提高连续值近似。基于上述线索，我们介绍了一种新的GPI形式，PEVFA，利用了政策改进路径的价值泛化。此外，我们向RL策略提出了一个表示学习框架，提供了从策略网络参数或状态操作对中学习有效策略嵌入的几种方法。在我们的实验中，我们评估了PEVFA和政策代表学习在几个Openai健身房连续控制任务中提供的价值概括的效果。对于算法实现的代表性实例，在GPI的GPI范式下重新实现的近端策略优化（PPO）在大多数环境中对其VANILLA对应物的绩效改进约为40 \％。

Many practical applications of reinforcement learning constrain agents to learn from a fixed batch of data which has already been gathered, without offering further possibility for data collection. In this paper, we demonstrate that due to errors introduced by extrapolation, standard offpolicy deep reinforcement learning algorithms, such as DQN and DDPG, are incapable of learning without data correlated to the distribution under the current policy, making them ineffective for this fixed batch setting. We introduce a novel class of off-policy algorithms, batch-constrained reinforcement learning, which restricts the action space in order to force the agent towards behaving close to on-policy with respect to a subset of the given data. We present the first continuous control deep reinforcement learning algorithm which can learn effectively from arbitrary, fixed batch data, and empirically demonstrate the quality of its behavior in several tasks.

与政策策略梯度技术相比，使用先前收集的数据的无模型的无模型深钢筋学习（RL）方法可以提高采样效率。但是，当利益政策的分布与收集数据的政策之间的差异时，非政策学习变得具有挑战性。尽管提出了良好的重要性抽样和范围的政策梯度技术来补偿这种差异，但它们通常需要一系列长轨迹，以增加计算复杂性并引起其他问题，例如消失或爆炸梯度。此外，由于需要行动概率，它们对连续动作领域的概括严格受到限制，这不适合确定性政策。为了克服这些局限性，我们引入了一种替代的非上政策校正算法，用于连续作用空间，参与者 - 批判性非政策校正（AC-OFF-POC），以减轻先前收集的数据引入的潜在缺陷。通过由代理商对随机采样批次过渡的状态的最新动作决策计算出的新颖差异度量，该方法不需要任何策略的实际或估计的行动概率，并提供足够的一步重要性抽样。理论结果表明，引入的方法可以使用固定的独特点获得收缩映射，从而可以进行“安全”的非政策学习。我们的经验结果表明，AC-Off-POC始终通过有效地安排学习率和Q学习和政策优化的学习率，以比竞争方法更少的步骤改善最新的回报。

经验重放机制允许代理多次使用经验。在以前的作品中，过渡的抽样概率根据其重要性进行调整。重新分配采样概率在每次迭代后的重传缓冲器的每个过渡是非常低效的。因此，经验重播优先算法重新计算时，相应的过渡进行采样，以获得计算效率转变的意义。然而，过渡的重要性水平动态变化的政策和代理人的价值函数被更新。此外，经验回放存储转换由可显著从代理的最新货币政策偏离剂的以前的政策产生。从代理引线的最新货币政策更关闭策略更新，这是有害的代理高偏差。在本文中，我们开发了一种新的算法，通过KL散度批次优先化体验重播（KLPER），其优先批次转换的，而不是直接优先每个过渡。此外，为了减少更新的截止policyness，我们的算法选择一个批次中的某一批次的数量和力量的通过很有可能是代理的最新货币政策所产生的一批学习代理。我们结合与深确定性政策渐变和Twin算法延迟深确定性政策渐变，并评估它在不同的连续控制任务。 KLPER提供培训期间的抽样效率，最终表现和政策的稳定性方面有前途的深确定性的连续控制算法的改进。

一种被称为优先体验重播（PER）的广泛研究的深钢筋学习（RL）技术使代理可以从与其时间差异（TD）误差成正比的过渡中学习。尽管已经表明，PER是离散作用域中深度RL方法总体性能的最关键组成部分之一，但许多经验研究表明，在连续控制中，它的表现非常低于参与者 - 批评算法。从理论上讲，我们表明，无法有效地通过具有较大TD错误的过渡对演员网络进行训练。结果，在Q网络下计算的近似策略梯度与在最佳Q功能下计算的实际梯度不同。在此激励的基础上，我们引入了一种新颖的经验重播抽样框架，用于演员批评方法，该框架还认为稳定性和最新发现的问题是Per的经验表现不佳。引入的算法提出了对演员和评论家网络的有效和高效培训的改进的新分支。一系列广泛的实验验证了我们的理论主张，并证明了引入的方法显着优于竞争方法，并获得了与标准的非政策参与者 - 批评算法相比，获得最先进的结果。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

In value-based reinforcement learning methods such as deep Q-learning, function approximation errors are known to lead to overestimated value estimates and suboptimal policies. We show that this problem persists in an actor-critic setting and propose novel mechanisms to minimize its effects on both the actor and the critic. Our algorithm builds on Double Q-learning, by taking the minimum value between a pair of critics to limit overestimation. We draw the connection between target networks and overestimation bias, and suggest delaying policy updates to reduce per-update error and further improve performance. We evaluate our method on the suite of OpenAI gym tasks, outperforming the state of the art in every environment tested.

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

基于我们先前关于绿色仿真辅助政策梯度（GS-PG）的研究，重点是基于轨迹的重复使用，在本文中，我们考虑了无限 - 马尔可夫马尔可夫决策过程，并创建了一种新的重要性采样策略梯度优化的方法来支持动态决策制造。现有的GS-PG方法旨在从完整的剧集或过程轨迹中学习，这将其适用性限制在低数据状态和灵活的在线过程控制中。为了克服这一限制，提出的方法可以选择性地重复使用最相关的部分轨迹，即，重用单元基于每步或每次派遣的历史观察。具体而言，我们创建了基于混合的可能性比率（MLR）策略梯度优化，该优化可以利用不同行为政策下产生的历史状态行动转变中的信息。提出的减少差异经验重播（VRER）方法可以智能地选择和重复使用最相关的过渡观察，改善策略梯度估计并加速最佳政策的学习。我们的实证研究表明，它可以改善优化融合并增强最先进的政策优化方法的性能，例如Actor-Critic方法和近端政策优化。

大多数前往离线强化学习（RL）的方法都采取了一种迭代演员 - 批评批评，涉及违规评估。在本文中，我们展示了使用行为政策的政策Q估计来令人惊讶地执行一步的Q估计，从而简单地执行一个受限制/正规化的政策改进的步骤。该一步算法在大部分D4RL基准测试中击败了先前报告的迭代算法的结果。一步基线实现了这种强劲的性能，同时对超公数更简单，更强大而不是先前提出的迭代算法。我们认为迭代方法的表现相对较差是在违反政策评估中固有的高方差，并通过对这些估计的重复优化的政策进行放大。此外，我们假设一步算法的强大性能是由于环境和行为政策中有利结构的组合。

近年来，已经引入了越来越多的基于模型的强化学习（RL）方法。鉴于其许多潜在的好处，例如更高的样本效率和快速适应环境变化的潜力，对基于深层模型的RL的兴趣并不奇怪。但是，我们证明，使用最近引入的本地变化适应（LOCA）设置的改进版本，众所周知的基于模型的方法（例如Planet和Dreamerv2）在适应本地环境变化的能力方面表现不佳。结合先前的工作，对其他基于模型的方法Muzero进行了类似的观察，似乎出现了一种趋势，这表明当前基于深层模型的方法具有严重的局限性。我们通过识别损害适应性行为并将其与经常在基于DEEP模型的RL中经常使用的基础技术联系起来的元素，深入研究这种绩效不佳的原因。在线性函数近似的情况下，我们通过证明了线性DyNA的修改版本实现有效适应局部变化，从而验证了这些见解。此外，我们通过实验非线性版本的DYNA来提供详细的见解，以了解构建基于自适应非线性模型方法的挑战。

准确的价值估计对于禁止禁止增强学习是重要的。基于时间差学学习的算法通常容易容易出现过度或低估的偏差。在本文中，我们提出了一种称为自适应校准批评者（ACC）的一般方法，该方法使用最近的高方差，但不偏见的on-Police Rollouts来缓解低方差时间差目标的偏差。我们将ACC应用于截断的分位数批评，这是一种连续控制的算法，允许使用每个环境调谐的超参数调节偏差。生成的算法在训练渲染渲染超参数期间自适应调整参数不必要，并在Openai健身房连续控制基准测试中设置一个新的算法中，这些算法在所有环境中没有调整HyperParameters的所有算法中。此外，我们证明ACC通过进一步将其进一步应用于TD3并在此设置中显示出改进的性能而相当一般。

深入学习的强化学习（RL）的结合导致了一系列令人印象深刻的壮举，许多相信（深）RL提供了一般能力的代理。然而，RL代理商的成功往往对培训过程中的设计选择非常敏感，这可能需要繁琐和易于易于的手动调整。这使得利用RL对新问题充满挑战，同时也限制了其全部潜力。在许多其他机器学习领域，AutomL已经示出了可以自动化这样的设计选择，并且在应用于RL时也会产生有希望的初始结果。然而，自动化强化学习（AutorL）不仅涉及Automl的标准应用，而且还包括RL独特的额外挑战，其自然地产生了不同的方法。因此，Autorl已成为RL中的一个重要研究领域，提供来自RNA设计的各种应用中的承诺，以便玩游戏等游戏。鉴于RL中考虑的方法和环境的多样性，在不同的子领域进行了大部分研究，从Meta学习到进化。在这项调查中，我们寻求统一自动的领域，我们提供常见的分类法，详细讨论每个区域并对研究人员来说是一个兴趣的开放问题。

政策梯度定理（Sutton等，2000）规定了目标政策下的累积折扣国家分配以近似梯度。实际上，基于该定理的大多数算法都打破了这一假设，引入了分布转移，该分配转移可能导致逆转溶液的收敛性。在本文中，我们提出了一种新的方法，可以从开始状态重建政策梯度，而无需采取特定的采样策略。可以根据梯度评论家来简化此形式的策略梯度计算，由于梯度的新钟声方程式，可以递归估算。通过使用来自差异数据流的梯度评论家的时间差异更新，我们开发了第一个以无模型方式避开分布变化问题的估计器。我们证明，在某些可实现的条件下，无论采样策略如何，我们的估计器都是公正的。我们从经验上表明，我们的技术在存在非政策样品的情况下实现了卓越的偏见变化权衡和性能。