由于其令人鼓舞的性能，在各种控制任务中的令人鼓舞的表现，深增强学习（Deep RL）一直在受到更高的关注。然而，在训练神经网络中的常规正则化技术（例如，$ L_2 $正则化，辍学）已经在RL方法中被忽略，可能是因为代理通常在相同的环境中进行培训和评估，因为Deep RL社区重点关注更多-Level算法设计。在这项工作中，我们在连续控制任务中提出了具有多种策略优化算法的正则化技术的第一综合研究。有趣的是，我们发现策略网络上的传统正则化技术通常可以带来大量改进，特别是在更难的任务上。我们的研究结果显示在训练HyperParameter变化方面是强大的。我们还将这些技术与更广泛使用的熵正则化进行了比较。此外，我们还研究正规化不同的组件，并发现策略网络通常是最佳的。我们进一步分析了为什么正则化可能有助于从四个观点来帮助推广 - 样本复杂性，奖励分配，重量规范和噪音鲁棒性。我们希望我们的研究为未来的规则策略优化算法提供指导。我们的代码可在https://github.com/xuanlinli17/ICLRR2021_RLREG上获得。

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

有效的强化学习需要适当的平衡探索和剥削，由动作分布的分散定义。但是，这种平衡取决于任务，学习过程的当前阶段以及当前的环境状态。指定动作分布分散的现有方法需要依赖问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分布：该分布应具有足够的分散，以评估未来的政策。为此，应调整色散以确保重播缓冲区中的动作和产生它们的分布模式的足够高的概率（密度），但是这种分散不应更高。这样，可以根据缓冲区中的动作有效评估策略，但是当此策略收敛时，动作的探索性随机性会降低。上述原则在挑战性的基准蚂蚁，Halfcheetah，Hopper和Walker2D上进行了验证，并取得了良好的效果。我们的方法使动作标准偏差收敛到与试验和错误优化产生的相似的值。

我们为策略梯度强化学习引入了一种约束的优化方法，该方法使用虚拟信任区域来调节每个策略更新。除了将一个单一旧政策作为正常信任区域的邻近性外，我们还建议通过另一个虚拟策略形成第二个信任区域，代表了过去的各种过去的政策。然后，我们执行新政策，以保持更靠近虚拟政策，如果旧政策的运作差，这将是有益的。更重要的是，我们提出了一种机制，可以自动从过去政策的记忆中自动构建虚拟策略，从而为在优化过程中动态学习适当的虚拟信任区域提供了新的能力。我们提出的方法是在不同的环境中进行检查，包括机器人运动控制，带有稀疏奖励和Atari游戏的导航，始终如一地证明了针对最近的上政策限制性策略梯度方法，在各种环境中进行了检查。

我们研究了从连续动作空间到离散动作空间的软参与者批评（SAC）的适应性。我们重新访问香草囊，并在应用于离散设置时对其Q值低估和性能不稳定性问题提供深入的了解。因此，我们建议使用Q-CLIP的熵 - 平均Q学习和双平均Q学习来解决这些问题。对具有离散动作空间（包括Atari游戏和大型MOBA游戏）的典型基准测试的广泛实验显示了我们提出的方法的功效。我们的代码在：https：//github.com/coldsummerday/revisiting-discrete-sac。

本文探讨了在深度参与者批评的增强学习模型中同时学习价值功能和政策的问题。我们发现，由于这两个任务之间的噪声水平差异差异，共同学习这些功能的共同实践是亚最佳选择。取而代之的是，我们表明独立学习这些任务，但是由于蒸馏阶段有限，可以显着提高性能。此外，我们发现可以使用较低的\ textIt {方差}返回估计值来降低策略梯度噪声水平。鉴于，值学习噪声水平降低了较低的\ textit {bias}估计值。这些见解共同为近端策略优化的扩展提供了信息，我们称为\ textit {dual Network Archituction}（DNA），这极大地超过了其前身。DNA还超过了受欢迎的彩虹DQN算法在测试的五个环境中的四个环境中的性能，即使在更困难的随机控制设置下也是如此。

In recent years, significant progress has been made in solving challenging problems across various domains using deep reinforcement learning (RL). Reproducing existing work and accurately judging the improvements offered by novel methods is vital to sustaining this progress. Unfortunately, reproducing results for state-of-the-art deep RL methods is seldom straightforward. In particular, non-determinism in standard benchmark environments, combined with variance intrinsic to the methods, can make reported results tough to interpret. Without significance metrics and tighter standardization of experimental reporting, it is difficult to determine whether improvements over the prior state-of-the-art are meaningful. In this paper, we investigate challenges posed by reproducibility, proper experimental techniques, and reporting procedures. We illustrate the variability in reported metrics and results when comparing against common baselines and suggest guidelines to make future results in deep RL more reproducible. We aim to spur discussion about how to ensure continued progress in the field by minimizing wasted effort stemming from results that are non-reproducible and easily misinterpreted.

自成立以来，建立在广泛任务中表现出色的普通代理的任务一直是强化学习的重要目标。这个问题一直是对Alarge工作体系的研究的主题，并且经常通过观察Atari 57基准中包含的广泛范围环境的分数来衡量的性能。 Agent57是所有57场比赛中第一个超过人类基准的代理商，但这是以数据效率差的代价，需要实现近800亿帧的经验。以Agent57为起点，我们采用了各种各样的形式，以降低超过人类基线所需的经验200倍。在减少数据制度和Propose有效的解决方案时，我们遇到了一系列不稳定性和瓶颈，以构建更强大，更有效的代理。我们还使用诸如Muesli和Muzero之类的高性能方法证明了竞争性的性能。 TOOUR方法的四个关键组成部分是（1）近似信任区域方法，该方法可以从TheOnline网络中稳定引导，（2）损失和优先级的归一化方案，在学习具有广泛量表的一组值函数时，可以提高鲁棒性， （3）改进的体系结构采用了NFNET的技术技术来利用更深的网络而无需标准化层，并且（4）政策蒸馏方法可使瞬时贪婪的策略加班。

无模型的深度增强学习（RL）已成功应用于挑战连续控制域。然而，较差的样品效率可防止这些方法广泛用于现实世界领域。我们通过提出一种新的无模型算法，现实演员 - 评论家（RAC）来解决这个问题，旨在通过学习关于Q函数的各种信任的政策家庭来解决价值低估和高估之间的权衡。我们构建不确定性惩罚Q-Learning（UPQ），该Q-Learning（UPQ）使用多个批评者的合并来控制Q函数的估计偏差，使Q函数平稳地从低于更高的置信范围偏移。随着这些批评者的指导，RAC采用通用价值函数近似器（UVFA），同时使用相同的神经网络学习许多乐观和悲观的政策。乐观的政策会产生有效的探索行为，而悲观政策会降低价值高估的风险，以确保稳定的策略更新和Q函数。该方法可以包含任何违规的演员 - 评论家RL算法。我们的方法实现了10倍的样本效率和25 \％的性能改进与SAC在最具挑战性的人形环境中，获得了11107美元的集中奖励1107美元，价格为10 ^ 6美元。所有源代码都可以在https://github.com/ihuhuhu/rac获得。

The policy gradient method enjoys the simplicity of the objective where the agent optimizes the cumulative reward directly. Moreover, in the continuous action domain, parameterized distribution of action distribution allows easy control of exploration, resulting from the variance of the representing distribution. Entropy can play an essential role in policy optimization by selecting the stochastic policy, which eventually helps better explore the environment in reinforcement learning (RL). However, the stochasticity often reduces as the training progresses; thus, the policy becomes less exploratory. Additionally, certain parametric distributions might only work for some environments and require extensive hyperparameter tuning. This paper aims to mitigate these issues. In particular, we propose an algorithm called Robust Policy Optimization (RPO), which leverages a perturbed distribution. We hypothesize that our method encourages high-entropy actions and provides a way to represent the action space better. We further provide empirical evidence to verify our hypothesis. We evaluated our methods on various continuous control tasks from DeepMind Control, OpenAI Gym, Pybullet, and IsaacGym. We observed that in many settings, RPO increases the policy entropy early in training and then maintains a certain level of entropy throughout the training period. Eventually, our agent RPO shows consistently improved performance compared to PPO and other techniques: entropy regularization, different distributions, and data augmentation. Furthermore, in several settings, our method stays robust in performance, while other baseline mechanisms fail to improve and even worsen the performance.

近年来，稀疏神经网络的使用迅速增长，尤其是在计算机视觉中。它们的吸引力在很大程度上源于培训和存储所需的参数数量以及学习效率的提高。有些令人惊讶的是，很少有努力探索他们在深度强化学习中的使用（DRL）。在这项工作中，我们进行了系统的调查，以在各种DRL代理和环境上应用许多现有的稀疏培训技术。我们的结果证实了计算机视觉域中稀疏训练的发现 - 稀疏网络在DRL域中对相同的参数计数的稀疏网络表现更好。我们提供了有关DRL中各种组件如何受到稀疏网络的影响的详细分析，并通过建议有希望的途径提高稀疏训练方法的有效性以及推进其在DRL中的使用来结论。

近端策略优化（PPO）是一种普遍存在的上利期内学习算法，但在多代理设置中的非政策学习算法所使用的算法明显少得多。这通常是由于认为PPO的样品效率明显低于多代理系统中的销售方法。在这项工作中，我们仔细研究了合作多代理设置中PPO的性能。我们表明，基于PPO的多代理算法在四个受欢迎的多代理测试台上取得了令人惊讶的出色表现：粒子世界环境，星际争霸多代理挑战，哈纳比挑战赛和Google Research Football，并具有最少的超参数调谐任何特定领域的算法修改或架构。重要的是，与强大的非政策方法相比，PPO通常在最终奖励和样本效率中都能取得竞争性或优越的结果。最后，通过消融研究，我们分析了对PPO的经验表现至关重要的实施和高参数因素，并就这些因素提供了具体的实用建议。我们的结果表明，在使用这些实践时，简单的基于PPO的方法在合作多代理增强学习中是强大的基线。源代码可在https://github.com/marlbenchmark/on-policy上发布。

大多数强化学习算法都利用了经验重播缓冲液，以反复对代理商过去观察到的样本进行训练。这样可以防止灾难性的遗忘，但是仅仅对每个样本都分配了同等的重要性是一种天真的策略。在本文中，我们提出了一种根据样本可以从样本中学到多少样本确定样本优先级的方法。我们将样本的学习能力定义为随着时间的推移，与该样品相关的训练损失的稳定减少。我们开发了一种算法，以优先考虑具有较高学习能力的样本，同时将优先级较低，为那些难以学习的样本，通常是由噪声或随机性引起的。我们从经验上表明，我们的方法比随机抽样更强大，而且比仅在训练损失方面优先排序更好，即时间差损失，这是在香草优先的经验重播中使用的。

强化学习的主要方法是根据预期的回报将信贷分配给行动。但是，我们表明回报可能取决于政策，这可能会导致价值估计的过度差异和减慢学习的速度。取而代之的是，我们证明了优势函数可以解释为因果效应，并与因果关系共享相似的属性。基于此洞察力，我们提出了直接优势估计（DAE），这是一种可以对优势函数进行建模并直接从政策数据进行估算的新方法，同时同时最大程度地减少了返回的方差而无需（操作 - ）值函数。我们还通过显示如何无缝整合到DAE中来将我们的方法与时间差异方法联系起来。所提出的方法易于实施，并且可以通过现代参与者批评的方法很容易适应。我们对三个离散控制域进行经验评估DAE，并表明它可以超过广义优势估计（GAE），这是优势估计的强大基线，当将大多数环境应用于策略优化时。

我们提出了一种新颖的方法，即在强化学习框架中使用样式转移和对抗性学习的方式学习样式反应表示。在这里，样式是指任务核算的细节，例如图像中背景的颜色，在这种情况下，在具有不同样式的环境中概括学到的策略仍然是一个挑战。我们的方法着眼于学习样式不合时宜的表示，以固有的对抗性风格的发电机产生的不同图像样式训练演员，该样式在演员和发电机之间扮演最小游戏，而无需提供数据扩展的专家知识或其他类别的课程。对抗训练的标签。我们验证我们的方法比Procgen的最先进方法和分散控制套件的基准，并进一步研究从我们的模型中提取的功能，表明该模型更好地捕获不变性，并且不分散注意力，我们的方法可以实现竞争性或更好的性能。通过移动的风格。该代码可在https://github.com/postech-cvlab/style-agnostic-rl上找到。

众所周知，从像素观察中进行的非质量增强学习（RL）是不稳定的。结果，许多成功的算法必须结合不同领域的实践和辅助损失，以在复杂的环境中学习有意义的行为。在这项工作中，我们提供了新颖的分析，表明这些不稳定性是通过卷积编码器和低质量奖励进行时间差异学习而产生的。我们表明，这种新的视觉致命三合会导致不稳定的训练和过早的融合归化解决方案，这是一种现象，我们将灾难性的自相传为。基于我们的分析，我们提出了A-LIX，这是一种为编码器梯度提供适应性正则化的方法，该梯度明确防止使用双重目标防止灾难性的自我抗辩发生。通过应用A-LIX，我们在DeepMind Control和Atari 100K基准测试方面显着优于先前的最先进，而无需任何数据增强或辅助损失。

可视化优化景观导致了数字优化的许多基本见解，并对优化技术进行了新的改进。但是，仅在少数狭窄的环境中生成了增强学习优化（“奖励表面”）的目标的可视化。这项工作首次介绍了27个最广泛使用的增强学习环境的奖励表面和相关的可视化。我们还探索了政策梯度方向上的奖励表面，并首次表明许多流行的强化学习环境经常出现“悬崖”（预期回报中突然下降）。我们证明，A2C经常将这些悬崖“脱落”到参数空间的低奖励区域，而PPO避免了它们，这证实了PPO对PPO的流行直觉，以改善以前的方法。我们还引入了一个高度可扩展的库，该库使研究人员将来可以轻松地生成这些可视化。我们的发现提供了新的直觉，以解释现代RL方法的成功和失败，我们的可视化构成了以新颖方式进行强化学习剂的几种失败模式。

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

我们提出了一种简单的架构，用于通过将输入嵌入到学习的傅立叶基础上进行深度加强学习，并表明它提高了基于状态和基于图像的RL的样本效率。我们使用神经切线内核执行我们的架构的无限宽度分析，从理论上表明调整傅立叶基础的初始方差等同于学习的深网络的功能正则化。也就是说，这些学习了傅里叶功能允许调整训练数据中网络欠下或过度频率的网络的程度，因此提供了一种受控机制，以提高RL优化的稳定性和性能。经验上，这使我们可以通过降低网络优化过程中的网络对噪声的敏感性来优先考虑学习低频功能并加速学习，例如在贝尔曼更新期间。基于标准的和基于图像的RL基准测试的实验显示了我们在基线上的明显好处。网站https://alexanderli.com/learned-fourier-features.