Many real-world continuous control problems are in the dilemma of weighing the pros and cons, multi-objective reinforcement learning (MORL) serves as a generic framework of learning control policies for different preferences over objectives. However, the existing MORL methods either rely on multiple passes of explicit search for finding the Pareto front and therefore are not sample-efficient, or utilizes a shared policy network for coarse knowledge sharing among policies. To boost the sample efficiency of MORL, we propose Q-Pensieve, a policy improvement scheme that stores a collection of Q-snapshots to jointly determine the policy update direction and thereby enables data sharing at the policy level. We show that Q-Pensieve can be naturally integrated with soft policy iteration with convergence guarantee. To substantiate this concept, we propose the technique of Q replay buffer, which stores the learned Q-networks from the past iterations, and arrive at a practical actor-critic implementation. Through extensive experiments and an ablation study, we demonstrate that with much fewer samples, the proposed algorithm can outperform the benchmark MORL methods on a variety of MORL benchmark tasks.

许多现实世界中的问题涉及多个可能相互矛盾的目标。多目标增强学习（MORL）方法已经出现了通过最大化偏好矢量加权的关节目标函数来解决这些问题。这些方法发现固定的定制策略对应于训练过程中指定的偏好向量。但是，设计约束和目标通常在现实生活中动态变化。此外，存储每个潜在偏好的策略是不可扩展的。因此，通过单个训练在给定域中获得整个偏好空间的一组Pareto前溶液至关重要。为此，我们提出了一种新颖的Morl算法，该算法训练一个通用网络以覆盖整个偏好空间。提出的方法是偏好驱动的MORL（PD-MORL），利用偏好作为更新网络参数的指导。在使用经典深海宝藏和果树导航基准测试的PD-MORL之后，我们评估了其在挑战多目标连续控制任务方面的性能。

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

软演员 - 评论家（SAC）是最先进的偏离策略强化学习（RL）算法之一，其在基于最大熵的RL框架内。 SAC被证明在具有良好稳定性和稳健性的持续控制任务的列表中表现得非常好。 SAC了解一个随机高斯政策，可以最大限度地提高预期奖励和政策熵之间的权衡。要更新策略，SAC可最大限度地减少当前策略密度与软值函数密度之间的kl分歧。然后用于获得这种分歧的近似梯度的回报。在本文中，我们提出了跨熵策略优化（SAC-CEPO）的软演员 - 评论家，它使用跨熵方法（CEM）来优化SAC的政策网络。初始思想是使用CEM来迭代地对软价函数密度的最接近的分布进行采样，并使用结果分布作为更新策略网络的目标。为了降低计算复杂性，我们还介绍了一个解耦的策略结构，该策略结构将高斯策略解耦为一个策略，了解了学习均值的均值和另一个策略，以便只有CEM训练平均政策。我们表明，这种解耦的政策结构确实会聚到最佳，我们还通过实验证明SAC-CEPO实现对原始囊的竞争性能。

在许多实际应用程序中，强化学习（RL）代理可能必须解决多个任务，每个任务通常都是通过奖励功能建模的。如果奖励功能是线性表达的，并且代理商以前已经学会了一组针对不同任务的策略，则可以利用后继功能（SFS）来组合此类策略并确定有关新问题的合理解决方案。但是，确定的解决方案不能保证是最佳的。我们介绍了一种解决此限制的新颖算法。它允许RL代理结合现有政策并直接确定任意新问题的最佳政策，而无需与环境进行任何进一步的互动。我们首先（在轻度假设下）表明，SFS解决的转移学习问题等同于学习在RL中优化多个目标的学习问题。然后，我们引入了基于SF的乐观线性支持算法的扩展，以学习一组SFS构成凸面覆盖范围集的策略。我们证明，该集合中的策略可以通过广义策略改进组合，以构建任何可表达的新任务的最佳行为，而无需任何其他培训样本。我们从经验上表明，在价值函数近似下，我们的方法在离散和连续域中优于最先进的竞争算法。

While reinforcement learning algorithms provide automated acquisition of optimal policies, practical application of such methods requires a number of design decisions, such as manually designing reward functions that not only define the task, but also provide sufficient shaping to accomplish it. In this paper, we view reinforcement learning as inferring policies that achieve desired outcomes, rather than as a problem of maximizing rewards. To solve this inference problem, we establish a novel variational inference formulation that allows us to derive a well-shaped reward function which can be learned directly from environment interactions. From the corresponding variational objective, we also derive a new probabilistic Bellman backup operator and use it to develop an off-policy algorithm to solve goal-directed tasks. We empirically demonstrate that this method eliminates the need to hand-craft reward functions for a suite of diverse manipulation and locomotion tasks and leads to effective goal-directed behaviors.

现代的元强化学习（META-RL）方法主要基于模型 - 不合时宜的元学习开发，该方法在跨任务中执行策略梯度步骤以最大程度地提高策略绩效。但是，在元RL中，梯度冲突问题仍然很少了解，这可能导致遇到不同任务时的性能退化。为了应对这一挑战，本文提出了一种新颖的个性化元素RL（PMETA-RL）算法，该算法汇总了特定任务的个性化政策，以更新用于所有任务的元政策，同时保持个性化的政策，以最大程度地提高每个任务的平均回报在元政策的约束下任务。我们还提供了表格设置下的理论分析，该分析证明了我们的PMETA-RL算法的收敛性。此外，我们将所提出的PMETA-RL算法扩展到基于软参与者批评的深网络版本，使其适合连续控制任务。实验结果表明，所提出的算法在健身房和Mujoco套件上的其他以前的元rl算法都优于其他以前的元素算法。

We revisit the domain of off-policy policy optimization in RL from the perspective of coordinate ascent. One commonly-used approach is to leverage the off-policy policy gradient to optimize a surrogate objective -- the total discounted in expectation return of the target policy with respect to the state distribution of the behavior policy. However, this approach has been shown to suffer from the distribution mismatch issue, and therefore significant efforts are needed for correcting this mismatch either via state distribution correction or a counterfactual method. In this paper, we rethink off-policy learning via Coordinate Ascent Policy Optimization (CAPO), an off-policy actor-critic algorithm that decouples policy improvement from the state distribution of the behavior policy without using the policy gradient. This design obviates the need for distribution correction or importance sampling in the policy improvement step of off-policy policy gradient. We establish the global convergence of CAPO with general coordinate selection and then further quantify the convergence rates of several instances of CAPO with popular coordinate selection rules, including the cyclic and the randomized variants of CAPO. We then extend CAPO to neural policies for a more practical implementation. Through experiments, we demonstrate that CAPO provides a competitive approach to RL in practice.

在高维连续任务中学习的学习是具有挑战性的，主要是当体验重播记忆非常有限时。我们引入了一种简单而有效的经验共享机制，用于在未来的非政策深度强化学习应用程序中进行连续动作域中的确定性政策，其中分配的经验重播缓冲液的分配记忆受到限制。为了克服通过从其他代理商的经验中学习引起的外推误差，我们通过一种新型的非政策校正技术促进了我们的算法，而没有任何动作概率估计。我们测试方法在挑战OpenAi Gym连续控制任务方面的有效性，并得出结论，它可以在多个代理商之间获得安全的体验，并在重播记忆受到严格限制时表现出强大的性能。

与政策策略梯度技术相比，使用先前收集的数据的无模型的无模型深钢筋学习（RL）方法可以提高采样效率。但是，当利益政策的分布与收集数据的政策之间的差异时，非政策学习变得具有挑战性。尽管提出了良好的重要性抽样和范围的政策梯度技术来补偿这种差异，但它们通常需要一系列长轨迹，以增加计算复杂性并引起其他问题，例如消失或爆炸梯度。此外，由于需要行动概率，它们对连续动作领域的概括严格受到限制，这不适合确定性政策。为了克服这些局限性，我们引入了一种替代的非上政策校正算法，用于连续作用空间，参与者 - 批判性非政策校正（AC-OFF-POC），以减轻先前收集的数据引入的潜在缺陷。通过由代理商对随机采样批次过渡的状态的最新动作决策计算出的新颖差异度量，该方法不需要任何策略的实际或估计的行动概率，并提供足够的一步重要性抽样。理论结果表明，引入的方法可以使用固定的独特点获得收缩映射，从而可以进行“安全”的非政策学习。我们的经验结果表明，AC-Off-POC始终通过有效地安排学习率和Q学习和政策优化的学习率，以比竞争方法更少的步骤改善最新的回报。

Reinforcement learning (RL) problems can be challenging without well-shaped rewards. Prior work on provably efficient RL methods generally proposes to address this issue with dedicated exploration strategies. However, another way to tackle this challenge is to reformulate it as a multi-task RL problem, where the task space contains not only the challenging task of interest but also easier tasks that implicitly function as a curriculum. Such a reformulation opens up the possibility of running existing multi-task RL methods as a more efficient alternative to solving a single challenging task from scratch. In this work, we provide a theoretical framework that reformulates a single-task RL problem as a multi-task RL problem defined by a curriculum. Under mild regularity conditions on the curriculum, we show that sequentially solving each task in the multi-task RL problem is more computationally efficient than solving the original single-task problem, without any explicit exploration bonuses or other exploration strategies. We also show that our theoretical insights can be translated into an effective practical learning algorithm that can accelerate curriculum learning on simulated robotic tasks.

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

采用合理的策略是具有挑战性的，但对于智能代理商的智能代理人至关重要，其资源有限，在危险，非结构化和动态环境中工作，以改善系统实用性，降低整体成本并增加任务成功概率。深度强化学习（DRL）帮助组织代理的行为和基于其状态的行为，并代表复杂的策略（行动的组成）。本文提出了一种基于贝叶斯链条的新型分层策略分解方法，将复杂的政策分为几个简单的子手段，并将其作为贝叶斯战略网络（BSN）组织。我们将这种方法整合到最先进的DRL方法中，软演奏者 - 批评者（SAC），并通过组织几个子主管作为联合政策来构建相应的贝叶斯软演奏者（BSAC）模型。我们将建议的BSAC方法与标准连续控制基准（Hopper-V2，Walker2D-V2和Humanoid-V2）在SAC和其他最先进的方法（例如TD3，DDPG和PPO）中进行比较 - Mujoco与Openai健身房环境。结果表明，BSAC方法的有希望的潜力可显着提高训练效率。可以从https://github.com/herolab-uga/bsac访问BSAC的开源代码。

重要性采样（IS）是非政策评估中的一种流行技术，它重新赋予了重播缓冲液中轨迹的回归以提高样本效率。但是，对IS进行培训可能是不稳定的，以前试图解决此问题的尝试主要集中于分析IS的差异。在本文中，我们揭示了不稳定性与IS的重复使用偏见的新概念有关 - 由重复使用缓冲液重用进行评估和优化引起的非政策评估偏差。从理论上讲，我们证明了对当前策略的非政策评估和优化，并通过重播缓冲区的数据导致目标高估，这可能会导致错误的梯度更新并退化性能。我们进一步提供了重复使用偏差的高概率上限，并表明控制上限的一个项可以通过引入非政策算法的稳定性概念来控制重复使用偏置。基于这些分析，我们最终提出了一种新颖的偏见调查重要性抽样（BIRIS）框架以及实际算法，可以减轻重复使用偏见的负面影响。实验结果表明，我们基于BIRIS的方法可以显着提高一系列连续控制任务的样品效率。

在本文中，我们提出了一种用于增强学习（RL）的最大熵框架，以克服在无模型基于样本的学习中实现最大熵RL的软演员 - 评论权（SAC）算法的限制。尽管在未来的最大熵RL指南学习政策中，未来的高熵达到国家，所提出的MAX-MIN熵框架旨在学会访问低熵的国家，并最大限度地提高这些低熵状态的熵，以促进更好的探索。对于一般马尔可夫决策过程（MDP），基于勘探和剥削的解剖学，在提议的MAX-MIN熵框架下构建了一种有效的算法。数值结果表明，该算法对目前最先进的RL算法产生了剧烈性能改进。

我们研究具有多个奖励价值函数的马尔可夫决策过程（MDP）的政策优化，应根据给定的标准共同优化，例如比例公平（平滑凹面标量），硬约束（约束MDP）和Max-Min Trade-离开。我们提出了一个改变锚定的正规自然政策梯度（ARNPG）框架，该框架可以系统地将良好表现的一阶方法中的思想纳入多目标MDP问题的策略优化算法的设计。从理论上讲，基于ARNPG框架的设计算法实现了$ \ tilde {o}（1/t）$全局收敛，并具有精确的梯度。从经验上讲，与某些现有的基于策略梯度的方法相比，ARNPG引导的算法在精确梯度和基于样本的场景中也表现出卓越的性能。

依赖于太多的实验来学习良好的行动，目前的强化学习（RL）算法在现实世界的环境中具有有限的适用性，这可能太昂贵，无法探索探索。我们提出了一种批量RL算法，其中仅使用固定的脱机数据集来学习有效策略，而不是与环境的在线交互。批量RL中的有限数据产生了在培训数据中不充分表示的状态/行动的价值估计中的固有不确定性。当我们的候选政策从生成数据的候选政策发散时，这导致特别严重的外推。我们建议通过两个直接的惩罚来减轻这个问题：减少这种分歧的政策限制和减少过于乐观估计的价值约束。在全面的32个连续动作批量RL基准测试中，我们的方法对最先进的方法进行了比较，无论如何收集离线数据如何。

无模型的深度增强学习（RL）已成功应用于挑战连续控制域。然而，较差的样品效率可防止这些方法广泛用于现实世界领域。我们通过提出一种新的无模型算法，现实演员 - 评论家（RAC）来解决这个问题，旨在通过学习关于Q函数的各种信任的政策家庭来解决价值低估和高估之间的权衡。我们构建不确定性惩罚Q-Learning（UPQ），该Q-Learning（UPQ）使用多个批评者的合并来控制Q函数的估计偏差，使Q函数平稳地从低于更高的置信范围偏移。随着这些批评者的指导，RAC采用通用价值函数近似器（UVFA），同时使用相同的神经网络学习许多乐观和悲观的政策。乐观的政策会产生有效的探索行为，而悲观政策会降低价值高估的风险，以确保稳定的策略更新和Q函数。该方法可以包含任何违规的演员 - 评论家RL算法。我们的方法实现了10倍的样本效率和25 \％的性能改进与SAC在最具挑战性的人形环境中，获得了11107美元的集中奖励1107美元，价格为10 ^ 6美元。所有源代码都可以在https://github.com/ihuhuhu/rac获得。

在没有高保真模拟环境的情况下，学习有效的加强学习（RL）政策可以解决现实世界中的复杂任务。在大多数情况下，我们只有具有简化动力学的不完善的模拟器，这不可避免地导致RL策略学习中的SIM到巨大差距。最近出现的离线RL领域为直接从预先收集的历史数据中学习政策提供了另一种可能性。但是，为了达到合理的性能，现有的离线RL算法需要不切实际的离线数据，并具有足够的州行动空间覆盖范围进行培训。这提出了一个新问题：是否有可能通过在线RL中的不完美模拟器中的离线RL中的有限数据中的学习结合到无限制的探索，以解决两种方法的缺点？在这项研究中，我们提出了动态感知的混合离线和对线增强学习（H2O）框架，以为这个问题提供肯定的答案。 H2O引入了动态感知的政策评估方案，该方案可以自适应地惩罚Q函数在模拟的状态行动对上具有较大的动态差距，同时也允许从固定的现实世界数据集中学习。通过广泛的模拟和现实世界任务以及理论分析，我们证明了H2O与其他跨域在线和离线RL算法相对于其他跨域的表现。 H2O提供了全新的脱机脱机RL范式，该范式可能会阐明未来的RL算法设计，以解决实用的现实世界任务。

在许多顺序决策问题（例如，机器人控制，游戏播放，顺序预测），人类或专家数据可用包含有关任务的有用信息。然而，来自少量专家数据的模仿学习（IL）可能在具有复杂动态的高维环境中具有挑战性。行为克隆是一种简单的方法，由于其简单的实现和稳定的收敛而被广泛使用，但不利用涉及环境动态的任何信息。由于对奖励和政策近似器或偏差，高方差梯度估计器，难以在实践中难以在实践中努力训练的许多现有方法。我们介绍了一种用于动态感知IL的方法，它通过学习单个Q函数来避免对抗训练，隐含地代表奖励和策略。在标准基准测试中，隐式学习的奖励显示与地面真实奖励的高正面相关性，说明我们的方法也可以用于逆钢筋学习（IRL）。我们的方法，逆软Q学习（IQ-Learn）获得了最先进的结果，在离线和在线模仿学习设置中，显着优于现有的现有方法，这些方法都在所需的环境交互和高维空间中的可扩展性中，通常超过3倍。