已经证明，深层合奏将典型的集体学习中看到的积极效果扩展到神经网络和增强学习（RL）。但是，要提高此类整体模型的效率仍然有很多事情要做。在这项工作中，我们介绍了在RL（feft）中快速传输的各种合奏，这是一种基于合奏的新方法，用于在高度多模式环境中进行增强学习，并改善了转移到看不见的环境。该算法分为两个主要阶段：合奏成员的培训，以及合成成员的合成（或微调）成员，以在新环境中起作用。该算法的第一阶段涉及并行培训常规的政策梯度或参与者 - 批评者，但增加了鼓励这些政策彼此不同的损失。这会导致单个单峰剂探索最佳策略的空间，并捕获与单个参与者相比，捕获环境的多模式的更多。 DEFT的第二阶段涉及将组件策略综合为新的策略，该策略以两种方式之一在修改的环境中效果很好。为了评估DEFT的性能，我们从近端策略优化（PPO）算法的基本版本开始，并通过faft的修改将其扩展。我们的结果表明，预处理阶段可有效地在多模式环境中产生各种策略。除了替代方案，faft通常会收敛到高奖励的速度要快得多，例如随机初始化而无需faft和合奏成员的微调。虽然当然还有更多的工作来分析理论上的熟练并将其扩展为更强大，但我们认为，它为在环境中捕获多模式的框架提供了一个强大的框架，同时仍将使用简单策略表示的RL方法。

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

Hierarchical methods in reinforcement learning have the potential to reduce the amount of decisions that the agent needs to perform when learning new tasks. However, finding a reusable useful temporal abstractions that facilitate fast learning remains a challenging problem. Recently, several deep learning approaches were proposed to learn such temporal abstractions in the form of options in an end-to-end manner. In this work, we point out several shortcomings of these methods and discuss their potential negative consequences. Subsequently, we formulate the desiderata for reusable options and use these to frame the problem of learning options as a gradient-based meta-learning problem. This allows us to formulate an objective that explicitly incentivizes options which allow a higher-level decision maker to adjust in few steps to different tasks. Experimentally, we show that our method is able to learn transferable components which accelerate learning and performs better than existing prior methods developed for this setting. Additionally, we perform ablations to quantify the impact of using gradient-based meta-learning as well as other proposed changes.

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

We propose a method for learning expressive energy-based policies for continuous states and actions, which has been feasible only in tabular domains before. We apply our method to learning maximum entropy policies, resulting into a new algorithm, called soft Q-learning, that expresses the optimal policy via a Boltzmann distribution. We use the recently proposed amortized Stein variational gradient descent to learn a stochastic sampling network that approximates samples from this distribution. The benefits of the proposed algorithm include improved exploration and compositionality that allows transferring skills between tasks, which we confirm in simulated experiments with swimming and walking robots. We also draw a connection to actorcritic methods, which can be viewed performing approximate inference on the corresponding energy-based model.

我们开发了一种新的持续元学习方法，以解决连续多任务学习中的挑战。在此设置中，代理商的目标是快速通过任何任务序列实现高奖励。先前的Meta-Creenifiltive学习算法已经表现出有希望加速收购新任务的结果。但是，他们需要在培训期间访问所有任务。除了简单地将过去的经验转移到新任务，我们的目标是设计学习学习的持续加强学习算法，使用他们以前任务的经验更快地学习新任务。我们介绍了一种新的方法，连续的元策略搜索（Comps），通过以增量方式，在序列中的每个任务上，通过序列的每个任务来消除此限制，而无需重新访问先前的任务。 Comps持续重复两个子程序：使用RL学习新任务，并使用RL的经验完全离线Meta学习，为后续任务学习做好准备。我们发现，在若干挑战性连续控制任务的旧序列上，Comps优于持续的持续学习和非政策元增强方法。

有效的强化学习需要适当的平衡探索和剥削，由动作分布的分散定义。但是，这种平衡取决于任务，学习过程的当前阶段以及当前的环境状态。指定动作分布分散的现有方法需要依赖问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分布：该分布应具有足够的分散，以评估未来的政策。为此，应调整色散以确保重播缓冲区中的动作和产生它们的分布模式的足够高的概率（密度），但是这种分散不应更高。这样，可以根据缓冲区中的动作有效评估策略，但是当此策略收敛时，动作的探索性随机性会降低。上述原则在挑战性的基准蚂蚁，Halfcheetah，Hopper和Walker2D上进行了验证，并取得了良好的效果。我们的方法使动作标准偏差收敛到与试验和错误优化产生的相似的值。

教机器人通过加强学习（RL）在复杂的三维环境环境下学习多样化的运动技能仍然具有挑战性。已经表明，在将其转移到复杂设置之前，在简单设置中的培训代理可以改善培训过程，但到目前为止，仅在相对简单的运动技能的背景下。在这项工作中，我们适应了增强的配对开放式开拓者（EPOET）方法，以训练更复杂的代理，以在复杂的三维地形上有效行走。首先，为了产生更加坚固且多样化的三维训练地形，并增加了复杂性，我们扩展了组成模式产生的网络 - 增强拓扑的神经进化（CPPN-NEAT）方法，并包括随机形状。其次，我们将Epoet与软性演员 - 批评外的优化相结合，产生Epoet-SAC，以确保代理商可以学习更多多样化的技能，以解决更具挑战性的任务。我们的实验结果表明，新生成的三维地形具有足够的多样性和复杂性来指导学习，Epoet成功地学习了这些地形上的复杂运动技能，并且我们提出的EPOET-SAC方法在Epoet上略有改进。

随着我们日常环境中机器人的存在越来越多，提高社交技能至关重要。尽管如此，社会机器人技术仍然面临许多挑战。一种瓶颈是，由于社会规范的强烈取决于环境，因此需要经常适应机器人行为。例如，与办公室的工人相比，机器人应更仔细地在医院的患者周围进行仔细的导航。在这项工作中，我们将元强化学习（META-RL）作为潜在解决方案进行了研究。在这里，机器人行为是通过强化学习来学习的，需要选择奖励功能，以便机器人学习适合给定环境的行为。我们建议使用一种变异元过程，该过程迅速使机器人的行为适应新的奖励功能。结果，给定一个新的环境，可以快速评估不同的奖励功能，并选择适当的奖励功能。该过程学习奖励函数的矢量表示和可以在这种表示形式下进行条件的元政策。从新的奖励函数中进行观察，该过程确定了其表示形式，并条件元元素对其进行了条件。在研究程序的功能时，我们意识到它遭受了后塌陷的困扰，在表示表示中只有一个尺寸的子集编码有用的信息，从而导致性能降低。我们的第二个贡献是径向基函数（RBF）层，部分减轻了这种负面影响。 RBF层将表示形式提升到较高的维空间，这对于元容器更容易利用。我们证明了RBF层的兴趣以及在四个机器人模拟任务上对社会机器人技术的使用元素使用。

元强化学习（RL）方法可以使用比标准RL少的数据级的元培训策略，但元培训本身既昂贵又耗时。如果我们可以在离线数据上进行元训练，那么我们可以重复使用相同的静态数据集，该数据集将一次标记为不同任务的奖励，以在元测试时间适应各种新任务的元训练策略。尽管此功能将使Meta-RL成为现实使用的实用工具，但离线META-RL提出了除在线META-RL或标准离线RL设置之外的其他挑战。 Meta-RL学习了一种探索策略，该策略收集了用于适应的数据，并元培训策略迅速适应了新任务的数据。由于该策略是在固定的离线数据集上进行了元训练的，因此当适应学识渊博的勘探策略收集的数据时，它可能表现得不可预测，这与离线数据有系统地不同，从而导致分布变化。我们提出了一种混合脱机元元素算法，该算法使用带有奖励的脱机数据来进行自适应策略，然后收集其他无监督的在线数据，而无需任何奖励标签来桥接这一分配变化。通过不需要在线收集的奖励标签，此数据可以便宜得多。我们将我们的方法比较了在模拟机器人的运动和操纵任务上进行离线元rl的先前工作，并发现使用其他无监督的在线数据收集可以显着提高元训练政策的自适应能力，从而匹配完全在线的表现。在一系列具有挑战性的域上，需要对新任务进行概括。

尽管在许多具有挑战性的问题中取得了成功，但增强学习（RL）仍然面临样本效率低下，可以通过将先验知识引入代理人来缓解。但是，在加强学习方面的许多转移技术使教师是专家的局限性假设。在本文中，我们将增强学习中的行动作为推理框架 - 即，在每个状态下的行动分布，类似于教师政策，而不是贝叶斯的先验 - 恢复最先进的策略蒸馏技术。然后，我们提出了一类自适应方法，这些方法可以通过结合奖励成型和辅助正则化损失来鲁sumply动作先验。与先前的工作相反，我们开发了利用次优的动作先验的算法，这些算法可能仍然传授有价值的知识 - 我们称之为软动作先验。拟议的算法通过根据教师在每个州的有用性的估计来调整教师反馈的强度来适应。我们执行表格实验，这表明所提出的方法达到了最先进的性能，在从次优先的先验中学习时超过了它。最后，我们证明了自适应算法在连续动作中的鲁棒性深度RL问题，与现有的策略蒸馏方法相比，自适应算法显着提高了稳定性。

从视觉感觉数据中控制人造代理是一项艰巨的任务。强化学习（RL）算法可以在这方面取得成功，但需要代理与环境之间进行大量相互作用。为了减轻该问题，无监督的RL建议采用自我监督的互动和学习，以更快地适应未来的任务。但是，目前的无监督策略是否可以改善概括能力，尤其是在视觉控制设置中。在这项工作中，我们为数据有效的视觉控制设计了有效的无监督RL策略。首先，我们表明，使用无监督的RL收集的数据预先训练的世界模型可以促进适应未来的任务。然后，我们与我们的混合计划者分析了一些设计选择，以有效地适应了代理的预训练组件，并在想象中学习和计划，并与我们的混合计划者一起使用，我们将其dub dyna-mpc进行了。通过结合一项大规模实证研究的发现，我们建立了一种方法，该方法强烈改善了无监督的RL基准测试的性能，需要20美元$ \ times $ $ $ $ $ \少于数据以符合监督方法的性能。该方法还表明了在现实词的RL基准测试上的稳健性能，暗示该方法概括为嘈杂的环境。

无模型的深度增强学习（RL）已成功应用于挑战连续控制域。然而，较差的样品效率可防止这些方法广泛用于现实世界领域。我们通过提出一种新的无模型算法，现实演员 - 评论家（RAC）来解决这个问题，旨在通过学习关于Q函数的各种信任的政策家庭来解决价值低估和高估之间的权衡。我们构建不确定性惩罚Q-Learning（UPQ），该Q-Learning（UPQ）使用多个批评者的合并来控制Q函数的估计偏差，使Q函数平稳地从低于更高的置信范围偏移。随着这些批评者的指导，RAC采用通用价值函数近似器（UVFA），同时使用相同的神经网络学习许多乐观和悲观的政策。乐观的政策会产生有效的探索行为，而悲观政策会降低价值高估的风险，以确保稳定的策略更新和Q函数。该方法可以包含任何违规的演员 - 评论家RL算法。我们的方法实现了10倍的样本效率和25 \％的性能改进与SAC在最具挑战性的人形环境中，获得了11107美元的集中奖励1107美元，价格为10 ^ 6美元。所有源代码都可以在https://github.com/ihuhuhu/rac获得。

采用合理的策略是具有挑战性的，但对于智能代理商的智能代理人至关重要，其资源有限，在危险，非结构化和动态环境中工作，以改善系统实用性，降低整体成本并增加任务成功概率。深度强化学习（DRL）帮助组织代理的行为和基于其状态的行为，并代表复杂的策略（行动的组成）。本文提出了一种基于贝叶斯链条的新型分层策略分解方法，将复杂的政策分为几个简单的子手段，并将其作为贝叶斯战略网络（BSN）组织。我们将这种方法整合到最先进的DRL方法中，软演奏者 - 批评者（SAC），并通过组织几个子主管作为联合政策来构建相应的贝叶斯软演奏者（BSAC）模型。我们将建议的BSAC方法与标准连续控制基准（Hopper-V2，Walker2D-V2和Humanoid-V2）在SAC和其他最先进的方法（例如TD3，DDPG和PPO）中进行比较 - Mujoco与Openai健身房环境。结果表明，BSAC方法的有希望的潜力可显着提高训练效率。可以从https://github.com/herolab-uga/bsac访问BSAC的开源代码。

强化学习（RL）算法有望为机器人系统实现自主技能获取。但是，实际上，现实世界中的机器人RL通常需要耗时的数据收集和频繁的人类干预来重置环境。此外，当部署超出知识的设置超出其学习的设置时，使用RL学到的机器人政策通常会失败。在这项工作中，我们研究了如何通过从先前看到的任务中收集的各种离线数据集的有效利用来应对这些挑战。当面对一项新任务时，我们的系统会适应以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的经验结果表明，将先前的数据纳入机器人增强学习中可以实现自主学习，从而大大提高了学习的样本效率，并可以更好地概括。

智能代理人应该有能力利用先前学习的任务中的知识，以便快速有效地学习新任务。元学习方法已成为实现这一目标的流行解决方案。然而，迄今为止，元强化学习（META-RL）算法仅限于具有狭窄任务分布的简单环境。此外，预处理的范式随后进行了微调以适应新任务，这是一种简单而有效的解决方案，这些解决方案是监督和自我监督的学习。这使质疑元学习方法的好处在加强学习中的好处，这通常是以高复杂性为代价的。因此，我们研究了包括Procgen，rlbench和Atari在内的各种基于视觉的基准测试中的元RL方法，在这些基准测试中，对完全新颖的任务进行了评估。我们的发现表明，当对不同任务（而不是相同任务的不同变化）评估元学习方法时，对新任务进行微调的多任务预处理也相同或更好，或者更好，比用meta进行元数据。测试时间适应。这对于将来的研究令人鼓舞，因为多任务预处理往往比Meta-RL更简单和计算更便宜。从这些发现中，我们主张评估未来的Meta-RL方法在更具挑战性的任务上，并包括以简单但强大的基线进行微调预处理。

在本文中，我们提出了一种用于增强学习（RL）的最大熵框架，以克服在无模型基于样本的学习中实现最大熵RL的软演员 - 评论权（SAC）算法的限制。尽管在未来的最大熵RL指南学习政策中，未来的高熵达到国家，所提出的MAX-MIN熵框架旨在学会访问低熵的国家，并最大限度地提高这些低熵状态的熵，以促进更好的探索。对于一般马尔可夫决策过程（MDP），基于勘探和剥削的解剖学，在提议的MAX-MIN熵框架下构建了一种有效的算法。数值结果表明，该算法对目前最先进的RL算法产生了剧烈性能改进。

While reinforcement learning (RL) has become a more popular approach for robotics, designing sufficiently informative reward functions for complex tasks has proven to be extremely difficult due their inability to capture human intent and policy exploitation. Preference based RL algorithms seek to overcome these challenges by directly learning reward functions from human feedback. Unfortunately, prior work either requires an unreasonable number of queries implausible for any human to answer or overly restricts the class of reward functions to guarantee the elicitation of the most informative queries, resulting in models that are insufficiently expressive for realistic robotics tasks. Contrary to most works that focus on query selection to \emph{minimize} the amount of data required for learning reward functions, we take an opposite approach: \emph{expanding} the pool of available data by viewing human-in-the-loop RL through the more flexible lens of multi-task learning. Motivated by the success of meta-learning, we pre-train preference models on prior task data and quickly adapt them for new tasks using only a handful of queries. Empirically, we reduce the amount of online feedback needed to train manipulation policies in Meta-World by 20$\times$, and demonstrate the effectiveness of our method on a real Franka Panda Robot. Moreover, this reduction in query-complexity allows us to train robot policies from actual human users. Videos of our results and code can be found at https://sites.google.com/view/few-shot-preference-rl/home.

连续控制的强化学习（RL）通常采用其支持涵盖整个动作空间的分布。在这项工作中，我们调查了培训的代理经常更喜欢在该空间的界限中普遍采取行动的俗称已知的现象。我们在最佳控制中汲取理论联系，以发出Bang-Bang行为的出现，并在各种最近的RL算法中提供广泛的实证评估。我们通过伯努利分布替换正常高斯，该分布仅考虑沿着每个动作维度的极端 - Bang-Bang控制器。令人惊讶的是，这在几种连续控制基准测试中实现了最先进的性能 - 与机器人硬件相比，能量和维护成本影响控制器选择。由于勘探，学习和最终解决方案纠缠在RL中，我们提供了额外的模仿学习实验，以减少探索对我们分析的影响。最后，我们表明我们的观察结果概括了旨在模拟现实世界挑战和评估因素来减轻Bang-Bang解决方案的因素的环境。我们的调查结果强调了对基准测试连续控制算法的挑战，特别是在潜在的现实世界应用中。

我们提出了一种层次结构的增强学习方法Hidio，可以以自我监督的方式学习任务不合时宜的选项，同时共同学习利用它们来解决稀疏的奖励任务。与当前倾向于制定目标的低水平任务或预定临时的低级政策不同的层次RL方法不同，Hidio鼓励下级选项学习与手头任务无关，几乎不需要假设或很少的知识任务结构。这些选项是通过基于选项子对象的固有熵最小化目标来学习的。博学的选择是多种多样的，任务不可能的。在稀疏的机器人操作和导航任务的实验中，Hidio比常规RL基准和两种最先进的层次RL方法，其样品效率更高。