演奏家以热情，诗歌和非凡的技术能力弹奏钢琴。正如李斯特（Liszt）所说（一个演奏家）必须呼唤气味和开花，并呼吸生命的呼吸。可以弹钢琴的最强机器人是基于专业机器人手/钢琴和硬编码计划算法的组合。与此相反，在本文中，我们演示了代理如何直接从机器可读的音乐得分中学习，以使用SCRATCH的增强钢琴学习（RL）在模拟的钢琴上弹奏钢琴。我们证明RL代理不仅可以找到正确的关键位置，还可以处理各种节奏，音量和指法，要求。我们通过使用接触式的奖励和新的任务课程来实现这一目标。最后，我们通过仔细研究重要方面来实现此类学习算法，并有可能阐明朝这个方向上的未来研究。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

Dealing with sparse rewards is one of the biggest challenges in Reinforcement Learning (RL). We present a novel technique called Hindsight Experience Replay which allows sample-efficient learning from rewards which are sparse and binary and therefore avoid the need for complicated reward engineering. It can be combined with an arbitrary off-policy RL algorithm and may be seen as a form of implicit curriculum. We demonstrate our approach on the task of manipulating objects with a robotic arm. In particular, we run experiments on three different tasks: pushing, sliding, and pick-and-place, in each case using only binary rewards indicating whether or not the task is completed. Our ablation studies show that Hindsight Experience Replay is a crucial ingredient which makes training possible in these challenging environments. We show that our policies trained on a physics simulation can be deployed on a physical robot and successfully complete the task. The video presenting our experiments is available at https://goo.gl/SMrQnI.

学习玩乒乓球是机器人的一个具有挑战性的任务，作为所需的各种笔画。最近的进展表明，深度加强学习（RL）能够在模拟环境中成功地学习最佳动作。然而，由于高勘探努力，RL在实际情况中的适用性仍然有限。在这项工作中，我们提出了一个现实的模拟环境，其中多种模型是为球的动态和机器人的运动学而建立的。代替训练端到端的RL模型，提出了一种具有TD3骨干的新的政策梯度方法，以基于击球时间基于球的预测状态来学习球拍笔划。在实验中，我们表明，所提出的方法显着优于仿真中现有的RL方法。此外，将域从仿真跨越现实，我们采用了一个有效的再培训方法，并在三种实际情况下测试。由此产生的成功率为98％，距离误差约为24.9厘米。总培训时间约为1.5小时。

随着我们日常环境中机器人的存在越来越多，提高社交技能至关重要。尽管如此，社会机器人技术仍然面临许多挑战。一种瓶颈是，由于社会规范的强烈取决于环境，因此需要经常适应机器人行为。例如，与办公室的工人相比，机器人应更仔细地在医院的患者周围进行仔细的导航。在这项工作中，我们将元强化学习（META-RL）作为潜在解决方案进行了研究。在这里，机器人行为是通过强化学习来学习的，需要选择奖励功能，以便机器人学习适合给定环境的行为。我们建议使用一种变异元过程，该过程迅速使机器人的行为适应新的奖励功能。结果，给定一个新的环境，可以快速评估不同的奖励功能，并选择适当的奖励功能。该过程学习奖励函数的矢量表示和可以在这种表示形式下进行条件的元政策。从新的奖励函数中进行观察，该过程确定了其表示形式，并条件元元素对其进行了条件。在研究程序的功能时，我们意识到它遭受了后塌陷的困扰，在表示表示中只有一个尺寸的子集编码有用的信息，从而导致性能降低。我们的第二个贡献是径向基函数（RBF）层，部分减轻了这种负面影响。 RBF层将表示形式提升到较高的维空间，这对于元容器更容易利用。我们证明了RBF层的兴趣以及在四个机器人模拟任务上对社会机器人技术的使用元素使用。

使用强化学习解决复杂的问题必须将问题分解为可管理的任务，无论是明确或隐式的任务，并学习解决这些任务的政策。反过来，这些政策必须由采取高级决策的总体政策来控制。这需要培训算法在学习这些政策时考虑这种等级决策结构。但是，实践中的培训可能会导致泛化不良，要么在很少的时间步骤执行动作，要么将其全部转变为单个政策。在我们的工作中，我们介绍了一种替代方法来依次学习此类技能，而无需使用总体层次的政策。我们在环境的背景下提出了这种方法，在这种环境的背景下，学习代理目标的主要组成部分是尽可能长时间延长情节。我们将我们提出的方法称为顺序选择评论家。我们在我们开发的灵活的模拟3D导航环境中演示了我们在导航和基于目标任务的方法的实用性。我们还表明，我们的方法优于先前的方法，例如在我们的环境中，柔软的演员和软选择评论家，以及健身房自动驾驶汽车模拟器和Atari River RAID RAID环境。

通过加强学习（RL）掌握机器人操纵技巧通常需要设计奖励功能。该地区的最新进展表明，使用稀疏奖励，即仅在成功完成任务时奖励代理，可能会导致更好的政策。但是，在这种情况下，国家行动空间探索更困难。最近的RL与稀疏奖励学习的方法已经为任务提供了高质量的人类演示，但这些可能是昂贵的，耗时甚至不可能获得的。在本文中，我们提出了一种不需要人类示范的新颖有效方法。我们观察到，每个机器人操纵任务都可以被视为涉及从被操纵对象的角度来看运动的任务，即，对象可以了解如何自己达到目标状态。为了利用这个想法，我们介绍了一个框架，最初使用现实物理模拟器获得对象运动策略。然后，此策略用于生成辅助奖励，称为模拟的机器人演示奖励（SLDRS），使我们能够学习机器人操纵策略。拟议的方法已在增加复杂性的13个任务中进行了评估，与替代算法相比，可以实现更高的成功率和更快的学习率。 SLDRS对多对象堆叠和非刚性物体操作等任务特别有益。

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

实现人类水平的灵活性是机器人技术中的重要开放问题。但是，即使在婴儿级别，灵巧的手动操纵任务也是通过增强学习（RL）的挑战。困难在于高度的自由度和异质因素（例如手指关节）之间所需的合作。在这项研究中，我们提出了双人灵感手基准（BI-DEXHANDS），这是一种模拟器，涉及两只灵巧的手，其中包含数十只双人操纵任务和数千个目标对象。具体而言，根据认知科学文献，BI-DEXHANDS中的任务旨在匹配不同级别的人类运动技能。我们在ISSAC体育馆里建造了Bi-Dexhands；这可以实现高效的RL培训，仅在一个NVIDIA RTX 3090中达到30,000+ fps。我们在不同的设置下为流行的RL算法提供了全面的基准；这包括单代理/多代理RL，离线RL，多任务RL和META RL。我们的结果表明，PPO类型的上车算法可以掌握简单的操纵任务，该任务等效到48个月的人类婴儿（例如，捕获飞行的物体，打开瓶子），而多代理RL可以进一步帮助掌握掌握需要熟练的双人合作的操作（例如，举起锅，堆叠块）。尽管每个任务都取得了成功，但在获得多个操纵技能方面，现有的RL算法无法在大多数多任务和少量学习设置中工作，这需要从RL社区进行更实质性的发展。我们的项目通过https://github.com/pku-marl/dexteroushands开放。

近年来，深入的强化学习（DRL）在模拟机器人控制任务中都取得了巨大进步。然而，将DRL应用于新型机器人控制任务仍然具有挑战性，尤其是当研究人员必须设计动作和观察空间以及奖励功能时。在本文中，我们研究了部分可观察性，作为将DRL应用于机器人控制任务的潜在失败来源，当研究人员不相信观察空间是否完全代表基本状态时，可能会发生这种情况。我们比较了各种部分可观察性条件下的三种常见DRL算法TD3，SAC和PPO的性能。我们发现TD3和SAC很容易被卡在本地Optima和表现不佳的PPO中。我们提出了香草TD3和SAC的多步版本，以改善基于一步引导的部分可观察性的鲁棒性。

现实的操纵任务要求机器人与具有长时间运动动作序列的环境相互作用。尽管最近出现了深厚的强化学习方法，这是自动化操作行为的有希望的范式，但由于勘探负担，它们通常在长途任务中缺乏。这项工作介绍了操纵原始增强的强化学习（Maple），这是一个学习框架，可通过预定的行为原始库来增强标准强化学习算法。这些行为原始素是专门实现操纵目标（例如抓住和推动）的强大功能模块。为了使用这些异质原始素，我们制定了涉及原语的层次结构策略，并使用输入参数实例化执行。我们证明，枫树的表现优于基线方法，通过一系列模拟的操纵任务的大幅度。我们还量化了学习行为的组成结构，并突出了我们方法将策略转移到新任务变体和物理硬件的能力。视频和代码可从https://ut-aut-autin-rpl.github.io/maple获得

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

While reinforcement learning (RL) has become a more popular approach for robotics, designing sufficiently informative reward functions for complex tasks has proven to be extremely difficult due their inability to capture human intent and policy exploitation. Preference based RL algorithms seek to overcome these challenges by directly learning reward functions from human feedback. Unfortunately, prior work either requires an unreasonable number of queries implausible for any human to answer or overly restricts the class of reward functions to guarantee the elicitation of the most informative queries, resulting in models that are insufficiently expressive for realistic robotics tasks. Contrary to most works that focus on query selection to \emph{minimize} the amount of data required for learning reward functions, we take an opposite approach: \emph{expanding} the pool of available data by viewing human-in-the-loop RL through the more flexible lens of multi-task learning. Motivated by the success of meta-learning, we pre-train preference models on prior task data and quickly adapt them for new tasks using only a handful of queries. Empirically, we reduce the amount of online feedback needed to train manipulation policies in Meta-World by 20$\times$, and demonstrate the effectiveness of our method on a real Franka Panda Robot. Moreover, this reduction in query-complexity allows us to train robot policies from actual human users. Videos of our results and code can be found at https://sites.google.com/view/few-shot-preference-rl/home.

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

为了解决复杂环境中的任务，机器人需要从经验中学习。深度强化学习是一种常见的机器人学习方法，但需要大量的反复试验才能学习，从而限制了其在物理世界中的部署。结果，机器人学习的许多进步都取决于模拟器。另一方面，模拟器内部的学习无法捕获现实世界的复杂性，很容易模拟器不准确，并且由此产生的行为并不适应世界上的变化。 Dreamer算法最近通过在学习的世界模型中进行计划，表现出巨大的希望，可以从少量互动中学习，从而超过了视频游戏中的纯强化学习。学习一个世界模型来预测潜在行动的结果，使计划可以在想象中进行计划，从而减少了真实环境中所需的反复试验量。但是，尚不清楚梦想家是否可以促进更快地学习物理机器人。在本文中，我们将Dreamer应用于4个机器人，以直接在网上学习，直接在现实世界中，而无需模拟器。 Dreamer训练一个四倍的机器人，从头开始，站起来，站起来，仅在1小时内就没有重置。然后，我们推动机器人，发现Dreamer在10分钟内适应以承受扰动或迅速翻身并站起来。在两个不同的机器人臂上，Dreamer学会了直接从相机图像和稀疏的奖励中挑选和放置多个物体，从而接近人类的性能。在轮式机器人上，Dreamer学会了纯粹从相机图像导航到目标位置，从而自动解决有关机器人方向的歧义。在所有实验中使用相同的超参数，我们发现Dreamer能够在现实世界中在线学习，建立强大的基线。我们释放我们的基础架构，用于世界模型在机器人学习中的未来应用。

在复杂环境中开发针对四足动物的强大视觉引导控制器，具有各种障碍，动力环境和不平坦的地形，这是非常具有挑战性的。尽管增强学习（RL）为敏捷的运动技能提供了有希望的范式，并在模拟中提供了视觉投入，但在现实世界中将RL政策部署仍然非常具有挑战性。我们的关键见解是，除了域间隙的差异，模拟和现实世界之间的视觉外观外，控制管道的延迟也是困难的主要原因。在本文中，我们建议在训练RL代理时解决此问题。具体而言，我们通过使用过去的观测值模拟真实硬件的延迟，并以随机时期进行采样，以进行本体感受和视觉。我们在没有任何预定义的控制器或参考运动的情况下训练RL策略在物理模拟器中以端到端的控制，并将其直接部署在野外运行的真实A1四倍的机器人上。我们在具有复杂地形和障碍的不同室外环境中评估我们的方法。我们证明机器人可以高速操纵，避免障碍物，并在基准方面显示出显着改善。我们的带有视频的项目页面位于https://mehooz.github.io/mmdr-wild/。

非结构化环境中的多步操纵任务对于学习的机器人来说非常具有挑战性。这些任务相互作用，包括可以获得的预期状态，可以实现整体任务和低级推理，以确定哪些行动将产生这些国家。我们提出了一种无模型的深度加强学习方法来学习多步理操作任务。我们介绍了一个基于视觉的模型架构的机器人操纵网络（ROMANNET），以了解动作值函数并预测操纵操作候选。我们定义基于Gaussian（TPG）奖励函数的任务进度，基于导致成功的动作原语的行动和实现整体任务目标的进展来计算奖励。为了平衡探索/剥削的比率，我们介绍了一个损失调整后的探索（LAE）政策，根据亏损估计的Boltzmann分配来确定来自行动候选人的行动。我们通过培训ROMANNET来展示我们方法的有效性，以了解模拟和现实世界中的几个挑战的多步机械管理任务。实验结果表明，我们的方法优于现有的方法，并在成功率和行动效率方面实现了最先进的性能。消融研究表明，TPG和LAE对多个块堆叠的任务特别有益。代码可用：https：//github.com/skumra/romannet

Meta-reinforcement learning algorithms can enable robots to acquire new skills much more quickly, by leveraging prior experience to learn how to learn. However, much of the current research on meta-reinforcement learning focuses on task distributions that are very narrow. For example, a commonly used meta-reinforcement learning benchmark uses different running velocities for a simulated robot as different tasks. When policies are meta-trained on such narrow task distributions, they cannot possibly generalize to more quickly acquire entirely new tasks. Therefore, if the aim of these methods is enable faster acquisition of entirely new behaviors, we must evaluate them on task distributions that are sufficiently broad to enable generalization to new behaviors. In this paper, we propose an open-source simulated benchmark for meta-reinforcement learning and multitask learning consisting of 50 distinct robotic manipulation tasks. Our aim is to make it possible to develop algorithms that generalize to accelerate the acquisition of entirely new, held-out tasks. We evaluate 7 state-of-the-art meta-reinforcement learning and multi-task learning algorithms on these tasks. Surprisingly, while each task and its variations (e.g., with different object positions) can be learned with reasonable success, these algorithms struggle to learn with multiple tasks at the same time, even with as few as ten distinct training tasks. Our analysis and open-source environments pave the way for future research in multi-task learning and meta-learning that can enable meaningful generalization, thereby unlocking the full potential of these methods. 1

深度加固学习（DRL）使机器人能够结束结束地执行一些智能任务。然而，长地平线稀疏奖励机器人机械手任务仍存在许多挑战。一方面，稀疏奖励设置会导致探索效率低下。另一方面，使用物理机器人的探索是高成本和不安全的。在本文中，我们提出了一种学习使用本文中名为基础控制器的一个或多个现有传统控制器的长地平线稀疏奖励任务。基于深度确定性的政策梯度（DDPG），我们的算法将现有基础控制器融入勘探，价值学习和策略更新的阶段。此外，我们介绍了合成不同基础控制器以整合它们的优点的直接方式。通过从堆叠块到杯子的实验，证明学习的国家或基于图像的策略稳定优于基础控制器。与以前的示范中的学习作品相比，我们的方法通过数量级提高了样品效率，提高了性能。总体而言，我们的方法具有利用现有的工业机器人操纵系统来构建更灵活和智能控制器的可能性。

在许多控制问题中，包括视觉，可以从场景中对象的位置推断出最佳控制。可以使用特征点表示该信息，该特征点是输入图像的学习特征映射中的空间位置列表。以前的作品表明，使用无监督的预培训或人类监督学习的功能要点可以为控制任务提供良好的功能。在本文中，我们表明，可以在结束于结束的情况下学习有效的特征点表示，而无需无监督的预训练，解码器或额外损失。我们所提出的架构包括一个可怜的特征点提取器，其将估计的特征点的坐标直接馈送到软演员 - 批评者代理。所提出的算法对深度控制套件任务的最先进的算法产生了竞争力。