机器人学习中流行的范式是为每个新机器人从头开始训练一项政策。这不仅效率低下，而且对于复杂的机器人而言通常不切实际。在这项工作中，我们考虑了将政策转移到具有显着不同参数（例如运动学和形态）的两个不同机器人中的问题。通过匹配动作或状态过渡分布（包括模仿学习方法）来训练新政策的现有方法，由于最佳动作和/或状态分布在不同的机器人中不匹配而失败。在本文中，我们提出了一种名为$ Revolver $的新方法，该方法使用连续进化模型用于物理模拟器中实现的机器人政策转移。我们通过找到机器人参数的连续进化变化，在源机器人和目标机器人之间进行了插值。源机器人的专家政策是通过逐渐发展为目标机器人的一系列中间机器人的训练来转移的。物理模拟器上的实验表明，所提出的连续进化模型可以有效地跨机器人转移策略，并在新机器人上实现卓越的样品效率。在稀疏的奖励环境中，提出的方法尤其有利，在稀疏奖励环境中，探索可以大大减少。代码在https://github.com/xingyul/revolver上发布。

The ability to learn from human demonstration endows robots with the ability to automate various tasks. However, directly learning from human demonstration is challenging since the structure of the human hand can be very different from the desired robot gripper. In this work, we show that manipulation skills can be transferred from a human to a robot through the use of micro-evolutionary reinforcement learning, where a five-finger human dexterous hand robot gradually evolves into a commercial robot, while repeated interacting in a physics simulator to continuously update the policy that is first learned from human demonstration. To deal with the high dimensions of robot parameters, we propose an algorithm for multi-dimensional evolution path searching that allows joint optimization of both the robot evolution path and the policy. Through experiments on human object manipulation datasets, we show that our framework can efficiently transfer the expert human agent policy trained from human demonstrations in diverse modalities to target commercial robots.

Meta强化学习（META-RL）旨在学习一项政策，同时并迅速适应新任务。它需要大量从培训任务中汲取的数据，以推断任务之间共享的共同结构。如果没有沉重的奖励工程，长期任务中的稀疏奖励加剧了元RL样品效率的问题。 Meta-RL中的另一个挑战是任务之间难度级别的差异，这可能会导致一个简单的任务主导共享策略的学习，从而排除政策适应新任务。这项工作介绍了一个新颖的目标功能，可以在培训任务中学习动作翻译。从理论上讲，我们可以验证带有操作转换器的传输策略的值可以接近源策略的值和我们的目标函数（大约）上限的值差。我们建议将动作转换器与基于上下文的元元算法相结合，以更好地收集数据，并在元训练期间更有效地探索。我们的方法从经验上提高了稀疏奖励任务上元RL算法的样本效率和性能。

通过加强学习（RL）掌握机器人操纵技巧通常需要设计奖励功能。该地区的最新进展表明，使用稀疏奖励，即仅在成功完成任务时奖励代理，可能会导致更好的政策。但是，在这种情况下，国家行动空间探索更困难。最近的RL与稀疏奖励学习的方法已经为任务提供了高质量的人类演示，但这些可能是昂贵的，耗时甚至不可能获得的。在本文中，我们提出了一种不需要人类示范的新颖有效方法。我们观察到，每个机器人操纵任务都可以被视为涉及从被操纵对象的角度来看运动的任务，即，对象可以了解如何自己达到目标状态。为了利用这个想法，我们介绍了一个框架，最初使用现实物理模拟器获得对象运动策略。然后，此策略用于生成辅助奖励，称为模拟的机器人演示奖励（SLDRS），使我们能够学习机器人操纵策略。拟议的方法已在增加复杂性的13个任务中进行了评估，与替代算法相比，可以实现更高的成功率和更快的学习率。 SLDRS对多对象堆叠和非刚性物体操作等任务特别有益。

Reinforcement learning often suffer from the sparse reward issue in real-world robotics problems. Learning from demonstration (LfD) is an effective way to eliminate this problem, which leverages collected expert data to aid online learning. Prior works often assume that the learning agent and the expert aim to accomplish the same task, which requires collecting new data for every new task. In this paper, we consider the case where the target task is mismatched from but similar with that of the expert. Such setting can be challenging and we found existing LfD methods can not effectively guide learning in mismatched new tasks with sparse rewards. We propose conservative reward shaping from demonstration (CRSfD), which shapes the sparse rewards using estimated expert value function. To accelerate learning processes, CRSfD guides the agent to conservatively explore around demonstrations. Experimental results of robot manipulation tasks show that our approach outperforms baseline LfD methods when transferring demonstrations collected in a single task to other different but similar tasks.

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

本文考虑了从专家演示中学习机器人运动和操纵任务。生成对抗性模仿学习（GAIL）训练一个区分专家与代理转换区分开的歧视者，进而使用歧视器输出定义的奖励来优化代理商的策略生成器。这种生成的对抗训练方法非常强大，但取决于歧视者和发电机培训之间的微妙平衡。在高维问题中，歧视训练可能很容易过度拟合或利用与任务 - 核定功能进行过渡分类的关联。这项工作的一个关键见解是，在合适的潜在任务空间中进行模仿学习使训练过程稳定，即使在挑战高维问题中也是如此。我们使用动作编码器模型来获得低维的潜在动作空间，并使用对抗性模仿学习（Lapal）训练潜在政策。可以从州行动对脱机来训练编码器模型，以获得任务无关的潜在动作表示或与歧视器和发电机培训同时在线获得，以获得任务意识到的潜在行动表示。我们证明了Lapal训练是稳定的，具有近乎单的性能的改进，并在大多数运动和操纵任务中实现了专家性能，而Gail基线收敛速度较慢，并且在高维环境中无法实现专家的表现。

In reinforcement learning applications like robotics, agents usually need to deal with various input/output features when specified with different state/action spaces by their developers or physical restrictions. This indicates unnecessary re-training from scratch and considerable sample inefficiency, especially when agents follow similar solution steps to achieve tasks. In this paper, we aim to transfer similar high-level goal-transition knowledge to alleviate the challenge. Specifically, we propose PILoT, i.e., Planning Immediate Landmarks of Targets. PILoT utilizes the universal decoupled policy optimization to learn a goal-conditioned state planner; then, distills a goal-planner to plan immediate landmarks in a model-free style that can be shared among different agents. In our experiments, we show the power of PILoT on various transferring challenges, including few-shot transferring across action spaces and dynamics, from low-dimensional vector states to image inputs, from simple robot to complicated morphology; and we also illustrate a zero-shot transfer solution from a simple 2D navigation task to the harder Ant-Maze task.

本文详细介绍了我们对2021年真正机器人挑战的第一阶段提交的提交；三指机器人必须沿指定目标轨迹携带立方体的挑战。为了解决第1阶段，我们使用一种纯净的增强学习方法，该方法需要对机器人系统或机器人抓握的最少专家知识。与事后的经验重播一起采用了稀疏，基于目标的奖励，以教导控制立方体将立方体移至目标的X和Y坐标。同时，采用了基于密集的距离奖励来教授将立方体提升到目标的Z坐标（高度组成部分）的政策。该策略在将域随机化的模拟中进行培训，然后再转移到真实的机器人进行评估。尽管此次转移后的性能往往会恶化，但我们的最佳政策可以通过有效的捏合掌握能够成功地沿目标轨迹提升真正的立方体。我们的方法表现优于所有其他提交，包括那些利用更传统的机器人控制技术的提交，并且是第一个解决这一挑战的纯学习方法。

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

In order to avoid conventional controlling methods which created obstacles due to the complexity of systems and intense demand on data density, developing modern and more efficient control methods are required. In this way, reinforcement learning off-policy and model-free algorithms help to avoid working with complex models. In terms of speed and accuracy, they become prominent methods because the algorithms use their past experience to learn the optimal policies. In this study, three reinforcement learning algorithms; DDPG, TD3 and SAC have been used to train Fetch robotic manipulator for four different tasks in MuJoCo simulation environment. All of these algorithms are off-policy and able to achieve their desired target by optimizing both policy and value functions. In the current study, the efficiency and the speed of these three algorithms are analyzed in a controlled environment.

机器人的形态和行为的互相适应变得与快速的3D-制造方法和高效的深强化学习算法的出现越来越重要。对于互相适应的方法应用到真实世界的一个主要挑战是由于模型和仿真不准确的模拟到现实的差距。然而，以前的工作主要集中在形态开发的分析模型，并用大量的用户群（微）模拟器的进化适应的研究，忽视的模拟到现实差距的存在和在现实世界中制造周期的成本。本文提出了一种新的办法，结合经典的高频率计算昂贵的图形神经网络的代理数据高效互相适应深层神经网络具有不同度的自由度数。在仿真结果表明，新方法可以通过有效的设计优化与离线强化学习相结合共同适应的生产周期这样一个有限的数量中的代理程序，它允许在今后的工作中直接应用到真实世界的互相适应任务评估

深度加固学习（DRL）使机器人能够结束结束地执行一些智能任务。然而，长地平线稀疏奖励机器人机械手任务仍存在许多挑战。一方面，稀疏奖励设置会导致探索效率低下。另一方面，使用物理机器人的探索是高成本和不安全的。在本文中，我们提出了一种学习使用本文中名为基础控制器的一个或多个现有传统控制器的长地平线稀疏奖励任务。基于深度确定性的政策梯度（DDPG），我们的算法将现有基础控制器融入勘探，价值学习和策略更新的阶段。此外，我们介绍了合成不同基础控制器以整合它们的优点的直接方式。通过从堆叠块到杯子的实验，证明学习的国家或基于图像的策略稳定优于基础控制器。与以前的示范中的学习作品相比，我们的方法通过数量级提高了样品效率，提高了性能。总体而言，我们的方法具有利用现有的工业机器人操纵系统来构建更灵活和智能控制器的可能性。

Meta-Renifiltive学习（Meta-RL）已被证明是利用事先任务的经验，以便快速学习新的相关任务的成功框架，但是，当前的Meta-RL接近在稀疏奖励环境中学习的斗争。尽管现有的Meta-RL算法可以学习适应新的稀疏奖励任务的策略，但是使用手形奖励功能来学习实际适应策略，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了对Meta-RL的后视抢购的制定，该rl抢购了在Meta培训期间的经验，以便能够使用稀疏奖励完全学习。我们展示了我们的方法在套件挑战稀疏奖励目标达到的环境中，以前需要密集的奖励，以便在Meta训练中解决。我们的方法使用真正的稀疏奖励功能来解决这些环境，性能与具有代理密集奖励功能的培训相当。

在许多增强学习（RL）应用中，观察空间由人类开发人员指定并受到物理实现的限制，因此可能会随时间的巨大变化（例如，观察特征的数量增加）。然而，当观察空间发生变化时，前一项策略可能由于输入特征不匹配而失败，并且另一个策略必须从头开始培训，这在计算和采样复杂性方面效率低。在理论上见解之后，我们提出了一种新颖的算法，该算法提取源任务中的潜在空间动态，并将动态模型传送到目标任务用作基于模型的常规程序。我们的算法适用于观察空间的彻底变化（例如，从向量的基于矢量的观察到图像的观察），没有任何任务映射或目标任务的任何先前知识。实证结果表明，我们的算法显着提高了目标任务中学习的效率和稳定性。

仅国家模仿学习的最新进展将模仿学习的适用性扩展到现实世界中的范围，从而减轻了观察专家行动的需求。但是，现有的解决方案只学会从数据中提取州对行动映射策略，而无需考虑专家如何计划到目标。这阻碍了利用示威游行并限制政策的灵活性的能力。在本文中，我们介绍了解耦政策优化（DEPO），该策略优化（DEPO）明确将策略脱离为高级状态计划者和逆动力学模型。借助嵌入式的脱钩策略梯度和生成对抗训练，DEPO可以将知识转移到不同的动作空间或状态过渡动态，并可以将规划师推广到无示威的状态区域。我们的深入实验分析表明，DEPO在学习最佳模仿性能的同时学习通用目标状态计划者的有效性。我们证明了DEPO通过预训练跨任务转移的吸引力，以及与各种技能共同培训的潜力。

由于涉及的复杂动态和多标准优化，控制非静态双模型机器人具有挑战性。最近的作品已经证明了深度加强学习（DRL）的仿真和物理机器人的有效性。在这些方法中，通常总共总共汇总来自不同标准的奖励以学习单个值函数。但是，这可能导致混合奖励之间的依赖信息丢失并导致次优策略。在这项工作中，我们提出了一种新颖的奖励自适应加强学习，用于Biped运动，允许控制策略通过使用动态机制通过多标准同时优化。该方法应用多重批评，为每个奖励组件学习单独的值函数。这导致混合政策梯度。我们进一步提出了动态权重，允许每个组件以不同的优先级优化策略。这种混合动态和动态策略梯度（HDPG）设计使代理商更有效地学习。我们表明所提出的方法优于总结奖励方法，能够转移到物理机器人。 SIM-to-Real和Mujoco结果进一步证明了HDPG的有效性和泛化。

教机器人通过加强学习（RL）在复杂的三维环境环境下学习多样化的运动技能仍然具有挑战性。已经表明，在将其转移到复杂设置之前，在简单设置中的培训代理可以改善培训过程，但到目前为止，仅在相对简单的运动技能的背景下。在这项工作中，我们适应了增强的配对开放式开拓者（EPOET）方法，以训练更复杂的代理，以在复杂的三维地形上有效行走。首先，为了产生更加坚固且多样化的三维训练地形，并增加了复杂性，我们扩展了组成模式产生的网络 - 增强拓扑的神经进化（CPPN-NEAT）方法，并包括随机形状。其次，我们将Epoet与软性演员 - 批评外的优化相结合，产生Epoet-SAC，以确保代理商可以学习更多多样化的技能，以解决更具挑战性的任务。我们的实验结果表明，新生成的三维地形具有足够的多样性和复杂性来指导学习，Epoet成功地学习了这些地形上的复杂运动技能，并且我们提出的EPOET-SAC方法在Epoet上略有改进。

强化学习是机器人抓握的一种有前途的方法，因为它可以在困难的情况下学习有效的掌握和掌握政策。但是，由于问题的高维度，用精致的机器人手来实现类似人类的操纵能力是具有挑战性的。尽管可以采用奖励成型或专家示范等补救措施来克服这个问题，但它们通常导致过分简化和有偏见的政策。我们介绍了Dext-Gen，这是一种在稀疏奖励环境中灵巧抓握的强化学习框架，适用于各种抓手，并学习无偏见和复杂的政策。通过平滑方向表示实现了抓地力和物体的完全方向控制。我们的方法具有合理的培训时间，并提供了包括所需先验知识的选项。模拟实验证明了框架对不同方案的有效性和适应性。