由于涉及的复杂动态和多标准优化，控制非静态双模型机器人具有挑战性。最近的作品已经证明了深度加强学习（DRL）的仿真和物理机器人的有效性。在这些方法中，通常总共总共汇总来自不同标准的奖励以学习单个值函数。但是，这可能导致混合奖励之间的依赖信息丢失并导致次优策略。在这项工作中，我们提出了一种新颖的奖励自适应加强学习，用于Biped运动，允许控制策略通过使用动态机制通过多标准同时优化。该方法应用多重批评，为每个奖励组件学习单独的值函数。这导致混合政策梯度。我们进一步提出了动态权重，允许每个组件以不同的优先级优化策略。这种混合动态和动态策略梯度（HDPG）设计使代理商更有效地学习。我们表明所提出的方法优于总结奖励方法，能够转移到物理机器人。 SIM-to-Real和Mujoco结果进一步证明了HDPG的有效性和泛化。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

现在，最先进的强化学习能够在模拟中学习双皮亚机器人的多功能运动，平衡和推送能力。然而，现实差距大多被忽略了，模拟结果几乎不会转移到真实硬件上。在实践中，它是不成功的，因为物理学过度简化，硬件限制被忽略，或者不能保证规律性，并且可能会发生意外的危险运动。本文提出了一个强化学习框架，该框架能够学习以平稳的开箱即用向现实的转移，仅需要瞬时的本体感受观察，可以学习强大的站立式恢复。通过结合原始的终止条件和政策平滑度调节，我们使用没有记忆力或观察历史的政策实现了稳定的学习，SIM转移和安全性。然后使用奖励成型来提供有关如何保持平衡的见解。我们展示了其在下LIMB医学外骨骼Atalante中的现实表现。

通过腿部机器人在具有挑战性的环境上进行本地导航的通用方法需要路径计划，路径跟随和运动，这通常需要机动控制策略，以准确跟踪指挥速度。但是，通过将导航问题分解为这些子任务，我们限制了机器人的功能，因为各个任务不考虑完整的解决方案空间。在这项工作中，我们建议通过深入强化学习来训练端到端政策来解决完整的问题。机器人不必在提供的时间内到达目标位置，而不是不断跟踪预算的路径。该任务的成功仅在情节结束时进行评估，这意味着该策略不需要尽快到达目标。可以免费选择其路径和运动步态。以这种方式培训政策可以打开更多可能的解决方案，这使机器人能够学习更多复杂的行为。我们比较我们的速度跟踪方法，并表明任务奖励的时间依赖性对于成功学习这些新行为至关重要。最后，我们证明了在真正的四足动物机器人上成功部署政策。机器人能够跨越具有挑战性的地形，这是以前无法实现的，同时使用更节能的步态并达到更高的成功率。

基于腿部机器人的基于深的加固学习（RL）控制器表现出令人印象深刻的鲁棒性，可在不同的环境中为多个机器人平台行走。为了在现实世界中启用RL策略为类人类机器人应用，至关重要的是，建立一个可以在2D和3D地形上实现任何方向行走的系统，并由用户命令控制。在本文中，我们通过学习遵循给定步骤序列的政策来解决这个问题。该政策在一组程序生成的步骤序列（也称为脚步计划）的帮助下进行培训。我们表明，仅将即将到来的2个步骤喂入政策就足以实现全向步行，安装到位，站立和攀登楼梯。我们的方法采用课程学习对地形的复杂性，并规避了参考运动或预训练的权重的需求。我们证明了我们提出的方法在Mujoco仿真环境中学习2个新机器人平台的RL策略-HRP5P和JVRC -1-。可以在线获得培训和评估的代码。

我们专注于开发Quadrupedal机器人节能控制器的问题。动物可以以不同的速度积极切换Gaits以降低其能量消耗。在本文中，我们设计了一个分层学习框架，其中独特的运动遗传仪和自然步态过渡自动出现，其能量最小化的简单奖励。我们使用进化策略来培训一个高级步态政策，指定每只脚的步态图案，而低级凸MPC控制器优化电机命令，以便机器人可以使用该步态图案以所需的速度行走。我们在四足机器人上测试我们的学习框架，并展示了自动步态过渡，从步行到小跑和飞行，因为机器人增加了速度。我们表明学习的等级控制器在广泛的运动速度范围内消耗的能量要少于基线控制器。

学习玩乒乓球是机器人的一个具有挑战性的任务，作为所需的各种笔画。最近的进展表明，深度加强学习（RL）能够在模拟环境中成功地学习最佳动作。然而，由于高勘探努力，RL在实际情况中的适用性仍然有限。在这项工作中，我们提出了一个现实的模拟环境，其中多种模型是为球的动态和机器人的运动学而建立的。代替训练端到端的RL模型，提出了一种具有TD3骨干的新的政策梯度方法，以基于击球时间基于球的预测状态来学习球拍笔划。在实验中，我们表明，所提出的方法显着优于仿真中现有的RL方法。此外，将域从仿真跨越现实，我们采用了一个有效的再培训方法，并在三种实际情况下测试。由此产生的成功率为98％，距离误差约为24.9厘米。总培训时间约为1.5小时。

In order to avoid conventional controlling methods which created obstacles due to the complexity of systems and intense demand on data density, developing modern and more efficient control methods are required. In this way, reinforcement learning off-policy and model-free algorithms help to avoid working with complex models. In terms of speed and accuracy, they become prominent methods because the algorithms use their past experience to learn the optimal policies. In this study, three reinforcement learning algorithms; DDPG, TD3 and SAC have been used to train Fetch robotic manipulator for four different tasks in MuJoCo simulation environment. All of these algorithms are off-policy and able to achieve their desired target by optimizing both policy and value functions. In the current study, the efficiency and the speed of these three algorithms are analyzed in a controlled environment.

深度强化学习是在不需要领域知识的不受控制环境中学习政策的有前途的方法。不幸的是，由于样本效率低下，深度RL应用主要集中在模拟环境上。在这项工作中，我们证明了机器学习算法和库的最新进步与精心调整的机器人控制器相结合，导致在现实世界中仅20分钟内学习四倍的运动。我们在几个室内和室外地形上评估了我们的方法，这些室内和室外地形对基于古典模型的控制器来说是具有挑战性的。我们观察机器人能够在所有这些地形上始终如一地学习步态。最后，我们在模拟环境中评估我们的设计决策。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

平衡机器人（Ballbot）是测试平衡控制器有效性的好平台。考虑到平衡控制，已经广泛使用了基于模型的反馈控制方法。但是，接触和碰撞很难建模，并且通常导致平衡控制失败，尤其是当球机器人倾斜的角度时。为了探索球机器人的最大初始倾斜角，平衡控制被解释为使用增强学习（RL）的恢复任务。 RL是难以建模的系统的强大技术，因为它允许代理通过与环境进行交互来学习策略。在本文中，通过将常规反馈控制器与RL方法相结合，提出了化合物控制器。我们通过训练代理成功执行涉及联系和碰撞的恢复任务来显示化合物控制器的有效性。仿真结果表明，与常规基于模型的控制器相比，使用化合物控制器可以在更大的初始倾斜角度下保持平衡。

为了使腿部机器人与人类和动物的运动能力相匹配，它们不仅必须产生强大的周期性步行和跑步，而且还必须在名义运动步态和更专业的瞬态操纵之间无缝切换。尽管最近在两足机器人的控制方面取得了进步，但几乎没有集中精力产生高度动态的行为。利用强化学习制定控制腿机器人的政策的最新工作表明，在产生强大的步行行为方面取得了成功。但是，这些学识渊博的政策难以在单个网络上表达多种不同行为。受腿部机器人的常规优化控制技术的启发，这项工作应用了一个经常性的策略来执行四步，90度转弯，使用从优化的单个刚体模型轨迹生成的参考数据进行了训练。我们提出了一个新型的培训框架，该培训框架使用结尾终端奖励从预先计算的轨迹数据中学习特定行为，并证明了双皮亚机器人Cassie上的硬件成功转移。

在狭窄的空间中，基于传统层次自治系统的运动计划可能会导致映射，定位和控制噪声引起碰撞。此外，当无映射时，它将被禁用。为了解决这些问题，我们利用深厚的加强学习，可以证明可以有效地进行自我决策，从而在狭窄的空间中自探索而无需地图，同时避免碰撞。具体而言，基于我们的Ackermann-Steering矩形Zebrat机器人及其凉亭模拟器，我们建议矩形安全区域来表示状态并检测矩形形状的机器人的碰撞，以及无需精心制作的奖励功能，不需要增强功能。目的地信息。然后，我们在模拟的狭窄轨道中基准了五种增强学习算法，包括DDPG，DQN，SAC，PPO和PPO-DISCRETE。经过训练，良好的DDPG和DQN型号可以转移到三个全新的模拟轨道上，然后转移到三个现实世界中。

随着计算能力的兴起，使用数据驱动的方法来共同设计机器人的形态和控制器已成为一种可行的方法。然而，评估每个形态下控制器的适应性是耗时的。作为开创性数据驱动的方法，共同适应利用了双NETWORK机制，目的是学习以形态学参数为条件的Q功能，以取代对各种候选者的传统评估，从而加快优化的速度。在本文中，我们发现共同适应在参数传输期间训练和状态行动分布变化期间的勘探误差的存在，这损害了性能。我们提出了在线和离线RL方法的并发网络的框架。通过灵活地利用行为克隆术语，我们可以减轻上述问题对结果的影响。进行仿真和物理实验以证明我们所提出的方法优于基线算法，这说明了所提出的方法是发现形态和控制器的最佳组合的有效方法。

随着腿部机器人和嵌入式计算都变得越来越有能力，研究人员已经开始专注于这些机器人的现场部署。在非结构化环境中的强大自治需要对机器人周围的世界感知，以避免危害。但是，由于处理机车动力学所需的复杂规划人员和控制器，因此在网上合并在线的同时在线保持敏捷运动对腿部机器人更具挑战性。该报告将比较三种最新的感知运动方法，并讨论可以使用视觉来实现腿部自主权的不同方式。

通过加强学习（RL）掌握机器人操纵技巧通常需要设计奖励功能。该地区的最新进展表明，使用稀疏奖励，即仅在成功完成任务时奖励代理，可能会导致更好的政策。但是，在这种情况下，国家行动空间探索更困难。最近的RL与稀疏奖励学习的方法已经为任务提供了高质量的人类演示，但这些可能是昂贵的，耗时甚至不可能获得的。在本文中，我们提出了一种不需要人类示范的新颖有效方法。我们观察到，每个机器人操纵任务都可以被视为涉及从被操纵对象的角度来看运动的任务，即，对象可以了解如何自己达到目标状态。为了利用这个想法，我们介绍了一个框架，最初使用现实物理模拟器获得对象运动策略。然后，此策略用于生成辅助奖励，称为模拟的机器人演示奖励（SLDRS），使我们能够学习机器人操纵策略。拟议的方法已在增加复杂性的13个任务中进行了评估，与替代算法相比，可以实现更高的成功率和更快的学习率。 SLDRS对多对象堆叠和非刚性物体操作等任务特别有益。

在许多机器人和工业应用中，传统的线性控制策略已经广泛研究和使用，但它们不应响应系统的总动态，以避免对非线性控制等非线性控制方案的繁琐计算，加强学习的预测控制应用可以提供替代解决方案本文介绍了在移动自拍的深度确定性政策梯度和近端策略优化的情况下实现了RL控制的实现，在移动自拍伸直倒立摆片EWIP系统这样的RL模型使得找到满意控制方案的任务更容易，并在自我调整时有效地响应动态。在本文中提供更好控制的参数，两个RL基础控制器被针对MPC控制器捕获，以基于EWIP系统的状态变量进行评估，同时遵循特定的所需轨迹

腿部运动的最新进展使四足动物在具有挑战性的地形上行走。但是，两足机器人本质上更加不稳定，因此很难为其设计步行控制器。在这项工作中，我们利用了对机车控制的快速适应的最新进展，并将其扩展到双皮亚机器人。与现有作品类似，我们从基本策略开始，该策略在将适应模块的输入中作为输入作为输入。该外部媒介包含有关环境的信息，并使步行控制器能够快速在线适应。但是，外部估计器可能是不完善的，这可能导致基本政策的性能不佳，这预计是一个完美的估计器。在本文中，我们提出了A-RMA（Adapting RMA），该A-RMA（适应RMA）还通过使用无模型RL对其进行了鉴定，从而适应了不完美的外部外部估计器的基本策略。我们证明，A-RMA在仿真中胜过许多基于RL的基线控制器和基于模型的控制器，并显示了单个A-RMA策略的零拍摄部署，以使双皮德机器人Cassie能够在各种各样的现实世界中的不同场景超出了培训期间所见。 https://ashish-kmr.github.io/a-rma/的视频和结果

教机器人通过加强学习（RL）在复杂的三维环境环境下学习多样化的运动技能仍然具有挑战性。已经表明，在将其转移到复杂设置之前，在简单设置中的培训代理可以改善培训过程，但到目前为止，仅在相对简单的运动技能的背景下。在这项工作中，我们适应了增强的配对开放式开拓者（EPOET）方法，以训练更复杂的代理，以在复杂的三维地形上有效行走。首先，为了产生更加坚固且多样化的三维训练地形，并增加了复杂性，我们扩展了组成模式产生的网络 - 增强拓扑的神经进化（CPPN-NEAT）方法，并包括随机形状。其次，我们将Epoet与软性演员 - 批评外的优化相结合，产生Epoet-SAC，以确保代理商可以学习更多多样化的技能，以解决更具挑战性的任务。我们的实验结果表明，新生成的三维地形具有足够的多样性和复杂性来指导学习，Epoet成功地学习了这些地形上的复杂运动技能，并且我们提出的EPOET-SAC方法在Epoet上略有改进。