在这项工作中，我们表明，可以在模拟中完全使用加强学习进行培训低级控制策略，然后，在Quadrotor机器人上部署它们而不使用真实数据进行微调。为了渲染零拍策略转移可行，我们应用模拟优化以缩小现实差距。我们的神经网络的策略仅使用车载数据，并完全在嵌入式无人机硬件上运行。在广泛的真实实验中，我们比较三种不同的控制结构，范围从低级脉冲宽度调制的电机命令到基于嵌套比例 - 积分衍生物控制器的高级姿态控制。我们的实验表明，利用加固学习培训的低级控制器需要比更高级别的控制策略更准确的模拟。

本文提出了针对四方的通用自适应控制器，可以将其部署为零射击到具有截然不同的质量，手臂长度和运动常数的四轮驱动器，并且还显示出对运行时未知干扰的快速适应。核心算法的想法是学习一个单一的策略，该策略不仅可以在测试时间在线适应无人机的干扰，还可以在同一框架中适用于机器人动力学和硬件。我们通过训练神经网络来估计机器人和环境参数的潜在表示，该参数用于调节控制器的行为，也表示为神经网络。我们专门训练两个网络进行模拟，目的是将四轮驱动器飞往目标位置并避免撞击地面。我们直接在模拟中训练了相同的控制器，而没有对两个四肢旋转器进行任何修改，其中质量，惯性差异差异，最大电动机速度最大为4次。此外，我们显示了四肢和惯性的突然和大型干扰（最高35.7％）的快速适应。我们在模拟和物理世界中进行了广泛的评估，在该评估中，我们的表现优于最先进的基于学习的自适应控制器和专门针对每个平台的传统PID控制器。视频结果可以在https://dz298.github.io/universal-drone-controller/上找到。

将四型人降落在倾斜的表面上是一个具有挑战性的动作。任何倾斜着陆轨迹的最终状态都不是平衡，这排除了大多数常规控制方法的使用。我们提出了一种深入的强化学习方法，以设计倾斜表面的自动着陆控制器。使用具有稀疏奖励和量身定制的课程学习方法的近端政策优化（PPO）算法，可以在不到90分钟的标准笔记本电脑上培训倾斜的着陆政策。然后，该政策直接采用真正的Crazyflie 2.1四型四面管，并成功地在飞行舞台上执行了真正的倾向着陆。单个策略评估大约需要2.5 \，MS，这使其适用于四型在四面体上的未来嵌入式实现。

我们展示了通过大规模多代理端到端增强学习的大射击可转移到真正的四轮压力机的无人驾驶群体控制器的可能性。我们培训由神经网络参数化的政策，该政策能够以完全分散的方式控制群体中的各个无人机。我们的政策，在具有现实的四轮流物理学的模拟环境中训练，展示了先进的植绒行为，在紧张的地层中执行侵略性的操作，同时避免彼此的碰撞，破裂和重新建立地层，以避免与移动障碍的碰撞，并有效地协调追求障碍，并有效地协调追求逃避任务。在模拟中，我们分析了培训制度的不同模型架构和参数影响神经群的最终表现。我们展示了在模拟中学习的模型的成功部署到高度资源受限的物理四体体执行站保持和目标交换行为。在Propers网站上提供代码和视频演示，在https://sites.google.com/view/swarm-rl上获得。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

深度加强学习（RL）使得可以使用神经网络作为功能近似器来解决复杂的机器人问题。然而，在从一个环境转移到另一个环境时，在普通环境中培训的政策在泛化方面受到影响。在这项工作中，我们使用强大的马尔可夫决策过程（RMDP）来训练无人机控制策略，这将思想与强大的控制和RL相结合。它选择了悲观优化，以处理从一个环境到另一个环境的策略转移之间的潜在间隙。训练有素的控制策略是关于四转位位置控制的任务。 RL代理商在Mujoco模拟器中培训。在测试期间，使用不同的环境参数（培训期间看不见）来验证训练策略的稳健性，以从一个环境转移到另一个环境。强大的政策在这些环境中表现出标准代理，表明增加的鲁棒性增加了一般性，并且可以适应非静止环境。代码：https://github.com/adipandas/gym_multirotor

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.

深度学习的兴起导致机器人研究中的范式转变，有利于需要大量数据的方法。在物理平台上生成这样的数据集是昂贵的。因此，最先进的方法在模拟中学习，其中数据生成快速以及廉价并随后将知识转移到真实机器人（SIM-to-Real）。尽管变得越来越真实，但所有模拟器都是基于模型的施工，因此不可避免地不完善。这提出了如何修改模拟器以促进学习机器人控制政策的问题，并克服模拟与现实之间的不匹配，通常称为“现实差距”。我们对机器人学的SIM-Teal研究提供了全面的审查，专注于名为“域随机化”的技术，这是一种从随机仿真学习的方法。

Figure 1: A five-fingered humanoid hand trained with reinforcement learning manipulating a block from an initial configuration to a goal configuration using vision for sensing.

将无人机应用扩展到复杂任务的研究需要稳定的控制框架。最近，在许多研究中，对机器人控制以完成复杂的任务进行了深入的强化学习（RL）算法。不幸的是，由于难以解释博学的政策和缺乏稳定保证，尤其是对于诸如攀岩无人机之类的复杂任务，因此深入的RL算法可能不适合直接部署到现实世界的机器人平台中。本文提出了一种新型的混合体系结构，该结构通过使用无模型的Deep RL算法学习的强大策略来增强名义控制器。所提出的架构采用不确定性感受的控制搅拌机来保留名义控制器的保证稳定性，同时使用学习策略的扩展性能。该政策在模拟环境中进行了数千个域随机化的培训，以实现多样化的不确定性的稳健性能。通过现实世界实验验证了所提出的方法的性能，然后与传统的控制器和经过香草深RL算法训练的基于最新的学习控制器进行了比较。

如果我们想在将它们部署在现实中之前在模拟中训练机器人，那么假定减少SIM2REAL差距的人似乎很自然，并且几乎是不言而喻的，涉及创建富裕性的模拟器（因为现实就是事实）。我们挑战了这一假设并提出了相反的假设-SIM2REAL转移机器人可以通过较低（不是更高）的保真度模拟来改善。我们使用3种不同的机器人（A1，Aliengo，Spot）对这一假设进行了系统的大规模评估 - 在现实世界中以及2个不同的模拟器（栖息地和Igibson）。我们的结果表明，与期望相反，增加忠诚无助于学习。由于模拟速度缓慢（防止大规模学习）和对模拟物理学不准确的过度拟合，因此性能较差。取而代之的是，使用现实世界数据构建机器人运动的简单模型可以改善学习和概括。

对于空中机器人来说，以快速而健壮的方式倒置着陆是一项艰巨的壮举，尤其是完全取决于板载感应和计算。尽管如此，这项壮举通常由蝙蝠，苍蝇和蜜蜂等生物传单进行。我们以前的工作已经确定了一系列板载视觉提示与运动学动作之间的直接因果关系，这些关系允许在小型空中机器人中可靠地执行这种具有挑战性的特技操纵。在这项工作中，我们首先利用深入的强化学习和基于物理的模拟来获得从任何任意方法条件开始的一般最佳控制策略，以实现强大的倒置着陆。这项优化的控制策略提供了从系统的观察空间到其电动机命令动作空间的计算效率映射，包括触发和控制旋转操作。这是通过训练系统在大量和方向变化的大量进式飞行速度上进行训练。接下来，我们通过在仿真中改变了机器人的惯性参数，通过域随机化对学习策略进行了模拟策略的传输和实验验证。通过实验试验，我们确定了几个主要因素，这些因素极大地改善了着陆鲁棒性和确定倒置成功的主要机制。我们希望这项研究中开发的学习框架可以推广以解决更具挑战性的任务，例如利用嘈杂的板载感觉数据，降落在各种方向的表面上或降落在动态移动的表面上。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

由于非线性动力学，执行器约束和耦合的纵向和横向运动，部分地，固定翼无人驾驶飞行器（无人机）的姿态控制是一个困难的控制问题。目前的最先进的自动驾驶仪基于线性控制，因此有限于其有效性和性能。深度加强学习（DRL）是一种通过与受控系统的交互自动发现最佳控制法的机器学习方法，可以处理复杂的非线性动态。我们在本文中展示DRL可以成功学习直接在原始非线性动态上运行的固定翼UAV的态度控制，需要短至三分钟的飞行数据。我们最初在仿真环境中培训我们的模型，然后在飞行测试中部署无人机的学习控制器，向最先进的ArduplaneProportional-Integry-artivation（PID）姿态控制器的表现展示了可比的性能，而无需进一步的在线学习。为了更好地理解学习控制器的操作，我们呈现了对其行为的分析，包括与现有良好调整的PID控制器的比较。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

近年来，商业上可用和负担得起的四足动物机器人激增，其中许多平台在研究和行业中都被积极使用。随着腿部机器人的可用性的增长，对这些机器人能够执行有用技能的控制器的需求也是如此。但是，大多数用于控制器开发的基于学习的框架都集中在培训机器人特定的控制器上，该过程需要为每个新机器人重复。在这项工作中，我们引入了一个用于训练四足机器人的广义运动（Genloco）控制器的框架。我们的框架合成了可以部署在具有相似形态的各种四足动物的机器人上的通用运动控制器。我们提出了一种简单但有效的形态随机化方法，该方法在程序上生成了一组训练的模拟机器人。我们表明，通过对这套模拟机器人进行训练，我们的模型获得了更多的通用控制策略，这些策略可以直接转移到具有多种形态的新型模拟和真实世界机器人中，在训练过程中未观察到。

现在，最先进的强化学习能够在模拟中学习双皮亚机器人的多功能运动，平衡和推送能力。然而，现实差距大多被忽略了，模拟结果几乎不会转移到真实硬件上。在实践中，它是不成功的，因为物理学过度简化，硬件限制被忽略，或者不能保证规律性，并且可能会发生意外的危险运动。本文提出了一个强化学习框架，该框架能够学习以平稳的开箱即用向现实的转移，仅需要瞬时的本体感受观察，可以学习强大的站立式恢复。通过结合原始的终止条件和政策平滑度调节，我们使用没有记忆力或观察历史的政策实现了稳定的学习，SIM转移和安全性。然后使用奖励成型来提供有关如何保持平衡的见解。我们展示了其在下LIMB医学外骨骼Atalante中的现实表现。

本文解决了开发一种用于垂直起飞和降落（VTOL）无人驾驶飞机（UAV）自动船舶登陆算法的问题，仅使用无人机中的单眼相机进行跟踪和本地化。船舶着陆是一项具有挑战性的任务，这是由于较小的着陆空间，六个自由度船甲板运动，定位的视觉参考有限以及诸如风阵等的对抗环境条件。我们首先开发了一种计算机视觉算法，该算法估计了使用无人机上的单眼视觉摄像头的图像流在着陆平台上在降落平台上的地平线参考栏的相对位置。我们的方法是由实际的船舶着陆程序动机，然后是海军直升机飞行员在跟踪视觉提示的地平线参考栏时的动机。然后，我们开发了一种强大的增强学习（RL）算法，即使在存在诸如风阵的对抗环境条件的情况下，也可以控制无人机朝着着陆平台。我们证明了与基准非线性PID控制方法相比，我们的算法的性能优越自由（DOF）甲板运动。

二次运动的准确轨迹跟踪控制对于在混乱环境中的安全导航至关重要。但是，由于非线性动态，复杂的空气动力学效应和驱动约束，这在敏捷飞行中具有挑战性。在本文中，我们通过经验比较两个最先进的控制框架：非线性模型预测控制器（NMPC）和基于差异的控制器（DFBC），通过以速度跟踪各种敏捷轨迹，最多20 m/s（即72 km/h）。比较在模拟和现实世界环境中进行，以系统地评估这两种方法从跟踪准确性，鲁棒性和计算效率的方面。我们以更高的计算时间和数值收敛问题的风险来表明NMPC在跟踪动态不可行的轨迹方面的优势。对于这两种方法，我们还定量研究了使用增量非线性动态反演（INDI）方法添加内环控制器的效果，以及添加空气动力学阻力模型的效果。我们在世界上最大的运动捕获系统之一中进行的真实实验表明，NMPC和DFBC的跟踪误差降低了78％以上，这表明有必要使用内环控制器和用于敏捷轨迹轨迹跟踪的空气动力学阻力模型。

我们解决了在存在障碍物的情况下，通过一系列航路点来解决四肢飞行的最低时间飞行问题，同时利用了完整的四型动力学。早期作品依赖于简化的动力学或多项式轨迹表示，而这些动力学或多项式轨迹表示，这些表示没有利用四四光的全部执行器电位，因此导致了次优溶液。最近的作品可以计划最小的时间轨迹；然而，轨迹是通过无法解释障碍的控制方法执行的。因此，由于模型不匹配和机上干扰，成功执行此类轨迹很容易出现错误。为此，我们利用深厚的强化学习和经典的拓扑路径计划来训练强大的神经网络控制器，以在混乱的环境中为最少的四型四型飞行。由此产生的神经网络控制器表现出比最新方法相比，高达19％的性能要高得多。更重要的是，博学的政策同时在线解决了计划和控制问题，以解决干扰，从而实现更高的鲁棒性。因此，提出的方法在没有碰撞的情况下实现了100％的最低时间策略的成功率，而传统的计划和控制方法仅获得40％。所提出的方法在模拟和现实世界中均已验证，四速速度高达42公里/小时，加速度为3.6g。