我们展示了通过大规模多代理端到端增强学习的大射击可转移到真正的四轮压力机的无人驾驶群体控制器的可能性。我们培训由神经网络参数化的政策，该政策能够以完全分散的方式控制群体中的各个无人机。我们的政策，在具有现实的四轮流物理学的模拟环境中训练，展示了先进的植绒行为，在紧张的地层中执行侵略性的操作，同时避免彼此的碰撞，破裂和重新建立地层，以避免与移动障碍的碰撞，并有效地协调追求障碍，并有效地协调追求逃避任务。在模拟中，我们分析了培训制度的不同模型架构和参数影响神经群的最终表现。我们展示了在模拟中学习的模型的成功部署到高度资源受限的物理四体体执行站保持和目标交换行为。在Propers网站上提供代码和视频演示，在https://sites.google.com/view/swarm-rl上获得。

碰撞避免算法对许多无人机应用程序具有核心兴趣。特别地，分散的方法可以是在集中通信变得过艰巨的情况下启用强大的无人机群解决方案的关键。在这项工作中，我们从椋鸟（Ventgaris）的群群中汲取生物启示，并将洞察力应用于结尾学的分散碰撞避免。更具体地，我们提出了一种新的，可伸缩的观察模型，其仿生最近邻的信息约束，导致快速学习和良好的碰撞行为。通过提出一般加强学习方法，我们获得了基于端到端的学习方法，以通过包装收集和形成变化等任意任务集成碰撞避免。为了验证这种方法的一般性，我们通过中等复杂性的运动模型成功地应用了我们的方法，建模势头，仍然可以与标准PID控制器结合使用直接应用。与事先作品相比，我们发现，在我们足够丰富的运动模型中，最近的邻居信息确实足以学习有效的碰撞行为。我们的学习政策在模拟中进行了测试，随后转移到现实世界的无人机，以验证其现实世界的适用性。

Legged robots pose one of the greatest challenges in robotics. Dynamic and agile maneuvers of animals cannot be imitated by existing methods that are crafted by humans. A compelling alternative is reinforcement learning, which requires minimal craftsmanship and promotes the natural evolution of a control policy. However, so far, reinforcement learning research for legged robots is mainly limited to simulation, and only few and comparably simple examples have been deployed on real systems. The primary reason is that training with real robots, particularly with dynamically balancing systems, is complicated and expensive. In the present work, we report a new method for training a neural network policy in simulation and transferring it to a state-of-the-art legged system, thereby we leverage fast, automated, and cost-effective data generation schemes. The approach is applied to the ANYmal robot, a sophisticated medium-dog-sized quadrupedal system. Using policies trained in simulation, the quadrupedal machine achieves locomotion skills that go beyond what had been achieved with prior methods: ANYmal is capable of precisely and energy-efficiently following high-level body velocity commands, running faster than ever before, and recovering from falling even in complex configurations.

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

我们解决了在存在障碍物的情况下，通过一系列航路点来解决四肢飞行的最低时间飞行问题，同时利用了完整的四型动力学。早期作品依赖于简化的动力学或多项式轨迹表示，而这些动力学或多项式轨迹表示，这些表示没有利用四四光的全部执行器电位，因此导致了次优溶液。最近的作品可以计划最小的时间轨迹；然而，轨迹是通过无法解释障碍的控制方法执行的。因此，由于模型不匹配和机上干扰，成功执行此类轨迹很容易出现错误。为此，我们利用深厚的强化学习和经典的拓扑路径计划来训练强大的神经网络控制器，以在混乱的环境中为最少的四型四型飞行。由此产生的神经网络控制器表现出比最新方法相比，高达19％的性能要高得多。更重要的是，博学的政策同时在线解决了计划和控制问题，以解决干扰，从而实现更高的鲁棒性。因此，提出的方法在没有碰撞的情况下实现了100％的最低时间策略的成功率，而传统的计划和控制方法仅获得40％。所提出的方法在模拟和现实世界中均已验证，四速速度高达42公里/小时，加速度为3.6g。

在这项工作中，我们表明，可以在模拟中完全使用加强学习进行培训低级控制策略，然后，在Quadrotor机器人上部署它们而不使用真实数据进行微调。为了渲染零拍策略转移可行，我们应用模拟优化以缩小现实差距。我们的神经网络的策略仅使用车载数据，并完全在嵌入式无人机硬件上运行。在广泛的真实实验中，我们比较三种不同的控制结构，范围从低级脉冲宽度调制的电机命令到基于嵌套比例 - 积分衍生物控制器的高级姿态控制。我们的实验表明，利用加固学习培训的低级控制器需要比更高级别的控制策略更准确的模拟。

We consider the problem of multi-agent navigation and collision avoidance when observations are limited to the local neighborhood of each agent. We propose InforMARL, a novel architecture for multi-agent reinforcement learning (MARL) which uses local information intelligently to compute paths for all the agents in a decentralized manner. Specifically, InforMARL aggregates information about the local neighborhood of agents for both the actor and the critic using a graph neural network and can be used in conjunction with any standard MARL algorithm. We show that (1) in training, InforMARL has better sample efficiency and performance than baseline approaches, despite using less information, and (2) in testing, it scales well to environments with arbitrary numbers of agents and obstacles.

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

模拟虚拟人群的轨迹是计算机图形中通常遇到的任务。最近的一些作品应用了强化学习方法来使虚拟代理动画，但是在基本模拟设置方面，它们通常会做出不同的设计选择。这些选择中的每一个都有合理的使用依据，因此并不明显其真正的影响是什么，以及它们如何影响结果。在这项工作中，我们从对学习绩效的影响以及根据能源效率测得的模拟的质量分析了其中一些任意选择。我们对奖励函数设计的性质进行理论分析，并经验评估使用某些观察和动作空间对各种情况的影响，并将奖励函数和能量使用作为指标。我们表明，直接使用相邻代理的信息作为观察，通常优于更广泛使用的射线播放。同样，与具有绝对观察结果的自动对照相比，使用具有以自我为中心的观察的非体力学对照倾向于产生更有效的行为。这些选择中的每一个都对结果产生重大且潜在的非平凡影响，因此研究人员应该注意选择和报告他们的工作。

Figure 1: A five-fingered humanoid hand trained with reinforcement learning manipulating a block from an initial configuration to a goal configuration using vision for sensing.

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

将四型人降落在倾斜的表面上是一个具有挑战性的动作。任何倾斜着陆轨迹的最终状态都不是平衡，这排除了大多数常规控制方法的使用。我们提出了一种深入的强化学习方法，以设计倾斜表面的自动着陆控制器。使用具有稀疏奖励和量身定制的课程学习方法的近端政策优化（PPO）算法，可以在不到90分钟的标准笔记本电脑上培训倾斜的着陆政策。然后，该政策直接采用真正的Crazyflie 2.1四型四面管，并成功地在飞行舞台上执行了真正的倾向着陆。单个策略评估大约需要2.5 \，MS，这使其适用于四型在四面体上的未来嵌入式实现。

分散的多代理导航的代理缺乏世界知识，无法可靠地制定安全和（接近）最佳计划。他们将决定基于邻居的可观察状态，这隐藏了邻居的导航意图。我们提出了通过机构间沟通的增强分散导航，以提高其绩效和援助代理，以做出合理的导航决策。在这方面，我们提出了一种新颖的增强学习方法，用于使用选择性间隔沟通来避免多代理碰撞。我们的网络学会决定“何时”并与“谁”交流，以端到端的方式索取其他信息。我们将沟通选择作为链接预测问题，在该问题中，如果可以观察到的信息，网络可以预测是否需要通信。传达的信息增加了观察到的邻居信息以选择合适的导航计划。随着机器人的邻居数量的变化，我们使用多头自发项机制来编码邻居信息并创建固定长度的观察向量。我们验证我们提出的方法在挑战模拟基准中实现了多个机器人之间的安全有效导航。通过学习的通信，我们的网络的性能比在各种指标（例如到目标和碰撞频率）中的现有分散方法的表现要好得多。此外，我们展示了网络有效地学会在高复杂性情况下进行必要时进行交流。

在过去的几十年中，多机构增强学习（MARL）一直在学术界和行业受到广泛关注。 MAL中的基本问题之一是如何全面评估不同的方法。在视频游戏或简单的模拟场景中评估了大多数现有的MAL方法。这些方法在实际情况下，尤其是多机器人系统中的性能仍然未知。本文介绍了一个可扩展的仿真平台，用于多机器人增强学习（MRRL），称为SMART，以满足这一需求。确切地说，智能由两个组成部分组成：1）一个模拟环境，该环境为培训提供了各种复杂的交互场景，以及2）现实世界中的多机器人系统，用于现实的性能评估。此外，SMART提供了代理环境API，这些API是算法实现的插件。为了说明我们平台的实用性，我们就合作驾驶车道变更方案进行了案例研究。在案例研究的基础上，我们总结了MRRL的一些独特挑战，这些挑战很少被考虑。最后，我们为鼓励和增强MRRL研究的仿真环境，相关的基准任务和最先进的基线开放。

随着腿部机器人和嵌入式计算都变得越来越有能力，研究人员已经开始专注于这些机器人的现场部署。在非结构化环境中的强大自治需要对机器人周围的世界感知，以避免危害。但是，由于处理机车动力学所需的复杂规划人员和控制器，因此在网上合并在线的同时在线保持敏捷运动对腿部机器人更具挑战性。该报告将比较三种最新的感知运动方法，并讨论可以使用视觉来实现腿部自主权的不同方式。

了解来自群体中集体行为的分散性动态对于通知人工群和多态机械系统中的机器人控制器设计至关重要。然而，代理人与代理人的相互作用和大多数群体的分散性质对来自全球行为的单机器人控制法的提取构成重大挑战。在这项工作中，我们考虑完全基于群体轨迹的国家观察学习分散单机器人控制器的重要任务。我们通过采用基于知识的神经常规方程（KNODE）来提出一般框架 - 一种能够将人工神经网络与已知代理动态组合的混合机学习方法。我们的方法与大多数事先有关的方法区分，因为我们不需要学习的行动数据。我们分别在2D和3D中将框架应用于两个不同的植绒群，并通过利用群体信息网络的图形结构来展示有效的培训。我们进一步表明，学习的单机器人控制器不仅可以重现原始群体中的植绒行为，而且还可以使用更多机器人来扩展到群体。

深度加强学习（RL）使得可以使用神经网络作为功能近似器来解决复杂的机器人问题。然而，在从一个环境转移到另一个环境时，在普通环境中培训的政策在泛化方面受到影响。在这项工作中，我们使用强大的马尔可夫决策过程（RMDP）来训练无人机控制策略，这将思想与强大的控制和RL相结合。它选择了悲观优化，以处理从一个环境到另一个环境的策略转移之间的潜在间隙。训练有素的控制策略是关于四转位位置控制的任务。 RL代理商在Mujoco模拟器中培训。在测试期间，使用不同的环境参数（培训期间看不见）来验证训练策略的稳健性，以从一个环境转移到另一个环境。强大的政策在这些环境中表现出标准代理，表明增加的鲁棒性增加了一般性，并且可以适应非静止环境。代码：https://github.com/adipandas/gym_multirotor

现在，最先进的强化学习能够在模拟中学习双皮亚机器人的多功能运动，平衡和推送能力。然而，现实差距大多被忽略了，模拟结果几乎不会转移到真实硬件上。在实践中，它是不成功的，因为物理学过度简化，硬件限制被忽略，或者不能保证规律性，并且可能会发生意外的危险运动。本文提出了一个强化学习框架，该框架能够学习以平稳的开箱即用向现实的转移，仅需要瞬时的本体感受观察，可以学习强大的站立式恢复。通过结合原始的终止条件和政策平滑度调节，我们使用没有记忆力或观察历史的政策实现了稳定的学习，SIM转移和安全性。然后使用奖励成型来提供有关如何保持平衡的见解。我们展示了其在下LIMB医学外骨骼Atalante中的现实表现。

本文提出了针对四方的通用自适应控制器，可以将其部署为零射击到具有截然不同的质量，手臂长度和运动常数的四轮驱动器，并且还显示出对运行时未知干扰的快速适应。核心算法的想法是学习一个单一的策略，该策略不仅可以在测试时间在线适应无人机的干扰，还可以在同一框架中适用于机器人动力学和硬件。我们通过训练神经网络来估计机器人和环境参数的潜在表示，该参数用于调节控制器的行为，也表示为神经网络。我们专门训练两个网络进行模拟，目的是将四轮驱动器飞往目标位置并避免撞击地面。我们直接在模拟中训练了相同的控制器，而没有对两个四肢旋转器进行任何修改，其中质量，惯性差异差异，最大电动机速度最大为4次。此外，我们显示了四肢和惯性的突然和大型干扰（最高35.7％）的快速适应。我们在模拟和物理世界中进行了广泛的评估，在该评估中，我们的表现优于最先进的基于学习的自适应控制器和专门针对每个平台的传统PID控制器。视频结果可以在https://dz298.github.io/universal-drone-controller/上找到。

多机器人导航是一项具有挑战性的任务，其中必须在动态环境中同时协调多个机器人。我们应用深入的加固学习（DRL）来学习分散的端到端策略，该政策将原始传感器数据映射到代理的命令速度。为了使政策概括，培训是在不同的环境和场景中进行的。在常见的多机器人场景中测试和评估了学识渊博的政策，例如切换一个地方，交叉路口和瓶颈情况。此策略使代理可以从死端恢复并浏览复杂的环境。