尽管许多多机器人协调问题可以通过精确算法最佳解决，但在机器人数量中通常无法扩展解决方案。多代理强化学习（MARL）正在在机器人社区中越来越关注，这是解决此类问题的一种有希望的解决方案。然而，我们仍然缺乏使我们能够快速有效地找到大规模集体学习任务的解决方案的工具。在这项工作中，我们介绍了矢量化的多代理模拟器（VMA）。 VMA是一个旨在有效的Marl基准测试的开源框架。它由用pytorch编写的矢量化2D物理引擎和一组十二个具有挑战性的多机器人场景组成。可以通过简单的模块化接口实现其他方案。我们证明了矢量化如何在没有增加复杂性的情况下对加速硬件进行并行模拟。在将VMA与OpenAI MPE进行比较时，我们显示了MPE的执行时间如何在模拟数量中线性增加，而VMA可以在10秒内执行30,000个并行模拟，证明超过100倍以上。使用VMA的RLLIB接口，我们使用基于各种近端策略优化（PPO）的MARL算法对多机器人方案进行基准测试。 VMA的场景以正交方式证明了最先进的MARL算法的挑战。 VMA框架可在https://github.com/proroklab/dectorizedmultiagentsimulator上获得。 VMA场景和实验的视频可在https://youtu.be/aadryfiesay} {here} \ footnote {\ url {https://youtu.be/aadryfiesay上获得。

在过去的几十年中，多机构增强学习（MARL）一直在学术界和行业受到广泛关注。 MAL中的基本问题之一是如何全面评估不同的方法。在视频游戏或简单的模拟场景中评估了大多数现有的MAL方法。这些方法在实际情况下，尤其是多机器人系统中的性能仍然未知。本文介绍了一个可扩展的仿真平台，用于多机器人增强学习（MRRL），称为SMART，以满足这一需求。确切地说，智能由两个组成部分组成：1）一个模拟环境，该环境为培训提供了各种复杂的交互场景，以及2）现实世界中的多机器人系统，用于现实的性能评估。此外，SMART提供了代理环境API，这些API是算法实现的插件。为了说明我们平台的实用性，我们就合作驾驶车道变更方案进行了案例研究。在案例研究的基础上，我们总结了MRRL的一些独特挑战，这些挑战很少被考虑。最后，我们为鼓励和增强MRRL研究的仿真环境，相关的基准任务和最先进的基线开放。

多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。

流动性和流量的许多方案都涉及多种不同的代理，需要合作以找到共同解决方案。行为计划的最新进展使用强化学习以寻找有效和绩效行为策略。但是，随着自动驾驶汽车和车辆对X通信变得越来越成熟，只有使用单身独立代理的解决方案在道路上留下了潜在的性能增长。多代理增强学习（MARL）是一个研究领域，旨在为彼此相互作用的多种代理找到最佳解决方案。这项工作旨在将该领域的概述介绍给研究人员的自主行动能力。我们首先解释Marl并介绍重要的概念。然后，我们讨论基于Marl算法的主要范式，并概述每个范式中最先进的方法和思想。在这种背景下，我们调查了MAL在自动移动性场景中的应用程序，并概述了现有的场景和实现。

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

我们介绍了Godot强化学习（RL）代理，这是一个用于在戈戈斯游戏引擎中发展环境和代理的开源接口。Goot RL代理界面允许在具有各种策略和偏离策略的深度RL算法的具有挑战性的2D和3D环境中设计，创建和学习代理行为。我们提供标准的健身房界面，带有包装纸，用于学习Ray Rllib和稳定的基线RL框架。这允许用户访问最近20个艺术策略，禁止策略和多代理RL算法的状态。该框架是一个多功能工具，允许研究人员和游戏设计人员能够使用离散，连续和混合动作空间创建环境。界面相对表现，在高端膝上型计算机上每秒12k交互，当在4个CPU内核上被平移。概述视频可在此处提供：https://youtu.be/g1mlzsfqij4

众所周知，很难拥有一个可靠且强大的框架来将多代理深入强化学习算法与实用的多机器人应用联系起来。为了填补这一空白，我们为称为MultiroBolearn1的多机器人系统提出并构建了一个开源框架。该框架构建了统一的模拟和现实应用程序设置。它旨在提供标准的，易于使用的模拟方案，也可以轻松地将其部署到现实世界中的多机器人环境中。此外，该框架为研究人员提供了一个基准系统，以比较不同的强化学习算法的性能。我们使用不同类型的多代理深钢筋学习算法在离散和连续的动作空间中使用不同类型的多代理深钢筋学习算法来证明框架的通用性，可扩展性和能力。

We consider the problem of multi-agent navigation and collision avoidance when observations are limited to the local neighborhood of each agent. We propose InforMARL, a novel architecture for multi-agent reinforcement learning (MARL) which uses local information intelligently to compute paths for all the agents in a decentralized manner. Specifically, InforMARL aggregates information about the local neighborhood of agents for both the actor and the critic using a graph neural network and can be used in conjunction with any standard MARL algorithm. We show that (1) in training, InforMARL has better sample efficiency and performance than baseline approaches, despite using less information, and (2) in testing, it scales well to environments with arbitrary numbers of agents and obstacles.

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

This work considers the problem of learning cooperative policies in complex, partially observable domains without explicit communication. We extend three classes of single-agent deep reinforcement learning algorithms based on policy gradient, temporal-difference error, and actor-critic methods to cooperative multi-agent systems. We introduce a set of cooperative control tasks that includes tasks with discrete and continuous actions, as well as tasks that involve hundreds of agents. The three approaches are evaluated against each other using different neural architectures, training procedures, and reward structures. Using deep reinforcement learning with a curriculum learning scheme, our approach can solve problems that were previously considered intractable by most multi-agent reinforcement learning algorithms. We show that policy gradient methods tend to outperform both temporal-difference and actor-critic methods when using feed-forward neural architectures. We also show that recurrent policies, while more difficult to train, outperform feed-forward policies on our evaluation tasks.

我们提供了PelficGridWorld软件包，为用户提供轻量级，模块化和可定制的框架，用于创建专注的电源系统的多代理体育馆环境，该环境易于与强化学习（RL）的现有培训框架集成。虽然存在许多框架用于训练多代理RL（MARL）政策，但没有可以快速原型并发开发环境，尤其是在所需电流解决方案来定义网格的异构（复合式，多器件）电力系统的背景下 - 级别变量和成本。 PowerGridWorld是一个开源软件包，有助于填补此间隙。为了突出PowerGridWorld的关键功能，我们展示了两个案例研究，并使用Openai的多代理深度确定性政策梯度（MADDPG）和RLLIB的近端策略优化（PPO）算法来演示MARL政策。在这两种情况下，至少一些代理子集合在每次作为奖励（负成本）结构的一部分中的一部分中的功率流溶液的元件。

多代理增强学习实验和开源培训环境通常受到限制，支撑数十个或有时甚至多达数百种相互作用的代理。在本文中，我们证明了Vogue的使用，Vogue是一个基于高性能代理的模型（ABM）框架。Vogue是一个多代理培训环境，为成千上万的互动代理提供了支持，同时通过在GPU上运行环境和增强学习（RL）代理来维持高训练吞吐量。在此规模的高性能多机构环境有可能使可靠和灵活的策略学习在复杂系统的ABM和模拟中使用。我们通过两个新开发的大型多代理培训环境展示了培训表现。此外，我们表明这些环境可以在数分钟和数小时的时间范围内训练共享的RL政策。

We explore deep reinforcement learning methods for multi-agent domains. We begin by analyzing the difficulty of traditional algorithms in the multi-agent case: Q-learning is challenged by an inherent non-stationarity of the environment, while policy gradient suffers from a variance that increases as the number of agents grows. We then present an adaptation of actor-critic methods that considers action policies of other agents and is able to successfully learn policies that require complex multiagent coordination. Additionally, we introduce a training regimen utilizing an ensemble of policies for each agent that leads to more robust multi-agent policies. We show the strength of our approach compared to existing methods in cooperative as well as competitive scenarios, where agent populations are able to discover various physical and informational coordination strategies.

多代理深入的强化学习已应用于解决各种离散或连续动作空间的各种复杂问题，并取得了巨大的成功。但是，大多数实际环境不能仅通过离散的动作空间或连续的动作空间来描述。而且很少有作品曾经利用深入的加固学习（DRL）来解决混合动作空间的多代理问题。因此，我们提出了一种新颖的算法：深层混合软性角色 - 批评（MAHSAC）来填补这一空白。该算法遵循集中式训练但分散执行（CTDE）范式，并扩展软actor-Critic算法（SAC），以根据最大熵在多机构环境中处理混合动作空间问题。我们的经验在一个简单的多代理粒子世界上运行，具有连续的观察和离散的动作空间以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度，稳定性和抗干扰能力方面具有良好的性能。同时，它在合作场景和竞争性场景中胜过现有的独立深层学习方法。

随着自动驾驶行业的发展，自动驾驶汽车群体的潜在相互作用也随之增长。结合人工智能和模拟的进步，可以模拟此类组，并且可以学习控制内部汽车的安全模型。这项研究将强化学习应用于多代理停车场的问题，在那里，汽车旨在有效地停车，同时保持安全和理性。利用强大的工具和机器学习框架，我们以马尔可夫决策过程的形式与独立学习者一起设计和实施灵活的停车环境，从而利用多代理通信。我们实施了一套工具来进行大规模执行实验，从而取得了超过98.1％成功率的高达7辆汽车的模型，从而超过了现有的单代机构模型。我们还获得了与汽车在我们环境中表现出的竞争性和协作行为有关的几个结果，这些行为的密度和沟通水平各不相同。值得注意的是，我们发现了一种没有竞争的合作形式，以及一种“泄漏”的合作形式，在没有足够状态的情况下，代理商进行了协作。这种工作在自动驾驶和车队管理行业中具有许多潜在的应用，并为将强化学习应用于多机构停车场提供了几种有用的技术和基准。

我们研究了流行的集中训练和分散执行（CTDE）范式中的多机器人发臭导航问题。当每个机器人考虑其路径而不明确地与其他机器人明确分享观察时，这一问题挑战了，可能导致深度加强学习（DRL）中的非静止问题。典型的CTDE算法将联合动作值函数分解为个别函数，以支持合作并实现分散的执行。这种分解涉及限制（例如，单调性），其限制在个体中的新行为的出现，因为从联合动作值开始训练。相比之下，我们为CTDE提出了一种新颖的架构，该架构使用集中式状态值网络来计算联合状态值，该值用于在代理的基于值的更新中注入全局状态信息。因此，考虑到环境的整体状态，每个模型计算其权重的梯度更新。我们的想法遵循Dueling Networks作为联合状态值的单独估计的独立估计，具有提高采样效率的优点，同时提供每个机器人信息，无论全局状态是否为（或不是）有价值的。具有2 4和8个机器人的机器人导航任务的实验，确认了我们对先前CTDE方法的方法的卓越性能（例如，VDN，QMIX）。

我们展示了通过大规模多代理端到端增强学习的大射击可转移到真正的四轮压力机的无人驾驶群体控制器的可能性。我们培训由神经网络参数化的政策，该政策能够以完全分散的方式控制群体中的各个无人机。我们的政策，在具有现实的四轮流物理学的模拟环境中训练，展示了先进的植绒行为，在紧张的地层中执行侵略性的操作，同时避免彼此的碰撞，破裂和重新建立地层，以避免与移动障碍的碰撞，并有效地协调追求障碍，并有效地协调追求逃避任务。在模拟中，我们分析了培训制度的不同模型架构和参数影响神经群的最终表现。我们展示了在模拟中学习的模型的成功部署到高度资源受限的物理四体体执行站保持和目标交换行为。在Propers网站上提供代码和视频演示，在https://sites.google.com/view/swarm-rl上获得。

在合作多智能体增强学习（Marl）中的代理商的创造和破坏是一个批判性的研究领域。当前的Marl算法通常认为，在整个实验中，组内的代理数量仍然是固定的。但是，在许多实际问题中，代理人可以在队友之前终止。这次早期终止问题呈现出挑战：终止的代理人必须从本集团的成功或失败中学习，这是超出其自身存在的成败。我们指代薪资奖励的传播价值作为遣返代理商作为追索的奖励作为追索权。当前的MARL方法通过将这些药剂放在吸收状态下，直到整组试剂达到终止条件，通过将这些药剂置于终止状态来处理该问题。虽然吸收状态使现有的算法和API能够在没有修改的情况下处理终止的代理，但存在实际培训效率和资源使用问题。在这项工作中，我们首先表明样本复杂性随着系统监督学习任务中的吸收状态的数量而增加，同时对变量尺寸输入更加强大。然后，我们为现有的最先进的MARL算法提出了一种新颖的架构，它使用注意而不是具有吸收状态的完全连接的层。最后，我们展示了这一新颖架构在剧集中创建或销毁的任务中的标准架构显着优于标准架构以及标准的多代理协调任务。