将深度强化学习（DRL）扩展到多代理领域的研究已经解决了许多复杂的问题，并取得了重大成就。但是，几乎所有这些研究都只关注离散或连续的动作空间，而且很少有作品曾经使用过多代理的深度强化学习来实现现实世界中的环境问题，这些问题主要具有混合动作空间。因此，在本文中，我们提出了两种算法：深层混合软性角色批评（MAHSAC）和多代理混合杂种深层确定性政策梯度（MAHDDPG）来填补这一空白。这两种算法遵循集中式培训和分散执行（CTDE）范式，并可以解决混合动作空间问题。我们的经验在多代理粒子环境上运行，这是一个简单的多代理粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。

多代理深入的强化学习已应用于解决各种离散或连续动作空间的各种复杂问题，并取得了巨大的成功。但是，大多数实际环境不能仅通过离散的动作空间或连续的动作空间来描述。而且很少有作品曾经利用深入的加固学习（DRL）来解决混合动作空间的多代理问题。因此，我们提出了一种新颖的算法：深层混合软性角色 - 批评（MAHSAC）来填补这一空白。该算法遵循集中式训练但分散执行（CTDE）范式，并扩展软actor-Critic算法（SAC），以根据最大熵在多机构环境中处理混合动作空间问题。我们的经验在一个简单的多代理粒子世界上运行，具有连续的观察和离散的动作空间以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度，稳定性和抗干扰能力方面具有良好的性能。同时，它在合作场景和竞争性场景中胜过现有的独立深层学习方法。

Reinforcement learning in multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in singleagent settings. We present an actor-critic algorithm that trains decentralized policies in multiagent settings, using centrally computed critics that share an attention mechanism which selects relevant information for each agent at every timestep. This attention mechanism enables more effective and scalable learning in complex multiagent environments, when compared to recent approaches. Our approach is applicable not only to cooperative settings with shared rewards, but also individualized reward settings, including adversarial settings, as well as settings that do not provide global states, and it makes no assumptions about the action spaces of the agents. As such, it is flexible enough to be applied to most multi-agent learning problems.

We explore deep reinforcement learning methods for multi-agent domains. We begin by analyzing the difficulty of traditional algorithms in the multi-agent case: Q-learning is challenged by an inherent non-stationarity of the environment, while policy gradient suffers from a variance that increases as the number of agents grows. We then present an adaptation of actor-critic methods that considers action policies of other agents and is able to successfully learn policies that require complex multiagent coordination. Additionally, we introduce a training regimen utilizing an ensemble of policies for each agent that leads to more robust multi-agent policies. We show the strength of our approach compared to existing methods in cooperative as well as competitive scenarios, where agent populations are able to discover various physical and informational coordination strategies.

分散的学习对合作多代理增强学习（MARL）表现出了巨大的希望。但是，非平稳性仍然是分散学习的重大挑战。在论文中，我们以最简单和基本的方式解决了非平稳性问题，并提出\ textit {多代理替代Q学习}（MA2QL），在那里，代理商轮流通过Q学习来更新其Q-函数。MA2QL是完全分散合作MARL的一种\ Textit {Minimalist}方法，但理论上是基础的。我们证明，当每个代理商在每个回合都保证$ \ varepsilon $ -Convergence时，他们的联合政策会收敛到NASH平衡。实际上，MA2QL仅需要对独立Q学习（IQL）的最小变化。我们经验评估MA2QL对各种合作的多代理任务。结果表明，MA2QL始终胜过IQL，尽管这种变化很小，但它验证了MA2QL的有效性。

许多现实世界的应用程序都可以作为多机构合作问题进行配置，例如网络数据包路由和自动驾驶汽车的协调。深入增强学习（DRL）的出现为通过代理和环境的相互作用提供了一种有前途的多代理合作方法。但是，在政策搜索过程中，传统的DRL解决方案遭受了多个代理具有连续动作空间的高维度。此外，代理商政策的动态性使训练非平稳。为了解决这些问题，我们建议采用高级决策和低水平的个人控制，以进行有效的政策搜索，提出一种分层增强学习方法。特别是，可以在高级离散的动作空间中有效地学习多个代理的合作。同时，低水平的个人控制可以减少为单格强化学习。除了分层增强学习外，我们还建议对手建模网络在学习过程中对其他代理的政策进行建模。与端到端的DRL方法相反，我们的方法通过以层次结构将整体任务分解为子任务来降低学习的复杂性。为了评估我们的方法的效率，我们在合作车道变更方案中进行了现实世界中的案例研究。模拟和现实世界实验都表明我们的方法在碰撞速度和收敛速度中的优越性。

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

保守主义的概念导致了离线强化学习（RL）的重要进展，其中代理从预先收集的数据集中学习。但是，尽可能多的实际方案涉及多个代理之间的交互，解决更实际的多代理设置中的离线RL仍然是一个开放的问题。鉴于最近将Online RL算法转移到多代理设置的成功，可以预期离线RL算法也将直接传输到多代理设置。令人惊讶的是，当基于保守的算法应用于多蛋白酶的算法时，性能显着降低了越来越多的药剂。为了减轻劣化，我们确定了价值函数景观可以是非凹形的关键问题，并且策略梯度改进容易出现本地最优。自从任何代理人的次优政策可能导致不协调的全球失败以来，多个代理人会加剧问题。在这种直觉之后，我们提出了一种简单而有效的方法，脱机多代理RL与演员整流（OMAR），通过有效的一阶政策梯度和Zeroth订单优化方法为演员更好地解决这一关键挑战优化保守值函数。尽管简单，奥马尔显着优于强大的基线，在多售后连续控制基准测试中具有最先进的性能。

政策梯度方法在多智能体增强学习中变得流行，但由于存在环境随机性和探索代理（即非公平性​​），它们遭受了高度的差异，这可能因信用分配难度而受到困扰。结果，需要一种方法，该方法不仅能够有效地解决上述两个问题，而且需要足够强大地解决各种任务。为此，我们提出了一种新的多代理政策梯度方法，称为强大的本地优势（ROLA）演员 - 评论家。 Rola允许每个代理人将个人动作值函数作为当地评论家，以及通过基于集中评论家的新型集中培训方法来改善环境不良。通过使用此本地批评，每个代理都计算基准，以减少对其策略梯度估计的差异，这导致含有其他代理的预期优势动作值，这些选项可以隐式提高信用分配。我们在各种基准测试中评估ROLA，并在许多最先进的多代理政策梯度算法上显示其鲁棒性和有效性。

本文提出了一种基于逆变器的Volt-VAR控制（IB-VVC）的一步两级深度强化学习（OSTC-DRL）方法。首先，考虑IB-VVC可以作为单周期优化问题进行配制，我们将IB-VVC作为单步马尔可夫决策过程而不是标准的Markov决策过程，从而简化了DRL学习任务。然后，我们设计了单步角色批判性DRL方案，该方案是最近DRL算法的简化版本，它可以成功地避免了Q值高估的问题。此外，考虑VVC的两个目标：最大程度地减少功率损耗并消除违反电压，我们利用两个批评家分别近似两个目标的回报。它简化了每个评论家的近似任务，并避免了评论家学习过程中两个目标之间的相互作用效果。 OSTC-DRL方法集成了单步角色批判性DRL方案和两批评技术。基于OSTC-DRL，我们设计了两种集中式DRL算法。此外，我们将OSTC-DRL扩展到分散的IB-VVC的多代理OSTC-DRL并设计两个多代理DRL算法。模拟表明，所提出的OSTC-DRL具有更快的收敛速度和更好的控制性能，并且多代理OSTC-DRL适用于分散的IB-VVC问题。

通过集中培训和分散执行的价值功能分解是有助于解决合作多功能协商强化任务的承诺。该地区QMIX的方法之一已成为最先进的，在星际争霸II微型管理基准上实现了最佳性能。然而，已知QMIX中每个代理估计的单调混合是限制它可以表示的关节动作Q值，以及单个代理价值函数估计的全局状态信息，通常导致子优相。为此，我们呈现LSF-SAC，这是一种新颖的框架，其具有基于变分推理的信息共享机制，作为额外的状态信息，以帮助在价值函数分子中提供各个代理。我们证明，这种潜在的个人状态信息共享可以显着扩展价值函数分解的力量，而通过软演员批评设计仍然可以在LSF-SAC中保持完全分散的执行。我们在星际争霸II微型管理挑战上评估LSF-SAC，并证明它在挑战协作任务方面优于几种最先进的方法。我们进一步设定了广泛的消融研究，以定位核算其绩效改进的关键因素。我们认为，这种新的洞察力可以导致新的地方价值估算方法和变分的深度学习算法。可以在https://sites.google.com/view/sacmm处找到演示视频和实现代码。

采用合理的策略是具有挑战性的，但对于智能代理商的智能代理人至关重要，其资源有限，在危险，非结构化和动态环境中工作，以改善系统实用性，降低整体成本并增加任务成功概率。深度强化学习（DRL）帮助组织代理的行为和基于其状态的行为，并代表复杂的策略（行动的组成）。本文提出了一种基于贝叶斯链条的新型分层策略分解方法，将复杂的政策分为几个简单的子手段，并将其作为贝叶斯战略网络（BSN）组织。我们将这种方法整合到最先进的DRL方法中，软演奏者 - 批评者（SAC），并通过组织几个子主管作为联合政策来构建相应的贝叶斯软演奏者（BSAC）模型。我们将建议的BSAC方法与标准连续控制基准（Hopper-V2，Walker2D-V2和Humanoid-V2）在SAC和其他最先进的方法（例如TD3，DDPG和PPO）中进行比较 - Mujoco与Openai健身房环境。结果表明，BSAC方法的有希望的潜力可显着提高训练效率。可以从https://github.com/herolab-uga/bsac访问BSAC的开源代码。

几乎所有的多代理强化学习算法没有交流，都遵循分散执行的集中培训原则。在集中培训期间，代理可以以相同的信号为指导，例如全球国家。但是，在分散执行期间，代理缺乏共享信号。受到观点不变性和对比学习的启发，我们在本文中提出了共识学习，以学习合作的多代理增强学习。尽管基于局部观察结果，但不同的代理可以在离散空间中推断出相同的共识。在分散执行期间，我们将推断的共识作为对代理网络的明确输入提供了，从而发展了他们的合作精神。我们提出的方法可以扩展到具有小模型更改的各种多代理增强学习算法。此外，我们执行一些完全合作的任务，并获得令人信服的结果。

我们通过集中式培训和分散执行研究多代理增强学习（MARL）。在培训期间，新代理商可能会加入，现有代理商可能会意外离开培训。在这种情况下，必须再次从头开始训练标准的深色MAL模型，这非常耗时。为了解决这个问题，我们提出了一种特殊的网络体系结构，其中包括一些弹跳学习算法，该算法允许在集中式培训期间代理的数量变化。特别是，当新代理参加集中式培训时，我们的几次学习算法使用少量样本训练其政策网络和价值网络；当代理离开训练时，其余代理的训练过程不受影响。我们的实验表明，使用提出的网络体系结构和算法，当新代理连接的速度比基线快100倍以上时，模型适应。我们的工作适用于任何环境，包括合作，竞争和混合。

In multi-agent reinforcement learning (MARL), many popular methods, such as VDN and QMIX, are susceptible to a critical multi-agent pathology known as relative overgeneralization (RO), which arises when the optimal joint action's utility falls below that of a sub-optimal joint action in cooperative tasks. RO can cause the agents to get stuck into local optima or fail to solve tasks that require significant coordination between agents within a given timestep. Recent value-based MARL algorithms such as QPLEX and WQMIX can overcome RO to some extent. However, our experimental results show that they can still fail to solve cooperative tasks that exhibit strong RO. In this work, we propose a novel approach called curriculum learning for relative overgeneralization (CURO) to better overcome RO. To solve a target task that exhibits strong RO, in CURO, we first fine-tune the reward function of the target task to generate source tasks that are tailored to the current ability of the learning agent and train the agent on these source tasks first. Then, to effectively transfer the knowledge acquired in one task to the next, we use a novel transfer learning method that combines value function transfer with buffer transfer, which enables more efficient exploration in the target task. We demonstrate that, when applied to QMIX, CURO overcomes severe RO problem and significantly improves performance, yielding state-of-the-art results in a variety of cooperative multi-agent tasks, including the challenging StarCraft II micromanagement benchmarks.

在本文中，我们提出了一个名为“星际争霸多代理挑战”的新颖基准，代理商学习执行多阶段任务并使用没有精确奖励功能的环境因素。以前的挑战（SMAC）被认为是多名强化学习的标准基准，主要涉及确保所有代理人仅通过具有明显的奖励功能的精细操纵而合作消除接近对手。另一方面，这一挑战对MARL算法的探索能力有效地学习隐式多阶段任务和环境因素以及微控制感兴趣。这项研究涵盖了进攻和防御性场景。在进攻情况下，代理商必须学会先寻找对手，然后消除他们。防御性场景要求代理使用地形特征。例如，代理需要将自己定位在保护结构后面，以使敌人更难攻击。我们研究了SMAC+下的MARL算法，并观察到最近的方法在与以前的挑战类似，但在进攻情况下表现不佳。此外，我们观察到，增强的探索方法对性能有积极影响，但无法完全解决所有情况。这项研究提出了未来研究的新方向。

我们讨论了这项工作中分散的多智能经纪增强学习（Marl）的问题。在我们的环境中，假设全局状态，行动和奖励是完全可观察的，而当地政策受到每个特工的保护，因此无法与他人分享。存在通信图，其中代理可以与其邻居交换信息。代理人使个人决定并合作达到更高的累计奖励。为此，我们首先提出了一个分散的演员 - 评论家（AC）设定。然后，策略评估和策略改进算法分别为离散和连续的状态 - 动作空间马尔可夫决策过程（MDP）设计。此外，在离散空间案件下给出了会聚分析，保证了通过在政策评估和政策改进的过程之间交替来加强政策。为了验证算法的有效性，我们设计实验并将它们与先前的算法进行比较，例如Q-Learning \ Cite {Watkins1992Q}和Maddpg \ Cite {Lowe2017Multi}。结果表明，我们的算法从学习速度和最终性能的各个方面表现出更好。此外，算法可以以违规方式执行，这大大提高了与策略算法相比的数据效率。

This work considers the problem of learning cooperative policies in complex, partially observable domains without explicit communication. We extend three classes of single-agent deep reinforcement learning algorithms based on policy gradient, temporal-difference error, and actor-critic methods to cooperative multi-agent systems. We introduce a set of cooperative control tasks that includes tasks with discrete and continuous actions, as well as tasks that involve hundreds of agents. The three approaches are evaluated against each other using different neural architectures, training procedures, and reward structures. Using deep reinforcement learning with a curriculum learning scheme, our approach can solve problems that were previously considered intractable by most multi-agent reinforcement learning algorithms. We show that policy gradient methods tend to outperform both temporal-difference and actor-critic methods when using feed-forward neural architectures. We also show that recurrent policies, while more difficult to train, outperform feed-forward policies on our evaluation tasks.

Recently, some challenging tasks in multi-agent systems have been solved by some hierarchical reinforcement learning methods. Inspired by the intra-level and inter-level coordination in the human nervous system, we propose a novel value decomposition framework HAVEN based on hierarchical reinforcement learning for fully cooperative multi-agent problems. To address the instability arising from the concurrent optimization of policies between various levels and agents, we introduce the dual coordination mechanism of inter-level and inter-agent strategies by designing reward functions in a two-level hierarchy. HAVEN does not require domain knowledge and pre-training, and can be applied to any value decomposition variant. Our method achieves desirable results on different decentralized partially observable Markov decision process domains and outperforms other popular multi-agent hierarchical reinforcement learning algorithms.

本文介绍了一种可以在非通信和局部可观察条件下应用的新型混合多机器人运动计划。策划员是无模型的，可以实现多机器人状态和观察信息的端到端映射到最终平滑和连续的轨迹。规划师是前端和后端分离的架构。前端协作航点搜索模块的设计基于具有分散执行图的集中培训下的多代理软演员批评算法。后端轨迹优化模块的设计基于具有安全区域约束的最小快照方法。该模块可以输出最终动态可行和可执行的轨迹。最后，多组实验结果验证了拟议的运动计划员的有效性。