We explore value-based solutions for multi-agent reinforcement learning (MARL) tasks in the centralized training with decentralized execution (CTDE) regime popularized recently. However, VDN and QMIX are representative examples that use the idea of factorization of the joint actionvalue function into individual ones for decentralized execution. VDN and QMIX address only a fraction of factorizable MARL tasks due to their structural constraint in factorization such as additivity and monotonicity. In this paper, we propose a new factorization method for MARL, QTRAN, which is free from such structural constraints and takes on a new approach to transforming the original joint action-value function into an easily factorizable one, with the same optimal actions. QTRAN guarantees more general factorization than VDN or QMIX, thus covering a much wider class of MARL tasks than does previous methods. Our experiments for the tasks of multi-domain Gaussian-squeeze and modified predator-prey demonstrate QTRAN's superior performance with especially larger margins in games whose payoffs penalize non-cooperative behavior more aggressively.

In many real-world settings, a team of agents must coordinate their behaviour while acting in a decentralised way. At the same time, it is often possible to train the agents in a centralised fashion in a simulated or laboratory setting, where global state information is available and communication constraints are lifted. Learning joint actionvalues conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a network that estimates joint action-values as a complex non-linear combination of per-agent values that condition only on local observations. We structurally enforce that the joint-action value is monotonic in the per-agent values, which allows tractable maximisation of the joint action-value in off-policy learning, and guarantees consistency between the centralised and decentralised policies. We evaluate QMIX on a challenging set of StarCraft II micromanagement tasks, and show that QMIX significantly outperforms existing value-based multi-agent reinforcement learning methods.

由于共同国家行动空间相对于代理人的数量，多代理强化学习（MARL）中的政策学习（MARL）是具有挑战性的。为了实现更高的可伸缩性，通过分解执行（CTDE）的集中式培训范式被MARL中的分解结构广泛采用。但是，我们观察到，即使在简单的矩阵游戏中，合作MARL中现有的CTDE算法也无法实现最佳性。为了理解这种现象，我们引入了一个具有政策分解（GPF-MAC）的广义多代理参与者批评的框架，该框架的特征是对分解的联合政策的学习，即，每个代理人的政策仅取决于其自己的观察行动历史。我们表明，最受欢迎的CTDE MARL算法是GPF-MAC的特殊实例，可能会陷入次优的联合政策中。为了解决这个问题，我们提出了一个新颖的转型框架，该框架将多代理的MDP重新制定为具有连续结构的特殊“单位代理” MDP，并且可以允许使用现成的单机械加固学习（SARL）算法来有效地学习相应的多代理任务。这种转换保留了SARL算法的最佳保证，以合作MARL。为了实例化此转换框架，我们提出了一个转换的PPO，称为T-PPO，该PPO可以在有限的多代理MDP中进行理论上执行最佳的策略学习，并在一系列合作的多代理任务上显示出明显的超出性能。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

In multi-agent reinforcement learning (MARL), many popular methods, such as VDN and QMIX, are susceptible to a critical multi-agent pathology known as relative overgeneralization (RO), which arises when the optimal joint action's utility falls below that of a sub-optimal joint action in cooperative tasks. RO can cause the agents to get stuck into local optima or fail to solve tasks that require significant coordination between agents within a given timestep. Recent value-based MARL algorithms such as QPLEX and WQMIX can overcome RO to some extent. However, our experimental results show that they can still fail to solve cooperative tasks that exhibit strong RO. In this work, we propose a novel approach called curriculum learning for relative overgeneralization (CURO) to better overcome RO. To solve a target task that exhibits strong RO, in CURO, we first fine-tune the reward function of the target task to generate source tasks that are tailored to the current ability of the learning agent and train the agent on these source tasks first. Then, to effectively transfer the knowledge acquired in one task to the next, we use a novel transfer learning method that combines value function transfer with buffer transfer, which enables more efficient exploration in the target task. We demonstrate that, when applied to QMIX, CURO overcomes severe RO problem and significantly improves performance, yielding state-of-the-art results in a variety of cooperative multi-agent tasks, including the challenging StarCraft II micromanagement benchmarks.

多代理增强学习（MARL）在价值函数分解方法的发展中见证了重大进展。由于单调性，它可以通过最大程度地分解每个代理实用程序来优化联合动作值函数。在本文中，我们表明，在部分可观察到的MARL问题中，代理商对自己的行为的订购可能会对代表功能类施加并发约束（跨不同状态），从而在培训期间造成重大估计错误。我们解决了这一限制，并提出了PAC，PAC是一个新的框架，利用了最佳联合行动选择的反事实预测产生的辅助信息，这可以通过新颖的反事实损失通过新颖的辅助来实现价值功能分解。开发了一种基于变异推理的信息编码方法，以从估计的基线收集和编码反事实预测。为了实现分散的执行，我们还得出了受最大收入MARL框架启发的分级分配的代理策略。我们评估了有关多代理捕食者捕食者和一组Starcraft II微管理任务的PAC。经验结果表明，在所有基准上，PAC对基于最先进的价值和基于策略的多代理增强学习算法的结果得到了改善。

我们探索了在流行的集中式培训范式（CTDE）中流行的集中式培训范式中的多代理深度强化学习的价值分解解决方案。作为公认的CTDE解决方案，加权QMIX是星际争霸多代理挑战（SMAC）的尖端，并在QMIX上实施了加权方案，以更加重视最佳的关节动作。但是，固定重量需要根据应用程序场景进行手动调整，该场景痛苦地防止加权QMIX用于更广泛的工程应用中。在本文中，我们首先使用普通的一步矩阵游戏（OMG）证明了加权QMIX的缺陷，无论选择重量如何，加权QMIX努力解决非单调的价值分解问题，并具有很大的差异奖励分布。然后，我们将价值分解的问题描述为一种不足的单调的健壮回归问题，并首先尝试从信息理论学习的角度为价值分解问题提供解决方案。我们引入最大Correntropy Criterion（MCC）作为成本函数，以动态调整重量以消除奖励分布中最小值的影响。我们简化了实现，并提出了一种称为MCVD的新算法。对OMG进行的初步实验表明，MCVD可以处理非单调的值分解问题，并且对核带宽选择的耐受性很高。进一步的实验是在合作游动和多个SMAC场景的情况下进行的，其中MCVD表现出前所未有的实施，广泛的适用性和稳定性。

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

在本文中，我们提出了一个名为“星际争霸多代理挑战”的新颖基准，代理商学习执行多阶段任务并使用没有精确奖励功能的环境因素。以前的挑战（SMAC）被认为是多名强化学习的标准基准，主要涉及确保所有代理人仅通过具有明显的奖励功能的精细操纵而合作消除接近对手。另一方面，这一挑战对MARL算法的探索能力有效地学习隐式多阶段任务和环境因素以及微控制感兴趣。这项研究涵盖了进攻和防御性场景。在进攻情况下，代理商必须学会先寻找对手，然后消除他们。防御性场景要求代理使用地形特征。例如，代理需要将自己定位在保护结构后面，以使敌人更难攻击。我们研究了SMAC+下的MARL算法，并观察到最近的方法在与以前的挑战类似，但在进攻情况下表现不佳。此外，我们观察到，增强的探索方法对性能有积极影响，但无法完全解决所有情况。这项研究提出了未来研究的新方向。

在复杂的协调问题中，深层合作多智能经纪增强学习（Marl）的高效探索仍然依然存在挑战。在本文中，我们介绍了一种具有奇妙驱动的探索的新型情节多功能钢筋学习，称为EMC。我们利用对流行分解的MARL算法的洞察力“诱导的”个体Q值，即用于本地执行的单个实用程序功能，是本地动作观察历史的嵌入，并且可以捕获因奖励而捕获代理之间的相互作用在集中培训期间的反向化。因此，我们使用单独的Q值的预测误差作为协调勘探的内在奖励，利用集肠内存来利用探索的信息经验来提高政策培训。随着代理商的个人Q值函数的动态捕获了国家的新颖性和其他代理人的影响，我们的内在奖励可以促使对新或有前途的国家的协调探索。我们通过教学实例说明了我们的方法的优势，并展示了在星际争霸II微互动基准中挑战任务的最先进的MARL基础上的其显着优势。

在合作的多代理增强学习（MARL）中，将价值​​分解与参与者 - 批评结合，使代理人能够学习随机政策，这更适合部分可观察到的环境。鉴于学习能够分散执行的本地政策的目标，通常认为代理人彼此独立，即使在集中式培训中也是如此。但是，这样的假设可能会禁止代理人学习最佳联合政策。为了解决这个问题，我们明确地将代理商之间的依赖性带入集中式培训。尽管这导致了最佳联合政策，但对于分散的执行，可能不会分解它。然而，从理论上讲，从这样的联合政策中，我们始终可以得出另一项联合政策，该政策可实现相同的最优性，但可以分解以分散的执行。为此，我们提出了多机构条件政策分解（MACPF），该政策分解（MACPF）需要进行更集中的培训，但仍可以实现分散的执行。我们在各种合作的MARL任务中验证MACPF，并证明MACPF比基线获得更好的性能或更快的收敛性。

Starcraft II多代理挑战（SMAC）被创建为合作多代理增强学习（MARL）的具有挑战性的基准问题。 SMAC专注于星际争霸微管理的问题，并假设每个单元都由独立行动并仅具有本地信息的学习代理人单独控制；假定通过分散执行（CTDE）进行集中培训。为了在SMAC中表现良好，MARL算法必须处理多机构信贷分配和联合行动评估的双重问题。本文介绍了一种新的体系结构Transmix，这是一个基于变压器的联合行动值混合网络，与其他最先进的合作MARL解决方案相比，我们显示出高效且可扩展的。 Transmix利用变形金刚学习更丰富的混合功能的能力来结合代理的个人价值函数。它与以前的SMAC场景上的工作相当，并且在困难场景上胜过其他技术，以及被高斯噪音损坏的场景以模拟战争的雾。

通过集中培训和分散执行的价值功能分解是有助于解决合作多功能协商强化任务的承诺。该地区QMIX的方法之一已成为最先进的，在星际争霸II微型管理基准上实现了最佳性能。然而，已知QMIX中每个代理估计的单调混合是限制它可以表示的关节动作Q值，以及单个代理价值函数估计的全局状态信息，通常导致子优相。为此，我们呈现LSF-SAC，这是一种新颖的框架，其具有基于变分推理的信息共享机制，作为额外的状态信息，以帮助在价值函数分子中提供各个代理。我们证明，这种潜在的个人状态信息共享可以显着扩展价值函数分解的力量，而通过软演员批评设计仍然可以在LSF-SAC中保持完全分散的执行。我们在星际争霸II微型管理挑战上评估LSF-SAC，并证明它在挑战协作任务方面优于几种最先进的方法。我们进一步设定了广泛的消融研究，以定位核算其绩效改进的关键因素。我们认为，这种新的洞察力可以导致新的地方价值估算方法和变分的深度学习算法。可以在https://sites.google.com/view/sacmm处找到演示视频和实现代码。

我们呈现协调的近端策略优化（COPPO），该算法将原始近端策略优化（PPO）扩展到多功能代理设置。关键的想法在于多个代理之间的策略更新过程中的步骤大小的协调适应。当优化理论上接地的联合目标时，我们证明了政策改进的单调性，并基于一组近似推导了简化的优化目标。然后，我们解释了Coppo中的这种目标可以在代理商之间实现动态信用分配，从而减轻了代理政策的同时更新期间的高方差问题。最后，我们证明COPPO优于几种强大的基线，并且在典型的多代理设置下，包括最新的多代理PPO方法（即MAPPO），包括合作矩阵游戏和星际争霸II微管理任务。

分散的学习对合作多代理增强学习（MARL）表现出了巨大的希望。但是，非平稳性仍然是分散学习的重大挑战。在论文中，我们以最简单和基本的方式解决了非平稳性问题，并提出\ textit {多代理替代Q学习}（MA2QL），在那里，代理商轮流通过Q学习来更新其Q-函数。MA2QL是完全分散合作MARL的一种\ Textit {Minimalist}方法，但理论上是基础的。我们证明，当每个代理商在每个回合都保证$ \ varepsilon $ -Convergence时，他们的联合政策会收敛到NASH平衡。实际上，MA2QL仅需要对独立Q学习（IQL）的最小变化。我们经验评估MA2QL对各种合作的多代理任务。结果表明，MA2QL始终胜过IQL，尽管这种变化很小，但它验证了MA2QL的有效性。

Value factorisation is a useful technique for multi-agent reinforcement learning (MARL) in global reward game, however its underlying mechanism is not yet fully understood. This paper studies a theoretical framework for value factorisation with interpretability via Shapley value theory. We generalise Shapley value to Markov convex game called Markov Shapley value (MSV) and apply it as a value factorisation method in global reward game, which is obtained by the equivalence between the two games. Based on the properties of MSV, we derive Shapley-Bellman optimality equation (SBOE) to evaluate the optimal MSV, which corresponds to an optimal joint deterministic policy. Furthermore, we propose Shapley-Bellman operator (SBO) that is proved to solve SBOE. With a stochastic approximation and some transformations, a new MARL algorithm called Shapley Q-learning (SHAQ) is established, the implementation of which is guided by the theoretical results of SBO and MSV. We also discuss the relationship between SHAQ and relevant value factorisation methods. In the experiments, SHAQ exhibits not only superior performances on all tasks but also the interpretability that agrees with the theoretical analysis. The implementation of this paper is on https://github.com/hsvgbkhgbv/shapley-q-learning.

Reinforcement learning in multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in singleagent settings. We present an actor-critic algorithm that trains decentralized policies in multiagent settings, using centrally computed critics that share an attention mechanism which selects relevant information for each agent at every timestep. This attention mechanism enables more effective and scalable learning in complex multiagent environments, when compared to recent approaches. Our approach is applicable not only to cooperative settings with shared rewards, but also individualized reward settings, including adversarial settings, as well as settings that do not provide global states, and it makes no assumptions about the action spaces of the agents. As such, it is flexible enough to be applied to most multi-agent learning problems.

协调图是一种有前途的模型代理协作在多智能体增强学习中的合作方法。它将一个大的多代理系统分解为代表底层协调依赖性的重叠组套件。此范例中的一个危急挑战是计算基于图形的值分子的最大值动作的复杂性。它指的是分散的约束优化问题（DCOP），其恒定比率近似是NP - 硬问题。为了绕过这一基本硬度，提出了一种新的方法，命名为自组织的多项式协调图（SOP-CG），它使用结构化图表来保证具有足够功能表达的所致DCOP的最优性。我们将图形拓扑扩展为状态依赖性，将图形选择作为假想的代理商，最终从统一的Bellman Optimaly方程中获得端到端的学习范例。在实验中，我们表明我们的方法了解可解释的图形拓扑，诱导有效的协调，并提高各种合作多功能机构任务的性能。

Recently, some challenging tasks in multi-agent systems have been solved by some hierarchical reinforcement learning methods. Inspired by the intra-level and inter-level coordination in the human nervous system, we propose a novel value decomposition framework HAVEN based on hierarchical reinforcement learning for fully cooperative multi-agent problems. To address the instability arising from the concurrent optimization of policies between various levels and agents, we introduce the dual coordination mechanism of inter-level and inter-agent strategies by designing reward functions in a two-level hierarchy. HAVEN does not require domain knowledge and pre-training, and can be applied to any value decomposition variant. Our method achieves desirable results on different decentralized partially observable Markov decision process domains and outperforms other popular multi-agent hierarchical reinforcement learning algorithms.

熵正则化是增强学习（RL）的流行方法。尽管它具有许多优势，但它改变了原始马尔可夫决策过程（MDP）的RL目标。尽管已经提出了差异正则化来解决这个问题，但不能微不足道地应用于合作的多代理增强学习（MARL）。在本文中，我们研究了合作MAL中的差异正则化，并提出了一种新型的非政策合作MARL框架，差异性的多代理参与者 - 参与者（DMAC）。从理论上讲，我们得出了DMAC的更新规则，该规则自然存在，并保证了原始MDP和Divergence regullatized MDP的单调政策改进和收敛。我们还给出了原始MDP中融合策略和最佳策略之间的差异。 DMAC是一个灵活的框架，可以与许多现有的MARL算法结合使用。从经验上讲，我们在教学随机游戏和Starcraft Multi-Agent挑战中评估了DMAC，并表明DMAC显着提高了现有的MARL算法的性能。