Offline multi-agent reinforcement learning (MARL) aims to learn effective multi-agent policies from pre-collected datasets, which is an important step toward the deployment of multi-agent systems in real-world applications. However, in practice, each individual behavior policy that generates multi-agent joint trajectories usually has a different level of how well it performs. e.g., an agent is a random policy while other agents are medium policies. In the cooperative game with global reward, one agent learned by existing offline MARL often inherits this random policy, jeopardizing the performance of the entire team. In this paper, we investigate offline MARL with explicit consideration on the diversity of agent-wise trajectories and propose a novel framework called Shared Individual Trajectories (SIT) to address this problem. Specifically, an attention-based reward decomposition network assigns the credit to each agent through a differentiable key-value memory mechanism in an offline manner. These decomposed credits are then used to reconstruct the joint offline datasets into prioritized experience replay with individual trajectories, thereafter agents can share their good trajectories and conservatively train their policies with a graph attention network (GAT) based critic. We evaluate our method in both discrete control (i.e., StarCraft II and multi-agent particle environment) and continuous control (i.e, multi-agent mujoco). The results indicate that our method achieves significantly better results in complex and mixed offline multi-agent datasets, especially when the difference of data quality between individual trajectories is large.

保守主义的概念导致了离线强化学习（RL）的重要进展，其中代理从预先收集的数据集中学习。但是，尽可能多的实际方案涉及多个代理之间的交互，解决更实际的多代理设置中的离线RL仍然是一个开放的问题。鉴于最近将Online RL算法转移到多代理设置的成功，可以预期离线RL算法也将直接传输到多代理设置。令人惊讶的是，当基于保守的算法应用于多蛋白酶的算法时，性能显着降低了越来越多的药剂。为了减轻劣化，我们确定了价值函数景观可以是非凹形的关键问题，并且策略梯度改进容易出现本地最优。自从任何代理人的次优政策可能导致不协调的全球失败以来，多个代理人会加剧问题。在这种直觉之后，我们提出了一种简单而有效的方法，脱机多代理RL与演员整流（OMAR），通过有效的一阶政策梯度和Zeroth订单优化方法为演员更好地解决这一关键挑战优化保守值函数。尽管简单，奥马尔显着优于强大的基线，在多售后连续控制基准测试中具有最先进的性能。

学习协作对于多机构增强学习（MARL）至关重要。以前的作品通过最大化代理行为的相关性来促进协作，该行为的相关性通常以不同形式的相互信息（MI）为特征。但是，我们揭示了次最佳的协作行为，也出现了强烈的相关性，并且简单地最大化MI可以阻碍学习的学习能力。为了解决这个问题，我们提出了一个新颖的MARL框架，称为“渐进式信息协作（PMIC）”，以进行更有效的MI驱动协作。 PMIC使用全球国家和联合行动之间MI测量的新协作标准。基于此标准，PMIC的关键思想是最大程度地提高与优越的协作行为相关的MI，并最大程度地减少与下等方面相关的MI。这两个MI目标通过促进更好的合作，同时避免陷入次级优势，从而扮演互补的角色。与其他算法相比，在各种MARL基准测试的实验表明，PMIC的表现出色。

本文考虑了多智能经纪人强化学习（MARL）任务，代理商在集会结束时获得共享全球奖励。这种奖励的延迟性质影响了代理商在中间时间步骤中评估其行动质量的能力。本文侧重于开发学习焦点奖励的时间重新分布的方法，以获得密集奖励信号。解决这些MARL问题需要解决两个挑战：识别（1）沿着集发作（沿时间）的长度相对重要性，以及（2）在任何单一时间步骤（代理商中）的相对重要性。在本文中，我们介绍了奖励中的奖励再分配，在整容多智能体加固学习（Arel）中奖励再分配，以解决这两个挑战。 Arel使用注意机制来表征沿着轨迹（时间关注）对状态转换的动作的影响，以及每个代理在每个时间步骤（代理人注意）的影响。 Arel预测的重新分配奖励是密集的，可以与任何给定的MARL算法集成。我们评估了粒子世界环境的具有挑战性的任务和星际争霸多功能挑战。 arel导致粒子世界的奖励较高，并改善星际争端的胜利率与三个最先进的奖励再分配方法相比。我们的代码可在https://github.com/baicenxiao/arel获得。

Reinforcement learning in multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in singleagent settings. We present an actor-critic algorithm that trains decentralized policies in multiagent settings, using centrally computed critics that share an attention mechanism which selects relevant information for each agent at every timestep. This attention mechanism enables more effective and scalable learning in complex multiagent environments, when compared to recent approaches. Our approach is applicable not only to cooperative settings with shared rewards, but also individualized reward settings, including adversarial settings, as well as settings that do not provide global states, and it makes no assumptions about the action spaces of the agents. As such, it is flexible enough to be applied to most multi-agent learning problems.

在本文中，我们认为合作的多代理强化学习（MARL）具有稀疏的奖励。为了解决这个问题，我们提出了一种名为Maser：MARL的新方法，并具有从经验重播缓冲区产生的子目标。在广泛使用的集中式培训的假设下，通过分散执行和对MARL的Q值分解的一致性，Maser通过考虑单个Q值和总Q值来自动为多个代理人生成适当的子目标。然后，Maser根据与Q学习相关的可行表示为每个代理设计个人固有奖励，以便代理人达到其子目标，同时最大化联合行动值。数值结果表明，与其他最先进的MARL算法相比，Maser的表现明显优于Starcraft II微管理基准。

将深度强化学习（DRL）扩展到多代理领域的研究已经解决了许多复杂的问题，并取得了重大成就。但是，几乎所有这些研究都只关注离散或连续的动作空间，而且很少有作品曾经使用过多代理的深度强化学习来实现现实世界中的环境问题，这些问题主要具有混合动作空间。因此，在本文中，我们提出了两种算法：深层混合软性角色批评（MAHSAC）和多代理混合杂种深层确定性政策梯度（MAHDDPG）来填补这一空白。这两种算法遵循集中式培训和分散执行（CTDE）范式，并可以解决混合动作空间问题。我们的经验在多代理粒子环境上运行，这是一个简单的多代理粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。

Recently, model-based agents have achieved better performance than model-free ones using the same computational budget and training time in single-agent environments. However, due to the complexity of multi-agent systems, it is tough to learn the model of the environment. The significant compounding error may hinder the learning process when model-based methods are applied to multi-agent tasks. This paper proposes an implicit model-based multi-agent reinforcement learning method based on value decomposition methods. Under this method, agents can interact with the learned virtual environment and evaluate the current state value according to imagined future states in the latent space, making agents have the foresight. Our approach can be applied to any multi-agent value decomposition method. The experimental results show that our method improves the sample efficiency in different partially observable Markov decision process domains.

多代理深入的强化学习已应用于解决各种离散或连续动作空间的各种复杂问题，并取得了巨大的成功。但是，大多数实际环境不能仅通过离散的动作空间或连续的动作空间来描述。而且很少有作品曾经利用深入的加固学习（DRL）来解决混合动作空间的多代理问题。因此，我们提出了一种新颖的算法：深层混合软性角色 - 批评（MAHSAC）来填补这一空白。该算法遵循集中式训练但分散执行（CTDE）范式，并扩展软actor-Critic算法（SAC），以根据最大熵在多机构环境中处理混合动作空间问题。我们的经验在一个简单的多代理粒子世界上运行，具有连续的观察和离散的动作空间以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度，稳定性和抗干扰能力方面具有良好的性能。同时，它在合作场景和竞争性场景中胜过现有的独立深层学习方法。

在复杂的协调问题中，深层合作多智能经纪增强学习（Marl）的高效探索仍然依然存在挑战。在本文中，我们介绍了一种具有奇妙驱动的探索的新型情节多功能钢筋学习，称为EMC。我们利用对流行分解的MARL算法的洞察力“诱导的”个体Q值，即用于本地执行的单个实用程序功能，是本地动作观察历史的嵌入，并且可以捕获因奖励而捕获代理之间的相互作用在集中培训期间的反向化。因此，我们使用单独的Q值的预测误差作为协调勘探的内在奖励，利用集肠内存来利用探索的信息经验来提高政策培训。随着代理商的个人Q值函数的动态捕获了国家的新颖性和其他代理人的影响，我们的内在奖励可以促使对新或有前途的国家的协调探索。我们通过教学实例说明了我们的方法的优势，并展示了在星际争霸II微互动基准中挑战任务的最先进的MARL基础上的其显着优势。

在合作的多代理增强学习（MARL）中，将价值​​分解与参与者 - 批评结合，使代理人能够学习随机政策，这更适合部分可观察到的环境。鉴于学习能够分散执行的本地政策的目标，通常认为代理人彼此独立，即使在集中式培训中也是如此。但是，这样的假设可能会禁止代理人学习最佳联合政策。为了解决这个问题，我们明确地将代理商之间的依赖性带入集中式培训。尽管这导致了最佳联合政策，但对于分散的执行，可能不会分解它。然而，从理论上讲，从这样的联合政策中，我们始终可以得出另一项联合政策，该政策可实现相同的最优性，但可以分解以分散的执行。为此，我们提出了多机构条件政策分解（MACPF），该政策分解（MACPF）需要进行更集中的培训，但仍可以实现分散的执行。我们在各种合作的MARL任务中验证MACPF，并证明MACPF比基线获得更好的性能或更快的收敛性。

Many real-world problems, such as network packet routing and the coordination of autonomous vehicles, are naturally modelled as cooperative multi-agent systems. There is a great need for new reinforcement learning methods that can efficiently learn decentralised policies for such systems. To this end, we propose a new multi-agent actor-critic method called counterfactual multi-agent (COMA) policy gradients. COMA uses a centralised critic to estimate the Q-function and decentralised actors to optimise the agents' policies. In addition, to address the challenges of multi-agent credit assignment, it uses a counterfactual baseline that marginalises out a single agent's action, while keeping the other agents' actions fixed. COMA also uses a critic representation that allows the counterfactual baseline to be computed efficiently in a single forward pass. We evaluate COMA in the testbed of StarCraft unit micromanagement, using a decentralised variant with significant partial observability. COMA significantly improves average performance over other multi-agent actorcritic methods in this setting, and the best performing agents are competitive with state-of-the-art centralised controllers that get access to the full state.

我们研究了普遍存在的动作，即所有动作都有预设执行持续时间的环境中，研究了无模型的多机械加固学习（MARL）。在执行期间，环境变化受到动作执行的影响但不同步。在许多现实世界中，这种设置无处不在。但是，大多数MAL方法都假定推断后立即执行动作，这通常是不现实的，并且可能导致多机构协调的灾难性失败。为了填补这一空白，我们为MARL开发了一个算法的算法框架。然后，我们为无模型的MARL算法提出了一种新颖的情节记忆，legeM。 Legem通过利用代理人的个人经历来建立代理商的情节记忆。它通过解决了通过我们的新型奖励再分配计划提出的具有挑战性的时间信用分配问题来提高多机构学习，从而减轻了非马克维亚奖励的问题。我们在各种多代理方案上评估了Legem，其中包括猎鹿游戏，采石场游戏，造林游戏和Starcraft II微管理任务。经验结果表明，LegeM显着提高了多机构的协调，并提高了领先的绩效并提高了样本效率。

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

Recently, some challenging tasks in multi-agent systems have been solved by some hierarchical reinforcement learning methods. Inspired by the intra-level and inter-level coordination in the human nervous system, we propose a novel value decomposition framework HAVEN based on hierarchical reinforcement learning for fully cooperative multi-agent problems. To address the instability arising from the concurrent optimization of policies between various levels and agents, we introduce the dual coordination mechanism of inter-level and inter-agent strategies by designing reward functions in a two-level hierarchy. HAVEN does not require domain knowledge and pre-training, and can be applied to any value decomposition variant. Our method achieves desirable results on different decentralized partially observable Markov decision process domains and outperforms other popular multi-agent hierarchical reinforcement learning algorithms.

在本文中，我们提出了一个名为“星际争霸多代理挑战”的新颖基准，代理商学习执行多阶段任务并使用没有精确奖励功能的环境因素。以前的挑战（SMAC）被认为是多名强化学习的标准基准，主要涉及确保所有代理人仅通过具有明显的奖励功能的精细操纵而合作消除接近对手。另一方面，这一挑战对MARL算法的探索能力有效地学习隐式多阶段任务和环境因素以及微控制感兴趣。这项研究涵盖了进攻和防御性场景。在进攻情况下，代理商必须学会先寻找对手，然后消除他们。防御性场景要求代理使用地形特征。例如，代理需要将自己定位在保护结构后面，以使敌人更难攻击。我们研究了SMAC+下的MARL算法，并观察到最近的方法在与以前的挑战类似，但在进攻情况下表现不佳。此外，我们观察到，增强的探索方法对性能有积极影响，但无法完全解决所有情况。这项研究提出了未来研究的新方向。

在合作多智能体增强学习（Marl）中的代理商的创造和破坏是一个批判性的研究领域。当前的Marl算法通常认为，在整个实验中，组内的代理数量仍然是固定的。但是，在许多实际问题中，代理人可以在队友之前终止。这次早期终止问题呈现出挑战：终止的代理人必须从本集团的成功或失败中学习，这是超出其自身存在的成败。我们指代薪资奖励的传播价值作为遣返代理商作为追索的奖励作为追索权。当前的MARL方法通过将这些药剂放在吸收状态下，直到整组试剂达到终止条件，通过将这些药剂置于终止状态来处理该问题。虽然吸收状态使现有的算法和API能够在没有修改的情况下处理终止的代理，但存在实际培训效率和资源使用问题。在这项工作中，我们首先表明样本复杂性随着系统监督学习任务中的吸收状态的数量而增加，同时对变量尺寸输入更加强大。然后，我们为现有的最先进的MARL算法提出了一种新颖的架构，它使用注意而不是具有吸收状态的完全连接的层。最后，我们展示了这一新颖架构在剧集中创建或销毁的任务中的标准架构显着优于标准架构以及标准的多代理协调任务。

政策梯度方法在多智能体增强学习中变得流行，但由于存在环境随机性和探索代理（即非公平性​​），它们遭受了高度的差异，这可能因信用分配难度而受到困扰。结果，需要一种方法，该方法不仅能够有效地解决上述两个问题，而且需要足够强大地解决各种任务。为此，我们提出了一种新的多代理政策梯度方法，称为强大的本地优势（ROLA）演员 - 评论家。 Rola允许每个代理人将个人动作值函数作为当地评论家，以及通过基于集中评论家的新型集中培训方法来改善环境不良。通过使用此本地批评，每个代理都计算基准，以减少对其策略梯度估计的差异，这导致含有其他代理的预期优势动作值，这些选项可以隐式提高信用分配。我们在各种基准测试中评估ROLA，并在许多最先进的多代理政策梯度算法上显示其鲁棒性和有效性。

Cooperative multi-agent reinforcement learning (MARL) has made prominent progress in recent years. For training efficiency and scalability, most of the MARL algorithms make all agents share the same policy or value network. However, in many complex multi-agent tasks, different agents are expected to possess specific abilities to handle different subtasks. In those scenarios, sharing parameters indiscriminately may lead to similar behavior across all agents, which will limit the exploration efficiency and degrade the final performance. To balance the training complexity and the diversity of agent behavior, we propose a novel framework to learn dynamic subtask assignment (LDSA) in cooperative MARL. Specifically, we first introduce a subtask encoder to construct a vector representation for each subtask according to its identity. To reasonably assign agents to different subtasks, we propose an ability-based subtask selection strategy, which can dynamically group agents with similar abilities into the same subtask. In this way, agents dealing with the same subtask share their learning of specific abilities and different subtasks correspond to different specific abilities. We further introduce two regularizers to increase the representation difference between subtasks and stabilize the training by discouraging agents from frequently changing subtasks, respectively. Empirical results show that LDSA learns reasonable and effective subtask assignment for better collaboration and significantly improves the learning performance on the challenging StarCraft II micromanagement benchmark and Google Research Football.

沟通可以帮助代理商获得有关他人的信息，以便可以学习更好的协调行为。一些现有的工作会与其他人传达预测的未来轨迹，希望能为其他人做些更好的协调能力提供线索。但是，当对代理人同步处理时，有时会发生循环依赖性，因此很难协调决策。在本文中，我们提出了一种新颖的交流方案，顺序通信（SEQCOMM）。 Seqcomm不同步（高级代理在低级阶段之前做出决定），并有两个通信阶段。在谈判阶段，代理通过传达观测的隐藏状态并比较意图的价值来确定决策的优先级，这是通过对环境动态进行建模来获得的。在发射阶段，高级代理商领导着做出决策并与低级代理商进行交流。从理论上讲，我们证明Seqcomm学到的政策可以单调地改善并融合。从经验上讲，我们表明SEQCOMM在各种多机构合作任务中都优于现有方法。