成功部署多机构强化学习通常需要代理来适应其行为。在这项工作中，我们讨论了团队合作适应的问题，其中一组代理团队需要调整其政策以通过有限的微调解决新的任务。由代理人需要能够识别和区分任务以使其行为适应当前任务的直觉的动机，我们建议学习多代理任务嵌入（MATE）。这些任务嵌入方式是使用针对重建过渡和奖励功能进行优化的编码器架构训练的，这些功能唯一地识别任务。我们表明，在提供任务嵌入时，一组代理商可以适应新颖的任务。我们提出了三个伴侣训练范例：独立伴侣，集中式伴侣和混合伴侣，这些伴侣在任务编码的信息中有所不同。我们表明，伴侣学到的嵌入识别任务，并提供有用的信息，哪些代理在适应新任务期间利用了哪些代理。

多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。

建模其他代理的行为对于了解代理商互动和提出有效决策至关重要。代理模型的现有方法通常假设在执行期间对所建模代理的本地观测和所选操作的知识。为了消除这种假设，我们使用编码器解码器体系结构从受控代理的本地信息中提取表示。在培训期间使用所建模代理的观测和动作，我们的模型学会仅在受控剂的局部观察中提取有关所建模代理的表示。这些陈述用于增加受控代理的决定政策，这些政策通过深度加强学习培训;因此，在执行期间，策略不需要访问其他代理商的信息。我们提供合作，竞争和混合多种子体环境中的全面评估和消融研究，表明我们的方法比不使用所学习表示的基线方法实现更高的回报。

在合作多智能体增强学习（Marl）中的代理商的创造和破坏是一个批判性的研究领域。当前的Marl算法通常认为，在整个实验中，组内的代理数量仍然是固定的。但是，在许多实际问题中，代理人可以在队友之前终止。这次早期终止问题呈现出挑战：终止的代理人必须从本集团的成功或失败中学习，这是超出其自身存在的成败。我们指代薪资奖励的传播价值作为遣返代理商作为追索的奖励作为追索权。当前的MARL方法通过将这些药剂放在吸收状态下，直到整组试剂达到终止条件，通过将这些药剂置于终止状态来处理该问题。虽然吸收状态使现有的算法和API能够在没有修改的情况下处理终止的代理，但存在实际培训效率和资源使用问题。在这项工作中，我们首先表明样本复杂性随着系统监督学习任务中的吸收状态的数量而增加，同时对变量尺寸输入更加强大。然后，我们为现有的最先进的MARL算法提出了一种新颖的架构，它使用注意而不是具有吸收状态的完全连接的层。最后，我们展示了这一新颖架构在剧集中创建或销毁的任务中的标准架构显着优于标准架构以及标准的多代理协调任务。

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

Reinforcement learning in multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in singleagent settings. We present an actor-critic algorithm that trains decentralized policies in multiagent settings, using centrally computed critics that share an attention mechanism which selects relevant information for each agent at every timestep. This attention mechanism enables more effective and scalable learning in complex multiagent environments, when compared to recent approaches. Our approach is applicable not only to cooperative settings with shared rewards, but also individualized reward settings, including adversarial settings, as well as settings that do not provide global states, and it makes no assumptions about the action spaces of the agents. As such, it is flexible enough to be applied to most multi-agent learning problems.

多代理游戏中的均衡选择是指选择帕累托最佳平衡的问题。已经表明，由于每个代理商在训练过程中对其他代理商的政策的不确定性，许多最先进的多机构增强学习（MARL）算法容易融合到帕累托主导的平衡。为了解决次优的平衡选择，我们提出了一种使用无关紧要游戏的简单原则（具有相同奖励的超级合作游戏）的参与者批评算法（PAC）：每个代理人都可以假设其他人会选择动作的动作这将导致帕累托最佳平衡。我们评估了PAC在一系列多种多样的游戏中，并表明与替代MARL算法相比，它会收敛到更高的情节回报，并在一系列矩阵游戏中成功收敛到帕累托优势。最后，我们提出了一个图形神经网络扩展，该扩展可以在具有多达15个代理商的游戏中有效地扩展。

近端策略优化（PPO）是一种普遍存在的上利期内学习算法，但在多代理设置中的非政策学习算法所使用的算法明显少得多。这通常是由于认为PPO的样品效率明显低于多代理系统中的销售方法。在这项工作中，我们仔细研究了合作多代理设置中PPO的性能。我们表明，基于PPO的多代理算法在四个受欢迎的多代理测试台上取得了令人惊讶的出色表现：粒子世界环境，星际争霸多代理挑战，哈纳比挑战赛和Google Research Football，并具有最少的超参数调谐任何特定领域的算法修改或架构。重要的是，与强大的非政策方法相比，PPO通常在最终奖励和样本效率中都能取得竞争性或优越的结果。最后，通过消融研究，我们分析了对PPO的经验表现至关重要的实施和高参数因素，并就这些因素提供了具体的实用建议。我们的结果表明，在使用这些实践时，简单的基于PPO的方法在合作多代理增强学习中是强大的基线。源代码可在https://github.com/marlbenchmark/on-policy上发布。

The availability of challenging benchmarks has played a key role in the recent progress of machine learning. In cooperative multi-agent reinforcement learning, the StarCraft Multi-Agent Challenge (SMAC) has become a popular testbed for centralised training with decentralised execution. However, after years of sustained improvement on SMAC, algorithms now achieve near-perfect performance. In this work, we conduct new analysis demonstrating that SMAC is not sufficiently stochastic to require complex closed-loop policies. In particular, we show that an open-loop policy conditioned only on the timestep can achieve non-trivial win rates for many SMAC scenarios. To address this limitation, we introduce SMACv2, a new version of the benchmark where scenarios are procedurally generated and require agents to generalise to previously unseen settings (from the same distribution) during evaluation. We show that these changes ensure the benchmark requires the use of closed-loop policies. We evaluate state-of-the-art algorithms on SMACv2 and show that it presents significant challenges not present in the original benchmark. Our analysis illustrates that SMACv2 addresses the discovered deficiencies of SMAC and can help benchmark the next generation of MARL methods. Videos of training are available at https://sites.google.com/view/smacv2

尽管近年来在多机构增强学习（MARL）方面取得了重大进展，但复杂领域的协调仍然是一个挑战。 MARL的工作通常专注于解决代理与环境中所有其他代理和实体互动的任务；但是，我们观察到现实世界任务通常由几个局部代理相互作用（子任务）的几个隔离实例组成，并且每个代理都可以有意义地专注于一个子任务，以排除环境中其他所有内容。在这些综合任务中，成功的策略通常可以分解为两个决策级别：代理人分配给特定的子任务，并且每个代理人仅针对其指定的子任务有效地采取行动。这种分解的决策提供了强烈的结构感应偏见，大大降低了代理观察空间，并鼓励在训练期间重复使用和组成子任务特异性策略，而不是将子任务的每个新组成视为独特的。我们介绍了ALMA，这是一种利用这些结构化任务的一般学习方法。阿尔玛同时学习高级子任务分配策略和低级代理政策。我们证明，阿尔玛（Alma）在许多具有挑战性的环境中学习了复杂的协调行为，表现优于强大的基准。 Alma的模块化还使其能够更好地概括为新的环境配置。最后，我们发现，尽管ALMA可以整合受过训练的分配和行动策略，但最佳性能仅通过共同训练所有组件才能获得。我们的代码可从https://github.com/shariqiqbal2810/alma获得

多机构增强学习（MARL）已成为解决分散决策问题的有用方法。近年来提出的许多突破性算法一直在稳步增长。在这项工作中，我们仔细研究了这一快速发展，重点是在合作Marl的大量研究中采用的评估方法。通过对先前工作进行详细的荟萃分析，涵盖了从2016年至2022年接受出版的75篇论文，我们引起了人们对真正进步率的质疑的令人担忧的趋势。我们在更广泛的背景下进一步考虑了这些趋势，并从单一AGENT RL文献中获得了有关类似问题的灵感，这些建议以及仍然适用于MARL的建议。将这些建议与我们分析的新见解相结合，我们提出了合作MARL的标准化绩效评估方案。我们认为，这样的标准协议，如果被广泛采用，将大大提高未来研究的有效性和信誉，使复制和可重复性更加容易，并提高该领域的能力，通过能够通过能够准确评估进度的速度进行跨不同作品的合理比较。最后，我们在我们的项目网站上公开发布荟萃分析数据，以供未来的评估研究：https：//sites.google.com/view/marl-andard-protocol

在加固学习中的代理商中设计有效的沟通机制一直是一个具有挑战性的任务，特别是对于现实世界的应用。代理人的数量可以增长或环境有时需要与现实世界情景中的变化数量的代理商进行互动。为此，在尺度和动态方面，需要处理各种代理框架的各种方案，以便对现实世界的应用来说是实用的。我们制定多种代理环境，具有不同数量的代理作为多任务问题，提出了一个元增强学习（Meta-RL）框架来解决这个问题。所提出的框架采用Meta学习的通信模式识别（CPR）模块来识别促进培训过程的通信行为和提取信息。实验结果旨在证明所提出的框架（A）推广到看不见的更大量的药剂，（B）允许代理的数量在发作之间发生变化。还提供了烧蚀研究，以推理拟议的CPR设计并显示这种设计是有效的。

Meta-Renifiltive学习（Meta-RL）的目标是通过利用相关任务的经验来建立可以快速学习新任务的代理。学习新任务通常需要探索来收集任务相关信息并利用这些信息来解决任务。原则上，可以通过简单地最大限度地提高任务性能来学习最佳探索和剥削。然而，这种Meta-RL由于鸡蛋和蛋问题而与当地Optima的斗争接近：学习探索需要良好的剥削来衡量探索的实用程序，但学习利用需要通过探索收集的信息。优化用于勘探和剥削的单独目标可以避免这个问题，但先前的Meta-RL探索目标会收益收集与任务无关的信息的次优政策。我们通过构建自动识别任务相关信息的开发目标和勘探目标来缓解对此的担忧，以才能恢复这些信息。这避免了端到端培训中的本地Optima，而不会牺牲最佳探索。凭经验，梦想大幅优于现有的复杂元 - RL问题的方法，例如稀疏奖励3D视觉导航。梦想的视频：https://ezliu.github.io/dream/

我们将记住和忘记的经验重播（Ref-ER）算法扩展到多代理增强学习（MARL）。参考器被证明超过了最先进的算法状态，以连续控制从OpenAI健身房到复杂的流体流动。在MARL中，代理之间的依赖项包括在州值估计器中，环境动力学是通过参考文献使用的重要性权重对其建模的。在协作环境中，当使用个人奖励估算值时，我们发现最佳性能，并且我们忽略了其他动作对过渡图的影响。我们基准在斯坦福大学智能系统实验室（SISL）环境中进行参考文献的性能。我们发现，采用单个馈送前馈神经网络来进行策略和参考文献中的价值函数，优于依靠复杂的神经网络体系结构的最先进的算法状态。

本文考虑了多智能经纪人强化学习（MARL）任务，代理商在集会结束时获得共享全球奖励。这种奖励的延迟性质影响了代理商在中间时间步骤中评估其行动质量的能力。本文侧重于开发学习焦点奖励的时间重新分布的方法，以获得密集奖励信号。解决这些MARL问题需要解决两个挑战：识别（1）沿着集发作（沿时间）的长度相对重要性，以及（2）在任何单一时间步骤（代理商中）的相对重要性。在本文中，我们介绍了奖励中的奖励再分配，在整容多智能体加固学习（Arel）中奖励再分配，以解决这两个挑战。 Arel使用注意机制来表征沿着轨迹（时间关注）对状态转换的动作的影响，以及每个代理在每个时间步骤（代理人注意）的影响。 Arel预测的重新分配奖励是密集的，可以与任何给定的MARL算法集成。我们评估了粒子世界环境的具有挑战性的任务和星际争霸多功能挑战。 arel导致粒子世界的奖励较高，并改善星际争端的胜利率与三个最先进的奖励再分配方法相比。我们的代码可在https://github.com/baicenxiao/arel获得。

在合作的多代理增强学习（MARL）中，代理只能获得部分观察，有效利用本地信息至关重要。在长期观察期间，代理可以构建\ textit {意识}，使队友减轻部分可观察性问题。但是，以前的MAL方法通常忽略了对本地信息的这种利用。为了解决这个问题，我们提出了一个新颖的框架，多代理\ textit {本地信息分解，以意识到队友}（linda），代理商通过该框架学会分解本地信息并为每个队友建立意识。我们将意识模拟为随机随机变量并执行表示学习，以确保意识表示的信息，通过最大程度地提高意识与相应代理的实际轨迹之间的相互信息。 Linda对特定算法是不可知论的，可以灵活地集成到不同的MARL方法中。足够的实验表明，所提出的框架从当地的部分观察结果中学习了信息丰富的意识，以更好地协作并显着提高学习绩效，尤其是在具有挑战性的任务上。

元强化学习（RL）方法可以使用比标准RL少的数据级的元培训策略，但元培训本身既昂贵又耗时。如果我们可以在离线数据上进行元训练，那么我们可以重复使用相同的静态数据集，该数据集将一次标记为不同任务的奖励，以在元测试时间适应各种新任务的元训练策略。尽管此功能将使Meta-RL成为现实使用的实用工具，但离线META-RL提出了除在线META-RL或标准离线RL设置之外的其他挑战。 Meta-RL学习了一种探索策略，该策略收集了用于适应的数据，并元培训策略迅速适应了新任务的数据。由于该策略是在固定的离线数据集上进行了元训练的，因此当适应学识渊博的勘探策略收集的数据时，它可能表现得不可预测，这与离线数据有系统地不同，从而导致分布变化。我们提出了一种混合脱机元元素算法，该算法使用带有奖励的脱机数据来进行自适应策略，然后收集其他无监督的在线数据，而无需任何奖励标签来桥接这一分配变化。通过不需要在线收集的奖励标签，此数据可以便宜得多。我们将我们的方法比较了在模拟机器人的运动和操纵任务上进行离线元rl的先前工作，并发现使用其他无监督的在线数据收集可以显着提高元训练政策的自适应能力，从而匹配完全在线的表现。在一系列具有挑战性的域上，需要对新任务进行概括。

在合作的多代理增强学习（MARL）中，将价值​​分解与参与者 - 批评结合，使代理人能够学习随机政策，这更适合部分可观察到的环境。鉴于学习能够分散执行的本地政策的目标，通常认为代理人彼此独立，即使在集中式培训中也是如此。但是，这样的假设可能会禁止代理人学习最佳联合政策。为了解决这个问题，我们明确地将代理商之间的依赖性带入集中式培训。尽管这导致了最佳联合政策，但对于分散的执行，可能不会分解它。然而，从理论上讲，从这样的联合政策中，我们始终可以得出另一项联合政策，该政策可实现相同的最优性，但可以分解以分散的执行。为此，我们提出了多机构条件政策分解（MACPF），该政策分解（MACPF）需要进行更集中的培训，但仍可以实现分散的执行。我们在各种合作的MARL任务中验证MACPF，并证明MACPF比基线获得更好的性能或更快的收敛性。

Meta强化学习（META-RL）旨在学习一项政策，同时并迅速适应新任务。它需要大量从培训任务中汲取的数据，以推断任务之间共享的共同结构。如果没有沉重的奖励工程，长期任务中的稀疏奖励加剧了元RL样品效率的问题。 Meta-RL中的另一个挑战是任务之间难度级别的差异，这可能会导致一个简单的任务主导共享策略的学习，从而排除政策适应新任务。这项工作介绍了一个新颖的目标功能，可以在培训任务中学习动作翻译。从理论上讲，我们可以验证带有操作转换器的传输策略的值可以接近源策略的值和我们的目标函数（大约）上限的值差。我们建议将动作转换器与基于上下文的元元算法相结合，以更好地收集数据，并在元训练期间更有效地探索。我们的方法从经验上提高了稀疏奖励任务上元RL算法的样本效率和性能。

每年，在越来越复杂的多种域名，包括GO，Poker和Starcraft II在内的著名示例中都能达到专家级的性能。这种快速的进步伴随着相应的需求，以更好地了解这种代理如何实现这种绩效，以实现其安全的部署，确定局限性并揭示其改善它们的潜力。在本文中，我们从以性能为中心的多种学习中退后一步，而是将注意力转向代理行为分析。我们介绍了一种模型 - 反应方法，用于使用变异推理在多种基因域中发现行为簇，以学习关节和局部代理水平的行为层次结构。我们的框架没有对代理的基础学习算法的假设，不需要访问其潜在状态或模型，并且可以使用完全离线观察数据进行培训。我们说明了我们方法在联合和地方代理层面上对行为的耦合理解的有效性，在整个培训过程中检测行为变更点，发现核心行为概念（例如，那些促进更高回报的核心行为概念）的有效性，并证明了方法的可扩展性高维的多基金会木叶控制结构域。