研究多层合作研究中的一个关键挑战是不仅需要有效合作的个人代理，而且需要与谁合作。当其他代理人隐藏的情况下，可能是错误的动机和目标时，这在局势中特别关键。社交扣除游戏提供途径来研究个人如何学习如何综合有关其他人的潜在不可靠的信息，并阐明其真正的动机。在这项工作中，我们展示了隐藏的议程，这是一个双队的社交扣除游戏，为在未知团队对齐的情况下学习学习代理的2D环境。环境承认两支球队的丰富战略。在隐藏议程中培训的强化学习代理表明，代理商可以学习各种行为，包括合作和投票，而无需以自然语言沟通。

Multi-agent artificial intelligence research promises a path to develop intelligent technologies that are more human-like and more human-compatible than those produced by "solipsistic" approaches, which do not consider interactions between agents. Melting Pot is a research tool developed to facilitate work on multi-agent artificial intelligence, and provides an evaluation protocol that measures generalization to novel social partners in a set of canonical test scenarios. Each scenario pairs a physical environment (a "substrate") with a reference set of co-players (a "background population"), to create a social situation with substantial interdependence between the individuals involved. For instance, some scenarios were inspired by institutional-economics-based accounts of natural resource management and public-good-provision dilemmas. Others were inspired by considerations from evolutionary biology, game theory, and artificial life. Melting Pot aims to cover a maximally diverse set of interdependencies and incentives. It includes the commonly-studied extreme cases of perfectly-competitive (zero-sum) motivations and perfectly-cooperative (shared-reward) motivations, but does not stop with them. As in real-life, a clear majority of scenarios in Melting Pot have mixed incentives. They are neither purely competitive nor purely cooperative and thus demand successful agents be able to navigate the resulting ambiguity. Here we describe Melting Pot 2.0, which revises and expands on Melting Pot. We also introduce support for scenarios with asymmetric roles, and explain how to integrate them into the evaluation protocol. This report also contains: (1) details of all substrates and scenarios; (2) a complete description of all baseline algorithms and results. Our intention is for it to serve as a reference for researchers using Melting Pot 2.0.

与人类合作需要迅速适应他们的个人优势，缺点和偏好。遗憾的是，大多数标准的多智能经纪增强学习技术，如自助（SP）或人口剧（PP），产生培训合作伙伴的代理商，并且对人类不完全概括。或者，研究人员可以使用行为克隆收集人体数据，培训人类模型，然后使用该模型培训“人类感知”代理（“行为克隆播放”或BCP）。虽然这种方法可以改善代理商的概括到新的人类共同球员，但它涉及首先收集大量人体数据的繁重和昂贵的步骤。在这里，我们研究如何培训与人类合作伙伴合作的代理的问题，而无需使用人类数据。我们认为这个问题的症结是制作各种培训伙伴。从竞争域中取得成功的多智能经纪人方法绘制灵感，我们发现令人惊讶的简单方法非常有效。我们培养我们的代理商合作伙伴作为对自行发行代理人口的最佳反应及其过去培训的过去检查点，这是我们呼叫虚构共同扮演（FCP）的方法。我们的实验专注于两位运动员协作烹饪模拟器，最近被提议作为与人类协调的挑战问题。我们发现，与新的代理商和人类合作伙伴配对时，FCP代理商会显着高于SP，PP和BCP。此外，人类还报告了强烈的主观偏好，以与所有基线与FCP代理合作。

本文调查了具有不平等专业知识的组织之间竞争的动态。多智能体增强学习已被用来模拟和理解各种激励方案的影响，旨在抵消这种不等式。我们设计触摸标记，基于众所周知的多助手粒子环境的游戏，其中两支球队（弱，强），不平等但不断变化的技能水平相互竞争。对于培训此类游戏，我们提出了一种新颖的控制器辅助多智能体增强学习算法\我们的\，它使每个代理商携带策略的集合以及通过选择性地分区示例空间，触发智能角色划分队友。使用C-MADDPG作为潜在的框架，我们向弱小的团队提出了激励计划，使两队的最终奖励成为同一个。我们发现尽管激动人心，但弱小队的最终奖励仍然缺乏强大的团​​队。在检查中，我们意识到弱小球队的整体激励计划并未激励该团队中的较弱代理来学习和改进。要抵消这一点，我们现在特别激励了较弱的球员学习，因此，观察到超越初始阶段的弱小球队与更强大的团队表现。本文的最终目标是制定一种动态激励计划，不断平衡两支球队的奖励。这是通过设计富有奖励的激励计划来实现的，该计划从环境中取出最低信息。

除了独奏游戏外，棋盘游戏至少需要其他玩家才能玩。因此，当对手失踪时，我们创建了人工智能（AI）代理商来对抗我们。这些AI代理是通过多种方式创建的，但是这些代理的一个挑战是，与我们相比，代理可以具有较高的能力。在这项工作中，我们描述了如何创建玩棋盘游戏的较弱的AI代理。我们使用Tic-Tac-toe，九名成员的莫里斯和曼卡拉，我们的技术使用了增强学习模型，代理商使用Q学习算法来学习这些游戏。我们展示了这些代理商如何学会完美地玩棋盘游戏，然后我们描述了制作这些代理商较弱版本的方法。最后，我们提供了比较AI代理的方法。

我们研究多个代理商在多目标环境的同时学习的问题。具体来说，我们考虑两种药剂重复播放一个多目标的正常形式的游戏。在这样的游戏，从联合行动所产生的收益都向量值。以基于效用的方法，我们假设效用函数存在映射向量标公用事业和考虑旨在最大限度地提高预期收益载体的效用代理。作为代理商不一定知道他们的对手的效用函数或策略，他们必须学会互动的最佳策略对方。为了帮助代理商在适当的解决办法到达，我们介绍四种新型偏好通信协议双方的合作以及自身利益的沟通。每一种方法描述了一个代理在他们的行动以及如何另一代理响应通信偏好的特定协议。这些协议是一组对不沟通基线代理5个标杆游戏随后对其进行评估。我们发现，偏好通信可以彻底改变学习的过程，并导致其没有在此设置先前观测环纳什均衡的出现。另外，还要在那里代理商必须学会当通信的通信方案。对于与纳什均衡游戏的代理，我们发现通信可以是有益的，但很难知道什么时候剂有不同的最佳平衡。如果不是这种情况，代理变得冷漠通信。在游戏没有纳什均衡，我们的结果表明，整个学习率的差异。当使用更快的学习者，我们观察到明确的沟通，在50％左右的时间变得越来越普遍，因为它可以帮助他们在学习的妥协联合政策。较慢的学生保留这种模式在较小的程度，但显示增加的冷漠。

Interaction and cooperation with humans are overarching aspirations of artificial intelligence (AI) research. Recent studies demonstrate that AI agents trained with deep reinforcement learning are capable of collaborating with humans. These studies primarily evaluate human compatibility through "objective" metrics such as task performance, obscuring potential variation in the levels of trust and subjective preference that different agents garner. To better understand the factors shaping subjective preferences in human-agent cooperation, we train deep reinforcement learning agents in Coins, a two-player social dilemma. We recruit participants for a human-agent cooperation study and measure their impressions of the agents they encounter. Participants' perceptions of warmth and competence predict their stated preferences for different agents, above and beyond objective performance metrics. Drawing inspiration from social science and biology research, we subsequently implement a new "partner choice" framework to elicit revealed preferences: after playing an episode with an agent, participants are asked whether they would like to play the next round with the same agent or to play alone. As with stated preferences, social perception better predicts participants' revealed preferences than does objective performance. Given these results, we recommend human-agent interaction researchers routinely incorporate the measurement of social perception and subjective preferences into their studies.

AI代理应该能够与人类协调以解决任务。我们考虑培训加强学习（RL）代理的问题，而不使用任何人类数据，即在零射击设置中，使其能够与人类合作。标准RL代理商通过自我播放学习。不幸的是，这些代理商只知道如何与自己合作，通常不会与人类的看不见的伙伴表现良好。如何以零射时的方式训练强大的代理的方法仍然需要研究。从最大熵RL激励，我们推出了集中的人口熵目标，以便于学习各种各样的代理商，后来用于培训坚强的代理与看不见的合作伙伴合作。所提出的方法与基线方法相比，其有效性，包括自助PPO，在流行的过度烹制的游戏环境中，包括自行式PPO，标准群体的培训（PBT）和基于轨迹分集的PBT。我们还通过真实人类进行在线实验，并进一步证明了该方法在现实世界中的功效。显示实验结果的补充视频可在https://youtu.be/xh-fkd0aake上获得。

随着alphago的突破，人机游戏的AI已经成为一个非常热门的话题，吸引了世界各地的研究人员，这通常是测试人工智能的有效标准。已经开发了各种游戏AI系统（AIS），如Plibratus，Openai Five和AlphaStar，击败了专业人员。在本文中，我们调查了最近的成功游戏AIS，覆盖棋盘游戏AIS，纸牌游戏AIS，第一人称射击游戏AIS和实时战略游戏AIS。通过这项调查，我们1）比较智能决策领域的不同类型游戏之间的主要困难; 2）说明了开发专业水平AIS的主流框架和技术; 3）提高当前AIS中的挑战或缺点，以实现智能决策; 4）试图提出奥运会和智能决策技巧的未来趋势。最后，我们希望这篇简短的审查可以为初学者提供介绍，激发了在游戏中AI提交的研究人员的见解。

深度加强学习（RL）的最新进展导致许多2人零和游戏中的相当大的进展，如去，扑克和星际争霸。这种游戏的纯粹对抗性质允许概念上简单地应用R1方法。然而，现实世界的设置是许多代理商，代理交互是复杂的共同利益和竞争方面的混合物。我们认为外交，一个旨在突出由多种代理交互导致的困境的7人棋盘游戏。它还具有大型组合动作空间和同时移动，这对RL算法具有具有挑战性。我们提出了一个简单但有效的近似最佳响应操作员，旨在处理大型组合动作空间并同时移动。我们还介绍了一系列近似虚构游戏的政策迭代方法。通过这些方法，我们成功地将RL申请到外交：我们认为我们的代理商令人信服地令人信服地表明，游戏理论均衡分析表明新过程产生了一致的改进。

独立的强化学习算法没有理论保证，用于在多代理设置中找到最佳策略。然而，在实践中，先前的作品报告了在某些域中的独立算法和其他方面的良好性能。此外，文献中缺乏对独立算法的优势和弱点的全面研究。在本文中，我们对四个Pettingzoo环境进行了独立算法的性能的实证比较，这些环境跨越了三种主要类别的多助理环境，即合作，竞争和混合。我们表明，在完全可观察的环境中，独立的算法可以在协作和竞争环境中与多代理算法进行同步。对于混合环境，我们表明通过独立算法培训的代理商学会单独执行，但未能学会与盟友合作并与敌人竞争。我们还表明，添加重复性提高了合作部分可观察环境中独立算法的学习。

多机构增强学习（MARL）是训练在共同环境中独立起作用的自动化系统的强大工具。但是，当个人激励措施和群体激励措施分歧时，它可能导致次优行为。人类非常有能力解决这些社会困境。在MAL中，复制自私的代理商中的这种合作行为是一个开放的问题。在这项工作中，我们借鉴了经济学正式签约的想法，以克服MARL代理商之间的动力分歧。我们提出了对马尔可夫游戏的增强，在预先指定的条件下，代理商自愿同意约束依赖状态依赖的奖励转移。我们的贡献是理论和经验的。首先，我们表明，这种增强使所有完全观察到的马尔可夫游戏的所有子游戏完美平衡都表现出社会最佳行为，并且鉴于合同的足够丰富的空间。接下来，我们通过表明最先进的RL算法学习了我们的增强术，我们将学习社会最佳政策，从而补充我们的游戏理论分析。我们的实验包括经典的静态困境，例如塔格·亨特（Stag Hunt），囚犯的困境和公共物品游戏，以及模拟交通，污染管理和共同池资源管理的动态互动。

Modern video games are becoming richer and more complex in terms of game mechanics. This complexity allows for the emergence of a wide variety of ways to play the game across the players. From the point of view of the game designer, this means that one needs to anticipate a lot of different ways the game could be played. Machine Learning (ML) could help address this issue. More precisely, Reinforcement Learning is a promising answer to the need of automating video game testing. In this paper we present a video game environment which lets us define multiple play-styles. We then introduce CARI: a Configurable Agent with Reward as Input. An agent able to simulate a wide continuum range of play-styles. It is not constrained to extreme archetypal behaviors like current methods using reward shaping. In addition it achieves this through a single training loop, instead of the usual one loop per play-style. We compare this novel training approach with the more classic reward shaping approach and conclude that CARI can also outperform the baseline on archetypes generation. This novel agent could be used to investigate behaviors and balancing during the production of a video game with a realistic amount of training time.

我们介绍了DeepNash，这是一种能够学习从头开始播放不完美的信息游戏策略的自主代理，直到人类的专家级别。 Stratego是人工智能（AI）尚未掌握的少数标志性棋盘游戏之一。这个受欢迎的游戏具有$ 10^{535} $节点的巨大游戏树，即，$ 10^{175} $倍的$倍于GO。它具有在不完美的信息下需要决策的其他复杂性，类似于德克萨斯州Hold'em扑克，该扑克的游戏树较小（以$ 10^{164} $节点为单位）。 Stratego中的决策是在许多离散的动作上做出的，而动作与结果之间没有明显的联系。情节很长，在球员获胜之前经常有数百次动作，而Stratego中的情况则不能像扑克中那样轻松地分解成管理大小的子问题。由于这些原因，Stratego几十年来一直是AI领域的巨大挑战，现有的AI方法几乎没有达到业余比赛水平。 Deepnash使用游戏理论，无模型的深钢筋学习方法，而无需搜索，该方法学会通过自我播放来掌握Stratego。 DeepNash的关键组成部分的正则化NASH Dynamics（R-NAD）算法通过直接修改基础多项式学习动力学来收敛到近似NASH平衡，而不是围绕它“循环”。 Deepnash在Stratego中击败了现有的最先进的AI方法，并在Gravon Games平台上获得了年度（2022年）和历史前3名，并与人类专家竞争。

许多经济比赛和机器学习方法可以作为竞争优化问题，其中多个代理可以最大限度地减少其各自的目标函数，这取决于所有代理的行动。虽然梯度下降是单代理优化的可靠基本工作，但它通常会导致竞争优化的振荡。在这项工作中，我们提出了PolyATrix竞争梯度下降（PCGD）作为解决涉及任意数量的代理的通用和竞争优化的方法。我们的方法的更新是通过二次正则化的局部Polypatrix近似的纳什均衡，并且可以通过求解方程的线性系统有效地计算。我们证明了PCGD的本地融合以获得$ N $ -Player General Sum Games的稳定定点，并显示它不需要将步长调整到玩家交互的强度。我们使用PCGD优化多功能钢筋学习的政策，并展示其在蛇，马尔可夫足球和电力市场游戏中的优势。由PCGD优先效果培训的代理经过培训，具有同步梯度下降，辛渐变调整和蛇和马尔可夫足球比赛的Extragradient以及电力市场游戏，PCGD列达速度比同时梯度下降和自特殊方法。

与社会推动者的强化学习的最新进展使此类模型能够在特定的互动任务上实现人级的绩效。但是，大多数交互式场景并不是单独的版本作为最终目标。取而代之的是，与人类互动时，这些代理人的社会影响是重要的，并且在很大程度上没有探索。在这方面，这项工作提出了一种基于竞争行为的社会影响的新颖强化学习机制。我们提出的模型汇总了客观和社会感知机制，以得出用于调节人造药物学习的竞争得分。为了调查我们提出的模型，我们使用厨师的帽子卡游戏设计了一个互动游戏场景，并研究竞争调制如何改变代理商的比赛风格，以及这如何影响游戏中人类玩家的体验。我们的结果表明，与普通代理人相比，与竞争对手的代理人相比，人类可以检测到特定的社会特征，这直接影响了后续游戏中人类玩家的表现。我们通过讨论构成人工竞争得分的不同社会和客观特征如何有助于我们的结果来结束我们的工作。

哈纳比（Hanabi）是一款合作游戏，它带来了将其他玩家建模到最前沿的问题。在这个游戏中，协调的一组玩家可以利用预先建立的公约发挥出色的效果，但是在临时环境中进行比赛需要代理商适应其伴侣的策略，而没有以前的协调。在这种情况下评估代理需要各种各样的潜在伙伴人群，但是到目前为止，尚未以系统的方式考虑代理的行为多样性。本文提出了质量多样性算法作为有前途的算法类别，以生成多种人群为此目的，并使用MAP-ELITE生成一系列不同的Hanabi代理。我们还假设，在培训期间，代理商可以从多样化的人群中受益，并实施一个简单的“元策略”，以适应代理人的感知行为利基市场。我们表明，即使可以正确推断其伴侣的行为利基市场，即使培训其伴侣的行为利基市场，这种元策略也可以比通才策略更好地工作，但是在实践中，伴侣的行为取决于并干扰了元代理自己的行为，这表明是一条途径对于未来的研究，可以在游戏过程中表征另一个代理商的行为。

强化学习（RL）的最新进展使得可以在广泛的应用中开发出擅长的复杂剂。使用这种代理商的模拟可以在难以在现实世界中进行科学实验的情景中提供有价值的信息。在本文中，我们研究了足球RL代理商的游戏风格特征，并揭示了在训练期间可能发展的策略。然后将学习的策略与真正的足球运动员进行比较。我们探索通过使用聚合统计和社交网络分析（SNA）来探索使用模拟环境的学习内容。结果，我们发现（1）代理商的竞争力与各种SNA指标之间存在强烈的相关性，并且（2）RL代理商的各个方面，游戏风格与现实世界足球运动员相似，因为代理人变得更具竞争力。我们讨论了可能有必要的进一步进展，以改善我们必须充分利用RL进行足球的分析所需的理解。

Ad Hoc团队合作问题描述了代理商必须与以前看不见的代理商合作以实现共同目标的情况。对于在这些场景中成功的代理商，它必须具有合适的合作技能。可以通过使用域知识来设计代理人的行为来实现协作技巧的合作技能。但是，在复杂的域中，可能无法使用域知识。因此，值得探索如何直接从数据中学习合作技能。在这项工作中，我们在临时团队合作问题的背景下申请元加强学习（Meta-RL）制定。我们的经验结果表明，这种方法可以在两个合作环境中产生具有不同合作环境的强大合作社：社会合议和语言解释。（这是扩展抽象版的全文。）

多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。