在许多社会和工业互动中，参与者通常更喜欢纯粹的自身利益，以牺牲全球福利为代价。这类非合作游戏被称为社会困境，提供了多个演员都应合作以实现最佳结果的情况，但贪婪和恐惧导致了最坏的自我利益问题。最近，深入强化学习（RL）的出现通过引入顺序社会困境（SSD）引起了人们对社会困境的复兴兴趣。混合RL政策和TIT-TAT（TFT）策略的合作社成功解决了一些非最佳的NASH平衡问题。但是，这种范式需要参与者之间的对称和直接合作，当相互合作变得不对称并且只有至少以圆形的方式使用第三个参与者时，这些范式没有满足的条件。为了解决这个问题，本文通过循环顺序社会困境（CSSD）扩展了SSD，这是一种新型的马尔可夫游戏，可以更好地概括代理商之间的合作多样性。其次，为了解决这种循环和不对称合作，我们提出了基于RL策略和基于图的TFT的候选解决方案。我们在简单的多玩家网格世界上进行了一些实验，该网格世界提供了适应性的合作结构。我们的工作证实，我们的基于图形的方法有益于通过鼓励自我利益的代理进行相互合作来解决循环情况。

在常见和冲突的利益（混合动机环境）最近在多智能经纪人学习中获得了相当大的关注的情况下，在普通和冲突的环境中的合作。然而，通常研究的混合动机环境具有单一的合作结果，所有代理商可以同意。许多现实世界的多代理环境是讨价还价的问题（BPS）：它们有几个帕累托最优的收益档案，代理具有冲突的偏好。我们认为当规范性分歧的空间导致存在多个竞争合作均衡的空间时，典型的合作诱导学习算法未能在BPS中合作，并经过凭经验说明这个问题。要纠正问题，我们介绍了规范适应性政策的概念。规范适应性政策能够根据不同情况下的不同规范表现，从而为解决规范性分歧的机会创造了机会。我们开发一类规范适应性政策，并在实验中展示，这些实验性显着增加了合作。然而，规范适应性无法解决从利用率和合作稳健性之间产生的基本权衡产生的残余议价失败。

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。

我们研究多个代理商在多目标环境的同时学习的问题。具体来说，我们考虑两种药剂重复播放一个多目标的正常形式的游戏。在这样的游戏，从联合行动所产生的收益都向量值。以基于效用的方法，我们假设效用函数存在映射向量标公用事业和考虑旨在最大限度地提高预期收益载体的效用代理。作为代理商不一定知道他们的对手的效用函数或策略，他们必须学会互动的最佳策略对方。为了帮助代理商在适当的解决办法到达，我们介绍四种新型偏好通信协议双方的合作以及自身利益的沟通。每一种方法描述了一个代理在他们的行动以及如何另一代理响应通信偏好的特定协议。这些协议是一组对不沟通基线代理5个标杆游戏随后对其进行评估。我们发现，偏好通信可以彻底改变学习的过程，并导致其没有在此设置先前观测环纳什均衡的出现。另外，还要在那里代理商必须学会当通信的通信方案。对于与纳什均衡游戏的代理，我们发现通信可以是有益的，但很难知道什么时候剂有不同的最佳平衡。如果不是这种情况，代理变得冷漠通信。在游戏没有纳什均衡，我们的结果表明，整个学习率的差异。当使用更快的学习者，我们观察到明确的沟通，在50％左右的时间变得越来越普遍，因为它可以帮助他们在学习的妥协联合政策。较慢的学生保留这种模式在较小的程度，但显示增加的冷漠。

具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。

多代理游戏中的均衡选择是指选择帕累托最佳平衡的问题。已经表明，由于每个代理商在训练过程中对其他代理商的政策的不确定性，许多最先进的多机构增强学习（MARL）算法容易融合到帕累托主导的平衡。为了解决次优的平衡选择，我们提出了一种使用无关紧要游戏的简单原则（具有相同奖励的超级合作游戏）的参与者批评算法（PAC）：每个代理人都可以假设其他人会选择动作的动作这将导致帕累托最佳平衡。我们评估了PAC在一系列多种多样的游戏中，并表明与替代MARL算法相比，它会收敛到更高的情节回报，并在一系列矩阵游戏中成功收敛到帕累托优势。最后，我们提出了一个图形神经网络扩展，该扩展可以在具有多达15个代理商的游戏中有效地扩展。

离线增强学习（离线RL）是一个新兴领域，由于其能够从早期收集的数据集中学习行为，该领域最近开始在各个应用领域中引起关注。当与环境进一步交互（计算或其他方式），不安全或完全不可行时，必须使用记录数据。离线RL被证明非常成功，为解决以前棘手的现实世界问题铺平了道路，我们旨在将此范式推广到多代理或多人游戏设置。由于缺乏标准化数据集和有意义的基准，因此在这一领域进行的研究很少，因为进展受到阻碍。在这项工作中，我们将术语“离线平衡发现（OEF）”创造，以描述该区域并构建多个数据集，这些数据集由使用多种既定方法在各种游戏中收集的策略组成。我们还提出了一种基准方法 - 行为克隆和基于模型的算法的合并。我们的两种基于模型的算法 - OEF-PSRO和OEF-CFR - 是在离线学习的背景下，广泛使用的平衡发现算法深入CFR和PSRO的适应。在经验部分中，我们评估了构造数据集上基准算法的性能。我们希望我们的努力可以帮助加速大规模平衡发现的研究。数据集和代码可在https://github.com/securitygames/oef上获得。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

We propose a multi-agent reinforcement learning dynamics, and analyze its convergence properties in infinite-horizon discounted Markov potential games. We focus on the independent and decentralized setting, where players can only observe the realized state and their own reward in every stage. Players do not have knowledge of the game model, and cannot coordinate with each other. In each stage of our learning dynamics, players update their estimate of a perturbed Q-function that evaluates their total contingent payoff based on the realized one-stage reward in an asynchronous manner. Then, players independently update their policies by incorporating a smoothed optimal one-stage deviation strategy based on the estimated Q-function. A key feature of the learning dynamics is that the Q-function estimates are updated at a faster timescale than the policies. We prove that the policies induced by our learning dynamics converge to a stationary Nash equilibrium in Markov potential games with probability 1. Our results demonstrate that agents can reach a stationary Nash equilibrium in Markov potential games through simple learning dynamics under the minimum information environment.

大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。

作为一个重要的心理和社会实验，迭代的囚犯困境（IPD）将合作或缺陷作为原子行动视为选择。我们建议研究迭代的囚犯困境（IPD）游戏中在线学习算法的行为，在那里我们研究了整个强化学习剂：多臂匪徒，上下文的强盗和钢筋学习。我们根据迭代囚犯的困境的比赛进行评估，其中多个特工可以以顺序竞争。这使我们能够分析由多个自私的独立奖励驱动的代理所学到的政策的动态，还使我们研究了这些算法适合人类行为的能力。结果表明，考虑当前的情况做出决定是这种社会困境游戏中最糟糕的情况。陈述了有关在线学习行为和临床验证的倍数，以此作为将人工智能算法与人类行为及其在神经精神病疾病中的异常状态联系起来的努力。

由于共同国家行动空间相对于代理人的数量，多代理强化学习（MARL）中的政策学习（MARL）是具有挑战性的。为了实现更高的可伸缩性，通过分解执行（CTDE）的集中式培训范式被MARL中的分解结构广泛采用。但是，我们观察到，即使在简单的矩阵游戏中，合作MARL中现有的CTDE算法也无法实现最佳性。为了理解这种现象，我们引入了一个具有政策分解（GPF-MAC）的广义多代理参与者批评的框架，该框架的特征是对分解的联合政策的学习，即，每个代理人的政策仅取决于其自己的观察行动历史。我们表明，最受欢迎的CTDE MARL算法是GPF-MAC的特殊实例，可能会陷入次优的联合政策中。为了解决这个问题，我们提出了一个新颖的转型框架，该框架将多代理的MDP重新制定为具有连续结构的特殊“单位代理” MDP，并且可以允许使用现成的单机械加固学习（SARL）算法来有效地学习相应的多代理任务。这种转换保留了SARL算法的最佳保证，以合作MARL。为了实例化此转换框架，我们提出了一个转换的PPO，称为T-PPO，该PPO可以在有限的多代理MDP中进行理论上执行最佳的策略学习，并在一系列合作的多代理任务上显示出明显的超出性能。

本文提出了用于学习两人零和马尔可夫游戏的小说，端到端的深钢筋学习算法。我们的目标是找到NASH平衡政策，这些策略不受对抗对手的剥削。本文与以前在广泛形式的游戏中找到NASH平衡的努力不同，这些游戏具有树结构的过渡动态和离散的状态空间，本文着重于具有一般过渡动态和连续状态空间的马尔可夫游戏。我们提出了（1）NASH DQN算法，该算法将DQN与nash finding subroutine集成在一起的联合价值函数； （2）NASH DQN利用算法，该算法还采用了指导代理商探索的剥削者。我们的算法是理论算法的实用变体，这些变体可以保证在基本表格设置中融合到NASH平衡。对表格示例和两个玩家Atari游戏的实验评估证明了针对对抗对手的拟议算法的鲁棒性，以及对现有方法的优势性能。

Various types of Multi-Agent Reinforcement Learning (MARL) methods have been developed, assuming that agents' policies are based on true states. Recent works have improved the robustness of MARL under uncertainties from the reward, transition probability, or other partners' policies. However, in real-world multi-agent systems, state estimations may be perturbed by sensor measurement noise or even adversaries. Agents' policies trained with only true state information will deviate from optimal solutions when facing adversarial state perturbations during execution. MARL under adversarial state perturbations has limited study. Hence, in this work, we propose a State-Adversarial Markov Game (SAMG) and make the first attempt to study the fundamental properties of MARL under state uncertainties. We prove that the optimal agent policy and the robust Nash equilibrium do not always exist for an SAMG. Instead, we define the solution concept, robust agent policy, of the proposed SAMG under adversarial state perturbations, where agents want to maximize the worst-case expected state value. We then design a gradient descent ascent-based robust MARL algorithm to learn the robust policies for the MARL agents. Our experiments show that adversarial state perturbations decrease agents' rewards for several baselines from the existing literature, while our algorithm outperforms baselines with state perturbations and significantly improves the robustness of the MARL policies under state uncertainties.

DeepMind的游戏理论与多代理团队研究多学科学习的几个方面，从计算近似值到游戏理论中的基本概念，再到在富裕的空间环境中模拟社会困境，并在困难的团队协调任务中培训3-D类人动物。我们小组的一个签名目的是使用DeepMind在DeepMind中提供的资源和专业知识，以深入强化学习来探索复杂环境中的多代理系统，并使用这些基准来提高我们的理解。在这里，我们总结了我们团队的最新工作，并提出了一种分类法，我们认为这重点介绍了多代理研究中许多重要的开放挑战。

游戏历史悠久的历史悠久地作为人工智能进步的基准。最近，使用搜索和学习的方法在一系列完美的信息游戏中表现出强烈的表现，并且使用游戏理论推理和学习的方法对特定的不完美信息扑克变体表示了很强的性能。我们介绍游戏玩家，一个通用算法，统一以前的方法，结合导游搜索，自助学习和游戏理论推理。游戏播放器是实现大型完美和不完美信息游戏中强大实证性能的第一个算法 - 这是一项真正的任意环境算法的重要一步。我们证明了游戏玩家是声音，融合到完美的游戏，因为可用的计算时间和近似容量增加。游戏播放器在国际象棋上达到了强大的表现，然后击败了最强大的公开可用的代理商，在头上没有限制德克萨斯州扑克（Slumbot），击败了苏格兰院子的最先进的代理人，这是一个不完美的信息游戏，说明了引导搜索，学习和游戏理论推理的价值。

定量融资中最基本的问题之一是存在适合给定一组选择的市场价格的连续时间扩散模型。传统上，人们采用直觉，理论和经验分析的组合来找到实现精确或近似拟合的模型。我们的贡献是展示该问题的合适游戏理论表述如何通过利用现代深层多代理强化学习中的现有发展来帮助解决这个问题，以在随机过程的空间中进行搜索。更重要的是，我们希望社区可以利用和扩展我们的技术来解决该领域的重要问题，例如SPX-VIX校准问题。我们的实验表明，我们能够学习局部波动性，以及在波动率过程中所需的路径依赖性，以最大程度地降低百慕大选项的价格。在一句话中，我们的算法可以看作是粒子方法\`{a} la Guyon et henry-labordere，而粒子而不是被设计为确保$ \ sigma_ {loc}}（t，s_t）^2 = \ mathbb { e} [\ sigma_t^2 | s_t] $，正在学习与更通用校准目标合作的RL驱动的代理。这是第一批使用衍生校准问题桥接加固学习的工作。

我们调查攻击者的效果如何，当它只从受害者的行为中学习时，没有受害者的奖励。在这项工作中，当受害者的动机未知时，我们被攻击者想要行事的情景。我们认为一个启发式方法可以使用攻击者是最大化受害者政策的熵。政策通常不会被滥用，这意味着它可以通过被动地观察受害者来提取。我们以奖励无源勘探算法的形式提供这样的策略，可以在勘探阶段最大化攻击者的熵，然后在规划阶段最大化受害者的经验熵。在我们的实验中，受害者代理商通过政策熵最大化而颠覆，暗示攻击者可能无法访问受害者的奖励成功。因此，仅基于观察行为的无奖励攻击表明，即使受害者的奖励信息受到保护，攻击者的可行性也在不了解受害者的动机。

多智能经纪环境中的单代理强化学习算法不足以促进合作。如果智能代理商共同互动并共同努力解决复杂的问题，则需要计数器非合作行为的方法来促进多个代理的培训。这是合作AI的目标。然而，最近在对抗机器学习中的工作表明，模型（例如，图像分类器）可以很容易地欺骗制作不正确的决策。此外，在合作社的一些过去的研究依赖于陈述的新概念，如公共信仰，加快了解最佳合作行为的学习。因此，合作AI可能会引入以前的机器学习研究中未调查的新弱点。在本文中，我们的贡献包括：（1）争论由人类的社会情报启发的三种算法引入了新的漏洞，独一无二的合作益处，对手可以利用，并显示出对此简单，对抗的实验代理人的信念可能会产生负面影响。本证据表明了社会行为正式陈述的可能性易受对抗性袭击的影响。

许多经济比赛和机器学习方法可以作为竞争优化问题，其中多个代理可以最大限度地减少其各自的目标函数，这取决于所有代理的行动。虽然梯度下降是单代理优化的可靠基本工作，但它通常会导致竞争优化的振荡。在这项工作中，我们提出了PolyATrix竞争梯度下降（PCGD）作为解决涉及任意数量的代理的通用和竞争优化的方法。我们的方法的更新是通过二次正则化的局部Polypatrix近似的纳什均衡，并且可以通过求解方程的线性系统有效地计算。我们证明了PCGD的本地融合以获得$ N $ -Player General Sum Games的稳定定点，并显示它不需要将步长调整到玩家交互的强度。我们使用PCGD优化多功能钢筋学习的政策，并展示其在蛇，马尔可夫足球和电力市场游戏中的优势。由PCGD优先效果培训的代理经过培训，具有同步梯度下降，辛渐变调整和蛇和马尔可夫足球比赛的Extragradient以及电力市场游戏，PCGD列达速度比同时梯度下降和自特殊方法。