多机构增强学习（MARL）是训练在共同环境中独立起作用的自动化系统的强大工具。但是，当个人激励措施和群体激励措施分歧时，它可能导致次优行为。人类非常有能力解决这些社会困境。在MAL中，复制自私的代理商中的这种合作行为是一个开放的问题。在这项工作中，我们借鉴了经济学正式签约的想法，以克服MARL代理商之间的动力分歧。我们提出了对马尔可夫游戏的增强，在预先指定的条件下，代理商自愿同意约束依赖状态依赖的奖励转移。我们的贡献是理论和经验的。首先，我们表明，这种增强使所有完全观察到的马尔可夫游戏的所有子游戏完美平衡都表现出社会最佳行为，并且鉴于合同的足够丰富的空间。接下来，我们通过表明最先进的RL算法学习了我们的增强术，我们将学习社会最佳政策，从而补充我们的游戏理论分析。我们的实验包括经典的静态困境，例如塔格·亨特（Stag Hunt），囚犯的困境和公共物品游戏，以及模拟交通，污染管理和共同池资源管理的动态互动。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

We study the problem of training a principal in a multi-agent general-sum game using reinforcement learning (RL). Learning a robust principal policy requires anticipating the worst possible strategic responses of other agents, which is generally NP-hard. However, we show that no-regret dynamics can identify these worst-case responses in poly-time in smooth games. We propose a framework that uses this policy evaluation method for efficiently learning a robust principal policy using RL. This framework can be extended to provide robustness to boundedly rational agents too. Our motivating application is automated mechanism design: we empirically demonstrate our framework learns robust mechanisms in both matrix games and complex spatiotemporal games. In particular, we learn a dynamic tax policy that improves the welfare of a simulated trade-and-barter economy by 15%, even when facing previously unseen boundedly rational RL taxpayers.

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。

在常见和冲突的利益（混合动机环境）最近在多智能经纪人学习中获得了相当大的关注的情况下，在普通和冲突的环境中的合作。然而，通常研究的混合动机环境具有单一的合作结果，所有代理商可以同意。许多现实世界的多代理环境是讨价还价的问题（BPS）：它们有几个帕累托最优的收益档案，代理具有冲突的偏好。我们认为当规范性分歧的空间导致存在多个竞争合作均衡的空间时，典型的合作诱导学习算法未能在BPS中合作，并经过凭经验说明这个问题。要纠正问题，我们介绍了规范适应性政策的概念。规范适应性政策能够根据不同情况下的不同规范表现，从而为解决规范性分歧的机会创造了机会。我们开发一类规范适应性政策，并在实验中展示，这些实验性显着增加了合作。然而，规范适应性无法解决从利用率和合作稳健性之间产生的基本权衡产生的残余议价失败。

尽管自1970年代以来就已经知道，普通付款游戏中的全球最佳策略概况是纳什均衡，但全球最优性是严格的要求，它限制了结果的适用性。在这项工作中，我们表明任何本地最佳的对称策略概况也是（全局）NASH平衡。此外，我们证明了这一结果对通用收益和本地最佳的扰动是可靠的。应用于机器学习，我们的结果为任何梯度方法提供了全球保证，该方法在对称策略空间中找到了局部最佳。尽管该结果表明单方面偏差的稳定性，但我们仍然确定了广泛的游戏类别，这些游戏混合了当地的最佳选择，在不对称的偏差下是不稳定的。我们通过在一系列对称游戏中运行学习算法来分析不稳定性的普遍性，并通过讨论结果对多代理RL，合作逆RL和分散的POMDP的适用性来得出结论。

我们研究了在几个课程之一的未知会员的对手对对手的反复游戏中保证对反对者的低遗憾的问题。我们添加了我们的算法是非利用的约束，因为对手缺乏使用算法的激励，我们无法实现超过一些“公平”价值的奖励。我们的解决方案是一组专家算法（LAFF），该算法（LAFF）在一组子算法内搜索每个对手课程的最佳算法，并在检测对手剥削证据时使用惩罚政策。通过依赖对手课的基准，我们展示了除了剥削者之外的可能对手统一地掩盖了Lublinear的遗憾，我们保证对手有线性遗憾。为了我们的知识，这项工作是第一个在多智能经纪人学习中提供遗憾和非剥削性的保证。

我们考虑基于模型的多代理增强学习，其中环境过渡模型未知，只能通过与环境的昂贵互动来学习。我们提出了H-MARL（幻觉多代理增强学习），这是一种新型样本算法，可以有效地平衡探索，即学习环境和剥削，即在基本的一般及其Markov游戏中实现良好的平衡性能。 H-MARL围绕未知过渡模型建立高概率的置信区间，并根据新观察到的数据顺序更新它们。使用这些，它为每轮计算平衡策略的代理商构建了一个乐观的幻觉游戏。我们考虑一般的统计模型（例如高斯流程，深层合奏等）和政策类（例如，深神经网络），理论上通过限制了代理人的动态遗憾来分析我们的方法。此外，我们为基础马尔可夫游戏的平衡提供了融合率。我们对自主驾驶模拟基准测试的实验证明了我们的方法。 H-MARL与环境进行了几次相互作用后，学习成功的平衡策略，与非最佳探索方法相比，可以显着提高性能。

实际经济体可以被视为一种顺序不完美信息游戏，具有许多异质，互动的各种代理类型的战略代理，例如消费者，公司和政府。动态一般均衡模型是在此类系统中建模经济活动，交互和结果的普通经济工具。然而，当所有代理商是战略和互动时，现有的分析和计算方法努力寻找明确的均衡，而联合学习是不稳定的并且具有挑战性。在其他人中，一个重要的原因是，一个经济代理人的行动可能会改变另一名代理人的奖励职能，例如，当公司更改价格或政府更改税收时，消费者的消费者的消费收入变化。我们表明，多代理深度加强学习（RL）可以发现稳定的解决方案，即通过使用结构的学习课程和高效的GPU，在经济模拟中，在经济仿真中，在经济模拟中，可以发现普遍存器类型的稳定解决方案。仿真和培训。概念上，我们的方法更加灵活，不需要不切实际的假设，例如市场清算，通常用于分析途径。我们的GPU实施使得能够在合理的时间范围内具有大量代理的经济体，例如，在一天内完成培训。我们展示了我们在实际商业周期模型中的方法，这是一个代表性的DGE模型系列，100名工人消费者，10家公司和政府税收和重新分配。我们通过近似最佳响应分析验证了学习的Meta-Game epsilon-Nash均衡，表明RL政策与经济直觉保持一致，我们的方法是建设性的，例如，通过明确地学习Meta-Game epsilon-Nash ePhilia的频谱打开RBC型号。

具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。

当今许多大型系统的设计，从交通路由环境到智能电网，都依赖游戏理论平衡概念。但是，随着$ n $玩家游戏的大小通常会随着$ n $而成倍增长，标准游戏理论分析实际上是不可行的。最近的方法通过考虑平均场游戏，匿名$ n $玩家游戏的近似值，在这种限制中，玩家的数量是无限的，而人口的状态分布，而不是每个单独的球员的状态，是兴趣。然而，迄今为止研究最多的平均场平衡的平均场nash平衡的实际可计算性通常取决于有益的非一般结构特性，例如单调性或收缩性能，这是已知的算法收敛所必需的。在这项工作中，我们通过开发均值相关和与粗相关的平衡的概念来研究平均场比赛的替代途径。我们证明，可以使用三种经典算法在\ emph {ash All Games}中有效地学习它们，而无需对游戏结构进行任何其他假设。此外，我们在文献中已经建立了对应关系，从而获得了平均场 - $ n $玩家过渡的最佳范围，并经验证明了这些算法在简单游戏中的收敛性。

随机游戏的学习可以说是多功能钢筋学习（MARL）中最标准和最基本的环境。在本文中，我们考虑在非渐近制度的随机游戏中分散的Marl。特别是，我们在大量的一般总和随机游戏（SGS）中建立了完全分散的Q学习算法的有限样本复杂性 - 弱循环SGS，包括对所有代理商的普通合作MARL设置具有相同的奖励（马尔可夫团队问题是一个特例。我们专注于实用的同时具有挑战性地设置完全分散的Marl，既不奖励也没有其他药剂的作用，每个试剂都可以观察到。事实上，每个特工都完全忘记了其他决策者的存在。表格和线性函数近似情况都已考虑。在表格设置中，我们分析了分散的Q学习算法的样本复杂性，以收敛到马尔可夫完美均衡（NASH均衡）。利用线性函数近似，结果用于收敛到线性近似平衡 - 我们提出的均衡的新概念 - 这描述了每个代理的策略是线性空间内的最佳回复（到其他代理）。还提供了数值实验，用于展示结果。

Current approaches to multi-agent cooperation rely heavily on centralized mechanisms or explicit communication protocols to ensure convergence. This paper studies the problem of distributed multi-agent learning without resorting to centralized components or explicit communication. It examines the use of distribution matching to facilitate the coordination of independent agents. In the proposed scheme, each agent independently minimizes the distribution mismatch to the corresponding component of a target visitation distribution. The theoretical analysis shows that under certain conditions, each agent minimizing its individual distribution mismatch allows the convergence to the joint policy that generated the target distribution. Further, if the target distribution is from a joint policy that optimizes a cooperative task, the optimal policy for a combination of this task reward and the distribution matching reward is the same joint policy. This insight is used to formulate a practical algorithm (DM$^2$), in which each individual agent matches a target distribution derived from concurrently sampled trajectories from a joint expert policy. Experimental validation on the StarCraft domain shows that combining (1) a task reward, and (2) a distribution matching reward for expert demonstrations for the same task, allows agents to outperform a naive distributed baseline. Additional experiments probe the conditions under which expert demonstrations need to be sampled to obtain the learning benefits.

全球综合合作对于限制全球温度的升高至关重要，同时继续经济发展，例如减少严重的不平等或实现长期经济增长。与N战略代理进行缓解气候变化的长期合作提出了一个复杂的游戏理论问题。例如，代理商可以谈判并达成气候协议，但是没有中央权力可以执行遵守这些协议。因此，设计谈判和协议框架以促进合作，允许所有代理人达到其个人政策目标并激励长期遵守，这一点至关重要。这是一个跨学科的挑战，要求在机器学习，经济学，气候科学，法律，政策，道德和其他领域进行研究人员之间的合作。特别是，我们认为机器学习是解决该领域复杂性的关键工具。为了促进这项研究，在这里，我们介绍了一个多区域综合评估模型，模拟全球气候和经济，可用于设计和评估不同谈判和协议框架的战略成果。我们还描述了如何使用多代理增强学习来使用水稻N训练理性剂。该框架是全球气候合作的基础，这是一个工作组协作和气候谈判和协议设计的竞争。在这里，我们邀请科学界使用Rice-N，机器学习，经济直觉和其他领域知识来设计和评估其解决方案。更多信息可以在www.ai4climatecoop.org上找到。

奖励成型（RS）是克服稀疏或不信息奖励问题的强大方法（RL）。但是，RS通常依赖于手动设计的成型奖励功能，其构造耗时且容易出错。它还需要与自主学习目标相反的领域知识。我们介绍了增强学习优化塑造算法（ROSA）的增强型，这是一个自动化的RS框架，其中塑造奖励函数是在两个代理之间的新型马尔可夫游戏中构建的。奖励塑料代理（Shaper）使用切换控件来确定在其他代理（控制器）使用这些形状奖励的任务中学习任务的最佳策略，以确定要添加形状奖励及其最佳值的状态。我们证明，Rosa很容易采用现有的RL算法，学会了构建针对任务的塑造奖励功能，从而确保有效地收敛到高性能策略。我们在三个经过精心设计的实验中展示了罗莎（Rosa）在挑战稀疏奖励环境中对最先进的RS算法的优越性能。

在多机构强化学习（MARL）中，独立学习者是那些不观察系统中其他代理商的行为的学习者。由于信息的权力下放，设计独立的学习者将发挥均匀的态度是有挑战性的。本文研究了使用满足动态来指导独立学习者在随机游戏中近似平衡的可行性。对于$ \ epsilon \ geq 0 $，$ \ epsilon $ -SATISFICING策略更新规则是任何规则，指示代理在$ \ epsilon $ best-best-reversponding to to to the其余参与者的策略时不要更改其策略； $ \ epsilon $ -SATISFIFICING路径定义为当每个代理使用某些$ \ epsilon $ -SATISFIFICING策略更新规则来选择其下一个策略时，获得的联合策略序列。我们建立了关于$ \ epsilon $ - 偏离型路径的结构性结果，这些路径是$ \ epsilon $ equilibium in Symmetric $ n $ - 玩家游戏和带有两个玩家的一般随机游戏。然后，我们为$ n $玩家对称游戏提出了一种独立的学习算法，并为自我玩法的$ \ epsilon $ equilibrium提供了高可能性保证。此保证仅使用对称性，利用$ \ epsilon $ satisficing路径的先前未开发的结构。

在线电子商务平台上的算法定价引起了人们对默认勾结的关注，在这种情况下，强化学习算法学会以分散的方式设定合格价格，而无非是利润反馈。这就提出了一个问题，即是否可以通过设计合适的“购买盒子”来防止合格定价，即通过设计管理电子商务网站要素的规则，这些规则将特定产品和价格推向消费者。在本文中，我们证明了平台也可以使用增强学习（RL）来学习有效防止RL卖家勾结的框规则。为此，我们采用了Stackelberg POMDP的方法，并在学习强大的规则方面取得了成功，这些规则继续提供高昂的消费者福利，以及采用不同行为模型或对商品的分发费用的卖家。

我们研究多个代理商在多目标环境的同时学习的问题。具体来说，我们考虑两种药剂重复播放一个多目标的正常形式的游戏。在这样的游戏，从联合行动所产生的收益都向量值。以基于效用的方法，我们假设效用函数存在映射向量标公用事业和考虑旨在最大限度地提高预期收益载体的效用代理。作为代理商不一定知道他们的对手的效用函数或策略，他们必须学会互动的最佳策略对方。为了帮助代理商在适当的解决办法到达，我们介绍四种新型偏好通信协议双方的合作以及自身利益的沟通。每一种方法描述了一个代理在他们的行动以及如何另一代理响应通信偏好的特定协议。这些协议是一组对不沟通基线代理5个标杆游戏随后对其进行评估。我们发现，偏好通信可以彻底改变学习的过程，并导致其没有在此设置先前观测环纳什均衡的出现。另外，还要在那里代理商必须学会当通信的通信方案。对于与纳什均衡游戏的代理，我们发现通信可以是有益的，但很难知道什么时候剂有不同的最佳平衡。如果不是这种情况，代理变得冷漠通信。在游戏没有纳什均衡，我们的结果表明，整个学习率的差异。当使用更快的学习者，我们观察到明确的沟通，在50％左右的时间变得越来越普遍，因为它可以帮助他们在学习的妥协联合政策。较慢的学生保留这种模式在较小的程度，但显示增加的冷漠。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

平均场理论提供了一种将多基强化学习算法扩展到许多代理可以由虚拟均值代理提取的环境的有效方法。在本文中，我们将平均字段多基因算法扩展到多种类型。这种类型使平均田间强化学习中的核心假设可以放松，即环境中的所有代理都在采用几乎相似的策略，并且具有相同的目标。我们基于标准的魔法框架，对许多代理增强学习领域的三个不同测试床进行实验。我们考虑两种不同类型的平均场环境：a）代理属于预定义类型的游戏，这些类型是先验和b）每个代理的类型未知的游戏，因此必须根据观察结果学习。我们为每种类型的游戏介绍了新的算法，并演示了它们优于最先进的算法，这些算法假定所有代理都属于Magent Framework中的所有代理属于相同类型和其他基线算法。