在现实世界中，人/实体通常独立和自主地找到匹配，例如寻找工作，合作伙伴，室友等。这一搜索可能无法对环境的初始知识开始。我们建议使用多档强化学习（MARL）范式，以便在空间制定的分散双面匹配市场与独立和自主代理商。独立行动的自主代理使我们的环境非常动态和不确定。此外，代理商缺乏对其他代理人的偏好知识，并必须探索环境并与其他代理商互动，通过嘈杂的奖励来发现自己的偏好。我们认为这样的设置更好地近似了现实世界，我们研究了我们的Marl方法对它的有用性。除了传统的稳定匹配情况下，代理程序严格排序偏好，我们检查了我们与不完整名单和联系的稳定匹配方法的适用性。我们调查我们的稳定性，不稳定水平（不稳定的结果）和公平性。我们的Marl方法主要产生稳定和公平的结果。

当代理偏好未知的先验时，我们研究了在共享资源的稀缺时决策的问题问题，并且必须从数据中学到。将双面匹配市场作为一个跑步的例子，我们专注于分散的环境，代理商不会与中央权威分享他们的学习偏好。我们的方法基于再生内核希尔伯特空间中的偏好的表示，以及偏好的学习算法，其由于市场代理商之间的竞争而占不确定性的偏好。在规律性条件下，我们表明我们的偏好估算器以极少的最佳速率收敛。考虑到这一结果，我们推出了最佳策略，最大化代理商的预期收益，我们通过考虑机会成本来校准不确定的状态。我们还获得了激励兼容性属性，并表明学习策略的结果具有稳定性。最后，我们证明了一个公平性质，称赞根据学到的策略存在没有合理的嫉妒。

本文调查了具有不平等专业知识的组织之间竞争的动态。多智能体增强学习已被用来模拟和理解各种激励方案的影响，旨在抵消这种不等式。我们设计触摸标记，基于众所周知的多助手粒子环境的游戏，其中两支球队（弱，强），不平等但不断变化的技能水平相互竞争。对于培训此类游戏，我们提出了一种新颖的控制器辅助多智能体增强学习算法\我们的\，它使每个代理商携带策略的集合以及通过选择性地分区示例空间，触发智能角色划分队友。使用C-MADDPG作为潜在的框架，我们向弱小的团队提出了激励计划，使两队的最终奖励成为同一个。我们发现尽管激动人心，但弱小队的最终奖励仍然缺乏强大的团​​队。在检查中，我们意识到弱小球队的整体激励计划并未激励该团队中的较弱代理来学习和改进。要抵消这一点，我们现在特别激励了较弱的球员学习，因此，观察到超越初始阶段的弱小球队与更强大的团队表现。本文的最终目标是制定一种动态激励计划，不断平衡两支球队的奖励。这是通过设计富有奖励的激励计划来实现的，该计划从环境中取出最低信息。

匹配市场通常以多级和分散的方式组织。此外，现实世界匹配市场的参与者通常具有不确定的偏好。本文基于非参数统计方法和变分分析，开发了在这种环境中学习最佳策略的框架。我们提出了一种高效的算法，建立在“较低不确定性绑定”和“校准分散匹配”的概念上，以最大限度地提高参与者的预期收益。我们表明存在福利与公平性权衡，其特征在于接受的不确定性水平。参与者将战略性地提起低度不确定性水平，以减少竞争并增加预期的收益。与单阶段匹配相比，我们证明参与者可以更好地使用多级匹配。我们通过模拟和使用大学录取的真实数据的实验展示了理论预测的方面。

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

我们调查了多辅助多武装强盗（MA-MAB）设置来建模重复的Cournot寡头寡头寡头杆游戏，该公司作为代理的公司从代表生产量（离散值）的武器中选择。代理商与单独和独立的强盗问题交互。在这种制定中，每个代理人在武器之间进行连续选择，以最大化自己的奖励。代理商没有有关环境的任何信息;在采取行动后，他们只能看到自己的奖励。但是，市场需求是行业总产量的静止功能，不允许随机进入或从市场退出。鉴于这些假设，我们发现$ \ epsilon $ -greedy方法提供比其他传统MAB方法更加可行的学习机制，因为它不需要对系统进行任何额外的知识来运作。我们还提出了两种旨在利用订购的行动空间：$ \ epsilon $ -greedy + hl和$ \ epsilon $ -greedy + el。这些新方法通过消除较少的有利可图的选择，帮助公司专注于更有利可图的行动，从而旨在优化勘探。我们使用计算机模拟来研究结果中各种均衡的出现，并对关节累积遗憾进行实证分析。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

Due mostly to its application to cognitive radio networks, multiplayer bandits gained a lot of interest in the last decade. A considerable progress has been made on its theoretical aspect. However, the current algorithms are far from applicable and many obstacles remain between these theoretical results and a possible implementation of multiplayer bandits algorithms in real cognitive radio networks. This survey contextualizes and organizes the rich multiplayer bandits literature. In light of the existing works, some clear directions for future research appear. We believe that a further study of these different directions might lead to theoretical algorithms adapted to real-world situations.

在常见和冲突的利益（混合动机环境）最近在多智能经纪人学习中获得了相当大的关注的情况下，在普通和冲突的环境中的合作。然而，通常研究的混合动机环境具有单一的合作结果，所有代理商可以同意。许多现实世界的多代理环境是讨价还价的问题（BPS）：它们有几个帕累托最优的收益档案，代理具有冲突的偏好。我们认为当规范性分歧的空间导致存在多个竞争合作均衡的空间时，典型的合作诱导学习算法未能在BPS中合作，并经过凭经验说明这个问题。要纠正问题，我们介绍了规范适应性政策的概念。规范适应性政策能够根据不同情况下的不同规范表现，从而为解决规范性分歧的机会创造了机会。我们开发一类规范适应性政策，并在实验中展示，这些实验性显着增加了合作。然而，规范适应性无法解决从利用率和合作稳健性之间产生的基本权衡产生的残余议价失败。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

实际经济体可以被视为一种顺序不完美信息游戏，具有许多异质，互动的各种代理类型的战略代理，例如消费者，公司和政府。动态一般均衡模型是在此类系统中建模经济活动，交互和结果的普通经济工具。然而，当所有代理商是战略和互动时，现有的分析和计算方法努力寻找明确的均衡，而联合学习是不稳定的并且具有挑战性。在其他人中，一个重要的原因是，一个经济代理人的行动可能会改变另一名代理人的奖励职能，例如，当公司更改价格或政府更改税收时，消费者的消费者的消费收入变化。我们表明，多代理深度加强学习（RL）可以发现稳定的解决方案，即通过使用结构的学习课程和高效的GPU，在经济模拟中，在经济仿真中，在经济模拟中，可以发现普遍存器类型的稳定解决方案。仿真和培训。概念上，我们的方法更加灵活，不需要不切实际的假设，例如市场清算，通常用于分析途径。我们的GPU实施使得能够在合理的时间范围内具有大量代理的经济体，例如，在一天内完成培训。我们展示了我们在实际商业周期模型中的方法，这是一个代表性的DGE模型系列，100名工人消费者，10家公司和政府税收和重新分配。我们通过近似最佳响应分析验证了学习的Meta-Game epsilon-Nash均衡，表明RL政策与经济直觉保持一致，我们的方法是建设性的，例如，通过明确地学习Meta-Game epsilon-Nash ePhilia的频谱打开RBC型号。

加固学习在机器学习中推动了令人印象深刻的进步。同时，量子增强机学习算法使用量子退火的底层划伤。最近，已经提出了一种组合两个范例的多代理强化学习（MARL）架构。这种新的算法利用Q值近似的量子Boltzmann机器（QBMS）在收敛所需的时间步长方面具有优于常规的深度增强学习。但是，该算法仅限于单代理和小型2x2多代理网格域。在这项工作中，我们提出了对原始概念的延伸，以解决更具挑战性问题。类似于Classic DQN，我们添加了重播缓冲区的体验，并使用不同的网络来估计目标和策略值。实验结果表明，学习变得更加稳定，使代理能够在具有更高复杂性的网格域中找到最佳策略。此外，我们还评估参数共享如何影响多代理域中的代理行为。量子采样证明是一种有希望的加强学习任务的方法，但目前受到QPU尺寸的限制，因此通过输入和Boltzmann机器的大小。

尽管自1970年代以来就已经知道，普通付款游戏中的全球最佳策略概况是纳什均衡，但全球最优性是严格的要求，它限制了结果的适用性。在这项工作中，我们表明任何本地最佳的对称策略概况也是（全局）NASH平衡。此外，我们证明了这一结果对通用收益和本地最佳的扰动是可靠的。应用于机器学习，我们的结果为任何梯度方法提供了全球保证，该方法在对称策略空间中找到了局部最佳。尽管该结果表明单方面偏差的稳定性，但我们仍然确定了广泛的游戏类别，这些游戏混合了当地的最佳选择，在不对称的偏差下是不稳定的。我们通过在一系列对称游戏中运行学习算法来分析不稳定性的普遍性，并通过讨论结果对多代理RL，合作逆RL和分散的POMDP的适用性来得出结论。

在建模重复的法院游戏时，许多过去的尝试都认为需求是静止的。这与现实世界的情景不一致，其中市场需求可以通过产品的一生以无数的原因来实现。在本文中，我们模拟了重复的Cournot游戏，不符合非静止需求，使得公司/代理人面临非静止多武装强盗问题的单独实例。代理可以选择的武器/行动代表离散生产量;这里，排序动作空间。代理商是独立和自主的，无法观察到环境中的任何事情;他们只能在采取行动后看到自己的奖励，只能努力最大化这些奖励。我们提出了一种新颖的算法对加权探索（AWE）$ \ EPSILON $ -GREEDY'的自适应，这些探索基于众所周知的$ \ epsilon $ -greedy方法远程。该算法检测和量化由于不同的市场需求而导致的奖励的变化，并与需求变化程度的程度不同，从而使代理能够更好地识别新的最佳动作。为了有效探索，它还部署了一种用于称重利用有序动作空间的动作的机制。我们使用模拟来研究市场上各种均衡的出现。此外，我们在系统中的总代理数量和行动空间的大小之间研究了我们的方法的可扩展性。我们在我们的模型中考虑对称和不对称的公司。我们发现，使用我们提出的方法，代理商能够根据需求的变化迅速改变他们的行动方针，并且在许多模拟中也从事契合行为。

多机构增强学习（MARL）是训练在共同环境中独立起作用的自动化系统的强大工具。但是，当个人激励措施和群体激励措施分歧时，它可能导致次优行为。人类非常有能力解决这些社会困境。在MAL中，复制自私的代理商中的这种合作行为是一个开放的问题。在这项工作中，我们借鉴了经济学正式签约的想法，以克服MARL代理商之间的动力分歧。我们提出了对马尔可夫游戏的增强，在预先指定的条件下，代理商自愿同意约束依赖状态依赖的奖励转移。我们的贡献是理论和经验的。首先，我们表明，这种增强使所有完全观察到的马尔可夫游戏的所有子游戏完美平衡都表现出社会最佳行为，并且鉴于合同的足够丰富的空间。接下来，我们通过表明最先进的RL算法学习了我们的增强术，我们将学习社会最佳政策，从而补充我们的游戏理论分析。我们的实验包括经典的静态困境，例如塔格·亨特（Stag Hunt），囚犯的困境和公共物品游戏，以及模拟交通，污染管理和共同池资源管理的动态互动。

在本文中，我们认为合作的多代理强化学习（MARL）具有稀疏的奖励。为了解决这个问题，我们提出了一种名为Maser：MARL的新方法，并具有从经验重播缓冲区产生的子目标。在广泛使用的集中式培训的假设下，通过分散执行和对MARL的Q值分解的一致性，Maser通过考虑单个Q值和总Q值来自动为多个代理人生成适当的子目标。然后，Maser根据与Q学习相关的可行表示为每个代理设计个人固有奖励，以便代理人达到其子目标，同时最大化联合行动值。数值结果表明，与其他最先进的MARL算法相比，Maser的表现明显优于Starcraft II微管理基准。

Multi-agent artificial intelligence research promises a path to develop intelligent technologies that are more human-like and more human-compatible than those produced by "solipsistic" approaches, which do not consider interactions between agents. Melting Pot is a research tool developed to facilitate work on multi-agent artificial intelligence, and provides an evaluation protocol that measures generalization to novel social partners in a set of canonical test scenarios. Each scenario pairs a physical environment (a "substrate") with a reference set of co-players (a "background population"), to create a social situation with substantial interdependence between the individuals involved. For instance, some scenarios were inspired by institutional-economics-based accounts of natural resource management and public-good-provision dilemmas. Others were inspired by considerations from evolutionary biology, game theory, and artificial life. Melting Pot aims to cover a maximally diverse set of interdependencies and incentives. It includes the commonly-studied extreme cases of perfectly-competitive (zero-sum) motivations and perfectly-cooperative (shared-reward) motivations, but does not stop with them. As in real-life, a clear majority of scenarios in Melting Pot have mixed incentives. They are neither purely competitive nor purely cooperative and thus demand successful agents be able to navigate the resulting ambiguity. Here we describe Melting Pot 2.0, which revises and expands on Melting Pot. We also introduce support for scenarios with asymmetric roles, and explain how to integrate them into the evaluation protocol. This report also contains: (1) details of all substrates and scenarios; (2) a complete description of all baseline algorithms and results. Our intention is for it to serve as a reference for researchers using Melting Pot 2.0.

In this paper, we consider the problem of path finding for a set of homogeneous and autonomous agents navigating a previously unknown stochastic environment. In our problem setting, each agent attempts to maximize a given utility function while respecting safety properties. Our solution is based on ideas from evolutionary game theory, namely replicating policies that perform well and diminishing ones that do not. We do a comprehensive comparison with related multiagent planning methods, and show that our technique beats state of the art RL algorithms in minimizing path length by nearly 30% in large spaces. We show that our algorithm is computationally faster than deep RL methods by at least an order of magnitude. We also show that it scales better with an increase in the number of agents as compared to other methods, path planning methods in particular. Lastly, we empirically prove that the policies that we learn are evolutionarily stable and thus impervious to invasion by any other policy.

深度加强学习（RL）的最新进展导致许多2人零和游戏中的相当大的进展，如去，扑克和星际争霸。这种游戏的纯粹对抗性质允许概念上简单地应用R1方法。然而，现实世界的设置是许多代理商，代理交互是复杂的共同利益和竞争方面的混合物。我们认为外交，一个旨在突出由多种代理交互导致的困境的7人棋盘游戏。它还具有大型组合动作空间和同时移动，这对RL算法具有具有挑战性。我们提出了一个简单但有效的近似最佳响应操作员，旨在处理大型组合动作空间并同时移动。我们还介绍了一系列近似虚构游戏的政策迭代方法。通过这些方法，我们成功地将RL申请到外交：我们认为我们的代理商令人信服地令人信服地表明，游戏理论均衡分析表明新过程产生了一致的改进。