智能机器之间合作的必要性已在人工智能（AI）研究界普及了合作的多代理增强学习（MARL）。但是，许多研究的努力一直集中在开发实用的MARL算法上，其有效性仅在经验上进行了研究，从而缺乏理论保证。正如最近的研究所表明的那样，MARL方法通常达到奖励单调性或收敛性次优的性能。为了解决这些问题，在本文中，我们介绍了一个名为异质的镜像学习（HAML）的新颖框架，该框架为MARL算法设计提供了一个通用模板。我们证明，源自HAML模板的算法满足了关节奖励的单调改善的所需特性以及与NASH平衡的收敛性。我们通过证明当前最新的合作社Marl算法，HATRPO和HAPKO实际上是HAML实例，来验证HAML的实用性。接下来，作为我们理论的自然结果，我们提出了两种众所周知的RL算法HAA2C（用于A2C）和HADDPG（用于DDPG）的HAML扩展，并证明了它们针对StarcraftII和多代理Mujoco任务的强大基准的有效性。

一般政策改进（GPI）和信任区域学习（TRL）是当代强化学习（RL）内的主要框架，其用作解决马尔可夫决策过程（MDP）的核心模型。不幸的是，在他们的数学形式中，它们对修改敏感，因此，实现它们的实际实例化不会自动继承其改进保证。结果，可用严格的MDP-溶剂的光谱窄。实际上，许多最先进的（SOTA）算法，例如TRPO和PPO，不能被证明收敛。在本文中，我们提出了\ Textsl {镜像学习} - 对RL问题的一般解决方案。我们揭示了GPI和TRL，但在这个算法的近似空间内的小点，拥有单调改善性，并收敛到最佳政策。我们表明，RL的几乎所有SOTA算法都是镜像学习的实例，因此表明其实证性能是其理论属性，而不是近似类比的结果。令人兴奋的是，我们表明镜像学习与收敛保证的策略学习方法开辟了全新的全新空间。

GPT系列和BERT等大型序列模型（SM）在视觉，语言以及最近的强化学习任务上表现出了出色的性能和概括功能。一个自然的后续问题是如何将多代理决策抽象成SM问题，并受益于SMS的繁荣发展。在本文中，我们介绍了一种名为多代理变压器（MAT）的新型架构，该结构有效地将合作的多代理增强学习（MARL）施加到SM问题中，其中任务是将代理的观察顺序映射到代理的最佳动作序列中。我们的目标是在Marl和SMS之间建造桥梁，以便为MARL释放现代序列模型的建模能力。我们垫子的核心是一个编码器架构，它利用多代理优势分解定理将联合策略搜索问题转换为顺序决策过程。这仅适用于多代理问题的线性时间复杂性，最重要的是，具有单调性能改进保证。与以前的艺术（例如Decorment Transformer Fit仅预先收集的离线数据）不同，MAT通过在线试验和环境中的错误进行培训。为了验证MAT，我们对StarcraftII，多代理Mujoco，灵巧的手操纵和Google Research Football Benchmarks进行了广泛的实验。结果表明，与Mappo和Happo在内的强大基线相比，MAT可实现卓越的性能和数据效率。此外，我们证明MAT是一位出色的少数人，无论代理人的数量变化如何，MAT都是看不见的任务。请参阅我们的项目页面，网址为https://sites.google.com/view/multi-agent-transformer。

由于共同国家行动空间相对于代理人的数量，多代理强化学习（MARL）中的政策学习（MARL）是具有挑战性的。为了实现更高的可伸缩性，通过分解执行（CTDE）的集中式培训范式被MARL中的分解结构广泛采用。但是，我们观察到，即使在简单的矩阵游戏中，合作MARL中现有的CTDE算法也无法实现最佳性。为了理解这种现象，我们引入了一个具有政策分解（GPF-MAC）的广义多代理参与者批评的框架，该框架的特征是对分解的联合政策的学习，即，每个代理人的政策仅取决于其自己的观察行动历史。我们表明，最受欢迎的CTDE MARL算法是GPF-MAC的特殊实例，可能会陷入次优的联合政策中。为了解决这个问题，我们提出了一个新颖的转型框架，该框架将多代理的MDP重新制定为具有连续结构的特殊“单位代理” MDP，并且可以允许使用现成的单机械加固学习（SARL）算法来有效地学习相应的多代理任务。这种转换保留了SARL算法的最佳保证，以合作MARL。为了实例化此转换框架，我们提出了一个转换的PPO，称为T-PPO，该PPO可以在有限的多代理MDP中进行理论上执行最佳的策略学习，并在一系列合作的多代理任务上显示出明显的超出性能。

Mean-field games have been used as a theoretical tool to obtain an approximate Nash equilibrium for symmetric and anonymous $N$-player games in literature. However, limiting applicability, existing theoretical results assume variations of a "population generative model", which allows arbitrary modifications of the population distribution by the learning algorithm. Instead, we show that $N$ agents running policy mirror ascent converge to the Nash equilibrium of the regularized game within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ samples from a single sample trajectory without a population generative model, up to a standard $\mathcal{O}(\frac{1}{\sqrt{N}})$ error due to the mean field. Taking a divergent approach from literature, instead of working with the best-response map we first show that a policy mirror ascent map can be used to construct a contractive operator having the Nash equilibrium as its fixed point. Next, we prove that conditional TD-learning in $N$-agent games can learn value functions within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ time steps. These results allow proving sample complexity guarantees in the oracle-free setting by only relying on a sample path from the $N$ agent simulator. Furthermore, we demonstrate that our methodology allows for independent learning by $N$ agents with finite sample guarantees.

熵正则化是增强学习（RL）的流行方法。尽管它具有许多优势，但它改变了原始马尔可夫决策过程（MDP）的RL目标。尽管已经提出了差异正则化来解决这个问题，但不能微不足道地应用于合作的多代理增强学习（MARL）。在本文中，我们研究了合作MAL中的差异正则化，并提出了一种新型的非政策合作MARL框架，差异性的多代理参与者 - 参与者（DMAC）。从理论上讲，我们得出了DMAC的更新规则，该规则自然存在，并保证了原始MDP和Divergence regullatized MDP的单调政策改进和收敛。我们还给出了原始MDP中融合策略和最佳策略之间的差异。 DMAC是一个灵活的框架，可以与许多现有的MARL算法结合使用。从经验上讲，我们在教学随机游戏和Starcraft Multi-Agent挑战中评估了DMAC，并表明DMAC显着提高了现有的MARL算法的性能。

The study of decentralized learning or independent learning in cooperative multi-agent reinforcement learning has a history of decades. Recently empirical studies show that independent PPO (IPPO) can obtain good performance, close to or even better than the methods of centralized training with decentralized execution, in several benchmarks. However, decentralized actor-critic with convergence guarantee is still open. In this paper, we propose \textit{decentralized policy optimization} (DPO), a decentralized actor-critic algorithm with monotonic improvement and convergence guarantee. We derive a novel decentralized surrogate for policy optimization such that the monotonic improvement of joint policy can be guaranteed by each agent \textit{independently} optimizing the surrogate. In practice, this decentralized surrogate can be realized by two adaptive coefficients for policy optimization at each agent. Empirically, we compare DPO with IPPO in a variety of cooperative multi-agent tasks, covering discrete and continuous action spaces, and fully and partially observable environments. The results show DPO outperforms IPPO in most tasks, which can be the evidence for our theoretical results.

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

我们研究了随机游戏（SGS）的梯度播放算法的性能，其中每个代理商试图通过基于代理之间共享的当前状态信息来独立做出决策来最大限度地提高自己的总折扣奖励。通过在给定状态下选择某个动作的概率来直接参数化策略。我们展示了纳什均衡（NES）和一阶固定政策在此设置中等同，并在严格的NES周围给出局部收敛速度。此外，对于称为马尔可夫潜在游戏的SGS的子类（包括具有重要特殊情况的代理中具有相同奖励的协作设置），我们设计了一种基于样本的增强学习算法，并为两者提供非渐近全局收敛速度分析精确的梯度游戏和我们基于样本的学习算法。我们的结果表明，迭代的数量达到$ \ epsilon $ -Ne线性缩放，而不是指数级，而代理人数。还考虑了局部几何和局部稳定性，在那里我们证明严格的NE是总潜在功能的局部最大值，完全混合的NE是鞍点。

分散的学习对合作多代理增强学习（MARL）表现出了巨大的希望。但是，非平稳性仍然是分散学习的重大挑战。在论文中，我们以最简单和基本的方式解决了非平稳性问题，并提出\ textit {多代理替代Q学习}（MA2QL），在那里，代理商轮流通过Q学习来更新其Q-函数。MA2QL是完全分散合作MARL的一种\ Textit {Minimalist}方法，但理论上是基础的。我们证明，当每个代理商在每个回合都保证$ \ varepsilon $ -Convergence时，他们的联合政策会收敛到NASH平衡。实际上，MA2QL仅需要对独立Q学习（IQL）的最小变化。我们经验评估MA2QL对各种合作的多代理任务。结果表明，MA2QL始终胜过IQL，尽管这种变化很小，但它验证了MA2QL的有效性。

我们呈现协调的近端策略优化（COPPO），该算法将原始近端策略优化（PPO）扩展到多功能代理设置。关键的想法在于多个代理之间的策略更新过程中的步骤大小的协调适应。当优化理论上接地的联合目标时，我们证明了政策改进的单调性，并基于一组近似推导了简化的优化目标。然后，我们解释了Coppo中的这种目标可以在代理商之间实现动态信用分配，从而减轻了代理政策的同时更新期间的高方差问题。最后，我们证明COPPO优于几种强大的基线，并且在典型的多代理设置下，包括最新的多代理PPO方法（即MAPPO），包括合作矩阵游戏和星际争霸II微管理任务。

随机游戏的学习可以说是多功能钢筋学习（MARL）中最标准和最基本的环境。在本文中，我们考虑在非渐近制度的随机游戏中分散的Marl。特别是，我们在大量的一般总和随机游戏（SGS）中建立了完全分散的Q学习算法的有限样本复杂性 - 弱循环SGS，包括对所有代理商的普通合作MARL设置具有相同的奖励（马尔可夫团队问题是一个特例。我们专注于实用的同时具有挑战性地设置完全分散的Marl，既不奖励也没有其他药剂的作用，每个试剂都可以观察到。事实上，每个特工都完全忘记了其他决策者的存在。表格和线性函数近似情况都已考虑。在表格设置中，我们分析了分散的Q学习算法的样本复杂性，以收敛到马尔可夫完美均衡（NASH均衡）。利用线性函数近似，结果用于收敛到线性近似平衡 - 我们提出的均衡的新概念 - 这描述了每个代理的策略是线性空间内的最佳回复（到其他代理）。还提供了数值实验，用于展示结果。

我们提出了一个与参数化函数近似器无关的分析策略更新规则。更新规则适用于单调改进保证的一般随机策略。在使用信任区域方法中收紧策略搜索的新的理论结果之后，更新规则源自使用变化阶段的闭合表单信任区域解决方案。提供了策略更新规则和值函数方法之间连接的解释。基于更新规则的递归形式，自然导出了脱助策略算法，单调改进保证仍然存在。此外，当一次代理执行更新时，更新规则立即扩展到多代理系统。

用于分散执行的集中培训，其中代理商使用集中信息训练，但在线以分散的方式执行，在多智能体增强学习界中获得了普及。特别是，具有集中评论家和分散的演员的演员 - 批评方法是这个想法的常见实例。然而，即使它是许多算法的标准选择，也没有完全讨论和理解使用集中评论批读的影响。因此，我们正式分析集中和分散的批评批评方法，了解对评论家选择的影响。由于我们的理论使得不切实际的假设，我们还经验化地比较了广泛的环境中集中式和分散的批评方法来验证我们的理论并提供实用建议。我们展示了当前文献中集中评论家存在误解，并表明集中式评论家设计并不是严格用的，而是集中和分散的批评者具有不同的利弊，算法设计人员应该考虑到不同的利弊。

平均现场控制（MFC）是减轻合作多功能加强学习（MARL）问题的维度诅咒的有效方法。这项工作考虑了可以分离为$ k $课程的$ n _ {\ mathrm {pop}} $异质代理的集合，以便$ k $ -th类包含$ n_k $均匀的代理。我们的目标是通过其相应的MFC问题证明这一异构系统的Marl问题的近似保证。我们考虑三种情景，所有代理商的奖励和转型动态分别被视为$（1）美元的职能，每班的所有课程，$（2）美元和$（3） $边际分布的整个人口。我们展示，在这些情况下，$ k $ -class marl问题可以通过mfc近似于$ e_1 = mathcal {o}（\ frac {\ sqrt {| \ mathcal {x} |} + \ sqrt {| \ mathcal {u} |}}}}}} {n _ {\ mathrm {pop}}} \ sum_ {k} \ sqrt {k}）$，$ e_2 = \ mathcal {o}（\ left [\ sqrt {| \ mathcal {x} |} + \ sqrt {| \ mathcal {u} |} \ \ sum_ {k} \ frac {1} {\ sqrt {n_k}}）$和$ e_3 = \ mathcal {o} \ left（\ left [\ sqrt {| \ mathcal {x} |} + \ sqrt {| \ mathcal {} |} \ leftle] \ left [\ frac {a} {n _ {\ mathrm {pop}}} \ sum_ {k \在[k]}} \ sqrt {n_k} + \ frac {n} {\ sqrt {n} {\ sqrt {n \ mathrm {pop}}} \右] \ over）$，其中$ a，b $是一些常数和$ | mathcal {x} |，| \ mathcal {u} | $是每个代理的状态和行动空间的大小。最后，我们设计了一种基于自然的梯度（NPG）基于NPG的算法，它在上面规定的三种情况下，可以在$ \ Mathcal {O}（E_J）$错误中收敛到$ \ Mathcal的示例复杂度{ o}（e_j ^ { - 3}）$，j \ in \ {1,2,3 \} $。

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

We revisit the domain of off-policy policy optimization in RL from the perspective of coordinate ascent. One commonly-used approach is to leverage the off-policy policy gradient to optimize a surrogate objective -- the total discounted in expectation return of the target policy with respect to the state distribution of the behavior policy. However, this approach has been shown to suffer from the distribution mismatch issue, and therefore significant efforts are needed for correcting this mismatch either via state distribution correction or a counterfactual method. In this paper, we rethink off-policy learning via Coordinate Ascent Policy Optimization (CAPO), an off-policy actor-critic algorithm that decouples policy improvement from the state distribution of the behavior policy without using the policy gradient. This design obviates the need for distribution correction or importance sampling in the policy improvement step of off-policy policy gradient. We establish the global convergence of CAPO with general coordinate selection and then further quantify the convergence rates of several instances of CAPO with popular coordinate selection rules, including the cyclic and the randomized variants of CAPO. We then extend CAPO to neural policies for a more practical implementation. Through experiments, we demonstrate that CAPO provides a competitive approach to RL in practice.

我们研究了马尔可夫潜在游戏（MPG）中多机构增强学习（RL）问题的策略梯度方法的全球非反应收敛属性。要学习MPG的NASH平衡，在该MPG中，状态空间的大小和/或玩家数量可能非常大，我们建议使用TANDEM所有玩家运行的新的独立政策梯度算法。当梯度评估中没有不确定性时，我们表明我们的算法找到了$ \ epsilon $ -NASH平衡，$ o（1/\ epsilon^2）$迭代复杂性并不明确取决于状态空间大小。如果没有确切的梯度，我们建立$ O（1/\ epsilon^5）$样品复杂度在潜在的无限大型状态空间中，用于利用函数近似的基于样本的算法。此外，我们确定了一类独立的政策梯度算法，这些算法都可以融合零和马尔可夫游戏和马尔可夫合作游戏，并与玩家不喜欢玩的游戏类型。最后，我们提供了计算实验来证实理论发展的优点和有效性。

我们提供了一种新的单调改进保证，以优化合作多代理增强学习（MARL）中的分散政策，即使过渡动态是非平稳的。这项新分析提供了对两种最新的MARL参与者批评方法的强劲表现的理论理解，即独立的近端策略优化（IPPO）和多代理PPO（MAPPO）（MAPPO），它们都依赖于独立比率，即计算概率，每个代理商的政策分别比率。我们表明，尽管独立比率引起的非平稳性，但由于对所有分散政策的信任区域约束，仍会产生单调的改进保证。我们还可以根据培训中的代理数量来界定独立比率，从而以原则性的方式有效地执行这种信任区域约束，从而为近端剪辑提供了理论基础。此外，我们表明，当IPPO和Mappo中优化的替代目标在批评者收敛到固定点时实质上是等效的。最后，我们的经验结果支持以下假设：IPPO和MAPPO的强劲表现是通过削减集中式培训来执行这种信任区域约束的直接结果，而该执行的超参数的良好值对此对此具有高度敏感性正如我们的理论分析所预测的那样。

Various types of Multi-Agent Reinforcement Learning (MARL) methods have been developed, assuming that agents' policies are based on true states. Recent works have improved the robustness of MARL under uncertainties from the reward, transition probability, or other partners' policies. However, in real-world multi-agent systems, state estimations may be perturbed by sensor measurement noise or even adversaries. Agents' policies trained with only true state information will deviate from optimal solutions when facing adversarial state perturbations during execution. MARL under adversarial state perturbations has limited study. Hence, in this work, we propose a State-Adversarial Markov Game (SAMG) and make the first attempt to study the fundamental properties of MARL under state uncertainties. We prove that the optimal agent policy and the robust Nash equilibrium do not always exist for an SAMG. Instead, we define the solution concept, robust agent policy, of the proposed SAMG under adversarial state perturbations, where agents want to maximize the worst-case expected state value. We then design a gradient descent ascent-based robust MARL algorithm to learn the robust policies for the MARL agents. Our experiments show that adversarial state perturbations decrease agents' rewards for several baselines from the existing literature, while our algorithm outperforms baselines with state perturbations and significantly improves the robustness of the MARL policies under state uncertainties.