我们考虑使用有限的地平线上具有随机动力学的通用N-N-玩家线性季度游戏，并证明了自然策略梯度方法与NASH平衡的全球收敛性。为了证明该方法的收敛性，我们需要系统中有一定数量的噪声。我们给出了一个条件，基本上是在模型参数方面对噪声的协方差的下限，以确保收敛。我们通过数值实验说明了我们的结果，以表明即使在策略梯度方法可能不会在确定性设置中收敛的情况下，噪声的添加也会导致收敛。

直接政策搜索作为现代强化学习（RL）的工作人员之一，其在连续控制任务中的应用最近引起了不断的关注。在这项工作中，我们研究了用于学习线性风险敏感和鲁棒控制器的政策梯度（PG）方法的收敛理论。特别地，我们开发PG方法，可以通过采样系统轨迹以无衍生方式实现，并建立全球收敛性和样本复杂性，这导致风险敏感和强大控制中的两个基本环境的解决方案：有限地平线线性指数二次高斯，以及有限地平线线性二次干扰衰减问题。作为副产品，我们的结果还为解决零和线性二次动态游戏的PG方法的全局融合提供了第一种样本复杂性，这是一种非透明的极限优化问题，该问题用作多功能钢筋中的基线设置学习（Marl）与连续空间。我们的算法的一个特征是在学习阶段，保留了一定程度的控制器的鲁棒性/风险敏感性，因此我们被称为隐式正则化属性，并且是安全关键控制系统的基本要求。

我们研究了在两人零和马尔可夫游戏中找到NASH平衡的问题。由于其作为最小值优化程序的表述，解决该问题的自然方法是以交替的方式对每个玩家进行梯度下降/上升。但是，由于基本目标函数的非跨性别/非障碍性，该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫游戏的熵登记变体。正则化将结构引入了优化景观中，从而使解决方案更加可识别，并允许更有效地解决问题。我们的主要贡献是表明，在正则化参数的正确选择下，梯度下降算法会收敛到原始未注册问题的NASH平衡。我们明确表征了我们算法的最后一个迭代的有限时间性能，该算法的梯度下降上升算法的现有收敛界限大大改善了而没有正则化。最后，我们通过数值模拟来补充分析，以说明算法的加速收敛性。

多功能钢筋学习已成功应用于许多挑战性问题。尽管有这些经验成功，但对不同算法的理论理解缺乏，主要是由于状态 - 行动空间的指数增长与代理人数引起的维度诅咒。我们研究了多蛋白线性二次调节剂（LQR）的基本问题，在该刻度部分可互换的情况下。在此设置中，我们开发了一个分层演员 - 批评算法，其计算复杂性独立于代理总数，并证明了其全局线性融合到最佳政策。由于LQRS经常用于近似一般动态系统，本文提供了更好地理解一般分层平均场多功能增强学习的重要一步。

我们研究了马尔可夫潜在游戏（MPG）中多机构增强学习（RL）问题的策略梯度方法的全球非反应收敛属性。要学习MPG的NASH平衡，在该MPG中，状态空间的大小和/或玩家数量可能非常大，我们建议使用TANDEM所有玩家运行的新的独立政策梯度算法。当梯度评估中没有不确定性时，我们表明我们的算法找到了$ \ epsilon $ -NASH平衡，$ o（1/\ epsilon^2）$迭代复杂性并不明确取决于状态空间大小。如果没有确切的梯度，我们建立$ O（1/\ epsilon^5）$样品复杂度在潜在的无限大型状态空间中，用于利用函数近似的基于样本的算法。此外，我们确定了一类独立的政策梯度算法，这些算法都可以融合零和马尔可夫游戏和马尔可夫合作游戏，并与玩家不喜欢玩的游戏类型。最后，我们提供了计算实验来证实理论发展的优点和有效性。

参与者 - 批评（AC）增强学习算法一直是许多具有挑战性的应用背后的强大力量。然而，它的收敛性一般都是脆弱的。为了研究其不稳定性，现有作品主要考虑具有有限状态和动作空间的罕见的双环变体或基本模型。我们研究了更实用的单样本两次尺度AC，用于解决规范线性二次调节器（LQR）问题，其中演员和评论家在每个迭代中仅在无界的连续状态和动作空间中使用单个迭代中的单个样本更新一次。现有的分析无法得出这样一个具有挑战性的情况的融合。我们开发了一个新的分析框架，该框架允许建立全局收敛到$ \ epsilon $ -optimal解决方案，最多最多是$ \ tilde {\ Mathcal {o}}}（\ epsilon^{ - 2.5}）$样本复杂性。据我们所知，这是单个样本两次尺度AC的第一个有限时间收敛分析，用于以全球最优性求解LQR。样本复杂性通过订单改善了其他变体的复杂性，从而阐明了单个样品算法的实际智慧。我们还通过全面的模拟比较进一步验证了理论发现。

本文研究了用于多机构增强学习的政策优化算法。我们首先在全信息设置中提出了针对两人零和零和马尔可夫游戏的算法框架，其中每次迭代均使用一个策略更新，使用某个矩阵游戏算法在每个状态下进行策略更新，并带有一个带有特定的值更新步骤学习率。该框架统一了许多现有和新的政策优化算法。我们表明，只要矩阵游戏算法在每种状态下，该算法的州平均策略会收敛到游戏的近似NASH平衡（NE），只要矩阵游戏算法在每个状态下都具有低称重的遗憾价值更新。接下来，我们证明，该框架与每个状态（和平滑值更新）的乐观跟踪定制领导者（oftrl）算法可以找到$ \ Mathcal {\ widetilde {o}}（t^{ - 5 /6}）$ t $迭代中的$近似NE，并且具有稍微修改的值更新规则的类似算法可实现更快的$ \ Mathcal {\ widetilde {o}}}}（t^{ - 1}）$收敛率。这些改进了当前最佳$ \ Mathcal {\ widetilde {o}}}（t^{ - 1/2}）$对称策略优化类型算法的速率。我们还将此算法扩展到多玩家通用-SUM Markov游戏，并显示$ \ MATHCAL {\ widetilde {o}}}（t^{ - 3/4}）$收敛率与粗相关均衡（CCE）。最后，我们提供了一个数值示例来验证我们的理论并研究平滑价值更新的重要性，并发现使用“渴望”的价值更新（等同于独立的自然策略梯度算法）也可能会大大减慢收敛性，即使在$ h = 2 $层的简单游戏。

我们与指定为领导者的球员之一和其他球员读为追随者的球员学习多人一般汇总马尔可夫游戏。特别是，我们专注于追随者是近视的游戏，即，他们的目标是最大限度地提高他们的瞬间奖励。对于这样的游戏，我们的目标是找到一个Stackelberg-Nash均衡（SNE），这是一个策略对$（\ pi ^ *，\ nu ^ *）$，这样（i）$ \ pi ^ * $是追随者始终发挥最佳回应的领导者的最佳政策，（ii）$ \ nu ^ * $是追随者的最佳反应政策，这是由$ \ pi ^ *引起的追随者游戏的纳什均衡$。我们开发了用于在线和离线设置中的SNE解决SNE的采样高效的强化学习（RL）算法。我们的算法是最小二乘值迭代的乐观和悲观的变体，并且它们很容易能够在大状态空间的设置中结合函数近似工具。此外，对于线性函数近似的情况，我们证明我们的算法分别在线和离线设置下实现了Sublinear遗憾和次优。据我们所知，我们建立了第一种可用于解决近代Markov游戏的SNES的第一款可透明的RL算法。

随机游戏的学习可以说是多功能钢筋学习（MARL）中最标准和最基本的环境。在本文中，我们考虑在非渐近制度的随机游戏中分散的Marl。特别是，我们在大量的一般总和随机游戏（SGS）中建立了完全分散的Q学习算法的有限样本复杂性 - 弱循环SGS，包括对所有代理商的普通合作MARL设置具有相同的奖励（马尔可夫团队问题是一个特例。我们专注于实用的同时具有挑战性地设置完全分散的Marl，既不奖励也没有其他药剂的作用，每个试剂都可以观察到。事实上，每个特工都完全忘记了其他决策者的存在。表格和线性函数近似情况都已考虑。在表格设置中，我们分析了分散的Q学习算法的样本复杂性，以收敛到马尔可夫完美均衡（NASH均衡）。利用线性函数近似，结果用于收敛到线性近似平衡 - 我们提出的均衡的新概念 - 这描述了每个代理的策略是线性空间内的最佳回复（到其他代理）。还提供了数值实验，用于展示结果。

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。

学习问题通常表现出一个有趣的反馈机制，其中人口数据对竞争决策者的行为作出反应。本文为这种现象制定了一种新的游戏理论框架，称为多人执行预测。我们专注于两个不同的解决方案概念，即（i）表现稳定稳定的均衡和（ii）纳什均衡的比赛。后者均衡可以说是更具信息性的，但只有在游戏是单调时才有效地发现。我们表明，在温和的假设下，可以通过各种算法有效地发现所需稳定的均衡，包括重复再培训和重复（随机）梯度播放。然后，我们为游戏的强大单调性建立透明的充分条件，并使用它们开发用于查找纳什均衡的算法。我们研究了衍生免费方法和自适应梯度算法，其中每个玩家在学习其分发和梯度步骤的学习的分配和梯度步骤之间交替。合成和半合成数值实验说明了结果。

Mean-field games have been used as a theoretical tool to obtain an approximate Nash equilibrium for symmetric and anonymous $N$-player games in literature. However, limiting applicability, existing theoretical results assume variations of a "population generative model", which allows arbitrary modifications of the population distribution by the learning algorithm. Instead, we show that $N$ agents running policy mirror ascent converge to the Nash equilibrium of the regularized game within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ samples from a single sample trajectory without a population generative model, up to a standard $\mathcal{O}(\frac{1}{\sqrt{N}})$ error due to the mean field. Taking a divergent approach from literature, instead of working with the best-response map we first show that a policy mirror ascent map can be used to construct a contractive operator having the Nash equilibrium as its fixed point. Next, we prove that conditional TD-learning in $N$-agent games can learn value functions within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ time steps. These results allow proving sample complexity guarantees in the oracle-free setting by only relying on a sample path from the $N$ agent simulator. Furthermore, we demonstrate that our methodology allows for independent learning by $N$ agents with finite sample guarantees.

We propose a multi-agent reinforcement learning dynamics, and analyze its convergence properties in infinite-horizon discounted Markov potential games. We focus on the independent and decentralized setting, where players can only observe the realized state and their own reward in every stage. Players do not have knowledge of the game model, and cannot coordinate with each other. In each stage of our learning dynamics, players update their estimate of a perturbed Q-function that evaluates their total contingent payoff based on the realized one-stage reward in an asynchronous manner. Then, players independently update their policies by incorporating a smoothed optimal one-stage deviation strategy based on the estimated Q-function. A key feature of the learning dynamics is that the Q-function estimates are updated at a faster timescale than the policies. We prove that the policies induced by our learning dynamics converge to a stationary Nash equilibrium in Markov potential games with probability 1. Our results demonstrate that agents can reach a stationary Nash equilibrium in Markov potential games through simple learning dynamics under the minimum information environment.

由于在过去几年中兴趣的增长，基于梯度的政策控制方法也得到了控制问题的普及。并且正确地，由于梯度策略方法具有以端到端的方式优化利息度量的优点，并且在没有完全了解底层系统的情况下相对容易实现。在本文中，我们研究了基于梯度的策略优化方法的全局融合，用于离散时间和无模型的Markovian跳转线性系统（MJLS）的二次控制。我们超越了由于多个州而产生的宗教挑战，并通过缺乏系统动态缺乏了解，并使用梯度下降和自然政策梯度方法显示全球策略融合。我们还提供模拟研究来证实我们的索赔。

我们在无限地平线上享受多智能经纪增强学习（Marl）零汇率马尔可夫游戏。我们专注于分散的Marl的实用性但具有挑战性的环境，其中代理人在没有集中式控制员的情况下做出决定，但仅根据自己的收益和当地行动进行了协调。代理商不需要观察对手的行为或收益，可能甚至不忘记对手的存在，也不得意识到基础游戏的零金额结构，该环境也称为学习文学中的彻底解散游戏。在本文中，我们开发了一种彻底的解耦Q学习动态，既合理和收敛则：当对手遵循渐近静止战略时，学习动态会收敛于对对手战略的最佳反应;当两个代理采用学习动态时，它们会收敛到游戏的纳什均衡。这种分散的环境中的关键挑战是从代理商的角度来看环境的非公平性，因为她自己的回报和系统演变都取决于其他代理人的行为，每个代理商同时和独立地互补她的政策。要解决此问题，我们开发了两个时间尺度的学习动态，每个代理会更新她的本地Q函数和value函数估计，后者在较慢的时间内发生。

当学习者与其他优化代理进行连续游戏时，我们研究了遗憾最小化的问题：在这种情况下，如果所有玩家都遵循一种无重组算法，则相对于完全对手环境，可能会达到较低的遗憾。我们在变异稳定的游戏（包括所有凸孔和单调游戏的连续游戏）的背景下研究了这个问题，当玩家只能访问其个人回报梯度时。如果噪音是加性的，那么游戏理论和纯粹的对抗性设置也会获得类似的遗憾保证。但是，如果噪声是乘法的，我们表明学习者实际上可以持续遗憾。我们通过学习速率分离的乐观梯度方案实现了更快的速度 - 也就是说，该方法的外推和更新步骤被调整为不同的时间表，具体取决于噪声配置文件。随后，为了消除对精致的超参数调整的需求，我们提出了一种完全自适应的方法，可以在最坏的和最佳案例的遗憾保证之间平稳地插入。

我们研究马尔可夫游戏子类的策略梯度方法的性能，称为马尔可夫潜在游戏（MPGS），该游戏将正常形式潜在游戏的概念扩展到了状态环境，其中包括完全合作环境的重要特殊情况。代理商具有相同的奖励功能。我们本文的重点是研究在SoftMax策略参数化下求解MPG的策略梯度方法的收敛性，无论是表格和参数，都用一般函数近似器（例如神经网络）进行参数化。我们首先显示了该方法对MPG的NASH平衡的渐近收敛性，以进行表格软智能策略。其次，我们在两个设置中得出了策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）在最佳反应动力学（NPG-BR）下使用自然策略梯度。最后，我们在正常游戏中扩展了无政府状态（POA）的价格（POA）的概念，我们介绍了MPG的POA，并为NPG-BR提供了POA。据我们所知，这是第一个用于解决MPG的POA。为了支持我们的理论结果，我们从经验上比较了表格和神经软性策略的策略梯度变体的收敛速率和POA。

钢筋学习（RL）最近在许多人工智能应用中取得了巨大成功。 RL的许多最前沿应用涉及多个代理，例如，下棋和去游戏，自主驾驶和机器人。不幸的是，古典RL构建的框架不适合多代理学习，因为它假设代理的环境是静止的，并且没有考虑到其他代理的适应性。在本文中，我们介绍了动态环境中的多代理学习的随机游戏模型。我们专注于随机游戏的简单和独立学习动态的发展：每个代理商都是近视，并为其他代理商的战略选择最佳响应类型的行动，而不与对手进行任何协调。为随机游戏开发收敛最佳响应类型独立学习动态有限的进展。我们展示了我们最近提出的简单和独立的学习动态，可保证零汇率随机游戏的融合，以及对此设置中的动态多代理学习的其他同时算法的审查。一路上，我们还重新审视了博弈论和RL文学的一些古典结果，以适应我们独立的学习动态的概念贡献，以及我们分析的数学诺克特。我们希望这篇审查文件成为在博弈论中研究独立和自然学习动态的重新训练的推动力，对于具有动态环境的更具挑战性的环境。

我们研究了随机游戏（SGS）的梯度播放算法的性能，其中每个代理商试图通过基于代理之间共享的当前状态信息来独立做出决策来最大限度地提高自己的总折扣奖励。通过在给定状态下选择某个动作的概率来直接参数化策略。我们展示了纳什均衡（NES）和一阶固定政策在此设置中等同，并在严格的NES周围给出局部收敛速度。此外，对于称为马尔可夫潜在游戏的SGS的子类（包括具有重要特殊情况的代理中具有相同奖励的协作设置），我们设计了一种基于样本的增强学习算法，并为两者提供非渐近全局收敛速度分析精确的梯度游戏和我们基于样本的学习算法。我们的结果表明，迭代的数量达到$ \ epsilon $ -Ne线性缩放，而不是指数级，而代理人数。还考虑了局部几何和局部稳定性，在那里我们证明严格的NE是总潜在功能的局部最大值，完全混合的NE是鞍点。

We study episodic two-player zero-sum Markov games (MGs) in the offline setting, where the goal is to find an approximate Nash equilibrium (NE) policy pair based on a dataset collected a priori. When the dataset does not have uniform coverage over all policy pairs, finding an approximate NE involves challenges in three aspects: (i) distributional shift between the behavior policy and the optimal policy, (ii) function approximation to handle large state space, and (iii) minimax optimization for equilibrium solving. We propose a pessimism-based algorithm, dubbed as pessimistic minimax value iteration (PMVI), which overcomes the distributional shift by constructing pessimistic estimates of the value functions for both players and outputs a policy pair by solving NEs based on the two value functions. Furthermore, we establish a data-dependent upper bound on the suboptimality which recovers a sublinear rate without the assumption on uniform coverage of the dataset. We also prove an information-theoretical lower bound, which suggests that the data-dependent term in the upper bound is intrinsic. Our theoretical results also highlight a notion of "relative uncertainty", which characterizes the necessary and sufficient condition for achieving sample efficiency in offline MGs. To the best of our knowledge, we provide the first nearly minimax optimal result for offline MGs with function approximation.