最近的多人游戏的理论和应用方面的最新进步，从电子运动到多种子体生成的对抗网络，我们专注于团队零和游戏中的最大优化。在这类游戏中，玩家分为两支队伍，在同一支队内等等，对手团队的相反标志。与TextBook二手零和游戏不同，在我们的类中找到纳什均衡可以被证明是CLS-Hard，即，它不太可能具有用于计算NASH均衡的多项式时间算法。此外，在该广义框架中，使用梯度下降上升（GDA），其乐观变体和额外梯度，我们建立了即使是渐近的最后一次迭代或时间平均收敛到纳什均衡。具体来说，我们展示了一个诱导效用是\ emph {non}的团队游戏系列\ \ emph {non}有吸引力的\ {per-se}混合的纳什均衡，作为底层优化景观的严格鞍点。利用控制理论的技术，我们通过设计局部收敛的修改GDA来补充这些负面结果，以纳入均衡。最后，我们讨论了我们的框架与AI架构的联系，其中与多助理生成对冲网络这样的团队竞争结构。

计算NASH平衡策略是多方面强化学习中的一个核心问题，在理论和实践中都受到广泛关注。但是，到目前为止，可证明的保证金仅限于完全竞争性或合作的场景，或者在大多数实际应用中实现难以满足的强大假设。在这项工作中，我们通过调查Infinite-Horizo​​n \ Emph {对抗性团队Markov Games}，这是一场自然而充分动机的游戏，其中一组相同兴奋的玩家 - 在没有任何明确的情况下，这是一个自然而有动机的游戏，这是一场自然而有动机的游戏，而偏离了先前的结果。协调或交流 - 正在与对抗者竞争。这种设置允许对零和马尔可夫潜在游戏进行统一处理，并作为模拟更现实的战略互动的一步，这些互动具有竞争性和合作利益。我们的主要贡献是第一种计算固定$ \ epsilon $ - Approximate Nash Equilibria在对抗性团队马尔可夫游戏中具有计算复杂性的算法，在游戏的所有自然参数中都是多项式的，以及$ 1/\ epsilon $。拟议的算法特别自然和实用，它基于为团队中的每个球员执行独立的政策梯度步骤，并与对手侧面的最佳反应同时；反过来，通过解决精心构造的线性程序来获得对手的政策。我们的分析利用非标准技术来建立具有非convex约束的非线性程序的KKT最佳条件，从而导致对诱导的Lagrange乘数的自然解释。在此过程中，我们大大扩展了冯·斯坦格尔（Von Stengel）和科勒（GEB`97）引起的对抗（正常形式）团队游戏中最佳政策的重要特征。

我们开发了一个统一的随机近似框架，用于分析游戏中多学院在线学习的长期行为。我们的框架基于“原始偶尔”，镜像的Robbins-Monro（MRM）模板，该模板涵盖了各种各样的流行游戏理论学习算法（梯度方法，乐观的变体，Exp3算法，用于基于付费的反馈，在有限游戏等中）。除了提供这些算法的综合视图外，提出的MRM蓝图还使我们能够在连续和有限的游戏中获得渐近和有限时间的广泛新收敛结果。

尽管自1970年代以来就已经知道，普通付款游戏中的全球最佳策略概况是纳什均衡，但全球最优性是严格的要求，它限制了结果的适用性。在这项工作中，我们表明任何本地最佳的对称策略概况也是（全局）NASH平衡。此外，我们证明了这一结果对通用收益和本地最佳的扰动是可靠的。应用于机器学习，我们的结果为任何梯度方法提供了全球保证，该方法在对称策略空间中找到了局部最佳。尽管该结果表明单方面偏差的稳定性，但我们仍然确定了广泛的游戏类别，这些游戏混合了当地的最佳选择，在不对称的偏差下是不稳定的。我们通过在一系列对称游戏中运行学习算法来分析不稳定性的普遍性，并通过讨论结果对多代理RL，合作逆RL和分散的POMDP的适用性来得出结论。

游戏理论到目前为止在各个领域都发现了许多应用，包括经济学，工业，法学和人工智能，每个玩家都只关心自己对非合作或合作方式的兴趣，但对其他玩家没有明显的恶意。但是，在许多实际应用中，例如扑克，国际象棋，逃避者追求，毒品拦截，海岸警卫队，网络安全和国防，球员通常都具有对抗性立场，也就是说，每个球员的自私行动不可避免地或故意造成损失或对其他球员造成严重破坏。沿着这条线，本文对在对抗性游戏中广泛使用的三种主要游戏模型（即零和零正常形式和广泛形式游戏，stackelberg（Security）游戏，零和差异游戏）提供了系统的调查。观点，包括游戏模型的基本知识，（近似）平衡概念，问题分类，研究前沿，（近似）最佳策略寻求技术，普遍的算法和实际应用。最后，还讨论了有关对抗性游戏的有希望的未来研究方向。

主导的行动是自然的（也许是最简单的）多代理概括的子最优动作，如标准单代理决策中的那样。因此类似于标准强盗学习，多代理系统中的基本学习问题是如果他们只能观察到他们播放动作的回报的嘈杂的强盗反馈，那么代理商可以学会有效地消除所有主导的动作。令人惊讶的是，尽管有一个看似简单的任务，我们展示了一个相当负面的结果;也就是说，标准没有遗憾的算法 - 包括整个双平均算法的家庭 - 可呈指数级地取消逐渐消除所有主导的行动。此外，具有较强的交换后悔的算法也遭受了类似的指数低效率。为了克服这些障碍，我们开发了一种新的算法，调整EXP3，历史奖励减少（exp3-DH）; Exp3-DH逐渐忘记仔细量身定制的速率。我们证明，当所有代理运行Exp3-DH（A.K.A.，在多代理学习中自行发行）时，所有主导的行动都可以在多项多轮内迭代地消除。我们的实验结果进一步证明了Exp3-DH的效率，即使是那些专门用于在游戏中学习的最先进的强盗算法，也无法有效地消除所有主导的行动。

在本文中，我们提出了连续时间游戏理论镜中下降（MD）动态的二阶扩展，称为MD2，其收敛于MED（但不一定是严格的）变分性稳定状态（VSS）而不使用常见辅助技术，如平均或折扣。我们表明MD2在轻微修改后享有无悔的趋势以及对强大的VSS的指数汇率。此外，MD2可用于导出许多新颖的原始空间动态。最后，使用随机近似技术，我们提供了对内部仅噪声的离散时间MD2的收敛保证。提供了所选模拟以说明我们的结果。

我们的工作侧重于额外的渐变学习算法，用于在双线性零和游戏中查找纳什均衡。该方法可以正式被认为是乐观镜下降\ Cite {DBLP：Cenf / ICLR / Mertikopouloslz19}的典型方法，用于中间梯度步骤，基本上导致计算（近似）最佳反应策略先前迭代的轮廓。虽然乍一看，由于不合理的大，但是对于迭代算法，中间学习步骤，我们证明该方法保证了持续收敛到均衡。特别是，我们表明该算法首先达到$ \ eta ^ {1 / rho} $ - 近似纳什均衡，以$ \ rho> 1 $，通过减少每次迭代的kullback-leibler分歧至少$ \ omega （\ eta ^ {1+ \ frac {1} {\ rho}）$，因为足够小的学习率，$ \ eta $直到该方法成为承包地图，并收敛到确切的均衡。此外，我们对乘法权重更新方法的乐观变体进行实验比较，\ Cite {Daskalakis2019LastITERATECZ}并显示我们的算法具有显着的实际潜力，因为它在加速收敛方面提供了大量的收益。

当今许多大型系统的设计，从交通路由环境到智能电网，都依赖游戏理论平衡概念。但是，随着$ n $玩家游戏的大小通常会随着$ n $而成倍增长，标准游戏理论分析实际上是不可行的。最近的方法通过考虑平均场游戏，匿名$ n $玩家游戏的近似值，在这种限制中，玩家的数量是无限的，而人口的状态分布，而不是每个单独的球员的状态，是兴趣。然而，迄今为止研究最多的平均场平衡的平均场nash平衡的实际可计算性通常取决于有益的非一般结构特性，例如单调性或收缩性能，这是已知的算法收敛所必需的。在这项工作中，我们通过开发均值相关和与粗相关的平衡的概念来研究平均场比赛的替代途径。我们证明，可以使用三种经典算法在\ emph {ash All Games}中有效地学习它们，而无需对游戏结构进行任何其他假设。此外，我们在文献中已经建立了对应关系，从而获得了平均场 - $ n $玩家过渡的最佳范围，并经验证明了这些算法在简单游戏中的收敛性。

钢筋学习（RL）最近在许多人工智能应用中取得了巨大成功。 RL的许多最前沿应用涉及多个代理，例如，下棋和去游戏，自主驾驶和机器人。不幸的是，古典RL构建的框架不适合多代理学习，因为它假设代理的环境是静止的，并且没有考虑到其他代理的适应性。在本文中，我们介绍了动态环境中的多代理学习的随机游戏模型。我们专注于随机游戏的简单和独立学习动态的发展：每个代理商都是近视，并为其他代理商的战略选择最佳响应类型的行动，而不与对手进行任何协调。为随机游戏开发收敛最佳响应类型独立学习动态有限的进展。我们展示了我们最近提出的简单和独立的学习动态，可保证零汇率随机游戏的融合，以及对此设置中的动态多代理学习的其他同时算法的审查。一路上，我们还重新审视了博弈论和RL文学的一些古典结果，以适应我们独立的学习动态的概念贡献，以及我们分析的数学诺克特。我们希望这篇审查文件成为在博弈论中研究独立和自然学习动态的重新训练的推动力，对于具有动态环境的更具挑战性的环境。

迄今为止，游戏中的学习研究主要集中在正常形式游戏上。相比之下，我们以广泛的形式游戏（EFG），尤其是在许多代理商远远落后的EFG中对学习的理解，尽管它们与许多现实世界的应用更加接近。我们考虑了网络零和广泛表单游戏的天然类别，该游戏结合了代理收益的全球零和属性，图形游戏的有效表示以及EFG的表达能力。我们检查了这些游戏中乐观梯度上升（OGA）的收敛属性。我们证明，这种在线学习动力学的时间平均值表现出$ O（1/t）$ rate contergence convergence contergence contergence。此外，我们表明，对于某些与游戏有关的常数$ c> 0 $，日常行为也与速率$ o（c^{ - t}）$收敛到nash。

我们考虑战略设置，其中几个用户在重复的在线互动中聘用，辅助最小化的代理商代表他们反复发挥“游戏”。我们研究了代理人的重复游戏的动态和平均结果，并将其视为诱导用户之间的元游戏。我们的主要焦点是用户可以在此元游戏中从“操纵”他们自己的代理商中可以受益于他们自己的代理商。我们正式定义了普通游戏的这种“用户代理元荟萃游戏”模型，讨论了自动化代理动态的不同概念下的属性，并分析了2x2游戏中用户的均衡，其中动态收敛到a单均衡。

Min-Max优化问题（即，最大游戏）一直在吸引大量的注意力，因为它们适用于各种机器学习问题。虽然最近取得了重大进展，但迄今为止的文献已经专注于独立战略集的比赛;难以解决与依赖策略集的游戏的知识，可以被称为Min-Max Stackelberg游戏。我们介绍了两种一阶方法，解决了大类凸凹MIN-Max Stackelberg游戏，并表明我们的方法会聚在多项式时间。 Min-Max Stackelberg游戏首先由Wald研究，在Wald的Maximin模型的Posthumous名称下，一个变体是强大的优化中使用的主要范式，这意味着我们的方法同样可以解决许多凸起的稳健优化问题。我们观察到Fisher市场中竞争均衡的计算还包括Min-Max Stackelberg游戏。此外，我们通过在不同的公用事业结构中计算Fisher市场的竞争性均衡来证明我们的算法在实践中的功效和效率。我们的实验表明潜在的方法来扩展我们的理论结果，通过展示不同的平滑性能如何影响我们算法的收敛速度。

我们考虑在具有强盗反馈的未知游戏中的在线无遗憾的学习，其中每个代理只在每次都观察到其奖励 - 所有参与者当前的联合行动 - 而不是其渐变。我们专注于平稳且强烈单调的游戏类，并在其中研究最佳的无遗憾。利用自我协调的障碍功能，我们首先构建在线强盗凸优化算法，并表明它实现了平滑且强烈 - 凹陷的支付下$ \ tilde {\ theta}（\ sqrt {t}）$的单代理最佳遗憾职能。然后，如果每个代理在强烈单调的游戏中应用这种无悔的学习算法，则以$ \ tilde {\ theta}的速率，联合动作会收敛于\ texit {last erate}到唯一的纳什均衡（1 / \ sqrt {t}）$。在我们的工作之前，同一类游戏中的最熟悉的融合率是$ O（1 / T ^ {1/3}）$（通过不同的算法实现），从而留下了最佳无悔的问题学习算法（因为已知的下限为$ \ omega（1 / \ sqrt {t}）$）。我们的结果因此通过识别第一双重最佳强盗学习算法来解决这个公开问题并促进强盗游戏 - 理论学习的广泛景观，因为它达到了（达到了日志因子）单王子学习和最佳的最佳遗憾多代理学习中的最后迭代收敛速度。我们还展示了几项模拟研究的结果 - Cournot竞争，凯利拍卖和分布式正则化物流回归 - 以证明我们算法的功效。

我们分析了一种方案，其中软件代理作为后悔最小化算法代表他们的用户参与重复拍卖。我们研究了第一个价格和第二次价格拍卖，以及他们的广义版本（例如，作为用于广告拍卖的版本）。利用理论分析和模拟，我们展示了，令人惊讶的是，在二次价格拍卖中，球员的激励措施将他们的真正估值释放到自己的学习代理，而在第一次价格拍卖中，这是所有球员如实的主要战略向他们的代理商报告他们的估值。

许多经济比赛和机器学习方法可以作为竞争优化问题，其中多个代理可以最大限度地减少其各自的目标函数，这取决于所有代理的行动。虽然梯度下降是单代理优化的可靠基本工作，但它通常会导致竞争优化的振荡。在这项工作中，我们提出了PolyATrix竞争梯度下降（PCGD）作为解决涉及任意数量的代理的通用和竞争优化的方法。我们的方法的更新是通过二次正则化的局部Polypatrix近似的纳什均衡，并且可以通过求解方程的线性系统有效地计算。我们证明了PCGD的本地融合以获得$ N $ -Player General Sum Games的稳定定点，并显示它不需要将步长调整到玩家交互的强度。我们使用PCGD优化多功能钢筋学习的政策，并展示其在蛇，马尔可夫足球和电力市场游戏中的优势。由PCGD优先效果培训的代理经过培训，具有同步梯度下降，辛渐变调整和蛇和马尔可夫足球比赛的Extragradient以及电力市场游戏，PCGD列达速度比同时梯度下降和自特殊方法。

We study the problem of computing an approximate Nash equilibrium of continuous-action game without access to gradients. Such game access is common in reinforcement learning settings, where the environment is typically treated as a black box. To tackle this problem, we apply zeroth-order optimization techniques that combine smoothed gradient estimators with equilibrium-finding dynamics. We model players' strategies using artificial neural networks. In particular, we use randomized policy networks to model mixed strategies. These take noise in addition to an observation as input and can flexibly represent arbitrary observation-dependent, continuous-action distributions. Being able to model such mixed strategies is crucial for tackling continuous-action games that lack pure-strategy equilibria. We evaluate the performance of our method using an approximation of the Nash convergence metric from game theory, which measures how much players can benefit from unilaterally changing their strategy. We apply our method to continuous Colonel Blotto games, single-item and multi-item auctions, and a visibility game. The experiments show that our method can quickly find high-quality approximate equilibria. Furthermore, they show that the dimensionality of the input noise is crucial for performance. To our knowledge, this paper is the first to solve general continuous-action games with unrestricted mixed strategies and without any gradient information.

在博弈论中的精髓结果是von Neumann的Minmax定理，这些定理使得零和游戏承认基本上独特的均衡解决方案。古典学习结果对本定理构建，以表明在线无后悔动态会聚到零和游戏中的时间平均意义上的均衡。在过去几年中，一个关键的研究方向专注于表征这种动态的日常行为。一般结果在这个方向上表明，广泛的在线学习动态是循环的，并且在零和游戏中正式的Poincar {e}复发。在具有时间不变均衡的定期零和游戏的情况下，我们分析了这些在线学习行为的稳健性。该模型概括了通常的重复游戏制定，同时也是参与者之间反复竞争的现实和自然模型，这取决于外源性环境变化，如日期效果，周到一周的趋势和季节性。有趣的是，即使在最简单的这种情况下，也可能失败的时间平均收敛性，尽管有均衡是固定的。相比之下，使用新颖的分析方法，我们表明Poincar \'{E}尽管这些动态系统的复杂性，非自主性质，但是普及的复发概括。

Recent work has shown local convergence of GAN training for absolutely continuous data and generator distributions. In this paper, we show that the requirement of absolute continuity is necessary: we describe a simple yet prototypical counterexample showing that in the more realistic case of distributions that are not absolutely continuous, unregularized GAN training is not always convergent. Furthermore, we discuss regularization strategies that were recently proposed to stabilize GAN training. Our analysis shows that GAN training with instance noise or zerocentered gradient penalties converges. On the other hand, we show that Wasserstein-GANs and WGAN-GP with a finite number of discriminator updates per generator update do not always converge to the equilibrium point. We discuss these results, leading us to a new explanation for the stability problems of GAN training. Based on our analysis, we extend our convergence results to more general GANs and prove local convergence for simplified gradient penalties even if the generator and data distributions lie on lower dimensional manifolds. We find these penalties to work well in practice and use them to learn highresolution generative image models for a variety of datasets with little hyperparameter tuning.

学习问题通常表现出一个有趣的反馈机制，其中人口数据对竞争决策者的行为作出反应。本文为这种现象制定了一种新的游戏理论框架，称为多人执行预测。我们专注于两个不同的解决方案概念，即（i）表现稳定稳定的均衡和（ii）纳什均衡的比赛。后者均衡可以说是更具信息性的，但只有在游戏是单调时才有效地发现。我们表明，在温和的假设下，可以通过各种算法有效地发现所需稳定的均衡，包括重复再培训和重复（随机）梯度播放。然后，我们为游戏的强大单调性建立透明的充分条件，并使用它们开发用于查找纳什均衡的算法。我们研究了衍生免费方法和自适应梯度算法，其中每个玩家在学习其分发和梯度步骤的学习的分配和梯度步骤之间交替。合成和半合成数值实验说明了结果。