Correlated Equilibrium is a solution concept that is more general than Nash Equilibrium (NE) and can lead to outcomes with better social welfare. However, its natural extension to the sequential setting, the \textit{Extensive Form Correlated Equilibrium} (EFCE), requires a quadratic amount of space to solve, even in restricted settings without randomness in nature. To alleviate these concerns, we apply \textit{subgame resolving}, a technique extremely successful in finding NE in zero-sum games to solving general-sum EFCEs. Subgame resolving refines a correlation plan in an \textit{online} manner: instead of solving for the full game upfront, it only solves for strategies in subgames that are reached in actual play, resulting in significant computational gains. In this paper, we (i) lay out the foundations to quantify the quality of a refined strategy, in terms of the \textit{social welfare} and \textit{exploitability} of correlation plans, (ii) show that EFCEs possess a sufficient amount of independence between subgames to perform resolving efficiently, and (iii) provide two algorithms for resolving, one using linear programming and the other based on regret minimization. Both methods guarantee \textit{safety}, i.e., they will never be counterproductive. Our methods are the first time an online method has been applied to the correlated, general-sum setting.

在正常游戏中，简单，未耦合的无regret动态与相关的平衡是多代理系统理论的著名结果。具体而言，已知20多年来，当所有玩家都试图在重复的正常游戏中最大程度地减少其内部遗憾时，游戏的经验频率会收敛于正常形式相关的平衡。广泛的形式（即树形）游戏通过对顺序和同时移动以及私人信息进行建模，从而推广正常形式的游戏。由于游戏中部分信息的顺序性质和存在，因此广泛的形式相关性具有与正常形式的属性明显不同，而正常形式的相关性仍然是开放的研究方向。已经提出了广泛的形式相关平衡（EFCE）作为自然的广泛形式与正常形式相关平衡。但是，目前尚不清楚EFCE是否是由于未耦合的代理动力学而出现的。在本文中，我们给出了第一个未耦合的无regret动态，该动态将$ n $ n $ - 玩家的General-sum大型游戏收敛于EFCE，并带有完美的回忆。首先，我们在广泛的游戏中介绍了触发遗憾的概念，这扩展了正常游戏中的内部遗憾。当每个玩家的触发后悔低时，游戏的经验频率接近EFCE。然后，我们给出有效的无触发式算法。我们的算法在每个决策点在每个决策点上都会从每个决策点构建播放器的全球策略，从而将触发遗憾分解为本地子问题。

Function approximation (FA) has been a critical component in solving large zero-sum games. Yet, little attention has been given towards FA in solving \textit{general-sum} extensive-form games, despite them being widely regarded as being computationally more challenging than their fully competitive or cooperative counterparts. A key challenge is that for many equilibria in general-sum games, no simple analogue to the state value function used in Markov Decision Processes and zero-sum games exists. In this paper, we propose learning the \textit{Enforceable Payoff Frontier} (EPF) -- a generalization of the state value function for general-sum games. We approximate the optimal \textit{Stackelberg extensive-form correlated equilibrium} by representing EPFs with neural networks and training them by using appropriate backup operations and loss functions. This is the first method that applies FA to the Stackelberg setting, allowing us to scale to much larger games while still enjoying performance guarantees based on FA error. Additionally, our proposed method guarantees incentive compatibility and is easy to evaluate without having to depend on self-play or approximate best-response oracles.

事后观察合理性是一种玩一般游戏的方法，该游戏规定了针对一组偏差的单个代理的无重格学习动态，并进一步描述了具有介导的平衡的多个代理商之间的共同理性行为。为了在依次的决策设置中发展事后理性学习，我们将行为偏差形式化为一般偏差，尊重广泛形式游戏的结构。将时间选择的概念整合到反事实遗憾的最小化（CFR）中，我们介绍了广泛的遗憾最小化（EFR）算法，该算法对于任何给定的行为偏差都具有与集合的复杂性紧密相关的计算相关的行为偏差。我们识别行为偏差子集，部分序列偏差类型，这些类型还包含先前研究的类型并导致长度中等的游戏中有效的EFR实例。此外，我们对基准游戏中不同偏差类型实例化的EFR进行了彻底的经验分析，我们发现更强大的类型通常会引起更好的性能。

\ emph {ex ante}相关性正在成为\ emph {顺序对抗团队游戏}的主流方法，其中一组球员在零和游戏中面对另一支球队。众所周知，团队成员的不对称信息同时使平衡计算\ textsf {apx} - hard和团队的策略在游戏树上不可直接表示。后一个问题阻止采用成功的2个玩家零和游戏的成功工具，例如，\ emph {e.g。}，抽象，无regret学习和子游戏求解。这项工作表明，我们可以通过弥合顺序对抗团队游戏和2次玩家游戏之间的差距来恢复这种弱点。特别是，我们提出了一种新的，合适的游戏表示形式，我们称之为\ emph {Team-Public-information}，其中团队被代表为单个协调员，他只知道整个团队的共同信息，并向每个成员开出一个行动对于任何可能的私人状态。最终的表示形式是高度\ emph {可解释}，是一棵2播放器树，在设计抽象时，团队的策略具有直接解释和更具表现力的行为，并且具有更高的表现力。此外，我们证明了代表性的回报等效性，并提供了直接从广泛形式开始的技术，从而在没有信息损失的情况下产生了更紧凑的表示形式。最后，我们在应用于标准测试床上的技术时对技术进行了实验评估，并将它们的性能与当前的最新状态进行了比较。

在本文中，我们建立了高效且取消耦合的学习动力学，因此，当由所有玩家在多人游戏中使用Perfect-Recall Inderfect Interfect Inderfection Formfortation Gartensive Games时，每个玩家的\ emph {触发后悔}会成长为$ o（\ log t t t t t t ）$ $ t $重复播放。这比$ o（t^{1/4}）$的先前最著名的触发regret键呈指数改进，并解决了Bai等人最近的一个开放问题。 （2022）。作为直接的结果，我们保证以$ \ frac {\ log log t} {t} $的接近速率以接近{粗相关的平衡}融合。基于先前的工作，我们的构造核心是关于从\ emph {polyenmial genter}衍生的固定点的更一般的结果，这是我们为\ emph {（粗）触发偏差函数建立的属性}。此外，我们的构造利用了凸壳的精制\ textit {遗憾电路}，与先验保证不同 - 保留了Syrgkanis等人引入的\ emph {rvu属性}。 （NIPS，2015年）；这种观察对基于CFR型遗憾的分解，在学习动态下建立近乎最佳的遗憾具有独立的兴趣。

在最近在两人，零和游戏中取得成功的驱动下，人工智能在游戏中的工作越来越重视产生基于平衡策略的算法。但是，这种方法在培养通用游戏或两个以上玩家的能力的玩家中的效果较小，而不是在两人游戏中的零和零游戏中。一个有吸引力的替代方法是考虑自适应算法，以确保相对于修改行为可以实现的方面的强劲表现。这种方法还导致了游戏理论分析，但是在关节学习动力学而不是均衡的代理行为引起的相关性游戏中。我们在一般的顺序决策环境中发展并倡导这一对学习的事后理性理性框架。为此，我们在广泛的游戏中重新检查了介导的平衡和偏差类型，从而获得了更完整的理解和解决过去的误解。我们提出了一组示例，说明了文献中每种平衡的独特优势和劣势，并证明没有可牵引的概念可以包含所有其他概念。这一探究线在与反事实遗憾最小化（CFR）家族中算法相对应的偏差和平衡类的定义中达到顶点，将它们与文献中的所有其他人联系起来。更详细地研究CFR进一步导致相关游戏中合理性的新递归定义，该定义以自然适用于后代评估的方式扩展了顺序合理性。

While Nash equilibrium has emerged as the central game-theoretic solution concept, many important games contain several Nash equilibria and we must determine how to select between them in order to create real strategic agents. Several Nash equilibrium refinement concepts have been proposed and studied for sequential imperfect-information games, the most prominent being trembling-hand perfect equilibrium, quasi-perfect equilibrium, and recently one-sided quasi-perfect equilibrium. These concepts are robust to certain arbitrarily small mistakes, and are guaranteed to always exist; however, we argue that neither of these is the correct concept for developing strong agents in sequential games of imperfect information. We define a new equilibrium refinement concept for extensive-form games called observable perfect equilibrium in which the solution is robust over trembles in publicly-observable action probabilities (not necessarily over all action probabilities that may not be observable by opposing players). Observable perfect equilibrium correctly captures the assumption that the opponent is playing as rationally as possible given mistakes that have been observed (while previous solution concepts do not). We prove that observable perfect equilibrium is always guaranteed to exist, and demonstrate that it leads to a different solution than the prior extensive-form refinements in no-limit poker. We expect observable perfect equilibrium to be a useful equilibrium refinement concept for modeling many important imperfect-information games of interest in artificial intelligence.

游戏历史悠久的历史悠久地作为人工智能进步的基准。最近，使用搜索和学习的方法在一系列完美的信息游戏中表现出强烈的表现，并且使用游戏理论推理和学习的方法对特定的不完美信息扑克变体表示了很强的性能。我们介绍游戏玩家，一个通用算法，统一以前的方法，结合导游搜索，自助学习和游戏理论推理。游戏播放器是实现大型完美和不完美信息游戏中强大实证性能的第一个算法 - 这是一项真正的任意环境算法的重要一步。我们证明了游戏玩家是声音，融合到完美的游戏，因为可用的计算时间和近似容量增加。游戏播放器在国际象棋上达到了强大的表现，然后击败了最强大的公开可用的代理商，在头上没有限制德克萨斯州扑克（Slumbot），击败了苏格兰院子的最先进的代理人，这是一个不完美的信息游戏，说明了引导搜索，学习和游戏理论推理的价值。

当今许多大型系统的设计，从交通路由环境到智能电网，都依赖游戏理论平衡概念。但是，随着$ n $玩家游戏的大小通常会随着$ n $而成倍增长，标准游戏理论分析实际上是不可行的。最近的方法通过考虑平均场游戏，匿名$ n $玩家游戏的近似值，在这种限制中，玩家的数量是无限的，而人口的状态分布，而不是每个单独的球员的状态，是兴趣。然而，迄今为止研究最多的平均场平衡的平均场nash平衡的实际可计算性通常取决于有益的非一般结构特性，例如单调性或收缩性能，这是已知的算法收敛所必需的。在这项工作中，我们通过开发均值相关和与粗相关的平衡的概念来研究平均场比赛的替代途径。我们证明，可以使用三种经典算法在\ emph {ash All Games}中有效地学习它们，而无需对游戏结构进行任何其他假设。此外，我们在文献中已经建立了对应关系，从而获得了平均场 - $ n $玩家过渡的最佳范围，并经验证明了这些算法在简单游戏中的收敛性。

我们研究了一个知情的发件人面临的重复信息设计问题，该问题试图影响自我利益接收者的行为。我们考虑接收器面临顺序决策（SDM）问题的设置。在每回合中，发件人都会观察SDM问题中随机事件的实现。这会面临如何逐步向接收者披露此类信息以说服他们遵循（理想的）行动建议的挑战。我们研究了发件人不知道随机事件概率的情况，因此，他们必须在说服接收器的同时逐渐学习它们。首先，我们提供了发件人说服力信息结构集的非平凡的多面近似。这对于设计有效的学习算法至关重要。接下来，我们证明了一个负面的结果：没有学习算法可以说服力。因此，我们通过关注算法来保证接收者对以下建议的遗憾会增长，从而放松说服力。在全反馈设置（发件人观察所有随机事件实现）中，我们提供了一种算法，其中包括$ \ tilde {o}（\ sqrt {t}）$ sexter和接收者遗憾。取而代之的是，在Bandit反馈设置中 - 发件人仅观察SDM问题中实际发生的随机事件的实现 - 我们设计了一种算法，给定一个$ \ alpha \ in [1/2，1] $作为输入，确保$ \ tilde {o}（{t^\ alpha}）$和$ \ tilde {o}（t^{\ max \ arpha，1- \ frac {\ frac {\ alpha} }）$遗憾，分别为发件人和接收器。该结果补充了下限，表明这种遗憾的权衡本质上是紧张的。

Imperfect information games (IIG) are games in which each player only partially observes the current game state. We study how to learn $\epsilon$-optimal strategies in a zero-sum IIG through self-play with trajectory feedback. We give a problem-independent lower bound $\mathcal{O}(H(A_{\mathcal{X}}+B_{\mathcal{Y}})/\epsilon^2)$ on the required number of realizations to learn these strategies with high probability, where $H$ is the length of the game, $A_{\mathcal{X}}$ and $B_{\mathcal{Y}}$ are the total number of actions for the two players. We also propose two Follow the Regularize leader (FTRL) algorithms for this setting: Balanced-FTRL which matches this lower bound, but requires the knowledge of the information set structure beforehand to define the regularization; and Adaptive-FTRL which needs $\mathcal{O}(H^2(A_{\mathcal{X}}+B_{\mathcal{Y}})/\epsilon^2)$ plays without this requirement by progressively adapting the regularization to the observations.

迄今为止，游戏中的学习研究主要集中在正常形式游戏上。相比之下，我们以广泛的形式游戏（EFG），尤其是在许多代理商远远落后的EFG中对学习的理解，尽管它们与许多现实世界的应用更加接近。我们考虑了网络零和广泛表单游戏的天然类别，该游戏结合了代理收益的全球零和属性，图形游戏的有效表示以及EFG的表达能力。我们检查了这些游戏中乐观梯度上升（OGA）的收敛属性。我们证明，这种在线学习动力学的时间平均值表现出$ O（1/t）$ rate contergence convergence contergence contergence。此外，我们表明，对于某些与游戏有关的常数$ c> 0 $，日常行为也与速率$ o（c^{ - t}）$收敛到nash。

计算NASH平衡策略是多方面强化学习中的一个核心问题，在理论和实践中都受到广泛关注。但是，到目前为止，可证明的保证金仅限于完全竞争性或合作的场景，或者在大多数实际应用中实现难以满足的强大假设。在这项工作中，我们通过调查Infinite-Horizo​​n \ Emph {对抗性团队Markov Games}，这是一场自然而充分动机的游戏，其中一组相同兴奋的玩家 - 在没有任何明确的情况下，这是一个自然而有动机的游戏，这是一场自然而有动机的游戏，而偏离了先前的结果。协调或交流 - 正在与对抗者竞争。这种设置允许对零和马尔可夫潜在游戏进行统一处理，并作为模拟更现实的战略互动的一步，这些互动具有竞争性和合作利益。我们的主要贡献是第一种计算固定$ \ epsilon $ - Approximate Nash Equilibria在对抗性团队马尔可夫游戏中具有计算复杂性的算法，在游戏的所有自然参数中都是多项式的，以及$ 1/\ epsilon $。拟议的算法特别自然和实用，它基于为团队中的每个球员执行独立的政策梯度步骤，并与对手侧面的最佳反应同时；反过来，通过解决精心构造的线性程序来获得对手的政策。我们的分析利用非标准技术来建立具有非convex约束的非线性程序的KKT最佳条件，从而导致对诱导的Lagrange乘数的自然解释。在此过程中，我们大大扩展了冯·斯坦格尔（Von Stengel）和科勒（GEB`97）引起的对抗（正常形式）团队游戏中最佳政策的重要特征。

大多数算法研究到目前为止，多智能经纪信息设计的研究专注于没有代理商外部性的限制情况;一些例外调查了真正的战略游戏，如零和游戏和二价格拍卖，但只关注最佳的公共信令。本文启动了\ emph {public}和\ emph {privy}信号传导的算法信息设计，其中of基本的外部性，即单例拥塞游戏，在今天的数字经济中的应用范围广，机器调度，路由，对于公共和私人信令等，我们表明，当资源数量是常数时，可以有效地计算最佳信息设计。为了我们的知识，这是一系列高效的\ EMPH {精确}算法，用于在简明地代表的许多玩家游戏中的信息设计。我们的结果符合新颖的技术，如开发某些“减少形式”，以便在公共信令中紧凑地表征均衡或代表私人信令中的球员边际信仰。当有许多资源时，我们会显示计算难扰性结果。为了克服多个均衡问题，这里我们介绍了均衡 - \ EMPH {忽视}硬度的新概念，这条规定了计算良好信令方案的任何可能性，而不管均衡选择规则如何。

最近，Daskalakis，Fisselson和Golowich（DFG）（Neurips`21）表明，如果所有代理在多人普通和正常形式游戏中采用乐观的乘法权重更新（OMWU），每个玩家的外部遗憾是$ o（\ textrm {polylog}（t））$ the游戏的$重复。我们从外部遗憾扩展到内部遗憾并交换后悔，从而建立了以$ \ tilde {o}的速率收敛到近似相关均衡的近似相关均衡（t ^ { - 1}）$。由于陈和彭（神经潜行群岛20），这实质上提高了以陈和彭（NEURIPS20）的相关均衡的相关均衡率，并且在无遗憾的框架内是最佳的 - 以$ $ $ to to polylogarithmic因素。为了获得这些结果，我们开发了用于建立涉及固定点操作的学习动态的高阶平滑的新技术。具体而言，我们确定STOLTZ和LUGOSI（Mach Learn`05）的无内部遗憾学习动态在组合空间上的无外部后悔动态等效地模拟。这使我们可以在指数大小的集合上交易多项式大型马尔可夫链的计算，用于在指数大小的集合上的（更良好的良好）的线性变换，使我们能够利用类似的技术作为DGF到接近最佳地结合内心遗憾。此外，我们建立了$ O（\ textrm {polylog}（t））$ no-swap-recreet遗憾的blum和mansour（bm）的经典算法（JMLR`07）。我们这样做是通过基于Cauchy积分的技术来介绍DFG的更有限的组合争论。除了对BM的近乎最优遗憾保证的阐明外，我们的论点还提供了进入各种方式的洞察，其中可以在分析更多涉及的学习算法中延长和利用DFG的技术。

在本文中，我们调查了正规化的力量，即在解决广泛形式的游戏（EFGS）方面的加强学习和优化方面的常见技术。我们提出了一系列新算法，基于正规化游戏的回报功能，并建立一组收敛结果，这些结果严格改善了现有的假设或更强的收敛保证。特别是，我们首先证明了膨胀的乐观镜下降（DOMD），一种用于求解EFG的有效变体，具有自适应正则化可以实现快速的$ \ tilde o（1/t）$ last-Ilt-Ilt-Ilt-It-last-Ilt-It-titer-In-titer-Inter-In-Elt-It-Triperate Connergengengenge没有纳什平衡（NE）的独特性假设。此外，正规化的膨胀倍增权重更新（reg-domwu）是reg-domd的实例，进一步享受了$ \ tilde o（1/t）$ ther-tir-tir-tir-tir-tir-tir-ter-tir-tir-ter-tir-tir-tir-tir-tir-tir-tir-tir-tir-ter-ter-ter-ter-ter-ter-ter-ter-ter-tir-ter-ter-tir-trientate Convergence。这解决了一个关于OMWU算法是否可以在没有EFG和正常形式游戏文献中的唯一假设的情况下获得的迭代融合的一个悬而未决的问题。其次，我们表明，正式化的反事实遗憾最小化（reg-cfr），具有乐观的镜像下降算法的变体作为遗憾少量器，可以实现$ o（1/t^{1/4}）$ best-Ilterate和$ $ o（1/t^{3/4}）$用于在EFG中查找NE的平均值收敛率。最后，我们表明Reg-CFR可以实现渐近的最后一介质收敛，而最佳$ O（1/t）$平均识别收敛速率可用于查找扰动的EFGS的NE，这对于找到近似广泛形式的完美非常有用平衡（EFPE）。据我们所知，它们构成了CFR型算法的第一个最后近期收敛结果，同时匹配SOTA平均识别收敛速率在寻找非扰动的EFG中的NE中。我们还提供数值结果来证实我们算法的优势。

我们研究了在几个课程之一的未知会员的对手对对手的反复游戏中保证对反对者的低遗憾的问题。我们添加了我们的算法是非利用的约束，因为对手缺乏使用算法的激励，我们无法实现超过一些“公平”价值的奖励。我们的解决方案是一组专家算法（LAFF），该算法（LAFF）在一组子算法内搜索每个对手课程的最佳算法，并在检测对手剥削证据时使用惩罚政策。通过依赖对手课的基准，我们展示了除了剥削者之外的可能对手统一地掩盖了Lublinear的遗憾，我们保证对手有线性遗憾。为了我们的知识，这项工作是第一个在多智能经纪人学习中提供遗憾和非剥削性的保证。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

游戏理论到目前为止在各个领域都发现了许多应用，包括经济学，工业，法学和人工智能，每个玩家都只关心自己对非合作或合作方式的兴趣，但对其他玩家没有明显的恶意。但是，在许多实际应用中，例如扑克，国际象棋，逃避者追求，毒品拦截，海岸警卫队，网络安全和国防，球员通常都具有对抗性立场，也就是说，每个球员的自私行动不可避免地或故意造成损失或对其他球员造成严重破坏。沿着这条线，本文对在对抗性游戏中广泛使用的三种主要游戏模型（即零和零正常形式和广泛形式游戏，stackelberg（Security）游戏，零和差异游戏）提供了系统的调查。观点，包括游戏模型的基本知识，（近似）平衡概念，问题分类，研究前沿，（近似）最佳策略寻求技术，普遍的算法和实际应用。最后，还讨论了有关对抗性游戏的有希望的未来研究方向。