有限重复的游戏是一个充满活力的游戏，在该游戏中，同时玩的游戏有限多次。GAN包含两个竞争模块：对发电机模块进行了训练以生成新的示例，并训练了判别器模块以区分真实示例与生成的示例。GAN的训练过程是一个有限重复的游戏，每个模块都试图以非合作方式在每个同时游戏的情况下优化其错误。我们观察到，如果在同时游戏的每个实例中，更强大的模块与较弱的模块合作，并且只有较弱的模块只能优化其错误。

这项工作探讨了三人游戏训练动力，在哪个条件下，三人游戏融合并融合了平衡。与先前的工作相反，我们研究了三人游戏架构，所有玩家都明确地相互互动。先前的工作分析了游戏，其中三个代理只与另一个玩家互动，构成了双重玩家游戏。我们使用简化的双线性平滑游戏的扩展版本探索三人游戏训练动力学，称为简化的三线性平滑游戏。我们发现，在大多数情况下，三连线游戏不会在NASH平衡上融合，而是在固定点上汇聚，这对于两个玩家来说是最佳的，但对于第三名而言则不是。此外，我们探讨了更新的顺序如何影响融合。除了交替和同时更新外，我们还探索了一个新的更新订单 - 最大化器优先 - 仅在三人游戏中才有可能。我们发现，三人游戏可以使用最大化器优先更新在NASH平衡上收敛。最后，我们在所有三个更新订单下在三线性平滑游戏中为每个玩家的动量值不同，并表明最大化器优先更新在一组比其他更新订单的较大的播放器动量值三合会中获得了更最佳的结果。

由于能够产生与实际数据的显着统计相似性的高质量数据，生成的对抗性网络（GANS）最近在AI社区中引起了相当大的关注。从根本上，GaN是在训练中以越野方式训练的两个神经网络之间的游戏，以达到零和纳什均衡轮廓。尽管在过去几年中在GAN完成了改进，但仍有几个问题仍有待解决。本文评论了GANS游戏理论方面的文献，并解决了游戏理论模型如何应对生成模型的特殊挑战，提高GAN的表现。我们首先提出一些预备，包括基本GaN模型和一些博弈论背景。然后，我们将分类系统将最先进的解决方案分为三个主要类别：修改的游戏模型，修改的架构和修改的学习方法。分类基于通过文献中提出的游戏理论方法对基本GaN模型进行的修改。然后，我们探讨每个类别的目标，并讨论每个类别的最新作品。最后，我们讨论了这一领域的剩余挑战，并提出了未来的研究方向。

In many real-world settings agents engage in strategic interactions with multiple opposing agents who can employ a wide variety of strategies. The standard approach for designing agents for such settings is to compute or approximate a relevant game-theoretic solution concept such as Nash equilibrium and then follow the prescribed strategy. However, such a strategy ignores any observations of opponents' play, which may indicate shortcomings that can be exploited. We present an approach for opponent modeling in multiplayer imperfect-information games where we collect observations of opponents' play through repeated interactions. We run experiments against a wide variety of real opponents and exact Nash equilibrium strategies in three-player Kuhn poker and show that our algorithm significantly outperforms all of the agents, including the exact Nash equilibrium strategies.

We present a variety of new architectural features and training procedures that we apply to the generative adversarial networks (GANs) framework. We focus on two applications of GANs: semi-supervised learning, and the generation of images that humans find visually realistic. Unlike most work on generative models, our primary goal is not to train a model that assigns high likelihood to test data, nor do we require the model to be able to learn well without using any labels. Using our new techniques, we achieve state-of-the-art results in semi-supervised classification on MNIST, CIFAR-10 and SVHN. The generated images are of high quality as confirmed by a visual Turing test: our model generates MNIST samples that humans cannot distinguish from real data, and CIFAR-10 samples that yield a human error rate of 21.3%. We also present ImageNet samples with unprecedented resolution and show that our methods enable the model to learn recognizable features of ImageNet classes.

离群值检测是一项具有挑战性的活动。文献中提出了几种机器学习技术，以进行异常检测。在本文中，我们为双向gan（Bigan）提出了一种新的培训方法，以检测异常值。为了验证拟议的方法，我们采用拟议的培训方法来培训一个Bigan，以检测正在操纵其纳税申报表的纳税人。对于每个纳税人，我们从他/她提交的纳税申报表中得出六个相关参数和三个比率参数。我们在这九个派生的地面数据集上采用拟议的培训方法来训练Bigan。接下来，我们使用$ encoder $（使用$ encoder $编码此数据集）生成此数据集的潜在表示，并使用$ Generator $（使用$ Generator $解码）再生此数据集，通过提供此潜在表示为输入。对于每个纳税人，计算其基地数据和再生数据之间的余弦相似性。具有较低余弦相似性措施的纳税人是潜在的回程操纵者。我们应用了我们的方法来分析印度特兰加纳政府商业税务部提供的钢铁纳税人数据集。

我们考虑在高维空间中学习数据的判别性表示的问题，并在多个低维线性子空间上或周围支持分布。也就是说，我们希望计算数据的线性注射映射，以便该功能位于多个正交子空间上。我们没有使用多个PCAS处理这个学习问题，而是使用最近提出的用于学习一般低维基符号的判别性和生成性表示的闭环转录（CTRL）框架作为顺序游戏。我们证明，游戏的平衡解决方案确实提供了正确的表示。我们的方法通过表明可以证明使用现代表示学习工具包可以解决子空间学习问题，从而将学习子空间的经典方法统一了学习子空间。此外，在线性子空间的重要情况下，我们的工作为CTRL框架提供了第一个理论理由。我们以令人信服的经验证据来支持我们的理论发现。我们还将顺序的游戏公式推广到更通用的表示学习问题。我们的代码，包括容易复制实验结果的方法，在GitHub上公开可用。

While Nash equilibrium has emerged as the central game-theoretic solution concept, many important games contain several Nash equilibria and we must determine how to select between them in order to create real strategic agents. Several Nash equilibrium refinement concepts have been proposed and studied for sequential imperfect-information games, the most prominent being trembling-hand perfect equilibrium, quasi-perfect equilibrium, and recently one-sided quasi-perfect equilibrium. These concepts are robust to certain arbitrarily small mistakes, and are guaranteed to always exist; however, we argue that neither of these is the correct concept for developing strong agents in sequential games of imperfect information. We define a new equilibrium refinement concept for extensive-form games called observable perfect equilibrium in which the solution is robust over trembles in publicly-observable action probabilities (not necessarily over all action probabilities that may not be observable by opposing players). Observable perfect equilibrium correctly captures the assumption that the opponent is playing as rationally as possible given mistakes that have been observed (while previous solution concepts do not). We prove that observable perfect equilibrium is always guaranteed to exist, and demonstrate that it leads to a different solution than the prior extensive-form refinements in no-limit poker. We expect observable perfect equilibrium to be a useful equilibrium refinement concept for modeling many important imperfect-information games of interest in artificial intelligence.

许多真实世界游戏包含可能影响收益，动作空间和信息状态的参数。对于参数的固定值，可以使用标准算法解决游戏。但是，在许多设置中，代理必须采取行动而不知道将提前遇到的参数的值。通常，人类在时间和资源限制的情况下必须做出决定，假设人类可以实时解决游戏是不现实的。我们提出了一个新的框架，使人类决策者能够在没有实时求解器的帮助下做出快速决策。我们展示了适用于各种情况，包括具有多个玩家的设置和不完美信息。

We study the problem of computing an approximate Nash equilibrium of continuous-action game without access to gradients. Such game access is common in reinforcement learning settings, where the environment is typically treated as a black box. To tackle this problem, we apply zeroth-order optimization techniques that combine smoothed gradient estimators with equilibrium-finding dynamics. We model players' strategies using artificial neural networks. In particular, we use randomized policy networks to model mixed strategies. These take noise in addition to an observation as input and can flexibly represent arbitrary observation-dependent, continuous-action distributions. Being able to model such mixed strategies is crucial for tackling continuous-action games that lack pure-strategy equilibria. We evaluate the performance of our method using an approximation of the Nash convergence metric from game theory, which measures how much players can benefit from unilaterally changing their strategy. We apply our method to continuous Colonel Blotto games, single-item and multi-item auctions, and a visibility game. The experiments show that our method can quickly find high-quality approximate equilibria. Furthermore, they show that the dimensionality of the input noise is crucial for performance. To our knowledge, this paper is the first to solve general continuous-action games with unrestricted mixed strategies and without any gradient information.

生成对抗网络的广泛应用受益于成功的训练方法，保证对象功能会聚到本地最小值。然而，由于基于梯度的方式的循环行为和基于Hessian矩阵的这些方法的昂贵计算成本，设计了高效竞争的训练方法仍然是一个具有挑战性的任务。本文提出了自适应复合梯度（ACG）方法，在合适的设置下线性收敛。理论和玩具功能实验表明，我们的方法可以缓解循环行为，并比最近提出的算法更快地收敛。值得注意的是，ACG方法不仅用于在双线性游戏以及一般游戏中找到稳定的固定点。 ACG方法是一种新的半渐变算法，因为它不需要计算每个步骤的梯度，通过利用未来迭代中的预测信息来降低梯度和黑森州的计算成本。我们通过将ACG与线性GANS集成到现有算法来进行高斯实验的两种混合。结果显示ACG与先前的算法具有竞争力。具有DCGANS的四个普遍数据集（Mnist，Fashion-Mnist，CIFAR-10和Celeba）的现实实验表明我们的ACG方法优于多个基线，说明了我们方法的优越性和功效。

在竞争激烈的两种环境中，基于\ emph {double oracle（do）}算法的深度强化学习（RL）方法，例如\ emph {policy space响应oracles（psro）}和\ emph {任何时间psro（apsro）}，迭代地将RL最佳响应策略添加到人群中。最终，这些人口策略的最佳混合物将近似于NASH平衡。但是，这些方法可能需要在收敛之前添加所有确定性策略。在这项工作中，我们介绍了\ emph {selfplay psro（sp-psro）}，这种方法可在每次迭代中的种群中添加大致最佳的随机策略。SP-PSRO并不仅对对手的最少可剥削人口混合物添加确定性的最佳反应，而是学习了大致最佳的随机政策，并将其添加到人群中。结果，SPSRO从经验上倾向于比APSRO快得多，而且在许多游戏中，仅在几次迭代中收敛。

我们考虑估算人类代理偏好的问题，从战略系统数据反复相互作用。最近，证明了一种称为“量子遗憾”的新估计方法，对人类代理的估计比假设代理是合理的并且达到纳什均衡的经典方法产生更准确的估计;然而，这种方法尚未与考虑人类戏剧行为方面的方法进行比较。在本文中，我们为此目的利用行为经济学的均衡概念，并询问它们与量子后悔和纳什均衡方法相比的操作。我们开发了基于建立的行为均衡模型的四种估计方法，从观察到的正常形式游戏数据中推断人类的公用事业。我们研究的均衡模型是量子响应平衡，动作采样平衡，回报采样平衡和脉冲平衡平衡。我们表明，在这些概念中的一些概念中，推断通过封闭式公式进行分析地实现，而在其他方面则在其他方面只能算法算法。我们使用2x2游戏的实验数据来评估这些行为均衡方法的估计成功。结果表明，它们产生的估计比纳什均衡的估计更准确。与量子后悔方法的比较表明，行为方法具有更好的击中率，但模量遗憾的方法在整体平均平均误差方面表现更好，我们讨论了方法之间的差异。

这是关于生成对抗性网络（GaN），对抗性自身额外的教程和调查纸张及其变体。我们开始解释对抗性学习和香草甘。然后，我们解释了条件GaN和DCGAN。介绍了模式崩溃问题，介绍了各种方法，包括小纤维GaN，展开GaN，Bourgan，混合GaN，D2Gan和Wasserstein GaN，用于解决这个问题。然后，GaN中的最大似然估计与F-GaN，对抗性变分贝叶斯和贝叶斯甘甘相同。然后，我们涵盖了GaN，Infogan，Gran，Lsgan，Enfogan，Gran，Lsgan，Catgan，MMD Gan，Lapgan，Progressive Gan，Triple Gan，Lag，Gman，Adagan，Cogan，逆甘，Bigan，Ali，Sagan，Sagan，Sagan，Sagan，甘肃，甘肃，甘河的插值和评估。然后，我们介绍了GaN的一些应用，例如图像到图像转换（包括Pacchgan，Cyclegan，Deepfacedrawing，模拟GaN，Interactive GaN），文本到图像转换（包括Stackgan）和混合图像特征（包括罚球和mixnmatch）。最后，我们解释了基于对冲学习的AutoEncoders，包括对手AutoEncoder，Pixelgan和隐式AutoEncoder。

生成对抗网络（GAN）通过两人游戏从数据样本中学习隐含的生成模型。在本文中，我们研究了游戏的NASH平衡存在，随着数据样本的数量增长到无穷大。在一个可实现的环境中，目标是估计固定高斯过程的基本真相发生器，我们表明，始终如一的nash平衡的存在至关重要取决于歧视家族的选择。根据二阶统计力矩定义的歧视器可能导致NASH平衡不存在，存在一致的非NASH平衡，或者是始终如一的NASH平衡的存在和唯一性，具体取决于发电机家族的对称特性是否受到尊重。我们进一步研究了梯度下降方法对一致平衡的局部稳定性和全球收敛。

反事实遗憾最小化（CFR）}是在具有不完美信息的两个玩家零和游戏中查找近似NASH均衡的流行方法。 CFR通过迭代地遍历全游戏树来解决游戏，这限制了其在更大的游戏中的可扩展性。在将CFR应用于以前解决大型游戏时，大型游戏首先被抽象成小型游戏。其次，CFR用于解决抽象游戏。最后，解决方案策略被映射到原始大规模游戏。然而，该过程需要相当大的专家知识，抽象的准确性与专业知识密切相关。此外，抽象还失去了某些信息，最终会影响解决方案策略的准确性。对此问题，最近的方法，\纺织{Deep CFR}通过将深神经网络直接应用于完整游戏中的CFR来缓解抽象和专家知识的需求。在本文中，我们介绍了\ Texit {神经网络反事实遗憾最小化（NNCFR）}，一种改进的\ Texit {Deep CFR}，通过构造Dueling NetWok作为价值网络而具有更快的收敛性。此外，通过组合价值网络和蒙特卡罗来设计评估模块，这减少了值网络的近似误差。此外，新的损失函数是在提议的\ Texit {NNCFR}中的培训策略网络的过程中设计的，这可能很好，使策略网络更稳定。进行了广泛的实验测试，以表明\ Textit {nncfr}会聚得更快，并且比\ texit {deep cfr}更稳定，并且在测试中倾斜\ yexit {deep cfr} uperforms游戏。

最近的多人游戏的理论和应用方面的最新进步，从电子运动到多种子体生成的对抗网络，我们专注于团队零和游戏中的最大优化。在这类游戏中，玩家分为两支队伍，在同一支队内等等，对手团队的相反标志。与TextBook二手零和游戏不同，在我们的类中找到纳什均衡可以被证明是CLS-Hard，即，它不太可能具有用于计算NASH均衡的多项式时间算法。此外，在该广义框架中，使用梯度下降上升（GDA），其乐观变体和额外梯度，我们建立了即使是渐近的最后一次迭代或时间平均收敛到纳什均衡。具体来说，我们展示了一个诱导效用是\ emph {non}的团队游戏系列\ \ emph {non}有吸引力的\ {per-se}混合的纳什均衡，作为底层优化景观的严格鞍点。利用控制理论的技术，我们通过设计局部收敛的修改GDA来补充这些负面结果，以纳入均衡。最后，我们讨论了我们的框架与AI架构的联系，其中与多助理生成对冲网络这样的团队竞争结构。

除了独奏游戏外，棋盘游戏至少需要其他玩家才能玩。因此，当对手失踪时，我们创建了人工智能（AI）代理商来对抗我们。这些AI代理是通过多种方式创建的，但是这些代理的一个挑战是，与我们相比，代理可以具有较高的能力。在这项工作中，我们描述了如何创建玩棋盘游戏的较弱的AI代理。我们使用Tic-Tac-toe，九名成员的莫里斯和曼卡拉，我们的技术使用了增强学习模型，代理商使用Q学习算法来学习这些游戏。我们展示了这些代理商如何学会完美地玩棋盘游戏，然后我们描述了制作这些代理商较弱版本的方法。最后，我们提供了比较AI代理的方法。

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1 2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

深度加强学习（RL）的最新进展导致许多2人零和游戏中的相当大的进展，如去，扑克和星际争霸。这种游戏的纯粹对抗性质允许概念上简单地应用R1方法。然而，现实世界的设置是许多代理商，代理交互是复杂的共同利益和竞争方面的混合物。我们认为外交，一个旨在突出由多种代理交互导致的困境的7人棋盘游戏。它还具有大型组合动作空间和同时移动，这对RL算法具有具有挑战性。我们提出了一个简单但有效的近似最佳响应操作员，旨在处理大型组合动作空间并同时移动。我们还介绍了一系列近似虚构游戏的政策迭代方法。通过这些方法，我们成功地将RL申请到外交：我们认为我们的代理商令人信服地令人信服地表明，游戏理论均衡分析表明新过程产生了一致的改进。