我们提出了开发行动可控代理的新方法，其表现得像人类，并且有能力与多人在线战斗竞技场（Moba）游戏中的人类参与者对齐。通过将控制问题建模作为动作生成过程，我们设计了一种用于训练代理的深度潜在对准神经网络模型，以及用于控制代理操作的相应采样算法。特别是，我们提出了核心潜在对准模型的确定性和随机的关注实现。在游戏荣誉中模拟和在线实验都证明了所提出的方法的功效。

随着alphago的突破，人机游戏的AI已经成为一个非常热门的话题，吸引了世界各地的研究人员，这通常是测试人工智能的有效标准。已经开发了各种游戏AI系统（AIS），如Plibratus，Openai Five和AlphaStar，击败了专业人员。在本文中，我们调查了最近的成功游戏AIS，覆盖棋盘游戏AIS，纸牌游戏AIS，第一人称射击游戏AIS和实时战略游戏AIS。通过这项调查，我们1）比较智能决策领域的不同类型游戏之间的主要困难; 2）说明了开发专业水平AIS的主流框架和技术; 3）提高当前AIS中的挑战或缺点，以实现智能决策; 4）试图提出奥运会和智能决策技巧的未来趋势。最后，我们希望这篇简短的审查可以为初学者提供介绍，激发了在游戏中AI提交的研究人员的见解。

考虑到人类行为的例子，我们考虑在多种代理决策问题中建立强大但人类的政策的任务。仿制学习在预测人类行为方面有效，但可能与专家人类的实力不符，而自助学习和搜索技术（例如，alphakero）导致强大的性能，但可能会产生难以理解和协调的政策。我们在国际象棋中显示，并通过应用Monte Carlo树搜索产生具有更高人为预测准确性的策略并比仿制政策更强大的kl差异，基于kl发散的正规化搜索策略。然后我们介绍一种新的遗憾最小化算法，该算法基于来自模仿的政策的KL发散规范，并显示将该算法应用于无按压外交产生的策略，使得在基本上同时保持与模仿学习相同的人类预测准确性的策略更强。

深度加强学习（RL）的最新进展导致许多2人零和游戏中的相当大的进展，如去，扑克和星际争霸。这种游戏的纯粹对抗性质允许概念上简单地应用R1方法。然而，现实世界的设置是许多代理商，代理交互是复杂的共同利益和竞争方面的混合物。我们认为外交，一个旨在突出由多种代理交互导致的困境的7人棋盘游戏。它还具有大型组合动作空间和同时移动，这对RL算法具有具有挑战性。我们提出了一个简单但有效的近似最佳响应操作员，旨在处理大型组合动作空间并同时移动。我们还介绍了一系列近似虚构游戏的政策迭代方法。通过这些方法，我们成功地将RL申请到外交：我们认为我们的代理商令人信服地令人信服地表明，游戏理论均衡分析表明新过程产生了一致的改进。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

Starcraft II（SC2）对强化学习（RL）提出了巨大的挑战，其中主要困难包括巨大的状态空间，不同的动作空间和长期的视野。在这项工作中，我们研究了《星际争霸II》全长游戏的一系列RL技术。我们研究了涉及提取的宏观活动和神经网络的层次结构的层次RL方法。我们研究了课程转移培训程序，并在具有4个GPU和48个CPU线的单台计算机上训练代理。在64x64地图并使用限制性单元上，我们对内置AI的获胜率达到99％。通过课程转移学习算法和战斗模型的混合物，我们在最困难的非作战水平内置AI（7级）中获得了93％的胜利率。在本文的扩展版本中，我们改进了架构，以针对作弊水平训练代理商，并在8级，9级和10级AIS上达到胜利率，为96％，97％和94 ％， 分别。我们的代码在https://github.com/liuruoze/hiernet-sc2上。为了为我们的工作以及研究和开源社区提供基线，我们将其复制了一个缩放版本的Mini-Alphastar（MAS）。 MAS的最新版本为1.07，可以在具有564个动作的原始动作空间上进行培训。它旨在通过使超参数可调节来在单个普通机器上进行训练。然后，我们使用相同的资源将我们的工作与MAS进行比较，并表明我们的方法更有效。迷你α的代码在https://github.com/liuruoze/mini-alphastar上。我们希望我们的研究能够阐明对SC2和其他大型游戏有效增强学习的未来研究。

Adequate strategizing of agents behaviors is essential to solving cooperative MARL problems. One intuitively beneficial yet uncommon method in this domain is predicting agents future behaviors and planning accordingly. Leveraging this point, we propose a two-level hierarchical architecture that combines a novel information-theoretic objective with a trajectory prediction model to learn a strategy. To this end, we introduce a latent policy that learns two types of latent strategies: individual $z_A$, and relational $z_R$ using a modified Graph Attention Network module to extract interaction features. We encourage each agent to behave according to the strategy by conditioning its local $Q$ functions on $z_A$, and we further equip agents with a shared $Q$ function that conditions on $z_R$. Additionally, we introduce two regularizers to allow predicted trajectories to be accurate and rewarding. Empirical results on Google Research Football (GRF) and StarCraft (SC) II micromanagement tasks show that our method establishes a new state of the art being, to the best of our knowledge, the first MARL algorithm to solve all super hard SC II scenarios as well as the GRF full game with a win rate higher than $95\%$, thus outperforming all existing methods. Videos and brief overview of the methods and results are available at: https://sites.google.com/view/hier-strats-marl/home.

深度强化学习（DRL）和深度多机构的强化学习（MARL）在包括游戏AI，自动驾驶汽车，机器人技术等各种领域取得了巨大的成功。但是，众所周知，DRL和Deep MARL代理的样本效率低下，即使对于相对简单的问题设置，通常也需要数百万个相互作用，从而阻止了在实地场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的探索问题，即如何有效地探索环境和收集信息丰富的经验，从而使政策学习受益于最佳研究。在稀疏的奖励，吵闹的干扰，长距离和非平稳的共同学习者的复杂环境中，这个问题变得更加具有挑战性。在本文中，我们对单格和多代理RL的现有勘探方法进行了全面的调查。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支外，我们还包括其他具有不同思想和技术的著名探索方法。除了算法分析外，我们还对一组常用基准的DRL进行了全面和统一的经验比较。根据我们的算法和实证研究，我们终于总结了DRL和Deep Marl中探索的公开问题，并指出了一些未来的方向。

DeepMind的游戏理论与多代理团队研究多学科学习的几个方面，从计算近似值到游戏理论中的基本概念，再到在富裕的空间环境中模拟社会困境，并在困难的团队协调任务中培训3-D类人动物。我们小组的一个签名目的是使用DeepMind在DeepMind中提供的资源和专业知识，以深入强化学习来探索复杂环境中的多代理系统，并使用这些基准来提高我们的理解。在这里，我们总结了我们团队的最新工作，并提出了一种分类法，我们认为这重点介绍了多代理研究中许多重要的开放挑战。

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

有效的探索仍然是强化学习中有挑战性的问题，特别是对于来自环境的外在奖励稀疏甚至完全忽视的任务。基于内在动机的重要进展显示了在简单环境中的有希望的结果，但通常会在具有多式联运和随机动力学的环境中陷入困境。在这项工作中，我们提出了一种基于条件变分推理的变分动力模型来模拟多模和随机性。通过在当前状态，动作和潜在变量的条件下产生下一个状态预测，我们考虑作为条件生成过程的环境状态动作转换，这提供了更好地了解动态并在勘探中引发更好的性能。我们派生了环境过渡的负面日志可能性的上限，并使用这样一个上限作为勘探的内在奖励，这使得代理通过自我监督的探索来学习技能，而无需观察外在奖励。我们在基于图像的仿真任务和真正的机器人操纵任务中评估所提出的方法。我们的方法优于若干基于最先进的环境模型的勘探方法。

与社会推动者的强化学习的最新进展使此类模型能够在特定的互动任务上实现人级的绩效。但是，大多数交互式场景并不是单独的版本作为最终目标。取而代之的是，与人类互动时，这些代理人的社会影响是重要的，并且在很大程度上没有探索。在这方面，这项工作提出了一种基于竞争行为的社会影响的新颖强化学习机制。我们提出的模型汇总了客观和社会感知机制，以得出用于调节人造药物学习的竞争得分。为了调查我们提出的模型，我们使用厨师的帽子卡游戏设计了一个互动游戏场景，并研究竞争调制如何改变代理商的比赛风格，以及这如何影响游戏中人类玩家的体验。我们的结果表明，与普通代理人相比，与竞争对手的代理人相比，人类可以检测到特定的社会特征，这直接影响了后续游戏中人类玩家的表现。我们通过讨论构成人工竞争得分的不同社会和客观特征如何有助于我们的结果来结束我们的工作。

本文介绍了Kings Arena的荣誉，Kings Arena是基于国王荣誉的强化学习（RL）环境，这是世界上最受欢迎的游戏之一。与以前大多数工作中研究的其他环境相比，我们的人对竞争性强化学习提出了新的概括挑战。与对手竞争的一个代理商是一个多代理的问题；它需要概括能力，因为它具有控制和不同的对手竞争的不同目标。我们描述了国王域名荣誉的观察，动作和奖励规范，并提供了一个基于python的开源界面，以与游戏引擎进行通信。我们为纪念国王竞技场的二十个目标英雄提供了各种任务，并为具有可行的计算资源的基于RL的方法提供了初始基线结果。最后，我们展示了国王竞技场的荣誉和对挑战的可能补救措施所面临的概括挑战。所有软件（包括环境级）均可在https://github.com/tencent-ailab/hok_env上公开获得。该文档可在https://aiarena.tencent.com/hok/doc/上获得。

深度加强学习（DRL）在复杂的视频游戏中取得了超级性能（例如，星际争霸II和DOTA II）。然而，目前的DRL系统仍然遭受多助手协调，稀疏奖励，随机环境等的挑战。在寻求解决这些挑战时，我们雇用了足球视频游戏，例如Google Research Football（GRF），如我们测试的开发基于端到端的学习的AI系统（表示为Tickick）以完成此具有挑战性的任务。在这项工作中，我们首先从联赛培训获得的单一代理专家的自我播放中生成了一个大型重播数据集。然后，我们开发了一个分布式学习系统和新的离线算法，以从固定的单个代理数据集中学习一个强大的多辅助AI。据我们所知，Tickick是第一个基于学习的AI系统，可以接管多个Agent Google Research Footful Game，而以前的工作可以控制单一代理或实验玩具学术情景。广泛的实验进一步表明，我们的预先训练的模型可以加速现代多功能算法的训练过程，我们的方法在各种学术方案上实现了最先进的性能。

注入人类知识是加速加强学习（RL）的有效途径。但是，这些方法是缺乏缺陷的。本文介绍了我们发现的抽象前瞻性模型（思想游戏（TG））与转移学习（TL）相结合是有效的方式。我们将星际争霸II作为我们的学习环境。在设计的TG的帮助下，该代理可以在64x64地图上学习99％的速率，在一个商业机器中仅使用1.08小时的1级内置AI。我们还表明TG方法并不像被认为是限制性的。它可以使用粗略设计的TGS，并且在环境变化时也可以很有用。与以前的基于模型的RL相比，我们显示TG更有效。我们还提出了一种TG假设，其赋予TG不同保真度水平的影响。对于具有不等状态和行动空间的真实游戏，我们提出了一种新颖的XFRNET，其中有用性在验证有用性，同时达到欺骗级别-10 AI的90％的赢利。我们认为TG方法可能会在利用人类知识的进一步研究中进一步研究。

Recently, model-based agents have achieved better performance than model-free ones using the same computational budget and training time in single-agent environments. However, due to the complexity of multi-agent systems, it is tough to learn the model of the environment. The significant compounding error may hinder the learning process when model-based methods are applied to multi-agent tasks. This paper proposes an implicit model-based multi-agent reinforcement learning method based on value decomposition methods. Under this method, agents can interact with the learned virtual environment and evaluate the current state value according to imagined future states in the latent space, making agents have the foresight. Our approach can be applied to any multi-agent value decomposition method. The experimental results show that our method improves the sample efficiency in different partially observable Markov decision process domains.

In this paper, we identify the best learning scenario to train a team of agents to compete against multiple possible strategies of opposing teams. We evaluate cooperative value-based methods in a mixed cooperative-competitive environment. We restrict ourselves to the case of a symmetric, partially observable, two-team Markov game. We selected three training methods based on the centralised training and decentralised execution (CTDE) paradigm: QMIX, MAVEN and QVMix. For each method, we considered three learning scenarios differentiated by the variety of team policies encountered during training. For our experiments, we modified the StarCraft Multi-Agent Challenge environment to create competitive environments where both teams could learn and compete simultaneously. Our results suggest that training against multiple evolving strategies achieves the best results when, for scoring their performances, teams are faced with several strategies.

我们提出了贝叶斯团队模仿学习者（BTIL），这是一种模仿学习算法，以模拟马尔可夫域中执行顺序任务的团队的行为。与现有的多机构模仿学习技术相反，BTIL明确模型并渗透了团队成员的时间变化的心理状态，从而从次优的团队合作的演示中实现了分散的团队政策的学习。此外，为了允许从小型数据集中进行样本和标签有效的政策学习，Btil采用了贝叶斯的角度，并且能够从半监督的示范中学习。我们证明并基准了BTIL在合成多代理任务以及人类代理团队工作的新型数据集上的性能。我们的实验表明，尽管团队成员（随时间变化且可能未对准）精神状态对其行为的影响，BTIL可以成功地从示威中学习团队政策。

With the breakthrough of AlphaGo, deep reinforcement learning becomes a recognized technique for solving sequential decision-making problems. Despite its reputation, data inefficiency caused by its trial and error learning mechanism makes deep reinforcement learning hard to be practical in a wide range of areas. Plenty of methods have been developed for sample efficient deep reinforcement learning, such as environment modeling, experience transfer, and distributed modifications, amongst which, distributed deep reinforcement learning has shown its potential in various applications, such as human-computer gaming, and intelligent transportation. In this paper, we conclude the state of this exciting field, by comparing the classical distributed deep reinforcement learning methods, and studying important components to achieve efficient distributed learning, covering single player single agent distributed deep reinforcement learning to the most complex multiple players multiple agents distributed deep reinforcement learning. Furthermore, we review recently released toolboxes that help to realize distributed deep reinforcement learning without many modifications of their non-distributed versions. By analyzing their strengths and weaknesses, a multi-player multi-agent distributed deep reinforcement learning toolbox is developed and released, which is further validated on Wargame, a complex environment, showing usability of the proposed toolbox for multiple players and multiple agents distributed deep reinforcement learning under complex games. Finally, we try to point out challenges and future trends, hoping this brief review can provide a guide or a spark for researchers who are interested in distributed deep reinforcement learning.

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.