本文介绍了Kings Arena的荣誉，Kings Arena是基于国王荣誉的强化学习（RL）环境，这是世界上最受欢迎的游戏之一。与以前大多数工作中研究的其他环境相比，我们的人对竞争性强化学习提出了新的概括挑战。与对手竞争的一个代理商是一个多代理的问题；它需要概括能力，因为它具有控制和不同的对手竞争的不同目标。我们描述了国王域名荣誉的观察，动作和奖励规范，并提供了一个基于python的开源界面，以与游戏引擎进行通信。我们为纪念国王竞技场的二十个目标英雄提供了各种任务，并为具有可行的计算资源的基于RL的方法提供了初始基线结果。最后，我们展示了国王竞技场的荣誉和对挑战的可能补救措施所面临的概括挑战。所有软件（包括环境级）均可在https://github.com/tencent-ailab/hok_env上公开获得。该文档可在https://aiarena.tencent.com/hok/doc/上获得。

深度强化学习（RL）的进展是通过用于培训代理商的具有挑战性的基准的可用性来驱动。但是，社区广泛采用的基准未明确设计用于评估RL方法的特定功能。虽然存在用于评估RL的特定打开问题的环境（例如探索，转移学习，无监督环境设计，甚至语言辅助RL），但一旦研究超出证明，通常难以将这些更富有，更复杂的环境 - 概念结果。我们展示了一个强大的沙箱框架，用于易于设计新颖的RL环境。 Minihack是一个停止商店，用于RL实验，环境包括从小房间到复杂的，程序生成的世界。通过利用来自Nethack的全套实体和环境动态，MiniHack是最富有的基网上的视频游戏之一，允许设计快速方便的定制RL测试台。使用这种沙箱框架，可以轻松设计新颖的环境，可以使用人类可读的描述语言或简单的Python接口来设计。除了各种RL任务和基线外，Minihack还可以包装现有的RL基准，并提供无缝添加额外复杂性的方法。

多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。

The availability of challenging benchmarks has played a key role in the recent progress of machine learning. In cooperative multi-agent reinforcement learning, the StarCraft Multi-Agent Challenge (SMAC) has become a popular testbed for centralised training with decentralised execution. However, after years of sustained improvement on SMAC, algorithms now achieve near-perfect performance. In this work, we conduct new analysis demonstrating that SMAC is not sufficiently stochastic to require complex closed-loop policies. In particular, we show that an open-loop policy conditioned only on the timestep can achieve non-trivial win rates for many SMAC scenarios. To address this limitation, we introduce SMACv2, a new version of the benchmark where scenarios are procedurally generated and require agents to generalise to previously unseen settings (from the same distribution) during evaluation. We show that these changes ensure the benchmark requires the use of closed-loop policies. We evaluate state-of-the-art algorithms on SMACv2 and show that it presents significant challenges not present in the original benchmark. Our analysis illustrates that SMACv2 addresses the discovered deficiencies of SMAC and can help benchmark the next generation of MARL methods. Videos of training are available at https://sites.google.com/view/smacv2

In fighting games, individual players of the same skill level often exhibit distinct strategies from one another through their gameplay. Despite this, the majority of AI agents for fighting games have only a single strategy for each "level" of difficulty. To make AI opponents more human-like, we'd ideally like to see multiple different strategies at each level of difficulty, a concept we refer to as "multidimensional" difficulty. In this paper, we introduce a diversity-based deep reinforcement learning approach for generating a set of agents of similar difficulty that utilize diverse strategies. We find this approach outperforms a baseline trained with specialized, human-authored reward functions in both diversity and performance.

Starcraft II（SC2）对强化学习（RL）提出了巨大的挑战，其中主要困难包括巨大的状态空间，不同的动作空间和长期的视野。在这项工作中，我们研究了《星际争霸II》全长游戏的一系列RL技术。我们研究了涉及提取的宏观活动和神经网络的层次结构的层次RL方法。我们研究了课程转移培训程序，并在具有4个GPU和48个CPU线的单台计算机上训练代理。在64x64地图并使用限制性单元上，我们对内置AI的获胜率达到99％。通过课程转移学习算法和战斗模型的混合物，我们在最困难的非作战水平内置AI（7级）中获得了93％的胜利率。在本文的扩展版本中，我们改进了架构，以针对作弊水平训练代理商，并在8级，9级和10级AIS上达到胜利率，为96％，97％和94 ％， 分别。我们的代码在https://github.com/liuruoze/hiernet-sc2上。为了为我们的工作以及研究和开源社区提供基线，我们将其复制了一个缩放版本的Mini-Alphastar（MAS）。 MAS的最新版本为1.07，可以在具有564个动作的原始动作空间上进行培训。它旨在通过使超参数可调节来在单个普通机器上进行训练。然后，我们使用相同的资源将我们的工作与MAS进行比较，并表明我们的方法更有效。迷你α的代码在https://github.com/liuruoze/mini-alphastar上。我们希望我们的研究能够阐明对SC2和其他大型游戏有效增强学习的未来研究。

注入人类知识是加速加强学习（RL）的有效途径。但是，这些方法是缺乏缺陷的。本文介绍了我们发现的抽象前瞻性模型（思想游戏（TG））与转移学习（TL）相结合是有效的方式。我们将星际争霸II作为我们的学习环境。在设计的TG的帮助下，该代理可以在64x64地图上学习99％的速率，在一个商业机器中仅使用1.08小时的1级内置AI。我们还表明TG方法并不像被认为是限制性的。它可以使用粗略设计的TGS，并且在环境变化时也可以很有用。与以前的基于模型的RL相比，我们显示TG更有效。我们还提出了一种TG假设，其赋予TG不同保真度水平的影响。对于具有不等状态和行动空间的真实游戏，我们提出了一种新颖的XFRNET，其中有用性在验证有用性，同时达到欺骗级别-10 AI的90％的赢利。我们认为TG方法可能会在利用人类知识的进一步研究中进一步研究。

随着alphago的突破，人机游戏的AI已经成为一个非常热门的话题，吸引了世界各地的研究人员，这通常是测试人工智能的有效标准。已经开发了各种游戏AI系统（AIS），如Plibratus，Openai Five和AlphaStar，击败了专业人员。在本文中，我们调查了最近的成功游戏AIS，覆盖棋盘游戏AIS，纸牌游戏AIS，第一人称射击游戏AIS和实时战略游戏AIS。通过这项调查，我们1）比较智能决策领域的不同类型游戏之间的主要困难; 2）说明了开发专业水平AIS的主流框架和技术; 3）提高当前AIS中的挑战或缺点，以实现智能决策; 4）试图提出奥运会和智能决策技巧的未来趋势。最后，我们希望这篇简短的审查可以为初学者提供介绍，激发了在游戏中AI提交的研究人员的见解。

We introduce Procgen Benchmark, a suite of 16 procedurally generated game-like environments designed to benchmark both sample efficiency and generalization in reinforcement learning. We believe that the community will benefit from increased access to high quality training environments, and we provide detailed experimental protocols for using this benchmark. We empirically demonstrate that diverse environment distributions are essential to adequately train and evaluate RL agents, thereby motivating the extensive use of procedural content generation. We then use this benchmark to investigate the effects of scaling model size, finding that larger models significantly improve both sample efficiency and generalization.

实现人类水平的灵活性是机器人技术中的重要开放问题。但是，即使在婴儿级别，灵巧的手动操纵任务也是通过增强学习（RL）的挑战。困难在于高度的自由度和异质因素（例如手指关节）之间所需的合作。在这项研究中，我们提出了双人灵感手基准（BI-DEXHANDS），这是一种模拟器，涉及两只灵巧的手，其中包含数十只双人操纵任务和数千个目标对象。具体而言，根据认知科学文献，BI-DEXHANDS中的任务旨在匹配不同级别的人类运动技能。我们在ISSAC体育馆里建造了Bi-Dexhands；这可以实现高效的RL培训，仅在一个NVIDIA RTX 3090中达到30,000+ fps。我们在不同的设置下为流行的RL算法提供了全面的基准；这包括单代理/多代理RL，离线RL，多任务RL和META RL。我们的结果表明，PPO类型的上车算法可以掌握简单的操纵任务，该任务等效到48个月的人类婴儿（例如，捕获飞行的物体，打开瓶子），而多代理RL可以进一步帮助掌握掌握需要熟练的双人合作的操作（例如，举起锅，堆叠块）。尽管每个任务都取得了成功，但在获得多个操纵技能方面，现有的RL算法无法在大多数多任务和少量学习设置中工作，这需要从RL社区进行更实质性的发展。我们的项目通过https://github.com/pku-marl/dexteroushands开放。

近年来，游戏AI研究取得了巨大的突破，尤其是在增强学习（RL）中。尽管他们成功了，但基础游戏通常是通过自己的预设环境和游戏机制实现的，因此使研究人员难以创建不同的游戏环境。但是，测试RL代理对各种游戏环境的测试对于最近努力研究RL的概括并避免可能发生过度拟合的问题至关重要。在本文中，我们将Gridd呈现为游戏AI研究的新平台，该平台提供了高度可配置的游戏，不同的观察者类型和有效的C ++核心引擎的独特组合。此外，我们提出了一系列基线实验，以研究RL剂的不同观察构构和泛化能力的影响。

本文介绍了一种扮演流行的第一人称射击（FPS）视频游戏的AI代理商的AI代理商;来自像素输入的全球攻势（CSGO）。代理人，一个深度神经网络，符合Deathmatch游戏模式内置AI内置AI的媒体难度的性能，同时采用人类的戏剧风格。与在游戏中的许多事先工作不同，CSGO没有API，因此算法必须培训并实时运行。这限制了可以生成的策略数据的数量，妨碍许多增强学习算法。我们的解决方案使用行为克隆 - 在从在线服务器上的人类播放（400万帧，大小与Imagenet相当的400万帧）上刮出的大型嘈杂数据集的行为克隆训练，以及一个较小的高质量专家演示数据集。这种比例是比FPS游戏中的模仿学习的先前工作的数量级。

加强学习（RL）研究的进展通常是由新的，具有挑战性的环境的设计驱动的，这是一项昂贵的事业，需要技能与典型的机器学习研究人员的正交性。环境发展的复杂性仅随着程序性产生（PCG）的兴起而增加，作为产生能够测试RL剂稳健性和泛化的各种环境的流行范式。此外，现有环境通常需要复杂的构建过程，从而使重现结果变得困难。为了解决这些问题，我们介绍了基于网状引擎的基于网络的集成开发环境（IDE）Griddlyjs。 Griddlyjs允许研究人员使用方便的图形接口在视觉上设计和调试任意，复杂的PCG网格世界环境，并可视化，评估和记录训练有素的代理模型的性能。通过将RL工作流连接到由现代Web标准启用的高级功能，Griddlyjs允许发布交互式代理 - 环境演示，将实验结果直接重现为Web。为了证明Griddlyjs的多功能性，我们使用它来快速开发一个复杂的组成拼图解决环境，以及任意人为设计的环境配置及其用于自动课程学习和离线RL的解决方案。 Griddlyjs IDE是开源的，可以在\ url {https://griddly.ai}上免费获得。

With the breakthrough of AlphaGo, deep reinforcement learning becomes a recognized technique for solving sequential decision-making problems. Despite its reputation, data inefficiency caused by its trial and error learning mechanism makes deep reinforcement learning hard to be practical in a wide range of areas. Plenty of methods have been developed for sample efficient deep reinforcement learning, such as environment modeling, experience transfer, and distributed modifications, amongst which, distributed deep reinforcement learning has shown its potential in various applications, such as human-computer gaming, and intelligent transportation. In this paper, we conclude the state of this exciting field, by comparing the classical distributed deep reinforcement learning methods, and studying important components to achieve efficient distributed learning, covering single player single agent distributed deep reinforcement learning to the most complex multiple players multiple agents distributed deep reinforcement learning. Furthermore, we review recently released toolboxes that help to realize distributed deep reinforcement learning without many modifications of their non-distributed versions. By analyzing their strengths and weaknesses, a multi-player multi-agent distributed deep reinforcement learning toolbox is developed and released, which is further validated on Wargame, a complex environment, showing usability of the proposed toolbox for multiple players and multiple agents distributed deep reinforcement learning under complex games. Finally, we try to point out challenges and future trends, hoping this brief review can provide a guide or a spark for researchers who are interested in distributed deep reinforcement learning.

大多数深度加强学习（DRL）的方法试图一次解决单一任务。因此，大多数现有的研究基准组成包括具有普通接口，但在其感知特征，目标或奖励结构中重叠的单独游戏或套房。促进培训代理人的知识转移（例如，通过多任务和元学习），需要更多的环境套件，提供具有足够共同的可配置任务，以共同研究待研究。在本文中，我们提供了Meta Arcade，该工具可以轻松定义和配置共享公共视觉效果，状态空间，动作空间，游戏组件和评分机制的自定义2D街机游戏。元拱门与现有环境不同，因为任职性共性和可配置性都优先考虑：可以从公共元素构建整组游戏，并且这些元素可通过暴露参数调节。我们包括一套24个预定义的游戏，共同说明了该框架的可能性，并讨论如何为研究应用程序配置这些游戏。我们提供了几个实验，说明了可以使用Meta Arcade如何使用，包括预定义游戏的单项任务基准，以设定的时间表更改游戏参数的示例课程的方法，以及游戏之间的转移学习探索。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

通过少数院校拥有不懈的努力，最近在设计超人AIS中的重大进展，在无限制的德克萨斯州举行（NLTH）中，是大规模不完美信息游戏研究的主要测试平台。然而，新研究人员对新的研究人员来说仍然有挑战性，因为没有与现有方法相比，这严重阻碍了本研究区域的进一步发展。在这项工作中，我们展示了OpenHoldem，一个用于使用NLTH的大规模不完美信息游戏研究的集成工具包。 OpenHoldem对这一研究方向进行了三个主要贡献：1）用于彻底评估不同NLTH AIS，2）用于NLTH AI的四个公开可用的强大基线的标准化评估方案，以及3）一个在线测试平台，公众易于使用API nlth ai评估。我们在Holdem.Ia.ac.CN发布了OpenHoldem，希望它有助于进一步研究该领域的未解决的理论和计算问题，并培养对手建模和人机互动学习等关键研究问题。

Progress in continual reinforcement learning has been limited due to several barriers to entry: missing code, high compute requirements, and a lack of suitable benchmarks. In this work, we present CORA, a platform for Continual Reinforcement Learning Agents that provides benchmarks, baselines, and metrics in a single code package. The benchmarks we provide are designed to evaluate different aspects of the continual RL challenge, such as catastrophic forgetting, plasticity, ability to generalize, and sample-efficient learning. Three of the benchmarks utilize video game environments (Atari, Procgen, NetHack). The fourth benchmark, CHORES, consists of four different task sequences in a visually realistic home simulator, drawn from a diverse set of task and scene parameters. To compare continual RL methods on these benchmarks, we prepare three metrics in CORA: Continual Evaluation, Isolated Forgetting, and Zero-Shot Forward Transfer. Finally, CORA includes a set of performant, open-source baselines of existing algorithms for researchers to use and expand on. We release CORA and hope that the continual RL community can benefit from our contributions, to accelerate the development of new continual RL algorithms.

在嘈杂的互联网规模数据集上进行了预测，已对具有广泛的文本，图像和其他模式能力的培训模型进行了大量研究。但是，对于许多顺序决策域，例如机器人技术，视频游戏和计算机使用，公开可用的数据不包含以相同方式训练行为先验所需的标签。我们通过半监督的模仿学习将互联网规模的预处理扩展到顺序的决策域，其中代理通过观看在线未标记的视频来学习行动。具体而言，我们表明，使用少量标记的数据，我们可以训练一个足够准确的反向动力学模型，可以标记一个巨大的未标记在线数据来源 - 在这里，在线播放Minecraft的在线视频 - 然后我们可以从中训练一般行为先验。尽管使用了本地人类界面（鼠标和键盘为20Hz），但我们表明，这种行为先验具有非平凡的零射击功能，并且可以通过模仿学习和加强学习，可以对其进行微调，以进行硬探索任务。不可能通过增强学习从头开始学习。对于许多任务，我们的模型都表现出人类水平的性能，我们是第一个报告可以制作钻石工具的计算机代理，这些工具可以花费超过20分钟（24,000个环境动作）的游戏玩法来实现。

独立的强化学习算法没有理论保证，用于在多代理设置中找到最佳策略。然而，在实践中，先前的作品报告了在某些域中的独立算法和其他方面的良好性能。此外，文献中缺乏对独立算法的优势和弱点的全面研究。在本文中，我们对四个Pettingzoo环境进行了独立算法的性能的实证比较，这些环境跨越了三种主要类别的多助理环境，即合作，竞争和混合。我们表明，在完全可观察的环境中，独立的算法可以在协作和竞争环境中与多代理算法进行同步。对于混合环境，我们表明通过独立算法培训的代理商学会单独执行，但未能学会与盟友合作并与敌人竞争。我们还表明，添加重复性提高了合作部分可观察环境中独立算法的学习。