Real-Time Strategy (RTS) game unit generation is an unexplored area of Procedural Content Generation (PCG) research, which leaves the question of how to automatically generate interesting and balanced units unanswered. Creating unique and balanced units can be a difficult task when designing an RTS game, even for humans. Having an automated method of designing units could help developers speed up the creation process as well as find new ideas. In this work we propose a method of generating balanced and useful RTS units. We draw on Search-Based PCG and a fitness function based on Monte Carlo Tree Search (MCTS). We present ten units generated by our system designed to be used in the game microRTS, as well as results demonstrating that these units are unique, useful, and balanced.

In fighting games, individual players of the same skill level often exhibit distinct strategies from one another through their gameplay. Despite this, the majority of AI agents for fighting games have only a single strategy for each "level" of difficulty. To make AI opponents more human-like, we'd ideally like to see multiple different strategies at each level of difficulty, a concept we refer to as "multidimensional" difficulty. In this paper, we introduce a diversity-based deep reinforcement learning approach for generating a set of agents of similar difficulty that utilize diverse strategies. We find this approach outperforms a baseline trained with specialized, human-authored reward functions in both diversity and performance.

本文介绍了一种全自动的机械照明方法，以实现一般视频游戏水平的生成。使用受约束的MAP-ELITE算法和GVG-AI框架，该系统生成了最简单的基于图块的级别，该级别包含特定的游戏机制集并满足可玩性约束。我们将这种方法应用于GVG-AI的$ 4 $不同游戏的机械空间：Zelda，Solarfox，Plants和eartortals。

The highest grossing media franchise of all times, with over \$90 billion in total revenue, is Pokemon. The video games belong to the class of Japanese Role Playing Games (J-RPG). Developing a powerful AI agent for these games is very hard because they present big challenges to MinMax, Monte Carlo Tree Search and statistical Machine Learning, as they are vastly different from the well explored in AI literature games. An AI agent for one of these games means significant progress in AI agents for the entire class. Further, the key principles of such work can hopefully inspire approaches to several domains that require excellent teamwork under conditions of extreme uncertainty, including managing a team of doctors, robots or employees in an ever changing environment, like a pandemic stricken region or a war-zone. In this paper we first explain the mechanics of the game and we perform a game analysis. We continue by proposing unique AI algorithms based on our understanding that the two biggest challenges in the game are keeping a balanced team and dealing with three sources of uncertainty. Later on, we describe why evaluating the performance of such agents is challenging and we present the results of our approach. Our AI agent performed significantly better than all previous attempts and peaked at the 33rd place in the world, in one of the most popular battle formats, while running on only 4 single socket servers.

自动适应玩家的游戏内容打开新的游戏开发门。在本文中，我们提出了一种使用人物代理和经验指标的架构，这使得能够在进行针对特定玩家人物的程序生成的水平。使用我们的游戏“Grave Rave”，我们证明了这种方法成功地适应了三个不同的三种不同体验指标的基于法则的角色代理。此外，该适应性被证明是特定的，这意味着水平是人的意识，而不仅仅是关于所选度量的一般优化。

人工智能（AI）球员已经获得了像Go，国际象棋和奥赛罗（Reversi）这样的游戏的超人技能。换句话说，AI球员作为人类球员的对手变得太强。然后，我们不会与AI播放器一起玩棋盘游戏。为了娱乐人类球员，AI球员必须自动平衡其人类球员的技能。为了解决这个问题，我提出了一个具有动态难度调整的AI播放器的Alphadda，基于Alphazero。 alphadda包括一个深神经网络（DNN）和蒙特卡罗树搜索，如alphazero。 alphadda估计游戏状态的值仅使用DNN的板状态，并根据值改变其技能。 Alphadda可以仅使用游戏的状态调整Alphadda技能，而无需先验对对手的知识。在本研究中，Alphadda播放Connect4,6x6 othello，使用6x6尺寸板，与其他AI代理商使用6x6尺寸板，othello。其他AI代理商是alphazero，蒙特卡罗树搜索，minimax算法和随机播放器。本研究表明，除随机玩家外，alphadda实现了与其他AI代理的技能。 alphadda的DDA能力来自于从游戏状态的值的准确估计。我们将能够为任何游戏使用Alphadda的方法，因为DNN可以估计来自状态的值。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

我们研究了如何根据PlayTraces有效预测游戏角色。可以通过计算玩家与游戏行为的生成模型（所谓的程序角色）之间的动作协议比率来计算游戏角色。但这在计算上很昂贵，并假设很容易获得适当的程序性格。我们提出了两种用于估计玩家角色的方法，一种是使用定期监督的学习和启动游戏机制的汇总度量的方法，另一种是基于序列学习的序列学习的另一种方法。尽管这两种方法在预测与程序角色一致定义的游戏角色时都具有很高的精度，但它们完全无法预测玩家使用问卷的玩家本身定义的游戏风格。这个有趣的结果突出了使用计算方法定义游戏角色的价值。

Modern video games are becoming richer and more complex in terms of game mechanics. This complexity allows for the emergence of a wide variety of ways to play the game across the players. From the point of view of the game designer, this means that one needs to anticipate a lot of different ways the game could be played. Machine Learning (ML) could help address this issue. More precisely, Reinforcement Learning is a promising answer to the need of automating video game testing. In this paper we present a video game environment which lets us define multiple play-styles. We then introduce CARI: a Configurable Agent with Reward as Input. An agent able to simulate a wide continuum range of play-styles. It is not constrained to extreme archetypal behaviors like current methods using reward shaping. In addition it achieves this through a single training loop, instead of the usual one loop per play-style. We compare this novel training approach with the more classic reward shaping approach and conclude that CARI can also outperform the baseline on archetypes generation. This novel agent could be used to investigate behaviors and balancing during the production of a video game with a realistic amount of training time.

The increasing complexity of gameplay mechanisms in modern video games is leading to the emergence of a wider range of ways to play games. The variety of possible play-styles needs to be anticipated by designers, through automated tests. Reinforcement Learning is a promising answer to the need of automating video game testing. To that effect one needs to train an agent to play the game, while ensuring this agent will generate the same play-styles as the players in order to give meaningful feedback to the designers. We present CARMI: a Configurable Agent with Relative Metrics as Input. An agent able to emulate the players play-styles, even on previously unseen levels. Unlike current methods it does not rely on having full trajectories, but only summary data. Moreover it only requires little human data, thus compatible with the constraints of modern video game production. This novel agent could be used to investigate behaviors and balancing during the production of a video game with a realistic amount of training time.

人工智能，当与游戏进行合并时，使研究和推进领域的理想结构。多种代理游戏对每个代理具有多个控件，同时增加搜索复杂性的同时生成大量数据。因此，我们需要高级搜索方法来查找解决方案并创建人工智能代理。在本文中，我们提出了我们的小说进化蒙特卡罗树搜索（FEMCTS）代理商，借用从进化的Algorthims（EA）和Monte Carlo树搜索（MCT）的想法来玩Pommerman的比赛。它优于滚动地平线进化算法（Rhea）在高可观察性环境中显着，几乎和MCTS用于大多数游戏种子，在某些情况下表现优于它。

除了独奏游戏外，棋盘游戏至少需要其他玩家才能玩。因此，当对手失踪时，我们创建了人工智能（AI）代理商来对抗我们。这些AI代理是通过多种方式创建的，但是这些代理的一个挑战是，与我们相比，代理可以具有较高的能力。在这项工作中，我们描述了如何创建玩棋盘游戏的较弱的AI代理。我们使用Tic-Tac-toe，九名成员的莫里斯和曼卡拉，我们的技术使用了增强学习模型，代理商使用Q学习算法来学习这些游戏。我们展示了这些代理商如何学会完美地玩棋盘游戏，然后我们描述了制作这些代理商较弱版本的方法。最后，我们提供了比较AI代理的方法。

本文在2022年的IEEE游戏会议（COG）上提出了一项新的比赛，称为Darefightinginge比赛。比赛有两个曲目：声音设计轨道和AI轨道。该竞赛的游戏平台也称为格斗游戏平台Darefightinging。 DareFightingIce是一种声音设计的战斗版本，在COG的一场比赛中以前使用，直到2021年，用于促进格斗游戏中的人工智能（AI）研究。在声音设计轨道中，鉴于DareFightingIce的默认声音设计作为​​样本，参与者竞争最佳声音设计，我们将声音设计定义为一组声音效果，并结合了实现其正时控制算法的源代码。要求AI轨道的参与者开发其AI算法，该算法控制角色仅作为输入（Blind AI）与对手作战；我们将提供深度学习的盲人AI。我们还描述了我们最大程度地提高两个轨道之间的协同作用的手段。这项比赛为视觉受损的玩家提供了有效的声音设计，游戏社区中的一个小组大多被忽略了。据我们所知，Darefightingingice竞赛是COG内外的首次此类竞赛。

注入人类知识是加速加强学习（RL）的有效途径。但是，这些方法是缺乏缺陷的。本文介绍了我们发现的抽象前瞻性模型（思想游戏（TG））与转移学习（TL）相结合是有效的方式。我们将星际争霸II作为我们的学习环境。在设计的TG的帮助下，该代理可以在64x64地图上学习99％的速率，在一个商业机器中仅使用1.08小时的1级内置AI。我们还表明TG方法并不像被认为是限制性的。它可以使用粗略设计的TGS，并且在环境变化时也可以很有用。与以前的基于模型的RL相比，我们显示TG更有效。我们还提出了一种TG假设，其赋予TG不同保真度水平的影响。对于具有不等状态和行动空间的真实游戏，我们提出了一种新颖的XFRNET，其中有用性在验证有用性，同时达到欺骗级别-10 AI的90％的赢利。我们认为TG方法可能会在利用人类知识的进一步研究中进一步研究。

Keke AI竞赛介绍了游戏Baba的人造代理竞赛是您 - 像索托班一样的益智游戏，玩家可以创建影响游戏机制的规则。更改规则可能会导致可能是解决方案空间的一部分的其余级别的暂时或永久效应。这些动态规则的性质和游戏的确定性方面为AI构成了一个挑战，即适应各种机械组合以解决一个水平。本文介绍了用于对提交代理进行排名的框架和评估指标，以及样本搜索剂的基线结果。

最近，开创性算法Alphago和Alphazero在游戏学习和深入的强化学习方面开始了一个新时代。尽管Alphago和Alphazero的成就 - 在超级人类层面上玩的GO和其他复杂游戏 - 确实令人印象深刻，但这些架构的缺点是它们需要高度的计算资源。许多研究人员正在寻找类似于alphazero但计算需求较低的方法，因此更容易重现。在本文中，我们选择了Alphazero的重要元素 - 蒙特卡洛树搜索（MCTS）计划阶段 - 并将其与时间差异（TD）学习剂相结合。我们首次将MCT包裹在TD N培训网络上，我们仅在测试时间使用此包装来创建多功能代理，从而使计算需求保持较低。我们将这种新体系结构应用于多个复杂游戏（Othello，Connectfour，Rubik的Cube），并显示了这种受alphazero启发的MCTS包装器所获得的优势。特别是，我们提出的结果是，该代理是第一个在标准硬件（无GPU或TPU）上训练的代理商，击败非常强大的Othello计划EDAX到包括7级（大多数其他学习中的学习中，从而只能失败EDAX至2级）。

本文介绍了一种扮演流行的第一人称射击（FPS）视频游戏的AI代理商的AI代理商;来自像素输入的全球攻势（CSGO）。代理人，一个深度神经网络，符合Deathmatch游戏模式内置AI内置AI的媒体难度的性能，同时采用人类的戏剧风格。与在游戏中的许多事先工作不同，CSGO没有API，因此算法必须培训并实时运行。这限制了可以生成的策略数据的数量，妨碍许多增强学习算法。我们的解决方案使用行为克隆 - 在从在线服务器上的人类播放（400万帧，大小与Imagenet相当的400万帧）上刮出的大型嘈杂数据集的行为克隆训练，以及一个较小的高质量专家演示数据集。这种比例是比FPS游戏中的模仿学习的先前工作的数量级。

我们研究了在游戏中有效地产生高质量和多样化的内容的问题。以前的HESTETHSTONE上自动化牌照的工作表明，质量多样性算法MAP-ELITE可以生成具有不同战略游戏的高性能甲板的集合。但是，Map-Elites需要大量昂贵的评估来发现甲板的各种集合。我们建议使用在线培训的深度代理模型进行地图精英，以预测关于候选甲板的游戏结果。 Map-Elites发现了一个不同的数据集，以提高代理模型精度，而代理模型有助于指导地图精英迈向有希望的新内容。在炉石甲板德克布布布尔案例研究中，我们表明我们的方法提高了Map-Elites的样本效率，并且优于随机甲板训练的模型，以及线性代理模型基线，设置了新的最先进的自动炉石德克斯普通应用领域的质量多样性方法。