程序内容产生的一个越来越普遍的研究领域是级别的创建：可用于形成更大级别的短片。先前的工作已经使用了基本串联来形成这些较大的级别。但是，即使这些段本身是可完整且形式良好的，串联也可能无法产生可完整的水平，并且可能导致游戏内结构破裂（例如，马里奥中的畸形管道）。我们使用三个基于瓷砖的游戏展示了这一点：一个侧滚动平台游戏，垂直平台游戏和自上而下的Roguelike。此外，我们提出了一个马尔可夫链和一个树搜索算法，该算法在两个级别的段之间找到了一个链接，该级别使用过滤器来确保链接段中的完整性和不间断的游戏内结构。我们进一步表明，这些链接适用于多段级别。我们发现这种方法可靠地找到段之间的链接，并且可以自定义以满足设计师的需求。

本文介绍了一种全自动的机械照明方法，以实现一般视频游戏水平的生成。使用受约束的MAP-ELITE算法和GVG-AI框架，该系统生成了最简单的基于图块的级别，该级别包含特定的游戏机制集并满足可玩性约束。我们将这种方法应用于GVG-AI的$ 4 $不同游戏的机械空间：Zelda，Solarfox，Plants和eartortals。

生成的对抗网络（GANS）是一种强大的间接基因型对表型绘图，用于进化搜索。以前的工作适用于级别的工作侧重于固定尺寸的段，组合成一个整个级别，但各个段可能不会融合在一起。相反，人类设计水平中的段通常是直接或有变化的重复，并且组织成模式（塞尔达传奇的1级的对称鹰，或超级马里奥兄弟中的反复管道图案）。可以使用组成模式产生网络（CPPN）来生产这些模式。 CPPNS定义潜在的向量GaN输入作为几何形状的函数，将GaN输出的段组织成完整级别。然而，潜伏向量的集合也可以直接演化，产生更多的混乱水平。我们提出了一种混合方法，首先发展CPPNS，但允许潜在的向量以后，以便结合两种方法的益处。这些方法在超级马里奥兄弟和塞尔达的传说中进行了评估。我们之前通过发出的搜索（Map-Elites）来展示CPPNS比直接演变的水平更好地覆盖可能的水平的空间。在这里，我们表明，混合方法（1）涵盖了其他方法可以和（2）均可实现的QD分数相当或更高的QD分数。

通过强化学习（PCGRL）的程序性内容生成（PCGRL）已经预言了对大型人为实现的数据集的需求，并允许代理使用可计算的，用户定义的质量衡量标准，而不是目标输出。我们探讨了PCGRL在3D域中的应用，其中内容生成任务自然具有更大的复杂性和与现实世界应用的潜在相关性。在这里，我们介绍了3D域的几个PCGRL任务，Minecraft（Mojang Studios，2009年）。这些任务将使用经常在3D环境中发现的负担来挑战基于RL的发电机，例如跳跃，多维运动和重力。我们培训代理商以优化这些任务中的每一个，以探索PCGRL先前研究的功能。该代理能够生成相对复杂和不同的级别，并推广到随机的初始状态和控制目标。提出的任务中的可控性测试证明了他们分析3D发电机成功和失败的实用性。

基于搜索的程序内容生成（PCG）是一种众所周知的方法，用于游戏中的水平生成。它的主要优势是它是通用且能够满足功能约束的能力。但是，由于在线运行这些算法的大量计算成本，因此很少将基于搜索的PCG用于实时生成。在本文中，我们使用机器学习介绍了一种新型的迭代级生成器。我们训练模型以模仿进化过程，并使用模型生成水平。该训练有素的模型能够顺序修改嘈杂的水平，以创建更好的水平，而无需在推理过程中使用健身函数。我们在2D迷宫生成任务上评估了训练有素的模型。我们比较了该方法的几个不同版本：在进化结束时训练模型或每100代（辅助进化），并在进化过程中使用模型作为突变函数。使用辅助进化过程，最终训练的模型能够以99％的成功率产生迷宫，高度多样性为86％。这项工作为以进化过程为指导的一种新的学习水平生成器打开了大门，并可能会增加游戏行业中基于搜索的PCG的采用。

游戏由多种类型的内容组成，而不同内容类型的和谐在游戏设计中起着至关重要的作用。但是，大多数关于程序内容生成的作品一次仅考虑一种类型的内容。在本文中，我们通过音乐提出并制定了从音乐中的在线水平生成，以实时的方式将级别功能与音乐功能匹配，同时适应玩家的比赛速度。一个通用框架通过强化学习为在线玩家自适应的程序内容生成，oparl for Short是建立在经验驱动的强化学习和可控制的强化学习的基础上的，以从音乐中获得在线水平的生成。此外，提出了基于本地搜索和K-Nearest邻居的新型控制策略，并将其集成到Oparl中，以控制在线收集的播放数据的水平发电机。基于仿真的实验的结果表明，我们实施Oparl有能力在在线方式以``Energy''动态的``能量''动态来生成可玩水平。

近年来，人们对经验驱动的程序水平的生成越来越兴趣。已经制定了各种指标来建模玩家的经验并帮助产生个性化的水平。在这项工作中，我们质疑经验指标是否可以适应具有不同角色的代理商。我们首先审查现有的指标以评估游戏水平。然后，专注于平台游戏，我们设计了一个集成了各种代理和评估指标的框架。对\ emph {Super Mario Bros.}的实验研究表明，使用相同的评估指标，但具有不同角色的药物可以为特定角色产生水平。这意味着，对于简单的游戏而言，使用特定玩家原型的游戏代理作为水平测试仪，我们可能需要全部生成各种行为参与度的水平。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

自动适应玩家的游戏内容打开新的游戏开发门。在本文中，我们提出了一种使用人物代理和经验指标的架构，这使得能够在进行针对特定玩家人物的程序生成的水平。使用我们的游戏“Grave Rave”，我们证明了这种方法成功地适应了三个不同的三种不同体验指标的基于法则的角色代理。此外，该适应性被证明是特定的，这意味着水平是人的意识，而不仅仅是关于所选度量的一般优化。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

我们研究了如何根据PlayTraces有效预测游戏角色。可以通过计算玩家与游戏行为的生成模型（所谓的程序角色）之间的动作协议比率来计算游戏角色。但这在计算上很昂贵，并假设很容易获得适当的程序性格。我们提出了两种用于估计玩家角色的方法，一种是使用定期监督的学习和启动游戏机制的汇总度量的方法，另一种是基于序列学习的序列学习的另一种方法。尽管这两种方法在预测与程序角色一致定义的游戏角色时都具有很高的精度，但它们完全无法预测玩家使用问卷的玩家本身定义的游戏风格。这个有趣的结果突出了使用计算方法定义游戏角色的价值。

我们提出了一种生成可玩游戏的方法，该游戏使用深层生成潜在变量模型将给定的游戏组合在一起。我们将这种方法称为潜在的组合游戏设计 - 潜在，因为我们使用学习的潜在表示来执行混合，因此组合是因为游戏混合是一种组合创造力过程和游戏设计，因为该方法会生成新颖的可玩游戏。我们使用高斯混合物变化自动编码器（GMVAE），该自动编码器使用高斯人的混合物来对VAE潜在空间进行建模。通过监督的培训，每个组件都学会从一个游戏中编码级别，并让我们将新的混合游戏定义为这些学习组件的线性组合。这使生成新游戏混合了输入游戏，并控制混合中每个游戏的相对比例。我们还使用条件VAE进行了先前的工作，以执行混合并与GMVAE进行比较。我们的结果表明，这两种模型均可生成可玩的混合游戏，以所需的比例将输入游戏融合在一起。

Real-Time Strategy (RTS) game unit generation is an unexplored area of Procedural Content Generation (PCG) research, which leaves the question of how to automatically generate interesting and balanced units unanswered. Creating unique and balanced units can be a difficult task when designing an RTS game, even for humans. Having an automated method of designing units could help developers speed up the creation process as well as find new ideas. In this work we propose a method of generating balanced and useful RTS units. We draw on Search-Based PCG and a fitness function based on Monte Carlo Tree Search (MCTS). We present ten units generated by our system designed to be used in the game microRTS, as well as results demonstrating that these units are unique, useful, and balanced.

近年来，游戏AI研究取得了巨大的突破，尤其是在增强学习（RL）中。尽管他们成功了，但基础游戏通常是通过自己的预设环境和游戏机制实现的，因此使研究人员难以创建不同的游戏环境。但是，测试RL代理对各种游戏环境的测试对于最近努力研究RL的概括并避免可能发生过度拟合的问题至关重要。在本文中，我们将Gridd呈现为游戏AI研究的新平台，该平台提供了高度可配置的游戏，不同的观察者类型和有效的C ++核心引擎的独特组合。此外，我们提出了一系列基线实验，以研究RL剂的不同观察构构和泛化能力的影响。

在嘈杂的互联网规模数据集上进行了预测，已对具有广泛的文本，图像和其他模式能力的培训模型进行了大量研究。但是，对于许多顺序决策域，例如机器人技术，视频游戏和计算机使用，公开可用的数据不包含以相同方式训练行为先验所需的标签。我们通过半监督的模仿学习将互联网规模的预处理扩展到顺序的决策域，其中代理通过观看在线未标记的视频来学习行动。具体而言，我们表明，使用少量标记的数据，我们可以训练一个足够准确的反向动力学模型，可以标记一个巨大的未标记在线数据来源 - 在这里，在线播放Minecraft的在线视频 - 然后我们可以从中训练一般行为先验。尽管使用了本地人类界面（鼠标和键盘为20Hz），但我们表明，这种行为先验具有非平凡的零射击功能，并且可以通过模仿学习和加强学习，可以对其进行微调，以进行硬探索任务。不可能通过增强学习从头开始学习。对于许多任务，我们的模型都表现出人类水平的性能，我们是第一个报告可以制作钻石工具的计算机代理，这些工具可以花费超过20分钟（24,000个环境动作）的游戏玩法来实现。

4月20日至22日，在马德里（西班牙）举行的EVO* 2022会议上提交了末期摘要。这些论文介绍了正在进行的研究和初步结果，这些结果研究了对不同问题的不同方法（主要是进化计算）的应用，其中大多数是现实世界中的方法。

2048 is a single-player stochastic puzzle game. This intriguing and addictive game has been popular worldwide and has attracted researchers to develop game-playing programs. Due to its simplicity and complexity, 2048 has become an interesting and challenging platform for evaluating the effectiveness of machine learning methods. This dissertation conducts comprehensive research on reinforcement learning and computer game algorithms for 2048. First, this dissertation proposes optimistic temporal difference learning, which significantly improves the quality of learning by employing optimistic initialization to encourage exploration for 2048. Furthermore, based on this approach, a state-of-the-art program for 2048 is developed, which achieves the highest performance among all learning-based programs, namely an average score of 625377 points and a rate of 72% for reaching 32768-tiles. Second, this dissertation investigates several techniques related to 2048, including the n-tuple network ensemble learning, Monte Carlo tree search, and deep reinforcement learning. These techniques are promising for further improving the performance of the current state-of-the-art program. Finally, this dissertation discusses pedagogical applications related to 2048 by proposing course designs and summarizing the teaching experience. The proposed course designs use 2048-like games as materials for beginners to learn reinforcement learning and computer game algorithms. The courses have been successfully applied to graduate-level students and received well by student feedback.

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

在这项工作中，我们考虑了视频游戏水平的程序内容生成问题。先前的方法依赖于能够生成不同级别的进化搜索方法，但是这一代过程很慢，这在实时设置中是有问题的。还提出了加强学习（RL）来解决相同的问题，尽管水平生成很快，但训练时间可能非常昂贵。我们提出了一个框架，以解决结合ES和RL的过程内容生成问题。特别是，我们的方法首先使用ES来生成一系列级别，然后使用行为克隆将这些级别的级别分配到策略中，然后可以查询该级别以快速产生新的水平。我们将方法应用于迷宫游戏和Super Mario Bros，结果表明我们的方法实际上会减少水平生成所需的时间，尤其是在需要越来越多的有效水平时。