通过强化学习（PCGRL）的程序性内容生成（PCGRL）已经预言了对大型人为实现的数据集的需求，并允许代理使用可计算的，用户定义的质量衡量标准，而不是目标输出。我们探讨了PCGRL在3D域中的应用，其中内容生成任务自然具有更大的复杂性和与现实世界应用的潜在相关性。在这里，我们介绍了3D域的几个PCGRL任务，Minecraft（Mojang Studios，2009年）。这些任务将使用经常在3D环境中发现的负担来挑战基于RL的发电机，例如跳跃，多维运动和重力。我们培训代理商以优化这些任务中的每一个，以探索PCGRL先前研究的功能。该代理能够生成相对复杂和不同的级别，并推广到随机的初始状态和控制目标。提出的任务中的可控性测试证明了他们分析3D发电机成功和失败的实用性。
translated by 谷歌翻译
深度强化学习（RL）的进展是通过用于培训代理商的具有挑战性的基准的可用性来驱动。但是，社区广泛采用的基准未明确设计用于评估RL方法的特定功能。虽然存在用于评估RL的特定打开问题的环境（例如探索，转移学习，无监督环境设计，甚至语言辅助RL），但一旦研究超出证明，通常难以将这些更富有，更复杂的环境 - 概念结果。我们展示了一个强大的沙箱框架，用于易于设计新颖的RL环境。 Minihack是一个停止商店，用于RL实验，环境包括从小房间到复杂的，程序生成的世界。通过利用来自Nethack的全套实体和环境动态，MiniHack是最富有的基网上的视频游戏之一，允许设计快速方便的定制RL测试台。使用这种沙箱框架，可以轻松设计新颖的环境，可以使用人类可读的描述语言或简单的Python接口来设计。除了各种RL任务和基线外，Minihack还可以包装现有的RL基准，并提供无缝添加额外复杂性的方法。
translated by 谷歌翻译
基于搜索的程序内容生成（PCG）是一种众所周知的方法，用于游戏中的水平生成。它的主要优势是它是通用且能够满足功能约束的能力。但是，由于在线运行这些算法的大量计算成本，因此很少将基于搜索的PCG用于实时生成。在本文中，我们使用机器学习介绍了一种新型的迭代级生成器。我们训练模型以模仿进化过程，并使用模型生成水平。该训练有素的模型能够顺序修改嘈杂的水平，以创建更好的水平，而无需在推理过程中使用健身函数。我们在2D迷宫生成任务上评估了训练有素的模型。我们比较了该方法的几个不同版本：在进化结束时训练模型或每100代（辅助进化），并在进化过程中使用模型作为突变函数。使用辅助进化过程，最终训练的模型能够以99％的成功率产生迷宫，高度多样性为86％。这项工作为以进化过程为指导的一种新的学习水平生成器打开了大门，并可能会增加游戏行业中基于搜索的PCG的采用。
translated by 谷歌翻译
加强学习（RL）研究的进展通常是由新的，具有挑战性的环境的设计驱动的，这是一项昂贵的事业，需要技能与典型的机器学习研究人员的正交性。环境发展的复杂性仅随着程序性产生（PCG）的兴起而增加，作为产生能够测试RL剂稳健性和泛化的各种环境的流行范式。此外，现有环境通常需要复杂的构建过程，从而使重现结果变得困难。为了解决这些问题，我们介绍了基于网状引擎的基于网络的集成开发环境（IDE）Griddlyjs。 Griddlyjs允许研究人员使用方便的图形接口在视觉上设计和调试任意，复杂的PCG网格世界环境，并可视化，评估和记录训练有素的代理模型的性能。通过将RL工作流连接到由现代Web标准启用的高级功能，Griddlyjs允许发布交互式代理 - 环境演示，将实验结果直接重现为Web。为了证明Griddlyjs的多功能性，我们使用它来快速开发一个复杂的组成拼图解决环境，以及任意人为设计的环境配置及其用于自动课程学习和离线RL的解决方案。 Griddlyjs IDE是开源的，可以在\ url {https://griddly.ai}上免费获得。
translated by 谷歌翻译
We introduce Procgen Benchmark, a suite of 16 procedurally generated game-like environments designed to benchmark both sample efficiency and generalization in reinforcement learning. We believe that the community will benefit from increased access to high quality training environments, and we provide detailed experimental protocols for using this benchmark. We empirically demonstrate that diverse environment distributions are essential to adequately train and evaluate RL agents, thereby motivating the extensive use of procedural content generation. We then use this benchmark to investigate the effects of scaling model size, finding that larger models significantly improve both sample efficiency and generalization.
translated by 谷歌翻译
自动适应玩家的游戏内容打开新的游戏开发门。在本文中，我们提出了一种使用人物代理和经验指标的架构，这使得能够在进行针对特定玩家人物的程序生成的水平。使用我们的游戏“Grave Rave”，我们证明了这种方法成功地适应了三个不同的三种不同体验指标的基于法则的角色代理。此外，该适应性被证明是特定的，这意味着水平是人的意识，而不仅仅是关于所选度量的一般优化。
translated by 谷歌翻译
尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。
translated by 谷歌翻译
本文介绍了一种全自动的机械照明方法，以实现一般视频游戏水平的生成。使用受约束的MAP-ELITE算法和GVG-AI框架，该系统生成了最简单的基于图块的级别，该级别包含特定的游戏机制集并满足可玩性约束。我们将这种方法应用于GVG-AI的$ 4 $不同游戏的机械空间：Zelda，Solarfox，Plants和eartortals。
translated by 谷歌翻译
蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。
translated by 谷歌翻译
近年来，游戏AI研究取得了巨大的突破，尤其是在增强学习（RL）中。尽管他们成功了，但基础游戏通常是通过自己的预设环境和游戏机制实现的，因此使研究人员难以创建不同的游戏环境。但是，测试RL代理对各种游戏环境的测试对于最近努力研究RL的概括并避免可能发生过度拟合的问题至关重要。在本文中，我们将Gridd呈现为游戏AI研究的新平台，该平台提供了高度可配置的游戏，不同的观察者类型和有效的C ++核心引擎的独特组合。此外，我们提出了一系列基线实验，以研究RL剂的不同观察构构和泛化能力的影响。
translated by 谷歌翻译
In fighting games, individual players of the same skill level often exhibit distinct strategies from one another through their gameplay. Despite this, the majority of AI agents for fighting games have only a single strategy for each "level" of difficulty. To make AI opponents more human-like, we'd ideally like to see multiple different strategies at each level of difficulty, a concept we refer to as "multidimensional" difficulty. In this paper, we introduce a diversity-based deep reinforcement learning approach for generating a set of agents of similar difficulty that utilize diverse strategies. We find this approach outperforms a baseline trained with specialized, human-authored reward functions in both diversity and performance.
translated by 谷歌翻译
加强学习的最新进展（RL）已开始生产能够解决复杂环境分布的通常能力的代理。这些试剂通常在固定的，人为实现的环境上进行测试。另一方面，质量多样性（QD）优化已被证明是环境生成算法的有效组成部分，该算法可以产生多种多样的最终代理行为的高质量环境集合。但是，这些算法需要在新生成的环境上对代理的潜在昂贵模拟。我们提出了深层替代辅助生成环境（DSAGE），这是一种样本效率的QD环境生成算法，该算法保持了一个深层的替代模型，用于预测新环境中的试剂行为。结果有两个基准域，表明DSAGE明显优于现有的QD环境生成算法，这些算法在发现了引起最先进的RL代理商和计划代理的各种行为的环境集合中。
translated by 谷歌翻译
生成的对抗网络（GANS）是一种强大的间接基因型对表型绘图，用于进化搜索。以前的工作适用于级别的工作侧重于固定尺寸的段，组合成一个整个级别，但各个段可能不会融合在一起。相反，人类设计水平中的段通常是直接或有变化的重复，并且组织成模式（塞尔达传奇的1级的对称鹰，或超级马里奥兄弟中的反复管道图案）。可以使用组成模式产生网络（CPPN）来生产这些模式。 CPPNS定义潜在的向量GaN输入作为几何形状的函数，将GaN输出的段组织成完整级别。然而，潜伏向量的集合也可以直接演化，产生更多的混乱水平。我们提出了一种混合方法，首先发展CPPNS，但允许潜在的向量以后，以便结合两种方法的益处。这些方法在超级马里奥兄弟和塞尔达的传说中进行了评估。我们之前通过发出的搜索（Map-Elites）来展示CPPNS比直接演变的水平更好地覆盖可能的水平的空间。在这里，我们表明，混合方法（1）涵盖了其他方法可以和（2）均可实现的QD分数相当或更高的QD分数。
translated by 谷歌翻译
Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.
translated by 谷歌翻译
The increasing complexity of gameplay mechanisms in modern video games is leading to the emergence of a wider range of ways to play games. The variety of possible play-styles needs to be anticipated by designers, through automated tests. Reinforcement Learning is a promising answer to the need of automating video game testing. To that effect one needs to train an agent to play the game, while ensuring this agent will generate the same play-styles as the players in order to give meaningful feedback to the designers. We present CARMI: a Configurable Agent with Relative Metrics as Input. An agent able to emulate the players play-styles, even on previously unseen levels. Unlike current methods it does not rely on having full trajectories, but only summary data. Moreover it only requires little human data, thus compatible with the constraints of modern video game production. This novel agent could be used to investigate behaviors and balancing during the production of a video game with a realistic amount of training time.
translated by 谷歌翻译
建立可以探索开放式环境的自主机器，发现可能的互动，自主构建技能的曲目是人工智能的一般目标。发展方法争辩说，这只能通过可以生成，选择和学习解决自己问题的自主和本质上动机的学习代理人来实现。近年来，我们已经看到了发育方法的融合，特别是发展机器人，具有深度加强学习（RL）方法，形成了发展机器学习的新领域。在这个新域中，我们在这里审查了一组方法，其中深入RL算法训练，以解决自主获取的开放式曲目的发展机器人问题。本质上动机的目标条件RL算法训练代理商学习代表，产生和追求自己的目标。自我生成目标需要学习紧凑的目标编码以及它们的相关目标 - 成就函数，这导致与传统的RL算法相比，这导致了新的挑战，该算法设计用于使用外部奖励信号解决预定义的目标集。本文提出了在深度RL和发育方法的交叉口中进行了这些方法的类型，调查了最近的方法并讨论了未来的途径。
translated by 谷歌翻译
行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。
translated by 谷歌翻译
Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。
translated by 谷歌翻译
在这项工作中，我们考虑了视频游戏水平的程序内容生成问题。先前的方法依赖于能够生成不同级别的进化搜索方法，但是这一代过程很慢，这在实时设置中是有问题的。还提出了加强学习（RL）来解决相同的问题，尽管水平生成很快，但训练时间可能非常昂贵。我们提出了一个框架，以解决结合ES和RL的过程内容生成问题。特别是，我们的方法首先使用ES来生成一系列级别，然后使用行为克隆将这些级别的级别分配到策略中，然后可以查询该级别以快速产生新的水平。我们将方法应用于迷宫游戏和Super Mario Bros，结果表明我们的方法实际上会减少水平生成所需的时间，尤其是在需要越来越多的有效水平时。
translated by 谷歌翻译
We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.
translated by 谷歌翻译