生成的对抗网络（GANS）是一种强大的间接基因型对表型绘图，用于进化搜索。以前的工作适用于级别的工作侧重于固定尺寸的段，组合成一个整个级别，但各个段可能不会融合在一起。相反，人类设计水平中的段通常是直接或有变化的重复，并且组织成模式（塞尔达传奇的1级的对称鹰，或超级马里奥兄弟中的反复管道图案）。可以使用组成模式产生网络（CPPN）来生产这些模式。 CPPNS定义潜在的向量GaN输入作为几何形状的函数，将GaN输出的段组织成完整级别。然而，潜伏向量的集合也可以直接演化，产生更多的混乱水平。我们提出了一种混合方法，首先发展CPPNS，但允许潜在的向量以后，以便结合两种方法的益处。这些方法在超级马里奥兄弟和塞尔达的传说中进行了评估。我们之前通过发出的搜索（Map-Elites）来展示CPPNS比直接演变的水平更好地覆盖可能的水平的空间。在这里，我们表明，混合方法（1）涵盖了其他方法可以和（2）均可实现的QD分数相当或更高的QD分数。

通过强化学习（PCGRL）的程序性内容生成（PCGRL）已经预言了对大型人为实现的数据集的需求，并允许代理使用可计算的，用户定义的质量衡量标准，而不是目标输出。我们探讨了PCGRL在3D域中的应用，其中内容生成任务自然具有更大的复杂性和与现实世界应用的潜在相关性。在这里，我们介绍了3D域的几个PCGRL任务，Minecraft（Mojang Studios，2009年）。这些任务将使用经常在3D环境中发现的负担来挑战基于RL的发电机，例如跳跃，多维运动和重力。我们培训代理商以优化这些任务中的每一个，以探索PCGRL先前研究的功能。该代理能够生成相对复杂和不同的级别，并推广到随机的初始状态和控制目标。提出的任务中的可控性测试证明了他们分析3D发电机成功和失败的实用性。

本文介绍了一种全自动的机械照明方法，以实现一般视频游戏水平的生成。使用受约束的MAP-ELITE算法和GVG-AI框架，该系统生成了最简单的基于图块的级别，该级别包含特定的游戏机制集并满足可玩性约束。我们将这种方法应用于GVG-AI的$ 4 $不同游戏的机械空间：Zelda，Solarfox，Plants和eartortals。

4月20日至22日，在马德里（西班牙）举行的EVO* 2022会议上提交了末期摘要。这些论文介绍了正在进行的研究和初步结果，这些结果研究了对不同问题的不同方法（主要是进化计算）的应用，其中大多数是现实世界中的方法。

基于搜索的程序内容生成（PCG）是一种众所周知的方法，用于游戏中的水平生成。它的主要优势是它是通用且能够满足功能约束的能力。但是，由于在线运行这些算法的大量计算成本，因此很少将基于搜索的PCG用于实时生成。在本文中，我们使用机器学习介绍了一种新型的迭代级生成器。我们训练模型以模仿进化过程，并使用模型生成水平。该训练有素的模型能够顺序修改嘈杂的水平，以创建更好的水平，而无需在推理过程中使用健身函数。我们在2D迷宫生成任务上评估了训练有素的模型。我们比较了该方法的几个不同版本：在进化结束时训练模型或每100代（辅助进化），并在进化过程中使用模型作为突变函数。使用辅助进化过程，最终训练的模型能够以99％的成功率产生迷宫，高度多样性为86％。这项工作为以进化过程为指导的一种新的学习水平生成器打开了大门，并可能会增加游戏行业中基于搜索的PCG的采用。

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

程序内容产生的一个越来越普遍的研究领域是级别的创建：可用于形成更大级别的短片。先前的工作已经使用了基本串联来形成这些较大的级别。但是，即使这些段本身是可完整且形式良好的，串联也可能无法产生可完整的水平，并且可能导致游戏内结构破裂（例如，马里奥中的畸形管道）。我们使用三个基于瓷砖的游戏展示了这一点：一个侧滚动平台游戏，垂直平台游戏和自上而下的Roguelike。此外，我们提出了一个马尔可夫链和一个树搜索算法，该算法在两个级别的段之间找到了一个链接，该级别使用过滤器来确保链接段中的完整性和不间断的游戏内结构。我们进一步表明，这些链接适用于多段级别。我们发现这种方法可靠地找到段之间的链接，并且可以自定义以满足设计师的需求。

本文探讨了培训来生成代码的大型语言模型（LLMS）可以极大地提高对基因编程（GP）应用程序的突变操作员的有效性。由于此类LLM受益于包括顺序更改和修改的训练数据，因此它们可以近似人类会做出的可能变化。为了强调通过大型模型（ELM）的这种进化的含义的广度，在主要实验ELM与MAP-ELITE结合产生了数十万个Python程序的功能示例，这些示例在Sodarace域中输出了在Sodarace域中运行AMBULE的机器人，原始LLM从未在预训练中见过。然后，这些示例有助于引导培训一种新的条件语言模型，该模型可以为特定地形输出合适的步行者。引导新模型可以在以前可用的零培训数据中为给定上下文中输出适当的工件的新模型具有对开放性，深度学习和增强学习的影响。在这里深入探讨了这些含义，以期激发榆树现在打开的新研究方向。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

本文提出了一个程序性内容发生器，该发生器根据新颖性的开放式和内在的定义来发展Minecraft建筑物。为了实现这一目标，我们使用3D自动编码器评估了个体在潜在空间中的新颖性，并在勘探和转型阶段之间进行了交替。在探索过程中，系统通过在潜在空间（由当前自动编码器定义）中的CPPN - 纳特搜索和约束新颖性搜索进化了CPPN的多个种群。我们应用一组维修和约束功能，以确保候选人在进化过程中遵守基本的结构规则和约束。在转换过程中，我们通过使用新颖的内容来重新验证自动编码器，重塑潜在空间的边界，以识别解决方案空间的新有趣区域。在这项研究中，我们评估了在转型过程中训练自动编码器的五种不同方法及其对人群进化过程中人群质量和多样性的影响。我们的结果表明，与静态模型相比，通过重新训练自动编码器，我们可以实现更好的开放式复杂性，当使用具有多种复杂性的个体的较大数据集进行重新训练时，该模型可以进一步改进。

加强学习的最新进展（RL）已开始生产能够解决复杂环境分布的通常能力的代理。这些试剂通常在固定的，人为实现的环境上进行测试。另一方面，质量多样性（QD）优化已被证明是环境生成算法的有效组成部分，该算法可以产生多种多样的最终代理行为的高质量环境集合。但是，这些算法需要在新生成的环境上对代理的潜在昂贵模拟。我们提出了深层替代辅助生成环境（DSAGE），这是一种样本效率的QD环境生成算法，该算法保持了一个深层的替代模型，用于预测新环境中的试剂行为。结果有两个基准域，表明DSAGE明显优于现有的QD环境生成算法，这些算法在发现了引起最先进的RL代理商和计划代理的各种行为的环境集合中。

同时发展机器人的形态（体）和控制器（大脑）可能导致后代遗传体和大脑之间的不匹配。为了缓解这个问题，相对较早地提出了通过所谓的生活框架的所谓的生命框架的学习期。但是，实证评估仍缺乏迄今为止。在本文中，我们研究了这种学习机制与不同视角的影响。使用广泛的模拟，我们认为，与纯粹的进化方法相比，学习可以大大提高任务性能并减少一定适合水平所需的几代人数。此外，虽然学习只直接影响控制器，但我们证明了进化的形态也将是不同的。这提供了定量演示，即大脑的变化可以诱导体内的变化。最后，我们研究了给定体学习的能力量化的形态智力的概念。我们观察到学习三角洲，继承与学习大脑之间的性能差异，在整个进化过程中都在增长。这表明演化正在生产具有越来越多的可塑性的机器人，即连续几代变得越来越好，更好的学习者，这反过来使它们更好，在给定的任务中更好地更好。总而言之，我们的结果表明，生活的三角形不仅是理论兴趣的概念，而且是一种具有实际好处的系统架构。

我们提出了一种生成可玩游戏的方法，该游戏使用深层生成潜在变量模型将给定的游戏组合在一起。我们将这种方法称为潜在的组合游戏设计 - 潜在，因为我们使用学习的潜在表示来执行混合，因此组合是因为游戏混合是一种组合创造力过程和游戏设计，因为该方法会生成新颖的可玩游戏。我们使用高斯混合物变化自动编码器（GMVAE），该自动编码器使用高斯人的混合物来对VAE潜在空间进行建模。通过监督的培训，每个组件都学会从一个游戏中编码级别，并让我们将新的混合游戏定义为这些学习组件的线性组合。这使生成新游戏混合了输入游戏，并控制混合中每个游戏的相对比例。我们还使用条件VAE进行了先前的工作，以执行混合并与GMVAE进行比较。我们的结果表明，这两种模型均可生成可玩的混合游戏，以所需的比例将输入游戏融合在一起。

自动适应玩家的游戏内容打开新的游戏开发门。在本文中，我们提出了一种使用人物代理和经验指标的架构，这使得能够在进行针对特定玩家人物的程序生成的水平。使用我们的游戏“Grave Rave”，我们证明了这种方法成功地适应了三个不同的三种不同体验指标的基于法则的角色代理。此外，该适应性被证明是特定的，这意味着水平是人的意识，而不仅仅是关于所选度量的一般优化。

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

基准套件提供了对进化算法解决问题能力的有用度量，但是组成问题通常太复杂了，无法清洁算法的优势和劣势。在这里，我们介绍了基准套件档案（``进化运行中的选择方案的诊断概述''），以实证分析有关剥削和探索重要方面的选择方案。利用从根本上是攀岩，但我们考虑两种情况：纯剥削，可以独立优化表示形式中的每个位置，并且受到限制的利用，在该位置之间，由于位置之间的相互作用，向上进展更加有限。当优化路径不太清楚时，需要探索；我们认为能够遵循多个独立的爬山途径和跨健身山谷的能力。这些场景的每种组合都会产生独特的适应性景观，有助于表征与给定选择方案相关的进化动力学。我们分析了六个流行的选择方案。锦标赛的选择和截断选择都在剥削指标方面表现出色，但在需要探索时表现不佳；相反，新颖的搜索在探索方面表现出色，但未能利用梯度。在克服欺骗时，健身共享表现良好，但在所有其他诊断方面都很差。非主导的分类是维持由居住在多个Optima居住的个体组成的不同人群的最佳选择，但努力有效利用梯度。词汇酶选择平衡搜索空间探索而不牺牲剥削，通常在诊断方面表现良好。我们的工作证明了诊断对快速建立对选择方案特征的直观理解的价值，然后可以将其用于改进或开发新的选择方法。

讨论了与科学，工程，建筑和人为因素相关的月球表面上的运输设施问题。未来十年制造的后勤决策可能对财务成功至关重要。除了概述一些问题及其与数学和计算的关系外，本文还为决策者，科学家和工程师提供了有用的资源。

在这项工作中，我们考虑了视频游戏水平的程序内容生成问题。先前的方法依赖于能够生成不同级别的进化搜索方法，但是这一代过程很慢，这在实时设置中是有问题的。还提出了加强学习（RL）来解决相同的问题，尽管水平生成很快，但训练时间可能非常昂贵。我们提出了一个框架，以解决结合ES和RL的过程内容生成问题。特别是，我们的方法首先使用ES来生成一系列级别，然后使用行为克隆将这些级别的级别分配到策略中，然后可以查询该级别以快速产生新的水平。我们将方法应用于迷宫游戏和Super Mario Bros，结果表明我们的方法实际上会减少水平生成所需的时间，尤其是在需要越来越多的有效水平时。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.