最近被证明在强化学习（RL）设置中显示出的神经形式非常竞争，并且能够减轻基于梯度的方法的一些缺点。本文将专注于使用简单的遗传算法（GA）来应用神经发展，以找到产生最佳表现代理的神经网络的权重。此外，我们提出了两种新颖的修改，以提高与初始实施相比的数据效率和收敛速度。在Openai健身房提供的汇聚环境中评估了修改，并证明明显优于基线方法。

进化计算（EC）已被证明能够快速训练深人造神经网络（DNNS）来解决增强学习（RL）问题。虽然遗传算法（GA）非常适合利用既不具有欺骗性也不稀疏的奖励功能，但当奖励函数是这些功能时，它会挣扎。为此，在某些情况下，新颖的搜索（NS）已被证明能够超越梯度跟随优化器，而在其他情况下则表现不佳。我们提出了一种新算法：探索 - 探索$ \ gamma $ - 适应学习者（$ e^2 \ gamma al $或eyal）。通过保留动态大小的寻求新颖的代理商的利基市场，该算法可以维持人口多样性，并在可能的情况下利用奖励信号并探索其他奖励信号。该算法将GA的剥削能力和NS的勘探能力结合在一起，同时保持其简单性和优雅性。我们的实验表明，在大多数情况下，Eyal在与GA相当的情况下都胜过NS - 在某些情况下，它可以均优于两者。 Eyal还允许用其他算法（例如演化策略和惊喜搜索）代替利用组件（GA）和探索组件（NS）（NS），从而为未来的研究打开了大门。

自从各种任务的自动化开始以来，自动驾驶车辆一直引起人们的兴趣。人类容易疲惫，在道路上的响应时间缓慢，最重要的是，每年约有135万道路交通事故死亡，这已经是一项危险的任务。预计自动驾驶可以减少世界上驾驶事故的数量，这就是为什么这个问题对研究人员感兴趣的原因。目前，自动驾驶汽车在使车辆自动驾驶时使用不同的算法来实现各种子问题。我们将重点关注增强学习算法，更具体地说是Q学习算法和增强拓扑的神经进化（NEAT），即进化算法和人工神经网络的组合，以训练模型代理，以学习如何在给定路径上驱动。本文将重点介绍上述两种算法之间的比较。

在这项工作中，我们考虑了视频游戏水平的程序内容生成问题。先前的方法依赖于能够生成不同级别的进化搜索方法，但是这一代过程很慢，这在实时设置中是有问题的。还提出了加强学习（RL）来解决相同的问题，尽管水平生成很快，但训练时间可能非常昂贵。我们提出了一个框架，以解决结合ES和RL的过程内容生成问题。特别是，我们的方法首先使用ES来生成一系列级别，然后使用行为克隆将这些级别的级别分配到策略中，然后可以查询该级别以快速产生新的水平。我们将方法应用于迷宫游戏和Super Mario Bros，结果表明我们的方法实际上会减少水平生成所需的时间，尤其是在需要越来越多的有效水平时。

演员 - 评论家（AC）算法以求解钢筋学习问题而闻名，但它们也遭受了低采样效率。基于AC的策略优化过程是迭代的，并且需要经常访问代理环境系统来通过推出策略，收集奖励和状态（即样本）来评估和更新策略，并从中学习。它最终需要大量的样本来学习最佳政策。为了提高采样效率，我们提出了一种策略来优化培训数据集，该数据集含有从AC过程中收集的显着较少的样本。数据集优化由仅限最佳剧集操作，策略参数 - 健身模型和遗传算法模块。与控制自主动态系统的许多当代AC算法相比，由优化的训练数据集训练的最佳策略网络表现出优越的性能。标准基准测试的评估表明，该方法提高了采样效率，可确保更快地收敛到Optima，并且比其对应物更具数据效率。

基于搜索的程序内容生成（PCG）是一种众所周知的方法，用于游戏中的水平生成。它的主要优势是它是通用且能够满足功能约束的能力。但是，由于在线运行这些算法的大量计算成本，因此很少将基于搜索的PCG用于实时生成。在本文中，我们使用机器学习介绍了一种新型的迭代级生成器。我们训练模型以模仿进化过程，并使用模型生成水平。该训练有素的模型能够顺序修改嘈杂的水平，以创建更好的水平，而无需在推理过程中使用健身函数。我们在2D迷宫生成任务上评估了训练有素的模型。我们比较了该方法的几个不同版本：在进化结束时训练模型或每100代（辅助进化），并在进化过程中使用模型作为突变函数。使用辅助进化过程，最终训练的模型能够以99％的成功率产生迷宫，高度多样性为86％。这项工作为以进化过程为指导的一种新的学习水平生成器打开了大门，并可能会增加游戏行业中基于搜索的PCG的采用。

本文介绍了一种“混合自我注意整洁”方法，以改善高维输入中增强拓扑（整洁）算法的原始神经发展。虽然整洁的算法显示出在不同具有挑战性的任务中的显着结果，但由于输入表示是高维度，但它无法创建一个良好的调谐网络。我们的研究通过使用自我关注作为间接编码方法来解决此限制，以选择输入的最重要部分。此外，我们在混合方法的帮助下提高了整体性能，以发展最终网络权重。主要结论是混合自我关注整洁可以消除原始整洁的限制。结果表明，与进化算法相比，我们的模型可以在ATARI游戏中获得与原始像素输入的可比分数，其中参数数量较少。

十多年来，机器人技术和人造代理的使用已成为普遍的事物。测试新路径查找或搜索空间优化算法的性能也已成为挑战，因为它们需要模拟或环境来测试它们。具有人造代理的人工环境是测试这种算法的方法之一。游戏也已成为测试它们的环境。可以通过使用将根据环境中的算法来比较这些算法的性能提出。性能参数可以是，代理商能够在奖励行动和敌对行动之间区分多快。可以通过将代理放置在具有不同类型障碍的环境中，而代理的目标是达到最远的通过决定将避免所有障碍的行动做出决定。选择的环境是一种称为“脆弱鸟”的游戏。 E游戏是要使鸟飞过一组随机高度的管道。鸟必须在这些管道之间进行，并且不能击中顶部，底部或管道本身。在人造药物上强制执行的算法是增强拓扑的神经进化（整洁）和增强学习的算法。整洁的算法采用人工的初始群体，这些算法遵循遗传算法，请遵循“ n n”初始算法。一个目标功能，交叉，突变和增强拓扑结构。另一方面，提升方形学习记得状态，在该状态下采取的行动以及使用单个代理和深层学习网络采取的行动获得的奖励随着人造药物的初始种群的增加，整洁算法的性能不断提高。

进化算法的主要问题之一是人口与局部最小值的收敛。在本文中，我们探讨了可以通过共同的奖励系统鼓励代理商的各种行为来避免此问题的技术。奖励是随机分配在环境中的，而代理只因首先收集它们而获得奖励。这导致了代理人的新型行为的出现。我们介绍了有关迷宫问题的方法，并将其与先前提出的解决方案进行比较，该解决方案被称为新颖搜索（Lehman和Stanley，2011a）。我们发现我们的解决方案会导致性能改善，同时显着简单。在此基础上，我们将问题概括，并将方法应用于Atari游戏的一组更高级的任务集，在那里我们观察到类似的性能质量，所需的计算能力要少得多。

在这项工作中，我们提出了一种初步调查一种名为DYNA-T的新算法。在钢筋学习（RL）中，规划代理有自己的环境表示作为模型。要发现与环境互动的最佳政策，代理商会收集试验和错误时尚的经验。经验可用于学习更好的模型或直接改进价值函数和政策。通常是分离的，Dyna-Q是一种混合方法，在每次迭代，利用真实体验更新模型以及值函数，同时使用模拟数据从其模型中的应用程序进行行动。然而，规划过程是计算昂贵的并且强烈取决于国家行动空间的维度。我们建议在模拟体验上构建一个上置信树（UCT），并在在线学习过程中搜索要选择的最佳动作。我们证明了我们提出的方法对来自Open AI的三个测试平台环境的一系列初步测试的有效性。与Dyna-Q相比，Dyna-T通过选择更强大的动作选择策略来优于随机环境中的最先进的RL代理。

人工智能，当与游戏进行合并时，使研究和推进领域的理想结构。多种代理游戏对每个代理具有多个控件，同时增加搜索复杂性的同时生成大量数据。因此，我们需要高级搜索方法来查找解决方案并创建人工智能代理。在本文中，我们提出了我们的小说进化蒙特卡罗树搜索（FEMCTS）代理商，借用从进化的Algorthims（EA）和Monte Carlo树搜索（MCT）的想法来玩Pommerman的比赛。它优于滚动地平线进化算法（Rhea）在高可观察性环境中显着，几乎和MCTS用于大多数游戏种子，在某些情况下表现优于它。

The use of reinforcement learning has proven to be very promising for solving complex activities without human supervision during their learning process. However, their successful applications are predominantly focused on fictional and entertainment problems - such as games. Based on the above, this work aims to shed light on the application of reinforcement learning to solve this relevant real-world problem, the genome assembly. By expanding the only approach found in the literature that addresses this problem, we carefully explored the aspects of intelligent agent learning, performed by the Q-learning algorithm, to understand its suitability to be applied in scenarios whose characteristics are more similar to those faced by real genome projects. The improvements proposed here include changing the previously proposed reward system and including state space exploration optimization strategies based on dynamic pruning and mutual collaboration with evolutionary computing. These investigations were tried on 23 new environments with larger inputs than those used previously. All these environments are freely available on the internet for the evolution of this research by the scientific community. The results suggest consistent performance progress using the proposed improvements, however, they also demonstrate the limitations of them, especially related to the high dimensionality of state and action spaces. We also present, later, the paths that can be traced to tackle genome assembly efficiently in real scenarios considering recent, successfully reinforcement learning applications - including deep reinforcement learning - from other domains dealing with high-dimensional inputs.

遗传算法（GA）是基于遗传学和自然选择原理的基于搜索的优化技术。我们提出了一种算法，该算法通过量子退火器的输入来增强经典GA。与经典GA一样，该算法通过根据其适应性繁殖一系列可能的解决方案来工作。但是，个体的人口是由量子退火器上的连续耦合来定义的，然后通过量子退火产生代表尝试溶液的相应表型。这将定向突变的一种形式引入算法中，可以以各种方式增强其性能。两种关键的增强功能来自具有从父母的适应性（所谓的裙带关系）和退火耦合的连续耦合，从而使整个人群受到最合适的人（所谓的量子量子化）的影响。我们发现我们的算法在几个简单问题上比经典GA更强大。

自动适应玩家的游戏内容打开新的游戏开发门。在本文中，我们提出了一种使用人物代理和经验指标的架构，这使得能够在进行针对特定玩家人物的程序生成的水平。使用我们的游戏“Grave Rave”，我们证明了这种方法成功地适应了三个不同的三种不同体验指标的基于法则的角色代理。此外，该适应性被证明是特定的，这意味着水平是人的意识，而不仅仅是关于所选度量的一般优化。

参数适应性，即根据面临的问题自动调整算法的超参数的能力，是应用于数值优化的进化计算的主要趋势之一。多年来，已经提出了一些手工制作的适应政策来解决这个问题，但到目前为止，在应用机器学习以学习此类政策时，只有很少的尝试。在这里，我们介绍了一个通用框架，用于基于最新的增强学习算法在连续域元启发术中进行参数适应。我们证明了该框架在两种算法上的适用性，即协方差矩阵适应性进化策略（CMA-ES）和差异演化（DE），我们分别学习，我们分别学习了对阶梯大小（CMA-ES），CMA-ES的适应性策略，以及比例因子和交叉率（DE）。我们在不同维度的一组46个基准函数上训练这些策略，在两个设置中具有各种策略的投入：每个功能的一个策略，以及所有功能的全局策略。将分别与累积的阶梯尺寸适应（CSA）策略和两个众所周知的自适应DE变体（IDE和JDE）进行了比较，我们的政策能够在大多数情况下产生竞争成果，尤其是在DE的情况下。

同时发展机器人的形态（体）和控制器（大脑）可能导致后代遗传体和大脑之间的不匹配。为了缓解这个问题，相对较早地提出了通过所谓的生活框架的所谓的生命框架的学习期。但是，实证评估仍缺乏迄今为止。在本文中，我们研究了这种学习机制与不同视角的影响。使用广泛的模拟，我们认为，与纯粹的进化方法相比，学习可以大大提高任务性能并减少一定适合水平所需的几代人数。此外，虽然学习只直接影响控制器，但我们证明了进化的形态也将是不同的。这提供了定量演示，即大脑的变化可以诱导体内的变化。最后，我们研究了给定体学习的能力量化的形态智力的概念。我们观察到学习三角洲，继承与学习大脑之间的性能差异，在整个进化过程中都在增长。这表明演化正在生产具有越来越多的可塑性的机器人，即连续几代变得越来越好，更好的学习者，这反过来使它们更好，在给定的任务中更好地更好。总而言之，我们的结果表明，生活的三角形不仅是理论兴趣的概念，而且是一种具有实际好处的系统架构。

在过去的十年中，深入的强化学习（DRL）算法已经越来越多地使用，以解决各种决策问题，例如自动驾驶和机器人技术。但是，这些算法在部署在安全至关重要的环境中时面临着巨大的挑战，因为它们经常表现出错误的行为，可能导致潜在的关键错误。评估DRL代理的安全性的一种方法是测试它们，以检测可能导致执行过程中严重失败的故障。这就提出了一个问题，即我们如何有效测试DRL政策以确保其正确性和遵守安全要求。测试DRL代理的大多数现有作品都使用扰动代理的对抗性攻击。但是，这种攻击通常会导致环境的不切实际状态。他们的主要目标是测试DRL代理的鲁棒性，而不是测试代理商在要求方面的合规性。由于DRL环境的巨大状态空间，测试执行的高成本以及DRL算法的黑盒性质，因此不可能对DRL代理进行详尽的测试。在本文中，我们提出了一种基于搜索的强化学习代理（Starla）的测试方法，以通过有效地在有限的测试预算中寻找无法执行的代理执行，以测试DRL代理的策略。我们使用机器学习模型和专用的遗传算法来缩小搜索错误的搜索。我们将Starla应用于深Q学习剂，该Qualla被广泛用作基准测试，并表明它通过检测到与代理商策略相关的更多故障来大大优于随机测试。我们还研究了如何使用我们的搜索结果提取表征DRL代理的错误事件的规则。这些规则可用于了解代理失败的条件，从而评估其部署风险。

野火是一种高度普遍的多毒环境现象。这种现象的影响包括人类损失，环境破坏和高昂的经济成本。为了减轻这些效果，已经开发了几个计算机模拟系统，以根据一组输入参数预测火灾行为，也称为场景（风速和方向；温度；等）。但是，由于未知的变量值的不确定性，模拟的结果通常具有高度的误差，因为它们尚不清楚，或者由于其测量可能是不精确，错误或无法实时执行的。先前的工作提出了多种结果的组合，以减少这种不确定性。最先进的方法基于并行优化策略，该策略使用健身函数来指导所有可能场景之间的搜索。尽管这些方法显示了预测质量的改善，但它们具有与用于选择场景的算法有关的一些局限性。为了克服这些局限性，在这项工作中，我们建议应用新颖性搜索范式，该范围取代了目标函数的量度，以衡量所找到的解决方案的新颖性，这使搜索可以与彼此不同的行为不断生成解决方案。这种方法避免了本地Optima，并且可能能够找到有用的解决方案，而其他算法很难或无法找到。与现有方法一样，该提案也可以适用于其他传播模型（洪水，雪崩或滑坡）。

在过去的几年中，深层神经进化和深厚的增强学习受到了很多关注。一些作品比较了它们，突出了他们的利弊，但是新兴趋势在于结合起来，从而从两全其美的世界中受益。在本文中，我们通过将文献组织成相关的作品组，并将每个组中的所有现有组合都组织成一个通用框架，从而对这种新兴趋势进行了调查。我们系统地涵盖了所有易于使用的论文，无论其出版状态如何，重点是组合机制，而不是实验结果。总的来说，我们总共涵盖了45种算法比2017年更新。我们希望这项工作将通过促进对方法之间的关系的理解，从而有利于该领域的增长，从而导致更深入的分析，概述缺失有用的比较并提出新机制的新组合。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。