最近，我们强调了一个基本问题，该问题被认为是混淆算法优化的，即\ textit {Confing}与目标函数的目标。即使前者的定义很好，后者也可能并不明显，例如，在学习一种策略来导航迷宫以找到目标（客观）时，有效的目标函数\ textit {评估}策略可能不是一个简单的功能到目标的距离。我们建议自动化可能发现良好的目标功能的手段 - 此处得到的建议。我们提出\ textbf {s} iolution \ textbf {a} nd \ textbf {f} itness \ textbf {e} volution（\ textbf {safe}），a \ textit {comensalistic} coovolutionary algorithm候选解决方案和一系列候选目标功能。作为此概念原理的证明，我们表明安全不仅成功地发展了机器人迷宫领域内的解决方案，而且还可以在进化过程中衡量解决方案质量所需的目标函数。

我们最近提出了安全的 - 解决方案和健身进化 - 一种相应的协调算法，该算法维持两个共同发展的人群：候选解决方案和候选目标函数的种群。我们表明，安全在机器人迷宫领域内发展溶液的成功。本文中，我们介绍了Safe的适应和对多目标问题的应用的研究，其中候选目标功能探索了每个目标的不同权重。尽管初步的结果表明，安全以及共同发展的解决方案和目标功能的概念可以识别一组类似的最佳多物镜解决方案，而无需显式使用帕累托前锋进行健身计算和父母选择。这些发现支持我们的假设，即安全算法概念不仅可以解决复杂的问题，而且可以适应多个目标问题的挑战。

在生物医学数据中寻求预测模型时，人们通常会想到一个目标，例如，具有高精度和低复杂性（以促进可解释性）。我们在此研究是否可以通过我们最近提出的协调算法，安全（解决方案和健身进化）动态调整多个目标。我们发现，与配子工具生成的复杂模拟遗传数据集相比，与标准进化算法相比，Safe能够自动调整精度和复杂性，而无需损失，而没有性能损失。

野火是一种高度普遍的多毒环境现象。这种现象的影响包括人类损失，环境破坏和高昂的经济成本。为了减轻这些效果，已经开发了几个计算机模拟系统，以根据一组输入参数预测火灾行为，也称为场景（风速和方向；温度；等）。但是，由于未知的变量值的不确定性，模拟的结果通常具有高度的误差，因为它们尚不清楚，或者由于其测量可能是不精确，错误或无法实时执行的。先前的工作提出了多种结果的组合，以减少这种不确定性。最先进的方法基于并行优化策略，该策略使用健身函数来指导所有可能场景之间的搜索。尽管这些方法显示了预测质量的改善，但它们具有与用于选择场景的算法有关的一些局限性。为了克服这些局限性，在这项工作中，我们建议应用新颖性搜索范式，该范围取代了目标函数的量度，以衡量所找到的解决方案的新颖性，这使搜索可以与彼此不同的行为不断生成解决方案。这种方法避免了本地Optima，并且可能能够找到有用的解决方案，而其他算法很难或无法找到。与现有方法一样，该提案也可以适用于其他传播模型（洪水，雪崩或滑坡）。

基准套件提供了对进化算法解决问题能力的有用度量，但是组成问题通常太复杂了，无法清洁算法的优势和劣势。在这里，我们介绍了基准套件档案（``进化运行中的选择方案的诊断概述''），以实证分析有关剥削和探索重要方面的选择方案。利用从根本上是攀岩，但我们考虑两种情况：纯剥削，可以独立优化表示形式中的每个位置，并且受到限制的利用，在该位置之间，由于位置之间的相互作用，向上进展更加有限。当优化路径不太清楚时，需要探索；我们认为能够遵循多个独立的爬山途径和跨健身山谷的能力。这些场景的每种组合都会产生独特的适应性景观，有助于表征与给定选择方案相关的进化动力学。我们分析了六个流行的选择方案。锦标赛的选择和截断选择都在剥削指标方面表现出色，但在需要探索时表现不佳；相反，新颖的搜索在探索方面表现出色，但未能利用梯度。在克服欺骗时，健身共享表现良好，但在所有其他诊断方面都很差。非主导的分类是维持由居住在多个Optima居住的个体组成的不同人群的最佳选择，但努力有效利用梯度。词汇酶选择平衡搜索空间探索而不牺牲剥削，通常在诊断方面表现良好。我们的工作证明了诊断对快速建立对选择方案特征的直观理解的价值，然后可以将其用于改进或开发新的选择方法。

进化计算（EC）已被证明能够快速训练深人造神经网络（DNNS）来解决增强学习（RL）问题。虽然遗传算法（GA）非常适合利用既不具有欺骗性也不稀疏的奖励功能，但当奖励函数是这些功能时，它会挣扎。为此，在某些情况下，新颖的搜索（NS）已被证明能够超越梯度跟随优化器，而在其他情况下则表现不佳。我们提出了一种新算法：探索 - 探索$ \ gamma $ - 适应学习者（$ e^2 \ gamma al $或eyal）。通过保留动态大小的寻求新颖的代理商的利基市场，该算法可以维持人口多样性，并在可能的情况下利用奖励信号并探索其他奖励信号。该算法将GA的剥削能力和NS的勘探能力结合在一起，同时保持其简单性和优雅性。我们的实验表明，在大多数情况下，Eyal在与GA相当的情况下都胜过NS - 在某些情况下，它可以均优于两者。 Eyal还允许用其他算法（例如演化策略和惊喜搜索）代替利用组件（GA）和探索组件（NS）（NS），从而为未来的研究打开了大门。

同时发展机器人的形态（体）和控制器（大脑）可能导致后代遗传体和大脑之间的不匹配。为了缓解这个问题，相对较早地提出了通过所谓的生活框架的所谓的生命框架的学习期。但是，实证评估仍缺乏迄今为止。在本文中，我们研究了这种学习机制与不同视角的影响。使用广泛的模拟，我们认为，与纯粹的进化方法相比，学习可以大大提高任务性能并减少一定适合水平所需的几代人数。此外，虽然学习只直接影响控制器，但我们证明了进化的形态也将是不同的。这提供了定量演示，即大脑的变化可以诱导体内的变化。最后，我们研究了给定体学习的能力量化的形态智力的概念。我们观察到学习三角洲，继承与学习大脑之间的性能差异，在整个进化过程中都在增长。这表明演化正在生产具有越来越多的可塑性的机器人，即连续几代变得越来越好，更好的学习者，这反过来使它们更好，在给定的任务中更好地更好。总而言之，我们的结果表明，生活的三角形不仅是理论兴趣的概念，而且是一种具有实际好处的系统架构。

进化算法的主要问题之一是人口与局部最小值的收敛。在本文中，我们探讨了可以通过共同的奖励系统鼓励代理商的各种行为来避免此问题的技术。奖励是随机分配在环境中的，而代理只因首先收集它们而获得奖励。这导致了代理人的新型行为的出现。我们介绍了有关迷宫问题的方法，并将其与先前提出的解决方案进行比较，该解决方案被称为新颖搜索（Lehman和Stanley，2011a）。我们发现我们的解决方案会导致性能改善，同时显着简单。在此基础上，我们将问题概括，并将方法应用于Atari游戏的一组更高级的任务集，在那里我们观察到类似的性能质量，所需的计算能力要少得多。

大多数现实世界中的问题本质上都是多模式，由多个最佳值组成。多模式优化定义为找到函数的多个全局和局部优化（与单个解决方案相反）的过程。它使用户可以根据需要在不同的解决方案之间切换，同时仍保持最佳系统性能。基于经典梯度的方法未能用于优化问题，因为目标函数是不连续的或不可差的。与需要多个重新启动的经典优化技术相比，进化算法（EAS）能够在单个算法运行中以单个算法运行中的多个解决方案找到多个解决方案，以找到不同的解决方案。因此，已经提出了一些EA来解决此类问题。但是，差异进化（DE）算法是一种基于人群的启发式方法，可以解决此类优化问题，并且可以易于实施。多模式优化问题（MMOP）的潜在挑战是有效地搜索功能空间以准确地定位大多数峰。优化问题可能是最大程度地减少或最大化给定的目标函数，我们旨在解决本研究中多模式功能的最大化问题。因此，我们提出了一种称为增强对立差异进化（EODE）算法的算法来求解MMOP。拟议的算法已在IEEE进化计算（CEC）2013基准功能上进行了测试，并且与现有的最新方法相比，它取得了竞争性结果。

自从各种任务的自动化开始以来，自动驾驶车辆一直引起人们的兴趣。人类容易疲惫，在道路上的响应时间缓慢，最重要的是，每年约有135万道路交通事故死亡，这已经是一项危险的任务。预计自动驾驶可以减少世界上驾驶事故的数量，这就是为什么这个问题对研究人员感兴趣的原因。目前，自动驾驶汽车在使车辆自动驾驶时使用不同的算法来实现各种子问题。我们将重点关注增强学习算法，更具体地说是Q学习算法和增强拓扑的神经进化（NEAT），即进化算法和人工神经网络的组合，以训练模型代理，以学习如何在给定路径上驱动。本文将重点介绍上述两种算法之间的比较。

When simulating soft robots, both their morphology and their controllers play important roles in task performance. This paper introduces a new method to co-evolve these two components in the same process. We do that by using the hyperNEAT algorithm to generate two separate neural networks in one pass, one responsible for the design of the robot body structure and the other for the control of the robot. The key difference between our method and most existing approaches is that it does not treat the development of the morphology and the controller as separate processes. Similar to nature, our method derives both the "brain" and the "body" of an agent from a single genome and develops them together. While our approach is more realistic and doesn't require an arbitrary separation of processes during evolution, it also makes the problem more complex because the search space for this single genome becomes larger and any mutation to the genome affects "brain" and the "body" at the same time. Additionally, we present a new speciation function that takes into consideration both the genotypic distance, as is the standard for NEAT, and the similarity between robot bodies. By using this function, agents with very different bodies are more likely to be in different species, this allows robots with different morphologies to have more specialized controllers since they won't crossover with other robots that are too different from them. We evaluate the presented methods on four tasks and observe that even if the search space was larger, having a single genome makes the evolution process converge faster when compared to having separated genomes for body and control. The agents in our population also show morphologies with a high degree of regularity and controllers capable of coordinating the voxels to produce the necessary movements.

传统的统计技术或元启发式学很难解决大多数现实世界的优化问题。主要困难与存在相当数量的局部Optima有关，这可能导致优化过程的过早收敛性。为了解决这个问题，我们提出了一种新型的启发式方法，用于构建原始功能的平滑替代模型。替代功能更容易优化，但保持原始坚固的健身景观的基本属性：全球最佳的位置。为了创建这样的替代模型，我们考虑通过自我调整健身函数增强的线性遗传编程方法。所提出的称为GP-FST-PSO替代模型的算法在搜索全局最优值和原始基准函数的视觉近似（在二维情况下）的视觉近似都可以达到令人满意的结果。

在生存的背景下，可以单独繁殖在我们的机器中产生智力吗？在这项工作中，自我复制是在现代学习环境中出现智能行为的一种机制。通过纯粹专注于生存，在进行自然选择的同时，进化的生物被证明会产生有意义的，复杂和聪明的行为，从而在没有任何奖励或目标概念的情况下向挑战性问题展示了创造性的解决方案。Atari和机器人学习环境是根据自然选择重新定义的，在这些实验过程中自我复制生物中出现的行为进行了详细描述。

可以将多任务学习（MTL）范例追溯到Caruana（1997）的早期纸张中，其中表示可以使用来自多个任务的数据，其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷，这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案，因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能，需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法（MOEAS）可以容易地包括优势的概念，因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法，例如高斯过程。在本文中，输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中，赋予由Wassersein距离给出的度量，可以设计一种新的算法MOEA / WST，其中模型不直接在目标函数上，而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明，MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。

在进化机器人技术中，进化算法用于合作地形态和控制。但是，合作化会带来不同的挑战：您如何优化一个经常改变其输入和输出数量的身体控制器？然后，研究人员必须在集中式或分散的控制之间做出一些选择。在本文中，我们研究了集中式和分散控制器对模块化机器人性能和形态的影响。这是通过实施一个集中式和两个分散的连续时间复发性神经网络控制器以及基线的正弦波控制器来完成的。我们发现，与形态大小更独立的分散方法的表现明显优于其他方法。它在多种形态大小中也很好地工作。此外，我们强调了为不断变化的形态实施集中控制的困难，并认为我们的集中式控制器在早期融合中比其他方法更挣扎。我们的发现表明，重复的分散网络在发展模块化机器人的形态和控制时是有益的。总体而言，如果这些发现转化为其他机器人系统，那么我们所遇到的结果和问题可以帮助未来的研究人员在合作地形态和控制时选择控制方法。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

离散基因监管网络（GRNS）在鲁棒性和模块化的研究中起着至关重要的作用。评估GRNS稳健性的常见方法是测量它们调节一组扰动基因激活图案回到其未受干扰的形式的能力。通常，通过收集通过基因激活模式的预定分布产生的随机样品来获得扰动。这种采样方法引入了随机性，否定动态。这种动态施加在已经复杂的健身景观之上。因此，在使用采样的情况下，重要的是要理解哪种效果来自健身景观的结构，并且从施加的动力学产生。健身功能的随机性也会导致重现性和实验后分析中的困难。通过考虑基因活性模式的完全分布，我们制定确定性分布适应性评估，以避免适应性评估中的随机性。这种健身评估有助于重复性。其确定性允许我们在健身上确定理论界，从而确定算法是否达到了全局最优。它使我们能够将问题域与嘈杂的健身评估的影响区分开来，从而解决〜\ CiteT {espinosa2010Specialization}问题领域的行为中的两个剩余异常。我们还揭示了解决方案GRNS的一些属性，使它们具有稳健和模块化，导致对问题域的性质更深入了解。我们通过讨论潜在的方向来模拟和理解较大，更复杂的域中的模块化的出现，这是产生更有用的模块化解决方案的关键，并理解生物系统中的模块化的难以。

过去已经表明，与解决多模式问题生成器的解决实例相比，多座丘陵策略与标准遗传算法相比有利。我们扩展了这项工作，并验证遗传算法中多样性保存技术的利用是否改变了比较结果。在两种情况下，我们这样做：（1）​​目标是找到全局最佳距离时，（2）当目标是找到所有Optima时。进行了数学分析，用于多设山丘算法，并通过实证研究进行了经验研究，以求解多模式问题生成器的实例，其中包括山丘策略以及遗传算法的数量，并使用遗传算法进行了元素。尽管小甲基元素改善了遗传算法的性能，但它仍然不如这类问题上的多尽山关闭策略。还提出了一种理想化的细分策略，并认为它的性能应接近任何进化算法在此类问题上可以做到的。

4月20日至22日，在马德里（西班牙）举行的EVO* 2022会议上提交了末期摘要。这些论文介绍了正在进行的研究和初步结果，这些结果研究了对不同问题的不同方法（主要是进化计算）的应用，其中大多数是现实世界中的方法。