When simulating soft robots, both their morphology and their controllers play important roles in task performance. This paper introduces a new method to co-evolve these two components in the same process. We do that by using the hyperNEAT algorithm to generate two separate neural networks in one pass, one responsible for the design of the robot body structure and the other for the control of the robot. The key difference between our method and most existing approaches is that it does not treat the development of the morphology and the controller as separate processes. Similar to nature, our method derives both the "brain" and the "body" of an agent from a single genome and develops them together. While our approach is more realistic and doesn't require an arbitrary separation of processes during evolution, it also makes the problem more complex because the search space for this single genome becomes larger and any mutation to the genome affects "brain" and the "body" at the same time. Additionally, we present a new speciation function that takes into consideration both the genotypic distance, as is the standard for NEAT, and the similarity between robot bodies. By using this function, agents with very different bodies are more likely to be in different species, this allows robots with different morphologies to have more specialized controllers since they won't crossover with other robots that are too different from them. We evaluate the presented methods on four tasks and observe that even if the search space was larger, having a single genome makes the evolution process converge faster when compared to having separated genomes for body and control. The agents in our population also show morphologies with a high degree of regularity and controllers capable of coordinating the voxels to produce the necessary movements.

同时发展机器人的形态（体）和控制器（大脑）可能导致后代遗传体和大脑之间的不匹配。为了缓解这个问题，相对较早地提出了通过所谓的生活框架的所谓的生命框架的学习期。但是，实证评估仍缺乏迄今为止。在本文中，我们研究了这种学习机制与不同视角的影响。使用广泛的模拟，我们认为，与纯粹的进化方法相比，学习可以大大提高任务性能并减少一定适合水平所需的几代人数。此外，虽然学习只直接影响控制器，但我们证明了进化的形态也将是不同的。这提供了定量演示，即大脑的变化可以诱导体内的变化。最后，我们研究了给定体学习的能力量化的形态智力的概念。我们观察到学习三角洲，继承与学习大脑之间的性能差异，在整个进化过程中都在增长。这表明演化正在生产具有越来越多的可塑性的机器人，即连续几代变得越来越好，更好的学习者，这反过来使它们更好，在给定的任务中更好地更好。总而言之，我们的结果表明，生活的三角形不仅是理论兴趣的概念，而且是一种具有实际好处的系统架构。

在进化机器人技术中，进化算法用于合作地形态和控制。但是，合作化会带来不同的挑战：您如何优化一个经常改变其输入和输出数量的身体控制器？然后，研究人员必须在集中式或分散的控制之间做出一些选择。在本文中，我们研究了集中式和分散控制器对模块化机器人性能和形态的影响。这是通过实施一个集中式和两个分散的连续时间复发性神经网络控制器以及基线的正弦波控制器来完成的。我们发现，与形态大小更独立的分散方法的表现明显优于其他方法。它在多种形态大小中也很好地工作。此外，我们强调了为不断变化的形态实施集中控制的困难，并认为我们的集中式控制器在早期融合中比其他方法更挣扎。我们的发现表明，重复的分散网络在发展模块化机器人的形态和控制时是有益的。总体而言，如果这些发现转化为其他机器人系统，那么我们所遇到的结果和问题可以帮助未来的研究人员在合作地形态和控制时选择控制方法。

自从各种任务的自动化开始以来，自动驾驶车辆一直引起人们的兴趣。人类容易疲惫，在道路上的响应时间缓慢，最重要的是，每年约有135万道路交通事故死亡，这已经是一项危险的任务。预计自动驾驶可以减少世界上驾驶事故的数量，这就是为什么这个问题对研究人员感兴趣的原因。目前，自动驾驶汽车在使车辆自动驾驶时使用不同的算法来实现各种子问题。我们将重点关注增强学习算法，更具体地说是Q学习算法和增强拓扑的神经进化（NEAT），即进化算法和人工神经网络的组合，以训练模型代理，以学习如何在给定路径上驱动。本文将重点介绍上述两种算法之间的比较。

生物系统对形态损害非常强大，但人工系统（机器人）目前却不是。在本文中，我们介绍了一个基于神经细胞自动机的系统，其中运动机器人的进化，然后赋予能够通过基于梯度的训练从损害中再生其形态。因此，我们的方法结合了进化的好处，可以发现各种不同的机器人形态，以及通过可区别的更新规则对鲁棒性的监督培训的效率。所得的神经细胞自动机能够生长能够恢复超过80 \％功能的虚拟机器人，即使经过严重的形态损害。

进化机器人技术的领域使用自然进化原理来设计机器人。在本文中，我们研究了在现有的Robogen框架中添加受骨骼肌启发的新模块的效果：线性执行器。此外，我们研究机器人在普通环境中的发展与在粗糙环境中进化的机器人不同。我们考虑了定向运动的任务，以比较进化的机器人形态。结果表明，线性执行器的添加对机器人在普通环境中进化的机器人的性能和形态没有重大影响。但是，我们发现在普通环境中进化的机器人的形态存在显着差异，机器人在粗糙的环境中进化。我们发现，当我们改变环境的地形时，出现了更复杂的行为和形态。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

本文介绍了一种“混合自我注意整洁”方法，以改善高维输入中增强拓扑（整洁）算法的原始神经发展。虽然整洁的算法显示出在不同具有挑战性的任务中的显着结果，但由于输入表示是高维度，但它无法创建一个良好的调谐网络。我们的研究通过使用自我关注作为间接编码方法来解决此限制，以选择输入的最重要部分。此外，我们在混合方法的帮助下提高了整体性能，以发展最终网络权重。主要结论是混合自我关注整洁可以消除原始整洁的限制。结果表明，与进化算法相比，我们的模型可以在ATARI游戏中获得与原始像素输入的可比分数，其中参数数量较少。

教机器人通过加强学习（RL）在复杂的三维环境环境下学习多样化的运动技能仍然具有挑战性。已经表明，在将其转移到复杂设置之前，在简单设置中的培训代理可以改善培训过程，但到目前为止，仅在相对简单的运动技能的背景下。在这项工作中，我们适应了增强的配对开放式开拓者（EPOET）方法，以训练更复杂的代理，以在复杂的三维地形上有效行走。首先，为了产生更加坚固且多样化的三维训练地形，并增加了复杂性，我们扩展了组成模式产生的网络 - 增强拓扑的神经进化（CPPN-NEAT）方法，并包括随机形状。其次，我们将Epoet与软性演员 - 批评外的优化相结合，产生Epoet-SAC，以确保代理商可以学习更多多样化的技能，以解决更具挑战性的任务。我们的实验结果表明，新生成的三维地形具有足够的多样性和复杂性来指导学习，Epoet成功地学习了这些地形上的复杂运动技能，并且我们提出的EPOET-SAC方法在Epoet上略有改进。

许多生物，包括各种种类的蜘蛛和毛毛虫，都会改变其形状以切换步态并适应不同的环境。从可拉伸电路到高度变形的软机器人，最近的技术进步已经开始使变化的机器人成为可能。但是，目前尚不清楚应如何以及何时发生变化以及可以获得哪些功能，从而导致各种未解决的设计和控制问题。为了开始解决这些问题，我们在这里模拟，设计和构建一个软机器人，该机器人利用形状变化来在平坦和倾斜的表面上实现运动。在模拟中对该机器人进行建模，我们在两个环境中探索了它的功能，并证明了特定于环境特定形状和步态的存在，这些形状和步态成功地转移到了物理硬件中。我们发现，改变形状的机器人在模拟和现实中比等效但不正确的机器人更好地遍历这些环境。

最近，我们强调了一个基本问题，该问题被认为是混淆算法优化的，即\ textit {Confing}与目标函数的目标。即使前者的定义很好，后者也可能并不明显，例如，在学习一种策略来导航迷宫以找到目标（客观）时，有效的目标函数\ textit {评估}策略可能不是一个简单的功能到目标的距离。我们建议自动化可能发现良好的目标功能的手段 - 此处得到的建议。我们提出\ textbf {s} iolution \ textbf {a} nd \ textbf {f} itness \ textbf {e} volution（\ textbf {safe}），a \ textit {comensalistic} coovolutionary algorithm候选解决方案和一系列候选目标功能。作为此概念原理的证明，我们表明安全不仅成功地发展了机器人迷宫领域内的解决方案，而且还可以在进化过程中衡量解决方案质量所需的目标函数。

在这项工作中，我们认为寻找人工通用智能（AGI）应该从比人类水平的智能低得多的水平开始。自然界中智能行为的环境是由于有机体与周围环境相互作用的情况，这种环境可能会随着时间的流逝而改变，并对有机体施加压力，以便学习新的行为或环境模型。我们的假设是，学习是通过解释代理在环境中作用时的感觉反馈而发生的。为此，需要一个身体和反应性环境。我们评估了一种进化生物学启发的人工神经网络的方法，该神经网络从名为“人工通用智能的神经进化”（Nagi）的环境反应中学习，这是一个低水平AGI的框架。该方法允许使用自适应突触的随机启用尖峰神经网络的进化络合，该神经网络控制在可变环境中实例化的代理。这种配置使我们能够基准基准控制器的适应性和通用性。可变环境中所选的任务是食品觅食，逻辑门的仿真和卡特杆平衡。这三个任务通过相当小的网络拓扑成功解决，因此，它打开了实验更复杂的任务和方案的可能性，其中课程学习是有益的。

群的行为来自代理的局部互动及其环境通常被编码为简单规则。通过观看整体群体行为的视频来提取规则可以帮助我们研究和控制自然界的群体行为，或者是由外部演员设计的人造群体。它还可以作为群体机器人技术灵感的新来源。然而，提取此类规则是具有挑战性的，因为群体的新兴特性与其当地互动之间通常没有明显的联系。为此，我们开发了一种方法，可以自动从视频演示中提取可理解的群体控制器。该方法使用由比较八个高级群指标的健身函数驱动的进化算法。该方法能够在简单的集体运动任务中提取许多控制器（行为树）。然后，我们对导致不同树木但类似行为的行为进行定性分析。这提供了基于观察值自动提取群体控制器的第一步。

在这项工作中，我们为软机器人蛇提供了一种基于学习的目标跟踪控制方法。受到生物蛇的启发，我们的控制器由两个关键模块组成：用于学习靶向轨迹行为的增强学习（RL）模块，给出了软蛇机器人的随机动力学，以及带有Matsuoka振荡器的中央模式生成器（CPG）系统，用于产生稳定而多样的运动模式。基于提议的框架，我们全面讨论了软蛇机器人的可操作性，包括在其蛇形运动期间的转向和速度控制。可以将这种可操作性映射到CPG系统振荡模式的控制中。通过对Matsuoka CPG系统振荡性能的理论分析，这项工作表明，实现我们软蛇机器人的自由移动性的关键是正确限制和控制Matsuoka CpG系统的某些系数比率。基于此分析，我们系统地制定了CPG系统的可控系数，供RL代理运行。通过实验验证，我们表明，在模拟环境中学习的控制政策可以直接应用于控制我们的真正的蛇机器人以执行目标跟踪任务，而不管模拟与现实世界之间的物理环境差距如何。实验结果还表明，与我们先前的方法和基线RL方法（PPO）相比，我们的方法对SIM到现实过渡的适应性和鲁棒性得到了显着改善。

本文探讨了培训来生成代码的大型语言模型（LLMS）可以极大地提高对基因编程（GP）应用程序的突变操作员的有效性。由于此类LLM受益于包括顺序更改和修改的训练数据，因此它们可以近似人类会做出的可能变化。为了强调通过大型模型（ELM）的这种进化的含义的广度，在主要实验ELM与MAP-ELITE结合产生了数十万个Python程序的功能示例，这些示例在Sodarace域中输出了在Sodarace域中运行AMBULE的机器人，原始LLM从未在预训练中见过。然后，这些示例有助于引导培训一种新的条件语言模型，该模型可以为特定地形输出合适的步行者。引导新模型可以在以前可用的零培训数据中为给定上下文中输出适当的工件的新模型具有对开放性，深度学习和增强学习的影响。在这里深入探讨了这些含义，以期激发榆树现在打开的新研究方向。

混合微生物群落通常由各种细菌和真菌物种组成，在从土壤到人类肠道和皮肤的众多环境中都是基础。它们的演变是相互交织的动态的一个范式例子，不仅物种之间的关系起作用，而且每个物种都向其他物种展示的机会（可能是可能的伤害）。这些机会实际上是\ textit {provryances}，可以通过可遗传的变化和选择来抓住。在本文中，从混合微生物群落的系统性角度开始，我们着重于提供在进化中的关键作用，并将其与程序和机器人的人工演变进行对比。我们坚持认为，这两个领域是整齐的分离，因为自然演变以完全开放的方式扩展了其可能性的空间，而后者本质上受到定义的算法框架的固有限制。这种差异也表征了一个设想的设置，在物理世界中，机器人在其中发展。我们提出了支持我们主张的论点，并提出了一个用于评估陈述的实验环境。这项贡献的目的不仅仅是讨论机器人工演变的局限性，而是强调生物圈进化的巨大潜力，以微生物社区的发展为精美。

Social insects such as ants communicate via pheromones which allows them to coordinate their activity and solve complex tasks as a swarm, e.g. foraging for food. This behaviour was shaped through evolutionary processes. In computational models, self-coordination in swarms has been implemented using probabilistic or action rules to shape the decision of each agent and the collective behaviour. However, manual tuned decision rules may limit the behaviour of the swarm. In this work we investigate the emergence of self-coordination and communication in evolved swarms without defining any rule. We evolve a swarm of agents representing an ant colony. We use a genetic algorithm to optimize a spiking neural network (SNN) which serves as an artificial brain to control the behaviour of each agent. The goal of the colony is to find optimal ways to forage for food in the shortest amount of time. In the evolutionary phase, the ants are able to learn to collaborate by depositing pheromone near food piles and near the nest to guide its cohorts. The pheromone usage is not encoded into the network; instead, this behaviour is established through the optimization procedure. We observe that pheromone-based communication enables the ants to perform better in comparison to colonies where communication did not emerge. We assess the foraging performance by comparing the SNN based model to a rule based system. Our results show that the SNN based model can complete the foraging task more efficiently in a shorter time. Our approach illustrates that even in the absence of pre-defined rules, self coordination via pheromone emerges as a result of the network optimization. This work serves as a proof of concept for the possibility of creating complex applications utilizing SNNs as underlying architectures for multi-agent interactions where communication and self-coordination is desired.

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

在过去十年中，我们目睹了深度学习的兴起，以占据人工智能领域。人工神经网络的进步与具有大的内存容量大的硬件加速器的相应进步，以及大型数据集的可用性，使能研究人员和从业者能够培训和部署复杂的神经网络模型，这些模型在几个方面实现了最先进的性能跨越计算机视觉，自然语言处理和加强学习的领域。然而，由于这些神经网络变得更大，更复杂，更广泛地使用，目前深度学习模型的基本问题变得更加明显。已知最先进的深度学习模型遭受稳健性不良，无法适应新的任务设置的问题，以要求刚性和不灵活的配置假设。来自集体智能的想法，特别是来自复杂系统，如自组织，紧急行为，群优化和蜂窝系统的复杂系统的概念倾向于产生鲁棒，适应性，并且对环境配置具有较小的刚性假设的解决方案。因此，很自然地看到这些想法纳入更新的深度学习方法。在这篇综述中，我们将提供神经网络研究的历史背景，即神经网络研究的复杂系统的参与，并突出了现代深度学习研究中的几个活跃区域，这些研究融合了集体智能的原则，以推进其当前能力。为了促进双向思想流动，我们还讨论了利用现代深度学习模型的工作，以帮助推进复杂的系统研究。我们希望这次审查可以作为复杂系统和深度学习社区之间的桥梁，以促进思想的交叉授粉和促进跨学科的新合作。

进化是一种理论，即当今的动植物来自过去存在的种类。查尔斯·达尔文（Charles Darwin）和阿尔弗雷德·华莱士（Alfred Wallace）等科学家奉献了他们的生活，以观察物种如何与环境相互作用，成长和变化。我们能够预测未来的变化，并使用遗传算法模拟该过程。遗传算法使我们有机会向环境提出多个变量和参数，并更改值以模拟不同的情况。通过优化遗传算法以在环境中持有实体，我们能够为实体分配各种特征，例如速度，大小和克隆概率，以模拟较短的时间内的真实自然选择和进化。了解物种如何成长和进化使我们能够找到改善技术，帮助动物灭绝生存的方法，并弄清楚疾病如何传播以及使环境无法居住的可能方法。使用来自环境的数据，包括遗传算法和速度，大小和克隆百分比的参数，测试环境中几种变化并观察物种在其内的相互作用的能力。在测试了多种食物的不同环境的同时，在保持10个实体的起始人口数量的同时，发现少量食物的环境对于小型和缓慢的实体而言是不可持续的。所有环境都显示出速度的提高，但是食物中更丰富的环境使实体在整个50代时都可以生活，并允许人口显着增长。