生物系统对形态损害非常强大，但人工系统（机器人）目前却不是。在本文中，我们介绍了一个基于神经细胞自动机的系统，其中运动机器人的进化，然后赋予能够通过基于梯度的训练从损害中再生其形态。因此，我们的方法结合了进化的好处，可以发现各种不同的机器人形态，以及通过可区别的更新规则对鲁棒性的监督培训的效率。所得的神经细胞自动机能够生长能够恢复超过80 \％功能的虚拟机器人，即使经过严重的形态损害。

具有自我分类的能力的材料有可能推进广泛的工程应用和行业。生物系统不仅具有自我调查的能力，而且还具有自我分类以确定一般形状和功能的能力。模块化机器人系统系统的先前工作仅使自我认识和自我授权成为特定的目标形状，缺少自然界中的固有稳健性。因此，在本文中，我们利用了深度学习和神经细胞自动机的最新进展，并提出了一个简单的模块化2D机器人系统，该系统可以通过其组件的局部通信来推断其自己的形状类别。此外，我们证明我们的系统可以成功地转移到硬件上，从而为未来的自我分类机提供了机会。可在https://github.com/kattwalker/projectCube上获得代码。视频可在https://youtu.be/0tcoke4keyc上找到。

When simulating soft robots, both their morphology and their controllers play important roles in task performance. This paper introduces a new method to co-evolve these two components in the same process. We do that by using the hyperNEAT algorithm to generate two separate neural networks in one pass, one responsible for the design of the robot body structure and the other for the control of the robot. The key difference between our method and most existing approaches is that it does not treat the development of the morphology and the controller as separate processes. Similar to nature, our method derives both the "brain" and the "body" of an agent from a single genome and develops them together. While our approach is more realistic and doesn't require an arbitrary separation of processes during evolution, it also makes the problem more complex because the search space for this single genome becomes larger and any mutation to the genome affects "brain" and the "body" at the same time. Additionally, we present a new speciation function that takes into consideration both the genotypic distance, as is the standard for NEAT, and the similarity between robot bodies. By using this function, agents with very different bodies are more likely to be in different species, this allows robots with different morphologies to have more specialized controllers since they won't crossover with other robots that are too different from them. We evaluate the presented methods on four tasks and observe that even if the search space was larger, having a single genome makes the evolution process converge faster when compared to having separated genomes for body and control. The agents in our population also show morphologies with a high degree of regularity and controllers capable of coordinating the voxels to produce the necessary movements.

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

同时发展机器人的形态（体）和控制器（大脑）可能导致后代遗传体和大脑之间的不匹配。为了缓解这个问题，相对较早地提出了通过所谓的生活框架的所谓的生命框架的学习期。但是，实证评估仍缺乏迄今为止。在本文中，我们研究了这种学习机制与不同视角的影响。使用广泛的模拟，我们认为，与纯粹的进化方法相比，学习可以大大提高任务性能并减少一定适合水平所需的几代人数。此外，虽然学习只直接影响控制器，但我们证明了进化的形态也将是不同的。这提供了定量演示，即大脑的变化可以诱导体内的变化。最后，我们研究了给定体学习的能力量化的形态智力的概念。我们观察到学习三角洲，继承与学习大脑之间的性能差异，在整个进化过程中都在增长。这表明演化正在生产具有越来越多的可塑性的机器人，即连续几代变得越来越好，更好的学习者，这反过来使它们更好，在给定的任务中更好地更好。总而言之，我们的结果表明，生活的三角形不仅是理论兴趣的概念，而且是一种具有实际好处的系统架构。

许多生物，包括各种种类的蜘蛛和毛毛虫，都会改变其形状以切换步态并适应不同的环境。从可拉伸电路到高度变形的软机器人，最近的技术进步已经开始使变化的机器人成为可能。但是，目前尚不清楚应如何以及何时发生变化以及可以获得哪些功能，从而导致各种未解决的设计和控制问题。为了开始解决这些问题，我们在这里模拟，设计和构建一个软机器人，该机器人利用形状变化来在平坦和倾斜的表面上实现运动。在模拟中对该机器人进行建模，我们在两个环境中探索了它的功能，并证明了特定于环境特定形状和步态的存在，这些形状和步态成功地转移到了物理硬件中。我们发现，改变形状的机器人在模拟和现实中比等效但不正确的机器人更好地遍历这些环境。

在过去十年中，我们目睹了深度学习的兴起，以占据人工智能领域。人工神经网络的进步与具有大的内存容量大的硬件加速器的相应进步，以及大型数据集的可用性，使能研究人员和从业者能够培训和部署复杂的神经网络模型，这些模型在几个方面实现了最先进的性能跨越计算机视觉，自然语言处理和加强学习的领域。然而，由于这些神经网络变得更大，更复杂，更广泛地使用，目前深度学习模型的基本问题变得更加明显。已知最先进的深度学习模型遭受稳健性不良，无法适应新的任务设置的问题，以要求刚性和不灵活的配置假设。来自集体智能的想法，特别是来自复杂系统，如自组织，紧急行为，群优化和蜂窝系统的复杂系统的概念倾向于产生鲁棒，适应性，并且对环境配置具有较小的刚性假设的解决方案。因此，很自然地看到这些想法纳入更新的深度学习方法。在这篇综述中，我们将提供神经网络研究的历史背景，即神经网络研究的复杂系统的参与，并突出了现代深度学习研究中的几个活跃区域，这些研究融合了集体智能的原则，以推进其当前能力。为了促进双向思想流动，我们还讨论了利用现代深度学习模型的工作，以帮助推进复杂的系统研究。我们希望这次审查可以作为复杂系统和深度学习社区之间的桥梁，以促进思想的交叉授粉和促进跨学科的新合作。

在过去的工作中，我们开发了一个基于Conway的生活游戏的共生实体（Model-S）演变的计算模型。在本文中，我们研究了三个趋势，即生物学家在共生的演变中观察到。 （1）管理：如果一个合作伙伴能够控制共生关系，则该控制可以减少冲突;因此，进化选择有利于有经理的辛酸人。 （2）共同主义：虽然共生的合作伙伴往往具有相互冲突的需求，但进化选择有利于伴侣之间的合作。 （3）相互作用：共生中的合作伙伴中的反复互动趋于促进进化选择引起的越来越容易。我们向Model-S添加了仪器，允许我们进行详细的测量，以了解在模拟中可以观察到三种趋势。当我们通过它的儿童人数来衡量一个合作伙伴的健身时，我们发现Fitter Symbiotes的管理，相互主义和互动比不那么贴合的共生体。这些结果证实了生物学家本质上观察到的趋势。 Model-S允许生物学家以不具有生物体的方式研究这些进化趋势和共生的其他特征。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

进化机器人技术的领域使用自然进化原理来设计机器人。在本文中，我们研究了在现有的Robogen框架中添加受骨骼肌启发的新模块的效果：线性执行器。此外，我们研究机器人在普通环境中的发展与在粗糙环境中进化的机器人不同。我们考虑了定向运动的任务，以比较进化的机器人形态。结果表明，线性执行器的添加对机器人在普通环境中进化的机器人的性能和形态没有重大影响。但是，我们发现在普通环境中进化的机器人的形态存在显着差异，机器人在粗糙的环境中进化。我们发现，当我们改变环境的地形时，出现了更复杂的行为和形态。

在生存的背景下，可以单独繁殖在我们的机器中产生智力吗？在这项工作中，自我复制是在现代学习环境中出现智能行为的一种机制。通过纯粹专注于生存，在进行自然选择的同时，进化的生物被证明会产生有意义的，复杂和聪明的行为，从而在没有任何奖励或目标概念的情况下向挑战性问题展示了创造性的解决方案。Atari和机器人学习环境是根据自然选择重新定义的，在这些实验过程中自我复制生物中出现的行为进行了详细描述。

科学和工程学的进步通常揭示了最初用于理解，预测和控制现象的经典方法的局限性。随着进步，通常必须重新评估概念类别，以更好地跟踪最近在学科中发现的不变性。完善框架并解决学科之间的界限是至关重要的，以便它们更好地促进而不是限制实验方法和能力。在本文中，我们讨论了发育生物学，计算机科学和机器人技术的交集问题。在生物机器人的背景下，我们探索了概念，信息和生命科学的最新进展所驱动的概念和以前不同领域的变化。本文中，每个作者都提供了自己对该主题的看法，并由他们自己的纪律培训构成。我们认为，与计算一样，发育生物学和机器人技术的某些方面与特定材料无关。相反，这些领域的一致性可以帮助阐明多尺度控制，自组装以及形式与功能之间的关系。我们希望由于克服技术局限性而引起的界限，可以出现新的领域，从而将实际应用从再生医学到有用的合成生命机器。

Social insects such as ants communicate via pheromones which allows them to coordinate their activity and solve complex tasks as a swarm, e.g. foraging for food. This behaviour was shaped through evolutionary processes. In computational models, self-coordination in swarms has been implemented using probabilistic or action rules to shape the decision of each agent and the collective behaviour. However, manual tuned decision rules may limit the behaviour of the swarm. In this work we investigate the emergence of self-coordination and communication in evolved swarms without defining any rule. We evolve a swarm of agents representing an ant colony. We use a genetic algorithm to optimize a spiking neural network (SNN) which serves as an artificial brain to control the behaviour of each agent. The goal of the colony is to find optimal ways to forage for food in the shortest amount of time. In the evolutionary phase, the ants are able to learn to collaborate by depositing pheromone near food piles and near the nest to guide its cohorts. The pheromone usage is not encoded into the network; instead, this behaviour is established through the optimization procedure. We observe that pheromone-based communication enables the ants to perform better in comparison to colonies where communication did not emerge. We assess the foraging performance by comparing the SNN based model to a rule based system. Our results show that the SNN based model can complete the foraging task more efficiently in a shorter time. Our approach illustrates that even in the absence of pre-defined rules, self coordination via pheromone emerges as a result of the network optimization. This work serves as a proof of concept for the possibility of creating complex applications utilizing SNNs as underlying architectures for multi-agent interactions where communication and self-coordination is desired.

本文提出了一个程序性内容发生器，该发生器根据新颖性的开放式和内在的定义来发展Minecraft建筑物。为了实现这一目标，我们使用3D自动编码器评估了个体在潜在空间中的新颖性，并在勘探和转型阶段之间进行了交替。在探索过程中，系统通过在潜在空间（由当前自动编码器定义）中的CPPN - 纳特搜索和约束新颖性搜索进化了CPPN的多个种群。我们应用一组维修和约束功能，以确保候选人在进化过程中遵守基本的结构规则和约束。在转换过程中，我们通过使用新颖的内容来重新验证自动编码器，重塑潜在空间的边界，以识别解决方案空间的新有趣区域。在这项研究中，我们评估了在转型过程中训练自动编码器的五种不同方法及其对人群进化过程中人群质量和多样性的影响。我们的结果表明，与静态模型相比，通过重新训练自动编码器，我们可以实现更好的开放式复杂性，当使用具有多种复杂性的个体的较大数据集进行重新训练时，该模型可以进一步改进。

最近，我们强调了一个基本问题，该问题被认为是混淆算法优化的，即\ textit {Confing}与目标函数的目标。即使前者的定义很好，后者也可能并不明显，例如，在学习一种策略来导航迷宫以找到目标（客观）时，有效的目标函数\ textit {评估}策略可能不是一个简单的功能到目标的距离。我们建议自动化可能发现良好的目标功能的手段 - 此处得到的建议。我们提出\ textbf {s} iolution \ textbf {a} nd \ textbf {f} itness \ textbf {e} volution（\ textbf {safe}），a \ textit {comensalistic} coovolutionary algorithm候选解决方案和一系列候选目标功能。作为此概念原理的证明，我们表明安全不仅成功地发展了机器人迷宫领域内的解决方案，而且还可以在进化过程中衡量解决方案质量所需的目标函数。

自从各种任务的自动化开始以来，自动驾驶车辆一直引起人们的兴趣。人类容易疲惫，在道路上的响应时间缓慢，最重要的是，每年约有135万道路交通事故死亡，这已经是一项危险的任务。预计自动驾驶可以减少世界上驾驶事故的数量，这就是为什么这个问题对研究人员感兴趣的原因。目前，自动驾驶汽车在使车辆自动驾驶时使用不同的算法来实现各种子问题。我们将重点关注增强学习算法，更具体地说是Q学习算法和增强拓扑的神经进化（NEAT），即进化算法和人工神经网络的组合，以训练模型代理，以学习如何在给定路径上驱动。本文将重点介绍上述两种算法之间的比较。

激活功能（AFS）在神经网络的性能中起关键作用。整流线性单元（RELU）当前是最常用的AF。已经提出了几个替代者，但事实证明，改进措施不一致。一些AFS在特定任务中表现出更好的性能，但是很难先验如何选择合适的任务。研究标准完全连接的神经网络（FCN）和卷积神经网络（CNN），我们提出了一种新颖的，三个人群，共同进化算法来进化AFS，并将其与其他四种方法进行比较，即进化和非进化。在四个数据集（MNIST，FashionMnist，KMNIST和USPS）上进行了测试，共同进化被证明是找到良好的AFS和AF体系结构的性能算法。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

符号回归是识别拟合从黑盒过程中观察到的输出的数学表达式的过程。它通常认为是一个离散的优化问题是NP - 硬。解决问题的前提方法包括神经引导的搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/基因编程方法来象征性回归和其他组合优化问题。我们提出了一种神经引导组件，用于种子随机重启遗传编程组件的起始群体，逐渐学习更好的起始群体。在许多常见的基准任务中从数据集中恢复底层表达式，我们的方法使用相同的实验设置恢复比最近发布的顶部执行模型更多的表达式65％。我们证明在没有对神经引导的组件上的不相互依存的情况下运行许多遗传编程一代，而不是比两个更强烈地耦合的替代配方更好地对象征性回归更好地执行符号回归。最后，我们介绍了一组新的22个符号回归基准问题，而现有的基准难度增加。源代码在www.github.com/brendenpetersen/deep-symbolic -optimization提供。

教机器人通过加强学习（RL）在复杂的三维环境环境下学习多样化的运动技能仍然具有挑战性。已经表明，在将其转移到复杂设置之前，在简单设置中的培训代理可以改善培训过程，但到目前为止，仅在相对简单的运动技能的背景下。在这项工作中，我们适应了增强的配对开放式开拓者（EPOET）方法，以训练更复杂的代理，以在复杂的三维地形上有效行走。首先，为了产生更加坚固且多样化的三维训练地形，并增加了复杂性，我们扩展了组成模式产生的网络 - 增强拓扑的神经进化（CPPN-NEAT）方法，并包括随机形状。其次，我们将Epoet与软性演员 - 批评外的优化相结合，产生Epoet-SAC，以确保代理商可以学习更多多样化的技能，以解决更具挑战性的任务。我们的实验结果表明，新生成的三维地形具有足够的多样性和复杂性来指导学习，Epoet成功地学习了这些地形上的复杂运动技能，并且我们提出的EPOET-SAC方法在Epoet上略有改进。