群的行为来自代理的局部互动及其环境通常被编码为简单规则。通过观看整体群体行为的视频来提取规则可以帮助我们研究和控制自然界的群体行为，或者是由外部演员设计的人造群体。它还可以作为群体机器人技术灵感的新来源。然而，提取此类规则是具有挑战性的，因为群体的新兴特性与其当地互动之间通常没有明显的联系。为此，我们开发了一种方法，可以自动从视频演示中提取可理解的群体控制器。该方法使用由比较八个高级群指标的健身函数驱动的进化算法。该方法能够在简单的集体运动任务中提取许多控制器（行为树）。然后，我们对导致不同树木但类似行为的行为进行定性分析。这提供了基于观察值自动提取群体控制器的第一步。

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

了解来自群体中集体行为的分散性动态对于通知人工群和多态机械系统中的机器人控制器设计至关重要。然而，代理人与代理人的相互作用和大多数群体的分散性质对来自全球行为的单机器人控制法的提取构成重大挑战。在这项工作中，我们考虑完全基于群体轨迹的国家观察学习分散单机器人控制器的重要任务。我们通过采用基于知识的神经常规方程（KNODE）来提出一般框架 - 一种能够将人工神经网络与已知代理动态组合的混合机学习方法。我们的方法与大多数事先有关的方法区分，因为我们不需要学习的行动数据。我们分别在2D和3D中将框架应用于两个不同的植绒群，并通过利用群体信息网络的图形结构来展示有效的培训。我们进一步表明，学习的单机器人控制器不仅可以重现原始群体中的植绒行为，而且还可以使用更多机器人来扩展到群体。

同时发展机器人的形态（体）和控制器（大脑）可能导致后代遗传体和大脑之间的不匹配。为了缓解这个问题，相对较早地提出了通过所谓的生活框架的所谓的生命框架的学习期。但是，实证评估仍缺乏迄今为止。在本文中，我们研究了这种学习机制与不同视角的影响。使用广泛的模拟，我们认为，与纯粹的进化方法相比，学习可以大大提高任务性能并减少一定适合水平所需的几代人数。此外，虽然学习只直接影响控制器，但我们证明了进化的形态也将是不同的。这提供了定量演示，即大脑的变化可以诱导体内的变化。最后，我们研究了给定体学习的能力量化的形态智力的概念。我们观察到学习三角洲，继承与学习大脑之间的性能差异，在整个进化过程中都在增长。这表明演化正在生产具有越来越多的可塑性的机器人，即连续几代变得越来越好，更好的学习者，这反过来使它们更好，在给定的任务中更好地更好。总而言之，我们的结果表明，生活的三角形不仅是理论兴趣的概念，而且是一种具有实际好处的系统架构。

为了协助游戏开发人员制作游戏NPC，我们展示了EvolvingBehavior，这是一种新颖的工具，用于基因编程，以在不真实的引擎4中发展行为树4.在初步评估中，我们将演变的行为与我们的研究人员设计的手工制作的树木和随机的树木进行了比较 - 在3D生存游戏中种植的树木。我们发现，在这种情况下，EvolvingBehavior能够产生行为，以实现设计师的目标。最后，我们讨论了共同创造游戏AI设计工具的探索的含义和未来途径，以及行为树进化的挑战和困难。

在进化机器人技术中，进化算法用于合作地形态和控制。但是，合作化会带来不同的挑战：您如何优化一个经常改变其输入和输出数量的身体控制器？然后，研究人员必须在集中式或分散的控制之间做出一些选择。在本文中，我们研究了集中式和分散控制器对模块化机器人性能和形态的影响。这是通过实施一个集中式和两个分散的连续时间复发性神经网络控制器以及基线的正弦波控制器来完成的。我们发现，与形态大小更独立的分散方法的表现明显优于其他方法。它在多种形态大小中也很好地工作。此外，我们强调了为不断变化的形态实施集中控制的困难，并认为我们的集中式控制器在早期融合中比其他方法更挣扎。我们的发现表明，重复的分散网络在发展模块化机器人的形态和控制时是有益的。总体而言，如果这些发现转化为其他机器人系统，那么我们所遇到的结果和问题可以帮助未来的研究人员在合作地形态和控制时选择控制方法。

When simulating soft robots, both their morphology and their controllers play important roles in task performance. This paper introduces a new method to co-evolve these two components in the same process. We do that by using the hyperNEAT algorithm to generate two separate neural networks in one pass, one responsible for the design of the robot body structure and the other for the control of the robot. The key difference between our method and most existing approaches is that it does not treat the development of the morphology and the controller as separate processes. Similar to nature, our method derives both the "brain" and the "body" of an agent from a single genome and develops them together. While our approach is more realistic and doesn't require an arbitrary separation of processes during evolution, it also makes the problem more complex because the search space for this single genome becomes larger and any mutation to the genome affects "brain" and the "body" at the same time. Additionally, we present a new speciation function that takes into consideration both the genotypic distance, as is the standard for NEAT, and the similarity between robot bodies. By using this function, agents with very different bodies are more likely to be in different species, this allows robots with different morphologies to have more specialized controllers since they won't crossover with other robots that are too different from them. We evaluate the presented methods on four tasks and observe that even if the search space was larger, having a single genome makes the evolution process converge faster when compared to having separated genomes for body and control. The agents in our population also show morphologies with a high degree of regularity and controllers capable of coordinating the voxels to produce the necessary movements.

多机器人和多代理系统通过系统的局部行为集成在组中表现出集体（Swarm）智能。分享有关任务和环境知识的代理商可以提高个人和任务水平的绩效。但是，这很难实现，部分原因是缺乏用于在代理之间转移一部分知识（行为）的通用框架。本文提出了一个新的知识表示框架和一种称为KT-BT：通过行为树的知识转移的转移策略。 KT-BT框架遵循通过在线行为树框架进行查询反应加速机制，在该框架中，代理对未知条件进行广播查询，并使用条件性能控制子流量以适当的知识做出响应。我们嵌入了一种称为StringBT的新型语法结构，该结构编码知识，从而实现行为共享。从理论上讲，我们研究了KT-BT框架的特性，与异质系统相比，整个小组的高知识同质性具有高度知识的性质，而没有能力共享知识。我们在模拟的多机器人搜索和救援问题中广泛验证了我们的框架。结果表明，在各种情况下，成功传递知识转移并提高了群体绩效。我们进一步研究了机会和沟通范围对一组代理商中群体绩效，知识传播和功能异质性的影响，并提供有趣的见解。

在本文中，我们使用基于视觉的图形聚合和推理（VGAI）呈现了一种感知 - 动作通信环路设计。这种多代理分散的学习 - 控制框架将原始的视觉观测映射到代理操作，并通过相邻代理之间的本地通信提供帮助。我们的框架是由圆形卷积和图形神经网络（CNN / GNN）的级联实现，寻址代理级视觉感知和特征学习，以及群级通信，本地信息聚合和代理动作推断。通过联合训练CNN和GNN，结合了解图像特征和通信消息以更好地解决特定任务。我们使用模仿学习在离线阶段训练VGAI控制器，依赖于集中式专家控制器。这导致学习的VGAI控制器可以以分布式方式部署以进行在线执行。此外，控制器展示了良好的缩放性质，在较大的团队中具有较小的团队和应用程序的培训。通过多代理植入应用程序，我们证明VGAI产生与其他分散的控制器相当或更好地使用视觉输入模态，而不访问精确的位置或运动状态信息。

在移动机器人学中，区域勘探和覆盖率是关键能力。在大多数可用研究中，共同的假设是全球性，远程通信和集中合作。本文提出了一种新的基于群的覆盖控制算法，可以放松这些假设。该算法组合了两个元素：Swarm规则和前沿搜索算法。受到大量简单代理（例如，教育鱼，植绒鸟类，蜂拥昆虫）的自然系统的启发，第一元素使用三个简单的规则来以分布式方式维持群体形成。第二元素提供了选择有希望区域以使用涉及代理的相对位置的成本函数的最小化来探索（和覆盖）的装置。我们在不同环境中测试了我们的方法对异质和同质移动机器人的性能。我们衡量覆盖性能和允许本集团维持沟通的覆盖性能和群体形成统计数据。通过一系列比较实验，我们展示了拟议的策略在最近提出的地图覆盖方法和传统的人工潜在领域基于细胞覆盖，转变和安全路径的百分比，同时保持允许短程的形成沟通。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

最近，我们强调了一个基本问题，该问题被认为是混淆算法优化的，即\ textit {Confing}与目标函数的目标。即使前者的定义很好，后者也可能并不明显，例如，在学习一种策略来导航迷宫以找到目标（客观）时，有效的目标函数\ textit {评估}策略可能不是一个简单的功能到目标的距离。我们建议自动化可能发现良好的目标功能的手段 - 此处得到的建议。我们提出\ textbf {s} iolution \ textbf {a} nd \ textbf {f} itness \ textbf {e} volution（\ textbf {safe}），a \ textit {comensalistic} coovolutionary algorithm候选解决方案和一系列候选目标功能。作为此概念原理的证明，我们表明安全不仅成功地发展了机器人迷宫领域内的解决方案，而且还可以在进化过程中衡量解决方案质量所需的目标函数。

形成控制问题是群体智能领域中最关心的主题之一，通常通过常规数学方法来解决。然而，在本文中，我们提出了一种元疗法方法，该方法利用了一种自然的共同进化策略来解决一群导弹的形成控制问题。导弹群是由具有异质参考目标的二阶系统建模的，并将指数误差函数作为目标函数，以使群体融合到满足某些形成要求的最佳平衡状态。为了关注本地最佳和不稳定进化的问题，我们纳入了一种新颖的基于模型的政策约束和人口适应策略，从而大大减轻了绩效退化。通过在网络通信领域中应用Molloy reed标准，我们开发了一种自适应拓扑方法，该方法可以通过理论和实验验证节点失败及其有效性下的连通性及其有效性。实验结果有助于提议的形成控制方法的有效性。更重要的是，我们表明将通用形成控制问题视为马尔可夫决策过程（MDP）并通过迭代学习解决它是可行的。

Sociability is essential for modern robots to increase their acceptability in human environments. Traditional techniques use manually engineered utility functions inspired by observing pedestrian behaviors to achieve social navigation. However, social aspects of navigation are diverse, changing across different types of environments, societies, and population densities, making it unrealistic to use hand-crafted techniques in each domain. This paper presents a data-driven navigation architecture that uses state-of-the-art neural architectures, namely Conditional Neural Processes, to learn global and local controllers of the mobile robot from observations. Additionally, we leverage a state-of-the-art, deep prediction mechanism to detect situations not similar to the trained ones, where reactive controllers step in to ensure safe navigation. Our results demonstrate that the proposed framework can successfully carry out navigation tasks regarding social norms in the data. Further, we showed that our system produces fewer personal-zone violations, causing less discomfort.

Social insects such as ants communicate via pheromones which allows them to coordinate their activity and solve complex tasks as a swarm, e.g. foraging for food. This behaviour was shaped through evolutionary processes. In computational models, self-coordination in swarms has been implemented using probabilistic or action rules to shape the decision of each agent and the collective behaviour. However, manual tuned decision rules may limit the behaviour of the swarm. In this work we investigate the emergence of self-coordination and communication in evolved swarms without defining any rule. We evolve a swarm of agents representing an ant colony. We use a genetic algorithm to optimize a spiking neural network (SNN) which serves as an artificial brain to control the behaviour of each agent. The goal of the colony is to find optimal ways to forage for food in the shortest amount of time. In the evolutionary phase, the ants are able to learn to collaborate by depositing pheromone near food piles and near the nest to guide its cohorts. The pheromone usage is not encoded into the network; instead, this behaviour is established through the optimization procedure. We observe that pheromone-based communication enables the ants to perform better in comparison to colonies where communication did not emerge. We assess the foraging performance by comparing the SNN based model to a rule based system. Our results show that the SNN based model can complete the foraging task more efficiently in a shorter time. Our approach illustrates that even in the absence of pre-defined rules, self coordination via pheromone emerges as a result of the network optimization. This work serves as a proof of concept for the possibility of creating complex applications utilizing SNNs as underlying architectures for multi-agent interactions where communication and self-coordination is desired.

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

进化机器人技术的领域使用自然进化原理来设计机器人。在本文中，我们研究了在现有的Robogen框架中添加受骨骼肌启发的新模块的效果：线性执行器。此外，我们研究机器人在普通环境中的发展与在粗糙环境中进化的机器人不同。我们考虑了定向运动的任务，以比较进化的机器人形态。结果表明，线性执行器的添加对机器人在普通环境中进化的机器人的性能和形态没有重大影响。但是，我们发现在普通环境中进化的机器人的形态存在显着差异，机器人在粗糙的环境中进化。我们发现，当我们改变环境的地形时，出现了更复杂的行为和形态。

在这项工作中，我们为软机器人蛇提供了一种基于学习的目标跟踪控制方法。受到生物蛇的启发，我们的控制器由两个关键模块组成：用于学习靶向轨迹行为的增强学习（RL）模块，给出了软蛇机器人的随机动力学，以及带有Matsuoka振荡器的中央模式生成器（CPG）系统，用于产生稳定而多样的运动模式。基于提议的框架，我们全面讨论了软蛇机器人的可操作性，包括在其蛇形运动期间的转向和速度控制。可以将这种可操作性映射到CPG系统振荡模式的控制中。通过对Matsuoka CPG系统振荡性能的理论分析，这项工作表明，实现我们软蛇机器人的自由移动性的关键是正确限制和控制Matsuoka CpG系统的某些系数比率。基于此分析，我们系统地制定了CPG系统的可控系数，供RL代理运行。通过实验验证，我们表明，在模拟环境中学习的控制政策可以直接应用于控制我们的真正的蛇机器人以执行目标跟踪任务，而不管模拟与现实世界之间的物理环境差距如何。实验结果还表明，与我们先前的方法和基线RL方法（PPO）相比，我们的方法对SIM到现实过渡的适应性和鲁棒性得到了显着改善。

我们的世界越来越被具有不同自治程度的智能机器人所笼罩。为了将自己无缝整合到我们的社会中，即使在没有人类的直接投入的情况下，这些机器也应具有导航日常工作复杂性的能力。换句话说，我们希望这些机器人了解其合作伙伴的意图，以预测帮助他们的最佳方法。在本文中，我们介绍了Casper（社会感知和在机器人中参与的认知体系结构）：一种象征性认知体系结构，使用定性的空间推理来预测另一个代理的追求目标并计算最佳的协作行为。这是通过平行过程的集合来执行的，该过程对低级动作识别和高级目标理解进行建模，这两者都经过正式验证。我们已经在模拟的厨房环境中测试了这种体系结构，我们收集的结果表明，机器人能够认识到一个持续的目标并适当合作实现其成就。这证明了对定性空间关系的新使用，该空间关系应用于人类机器人相互作用领域的意图阅读问题。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。