Achieving knowledge sharing within an artificial swarm system could lead to significant development in autonomous multiagent and robotic systems research and realize collective intelligence. However, this is difficult to achieve since there is no generic framework to transfer skills between agents other than a query-response-based approach. Moreover, natural living systems have a "forgetfulness" property for everything they learn. Analyzing such ephemeral nature (temporal memory properties of new knowledge gained) in artificial systems has never been studied in the literature. We propose a behavior tree-based framework to realize a query-response mechanism for transferring skills encoded as the condition-action control sub-flow of that portion of the knowledge between agents to fill this gap. We simulate a multiagent group with different initial knowledge on a foraging mission. While performing basic operations, each robot queries other robots to respond to an unknown condition. The responding robot shares the control actions by sharing a portion of the behavior tree that addresses the queries. Specifically, we investigate the ephemeral nature of the new knowledge gained through such a framework, where the knowledge gained by the agent is either limited due to memory or is forgotten over time. Our investigations show that knowledge grows proportionally with the duration of remembrance, which is trivial. However, we found minimal impact on knowledge growth due to memory. We compare these cases against a baseline that involved full knowledge pre-coded on all agents. We found that knowledge-sharing strived to match the baseline condition by sharing and achieving knowledge growth as a collective system.

多机器人和多代理系统通过系统的局部行为集成在组中表现出集体（Swarm）智能。分享有关任务和环境知识的代理商可以提高个人和任务水平的绩效。但是，这很难实现，部分原因是缺乏用于在代理之间转移一部分知识（行为）的通用框架。本文提出了一个新的知识表示框架和一种称为KT-BT：通过行为树的知识转移的转移策略。 KT-BT框架遵循通过在线行为树框架进行查询反应加速机制，在该框架中，代理对未知条件进行广播查询，并使用条件性能控制子流量以适当的知识做出响应。我们嵌入了一种称为StringBT的新型语法结构，该结构编码知识，从而实现行为共享。从理论上讲，我们研究了KT-BT框架的特性，与异质系统相比，整个小组的高知识同质性具有高度知识的性质，而没有能力共享知识。我们在模拟的多机器人搜索和救援问题中广泛验证了我们的框架。结果表明，在各种情况下，成功传递知识转移并提高了群体绩效。我们进一步研究了机会和沟通范围对一组代理商中群体绩效，知识传播和功能异质性的影响，并提供有趣的见解。

如今，合作多代理系统用于学习如何在大规模动态环境中实现目标。然而，在这些环境中的学习是具有挑战性的：从搜索空间大小对学习时间的影响，代理商之间的低效合作。此外，增强学习算法可能遭受这种环境的长时间的收敛。本文介绍了通信框架。在拟议的沟通框架中，代理商学会有效地合作，同时通过引入新的状态计算方法，状态空间的大小将大大下降。此外，提出了一种知识传输算法以共享不同代理商之间的获得经验，并制定有效的知识融合机制，以融合利用来自其他团队成员所收到的知识的代理商自己的经验。最后，提供了模拟结果以指示所提出的方法在复杂学习任务中的功效。我们已经评估了我们对牧羊化问题的方法，结果表明，通过利用知识转移机制，学习过程加速了，通过基于状态抽象概念产生类似国家的状态空间的大小均下降。

Despite recent advances of AI research in many application-specific domains, we do not know how to build a human-level artificial intelligence (HLAI). We conjecture that learning from others' experience with the language is the essential characteristic that distinguishes human intelligence from the rest. Humans can update the action-value function with the verbal description as if they experience states, actions, and corresponding rewards sequences firsthand. In this paper, we present a classification of intelligence according to how individual agents learn and propose a definition and a test for HLAI. The main idea is that language acquisition without explicit rewards can be a sufficient test for HLAI.

稳态使动物活着。这是一个基本过程，使动物可以迅速适应其环境。人工稳态可用于帮助机器人适应不断变化的环境。以前的尝试为机器人开发人工稳态的尝试是由驱动人类稳态的生化机械的模仿驱动的。通过从认知的角度考虑体内平衡，我们开发了一个相对简单的机器人控制器，名为Cogsis（认知稳态），并证明它可以为机器人提供体内平衡，即使有矛盾的需求。我们提出的实验表明，运行COGSIS的机器人能够从以前的经验中学习并利用它们来影响未来的行为。可以在执行另一项任务时保持其充电水平（在与充电站分开的区域中变暖）；并能够在避免矛盾的需求的同时保持其充电水平（当充电站放置在环境的热区域时，保持凉爽）。结果在仿真和来自真实的机器人平台中呈现。

This article presents a survey of literature in the area of Human-Robot Interaction (HRI), specifically on systems containing more than two agents (i.e., having multiple humans and/or multiple robots). We identify three core aspects of ``Multi-agent" HRI systems that are useful for understanding how these systems differ from dyadic systems and from one another. These are the Team structure, Interaction style among agents, and the system's Computational characteristics. Under these core aspects, we present five attributes of HRI systems, namely Team size, Team composition, Interaction model, Communication modalities, and Robot control. These attributes are used to characterize and distinguish one system from another. We populate resulting categories with examples from recent literature along with a brief discussion of their applications and analyze how these attributes differ from the case of dyadic human-robot systems. We summarize key observations from the current literature, and identify challenges and promising areas for future research in this domain. In order to realize the vision of robots being part of the society and interacting seamlessly with humans, there is a need to expand research on multi-human -- multi-robot systems. Not only do these systems require coordination among several agents, they also involve multi-agent and indirect interactions which are absent from dyadic HRI systems. Adding multiple agents in HRI systems requires advanced interaction schemes, behavior understanding and control methods to allow natural interactions among humans and robots. In addition, research on human behavioral understanding in mixed human-robot teams also requires more attention. This will help formulate and implement effective robot control policies in HRI systems with large numbers of heterogeneous robots and humans; a team composition reflecting many real-world scenarios.

群的行为来自代理的局部互动及其环境通常被编码为简单规则。通过观看整体群体行为的视频来提取规则可以帮助我们研究和控制自然界的群体行为，或者是由外部演员设计的人造群体。它还可以作为群体机器人技术灵感的新来源。然而，提取此类规则是具有挑战性的，因为群体的新兴特性与其当地互动之间通常没有明显的联系。为此，我们开发了一种方法，可以自动从视频演示中提取可理解的群体控制器。该方法使用由比较八个高级群指标的健身函数驱动的进化算法。该方法能够在简单的集体运动任务中提取许多控制器（行为树）。然后，我们对导致不同树木但类似行为的行为进行定性分析。这提供了基于观察值自动提取群体控制器的第一步。

这项研究提出了一种分布式算法，该算法通过自动决策，平滑的羊群和分布良好的捕获来使代理的自适应分组捕获多个目标。代理商根据环境信息做出自己的决定。提出了一种改进的人工潜在方法，以使代理能够平稳自然地改变形成以适应环境。拟议的策略确保了群体的协调发展在群体上陷入多个目标的现象。我们使用仿真实验和设计指标来验证提出方法的性能，以分析这些模拟和物理实验。

我们提出了群生物设计灵感觅食基于蚂蚁信息素的部署，其中假设群有非常有限的能力。机器人不需要全局或相对位置测量和群充分分散，需要在地方没有基础设施。此外，该系统只需要在机器人上的网络单跳通信，我们不做出关于通信图的连通性和信息与计算传输的任何假设是可扩展的与代理的数量。这是通过在群充当觅食让剂或作为导向剂（信标）来完成。我们目前的实验结果计算了ELISA的3个机器人的一个模拟器群，并展示如何在群自行组织了一个未知的环境中解决问题觅食，汇聚成各地的最短路径轨迹。最后，我们讨论这样一个系统的局限性，并提出了觅食的效率如何可以增加。

在各种任务和场景中使用多机器人系统的使用越来越兴趣。这种系统的主要吸引力是它们的灵活性，鲁棒性和可扩展性。系统模块化是一个经常被忽视但有希望的功能，它为利用代理专业化提供了可能性，同时还可以实现系统级别的升级。但是，改变代理的能力可以改变最大化系统性能所需的勘探探索示例平衡。在这里，我们研究了群异质性对其探索探索平衡的影响，同时跟踪在对多个移动目标框架的合作多机器人观察下跟踪多个快速移动的回避目标。为此，我们使用分散的搜索和跟踪策略，并具有可调节水平的探索和剥削水平。通过间接调整平衡，我们首先确认这两个关键的竞争动作之间存在最佳平衡。接下来，通过用更快的速度替换较慢的移动剂，我们表明该系统表现出了性能的改进，而无需对原始策略进行任何修改。此外，由于更快的代理商进行了额外的剥削量，我们证明，可以通过降低代理的连接水平来进一步改善异质系统的性能，从而有利于探索性动作的行为。此外，在研究蜂群剂的密度的影响时，我们表明，加快代理的添加可以抵消代理数量的减少，同时保持跟踪性能的水平。最后，我们探索使用差异化策略来利用群体的异质性质的挑战。

群机器人执行觅食任务的适用性受其紧凑的尺寸和成本的启发。需要相当大量的能量来执行这些任务，特别是如果任务是连续和/或重复的。现实世界的情况，其中机器人在保持活力（生存能力）时连续执行任务，并最大限度地提高生产（性能）需要能量意识。本文提出了一种能够有意识的分布式任务分配算法来解决连续任务（例如，无限觅食），用于合作机器人以实现高效的任务。当食物返回收集箱时，我们将效率视为机器人在勘探和收集期间消耗的能量的函数。最后，所提出的节能算法最小化了充电站的总传输时间和在充电时消耗的时间消耗，最大化机器人的寿命，以执行最大的任务，以提高协作机器人的整体效率。我们对典型的贪婪基准战略（将最近的收藏箱分配给可用机器人的最近的收集箱并最大充电）效率和性能在各种方案中的效率和性能。拟议的方法显着提高了基线方法的性能和效率。

临时团队合作是设计可以与新队友合作而无需事先协调的研究问题的研究问题。这项调查做出了两个贡献：首先，它提供了对临时团队工作问题不同方面的结构化描述。其次，它讨论了迄今为止该领域取得的进展，并确定了临时团队工作中需要解决的直接和长期开放问题。

多机器人系统（MRS）是一组协调的机器人，旨在相互合作并完成给定的任务。由于操作环境中的不确定性，该系统可能会遇到紧急情况，例如未观察到的障碍物，移动车辆和极端天气。蜂群等动物群体会引发集体紧急反应行为，例如绕过障碍和避免掠食者，类似于肌肉条件的反射，该反射组织局部肌肉以避免在第一反应中避免危害，而不会延迟通过大脑的危害。受此启发，我们开发了一种类似的集体反射机制，以使多机器人系统应对紧急情况。在这项研究中，基于动物集体行为分析和多代理增强学习（MARL），开发了一种由生物启发的紧急反应机制（MARL）开发的集体条件反射（CCR）。该算法使用物理模型来确定机器人是否经历了紧急情况。然后，通过相应的启发式奖励增强了涉及紧急情况的机器人的奖励，该奖励评估紧急情况和后果并决定当地机器人的参与。 CCR在三个典型的紧急情况下进行了验证：\ textit {湍流，强风和隐藏障碍物}。仿真结果表明，与基线方法相比，CCR以更快的反应速度和更安全的轨迹调整来提高机器人团队的紧急反应能力。

交互式增强学习建议使用外部信息，以加快学习过程。当与学习者互动时，人类可以提供评估或有益的建议。先前的研究通过在交互式增强学习过程中包括实时反馈，专门旨在提高代理商的学习速度，同时最大程度地减少对人类的时间的需求，从而重点关注人类建议的效果。这项工作重点是回答两种评估或信息性的方法中的哪种是人类的首选教学方法。此外，这项工作为人类试验提供了实验设置，旨在比较人们用来提供人类参与建议的方法。获得的结果表明，向学习者提供信息的用户提供了更准确的建议，愿意在更长的时间内为学习者提供帮助，并每集提供更多建议。此外，使用信息丰富的方法的参与者的自我评估表明，与提供评估建议的人相比，代理商遵循建议的能力更高，因此，他们认为自己的建议的准确性更高。

我们的世界越来越被具有不同自治程度的智能机器人所笼罩。为了将自己无缝整合到我们的社会中，即使在没有人类的直接投入的情况下，这些机器也应具有导航日常工作复杂性的能力。换句话说，我们希望这些机器人了解其合作伙伴的意图，以预测帮助他们的最佳方法。在本文中，我们介绍了Casper（社会感知和在机器人中参与的认知体系结构）：一种象征性认知体系结构，使用定性的空间推理来预测另一个代理的追求目标并计算最佳的协作行为。这是通过平行过程的集合来执行的，该过程对低级动作识别和高级目标理解进行建模，这两者都经过正式验证。我们已经在模拟的厨房环境中测试了这种体系结构，我们收集的结果表明，机器人能够认识到一个持续的目标并适当合作实现其成就。这证明了对定性空间关系的新使用，该空间关系应用于人类机器人相互作用领域的意图阅读问题。

In this paper, we elaborate on the design and discuss the results of a multi-agent simulation that we have developed using the PSI cognitive architecture. We demonstrate that imbuing agents with intrinsic needs for group affiliation, certainty and competence will lead to the emergence of social behavior among agents. This behavior expresses itself in altruism toward in-group agents and adversarial tendencies toward out-group agents. Our simulation also shows how parameterization can have dramatic effects on agent behavior. Introducing an out-group bias, for example, not only made agents behave aggressively toward members of the other group, but it also increased in-group cohesion. Similarly, environmental and situational factors facilitated the emergence of outliers: agents from adversarial groups becoming close friends. Overall, this simulation showcases the power of psychological frameworks, in general, and the PSI paradigm, in particular, to bring about human-like behavioral patterns in an emergent fashion.

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

事实证明，在学习环境中，社会智能代理（SIA）的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验，但是，另一方面，这是有代价的，因为该方案及其创作的复杂性可能变得霸道。在本文中，我们介绍了可解释的社会代理创作工具的概念，目的是分析社会代理的创作工具是否可以理解和解释。为此，我们检查了创作工具Fatima-Toolkit是否可以理解，并且从作者的角度来看，其创作步骤可以解释。我们进行了两项用户研究，以定量评估Fatima-Toolkit的解释性，可理解性和透明度，从场景设计师的角度来看。关键发现之一是，法蒂玛 - 库尔基特（Fatima-Toolkit）的概念模型通常是可以理解的，但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面，但仍需要取得进展，以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案，可以指导开发人员构建此类工具。

多个代理的分布式任务分配引发了基本和新的控制理论和机器人问题。新的挑战是开发分布式算法，它动态地将任务分配给多个代理，而不是依赖于先前的分配信息。这项工作提出了一种基于消息到期的验证方法的多机器人任务管理的分布式方法。我们的方法通过使用基于距离和时间戳的测量来处理分布式多机器人系统中的断开引起的冲突，以验证每个机器人的任务分配。机器人模拟器平台中的仿真实验已经验证了所提出的方法的有效性。