DCOP algorithms usually rely on interaction graphs to operate. In open and dynamic environments, such methods need to address how this interaction graph is generated and maintained among agents. Existing methods require reconstructing the entire graph upon detecting changes in the environment or assuming that new agents know potential neighbors to facilitate connection. We propose a novel distributed interaction graph construction algorithm to address this problem. The proposed method does not assume a predefined constraint graph and stabilizes after disruptive changes in the environment. We evaluate our approach by pairing it with existing DCOP algorithms to solve several generated dynamic problems. The experiment results show that the proposed algorithm effectively constructs and maintains a stable multi-agent interaction graph for open and dynamic environments.

Amoebot模型将主动的可编程物质抽象为简单的计算元素的集合，称为Amoebot，它们在本地交互以集体完成协调和运动任务。自2014年SPAA推出以来，越来越多的文献已经改编了其对各种问题的假设。但是，如果没有标准化的假设层次结构，则很难对Amoebot模型下的结果进行精确的系统比较。我们提出了规范的Amoebot模型，该模型是一个更新的形式化，可区分核心模型特征和假设变体系列。规范Amoebot模型解决的关键改进是并发。现有的许多文献隐含地假设Amoebot动作是孤立且可靠的，将分析降低到一个顺序设置，其中最多一次是Amoebot活跃的。但是，实际可编程系统是并发的。 Canonical Amoebot模型将所有Amoebot通信形式化为消息传递，利用并发执行的对抗激活模型。在这种颗粒状的时间处理下，我们采用两种互补方法来并发算法设计。我们首先在任何并发执行下建立一组足够的条件，以实现算法正确性，将并发控制直接嵌入算法设计中。然后，我们提出了一个并发控制框架，该框架使用锁来转换在顺序设置中终止的Amoebot算法，并满足某些约定在并发设置中表现出等效行为的算法中的某些约定。作为案例研究，我们使用简单的六边形形成算法证明了这两种方法。共同的Amoebot模型以及这些并发算法设计的互补方法设计开放的新方向，用于分布式计算可编程问题。

基于代理的建模（ABM），仿真（ABS）和分布式计算（ABC）是建立的方法。互联网和基于Web的技术是合适的运营商。本文是一份技术报告，其中具有JavaScript Agent Machine（JAM）平台的某些教程，以及使用AgentJS编程的代理程序，该代理是广泛使用的JavaScript编程语言的子集，用于编程基于移动状态的反应性代理。除了解释特定设计选择的动机以及在JavaScript中介绍架构和代理编程的核心概念外，简短示例还说明了JAM平台的功能及其组件，用于部署大型多机构系统在强大的强大中诸如互联网之类的异质环境。果酱适合在强大的异质和移动环境中部署。最后，果酱可用于ABC以及在统一方法中用于ABS，最终使移动人群感测和模拟（ABS）。

在以并发方式解决团队范围的任务时，多机构系统可能非常有效。但是，如果没有正确的同步，则很难保证合并行为的正确性，例如遵循子任务的特定顺序或同时进行协作。这项工作解决了在复杂的全球任务下，将最低时间的任务计划问题称为线性时间逻辑（LTL）公式。这些任务包括独立本地动作和直接子团队合作的时间和空间要求。提出的解决方案是一种随时随地的算法，结合了对任务分解的基础任务自动机的部分顺序分析，以及用于任务分配的分支和绑定（BNB）搜索方法。提供最小的完成时间的合理性，完整性和最佳性分析。还表明，在搜索范围内持续在时间预算之内，可以迅速达成可行且近乎最佳的解决方案。此外，为了处理在线执行期间任务持续时间和代理失败的波动，提出了适应算法来同步执行状态并动态地重新分配未完成的子任务以保持正确性和最佳性。两种算法通过数值模拟和硬件实验在大规模系统上进行了严格的验证，该算法对几个强基地进行了验证。

本文使用JACAMO框架提供了多代理系统（MAS）的运行时验证（RV）方法。我们的目标是为MAS带来一层安全性。该层能够在系统执行过程中控制事件，而无需在每个代理的行为中进行特定的实现来识别事件。MAS已在混合智能的背景下使用。这种使用需要软件代理与人类之间的通信。在某些情况下，通过自然语言对话进行沟通。但是，这种沟通使我们引起了与控制对话流有关的关注，因此代理可以防止讨论主题的任何变化可能会损害其推理。我们证明了一个监视器的实施，该监视器旨在控制MAS中的对话流，该对话流通过自然语言与用户沟通以帮助医院病床分配的决策。

移动机器人的推理和计划是一个具有挑战性的问题，随着世界的发展，机器人的目标可能会改变。解决这个问题的一种技术是目标推理，代理人不仅原因是其行动的原因，而且还要实现哪些目标。尽管已经对单个代理的目标推理进行了广泛的研究，但分布式，多代理目标推理带来了其他挑战，尤其是在分布式环境中。在这种情况下，必须进行某种形式的协调以实现合作行为。先前的目标推理方法与其他代理商共享代理商的世界模型，这已经实现了基本的合作。但是，代理商的目标及其意图通常没有共享。在本文中，我们提出了一种解决此限制的方法。扩展了现有的目标推理框架，我们建议通过承诺在多个代理之间实现合作行为，在这种情况下，代理商可能会保证某些事实在将来的某个时候将是正确的。分享这些诺言使其他代理人不仅可以考虑世界的当前状态，而且还可以在决定下一步追求哪个目标时其他代理商的意图。我们描述了如何将承诺纳入目标生命周期，这是一种常用的目标改进机制。然后，我们通过将PDDL计划的定时初始文字（TIL）连接到计划特定目标时如何使用承诺。最后，我们在简化的物流方案中评估了我们的原型实现。

分层多代理系统提供了分析，模型和模拟复杂系统的方便和相关的方式，这些方法由不同的抽象级别交互的大量实体组成。在本文中，我们引入了哈姆雷特（基于等级代理的机器学习平台），一个基于分层多种代理系统的混合机学习平台，促进了地理上和/或本地分布式机器学习实体的研究和民主化。所提出的系统模拟了一种机器学习解决方案，作为超图，并根据其先天的能力和学习技能自主地建立异质代理的多级结构。哈姆雷特辅助机器学习系统的设计和管理，并为研究社区提供分析功能，以通过灵活和可定制的查询评估现有和/或新算法/数据集。所提出的混合机器学习平台不承担对学习算法/数据集的类型的限制，并且理论上被证明是声音，并且具有多项式计算要求。此外，它是在120次训练和四个在24台机器学习算法和9个标准数据集上执行的四个广义批量测试任务的经验检查。提供的实验结果不仅在平台的一致性和正确性方面建立了信心，而且还证明了其测试和分析能力。

这篇简短的评论旨在使读者熟悉与计划，调度和学习有关的最新作品。首先，我们研究最先进的计划算法。我们简要介绍神经网络。然后，我们更详细地探索图形神经网络，这是一种适合处理图形结构输入的神经网络的最新变体。我们简要描述了强化学习算法和迄今为止设计的一些方法的概念。接下来，我们研究了一些成功的方法，结合了用于路径规划的神经网络。最后，我们专注于不确定性的时间计划问题。

传统上，交通事故管理（TIM）计划协调紧急资源的部署到即时事件请求，而无需容纳环境中事件演变的相互依存关系。但是，忽略对环境中事件在当前部署决策的过程中的固有相互依赖性是短暂的，而由此产生的幼稚部署策略可能会大大恶化整个事件延迟对网络的影响。环境中事件进化的相互依存关系，包括事件事件之间的事件，以及在近未实现请求中的资源可用性与预期的即时事件请求期间的持续时间之间的相互依存关系，应在进行当前阶段部署时通过浏览模型来考虑决定。这项研究基于分布式约束优化问题（DCOP）开发了一个新的主动框架，以解决上述局限性，克服了无法适应TIM问题中依赖关系的常规TIM模型。此外，配制了优化目标以纳入无人机（UAV）。无人机在蒂姆（Tim）中的作用包括探索不确定的交通状况，检测出意外事件以及从道路交通传感器中增加信息。我们对多个TIM情景模型的鲁棒性分析显示了使用本地搜索启发式方法显示令人满意的性能。总体而言，我们的模型报告说，与常规TIM模型相比，总事件延迟的大幅减少。在无人机的支持下，我们证明了通过紧急车辆较短的响应时间的总体事件延迟进一步减少，并且与估计的事件延迟影响相关的不确定性减少。

航空公司中断管理传统上寻求满足三个问题尺寸：飞机调度，船员调度和乘客调度。然而，目前的努力最多只解决了同时解决了前两个问题维度，并且不考虑一个维度在另一个维度上的不确定调度结果的传播效果。此外，现有航空公司中断管理方法包括人类专家，他们决定航空公司时间表中的必要纠正措施。然而，人类专家的能力受到处理大量信息的必要性，以便在中断管理中同时解决所有问题维度的强大决策。因此，需要增加人类专家的决策能力，具有可以在航空公司中断管理中的所有维度之间合理化复杂的相互作用的定量和定性工具，并为航空公司运营控制中心的专家提供客观的见解。为此，我们通过智能多助理系统在航空公司中断管理期间，通过采用人工智能和分布式分析技术原则的智能多助理系统，提供讨论和证明迅速的同时综合恢复所有问题尺寸的迅速综合恢复。结果表明，我们在多项式时间中同时综合恢复的范例在多项式时间中执行，并且当航空公司路线网络中的所有航班被中断时是有效的。

A quantitative assessment of the global importance of an agent in a team is as valuable as gold for strategists, decision-makers, and sports coaches. Yet, retrieving this information is not trivial since in a cooperative task it is hard to isolate the performance of an individual from the one of the whole team. Moreover, it is not always clear the relationship between the role of an agent and his personal attributes. In this work we conceive an application of the Shapley analysis for studying the contribution of both agent policies and attributes, putting them on equal footing. Since the computational complexity is NP-hard and scales exponentially with the number of participants in a transferable utility coalitional game, we resort to exploiting a-priori knowledge about the rules of the game to constrain the relations between the participants over a graph. We hence propose a method to determine a Hierarchical Knowledge Graph of agents' policies and features in a Multi-Agent System. Assuming a simulator of the system is available, the graph structure allows to exploit dynamic programming to assess the importances in a much faster way. We test the proposed approach in a proof-of-case environment deploying both hardcoded policies and policies obtained via Deep Reinforcement Learning. The proposed paradigm is less computationally demanding than trivially computing the Shapley values and provides great insight not only into the importance of an agent in a team but also into the attributes needed to deploy the policy at its best.

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

我们提出了一个新的图形神经网络，我们称为AgentNet，该网络专为图形级任务而设计。 AgentNet的灵感来自子宫性算法，具有独立于图形大小的计算复杂性。代理Net的体系结构从根本上与已知图神经网络的体系结构不同。在AgentNet中，一些受过训练的\ textit {神经代理}智能地行走图，然后共同决定输出。我们提供了对AgentNet的广泛理论分析：我们表明，代理可以学会系统地探索其邻居，并且AgentNet可以区分某些甚至3-WL无法区分的结构。此外，AgentNet能够将任何两个图形分开，这些图在子图方面完全不同。我们通过在难以辨认的图和现实图形分类任务上进行合成实验来确认这些理论结果。在这两种情况下，我们不仅与标准GNN相比，而且与计算更昂贵的GNN扩展相比。

协调图是一种有前途的模型代理协作在多智能体增强学习中的合作方法。它将一个大的多代理系统分解为代表底层协调依赖性的重叠组套件。此范例中的一个危急挑战是计算基于图形的值分子的最大值动作的复杂性。它指的是分散的约束优化问题（DCOP），其恒定比率近似是NP - 硬问题。为了绕过这一基本硬度，提出了一种新的方法，命名为自组织的多项式协调图（SOP-CG），它使用结构化图表来保证具有足够功能表达的所致DCOP的最优性。我们将图形拓扑扩展为状态依赖性，将图形选择作为假想的代理商，最终从统一的Bellman Optimaly方程中获得端到端的学习范例。在实验中，我们表明我们的方法了解可解释的图形拓扑，诱导有效的协调，并提高各种合作多功能机构任务的性能。

现代分布式系统受到耐故障算法的支持，例如可靠的广播和共识，即使系统的某些节点失败，也可以确保系统的正确操作。但是，分布式算法的开发是一个手动且复杂的过程，导致科学论文通常呈现单一算法或现有算法的变化。为了自动化开发此类算法的过程，这项工作提出了一种使用强化学习来生成正确且有效耐受性分布式分布式算法的智能代理。我们表明，我们的方法能够在仅12,000个学习剧集中生成正确的耐受性可靠的广播算法，而文献中的其他人则具有相同的性能。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

随着云计算的发展，大型企业的兴起将其基础架构和工作量扩展到公共云中。本文提出了一个全面的框架，用于基于云资源的基于信仰的云层（BDI）多代理的云市场系统。Cloud Marketplace系统中的每个方都支持BDI代理进行自主决策和谈判，以促进自动化的资源。此外，来自企业竞争相同云资源的多个BDI代理可以通过大师谈判清算房屋相互协商，以最大程度地减少企业的总成本功能，同时谈判云资源。通过行为规范的任务和代理商的声誉指数进一步增强了云市场系统，以促进他们之间的信任。

多机器人和多代理系统通过系统的局部行为集成在组中表现出集体（Swarm）智能。分享有关任务和环境知识的代理商可以提高个人和任务水平的绩效。但是，这很难实现，部分原因是缺乏用于在代理之间转移一部分知识（行为）的通用框架。本文提出了一个新的知识表示框架和一种称为KT-BT：通过行为树的知识转移的转移策略。 KT-BT框架遵循通过在线行为树框架进行查询反应加速机制，在该框架中，代理对未知条件进行广播查询，并使用条件性能控制子流量以适当的知识做出响应。我们嵌入了一种称为StringBT的新型语法结构，该结构编码知识，从而实现行为共享。从理论上讲，我们研究了KT-BT框架的特性，与异质系统相比，整个小组的高知识同质性具有高度知识的性质，而没有能力共享知识。我们在模拟的多机器人搜索和救援问题中广泛验证了我们的框架。结果表明，在各种情况下，成功传递知识转移并提高了群体绩效。我们进一步研究了机会和沟通范围对一组代理商中群体绩效，知识传播和功能异质性的影响，并提供有趣的见解。

在多代理路径查找（MAPF）问题中，一组在图表上移动的代理必须达到其自身各自的目的地，而无需间间冲突。在实用的MAPF应用中，如自动仓库导航，偶尔有数百个或更多代理商，MAPF必须在终身基础上迭代地解决。这种情景排除了离线计算密集型最佳方法的简单调整;因此，可扩展的子最优算法用于此类设置。理想的可扩展算法适用于可预测计算时间的迭代方案和输出合理的解决方案。对于上述目的，在本研究中，提出了一种具有回溯（PIBT）的优先级继承的新型算法以迭代地解决MAPF。 PIBT依赖于适应性优先级方案，专注于多个代理的相邻运动;因此它可以应用于若干域。我们证明，无论其数量如何，当环境是图形时，所有代理都保证在有限的时间内达到目的地，使得所有相邻节点属于一个简单的周期（例如，双绞线）。实验结果涵盖了各种场景，包括真正的机器人演示，揭示了所提出的方法的好处。即使用数百种代理商，PIBT也会立即产生可接受的解决方案，可以解决其他事实上MAPF方法的大型情况。此外，PIBT在运行时和解决方案质量的自动化仓库中的传送包中的迭代方案上占据了现有方法。

大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。