我们引入了一种称为吉祥物（具有最佳传输的多代理形状控制）的方法，以计算具有形状/形成/密度约束的剂的最佳控制溶液。例如，我们可能希望在代理商上应用形状约束 - 也许我们希望代理人沿着路径保持特定的形状，或者我们希望代理商分散以最大程度地减少碰撞。我们可能还希望一定比例的代理移动到一个目的地，而其他代理人则移至另一个目的地，并以最佳方式进行此操作，即源点性作业应该是最佳的。为了实现这一目标，我们利用地球移动器从最佳运输的距离将代理分配到适当的位置，以便可以满足某些形状。该成本都以终端成本以及最佳控制问题的运行成本引入。

尽管动态游戏为建模代理的互动提供了丰富的范式，但为现实世界应用程序解决这些游戏通常具有挑战性。许多现实的交互式设置涉及一般的非线性状态和输入约束，它们彼此之间的决策相结合。在这项工作中，我们使用约束的游戏理论框架开发了一个高效且快速的计划者，用于在受限设置中进行交互式计划。我们的关键见解是利用代理的目标和约束功能的特殊结构，这些功能在多代理交互中进行快速和可靠的计划。更确切地说，我们确定了代理成本功能的结构，在该结构下，由此产生的动态游戏是受约束潜在动态游戏的实例。受限的潜在动态游戏是一类游戏，而不是解决一组耦合的约束最佳控制问题，而是通过解决单个约束最佳控制问题来找到NASH平衡。这简化了限制的交互式轨迹计划。我们比较了涉及四个平面代理的导航设置中方法的性能，并表明我们的方法平均比最先进的速度快20倍。我们进一步在涉及一个四型和两个人的导航设置中对我们提出的方法提供了实验验证。

热方程驱动区域覆盖范围（HEDAC）是由潜在场的梯度引导的最先进的多机颈运动控制。特此实施有限元方法以获得Helmholtz部分微分方程的解决方案，该方程对测量运动控制的潜在字段进行了建模。这使我们能够调查任意形状的领域，并以优雅而健壮的方式包括Hedac的基本想法。对于简单的运动运动运动，通过将试剂运动用电位的梯度引导，可以成功处理障碍和边界避免限制。但是，包括其他约束，例如固定障碍物和移动障碍物的最小间隙距离以及最小的路径曲率半径，都需要控制算法的进一步交替。我们通过基于无碰撞逃生路线操纵的直接优化问题制定了一种相对简单但可靠的方法来处理这些约束的方法。这种方法提供了保证的避免碰撞机制，同时由于优化问题分配而在计算上是便宜的。在三个现实的测量场景模拟中评估了所提出的运动控制，显示了测量的有效性和控制算法的鲁棒性。此外，突出了由于定义不当的测量场景而引起的潜在操纵困难，我们提供了有关如何超越它们的指南。结果是有希望的，并表明了对自主测量和潜在的其他HEDAC利用的拟议受限的多代理运动控制的现实适用性。

这项研究提出了一种分布式算法，该算法通过自动决策，平滑的羊群和分布良好的捕获来使代理的自适应分组捕获多个目标。代理商根据环境信息做出自己的决定。提出了一种改进的人工潜在方法，以使代理能够平稳自然地改变形成以适应环境。拟议的策略确保了群体的协调发展在群体上陷入多个目标的现象。我们使用仿真实验和设计指标来验证提出方法的性能，以分析这些模拟和物理实验。

形成控制问题是群体智能领域中最关心的主题之一，通常通过常规数学方法来解决。然而，在本文中，我们提出了一种元疗法方法，该方法利用了一种自然的共同进化策略来解决一群导弹的形成控制问题。导弹群是由具有异质参考目标的二阶系统建模的，并将指数误差函数作为目标函数，以使群体融合到满足某些形成要求的最佳平衡状态。为了关注本地最佳和不稳定进化的问题，我们纳入了一种新颖的基于模型的政策约束和人口适应策略，从而大大减轻了绩效退化。通过在网络通信领域中应用Molloy reed标准，我们开发了一种自适应拓扑方法，该方法可以通过理论和实验验证节点失败及其有效性下的连通性及其有效性。实验结果有助于提议的形成控制方法的有效性。更重要的是，我们表明将通用形成控制问题视为马尔可夫决策过程（MDP）并通过迭代学习解决它是可行的。

在过去的二十年中，对机器人羊群的研究受到了极大的关注。在本文中，我们提出了一种约束驱动的控制算法，该算法可最大程度地减少单个试剂的能耗并产生新兴的V形成。随着代理之间的分散相互作用的形成出现，我们的方法对自发添加或将代理去除为系统是强大的。首先，我们提出了一个分析模型，用于在固定翼无人机后面的尾巴上洗涤，并得出了尾随无人机以最大化其旅行耐力的最佳空气速度。接下来，我们证明，简单地在最佳空速上飞行将永远不会导致新兴的羊群行为，并且我们提出了一种新的分散的“ Anseroid”行为，从而产生出现的V形成。我们用约束驱动的控制算法编码这些行为，该算法最小化每个无人机的机车能力。最后，我们证明，在我们提出的控制法律下，以近似V或eChelon形成初始化的无人机将融合，我们证明了这种出现在模拟和与Crazyflie四肢旋转机队的实验中实时发生。

平均场游戏（MFGS）是针对具有大量交互代理的系统的建模框架。他们在经济学，金融和游戏理论中有应用。标准化流（NFS）是一个深层生成模型的家族，通过使用可逆映射来计算数据的可能性，该映射通常通过使用神经网络进行参数化。它们对于密度建模和数据生成很有用。尽管对这两种模型进行了积极的研究，但很少有人注意到两者之间的关系。在这项工作中，我们通过将NF的训练视为解决MFG来揭示MFGS和NFS之间的联系。这是通过根据试剂轨迹重新解决MFG问题的实现，并通过流量体系结构对所得MFG的离散化进行参数化。通过这种联系，我们探讨了两个研究方向。首先，我们采用表达的NF体系结构来准确地求解高维MFG，以避开传统数值方法中维度的诅咒。与其他深度学习方法相比，我们的基于轨迹的公式编码神经网络中的连续性方程，从而更好地近似人口动态。其次，我们对NFS进行运输成本的培训正规，并显示了控制模型Lipschitz绑定的有效性，从而获得了更好的概括性能。我们通过对各种合成和现实生活数据集的全面实验来展示数值结果。

在这项工作中，我们提出了一种新型的安全且可扩展的分散解决方案，以在存在随机干扰的情况下进行多代理控制。使用随机控制屏障功能在数学上编码安全性，并通过求解二次程序来计算安全控制。通过增强每个代理的优化变量，复制变量，为其邻居增强，可以实现权力下放。这使我们能够将集中式多代理优化问题解脱出来。但是，为了确保安全，邻近的代理商必须就“我们俩安全的安全”达成共识，这产生了共识。为了实现安全共识解决方案，我们结合了一种基于ADMM的方法。具体而言，我们提出了一个合并的CADMM-OSQP隐式神经网络层，该网络层解决了局部二次程序的迷你批次以及总体共识问题，作为单个优化问题。该层在每个时间步骤中都嵌入了Deep FBSDES网络体系结构中，以促进端到端可区分，安全和分散的随机最佳控制。在模拟中的几个具有挑战性的多机器人任务中，证明了所提出的方法的功效。通过对避免碰撞限制指定的安全要求强加要求，可以在整个培训过程中确保所有代理的安全操作。与集中式方法相比，我们还可以在计算和内存节省方面表现出卓越的可伸缩性。

本文开发了一个分布式可区分的动态游戏（DDDG）框架，该框架可以从演示中学习多机器人协调。我们将多机器人协调表示为动态游戏，其中机器人的行为由其自身的动态和目标决定，这也取决于他人的行为。因此，可以通过调整每个机器人的客观和动力学来调整协调。提出的DDDG使每个机器人能够以分布式方式自动调整其单个动力学和目标，从而最大程度地减少其轨迹和演示之间的不匹配。此过程需要前向通道的新分布式设计，在该设计中，所有机器人都协作寻求NASH均衡行为，以及一个向后通行，在该阶段通过通信图传播梯度。我们在仿真中测试了DDDG，并给定不同任务配置的四个小组。结果证明了DDDG从演示中学习多机器人协调的能力

本文介绍了一个新颖的社会偏好意识分散的安全控制框架，以解决避免多机构碰撞的责任分配问题。考虑到代理不一定会以对称方式进行合作，本文着重于具有不同合作水平的异质代理之间的半合作行为。利用社会价值取向（SVO）来量化个人自私的思想，我们提出了一个新颖的责任相关社会价值取向（R-SVO）的新颖概念，以表达成对代理之间的预期相对社会含义。这用于根据相应的责任份额来重新定义每个代理商的社会偏好或个性，以促进协调方案，例如所有代理商以不对称方式互动的半合件碰撞避免。通过通过拟议的本地成对责任权重纳入这种相对的社会影响，我们为个人代理人开发了与责任相关的控制屏障功能的安全控制框架，并通过正式可证明的安全保证可以实现多代理碰撞的避免。提供了模拟来证明在多个多代理导航任务中所提出的框架的有效性和效率，例如位置交换游戏，自动驾驶汽车公路公路坡道合并方案以及圆形交换游戏。

多种子体形成以及障碍物避免是多助理系统领域最受研究的主题之一。虽然一些经典控制器等模型预测控制（MPC）和模糊控制实现了一定的成功措施，但大多数都需要在恶劣环境中无法访问的精确全局信息。另一方面，一些基于加强学习（RL）的方法采用了领导者 - 跟随器结构来组织不同的代理行为，这使得造成诸如机动性和鲁棒性的瓶颈之间的代理之间的合作。在本文中，我们提出了一种基于多功能钢筋学习（Marl）的分布式形成和障碍避免方法。我们系统中的代理只能利用本地和相关信息来分发决策和控制自己。在多代理系统中的代理将在任何断开连接的情况下快速重新组织到新的拓扑中。与基线（经典控制方法和其他基于RL的方法）相比，我们的方法实现了更好的形成误差，形成收敛速度和障碍物的成功率的成功率。通过使用Ackermann-tenting车辆的模拟和硬件实现来验证我们的方法的可行性。

在本文中，我们提出了一个新的框架，用于对未知环境的多代理协作探索。提出的方法结合了映射，安全走廊生成和多代理计划中的最新算法。它首先需要我们要探索的卷，然后继续为多个代理提供不同的目标，以探索该卷的体素网格。当所有体素被发现为自由或占据时，探索结束，或者没有发现其余未发现的体素的路径。最先进的计划算法使用时间认知的安全走廊来确保机体内碰撞安全以及静态障碍的安全性。提出的方法以最多4个代理商的最高模拟器状态进行了测试。

本文解决了机器人的问题，可以协作将电缆带到指定的目标位置，同时避免实时碰撞。引入电缆（与刚性链接相反）使机器人团队能够通过电缆的松弛/拉特开关更改其内在尺寸，从而使机器人团队能够穿越狭窄的空间。但是，这是一个具有挑战性的问题，因为混合模式开关以及多个机器人和负载之间的动态耦合。以前解决此类问题的尝试是离线执行的，并且不考虑避免在线障碍。在本文中，我们介绍了一个级联的计划方案，并采用平行的集中式轨迹优化，涉及混合模式开关。我们还每个机器人开发了一组分散的计划者，这使我们可以解决在线协作负载操作问题的方法。我们开发并演示了第一个能够移动有线电视载荷的首个协作自治框架之一，该框架太重了，无法通过一个机器人移动，通过狭窄空间，具有实时反馈和实验中的反应性计划。

我们展示了通过大规模多代理端到端增强学习的大射击可转移到真正的四轮压力机的无人驾驶群体控制器的可能性。我们培训由神经网络参数化的政策，该政策能够以完全分散的方式控制群体中的各个无人机。我们的政策，在具有现实的四轮流物理学的模拟环境中训练，展示了先进的植绒行为，在紧张的地层中执行侵略性的操作，同时避免彼此的碰撞，破裂和重新建立地层，以避免与移动障碍的碰撞，并有效地协调追求障碍，并有效地协调追求逃避任务。在模拟中，我们分析了培训制度的不同模型架构和参数影响神经群的最终表现。我们展示了在模拟中学习的模型的成功部署到高度资源受限的物理四体体执行站保持和目标交换行为。在Propers网站上提供代码和视频演示，在https://sites.google.com/view/swarm-rl上获得。

We present hierarchical policy blending as optimal transport (HiPBOT). This hierarchical framework adapts the weights of low-level reactive expert policies, adding a look-ahead planning layer on the parameter space of a product of expert policies and agents. Our high-level planner realizes a policy blending via unbalanced optimal transport, consolidating the scaling of underlying Riemannian motion policies, effectively adjusting their Riemannian matrix, and deciding over the priorities between experts and agents, guaranteeing safety and task success. Our experimental results in a range of application scenarios from low-dimensional navigation to high-dimensional whole-body control showcase the efficacy and efficiency of HiPBOT, which outperforms state-of-the-art baselines that either perform probabilistic inference or define a tree structure of experts, paving the way for new applications of optimal transport to robot control. More material at https://sites.google.com/view/hipobot

碰撞避免算法对许多无人机应用程序具有核心兴趣。特别地，分散的方法可以是在集中通信变得过艰巨的情况下启用强大的无人机群解决方案的关键。在这项工作中，我们从椋鸟（Ventgaris）的群群中汲取生物启示，并将洞察力应用于结尾学的分散碰撞避免。更具体地，我们提出了一种新的，可伸缩的观察模型，其仿生最近邻的信息约束，导致快速学习和良好的碰撞行为。通过提出一般加强学习方法，我们获得了基于端到端的学习方法，以通过包装收集和形成变化等任意任务集成碰撞避免。为了验证这种方法的一般性，我们通过中等复杂性的运动模型成功地应用了我们的方法，建模势头，仍然可以与标准PID控制器结合使用直接应用。与事先作品相比，我们发现，在我们足够丰富的运动模型中，最近的邻居信息确实足以学习有效的碰撞行为。我们的学习政策在模拟中进行了测试，随后转移到现实世界的无人机，以验证其现实世界的适用性。

This paper presents trajectory planning for three-dimensional autonomous multi-UAV volume coverage and visual inspection based on the Heat Equation Driven Area Coverage (HEDAC) algorithm. The method designs a potential field to achieve the target density and generate trajectories using potential gradients to direct UAVs to regions of a higher potential. Collisions are prevented by implementing a distance field and correcting the agent's directional vector if the distance threshold is reached. The method is successfully tested for volume coverage and visual inspection of complex structures such as wind turbines and a bridge. For visual inspection, the algorithm is supplemented with camera direction control. A field containing the nearest distance from any point in the domain to the structure is designed and this field's gradient provides the camera orientation throughout the trajectory. The bridge inspection test case is compared with a state-of-the-art method where the HEDAC algorithm allowed more surface area to be inspected under the same conditions. The limitations of the HEDAC method are analyzed, focusing on computational efficiency and adequacy of spatial coverage to approximate the surface coverage. The proposed methodology offers flexibility in various setup parameters and is applicable to real-world inspection tasks.

了解来自群体中集体行为的分散性动态对于通知人工群和多态机械系统中的机器人控制器设计至关重要。然而，代理人与代理人的相互作用和大多数群体的分散性质对来自全球行为的单机器人控制法的提取构成重大挑战。在这项工作中，我们考虑完全基于群体轨迹的国家观察学习分散单机器人控制器的重要任务。我们通过采用基于知识的神经常规方程（KNODE）来提出一般框架 - 一种能够将人工神经网络与已知代理动态组合的混合机学习方法。我们的方法与大多数事先有关的方法区分，因为我们不需要学习的行动数据。我们分别在2D和3D中将框架应用于两个不同的植绒群，并通过利用群体信息网络的图形结构来展示有效的培训。我们进一步表明，学习的单机器人控制器不仅可以重现原始群体中的植绒行为，而且还可以使用更多机器人来扩展到群体。

在本文中，我们引入了一种半居中的控制技术，用于在不确定的遮挡环境中运送脆弱物体到目的地的一群机器人。建议的方法已分为两部分。初始部分（第1阶段）包括一种集中的控制策略，用于在代理之间创建特定的形成，以便可以将要运输的对象正确放在系统顶部。我们提出了一种与基于圆形区域的形状控制方法融合在一起的新型三角填料方案，用于在机器人之间创建刚性配置。在后面的部分（第2阶段），需要群体系统以采用基于区域的形状控制方法的分散方式将对象传达到目的地。模拟结果以及比较研究证明了我们提出的方案的有效性。

Collaborative autonomous multi-agent systems covering a specified area have many potential applications, such as UAV search and rescue, forest fire fighting, and real-time high-resolution monitoring. Traditional approaches for such coverage problems involve designing a model-based control policy based on sensor data. However, designing model-based controllers is challenging, and the state-of-the-art classical control policy still exhibits a large degree of suboptimality. In this paper, we present a reinforcement learning (RL) approach for the multi-agent coverage problem involving agents with second-order dynamics. Our approach is based on the Multi-Agent Proximal Policy Optimization Algorithm (MAPPO). To improve the stability of the learning-based policy and efficiency of exploration, we utilize an imitation loss based on the state-of-the-art classical control policy. Our trained policy significantly outperforms the state-of-the-art. Our proposed network architecture includes incorporation of self attention, which allows a single-shot domain transfer of the trained policy to a large variety of domain shapes and number of agents. We demonstrate our proposed method in a variety of simulated experiments.