了解来自群体中集体行为的分散性动态对于通知人工群和多态机械系统中的机器人控制器设计至关重要。然而，代理人与代理人的相互作用和大多数群体的分散性质对来自全球行为的单机器人控制法的提取构成重大挑战。在这项工作中，我们考虑完全基于群体轨迹的国家观察学习分散单机器人控制器的重要任务。我们通过采用基于知识的神经常规方程（KNODE）来提出一般框架 - 一种能够将人工神经网络与已知代理动态组合的混合机学习方法。我们的方法与大多数事先有关的方法区分，因为我们不需要学习的行动数据。我们分别在2D和3D中将框架应用于两个不同的植绒群，并通过利用群体信息网络的图形结构来展示有效的培训。我们进一步表明，学习的单机器人控制器不仅可以重现原始群体中的植绒行为，而且还可以使用更多机器人来扩展到群体。

在本文中，我们使用基于视觉的图形聚合和推理（VGAI）呈现了一种感知 - 动作通信环路设计。这种多代理分散的学习 - 控制框架将原始的视觉观测映射到代理操作，并通过相邻代理之间的本地通信提供帮助。我们的框架是由圆形卷积和图形神经网络（CNN / GNN）的级联实现，寻址代理级视觉感知和特征学习，以及群级通信，本地信息聚合和代理动作推断。通过联合训练CNN和GNN，结合了解图像特征和通信消息以更好地解决特定任务。我们使用模仿学习在离线阶段训练VGAI控制器，依赖于集中式专家控制器。这导致学习的VGAI控制器可以以分布式方式部署以进行在线执行。此外，控制器展示了良好的缩放性质，在较大的团队中具有较小的团队和应用程序的培训。通过多代理植入应用程序，我们证明VGAI产生与其他分散的控制器相当或更好地使用视觉输入模态，而不访问精确的位置或运动状态信息。

我们展示了通过大规模多代理端到端增强学习的大射击可转移到真正的四轮压力机的无人驾驶群体控制器的可能性。我们培训由神经网络参数化的政策，该政策能够以完全分散的方式控制群体中的各个无人机。我们的政策，在具有现实的四轮流物理学的模拟环境中训练，展示了先进的植绒行为，在紧张的地层中执行侵略性的操作，同时避免彼此的碰撞，破裂和重新建立地层，以避免与移动障碍的碰撞，并有效地协调追求障碍，并有效地协调追求逃避任务。在模拟中，我们分析了培训制度的不同模型架构和参数影响神经群的最终表现。我们展示了在模拟中学习的模型的成功部署到高度资源受限的物理四体体执行站保持和目标交换行为。在Propers网站上提供代码和视频演示，在https://sites.google.com/view/swarm-rl上获得。

多机器人自适应抽样问题旨在为机器人团队找到轨迹，以有效地对机器人的给定耐力预算中的感兴趣现象进行采样。在本文中，我们使用分散的多代理增强学习来提出一种可靠，可扩展的方法，用于准静态环境过程的合作自适应采样（MARLAS）。鉴于该领域的先验采样，该提议的方法学习了一个机器人团队的分散政策，以在固定预算范围内采样高实现区域。多机器人自适应采样问题要求机器人彼此协调，以避免重叠的采样轨迹。因此，我们编码机器人之间的邻居位置和间歇性通信在学习过程中的估计值。我们评估了Marlas对多个性能指标的评估，发现它的表现优于其他基线多机器人采样技术。我们进一步证明了与机器人团队的大小和所采样区域的大小相对于通信失败和可伸缩性的鲁棒性。实验评估既是对真实数据的模拟，又在演示环境设置的实际机器人实验中进行的。

碰撞避免算法对许多无人机应用程序具有核心兴趣。特别地，分散的方法可以是在集中通信变得过艰巨的情况下启用强大的无人机群解决方案的关键。在这项工作中，我们从椋鸟（Ventgaris）的群群中汲取生物启示，并将洞察力应用于结尾学的分散碰撞避免。更具体地，我们提出了一种新的，可伸缩的观察模型，其仿生最近邻的信息约束，导致快速学习和良好的碰撞行为。通过提出一般加强学习方法，我们获得了基于端到端的学习方法，以通过包装收集和形成变化等任意任务集成碰撞避免。为了验证这种方法的一般性，我们通过中等复杂性的运动模型成功地应用了我们的方法，建模势头，仍然可以与标准PID控制器结合使用直接应用。与事先作品相比，我们发现，在我们足够丰富的运动模型中，最近的邻居信息确实足以学习有效的碰撞行为。我们的学习政策在模拟中进行了测试，随后转移到现实世界的无人机，以验证其现实世界的适用性。

在移动机器人学中，区域勘探和覆盖率是关键能力。在大多数可用研究中，共同的假设是全球性，远程通信和集中合作。本文提出了一种新的基于群的覆盖控制算法，可以放松这些假设。该算法组合了两个元素：Swarm规则和前沿搜索算法。受到大量简单代理（例如，教育鱼，植绒鸟类，蜂拥昆虫）的自然系统的启发，第一元素使用三个简单的规则来以分布式方式维持群体形成。第二元素提供了选择有希望区域以使用涉及代理的相对位置的成本函数的最小化来探索（和覆盖）的装置。我们在不同环境中测试了我们的方法对异质和同质移动机器人的性能。我们衡量覆盖性能和允许本集团维持沟通的覆盖性能和群体形成统计数据。通过一系列比较实验，我们展示了拟议的策略在最近提出的地图覆盖方法和传统的人工潜在领域基于细胞覆盖，转变和安全路径的百分比，同时保持允许短程的形成沟通。

本文介绍了狐猴，这是一种从合作任务演示中学习可扩展的多机器人控制政策的算法。我们建议对多机器人系统的港口港口描述，以利用互连系统中的通用物理约束并实现闭环稳定性。我们使用结合自我注意机制和神经普通微分方程的体系结构代表多机器人控制策略。前者在机器人团队中处理时变的沟通，而后者则尊重连续的机器人动力学。我们的表示是通过施工分配的，使学习的控制政策能够部署在不同大小的机器人团队中。我们证明，狐猴可以从多机导航和羊群任务的演示中学习互动和合作行为。

我们为仓库环境中的移动机器人提供基于新颖的强化学习（RL）任务分配和分散的导航算法。我们的方法是针对各种机器人执行各种接送和交付任务的场景而设计的。我们考虑了联合分散任务分配和导航的问题，并提出了解决该问题的两层方法。在更高级别，我们通过根据马尔可夫决策过程制定任务并选择适当的奖励来最大程度地减少总旅行延迟（TTD）来解决任务分配。在较低级别，我们使用基于ORCA的分散导航方案，使每个机器人能够独立执行这些任务，并避免与其他机器人和动态障碍物发生碰撞。我们通过定义较高级别的奖励作为低级导航算法的反馈来结合这些下层和上层。我们在复杂的仓库布局中进行了广泛的评估，并具有大量代理商，并根据近视拾取距离距离最小化和基于遗憾的任务选择，突出了对最先进算法的好处。我们观察到任务完成时间的改善高达14％，并且在计算机器人的无碰撞轨迹方面提高了40％。

我们提出了群生物设计灵感觅食基于蚂蚁信息素的部署，其中假设群有非常有限的能力。机器人不需要全局或相对位置测量和群充分分散，需要在地方没有基础设施。此外，该系统只需要在机器人上的网络单跳通信，我们不做出关于通信图的连通性和信息与计算传输的任何假设是可扩展的与代理的数量。这是通过在群充当觅食让剂或作为导向剂（信标）来完成。我们目前的实验结果计算了ELISA的3个机器人的一个模拟器群，并展示如何在群自行组织了一个未知的环境中解决问题觅食，汇聚成各地的最短路径轨迹。最后，我们讨论这样一个系统的局限性，并提出了觅食的效率如何可以增加。

模块化机器人可以在每天重新排列到新设计中，通过为每项新任务形成定制机器人来处理各种各样的任务。但是，重新配置的机制是不够的：每个设计还需要自己独特的控制策略。人们可以从头开始为每个新设计制作一个政策，但这种方法不可扩展，特别是给出了甚至一小组模块可以生成的大量设计。相反，我们创建了一个模块化策略框架，策略结构在硬件排列上有调节，并仅使用一个培训过程来创建控制各种设计的策略。我们的方法利用了模块化机器人的运动学可以表示为设计图，其中节点作为模块和边缘作为它们之间的连接。给定机器人，它的设计图用于创建具有相同结构的策略图，其中每个节点包含一个深神经网络，以及通过共享参数的相同类型共享知识的模块（例如，Hexapod上的所有腿都相同网络参数）。我们开发了一种基于模型的强化学习算法，交织模型学习和轨迹优化，以培训策略。我们展示了模块化政策推广到培训期间没有看到的大量设计，没有任何额外的学习。最后，我们展示了与模拟和真实机器人一起控制各种设计的政策。

大规模的网络物理系统要求将控制策略分发，即它们仅依靠本地实时测量和与相邻代理的通信。然而，即使在看似简单的情况下，最佳分布式控制（ODC）问题也是非常棘手的。因此，最近的工作已经提出了培训神经网络（NN）分布式控制器。 NN控制器的主要挑战是它们在训练期间和之后不可依赖于训练，即，闭环系统可能不稳定，并且由于消失和爆炸梯度，训练可能失效。在本文中，我们解决了非线性端口 - 哈密顿（PH）系统网络的这些问题，其建模功率从能量系统到非完全车辆和化学反应。具体地，我们采用pH系统的组成特性，以表征具有内置闭环稳定性保证的深哈密顿控制政策，而不管互连拓扑和所选择的NN参数。此外，我们的设置可以利用近来表现良好的神经杂志的结果，以防止通过设计消失消失的梯度现象。数值实验证实了所提出的架构的可靠性，同时匹配通用神经网络策略的性能。

形成控制问题是群体智能领域中最关心的主题之一，通常通过常规数学方法来解决。然而，在本文中，我们提出了一种元疗法方法，该方法利用了一种自然的共同进化策略来解决一群导弹的形成控制问题。导弹群是由具有异质参考目标的二阶系统建模的，并将指数误差函数作为目标函数，以使群体融合到满足某些形成要求的最佳平衡状态。为了关注本地最佳和不稳定进化的问题，我们纳入了一种新颖的基于模型的政策约束和人口适应策略，从而大大减轻了绩效退化。通过在网络通信领域中应用Molloy reed标准，我们开发了一种自适应拓扑方法，该方法可以通过理论和实验验证节点失败及其有效性下的连通性及其有效性。实验结果有助于提议的形成控制方法的有效性。更重要的是，我们表明将通用形成控制问题视为马尔可夫决策过程（MDP）并通过迭代学习解决它是可行的。

图形神经网络（GNNS）是一种范式转换的神经结构，以便于学习复杂的多智能经纪行为。最近的工作已经表现出显着的绩效，如植绒，多代理路径规划和合作覆盖。但是，通过基于GNN的学习计划导出的策略尚未部署到物理多机器人系统上的现实世界。在这项工作中，我们展示了一个系统的设计，允许完全分散地执行基于GNN的策略。我们创建基于ROS2的框架，并在本文中详细说明其细节。我们展示了我们在一个案例研究的框架，需要在机器人之间进行紧张的协调，并呈现出于依赖于adhoc通信的分散式多机器人系统的基于GNN的政策的成功实际部署的一类结果。可以在线找到这种情况的视频演示。https://www.youtube.com/watch?v=coh-wln4io4

多机器人系统（MRS）是一组协调的机器人，旨在相互合作并完成给定的任务。由于操作环境中的不确定性，该系统可能会遇到紧急情况，例如未观察到的障碍物，移动车辆和极端天气。蜂群等动物群体会引发集体紧急反应行为，例如绕过障碍和避免掠食者，类似于肌肉条件的反射，该反射组织局部肌肉以避免在第一反应中避免危害，而不会延迟通过大脑的危害。受此启发，我们开发了一种类似的集体反射机制，以使多机器人系统应对紧急情况。在这项研究中，基于动物集体行为分析和多代理增强学习（MARL），开发了一种由生物启发的紧急反应机制（MARL）开发的集体条件反射（CCR）。该算法使用物理模型来确定机器人是否经历了紧急情况。然后，通过相应的启发式奖励增强了涉及紧急情况的机器人的奖励，该奖励评估紧急情况和后果并决定当地机器人的参与。 CCR在三个典型的紧急情况下进行了验证：\ textit {湍流，强风和隐藏障碍物}。仿真结果表明，与基线方法相比，CCR以更快的反应速度和更安全的轨迹调整来提高机器人团队的紧急反应能力。

分散的多代理导航的代理缺乏世界知识，无法可靠地制定安全和（接近）最佳计划。他们将决定基于邻居的可观察状态，这隐藏了邻居的导航意图。我们提出了通过机构间沟通的增强分散导航，以提高其绩效和援助代理，以做出合理的导航决策。在这方面，我们提出了一种新颖的增强学习方法，用于使用选择性间隔沟通来避免多代理碰撞。我们的网络学会决定“何时”并与“谁”交流，以端到端的方式索取其他信息。我们将沟通选择作为链接预测问题，在该问题中，如果可以观察到的信息，网络可以预测是否需要通信。传达的信息增加了观察到的邻居信息以选择合适的导航计划。随着机器人的邻居数量的变化，我们使用多头自发项机制来编码邻居信息并创建固定长度的观察向量。我们验证我们提出的方法在挑战模拟基准中实现了多个机器人之间的安全有效导航。通过学习的通信，我们的网络的性能比在各种指标（例如到目标和碰撞频率）中的现有分散方法的表现要好得多。此外，我们展示了网络有效地学会在高复杂性情况下进行必要时进行交流。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

从非线性系统中提取预测模型是科学机器学习中的一个中心任务。一个关键问题是现代数据驱动方法与第一个原则之间的对帐。尽管机器学习技术快速进展，但将域知识嵌入到数据驱动的模型中仍然是一个挑战。在这项工作中，我们为基于观察的非线性系统提取了一个通用学习框架，用于从非线性系统中提取预测模型。我们的框架可以容易地纳入第一个原理知识，因为它自然地模拟非线性系统作为连续时间系统。这两种都改善了提取的模型的外推功率，并减少了培训所需的数据量。此外，我们的框架还具有对观察噪声的稳健和适用性的优点，不规则采样数据。我们通过学习各种系统的预测模型来展示我们方案的有效性，包括普拉登·德隆振荡器，Lorenz系统和Kuramoto-Sivashinsky方程。对于Lorenz系统，并入不同类型的域知识，以展示数据驱动系统识别中的知识强度。

In the field of autonomous robots, reinforcement learning (RL) is an increasingly used method to solve the task of dynamic obstacle avoidance for mobile robots, autonomous ships, and drones. A common practice to train those agents is to use a training environment with random initialization of agent and obstacles. Such approaches might suffer from a low coverage of high-risk scenarios in training, leading to impaired final performance of obstacle avoidance. This paper proposes a general training environment where we gain control over the difficulty of the obstacle avoidance task by using short training episodes and assessing the difficulty by two metrics: The number of obstacles and a collision risk metric. We found that shifting the training towards a greater task difficulty can massively increase the final performance. A baseline agent, using a traditional training environment based on random initialization of agent and obstacles and longer training episodes, leads to a significantly weaker performance. To prove the generalizability of the proposed approach, we designed two realistic use cases: A mobile robot and a maritime ship under the threat of approaching obstacles. In both applications, the previous results can be confirmed, which emphasizes the general usability of the proposed approach, detached from a specific application context and independent of the agent's dynamics. We further added Gaussian noise to the sensor signals, resulting in only a marginal degradation of performance and thus indicating solid robustness of the trained agent.

在本文中，我们为多机器人系统提供了一种分散和无通信的碰撞避免方法，该系统考虑了机器人定位和感测不确定性。该方法依赖于计算每个机器人的不确定感知安全区域，以在高斯分布的不确定性的假设下在环境中导航的其他机器人和环境中的静态障碍物。特别地，在每次步骤中，我们为每个机器人构建一个机器人约束的缓冲不确定性感知的voronoI细胞（B-UAVC）给出指定的碰撞概率阈值。通过将每个机器人的运动约束在其对应的B-UAVC内，即机器人和障碍物之间的碰撞概率仍然可以实现概率碰撞避免。所提出的方法是分散的，无通信，可扩展，具有机器人的数量和机器人本地化和感测不确定性的强大。我们将方法应用于单积分器，双积分器，差动驱动机器人和具有一般非线性动力学的机器人。对地面车辆，四轮车和异质机器人团队进行广泛的模拟和实验，以分析和验证所提出的方法。

本文考虑了安全协调一个配备传感器的机器人团队的问题，以减少有关动态过程的不确定性，而该过程将使目标消除信息增益和能源成本。优化这种权衡是可取的，但是在机器人轨迹集中导致非占主酮目标函数。因此，基于协调下降的普通多机器人计划者失去了其性能保证。此外，处理非单调性的方法在受到机器人间碰撞避免约束时会失去其性能保证。由于需要保留性能保证和安全保证，这项工作提出了一种分布式计划者的层次结构方法，该方法使用本地搜索，并根据控制屏障功能提供了基于控制屏障功能的当地搜索和分散的控制器，以确保安全并鼓励及时到达传感位置。通过大量的模拟，硬件测试和硬件实验，我们证明了所提出的方法比基于坐标下降的算法在感应和能源成本之间取得更好的权衡。