Optimal transport (OT) is a framework that can guide the design of efficient resource allocation strategies in a network of multiple sources and targets. This paper applies discrete OT to a swarm of UAVs in a novel way to achieve appropriate task allocation and execution. Drone swarm deployments already operate in multiple domains where sensors are used to gain knowledge of an environment [1]. Use cases such as, chemical and radiation detection, and thermal and RGB imaging create a specific need for an algorithm that considers parameters on both the UAV and waypoint side and allows for updating the matching scheme as the swarm gains information from the environment. Additionally, the need for a centralized planner can be removed by using a distributed algorithm that can dynamically update based on changes in the swarm network or parameters. To this end, we develop a dynamic and distributed OT algorithm that matches a UAV to the optimal waypoint based on one parameter at the UAV and another parameter at the waypoint. We show the convergence and allocation of the algorithm through a case study and test the algorithm's effectiveness against a greedy assignment algorithm in simulation.

在以并发方式解决团队范围的任务时，多机构系统可能非常有效。但是，如果没有正确的同步，则很难保证合并行为的正确性，例如遵循子任务的特定顺序或同时进行协作。这项工作解决了在复杂的全球任务下，将最低时间的任务计划问题称为线性时间逻辑（LTL）公式。这些任务包括独立本地动作和直接子团队合作的时间和空间要求。提出的解决方案是一种随时随地的算法，结合了对任务分解的基础任务自动机的部分顺序分析，以及用于任务分配的分支和绑定（BNB）搜索方法。提供最小的完成时间的合理性，完整性和最佳性分析。还表明，在搜索范围内持续在时间预算之内，可以迅速达成可行且近乎最佳的解决方案。此外，为了处理在线执行期间任务持续时间和代理失败的波动，提出了适应算法来同步执行状态并动态地重新分配未完成的子任务以保持正确性和最佳性。两种算法通过数值模拟和硬件实验在大规模系统上进行了严格的验证，该算法对几个强基地进行了验证。

The modern dynamic and heterogeneous network brings differential environments with respective state transition probability to agents, which leads to the local strategy trap problem of traditional federated reinforcement learning (FRL) based network optimization algorithm. To solve this problem, we propose a novel Differentiated Federated Reinforcement Learning (DFRL), which evolves the global policy model integration and local inference with the global policy model in traditional FRL to a collaborative learning process with parallel global trends learning and differential local policy model learning. In the DFRL, the local policy learning model is adaptively updated with the global trends model and local environment and achieves better differentiated adaptation. We evaluate the outperformance of the proposal compared with the state-of-the-art FRL in a classical CartPole game with heterogeneous environments. Furthermore, we implement the proposal in the heterogeneous Space-air-ground Integrated Network (SAGIN) for the classical traffic offloading problem in network. The simulation result shows that the proposal shows better global performance and fairness than baselines in terms of throughput, delay, and packet drop rate.

我们研究了合作航空航天车辆路线应用程序的资源分配问题，其中多个无人驾驶汽车（UAV）电池容量有限和多个无人接地车辆（UGV），这也可以充当移动充电站，需要共同实现诸如持续监视一组要点之类的任务。由于无人机的电池能力有限，他们有时必须偏离任务才能与UGV进行集合并得到充电。每个UGV一次可以一次提供有限数量的无人机。与确定性多机器人计划的先前工作相反，我们考虑了无人机能源消耗的随机性所带来的挑战。我们有兴趣找到无人机的最佳充电时间表，从而最大程度地减少了旅行成本，并且在计划范围内没有任何无人机在计划范围内取消收费的可能性大于用户定义的公差。我们将此问题（{风险意识召集集合问题（RRRP））}作为整数线性程序（ILP），其中匹配的约束捕获资源可用性约束，而背包约束捕获了成功概率约束。我们提出了一种求解RRRP的双晶格近似算法。在一个持续监测任务的背景下，我们证明了我们的制定和算法的有效性。

我们通过两种类型 - 主/工人（因此集中）架构（因此集中）架构和网格化（因此分散）网络，研究（强）凸起（强）凸起（强）凸起的鞍点问题（SPPS）的解决方案方法。由于统计数据相似度或其他，假设每个节点处的本地功能是相似的。我们为求解SPP的相当一般算法奠定了较低的复杂性界限。我们表明，在$ \ omega \ big（\ delta \ cdot \ delta / \ mu \ cdot \ log（1 / varepsilon）\ big）$ rounds over over over exoptimally $ \ epsilon> 0 $ over over master / workers网络通信，其中$ \ delta> 0 $测量本地功能的相似性，$ \ mu $是它们的强凸起常数，$ \ delta $是网络的直径。较低的通信复杂性绑定在网状网络上读取$ \ omega \ big（1 / {\ sqrt {\ rho}} \ cdot {\ delta} / {\ mu} \ cdot \ log（1 / varepsilon）\ big）$ ，$ \ rho $是用于邻近节点之间通信的八卦矩阵的（归一化）EIGENGAP。然后，我们提出算法与较低限制的网络（最多为日志因子）匹配。我们评估所提出的算法对强大的逻辑回归问题的有效性。

Unmanned aerial vehicle (UAV) swarms are considered as a promising technique for next-generation communication networks due to their flexibility, mobility, low cost, and the ability to collaboratively and autonomously provide services. Distributed learning (DL) enables UAV swarms to intelligently provide communication services, multi-directional remote surveillance, and target tracking. In this survey, we first introduce several popular DL algorithms such as federated learning (FL), multi-agent Reinforcement Learning (MARL), distributed inference, and split learning, and present a comprehensive overview of their applications for UAV swarms, such as trajectory design, power control, wireless resource allocation, user assignment, perception, and satellite communications. Then, we present several state-of-the-art applications of UAV swarms in wireless communication systems, such us reconfigurable intelligent surface (RIS), virtual reality (VR), semantic communications, and discuss the problems and challenges that DL-enabled UAV swarms can solve in these applications. Finally, we describe open problems of using DL in UAV swarms and future research directions of DL enabled UAV swarms. In summary, this survey provides a comprehensive survey of various DL applications for UAV swarms in extensive scenarios.

无人驾驶飞行器（UAV）是支持各种服务，包括通信的技术突破之一。UAV将在提高无线网络的物理层安全方面发挥关键作用。本文定义了窃听地面用户与UAV之间的链路的问题，该联接器用作空中基站（ABS）。提出了加强学习算法Q - 学习和深Q网络（DQN），用于优化ABS的位置和传输功率，以增强地面用户的数据速率。如果没有系统了解窃听器的位置，这会增加保密容量。与Q-Learnch和基线方法相比，仿真结果显示了拟议DQN的快速收敛性和最高保密能力。

尽管使用多个无人机（UAV）具有快速自主探索的巨大潜力，但它的关注程度很少。在本文中，我们提出了赛车手，这是一种使用分散无人机的舰队的快速协作探索方法。为了有效派遣无人机，使用了基于在线HGRID空间分解的成对交互。它可确保仅使用异步和有限的通信同时探索不同的区域。此外，我们优化了未知空间的覆盖路径，并通过电容的车辆路由问题（CVRP）配方平衡分区到每个UAV的工作负载。鉴于任务分配，每个无人机都会不断更新覆盖路径，并逐步提取关键信息以支持探索计划。分层规划师可以找到探索路径，完善本地观点并生成序列的最小时间轨迹，以敏捷，安全地探索未知空间。对所提出的方法进行了广泛的评估，显示出较高的勘探效率，可伸缩性和对有限交流的鲁棒性。此外，我们第一次与现实世界中的多个无人机进行了完全分散的协作探索。我们将作为开源软件包发布实施。

本文考虑了安全协调一个配备传感器的机器人团队的问题，以减少有关动态过程的不确定性，而该过程将使目标消除信息增益和能源成本。优化这种权衡是可取的，但是在机器人轨迹集中导致非占主酮目标函数。因此，基于协调下降的普通多机器人计划者失去了其性能保证。此外，处理非单调性的方法在受到机器人间碰撞避免约束时会失去其性能保证。由于需要保留性能保证和安全保证，这项工作提出了一种分布式计划者的层次结构方法，该方法使用本地搜索，并根据控制屏障功能提供了基于控制屏障功能的当地搜索和分散的控制器，以确保安全并鼓励及时到达传感位置。通过大量的模拟，硬件测试和硬件实验，我们证明了所提出的方法比基于坐标下降的算法在感应和能源成本之间取得更好的权衡。

本文为多代理系统开发了一个随机编程框架，在该系统中，任务分解，分配和调度问题同时被优化。该框架可以应用于具有分布式子任务的异质移动机器人团队。例子包括大流行机器人服务协调，探索和救援以及具有异质车辆的交付系统。由于其固有的灵活性和鲁棒性，多代理系统被应用于越来越多的现实问题，涉及异质任务和不确定信息。大多数以前的作品都采用一种将任务分解为角色的独特方法，以后可以将任务分配给代理。对于角色可以变化并且存在多个分解结构的复杂任务，此假设无效。同时，尚不清楚如何在多代理系统设置下系统地量化和优化任务要求和代理能力中的不确定性。提出了复杂任务的表示形式：代理功能表示为随机分布的向量，任务要求通过可推广的二进制函数验证。在目标函数中选择有风险的条件值（CVAR）作为制定强大计划的度量。描述了一种有效的算法来解决该模型，并在两个不同的实践案例中评估了整个框架：在大流行期间的捕获量和机器人服务协调（例如，Covid-19）。结果表明，该框架是可扩展的，可扩展到示例案例的140个代理和40个任务，并提供了低成本计划，以确保成功的概率很高。

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

近年来，研究人员委托机器人和无人驾驶汽车（UAV）团队委托进行准确的在线野火覆盖范围和跟踪。迄今为止，大多数先前的工作都集中在此类多机器人系统的协调和控制上，但尚未赋予这些无人机团队对火的轨道（即位置和传播动态）进行推理的能力，以提供性能保证时间范围。在空中野火监测的问题上，我们提出了一个预测框架，该框架使多UAV团队的合作能够与概率性能保证一起进行协作现场覆盖和火灾跟踪。我们的方法使无人机能够推断出潜在的火灾传播动态，以在安全至关重要的条件下进行时间扩展的协调。我们得出了一组新颖的，分析的时间和跟踪纠纷界限，以使无人机团队根据特定于案例的估计状态分发有限的资源并覆盖整个火灾区域，并提供概率性能保证。我们的结果不仅限于空中野火监测案例研究，而且通常适用于搜索和救援，目标跟踪和边境巡逻等问题。我们在模拟中评估了我们的方法，并在物理多机器人测试台上提供了建议的框架，以说明真实的机器人动态和限制。我们的定量评估验证了我们的方法的性能，分别比基于最新的模型和强化学习基准分别累积了7.5倍和9.0倍的跟踪误差。

This paper proposes a new 3D gas distribution mapping technique based on the local message passing of Gaussian belief propagation that is capable of resolving in real time, concentration estimates in 3D space whilst accounting for the obstacle information within the scenario, the first of its kind in the literature. The gas mapping problem is formulated as a 3D factor graph of Gaussian potentials, the connections of which are conditioned on local occupancy values. The Gaussian belief propagation framework is introduced as the solver and a new hybrid message scheduler is introduced to increase the rate of convergence. The factor graph problem is then redesigned as a dynamically expanding inference task, coupling the information of consecutive gas measurements with local spatial structure obtained by the robot. The proposed algorithm is compared to the state of the art methods in 2D and 3D simulations and is found to resolve distribution maps orders of magnitude quicker than typical direct solvers. The proposed framework is then deployed for the first time onboard a ground robot in a 3D mapping and exploration task. The system is shown to be able to resolve multiple sensor inputs and output high resolution 3D gas distribution maps in a GPS denied cluttered scenario in real time. This online inference of complicated plume structures provides a new layer of contextual information over its 2D counterparts and enables autonomous systems to take advantage of real time estimates to inform potential next best sampling locations.

我们考虑使用一组并行代理和参数服务器分发在线MIN-MAX资源分配。我们的目标是最大限度地减少一组时变的凸起和降低成本函数的点最大值，而无需先验信息。我们提出了一种新的在线算法，称为分布式在线资源重新分配（DORA），其中非贸易人员学会通过陷入拖放者释放资源和共享资源。与大多数现有的在线优化策略不同，Dora的一个值得注意的特征是它不需要梯度计算或投影操作。这允许它基本上减少大规模和分布式网络中的计算开销。我们表明，所提出的算法的动态遗憾是由$ o lex的上限（t ^ {\ frac {3} {4}}（1 + p_t）^ {\ frac {1} {4} \右） $，$ t $是轮次的总数，$ p_t $是瞬时最小化器的路径长度。我们进一步考虑在分布式在线机器学习中的带宽分配问题的应用程序。我们的数值研究证明了所提出的解决方案及其性能优势在减少壁钟时间的基于梯度和/或投影的资源分配算法中的功效。

Recent technological advancements in space, air and ground components have made possible a new network paradigm called "space-air-ground integrated network" (SAGIN). Unmanned aerial vehicles (UAVs) play a key role in SAGINs. However, due to UAVs' high dynamics and complexity, the real-world deployment of a SAGIN becomes a major barrier for realizing such SAGINs. Compared to the space and terrestrial components, UAVs are expected to meet performance requirements with high flexibility and dynamics using limited resources. Therefore, employing UAVs in various usage scenarios requires well-designed planning in algorithmic approaches. In this paper, we provide a comprehensive review of recent learning-based algorithmic approaches. We consider possible reward functions and discuss the state-of-the-art algorithms for optimizing the reward functions, including Q-learning, deep Q-learning, multi-armed bandit (MAB), particle swarm optimization (PSO) and satisfaction-based learning algorithms. Unlike other survey papers, we focus on the methodological perspective of the optimization problem, which can be applicable to various UAV-assisted missions on a SAGIN using these algorithms. We simulate users and environments according to real-world scenarios and compare the learning-based and PSO-based methods in terms of throughput, load, fairness, computation time, etc. We also implement and evaluate the 2-dimensional (2D) and 3-dimensional (3D) variations of these algorithms to reflect different deployment cases. Our simulation suggests that the $3$D satisfaction-based learning algorithm outperforms the other approaches for various metrics in most cases. We discuss some open challenges at the end and our findings aim to provide design guidelines for algorithm selections while optimizing the deployment of UAV-assisted SAGINs.

本文调查了大师无人机（MUAV） - 互联网（IOT）网络，我们建议使用配备有智能反射表面（IRS）的可充电辅助UAV（AUAV）来增强来自MUAV的通信信号并将MUAG作为充电电源利用。在拟议的模型下，我们研究了这些能量有限的无人机的最佳协作策略，以最大限度地提高物联网网络的累计吞吐量。根据两个无人机之间是否有收费，配制了两个优化问题。为了解决这些问题，提出了两个多代理深度强化学习（DRL）方法，这些方法是集中培训多师深度确定性政策梯度（CT-MADDPG）和多代理深度确定性政策选项评论仪（MADDPOC）。结果表明，CT-MADDPG可以大大减少对UAV硬件的计算能力的要求，拟议的MADDPOC能够在连续动作域中支持低水平的多代理合作学习，其优于优势基于选项的分层DRL，只支持单代理学习和离散操作。

传统上，交通事故管理（TIM）计划协调紧急资源的部署到即时事件请求，而无需容纳环境中事件演变的相互依存关系。但是，忽略对环境中事件在当前部署决策的过程中的固有相互依赖性是短暂的，而由此产生的幼稚部署策略可能会大大恶化整个事件延迟对网络的影响。环境中事件进化的相互依存关系，包括事件事件之间的事件，以及在近未实现请求中的资源可用性与预期的即时事件请求期间的持续时间之间的相互依存关系，应在进行当前阶段部署时通过浏览模型来考虑决定。这项研究基于分布式约束优化问题（DCOP）开发了一个新的主动框架，以解决上述局限性，克服了无法适应TIM问题中依赖关系的常规TIM模型。此外，配制了优化目标以纳入无人机（UAV）。无人机在蒂姆（Tim）中的作用包括探索不确定的交通状况，检测出意外事件以及从道路交通传感器中增加信息。我们对多个TIM情景模型的鲁棒性分析显示了使用本地搜索启发式方法显示令人满意的性能。总体而言，我们的模型报告说，与常规TIM模型相比，总事件延迟的大幅减少。在无人机的支持下，我们证明了通过紧急车辆较短的响应时间的总体事件延迟进一步减少，并且与估计的事件延迟影响相关的不确定性减少。

Smart City applications, such as traffic monitoring and disaster response, often use swarms of intelligent and cooperative drones to efficiently collect sensor data over different areas of interest and time spans. However, when the required sensing becomes spatio-temporally large and varying, a collective arrangement of sensing tasks to a large number of battery-restricted and distributed drones is challenging. To address this problem, we introduce a scalable and energy-aware model for planning and coordination of spatio-temporal sensing. The coordination model is built upon a decentralized multi-agent collective learning algorithm (EPOS) to ensure scalability, resilience, and flexibility that existing approaches lack of. Experimental results illustrate the outstanding performance of the proposed method compared to state-of-the-art methods. Analytical results contribute a deeper understanding of how coordinated mobility of drones influences sensing performance. This novel coordination solution is applied to traffic monitoring using real-world data to demonstrate a $46.45\%$ more accurate and $2.88\%$ more efficient detection of vehicles as the number of drones become a scarce resource.

在本文中，我们研究了通过优化的流量路由的路径增加对运输网络的影响。特别是，我们研究了总旅行时间的行为，并考虑了自我利益的路由范式，例如用户平衡（UE）路由以及合作范式，例如经典多商品（MC）网络流量和系统最佳（因此）路由。我们提供了一个正式的框架，用于通过迭代路径添加设计运输网络，引入跨越树和跳跃路径图的概念。使用此形式化，我们证明了运输网络设计的目标函数的多个属性。由于基础路由问题是NP-HARD，因此我们研究了提供近似算法设计保证的属性。首先，尽管Braess的悖论表明，对于在自私路由（UE）下的路径添加（UE）方面，总旅行时间并不是单调的非侵扰，但我们证明，相反，单调性具有合作路由（MC等）。该结果具有重要的含义，即合作社可以充分利用冗余基础设施。其次，我们通过反例证证明，直观的语句``在传输网络中添加路径始终赋予用户更大或平等的好处，而不是将其添加到该网络的超集中'是错误的。换句话说，我们证明，对于所有研究的路由公式，相对于路径添加而言，总旅行时间不是超模型。尽管这种违反直觉结果为算法设计带来了硬度属性，但我们提供了特定的实例，而相反，超模型的属性则具有。我们关于相对于路径增加的总旅行时间的单调性和超模样的研究提供了正式的证明和场景，构成了运输网络设计师的重要见解。

The deployment flexibility and maneuverability of Unmanned Aerial Vehicles (UAVs) increased their adoption in various applications, such as wildfire tracking, border monitoring, etc. In many critical applications, UAVs capture images and other sensory data and then send the captured data to remote servers for inference and data processing tasks. However, this approach is not always practical in real-time applications due to the connection instability, limited bandwidth, and end-to-end latency. One promising solution is to divide the inference requests into multiple parts (layers or segments), with each part being executed in a different UAV based on the available resources. Furthermore, some applications require the UAVs to traverse certain areas and capture incidents; thus, planning their paths becomes critical particularly, to reduce the latency of making the collaborative inference process. Specifically, planning the UAVs trajectory can reduce the data transmission latency by communicating with devices in the same proximity while mitigating the transmission interference. This work aims to design a model for distributed collaborative inference requests and path planning in a UAV swarm while respecting the resource constraints due to the computational load and memory usage of the inference requests. The model is formulated as an optimization problem and aims to minimize latency. The formulated problem is NP-hard so finding the optimal solution is quite complex; thus, this paper introduces a real-time and dynamic solution for online applications using deep reinforcement learning. We conduct extensive simulations and compare our results to the-state-of-the-art studies demonstrating that our model outperforms the competing models.