为满足城市内部运输中不断增长的行动需求,已经提出了城市空运(UAM)的概念,其中垂直起飞和着陆(VTOL)飞机用于提供乘车服务。在UAM中,飞机可以在称为走廊的指定空间中运行,链接机场。 GBS和飞机之间的可靠通信网络使UAM能够充分利用空域,并创造快速,高效,安全的运输系统。在本文中,为了表征UAM的无线连接性能,提出了一种空间模型。对于该设置,导出任意选择的GBS与其相关飞机之间的距离和GBS经历的干扰的拉普拉斯变换的分布。使用这些结果,确定基于信号的连通概率(SIR)以捕获UAM飞机到地通信网络的连接性能。然后,提出了利用这些连接结果,建议使用傅里叶神经网络的无线的异步联合学习(AFL)框架来解决UAM操作期间湍流预测的具有挑战性问题。对于该AFL方案,引入了一种静止感知的全局聚合方案,以加快UAM飞机使用的最佳湍流预测模型的收敛性。仿真结果验证了UAM无线连接的理论派生。结果还表明,所提出的AFL框架会收敛于比同步联合学习基线和无期性的AFL方法更快地收敛到最佳湍流预测模型。此外,结果表征了在不同参数设置下的无线连接和飞机湍流模型的融合性能的性能,提供了有用的UAM设计指南。
translated by 谷歌翻译
提出了一个新的联邦学习(FL)框架,该框架是通过大规模无线连接启用的,用于设计连接和自动驾驶汽车(CAVS)的自动控制器。在此框架中,控制器使用的学习模型在一组骑士之间进行了协作培训。为了捕获不同的CAV参与FL训练过程以及骑士之间的多样化的本地数据质量,提出了一种新型的动态联合近端(DFP)算法,该算法提出了骑士的流动性,无线褪色渠道的流动性,以及不平衡和不平衡和不平衡的非独立和相同分布的数据跨CAV。对所提出的算法进行了严格的合并分析,以确定CAVS与最佳自主控制器的收敛速度。特别是,明确分析了不同CAV参与FL过程的影响以及不同的CAV数据质量对所提出的DFP算法收敛的影响。利用此分析,基于合同理论的激励机制旨在提高FL收敛速度。使用真实车辆数据迹线的仿真结果表明,所提出的基于DFP的控制器可以随着时间和不同的交通情况准确跟踪目标CAV速度。此外,结果表明,与流行的FL算法(例如联邦平均(FideVG)和联邦近端(FedProx))相比,提出的DFP算法的收敛性要快得多。结果还验证了合同理论激励机制的可行性,并表明所提出的机制可以将DFP算法的收敛速度提高40%,而与基准相比。
translated by 谷歌翻译
联邦元学习(FML)已成为应对当今边缘学习竞技场中的数据限制和异质性挑战的承诺范式。然而,其性能通常受到缓慢的收敛性和相应的低通信效率的限制。此外,由于可用的无线电频谱和物联网设备的能量容量通常不足,因此在在实际无线网络中部署FML时,控制资源分配和能量消耗是至关重要的。为了克服挑战,在本文中,我们严格地分析了每个设备对每轮全球损失减少的贡献,并使用非统一的设备选择方案开发FML算法(称为Nufm)以加速收敛。之后,我们制定了集成NuFM在多通道无线系统中的资源分配问题,共同提高收敛速率并最小化壁钟时间以及能量成本。通过逐步解构原始问题,我们设计了一个联合设备选择和资源分配策略,以解决理论保证问题。此外,我们表明Nufm的计算复杂性可以通过$ O(d ^ 2)$至$ o(d)$(使用模型维度$ d $)通过组合两个一阶近似技术来降低。广泛的仿真结果表明,与现有基线相比,所提出的方法的有效性和优越性。
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
预计未来的无线网络将支持各种移动服务,包括人工智能(AI)服务和无处不在的数据传输。联合学习(FL)作为一种革命性的学习方法,可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性,无线计算允许同时通过同一无线电资源从大型设备上传,因此大大降低了FL的通信成本。在本文中,我们研究了移动边缘网络中的无线信息和传统信息传输(IT)的共存。我们提出了一个共存的联合学习和信息传输(CFLIT)通信框架,其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下,我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于,由于服务器和边缘设备之间的频繁通信以进行FL模型聚合,因此发生的大开销。为了应对挑战,我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在,该比率最大程度地降低了空中FL所需的无线电资源量,以收敛到给定的错误公差。基于分析,我们提出了一种低复杂性在线算法,以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。
translated by 谷歌翻译
个性化联合学习(PFL)是一种新的联邦学习(FL)方法,可解决分布式用户设备(UES)生成的数据集的异质性问题。但是,大多数现有的PFL实现都依赖于同步培训来确保良好的收敛性能,这可能会导致严重的散乱问题,在这种情况下,训练时间大量延长了最慢的UE。为了解决这个问题,我们提出了一种半同步PFL算法,被称为半同步个性化的FederatedAveraging(Perfeds $^2 $),而不是移动边缘网络。通过共同优化无线带宽分配和UE调度策略,它不仅减轻了Straggler问题,而且还提供了收敛的培训损失保证。我们根据每回合的参与者数量和回合数量来得出Perfeds2收敛速率的上限。在此基础上,可以使用分析解决方案解决带宽分配问题,并且可以通过贪婪算法获得UE调度策略。实验结果与同步和异步PFL算法相比,验证了Perfeds2在节省训练时间和保证训练损失的收敛方面的有效性。
translated by 谷歌翻译
联邦学习(FL)是一个有前途的分布式学习技术,特别适用于无线学习场景,因为它可以在没有原始数据运输的情况下实现学习任务,以便保留数据隐私和较低的网络资源消耗。然而,目前在无线网络上的目前的工作并未深入研究由于频道损伤和网络干扰因沟通中断而受到沟通中断的无线网络的基本性能。要准确利用无线网络的FL的性能,本文提出了一种在蜂窝连接的无人机(UAV)网络上的新型间歇性FL模型,其特征在于从UAV(客户)到他们的服务器和数据集之间的数据异质性的通信中断在无人机。我们提出了一个分析讲解框架来导出上行停电概率并使用它来设计基于仿真的方法,以评估所提出的间歇性流动模型的性能。我们的调查结果揭示了如何通过上行链路通信中断和UAV部署影响间歇性的流动。提供了广泛的数值模拟,以显示所提出的间歇模型的模拟和分析性能之间的一致性。
translated by 谷歌翻译
随着数据和无线设备的爆炸性增长,联合学习(FL)已成为大型智能系统的有希望的技术。利用电磁波的模拟叠加,空中计算是一种吸引力的方法,以减少流量聚集中的通信负担。然而,随着对智能系统的迫切需求,具有超空气计算的多个任务的培训进一步加剧了通信资源的稀缺性。可以在一定程度上通过同时培训共享通信资源的多个任务来减轻此问题,但后者不可避免地带来任务间干扰的问题。在本文中,我们在多输入多输出(MIMO)干扰通道上使用空中多任务FL(OA-MTFL)。我们提出了一种新颖的模型聚集方法,用于对不同器件的局部梯度对准,这减轻了由于信道异质性而在空中计算中广泛存在的脱柱问题。通过考虑设备之间的空间相关性,为所提出的OA-MTFL方案建立统一的通信 - 计算分析框架,并制定设计收发器波束形成和设备选择的优化问题。我们通过使用交替优化(AO)和分数编程(FP)来开发算法来解决这个问题,这有效地缓解了任务间干扰对流程的影响。我们表明,由于使用新的模型聚合方法,设备选择对我们的方案不再是必不可少的,从而避免了通过实现设备选择引起的重大计算负担。数值结果证明了分析的正确性和所提出的计划的出色性能。
translated by 谷歌翻译
随着数据生成越来越多地在没有连接连接的设备上进行,因此与机器学习(ML)相关的流量将在无线网络中无处不在。许多研究表明,传统的无线协议高效或不可持续以支持ML,这创造了对新的无线通信方法的需求。在这项调查中,我们对最先进的无线方法进行了详尽的审查,这些方法是专门设计用于支持分布式数据集的ML服务的。当前,文献中有两个明确的主题,模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍,回顾了最重要的作品,突出了开放问题并讨论了应用程序方案。
translated by 谷歌翻译
Unmanned aerial vehicles (UAVs) mobility enables flexible and customized federated learning (FL) at the network edge. However, the underlying uncertainties in the aerial-terrestrial wireless channel may lead to a biased FL model. In particular, the distribution of the global model and the aggregation of the local updates within the FL learning rounds at the UAVs are governed by the reliability of the wireless channel. This creates an undesirable bias towards the training data of ground devices with better channel conditions, and vice versa. This paper characterizes the global bias problem of aerial FL in large-scale UAV networks. To this end, the paper proposes a channel-aware distribution and aggregation scheme to enforce equal contribution from all devices in the FL training as a means to resolve the global bias problem. We demonstrate the convergence of the proposed method by experimenting with the MNIST dataset and show its superiority compared to existing methods. The obtained results enable system parameter tuning to relieve the impact of the aerial channel deficiency on the FL convergence rate.
translated by 谷歌翻译
联合学习(FL)使移动设备能够在保留本地数据的同时协作学习共享的预测模型。但是,实际上在移动设备上部署FL存在两个主要的研究挑战:(i)频繁的无线梯度更新v.s.频谱资源有限,以及(ii)培训期间渴望的FL通信和本地计算V.S.电池约束的移动设备。为了应对这些挑战,在本文中,我们提出了一种新型的多位空天空计算(MAIRCOMP)方法,用于FL中本地模型更新的频谱有效聚合,并进一步介绍用于移动的能源有效的FL设计设备。具体而言,高精度数字调制方案是在MAIRCOMP中设计和合并的,允许移动设备同时在多访问通道中同时在所选位置上传模型更新。此外,我们理论上分析了FL算法的收敛性。在FL收敛分析的指导下,我们制定了联合传输概率和局部计算控制优化,旨在最大程度地减少FL移动设备的总体能源消耗(即迭代局部计算 +多轮通信)。广泛的仿真结果表明,我们提出的方案在频谱利用率,能源效率和学习准确性方面优于现有计划。
translated by 谷歌翻译
联合学习(FL)最近被揭示为有希望的技术,以便在网络边缘启用人工智能(AI),其中分布式移动设备在边缘服务器的协调下协同培训共享AI模型。为了显着提高FL的通信效率,通过利用无线多接入信道的叠加特性,遍布空中计算允许大量的移动设备通过利用无线多接入信道的叠加特性同时上传其本地模型。由于无线信道衰落,边缘服务器的模型聚合误差由所有设备中最弱的通道主导,导致严重的孤立问题。在本文中,我们提出了一种继电器协助的合作液计划,以有效地解决了斯塔格勒问题。特别是,我们部署了多个半双工继电器以协同协作在将本地模型更新上载到边缘服务器时的设备。空中计算的性质构成了与传统继电器通信系统中不同的系统目标和约束。此外,设计变量之间的强耦合使得这种系统具有挑战性的优化。为了解决问题,我们提出了一种基于交替优化的算法来优化收发器和中继操作,具有低复杂度。然后,我们在单个中继盒中分析模型聚合误差,并显示我们的继电器辅助方案实现比没有继电器的中继的误差较小的误差。该分析提供了对协同媒体实施中的继电器部署的关键见解。广泛的数值结果表明,与最先进的方案相比,我们的设计达到了更快的融合。
translated by 谷歌翻译
通过增加无线设备的计算能力,以及用户和设备生成的数据的前所未有的级别,已经出现了新的分布式机器学习(ML)方法。在无线社区中,由于其通信效率及其处理非IID数据问题的能力,联邦学习(FL)特别有趣。可以通过称为空中计算(AIRCOMP)的无线通信方法加速FL训练,其利用同时上行链路传输的干扰以有效地聚合模型更新。但是,由于Aircomp利用模拟通信,因此它引入了不可避免的估计错误。在本文中,我们研究了这种估计误差对FL的收敛性的影响,并提出了一种改进资源受限无线网络的方法的转移。首先,我们通过静态通道重新传输获得最佳Aircomp电源控制方案。然后,我们调查了传递的空中流体的性能,并在流失函数上找到两个上限。最后,我们提出了一种选择最佳重传的启发式,可以在训练ML模型之前计算。数值结果表明,引入重传可能导致ML性能提高,而不会在通信或计算方面产生额外的成本。此外,我们为我们的启发式提供了模拟结果,表明它可以正确地确定不同无线网络设置和机器学习问题的最佳重传次数。
translated by 谷歌翻译
我们检查了通过直播(OTA)聚合的联合学习(FL),移动用户(MUS)旨在借助聚合本地梯度的参数服务器(PS)在全球模型上达成共识。在OTA FL中,MUS在每个训练回合中使用本地数据训练他们的模型,并以未编码的方式使用相同的频带同时传输其梯度。根据超级梯度的接收信号,PS执行全局模型更新。尽管OTA FL的通信成本显着降低,但它容易受到不利的通道影响和噪声的影响。在接收器侧采用多个天线可以减少这些效果,但是对于远离PS的用户来说,路径损失仍然是一个限制因素。为了改善此问题,在本文中,我们提出了一种基于无线的层次FL方案,该方案使用中间服务器(ISS)在MUS更密集的区域形成簇。我们的计划利用OTA群集聚合与MUS与其相应的IS进行交流,而OTA全球聚合从ISS到PS。我们提出了针对所提出算法的收敛分析,并通过对使用ISS的衍生分析表达式和实验结果的数值评估显示,与单独使用较少的传输功率相比,利用ISS的结果比单独的OTA FL具有更快的收敛性和更好的性能。我们还使用不同数量的群集迭代以及不同数据集和数据分布来验证性能的结果。我们得出的结论是,群集聚集的最佳选择取决于MUS和集群之间的数据分布。
translated by 谷歌翻译
In this work, we propose a communication-efficient two-layer federated learning algorithm for distributed setups including a core server and multiple edge servers with clusters of devices. Assuming different learning tasks, clusters with a same task collaborate. To implement the algorithm over wireless links, we propose a scalable clustered over-the-air aggregation scheme for the uplink with a bandwidth-limited broadcast scheme for the downlink that requires only two single resource blocks for each algorithm iteration, independent of the number of edge servers and devices. This setup is faced with interference of devices in the uplink and interference of edge servers in the downlink that are to be modeled rigorously. We first develop a spatial model for the setup by modeling devices as a Poisson cluster process over the edge servers and quantify uplink and downlink error terms due to the interference. Accordingly, we present a comprehensive mathematical approach to derive the convergence bound for the proposed algorithm including any number of collaborating clusters in the setup and provide important special cases and design remarks. Finally, we show that despite the interference in the proposed uplink and downlink schemes, the proposed algorithm achieves high learning accuracy for a variety of parameters.
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
联合学习(FL)是一个带有边缘计算的充填地的新兴分布式机器学习范式,是具有在移动边缘设备上具有新颖应用的有前途的区域。在FL中,由于移动设备通过共享模型更新,因此在中央服务器的协调下基于其自身的数据进行组合培训模型,培训数据保持私密。但是,在没有数据的核心可用性的情况下,计算节点需要经常传送模型更新以获得汇聚。因此,本地计算时间与将本地模型更新一起创建本地模型更新以及从服务器发送到服务器的时间导致总时间的延迟。此外,不可靠的网络连接可以妨碍这些更新的有效通信。为了解决这些问题,我们提出了一个延迟有效的流动机制,可以减少模型融合所需的总时间(包括计算和通信延迟)和通信轮。探索各种参数对延迟的影响,我们寻求平衡无线通信(谈话)和本地计算之间的权衡(为工作)。我们与整体时间作为优化问题制定了关系,并通过广泛的模拟展示了我们方法的功效。
translated by 谷歌翻译
如今,各种机器学习(ML)应用程序在无线网络边缘提供连续数据处理和实时数据分析。分布式ML解决方案受到资源异质性严重挑战,特别是所谓的脱柱效应。为了解决此问题,我们设计一种用于设备的新设备到设备(D2D)辅助编码联合学习方法(D2D-CFL),用于在特征隐私泄漏时跨设备负载平衡。所提出的解决方案捕获系统动态,包括数据(时间依赖学习模型,数据到达的各种强度),设备(不同的计算资源和培训数据量)和部署(各种位置和D2D图连接)。我们得出了最佳压缩速率,以实现最小处理时间并建立与收敛时间的连接。由此产生的优化问题提供了次优压缩参数,其提高了总培训时间。我们所提出的方法有利于实时协同应用,用户不断地生成培训数据。
translated by 谷歌翻译
有限的通信资源,例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈(FL)。为了应对这些挑战,我们首先使用部分模型聚合(PMA)设计了一个新颖的FL框架,该框架仅汇总负责特征提取的神经网络的下层,而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后,我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限,我们定义了一个新的目标函数,名为“计划数据样本量”,以将原始的不明智优化问题转移到可用于设备调度,带宽分配,计算和通信时间分配的可拖动问题中。我们的分析表明,当PMA-FL的沟通和计算部分具有相同的功率时,可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略,并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比,提议的PMA-FL在两个典型的异质数据集(即Minist和CIFAR-10)上提高了2.72%和11.6%的精度。此外,提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高,但它们提供了令人满意的能量和时间缩短:MNIST的29%能量或20%的时间缩短; CIFAR-10的能量和25%的能量或12.5%的时间缩短。
translated by 谷歌翻译
Federated Learning (FL) is a collaborative machine learning (ML) framework that combines on-device training and server-based aggregation to train a common ML model among distributed agents. In this work, we propose an asynchronous FL design with periodic aggregation to tackle the straggler issue in FL systems. Considering limited wireless communication resources, we investigate the effect of different scheduling policies and aggregation designs on the convergence performance. Driven by the importance of reducing the bias and variance of the aggregated model updates, we propose a scheduling policy that jointly considers the channel quality and training data representation of user devices. The effectiveness of our channel-aware data-importance-based scheduling policy, compared with state-of-the-art methods proposed for synchronous FL, is validated through simulations. Moreover, we show that an "age-aware" aggregation weighting design can significantly improve the learning performance in an asynchronous FL setting.
translated by 谷歌翻译