本文通过匹配的追求方法开发了一类低复杂设备调度算法,以实现空中联合学习。提出的方案紧密跟踪了通过差异编程实现的接近最佳性能,并且基于凸松弛的众所周知的基准算法极大地超越了众所周知的基准算法。与最先进的方案相比,所提出的方案在系统上构成了较低的计算负载:对于$ k $设备和参数服务器上的$ n $ antennas,基准的复杂性用$ \ left缩放(n^)2 + k \ right)^3 + n^6 $,而提出的方案量表的复杂性则以$ 0 <p,q \ leq 2 $为$ k^p n^q $。通过CIFAR-10数据集上的数值实验证实了所提出的方案的效率。
translated by 谷歌翻译
联合学习(FL)最近被揭示为有希望的技术,以便在网络边缘启用人工智能(AI),其中分布式移动设备在边缘服务器的协调下协同培训共享AI模型。为了显着提高FL的通信效率,通过利用无线多接入信道的叠加特性,遍布空中计算允许大量的移动设备通过利用无线多接入信道的叠加特性同时上传其本地模型。由于无线信道衰落,边缘服务器的模型聚合误差由所有设备中最弱的通道主导,导致严重的孤立问题。在本文中,我们提出了一种继电器协助的合作液计划,以有效地解决了斯塔格勒问题。特别是,我们部署了多个半双工继电器以协同协作在将本地模型更新上载到边缘服务器时的设备。空中计算的性质构成了与传统继电器通信系统中不同的系统目标和约束。此外,设计变量之间的强耦合使得这种系统具有挑战性的优化。为了解决问题,我们提出了一种基于交替优化的算法来优化收发器和中继操作,具有低复杂度。然后,我们在单个中继盒中分析模型聚合误差,并显示我们的继电器辅助方案实现比没有继电器的中继的误差较小的误差。该分析提供了对协同媒体实施中的继电器部署的关键见解。广泛的数值结果表明,与最先进的方案相比,我们的设计达到了更快的融合。
translated by 谷歌翻译
随着数据生成越来越多地在没有连接连接的设备上进行,因此与机器学习(ML)相关的流量将在无线网络中无处不在。许多研究表明,传统的无线协议高效或不可持续以支持ML,这创造了对新的无线通信方法的需求。在这项调查中,我们对最先进的无线方法进行了详尽的审查,这些方法是专门设计用于支持分布式数据集的ML服务的。当前,文献中有两个明确的主题,模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍,回顾了最重要的作品,突出了开放问题并讨论了应用程序方案。
translated by 谷歌翻译
在本章中,我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题,并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说,可以协同地培训联合模型,而每个参与设备的数据仍然是本地的数据。这个地址,一些延伸,隐私问题。它们还提供计算可扩展性,因为它们允许利用分布在许多边缘设备的计算资源。然而,在实践中,这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外,无线设备在其计算能力中具有高度异构,并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此,考虑到时变通信网络的影响以及器件的异构和随机计算能力,必须仔细设计分布式学习算法,特别是在无线网络边缘实现的算法。
translated by 谷歌翻译
随着数据和无线设备的爆炸性增长,联合学习(FL)已成为大型智能系统的有希望的技术。利用电磁波的模拟叠加,空中计算是一种吸引力的方法,以减少流量聚集中的通信负担。然而,随着对智能系统的迫切需求,具有超空气计算的多个任务的培训进一步加剧了通信资源的稀缺性。可以在一定程度上通过同时培训共享通信资源的多个任务来减轻此问题,但后者不可避免地带来任务间干扰的问题。在本文中,我们在多输入多输出(MIMO)干扰通道上使用空中多任务FL(OA-MTFL)。我们提出了一种新颖的模型聚集方法,用于对不同器件的局部梯度对准,这减轻了由于信道异质性而在空中计算中广泛存在的脱柱问题。通过考虑设备之间的空间相关性,为所提出的OA-MTFL方案建立统一的通信 - 计算分析框架,并制定设计收发器波束形成和设备选择的优化问题。我们通过使用交替优化(AO)和分数编程(FP)来开发算法来解决这个问题,这有效地缓解了任务间干扰对流程的影响。我们表明,由于使用新的模型聚合方法,设备选择对我们的方案不再是必不可少的,从而避免了通过实现设备选择引起的重大计算负担。数值结果证明了分析的正确性和所提出的计划的出色性能。
translated by 谷歌翻译
通过增加无线设备的计算能力,以及用户和设备生成的数据的前所未有的级别,已经出现了新的分布式机器学习(ML)方法。在无线社区中,由于其通信效率及其处理非IID数据问题的能力,联邦学习(FL)特别有趣。可以通过称为空中计算(AIRCOMP)的无线通信方法加速FL训练,其利用同时上行链路传输的干扰以有效地聚合模型更新。但是,由于Aircomp利用模拟通信,因此它引入了不可避免的估计错误。在本文中,我们研究了这种估计误差对FL的收敛性的影响,并提出了一种改进资源受限无线网络的方法的转移。首先,我们通过静态通道重新传输获得最佳Aircomp电源控制方案。然后,我们调查了传递的空中流体的性能,并在流失函数上找到两个上限。最后,我们提出了一种选择最佳重传的启发式,可以在训练ML模型之前计算。数值结果表明,引入重传可能导致ML性能提高,而不会在通信或计算方面产生额外的成本。此外,我们为我们的启发式提供了模拟结果,表明它可以正确地确定不同无线网络设置和机器学习问题的最佳重传次数。
translated by 谷歌翻译
预计未来的无线网络将支持各种移动服务,包括人工智能(AI)服务和无处不在的数据传输。联合学习(FL)作为一种革命性的学习方法,可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性,无线计算允许同时通过同一无线电资源从大型设备上传,因此大大降低了FL的通信成本。在本文中,我们研究了移动边缘网络中的无线信息和传统信息传输(IT)的共存。我们提出了一个共存的联合学习和信息传输(CFLIT)通信框架,其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下,我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于,由于服务器和边缘设备之间的频繁通信以进行FL模型聚合,因此发生的大开销。为了应对挑战,我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在,该比率最大程度地降低了空中FL所需的无线电资源量,以收敛到给定的错误公差。基于分析,我们提出了一种低复杂性在线算法,以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。
translated by 谷歌翻译
我们检查了通过直播(OTA)聚合的联合学习(FL),移动用户(MUS)旨在借助聚合本地梯度的参数服务器(PS)在全球模型上达成共识。在OTA FL中,MUS在每个训练回合中使用本地数据训练他们的模型,并以未编码的方式使用相同的频带同时传输其梯度。根据超级梯度的接收信号,PS执行全局模型更新。尽管OTA FL的通信成本显着降低,但它容易受到不利的通道影响和噪声的影响。在接收器侧采用多个天线可以减少这些效果,但是对于远离PS的用户来说,路径损失仍然是一个限制因素。为了改善此问题,在本文中,我们提出了一种基于无线的层次FL方案,该方案使用中间服务器(ISS)在MUS更密集的区域形成簇。我们的计划利用OTA群集聚合与MUS与其相应的IS进行交流,而OTA全球聚合从ISS到PS。我们提出了针对所提出算法的收敛分析,并通过对使用ISS的衍生分析表达式和实验结果的数值评估显示,与单独使用较少的传输功率相比,利用ISS的结果比单独的OTA FL具有更快的收敛性和更好的性能。我们还使用不同数量的群集迭代以及不同数据集和数据分布来验证性能的结果。我们得出的结论是,群集聚集的最佳选择取决于MUS和集群之间的数据分布。
translated by 谷歌翻译
无线联邦学习(AIRFL)允许设备并行训练学习模型,并使用无线计算同步其本地模型。由于本地模型的汇总汇总,AIRFL的完整性很容易受到伤害。本文提出了一个新颖的框架,以平衡AIRFL的准确性和完整性,其中多Anti-Antenna设备和基站(BS)通过可重构智能表面(RIS)共同优化。关键贡献包括一个联合考虑AIRFL的模型准确性和完整性的新的和非平凡的问题,以及将问题转化为可牵引的子问题的新框架。在完美的通道状态信息(CSI)下,新框架将汇总模型的失真最小化,并通过优化设备的发射光束器,BS的接收光束器和RIS配置,以交替的方式保留本地模型的可恢复性。在不完美的CSI下,新框架为光束形成器和RIS配置提供了强大的设计,以打击不可忽略的通道估计错误。正如实验性的佐证,新型框架可以在完美的CSI下保持局部模型可恢复性,并在不完美的CSI下的接收天线数量小或中等时提高精度,并提高精度。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.
translated by 谷歌翻译
有限的通信资源,例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈(FL)。为了应对这些挑战,我们首先使用部分模型聚合(PMA)设计了一个新颖的FL框架,该框架仅汇总负责特征提取的神经网络的下层,而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后,我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限,我们定义了一个新的目标函数,名为“计划数据样本量”,以将原始的不明智优化问题转移到可用于设备调度,带宽分配,计算和通信时间分配的可拖动问题中。我们的分析表明,当PMA-FL的沟通和计算部分具有相同的功率时,可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略,并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比,提议的PMA-FL在两个典型的异质数据集(即Minist和CIFAR-10)上提高了2.72%和11.6%的精度。此外,提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高,但它们提供了令人满意的能量和时间缩短:MNIST的29%能量或20%的时间缩短; CIFAR-10的能量和25%的能量或12.5%的时间缩短。
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
为了满足下一代无线通信网络的极其异构要求,研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构,其中整个培训数据在一个节点上收集,即云服务器,显着提高了通信开销,并提高了严重的隐私问题。迄今为止,最近提出了作为联合学习(FL)称为联合学习的分布式机器学习范式。在FL中,每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后,通过无线信道,本地训练模型的权重或参数被发送到中央ps,聚合它们并更新全局模型。一方面,FL对优化无线通信网络的资源起着重要作用,另一方面,无线通信对于FL至关重要。因此,FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念,但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此,我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此,本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。
translated by 谷歌翻译
在这项工作中,我们考虑了具有多个基站和间隔干扰的无线系统中的联合学习模型。在学习阶段,我们应用了一个不同的私人方案,将信息从用户传输到其相应的基站。我们通过在其最佳差距上得出上限来显示学习过程的收敛行为。此外,我们定义了一个优化问题,以减少该上限和总隐私泄漏。为了找到此问题的本地最佳解决方案,我们首先提出了一种计划资源块和用户的算法。然后,我们扩展了该方案,以通过优化差异隐私人工噪声来减少总隐私泄漏。我们将这两个程序的解决方案应用于联合学习系统的参数。在这种情况下,我们假设每个用户都配备了分类器。此外,假定通信单元的资源块比用户数量少。仿真结果表明,与随机调度程序相比,我们提出的调度程序提高了预测的平均准确性。此外,其具有噪声优化器的扩展版本大大减少了隐私泄漏的量。
translated by 谷歌翻译
在本文中,我们提出了一种由量化压缩感测的通信高效的联合学习框架。呈现的框架包括用于参数服务器(PS)的无线设备和梯度重建的梯度压缩。我们对梯度压缩的策略是顺序执行块稀疏,尺寸减小和量化。由于梯度稀疏和量化,我们的策略可以实现比单位梯度压缩更高的压缩比。为了从PS的压缩信号中精确聚集局部梯度,我们使用期望最大化通用近似消息传递(EM-GAMP)算法来提出梯度重建的近似最小均方误差(MMSE)方法。假设Bernoulli高斯 - 混合的先前,该算法迭代地更新来自压缩信号的局部梯度的后均值和方差。我们还为梯度重建呈现出低复杂性的方法。在这种方法中,我们使用Bussgang定理来从压缩信号聚合本地梯度,然后使用EM-GAMP算法计算聚合梯度的近似MMSE估计。我们还提供了所提出的框架的收敛速度分析。使用Mnist DataSet,我们证明所呈现的框架几乎可以使用不执行压缩的情况实现几乎相同的性能,同时显着降低联合学习的通信开销。
translated by 谷歌翻译
边缘联合学习(FL)是一种新兴范式,它基于无线通信从分布式数据集中列出全局参数模型。本文提出了一个单位模量的空中计算(UMAircomp)框架,以便于高效的边缘联合学习,它同时通过模拟波束形成更新本地模型参数并更新全局模型参数。所提出的框架避免了复杂的基带信号处理,导致通信延迟和实现成本低。推导Umaircomp FL系统的培训损失界限,并提出了两个低复杂性大规模优化算法,称为惩罚交替最小化(PAM)和加速梯度投影(AGP),以最小化非凸起的非运动损耗绑定。仿真结果表明,与PAM算法的提议Umaircomp框架达到了模型参数估计,训练丢失和测试错误的较小均方误差。此外,具有AGP算法的提议Umaircomp框架实现了令人满意的性能,而与现有优化算法相比,通过幅度的序列降低了计算复杂性。最后,我们展示了Umaircomp在车辆到一般的自主驾驶仿真平台中的实现。发现自主驾驶任务对模型参数误差比其他任务更敏感,因为自主驱动的神经网络包含稀疏模型参数。
translated by 谷歌翻译
Federated Learning (FL) is a collaborative machine learning (ML) framework that combines on-device training and server-based aggregation to train a common ML model among distributed agents. In this work, we propose an asynchronous FL design with periodic aggregation to tackle the straggler issue in FL systems. Considering limited wireless communication resources, we investigate the effect of different scheduling policies and aggregation designs on the convergence performance. Driven by the importance of reducing the bias and variance of the aggregated model updates, we propose a scheduling policy that jointly considers the channel quality and training data representation of user devices. The effectiveness of our channel-aware data-importance-based scheduling policy, compared with state-of-the-art methods proposed for synchronous FL, is validated through simulations. Moreover, we show that an "age-aware" aggregation weighting design can significantly improve the learning performance in an asynchronous FL setting.
translated by 谷歌翻译
Federated Edge Learning(Feel)已成为一种革命性的范式,可以在6G无线网络的边缘开发AI服务,因为它支持大量移动设备的协作模型培训。但是,无线通道上的模型通信,尤其是在上行链路模型上传的感觉中,已被广泛认为是一种严重限制感觉效率的瓶颈。尽管无线计算可以减轻广播资源在感觉上传中的过度成本,但无线空中感觉的实际实施仍然遭受了一些挑战,包括强烈的Straggler问题,大型沟通开销和潜在的隐私泄漏。在本文中,我们研究了这些挑战,并利用了未来无线系统的关键推动力,以应对这些挑战。我们研究了有关RIS授权的感觉的最新解决方案,并探索采用RIS增强感觉性能的有希望的研究机会。
translated by 谷歌翻译
联合学习产生了重大兴趣,几乎所有作品都集中在一个“星形”拓扑上,其中节点/设备每个都连接到中央服务器。我们远离此架构,并将其通过网络维度扩展到最终设备和服务器之间存在多个节点的情况。具体而言,我们开发多级混合联合学习(MH-FL),是层内模型学习的混合,将网络视为基于多层群集的结构。 MH-FL认为集群中的节点中的拓扑结构,包括通过设备到设备(D2D)通信形成的本地网络,并假设用于联合学习的半分散式架构。它以协作/协作方式(即,使用D2D交互)在不同网络层处的设备进行编程,以在模型参数上形成本地共识,并将其与树形层次层的层之间的多级参数中继相结合。我们相对于网络拓扑(例如,光谱半径)和学习算法的参数来得出MH-F1的收敛的大界限(例如,不同簇中的D2D圆数的数量)。我们在不同的集群中获得了一系列D2D轮的政策,以保证有限的最佳差距或收敛到全局最佳。然后,我们开发一个分布式控制算法,用于MH-FL在每个集群中调整每个集群的D2D轮,以满足特定的收敛标准。我们在现实世界数据集上的实验验证了我们的分析结果,并展示了MH-FL在资源利用率指标方面的优势。
translated by 谷歌翻译