提出了一个新的联邦学习(FL)框架,该框架是通过大规模无线连接启用的,用于设计连接和自动驾驶汽车(CAVS)的自动控制器。在此框架中,控制器使用的学习模型在一组骑士之间进行了协作培训。为了捕获不同的CAV参与FL训练过程以及骑士之间的多样化的本地数据质量,提出了一种新型的动态联合近端(DFP)算法,该算法提出了骑士的流动性,无线褪色渠道的流动性,以及不平衡和不平衡和不平衡的非独立和相同分布的数据跨CAV。对所提出的算法进行了严格的合并分析,以确定CAVS与最佳自主控制器的收敛速度。特别是,明确分析了不同CAV参与FL过程的影响以及不同的CAV数据质量对所提出的DFP算法收敛的影响。利用此分析,基于合同理论的激励机制旨在提高FL收敛速度。使用真实车辆数据迹线的仿真结果表明,所提出的基于DFP的控制器可以随着时间和不同的交通情况准确跟踪目标CAV速度。此外,结果表明,与流行的FL算法(例如联邦平均(FideVG)和联邦近端(FedProx))相比,提出的DFP算法的收敛性要快得多。结果还验证了合同理论激励机制的可行性,并表明所提出的机制可以将DFP算法的收敛速度提高40%,而与基准相比。
translated by 谷歌翻译
为满足城市内部运输中不断增长的行动需求,已经提出了城市空运(UAM)的概念,其中垂直起飞和着陆(VTOL)飞机用于提供乘车服务。在UAM中,飞机可以在称为走廊的指定空间中运行,链接机场。 GBS和飞机之间的可靠通信网络使UAM能够充分利用空域,并创造快速,高效,安全的运输系统。在本文中,为了表征UAM的无线连接性能,提出了一种空间模型。对于该设置,导出任意选择的GBS与其相关飞机之间的距离和GBS经历的干扰的拉普拉斯变换的分布。使用这些结果,确定基于信号的连通概率(SIR)以捕获UAM飞机到地通信网络的连接性能。然后,提出了利用这些连接结果,建议使用傅里叶神经网络的无线的异步联合学习(AFL)框架来解决UAM操作期间湍流预测的具有挑战性问题。对于该AFL方案,引入了一种静止感知的全局聚合方案,以加快UAM飞机使用的最佳湍流预测模型的收敛性。仿真结果验证了UAM无线连接的理论派生。结果还表明,所提出的AFL框架会收敛于比同步联合学习基线和无期性的AFL方法更快地收敛到最佳湍流预测模型。此外,结果表征了在不同参数设置下的无线连接和飞机湍流模型的融合性能的性能,提供了有用的UAM设计指南。
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
随着数据生成越来越多地在没有连接连接的设备上进行,因此与机器学习(ML)相关的流量将在无线网络中无处不在。许多研究表明,传统的无线协议高效或不可持续以支持ML,这创造了对新的无线通信方法的需求。在这项调查中,我们对最先进的无线方法进行了详尽的审查,这些方法是专门设计用于支持分布式数据集的ML服务的。当前,文献中有两个明确的主题,模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍,回顾了最重要的作品,突出了开放问题并讨论了应用程序方案。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
联邦学习(FL)变得流行,并在训练大型机器学习(ML)模型的情况下表现出很大的潜力,而不会使所有者的原始数据曝光。在FL中,数据所有者可以根据其本地数据培训ML模型,并且仅将模型更新发送到模型更新,而不是原始数据到模型所有者进行聚合。为了提高模型准确性和培训完成时间的学习绩效,招募足够的参与者至关重要。同时,数据所有者是理性的,可能不愿意由于资源消耗而参与协作学习过程。为了解决这些问题,最近有各种作品旨在激励数据业主贡献其资源。在本文中,我们为文献中提出的经济和游戏理论方法提供了全面的审查,以设计刺激数据业主参加流程培训过程的各种计划。特别是,我们首先在激励机制设计中常用的佛罗里达州的基础和背景,经济理论。然后,我们审查博弈理论和经济方法应用于FL的激励机制的应用。最后,我们突出了一些开放的问题和未来关于FL激励机制设计的研究方向。
translated by 谷歌翻译
有限的通信资源,例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈(FL)。为了应对这些挑战,我们首先使用部分模型聚合(PMA)设计了一个新颖的FL框架,该框架仅汇总负责特征提取的神经网络的下层,而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后,我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限,我们定义了一个新的目标函数,名为“计划数据样本量”,以将原始的不明智优化问题转移到可用于设备调度,带宽分配,计算和通信时间分配的可拖动问题中。我们的分析表明,当PMA-FL的沟通和计算部分具有相同的功率时,可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略,并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比,提议的PMA-FL在两个典型的异质数据集(即Minist和CIFAR-10)上提高了2.72%和11.6%的精度。此外,提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高,但它们提供了令人满意的能量和时间缩短:MNIST的29%能量或20%的时间缩短; CIFAR-10的能量和25%的能量或12.5%的时间缩短。
translated by 谷歌翻译
个性化联合学习(PFL)是一种新的联邦学习(FL)方法,可解决分布式用户设备(UES)生成的数据集的异质性问题。但是,大多数现有的PFL实现都依赖于同步培训来确保良好的收敛性能,这可能会导致严重的散乱问题,在这种情况下,训练时间大量延长了最慢的UE。为了解决这个问题,我们提出了一种半同步PFL算法,被称为半同步个性化的FederatedAveraging(Perfeds $^2 $),而不是移动边缘网络。通过共同优化无线带宽分配和UE调度策略,它不仅减轻了Straggler问题,而且还提供了收敛的培训损失保证。我们根据每回合的参与者数量和回合数量来得出Perfeds2收敛速率的上限。在此基础上,可以使用分析解决方案解决带宽分配问题,并且可以通过贪婪算法获得UE调度策略。实验结果与同步和异步PFL算法相比,验证了Perfeds2在节省训练时间和保证训练损失的收敛方面的有效性。
translated by 谷歌翻译
Unmanned aerial vehicle (UAV) swarms are considered as a promising technique for next-generation communication networks due to their flexibility, mobility, low cost, and the ability to collaboratively and autonomously provide services. Distributed learning (DL) enables UAV swarms to intelligently provide communication services, multi-directional remote surveillance, and target tracking. In this survey, we first introduce several popular DL algorithms such as federated learning (FL), multi-agent Reinforcement Learning (MARL), distributed inference, and split learning, and present a comprehensive overview of their applications for UAV swarms, such as trajectory design, power control, wireless resource allocation, user assignment, perception, and satellite communications. Then, we present several state-of-the-art applications of UAV swarms in wireless communication systems, such us reconfigurable intelligent surface (RIS), virtual reality (VR), semantic communications, and discuss the problems and challenges that DL-enabled UAV swarms can solve in these applications. Finally, we describe open problems of using DL in UAV swarms and future research directions of DL enabled UAV swarms. In summary, this survey provides a comprehensive survey of various DL applications for UAV swarms in extensive scenarios.
translated by 谷歌翻译
使用人工智能(AI)赋予无线网络中数据量的前所未有的数据量激增,为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习(ML)基础的服务。然而,这种传统的训练技术包括两个挑战:(i)由于数据通信增加而导致的高通信和能源成本,(ii)通过允许不受信任的各方利用这些信息来威胁数据隐私。最近,鉴于这些限制,一种新兴的新兴技术,包括联合学习(FL),以使ML带到无线网络的边缘。通过以分布式方式培训全局模型,可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源,在不影响数据隐私的情况下开发广义ML模型。在本文中,我们介绍了对FL的基本面和能够实现技术的全面调查。此外,提出了一个广泛的研究,详细说明了无线网络中的流体的各种应用,并突出了他们的挑战和局限性。进一步探索了FL的疗效,其新兴的前瞻性超出了第五代(B5G)和第六代(6G)通信系统。本调查的目的是在关键的无线技术中概述了流动的技术,这些技术将作为建立对该主题的坚定了解的基础。最后,我们向未来的研究方向提供前进的道路。
translated by 谷歌翻译
联邦元学习(FML)已成为应对当今边缘学习竞技场中的数据限制和异质性挑战的承诺范式。然而,其性能通常受到缓慢的收敛性和相应的低通信效率的限制。此外,由于可用的无线电频谱和物联网设备的能量容量通常不足,因此在在实际无线网络中部署FML时,控制资源分配和能量消耗是至关重要的。为了克服挑战,在本文中,我们严格地分析了每个设备对每轮全球损失减少的贡献,并使用非统一的设备选择方案开发FML算法(称为Nufm)以加速收敛。之后,我们制定了集成NuFM在多通道无线系统中的资源分配问题,共同提高收敛速率并最小化壁钟时间以及能量成本。通过逐步解构原始问题,我们设计了一个联合设备选择和资源分配策略,以解决理论保证问题。此外,我们表明Nufm的计算复杂性可以通过$ O(d ^ 2)$至$ o(d)$(使用模型维度$ d $)通过组合两个一阶近似技术来降低。广泛的仿真结果表明,与现有基线相比,所提出的方法的有效性和优越性。
translated by 谷歌翻译
在本文中,提出了一个绿色,量化的FL框架,该框架在本地培训和上行链路传输中代表具有有限精度水平的数据。在这里,有限的精度级别是通过使用量化的神经网络(QNN)来捕获的,该神经网络(QNN)以固定精确格式量化权重和激活。在考虑的FL模型中,每个设备训练其QNN并将量化的训练结果传输到基站。严格得出了局部训练和传输的能量模型。为了同时最大程度地减少能耗和交流的数量,相对于本地迭代的数量,选定设备的数量以及本地培训和传输的精确级别,在确保融合的同时,提出了多目标优化问题目标准确性约束。为了解决此问题,相对于系统控制变量,分析得出所提出的FL系统的收敛速率。然后,该问题的帕累托边界被表征为使用正常边界检查方法提供有效的解决方案。通过使用NASH讨价还价解决方案并分析派生的收敛速率,从两个目标之间平衡了两种目标之间的权衡的洞察力。仿真结果表明,与代表完全精确的数据相比,提出的FL框架可以减少能源消耗,直到收敛高达52%。
translated by 谷歌翻译
联合学习(FL)是一种新颖的学习范式,可解决集中学习的隐私泄漏挑战。但是,在FL中,具有非独立和相同分布(非IID)特征的用户可能会恶化全局模型的性能。具体而言,由于非IID数据,全局模型受到权重差异的挑战。为了应对上述挑战,我们提出了机器学习(ML)模型(FIDDIF)的新型扩散策略,以通过非IID数据最大化FL性能。在FedDif中,用户通过D2D通信将本地模型传播给相邻用户。 FedDif使本地模型能够在参数聚合之前体验不同的分布。此外,从理论上讲,我们证明了FedDif可以规避体重差异挑战。在理论的基础上,我们提出了ML模型的沟通效率扩散策略,该策略可以决定基于拍卖理论的学习绩效和沟通成本之间的权衡。绩效评估结果表明,与非IID设置相比,FedDIF将全球模型的测试准确性提高了11%。此外,与最新方法相比
translated by 谷歌翻译
预计未来的无线网络将支持各种移动服务,包括人工智能(AI)服务和无处不在的数据传输。联合学习(FL)作为一种革命性的学习方法,可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性,无线计算允许同时通过同一无线电资源从大型设备上传,因此大大降低了FL的通信成本。在本文中,我们研究了移动边缘网络中的无线信息和传统信息传输(IT)的共存。我们提出了一个共存的联合学习和信息传输(CFLIT)通信框架,其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下,我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于,由于服务器和边缘设备之间的频繁通信以进行FL模型聚合,因此发生的大开销。为了应对挑战,我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在,该比率最大程度地降低了空中FL所需的无线电资源量,以收敛到给定的错误公差。基于分析,我们提出了一种低复杂性在线算法,以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。
translated by 谷歌翻译
Federated learning (FL) has achieved great success as a privacy-preserving distributed training paradigm, where many edge devices collaboratively train a machine learning model by sharing the model updates instead of the raw data with a server. However, the heterogeneous computational and communication resources of edge devices give rise to stragglers that significantly decelerate the training process. To mitigate this issue, we propose a novel FL framework named stochastic coded federated learning (SCFL) that leverages coded computing techniques. In SCFL, before the training process starts, each edge device uploads a privacy-preserving coded dataset to the server, which is generated by adding Gaussian noise to the projected local dataset. During training, the server computes gradients on the global coded dataset to compensate for the missing model updates of the straggling devices. We design a gradient aggregation scheme to ensure that the aggregated model update is an unbiased estimate of the desired global update. Moreover, this aggregation scheme enables periodical model averaging to improve the training efficiency. We characterize the tradeoff between the convergence performance and privacy guarantee of SCFL. In particular, a more noisy coded dataset provides stronger privacy protection for edge devices but results in learning performance degradation. We further develop a contract-based incentive mechanism to coordinate such a conflict. The simulation results show that SCFL learns a better model within the given time and achieves a better privacy-performance tradeoff than the baseline methods. In addition, the proposed incentive mechanism grants better training performance than the conventional Stackelberg game approach.
translated by 谷歌翻译
In recent years, the exponential proliferation of smart devices with their intelligent applications poses severe challenges on conventional cellular networks. Such challenges can be potentially overcome by integrating communication, computing, caching, and control (i4C) technologies. In this survey, we first give a snapshot of different aspects of the i4C, comprising background, motivation, leading technological enablers, potential applications, and use cases. Next, we describe different models of communication, computing, caching, and control (4C) to lay the foundation of the integration approach. We review current state-of-the-art research efforts related to the i4C, focusing on recent trends of both conventional and artificial intelligence (AI)-based integration approaches. We also highlight the need for intelligence in resources integration. Then, we discuss integration of sensing and communication (ISAC) and classify the integration approaches into various classes. Finally, we propose open challenges and present future research directions for beyond 5G networks, such as 6G.
translated by 谷歌翻译
联合学习(FL)使移动设备能够在保留本地数据的同时协作学习共享的预测模型。但是,实际上在移动设备上部署FL存在两个主要的研究挑战:(i)频繁的无线梯度更新v.s.频谱资源有限,以及(ii)培训期间渴望的FL通信和本地计算V.S.电池约束的移动设备。为了应对这些挑战,在本文中,我们提出了一种新型的多位空天空计算(MAIRCOMP)方法,用于FL中本地模型更新的频谱有效聚合,并进一步介绍用于移动的能源有效的FL设计设备。具体而言,高精度数字调制方案是在MAIRCOMP中设计和合并的,允许移动设备同时在多访问通道中同时在所选位置上传模型更新。此外,我们理论上分析了FL算法的收敛性。在FL收敛分析的指导下,我们制定了联合传输概率和局部计算控制优化,旨在最大程度地减少FL移动设备的总体能源消耗(即迭代局部计算 +多轮通信)。广泛的仿真结果表明,我们提出的方案在频谱利用率,能源效率和学习准确性方面优于现有计划。
translated by 谷歌翻译
在本文中,研究了无线网络的联合学习(FL)。在每个通信回合中,选择一部分设备以有限的时间和能量参与聚合。为了最大程度地减少收敛时间,在基于Stackelberg游戏的框架中共同考虑了全球损失和延迟。具体而言,在Leader级别上,将基于信息的设备选择(AOI)选择为全球损失最小化问题,而子渠道分配,计算资源分配和功率分配在追随者级别被视为延迟最小化问题。通过将追随者级别的问题分为两个子问题,追随者的最佳响应是通过基于单调优化的资源分配算法和基于匹配的子渠道分配算法获得的。通过得出收敛速率的上限,重新制定了领导者级别的问题,然后提出了基于列表的设备选择算法来实现Stackelberg平衡。仿真结果表明,所提出的设备选择方案在全球损失方面优于其他方案,而开发的算法可以显着降低计算和通信的时间消耗。
translated by 谷歌翻译
最近,基于区块链的联合学习(BFL)引起了密集的研究关注,因为培训过程是可审核的,并且该体系结构无助于避免了Vanilla Federated学习(VFL)中参数服务器的单点故障。然而,BFL大大升级了通信流量量,因为BFL客户端获得的所有本地模型更新(即,模型参数的更改)都将转移给所有矿工进行验证以及所有客户端以进行聚合。相比之下,参数服务器和VFL中的客户端仅保留汇总模型更新。因此,BFL的巨大沟通流量将不可避免地损害培训效率,并阻碍BFL现实的部署。为了提高BFL的实用性,我们是第一个通过压缩BFL中的通信(称为BCFL)来提出基于快速区块链的联合学习框架的人之一。同时,我们得出了BCFL的收敛速率,而非凸损失损失。为了最大化最终模型的准确性,我们进一步提出问题,以最大程度地减少收敛率的训练损失,而相对于压缩率和块生成速率的训练时间有限,这是BI-CONVEX优化问题,可以是有效解决。最后,为了证明BCFL的效率,我们对标准CIFAR-10和女权主义数据集进行了广泛的实验。我们的实验结果不仅验证了我们的分析的正确性,而且还表明BCFL可以显着将通信流量降低95-98%,或者与BFL相比,训练时间缩短了90-95%。
translated by 谷歌翻译
古典和集中的人工智能(AI)方法要求将数据从生产者(传感器,机器)移至饥饿的数据中心,从而在侵犯隐私的同时,由于计算和通信资源的需求而引起的环境问题。缓解这种高能源成本的新兴替代方案建议在通常低功率的设备上有效分发或联合跨设备的学习任务。本文提出了一个新的框架,用于分析分布式和联合学习(FL)中的能量和碳足迹。提出的框架量化了香草FL方法和基于共识的完全分散方法的能量足迹和碳当量排放。我们讨论支持绿色FL设计并支撑其可持续性评估的最佳界限和运营点。分析了新兴5G行业垂直行业的两项案例研究:它们量化了持续和强化学习设置的环境足迹,在这些培训过程中,定期重复训练过程以进行持续改进。对于所有情况,分布式学习的可持续性都取决于满足沟通效率和学习者人口规模的特定要求。考虑到目标工业应用的模型和数据足迹,还应将能源和测试精度交易。
translated by 谷歌翻译