本文研究了一个新的多设备边缘人工智能(AI)系统,该系统共同利用AI模型分配推理和集成感应和通信(ISAC),以在网络边缘启用低延迟智能服务。在此系统中,多个ISAC设备执行雷达传感以获取多视图数据,然后将提取功能的量化版本卸载到集中式边缘服务器,该功能基于级联功能向量进行模型推断。在此设置和考虑分类任务下,我们通过采用近似但可拖动的度量,即判别增益来衡量推理的准确性,该指标定义为在归一化协方差下欧几里得特征空间中两个类别的距离。为了最大化判别增益,我们首先用衍生的封闭形式表达来量化感应,计算和通信过程的影响。然后,通过将这三个过程集成到联合设计中来开发面向任务的端到端资源管理方法。然而,这种集成的感应,计算和通信(ISCC)设计方法然而,由于判别增益的复杂形式和设备异质性在渠道增益,量化水平和生成的功能方面,导致了具有挑战性的非凸优化问题子集。值得注意的是,可以根据比率方法来最佳解决所考虑的非凸问题。这给出了最佳ISCC方案,该方案共同确定多个设备的传输功率和时间分配,以进行传感和通信,以及它们的量化位分配以进行计算失真控制。通过将人类运动识别作为具体的AI推理任务,进行了广泛的实验来验证我们衍生的最佳ISCC方案的性能。
translated by 谷歌翻译
联合学习(FL)使移动设备能够在保留本地数据的同时协作学习共享的预测模型。但是,实际上在移动设备上部署FL存在两个主要的研究挑战:(i)频繁的无线梯度更新v.s.频谱资源有限,以及(ii)培训期间渴望的FL通信和本地计算V.S.电池约束的移动设备。为了应对这些挑战,在本文中,我们提出了一种新型的多位空天空计算(MAIRCOMP)方法,用于FL中本地模型更新的频谱有效聚合,并进一步介绍用于移动的能源有效的FL设计设备。具体而言,高精度数字调制方案是在MAIRCOMP中设计和合并的,允许移动设备同时在多访问通道中同时在所选位置上传模型更新。此外,我们理论上分析了FL算法的收敛性。在FL收敛分析的指导下,我们制定了联合传输概率和局部计算控制优化,旨在最大程度地减少FL移动设备的总体能源消耗(即迭代局部计算 +多轮通信)。广泛的仿真结果表明,我们提出的方案在频谱利用率,能源效率和学习准确性方面优于现有计划。
translated by 谷歌翻译
联合学习(FL)最近被揭示为有希望的技术,以便在网络边缘启用人工智能(AI),其中分布式移动设备在边缘服务器的协调下协同培训共享AI模型。为了显着提高FL的通信效率,通过利用无线多接入信道的叠加特性,遍布空中计算允许大量的移动设备通过利用无线多接入信道的叠加特性同时上传其本地模型。由于无线信道衰落,边缘服务器的模型聚合误差由所有设备中最弱的通道主导,导致严重的孤立问题。在本文中,我们提出了一种继电器协助的合作液计划,以有效地解决了斯塔格勒问题。特别是,我们部署了多个半双工继电器以协同协作在将本地模型更新上载到边缘服务器时的设备。空中计算的性质构成了与传统继电器通信系统中不同的系统目标和约束。此外,设计变量之间的强耦合使得这种系统具有挑战性的优化。为了解决问题,我们提出了一种基于交替优化的算法来优化收发器和中继操作,具有低复杂度。然后,我们在单个中继盒中分析模型聚合误差,并显示我们的继电器辅助方案实现比没有继电器的中继的误差较小的误差。该分析提供了对协同媒体实施中的继电器部署的关键见解。广泛的数值结果表明,与最先进的方案相比,我们的设计达到了更快的融合。
translated by 谷歌翻译
随着数据生成越来越多地在没有连接连接的设备上进行,因此与机器学习(ML)相关的流量将在无线网络中无处不在。许多研究表明,传统的无线协议高效或不可持续以支持ML,这创造了对新的无线通信方法的需求。在这项调查中,我们对最先进的无线方法进行了详尽的审查,这些方法是专门设计用于支持分布式数据集的ML服务的。当前,文献中有两个明确的主题,模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍,回顾了最重要的作品,突出了开放问题并讨论了应用程序方案。
translated by 谷歌翻译
预计未来的无线网络将支持各种移动服务,包括人工智能(AI)服务和无处不在的数据传输。联合学习(FL)作为一种革命性的学习方法,可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性,无线计算允许同时通过同一无线电资源从大型设备上传,因此大大降低了FL的通信成本。在本文中,我们研究了移动边缘网络中的无线信息和传统信息传输(IT)的共存。我们提出了一个共存的联合学习和信息传输(CFLIT)通信框架,其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下,我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于,由于服务器和边缘设备之间的频繁通信以进行FL模型聚合,因此发生的大开销。为了应对挑战,我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在,该比率最大程度地降低了空中FL所需的无线电资源量,以收敛到给定的错误公差。基于分析,我们提出了一种低复杂性在线算法,以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。
translated by 谷歌翻译
在多机器人合作(MRC)系统中部署移动边缘计算(MEC)部署是在能耗和实现延迟方面完成任务的有效方法。然而,需要共同考虑计算和通信资源以充分利用MEC技术所带来的优势。在本文中,研究了多个机器人协作完成时间关键任务的情况,其中智能主机器人(MR)充当边缘服务器,以向多个从机器人(SRS)提供服务,并且SRS负责环境传感和数据收集。为了节省能源并延长系统的函数时间,提出了两种方案,分别优化计算和通信资源。在第一种方案中,SRS的能量消耗最小化和平衡,同时保证在时间约束下完成任务。在第二种方案中,不仅可以消耗能耗,而且认为SRS的剩余能量被认为是增强系统的鲁棒性。通过分析和数值模拟,我们证明即使第一策略可以保证对总SRS能耗的最小化,MRC系统的函数时间比第一个策略更长。
translated by 谷歌翻译
有限的通信资源,例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈(FL)。为了应对这些挑战,我们首先使用部分模型聚合(PMA)设计了一个新颖的FL框架,该框架仅汇总负责特征提取的神经网络的下层,而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后,我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限,我们定义了一个新的目标函数,名为“计划数据样本量”,以将原始的不明智优化问题转移到可用于设备调度,带宽分配,计算和通信时间分配的可拖动问题中。我们的分析表明,当PMA-FL的沟通和计算部分具有相同的功率时,可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略,并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比,提议的PMA-FL在两个典型的异质数据集(即Minist和CIFAR-10)上提高了2.72%和11.6%的精度。此外,提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高,但它们提供了令人满意的能量和时间缩短:MNIST的29%能量或20%的时间缩短; CIFAR-10的能量和25%的能量或12.5%的时间缩短。
translated by 谷歌翻译
联邦元学习(FML)已成为应对当今边缘学习竞技场中的数据限制和异质性挑战的承诺范式。然而,其性能通常受到缓慢的收敛性和相应的低通信效率的限制。此外,由于可用的无线电频谱和物联网设备的能量容量通常不足,因此在在实际无线网络中部署FML时,控制资源分配和能量消耗是至关重要的。为了克服挑战,在本文中,我们严格地分析了每个设备对每轮全球损失减少的贡献,并使用非统一的设备选择方案开发FML算法(称为Nufm)以加速收敛。之后,我们制定了集成NuFM在多通道无线系统中的资源分配问题,共同提高收敛速率并最小化壁钟时间以及能量成本。通过逐步解构原始问题,我们设计了一个联合设备选择和资源分配策略,以解决理论保证问题。此外,我们表明Nufm的计算复杂性可以通过$ O(d ^ 2)$至$ o(d)$(使用模型维度$ d $)通过组合两个一阶近似技术来降低。广泛的仿真结果表明,与现有基线相比,所提出的方法的有效性和优越性。
translated by 谷歌翻译
In recent years, the exponential proliferation of smart devices with their intelligent applications poses severe challenges on conventional cellular networks. Such challenges can be potentially overcome by integrating communication, computing, caching, and control (i4C) technologies. In this survey, we first give a snapshot of different aspects of the i4C, comprising background, motivation, leading technological enablers, potential applications, and use cases. Next, we describe different models of communication, computing, caching, and control (4C) to lay the foundation of the integration approach. We review current state-of-the-art research efforts related to the i4C, focusing on recent trends of both conventional and artificial intelligence (AI)-based integration approaches. We also highlight the need for intelligence in resources integration. Then, we discuss integration of sensing and communication (ISAC) and classify the integration approaches into various classes. Finally, we propose open challenges and present future research directions for beyond 5G networks, such as 6G.
translated by 谷歌翻译
本文通过匹配的追求方法开发了一类低复杂设备调度算法,以实现空中联合学习。提出的方案紧密跟踪了通过差异编程实现的接近最佳性能,并且基于凸松弛的众所周知的基准算法极大地超越了众所周知的基准算法。与最先进的方案相比,所提出的方案在系统上构成了较低的计算负载:对于$ k $设备和参数服务器上的$ n $ antennas,基准的复杂性用$ \ left缩放(n^)2 + k \ right)^3 + n^6 $,而提出的方案量表的复杂性则以$ 0 <p,q \ leq 2 $为$ k^p n^q $。通过CIFAR-10数据集上的数值实验证实了所提出的方案的效率。
translated by 谷歌翻译
边缘联合学习(FL)是一种新兴范式,它基于无线通信从分布式数据集中列出全局参数模型。本文提出了一个单位模量的空中计算(UMAircomp)框架,以便于高效的边缘联合学习,它同时通过模拟波束形成更新本地模型参数并更新全局模型参数。所提出的框架避免了复杂的基带信号处理,导致通信延迟和实现成本低。推导Umaircomp FL系统的培训损失界限,并提出了两个低复杂性大规模优化算法,称为惩罚交替最小化(PAM)和加速梯度投影(AGP),以最小化非凸起的非运动损耗绑定。仿真结果表明,与PAM算法的提议Umaircomp框架达到了模型参数估计,训练丢失和测试错误的较小均方误差。此外,具有AGP算法的提议Umaircomp框架实现了令人满意的性能,而与现有优化算法相比,通过幅度的序列降低了计算复杂性。最后,我们展示了Umaircomp在车辆到一般的自主驾驶仿真平台中的实现。发现自主驾驶任务对模型参数误差比其他任务更敏感,因为自主驱动的神经网络包含稀疏模型参数。
translated by 谷歌翻译
近年来,无线数据传输需求的指数增加增加了准确的光谱传感方法的紧迫性,以提高频谱效率。通过使用单个二级用户(SU)的测量结果,传统频谱传感方法的不可靠性激发了对合作频谱传感(CSS)的研究。在这项工作中,我们提出了一个垂直联合学习(VFL)框架,以利用多个SU的分布式功能,而不会损害数据隐私。但是,VFL的重复培训过程面临着高通信延迟的问题。为了加速培训过程,我们提出了一种截断的垂直联合学习(T-VFL)算法,在该算法中,通过将标准VFL算法与频道意识的用户调度策略集成在一起,可以大大降低培训潜伏期。 T-VFL的收敛性能通过数学分析提供,并通过模拟结果证明。此外,为了确保T-VFL算法的融合性能,我们对VFL框架下使用的神经体系结构进行了三个设计规则,该规则通过模拟证明了其有效性。
translated by 谷歌翻译
集成感应和通信(ISAC)代表范式转移,以前竞争的无线传输是共同设计的,可通过共同使用硬件平台来提高光谱,能源和硬件效率来和谐地运行。但是,由于诸如褪色和堵塞之类的对抗性因素,ISAC无融合可能会遭受高感知不确定性的影响。本文提出了一个多点ISAC(MPISAC)系统,该系统通过利用多雷达数据冗余来融合来自多个ISAC设备的输出,以实现更高的感应性能。此外,我们建议通过功能选择模块有效地探索传感和通信之间的性能权衡,该功能选择模块可适应地确定ISAC设备的工作状态(即传感或通信)。我们方法的症结在于采用融合模型,该模型通过假设检验和最佳投票分析来预测融合精度。仿真结果表明,MPISAC优于各种基准方案,并表明所提出的方法可以有效地跨越ISAC系统中的权衡区域。
translated by 谷歌翻译
迄今为止,通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计,这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是,下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外,可以使这些系统了解进行交流交流的环境,从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力,从早期改编,语义意识和以任务为导向的通信开始,涵盖了基础,算法和潜在的实现。重点是利用信息理论提供基础的方法,以及学习在语义和任务感知通信中的重要作用。
translated by 谷歌翻译
Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.
translated by 谷歌翻译
在本文中,研究了无线网络的联合学习(FL)。在每个通信回合中,选择一部分设备以有限的时间和能量参与聚合。为了最大程度地减少收敛时间,在基于Stackelberg游戏的框架中共同考虑了全球损失和延迟。具体而言,在Leader级别上,将基于信息的设备选择(AOI)选择为全球损失最小化问题,而子渠道分配,计算资源分配和功率分配在追随者级别被视为延迟最小化问题。通过将追随者级别的问题分为两个子问题,追随者的最佳响应是通过基于单调优化的资源分配算法和基于匹配的子渠道分配算法获得的。通过得出收敛速率的上限,重新制定了领导者级别的问题,然后提出了基于列表的设备选择算法来实现Stackelberg平衡。仿真结果表明,所提出的设备选择方案在全球损失方面优于其他方案,而开发的算法可以显着降低计算和通信的时间消耗。
translated by 谷歌翻译
在集成感测和通信(ISAC)系统中表征传感和通信性能权衡,在基于学习的人类运动识别的应用中具有挑战性。这是因为大型实验数据集和深神经网络的黑盒性质。本文介绍了SDP3,这是一种模拟驱动的性能预测指标和优化器,由SDP3数据模拟器,SDP3性能预测器和SDP3性能优化器组成。具体而言,SDP3数据模拟器在虚拟环境中生成生动的无线传感数据集,SDP3性能预测器预测基于函数回归方法的传感性能,而SDP3性能优化器会在分析上研究传感和通信性能。结果表明,模拟传感数据集在运动识别精度中非常匹配实验数据集。通过利用SDP3,发现可实现的识别准确性和通信吞吐量由通信饱和区组成,感应饱和区和通讯感应的对抗区域,ISAC系统的所需平衡性能位于第三个一。
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
本文研究了多个设备合作边缘推理的面向任务的通信,其中一组分布式的低端边缘设备将本地样品的提取功能传输到强大的边缘服务器以进行推理。尽管合作边缘推理可以克服单个设备的有限传感能力,但它大大增加了通信开销并可能产生过度延迟。为了启用低延迟合作推断,我们提出了一种基于学习的通信方案,该方案以面向任务的方式优化本地功能提取和分布式功能,即删除数据冗余和传输信息,这对于下游推断任务至关重要而不是重建边缘服务器上的数据示例。具体而言,我们利用信息瓶颈(IB)原理在每个边缘设备上提取与任务相关的功能,并采用分布式信息瓶颈(DIB)框架来形式化分布式特征的最佳速率 - 权利权限权衡的单字母表征。为了承认对通信开销的灵活控制,我们将DIB框架扩展到分布式确定性信息瓶颈(DDIB)目标,该目标明确合并了编码功能的代表性成本。由于基于IB的目标对高维数据的计算过敏性,因此我们采用各种近似值来使优化问题可处理。为了补偿由于变异近似而引起的潜在性能损失,我们还开发了选择性重传(SR)机制,以识别多个边缘设备的编码特征中的冗余,以实现额外的通信高架降低。广泛的实验证明,所提出的面向任务的交流方案比基线方法实现了更好的利率权衡权衡。
translated by 谷歌翻译
在本章中,我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题,并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说,可以协同地培训联合模型,而每个参与设备的数据仍然是本地的数据。这个地址,一些延伸,隐私问题。它们还提供计算可扩展性,因为它们允许利用分布在许多边缘设备的计算资源。然而,在实践中,这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外,无线设备在其计算能力中具有高度异构,并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此,考虑到时变通信网络的影响以及器件的异构和随机计算能力,必须仔细设计分布式学习算法,特别是在无线网络边缘实现的算法。
translated by 谷歌翻译