垂直分布式学习利用了多个学习工人收集的本地特征,以形成更好的全球模型。但是,工人与模型聚合器之间的数据交换进行参数培训会导致沉重的沟通负担,尤其是当学习系统建立在容量受限的无线网络上时。在本文中,我们提出了一个新型的层次分布式学习框架,每个工人分别学习了其本地观察到的数据的低维嵌入。然后,他们执行沟通有效的分布式最大 - 以有效地将合成的输入传输到聚合器。对于通过共享无线通道进行的数据交换,我们提出了一个基于机会性载体传感的协议,以实现所有学习工人的输出数据的最大功能操作。我们的仿真实验表明,提出的学习框架能够使用学习工人的所有原始输出的串联来实现与学习模型几乎相同的模型精度,同时需要独立于工人数量的沟通负载。
translated by 谷歌翻译
联合学习可以使远程工作人员能够协作培训共享机器学习模型,同时允许在本地保持训练数据。在无线移动设备的用例中,由于功率和带宽有限,通信开销是关键瓶颈。前工作已经利用了各种数据压缩工具,例如量化和稀疏,以减少开销。在本文中,我们提出了一种用于联合学习的预测编码的压缩方案。该方案在所有设备中具有共享预测功能,并且允许每个工作人员发送来自参考的压缩残余矢量。在每个通信中,我们基于速率失真成本选择预测器和量化器,并进一步降低熵编码的冗余。广泛的模拟表明,与其他基线方法相比,甚至更好的学习性能,通信成本可以减少高达99%。
translated by 谷歌翻译
联合学习(FL)是一个新的人工智能概念,它使得互联网(IoT)设备能够学习协作模型,而无需将原始数据发送到集中的节点进行处理。尽管有许多优势,但在物联网设备上的计算资源较低,交换模型参数的高通信成本使得FL在大型物联网网络中的应用非常有限。在这项工作中,我们为非常大的物联网网络开发了一种新型的FL压缩方案,称为高压联合学习(HCFL)。 HCFL可以减少FL过程的数据负载,而无需更改其结构和超参数。通过这种方式,我们不仅可以显着降低沟通成本,而且使密集学习过程更适应低计算资源的物联网设备。此外,我们研究了IoT设备数量与FL模型的收敛水平之间的关系,从而更好地评估了FL过程的质量。我们在模拟和数学分析中演示了HCFL方案。我们提出的理论研究可以用作最低满意度的水平,证明在满足确定的配置时,FL过程可以实现良好的性能。因此,我们表明HCFL适用于具有许多物联网设备的任何FLENTECTED网络。
translated by 谷歌翻译
随着数据生成越来越多地在没有连接连接的设备上进行,因此与机器学习(ML)相关的流量将在无线网络中无处不在。许多研究表明,传统的无线协议高效或不可持续以支持ML,这创造了对新的无线通信方法的需求。在这项调查中,我们对最先进的无线方法进行了详尽的审查,这些方法是专门设计用于支持分布式数据集的ML服务的。当前,文献中有两个明确的主题,模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍,回顾了最重要的作品,突出了开放问题并讨论了应用程序方案。
translated by 谷歌翻译
深度学习在许多应用中取得了巨大成功。然而,其在实践中的部署已经受到两个问题的困扰:由于通常在地理上分布的大量数据传输,必须集中聚合的数据的隐私。解决这两个问题都是具有挑战性的,并且大多数现有工程无法提供有效的解决方案。在本文中,我们开发FEDPC,是隐私保存和沟通效率的联邦深度学习框架。该框架允许在多个私有数据集中学习模型,同时不显示培训数据的任何信息,即使是中间数据。该框架还可以最大限度地减少更新模型的数据量。我们正式证明培训FEDPC及其隐私保留财产时学习模型的融合。我们对大量实验进行了广泛的实验,以评估FEDPC的性能,以近似到上限的性能(培训集中时)和通信开销。结果表明,当数据分配到10个计算节点时,FEDPC在8.5 \%$ 8.5 \%$ 8.5 \%$ 8.5 \%$ 8.5 \%$ 8.5 \%$ 8.5 \%。与现有工程相比,FEDPC还将通信开销降低至42.20±20美元。
translated by 谷歌翻译
在本章中,我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题,并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说,可以协同地培训联合模型,而每个参与设备的数据仍然是本地的数据。这个地址,一些延伸,隐私问题。它们还提供计算可扩展性,因为它们允许利用分布在许多边缘设备的计算资源。然而,在实践中,这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外,无线设备在其计算能力中具有高度异构,并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此,考虑到时变通信网络的影响以及器件的异构和随机计算能力,必须仔细设计分布式学习算法,特别是在无线网络边缘实现的算法。
translated by 谷歌翻译
联合学习(FL)和分裂学习(SL)是两种新兴的协作学习方法,可能会极大地促进物联网(IoT)中无处不在的智能。联合学习使机器学习(ML)模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习,每个学习都有独特的优势和各自的局限性,可能会相互补充,在物联网中无处不在的智能。因此,联合学习和分裂学习的结合最近成为一个活跃的研究领域,引起了广泛的兴趣。在本文中,我们回顾了联合学习和拆分学习方面的最新发展,并介绍了有关最先进技术的调查,该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题,并讨论了该领域未来研究的可能方向,希望进一步引起研究界对这个新兴领域的兴趣。
translated by 谷歌翻译
Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.
translated by 谷歌翻译
迄今为止,通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计,这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是,下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外,可以使这些系统了解进行交流交流的环境,从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力,从早期改编,语义意识和以任务为导向的通信开始,涵盖了基础,算法和潜在的实现。重点是利用信息理论提供基础的方法,以及学习在语义和任务感知通信中的重要作用。
translated by 谷歌翻译
用于联合学习(FL)的最佳算法设计仍然是一个打开的问题。本文探讨了实用边缘计算系统中FL的全部潜力,其中工人可能具有不同的计算和通信功能,并且在服务器和工人之间发送量化的中间模型更新。首先,我们介绍了FL,即GenQSGD的一般量化并行迷你批量随机梯度下降(SGD)算法,即GenQSGD,其由全球迭代的数量参数化,所有工人的本地迭代的数量以及迷你批量大小。我们还分析了其算法参数的任何选择的收敛误差。然后,我们优化算法参数,以最小化时间约束和收敛误差约束下的能量成本。优化问题是具有非可分辨率约束函数的具有挑战性的非凸面问题。我们提出了一种迭代算法,可以使用高级优化技术获得KKT点。数值结果证明了现有的GenQSGD的显着增益,并揭示了最佳设计的重要性FL算法。
translated by 谷歌翻译
本文研究了多个设备合作边缘推理的面向任务的通信,其中一组分布式的低端边缘设备将本地样品的提取功能传输到强大的边缘服务器以进行推理。尽管合作边缘推理可以克服单个设备的有限传感能力,但它大大增加了通信开销并可能产生过度延迟。为了启用低延迟合作推断,我们提出了一种基于学习的通信方案,该方案以面向任务的方式优化本地功能提取和分布式功能,即删除数据冗余和传输信息,这对于下游推断任务至关重要而不是重建边缘服务器上的数据示例。具体而言,我们利用信息瓶颈(IB)原理在每个边缘设备上提取与任务相关的功能,并采用分布式信息瓶颈(DIB)框架来形式化分布式特征的最佳速率 - 权利权限权衡的单字母表征。为了承认对通信开销的灵活控制,我们将DIB框架扩展到分布式确定性信息瓶颈(DDIB)目标,该目标明确合并了编码功能的代表性成本。由于基于IB的目标对高维数据的计算过敏性,因此我们采用各种近似值来使优化问题可处理。为了补偿由于变异近似而引起的潜在性能损失,我们还开发了选择性重传(SR)机制,以识别多个边缘设备的编码特征中的冗余,以实现额外的通信高架降低。广泛的实验证明,所提出的面向任务的交流方案比基线方法实现了更好的利率权衡权衡。
translated by 谷歌翻译
智能物联网环境(iiote)由可以协作执行半自动的IOT应用的异构装置,其示例包括高度自动化的制造单元或自主交互收获机器。能量效率是这种边缘环境中的关键,因为它们通常基于由无线和电池运行设备组成的基础设施,例如电子拖拉机,无人机,自动引导车辆(AGV)S和机器人。总能源消耗从多种技术技术汲取贡献,使得能够实现边缘计算和通信,分布式学习以及分布式分区和智能合同。本文提供了本技术的最先进的概述,并说明了它们的功能和性能,特别关注资源,延迟,隐私和能源消耗之间的权衡。最后,本文提供了一种在节能IIOTE和路线图中集成这些能力技术的愿景,以解决开放的研究挑战
translated by 谷歌翻译
物联网中的智能汽车,智能手机和其他设备(物联网)通常具有多个传感器,会产生多模式数据。联合学习支持从不同设备收集大量多模式数据,而无需共享原始数据。转移学习方法有助于将知识从某些设备传输到其他设备。联合转移学习方法受益于联合学习和转移学习。这个新提出的联合转移学习框架旨在将数据岛与隐私保护联系起来。我们的构建基于联合学习和转移学习。与以前的联合转移学习相比,每个用户应具有相同模式的数据(所有单峰或全模式),我们的新框架更为通用,它允许使用用户数据的混合分布。核心策略是为我们的两种用户使用两种不同但固有连接的培训方法。仅对单峰数据(类型1)的用户采用监督学习,而自我监督的学习则用于使用多模式数据(类型2)的用户,以适用于每种模式的功能及其之间的连接。类型2的这种联系知识将在培训的后期阶段有助于1键入1。新框架中的培训可以分为三个步骤。在第一步中,将具有相同模式的数据的用户分组在一起。例如,仅具有声音信号的用户在第一组中,只有图像的用户在第二组中,并且具有多模式数据的用户在第三组中,依此类推。在第二步中,在小组内执行联合学习,在该小组中,根据小组的性质,使用监督的学习和自学学习。大多数转移学习发生在第三步中,从前步骤获得的网络中的相关部分是汇总的(联合)。
translated by 谷歌翻译
在本文中,我们提出了一种由量化压缩感测的通信高效的联合学习框架。呈现的框架包括用于参数服务器(PS)的无线设备和梯度重建的梯度压缩。我们对梯度压缩的策略是顺序执行块稀疏,尺寸减小和量化。由于梯度稀疏和量化,我们的策略可以实现比单位梯度压缩更高的压缩比。为了从PS的压缩信号中精确聚集局部梯度,我们使用期望最大化通用近似消息传递(EM-GAMP)算法来提出梯度重建的近似最小均方误差(MMSE)方法。假设Bernoulli高斯 - 混合的先前,该算法迭代地更新来自压缩信号的局部梯度的后均值和方差。我们还为梯度重建呈现出低复杂性的方法。在这种方法中,我们使用Bussgang定理来从压缩信号聚合本地梯度,然后使用EM-GAMP算法计算聚合梯度的近似MMSE估计。我们还提供了所提出的框架的收敛速度分析。使用Mnist DataSet,我们证明所呈现的框架几乎可以使用不执行压缩的情况实现几乎相同的性能,同时显着降低联合学习的通信开销。
translated by 谷歌翻译
近年来,无线数据传输需求的指数增加增加了准确的光谱传感方法的紧迫性,以提高频谱效率。通过使用单个二级用户(SU)的测量结果,传统频谱传感方法的不可靠性激发了对合作频谱传感(CSS)的研究。在这项工作中,我们提出了一个垂直联合学习(VFL)框架,以利用多个SU的分布式功能,而不会损害数据隐私。但是,VFL的重复培训过程面临着高通信延迟的问题。为了加速培训过程,我们提出了一种截断的垂直联合学习(T-VFL)算法,在该算法中,通过将标准VFL算法与频道意识的用户调度策略集成在一起,可以大大降低培训潜伏期。 T-VFL的收敛性能通过数学分析提供,并通过模拟结果证明。此外,为了确保T-VFL算法的融合性能,我们对VFL框架下使用的神经体系结构进行了三个设计规则,该规则通过模拟证明了其有效性。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
作为用于多设备协作培训的边缘智能算法,联合学习(FL)可以减轻沟通负担,但增加了无线设备的计算负载。相反,分裂学习(SL)可以通过使用模型分配和分配来减少设备的计算负载,但增加了传递中间结果的通信负担。在本文中,为了利用FL和SL的优势,我们在无线网络中提出了一个混合联合拆分学习(HFSL)框架,该框架结合了FL的多工程平行更新和SL的灵活分裂。为了降低模型拆分中的计算闲置性,我们设计了一个平行计算方案,用于模型分裂而无需标签共享,理论上分析了该方案引起的延迟梯度对收敛速度的影响。为了获得训练时间和能源消耗之间的权衡,我们优化了分裂决策,带宽和计算资源分配。优化问题是多目标的,因此我们提出了一个预测性生成的对抗网络(GAN)功率的多目标优化算法,以获取问题的帕累托正面。实验结果表明,所提出的算法在寻找帕累托最佳溶液方面优于其他算法,而所提出的HFSL的解决方案主导了FL的溶液。
translated by 谷歌翻译
为了满足下一代无线通信网络的极其异构要求,研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构,其中整个培训数据在一个节点上收集,即云服务器,显着提高了通信开销,并提高了严重的隐私问题。迄今为止,最近提出了作为联合学习(FL)称为联合学习的分布式机器学习范式。在FL中,每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后,通过无线信道,本地训练模型的权重或参数被发送到中央ps,聚合它们并更新全局模型。一方面,FL对优化无线通信网络的资源起着重要作用,另一方面,无线通信对于FL至关重要。因此,FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念,但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此,我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此,本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。
translated by 谷歌翻译
通过大量多输入和多重输出实现的许多性能增长取决于发射机(基站)下链路通道状态信息(CSI)的准确性,这通常是通过在接收器(用户终端)估算并馈入的。到发射器。 CSI反馈的开销占据了大量的上行链路带宽资源,尤其是当传输天线数量较大时。基于深度学习(DL)的CSI反馈是指基于DL的自动编码器的CSI压缩和重建,并且可以大大减少反馈开销。在本文中,提供了有关该主题的最新研究的全面概述,首先是在CSI反馈中广泛使用的基本DL概念,然后对一些现有的基于DL的反馈作品进行分类和描述。重点是新型的神经网络体系结构和沟通专家知识的利用来提高CSI反馈准确性。还介绍了有关CSI反馈和CSI反馈与其他通信模块的联合设计的作品,并讨论了一些实际问题,包括培训数据集收集,在线培训,复杂性,概括和标准化效果。在本文的最后,确定了与未来无线通信系统中基于DL的CSI反馈相关的一些挑战和潜在的研究方向。
translated by 谷歌翻译
分布式学习的主要重点之一是沟通效率,因为每一轮训练的模型聚集可能包括数百万到数十亿个参数。已经提出了几种模型压缩方法,例如梯度量化和稀疏方法,以提高模型聚合的通信效率。但是,对于给定梯度估计器的给定扭曲的信息理论的最低通信成本仍然未知。在本文中,我们研究了从率延伸的角度研究分布式学习中模型聚集的基本限制。通过将模型聚合作为矢量高斯首席执行官问题,我们得出了模型聚合问题的速率区域和总成绩 - 距离函数,这揭示了在特定梯度失真上限处的最小通信速率。我们还根据现实世界数据集的梯度统计数据,分析了每次迭代和总通信成本的通信成本和总通信成本。发现通过利用工人节点之间的相关性来获得沟通增益,对于符号来说是显着的,并且梯度估计器的高扭曲可以实现梯度压缩中的较低总通信成本。
translated by 谷歌翻译