在本文中，我们研究了启用高速雾无线电访问网络（F-RAN）中的内容受欢迎程度预测问题。为了以高准确性和低复杂性预测内容的流行，我们提出了基于高斯流程的回归器，以模拟内容请求模式。首先，我们提出的模型捕获了内容特征和受欢迎程度之间的关系。然后，我们利用贝叶斯学习来训练模型参数，这对于过度拟合非常可靠。但是，贝叶斯方法通常无法找到后验分布的闭合形式表达。为了解决此问题，我们采用随机方差降低梯度哈密顿蒙特卡洛（SVRG-HMC）方法来近似后验分布。为了利用其他FOG接入点（F-AP）的计算资源并减少开销的通信，我们提出了一个量化的联合学习（FL）框架与贝叶斯学习相结合。量化的联合贝叶斯学习框架允许每个F-AP在量化和编码后将梯度发送到云服务器。它可以有效地实现预测准确性和通信间接费用之间的权衡。仿真结果表明，我们提出的政策的绩效优于现有政策。

在本文中，研究了FOG无线电访问网络（F-RAN）中的内容流行度预测问题。基于聚集的联合学习，我们提出了一种新颖的移动性知名度预测策略，该政策将内容受欢迎程度整合在本地用户和移动用户方面。对于本地用户，通过学习本地用户和内容的隐藏表示形式来预测内容的普及。本地用户和内容的初始功能是通过将邻居信息与自我信息结合在一起来生成的。然后，引入了双通道神经网络（DCNN）模型，以通过从初始功能中产生深层特征来学习隐藏表示形式。对于移动用户，通过用户偏好学习预测内容流行。为了区分内容受欢迎程度的区域变化，采用了聚类联合学习（CFL），这使具有相似区域类型的雾接入点（F-APS）彼此受益，并为每个F-AP提供更专业的DCNN模型。仿真结果表明，我们提出的政策对传统政策实现了重大的绩效提高。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

如今，无线通信正在迅速重塑整个行业。特别是，移动边缘计算（MEC）是一种用于工业互联网（IIOT）的促成技术，它使强大的计算/存储基础架构更靠近移动终端，从而大大降低了响应延迟。为了获得在网络边缘积极缓存的好处，对最终设备之间的受欢迎程度的精确知识至关重要。但是，在许多IIOT场景中，内容流行的内容流行以及数据私人关系的复杂性质对其获取构成了艰巨的挑战。在本文中，我们建议针对MEC启用的IIOT提供无监督和保护隐私的普及预测框架。引入了本地和全球流行的概念，并将每个用户的随时间变化为无模型的马尔可夫链。在此基础上，提出了一种新颖的无监督的复发性联合学习（URFL）算法，以预测分布式的流行，同时实现隐私保护和无监督的培训。仿真表明，提出的框架可以根据降低的根平方误差提高预测准确性，高达$ 60.5 \％-68.7 \％$。此外，避免了手动标签和违反用户数据隐私的行为。

本文考虑通过模型量化提高联邦学习（FL）的无线通信和计算效率。在提出的Bitwidth FL方案中，Edge设备将其本地FL模型参数的量化版本训练并传输到协调服务器，从而将它们汇总为量化的全局模型并同步设备。目的是共同确定用于本地FL模型量化的位宽度以及每次迭代中参与FL训练的设备集。该问题被视为一个优化问题，其目标是在每卷工具采样预算和延迟要求下最大程度地减少量化FL的训练损失。为了得出解决方案，进行分析表征，以显示有限的无线资源和诱导的量化误差如何影响所提出的FL方法的性能。分析结果表明，两个连续迭代之间的FL训练损失的改善取决于设备的选择和量化方案以及所学模型固有的几个参数。给定基于线性回归的这些模型属性的估计值，可以证明FL训练过程可以描述为马尔可夫决策过程（MDP），然后提出了基于模型的增强学习（RL）方法来优化动作的方法选择迭代。与无模型RL相比，这种基于模型的RL方法利用FL训练过程的派生数学表征来发现有效的设备选择和量化方案，而无需强加其他设备通信开销。仿真结果表明，与模型无RL方法和标准FL方法相比，提出的FL算法可以减少29％和63％的收敛时间。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

联合学习可以使远程工作人员能够协作培训共享机器学习模型，同时允许在本地保持训练数据。在无线移动设备的用例中，由于功率和带宽有限，通信开销是关键瓶颈。前工作已经利用了各种数据压缩工具，例如量化和稀疏，以减少开销。在本文中，我们提出了一种用于联合学习的预测编码的压缩方案。该方案在所有设备中具有共享预测功能，并且允许每个工作人员发送来自参考的压缩残余矢量。在每个通信中，我们基于速率失真成本选择预测器和量化器，并进一步降低熵编码的冗余。广泛的模拟表明，与其他基线方法相比，甚至更好的学习性能，通信成本可以减少高达99％。

在本章中，我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题，并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说，可以协同地培训联合模型，而每个参与设备的数据仍然是本地的数据。这个地址，一些延伸，隐私问题。它们还提供计算可扩展性，因为它们允许利用分布在许多边缘设备的计算资源。然而，在实践中，这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外，无线设备在其计算能力中具有高度异构，并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此，考虑到时变通信网络的影响以及器件的异构和随机计算能力，必须仔细设计分布式学习算法，特别是在无线网络边缘实现的算法。

分布式学习的主要重点之一是沟通效率，因为每一轮训练的模型聚集可能包括数百万到数十亿个参数。已经提出了几种模型压缩方法，例如梯度量化和稀疏方法，以提高模型聚合的通信效率。但是，对于给定梯度估计器的给定扭曲的信息理论的最低通信成本仍然未知。在本文中，我们研究了从率延伸的角度研究分布式学习中模型聚集的基本限制。通过将模型聚合作为矢量高斯首席执行官问题，我们得出了模型聚合问题的速率区域和总成绩 - 距离函数，这揭示了在特定梯度失真上限处的最小通信速率。我们还根据现实世界数据集的梯度统计数据，分析了每次迭代和总通信成本的通信成本和总通信成本。发现通过利用工人节点之间的相关性来获得沟通增益，对于符号来说是显着的，并且梯度估计器的高扭曲可以实现梯度压缩中的较低总通信成本。

如今，各种机器学习（ML）应用程序在无线网络边缘提供连续数据处理和实时数据分析。分布式ML解决方案受到资源异质性严重挑战，特别是所谓的脱柱效应。为了解决此问题，我们设计一种用于设备的新设备到设备（D2D）辅助编码联合学习方法（D2D-CFL），用于在特征隐私泄漏时跨设备负载平衡。所提出的解决方案捕获系统动态，包括数据（时间依赖学习模型，数据到达的各种强度），设备（不同的计算资源和培训数据量）和部署（各种位置和D2D图连接）。我们得出了最佳压缩速率，以实现最小处理时间并建立与收敛时间的连接。由此产生的优化问题提供了次优压缩参数，其提高了总培训时间。我们所提出的方法有利于实时协同应用，用户不断地生成培训数据。

车辆边缘计算（VEC）可以在网络边缘的不同RSU中缓存内容，以支持实时车辆应用。在VEC中，由于车辆的高运动特性，有必要提前缓存用户数据，并为车辆用户学习最流行和最有趣的内容。由于用户数据通常包含隐私信息，因此用户不愿与他人共享其数据。为了解决这个问题，传统的联合学习（FL）需要通过汇总所有用户的本地模型来保护用户的隐私来同步更新全局模型。但是，车辆可能会在实现本地模型培训之前经常离开VEC的覆盖范围，因此无法按预期上传本地型号，这将降低全球模型的准确性。此外，本地RSU的缓存能力有限，流行内容是多样的，因此预测的流行内容的大小通常超过本地RSU的缓存能力。因此，在考虑内容传输延迟的同时，VEC应在不同的RSU中缓存预测的流行内容。在本文中，我们考虑了车辆的流动性，并提出了基于联合和深度强化学习（CAFR）的VEC中的合作缓存计划。我们首先考虑车辆的移动性，并提出异步FL算法以获得准确的全局模型，然后提出一种算法来预测基于全球模型的流行内容。此外，我们考虑了车辆的移动性，并提出了深入的强化学习算法，以获取预测流行内容的最佳合作缓存位置，以优化内容传输延迟。广泛的实验结果表明，CAFR方案的表现优于其他基线缓存方案。

随着边缘设备变得越来越强大，数据分析逐渐从集中式转移到分散的制度，在该制度中，利用边缘计算资源以在本地处理更多数据。这种分析制度被认为是联合数据分析（FDA）。尽管FDA最近有成功的案例，但大多数文献都专注于深度神经网络。在这项工作中，我们退后一步，为最基本的统计模型之一开发了FDA处理：线性回归。我们的处理是建立在层次建模的基础上，该模型允许多个组借用强度。为此，我们提出了两个联合的层次模型结构，它们在跨设备之间提供共享表示以促进信息共享。值得注意的是，我们提出的框架能够提供不确定性量化，可变选择，假设测试以及对新看不见数据的快速适应。我们在一系列现实生活中验证了我们的方法，包括对飞机发动机的条件监控。结果表明，我们对线性模型的FDA处理可以作为联合算法未来开发的竞争基准模型。

在本文中，我们提出了一种由量化压缩感测的通信高效的联合学习框架。呈现的框架包括用于参数服务器（PS）的无线设备和梯度重建的梯度压缩。我们对梯度压缩的策略是顺序执行块稀疏，尺寸减小和量化。由于梯度稀疏和量化，我们的策略可以实现比单位梯度压缩更高的压缩比。为了从PS的压缩信号中精确聚集局部梯度，我们使用期望最大化通用近似消息传递（EM-GAMP）算法来提出梯度重建的近似最小均方误差（MMSE）方法。假设Bernoulli高斯 - 混合的先前，该算法迭代地更新来自压缩信号的局部梯度的后均值和方差。我们还为梯度重建呈现出低复杂性的方法。在这种方法中，我们使用Bussgang定理来从压缩信号聚合本地梯度，然后使用EM-GAMP算法计算聚合梯度的近似MMSE估计。我们还提供了所提出的框架的收敛速度分析。使用Mnist DataSet，我们证明所呈现的框架几乎可以使用不执行压缩的情况实现几乎相同的性能，同时显着降低联合学习的通信开销。

本文通过匹配的追求方法开发了一类低复杂设备调度算法，以实现空中联合学习。提出的方案紧密跟踪了通过差异编程实现的接近最佳性能，并且基于凸松弛的众所周知的基准算法极大地超越了众所周知的基准算法。与最先进的方案相比，所提出的方案在系统上构成了较低的计算负载：对于$ k $设备和参数服务器上的$ n $ antennas，基准的复杂性用$ \ left缩放（n^）2 + k \ right）^3 + n^6 $，而提出的方案量表的复杂性则以$ 0 <p，q \ leq 2 $为$ k^p n^q $。通过CIFAR-10数据集上的数值实验证实了所提出的方案的效率。

由于客户端的通信资源有限和大量的模型参数，大规模分布式学习任务遭受通信瓶颈。梯度压缩是通过传输压缩梯度来减少通信负载的有效方法。由于在随机梯度下降的情况下，相邻轮的梯度可能具有高相关，因为他们希望学习相同的模型，提出了一种用于联合学习的实用梯度压缩方案，它使用历史梯度来压缩梯度并且基于Wyner-Ziv编码但没有任何概率的假设。我们还在实时数据集上实现了我们的渐变量化方法，我们的方法的性能优于前一个方案。

移动边缘计算（MEC）是一个突出的计算范例，它扩展了无线通信的应用领域。由于用户设备和MEC服务器的能力的限制，边缘缓存（EC）优化对于有效利用启用MEC的无线网络中的高速利用。然而，内容普及空间和时间的动态和复杂性以及用户的隐私保护对EC优化构成了重大挑战。在本文中，提出了一种隐私保留的分布式深度确定性政策梯度（P2D3PG）算法，以最大化MEC网络中设备的高速缓存命中率。具体而言，我们认为内容流行度是动态，复杂和不可观察的事实，并制定了在隐私保存的限制下作为分布式问题的设备的高速缓存命中速率的最大化。特别是，我们将分布式优化转换为分布式的无模型马尔可夫决策过程问题，然后介绍一种隐私保留的联合学习方法，用于普及预测。随后，基于分布式增强学学习开发了P2D3PG算法以解决分布式问题。仿真结果表明，在保护用户隐私的同时通过基线方法提高EC击中率的提出方法的优越性。

Federated learning (FL) has achieved great success as a privacy-preserving distributed training paradigm, where many edge devices collaboratively train a machine learning model by sharing the model updates instead of the raw data with a server. However, the heterogeneous computational and communication resources of edge devices give rise to stragglers that significantly decelerate the training process. To mitigate this issue, we propose a novel FL framework named stochastic coded federated learning (SCFL) that leverages coded computing techniques. In SCFL, before the training process starts, each edge device uploads a privacy-preserving coded dataset to the server, which is generated by adding Gaussian noise to the projected local dataset. During training, the server computes gradients on the global coded dataset to compensate for the missing model updates of the straggling devices. We design a gradient aggregation scheme to ensure that the aggregated model update is an unbiased estimate of the desired global update. Moreover, this aggregation scheme enables periodical model averaging to improve the training efficiency. We characterize the tradeoff between the convergence performance and privacy guarantee of SCFL. In particular, a more noisy coded dataset provides stronger privacy protection for edge devices but results in learning performance degradation. We further develop a contract-based incentive mechanism to coordinate such a conflict. The simulation results show that SCFL learns a better model within the given time and achieves a better privacy-performance tradeoff than the baseline methods. In addition, the proposed incentive mechanism grants better training performance than the conventional Stackelberg game approach.

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.

迄今为止，通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计，这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是，下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外，可以使这些系统了解进行交流交流的环境，从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力，从早期改编，语义意识和以任务为导向的通信开始，涵盖了基础，算法和潜在的实现。重点是利用信息理论提供基础的方法，以及学习在语义和任务感知通信中的重要作用。