在本文中，研究了FOG无线电访问网络（F-RAN）中的内容流行度预测问题。基于聚集的联合学习，我们提出了一种新颖的移动性知名度预测策略，该政策将内容受欢迎程度整合在本地用户和移动用户方面。对于本地用户，通过学习本地用户和内容的隐藏表示形式来预测内容的普及。本地用户和内容的初始功能是通过将邻居信息与自我信息结合在一起来生成的。然后，引入了双通道神经网络（DCNN）模型，以通过从初始功能中产生深层特征来学习隐藏表示形式。对于移动用户，通过用户偏好学习预测内容流行。为了区分内容受欢迎程度的区域变化，采用了聚类联合学习（CFL），这使具有相似区域类型的雾接入点（F-APS）彼此受益，并为每个F-AP提供更专业的DCNN模型。仿真结果表明，我们提出的政策对传统政策实现了重大的绩效提高。

在本文中，我们研究了启用高速雾无线电访问网络（F-RAN）中的内容受欢迎程度预测问题。为了以高准确性和低复杂性预测内容的流行，我们提出了基于高斯流程的回归器，以模拟内容请求模式。首先，我们提出的模型捕获了内容特征和受欢迎程度之间的关系。然后，我们利用贝叶斯学习来训练模型参数，这对于过度拟合非常可靠。但是，贝叶斯方法通常无法找到后验分布的闭合形式表达。为了解决此问题，我们采用随机方差降低梯度哈密顿蒙特卡洛（SVRG-HMC）方法来近似后验分布。为了利用其他FOG接入点（F-AP）的计算资源并减少开销的通信，我们提出了一个量化的联合学习（FL）框架与贝叶斯学习相结合。量化的联合贝叶斯学习框架允许每个F-AP在量化和编码后将梯度发送到云服务器。它可以有效地实现预测准确性和通信间接费用之间的权衡。仿真结果表明，我们提出的政策的绩效优于现有政策。

移动边缘计算（MEC）是一个突出的计算范例，它扩展了无线通信的应用领域。由于用户设备和MEC服务器的能力的限制，边缘缓存（EC）优化对于有效利用启用MEC的无线网络中的高速利用。然而，内容普及空间和时间的动态和复杂性以及用户的隐私保护对EC优化构成了重大挑战。在本文中，提出了一种隐私保留的分布式深度确定性政策梯度（P2D3PG）算法，以最大化MEC网络中设备的高速缓存命中率。具体而言，我们认为内容流行度是动态，复杂和不可观察的事实，并制定了在隐私保存的限制下作为分布式问题的设备的高速缓存命中速率的最大化。特别是，我们将分布式优化转换为分布式的无模型马尔可夫决策过程问题，然后介绍一种隐私保留的联合学习方法，用于普及预测。随后，基于分布式增强学学习开发了P2D3PG算法以解决分布式问题。仿真结果表明，在保护用户隐私的同时通过基线方法提高EC击中率的提出方法的优越性。

如今，无线通信正在迅速重塑整个行业。特别是，移动边缘计算（MEC）是一种用于工业互联网（IIOT）的促成技术，它使强大的计算/存储基础架构更靠近移动终端，从而大大降低了响应延迟。为了获得在网络边缘积极缓存的好处，对最终设备之间的受欢迎程度的精确知识至关重要。但是，在许多IIOT场景中，内容流行的内容流行以及数据私人关系的复杂性质对其获取构成了艰巨的挑战。在本文中，我们建议针对MEC启用的IIOT提供无监督和保护隐私的普及预测框架。引入了本地和全球流行的概念，并将每个用户的随时间变化为无模型的马尔可夫链。在此基础上，提出了一种新颖的无监督的复发性联合学习（URFL）算法，以预测分布式的流行，同时实现隐私保护和无监督的培训。仿真表明，提出的框架可以根据降低的根平方误差提高预测准确性，高达$ 60.5 \％-68.7 \％$。此外，避免了手动标签和违反用户数据隐私的行为。

车辆边缘计算（VEC）可以在网络边缘的不同RSU中缓存内容，以支持实时车辆应用。在VEC中，由于车辆的高运动特性，有必要提前缓存用户数据，并为车辆用户学习最流行和最有趣的内容。由于用户数据通常包含隐私信息，因此用户不愿与他人共享其数据。为了解决这个问题，传统的联合学习（FL）需要通过汇总所有用户的本地模型来保护用户的隐私来同步更新全局模型。但是，车辆可能会在实现本地模型培训之前经常离开VEC的覆盖范围，因此无法按预期上传本地型号，这将降低全球模型的准确性。此外，本地RSU的缓存能力有限，流行内容是多样的，因此预测的流行内容的大小通常超过本地RSU的缓存能力。因此，在考虑内容传输延迟的同时，VEC应在不同的RSU中缓存预测的流行内容。在本文中，我们考虑了车辆的流动性，并提出了基于联合和深度强化学习（CAFR）的VEC中的合作缓存计划。我们首先考虑车辆的移动性，并提出异步FL算法以获得准确的全局模型，然后提出一种算法来预测基于全球模型的流行内容。此外，我们考虑了车辆的移动性，并提出了深入的强化学习算法，以获取预测流行内容的最佳合作缓存位置，以优化内容传输延迟。广泛的实验结果表明，CAFR方案的表现优于其他基线缓存方案。

随着网络技术的快速发展和网络设备的快速增长，数据吞吐量也大大增加。为了解决蜂窝网络中回程瓶颈的问题并满足人们对延迟的要求，基于预测的结果，网络体系结构等网络体系结构旨在主动将有限的流行内容保持在网络边缘。同时，内容（例如，深度神经网络模型，与Wikipedia类似知识库）和用户之间的相互作用可以视为动态二分图。在本文中，为了最大程度地提高缓存命中率，我们利用有效的动态图神经网络（DGNN）共同学习嵌入了两部分图中的结构和时间模式。此外，为了更深入地了解不断发展的图表中的动态，我们提出了一个基于信息时代（AOI）的注意机制，以提取有价值的历史信息，同时避免消息陈旧的问题。结合了上述预测模型，我们还开发了一种缓存选择算法，以根据预测结果做出缓存决策。广泛的结果表明，与两个现实世界数据集中的其他最先进的方案相比，我们的模型可以获得更高的预测准确性。命中率的结果进一步验证了基于我们提出的模型而不是其他传统方式的缓存政策的优势。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

由于Covid-19大流行，对远程学习/工作和远程医疗对电信的需求显着增加。 6G网络中的移动边缘缓存（MEC）已被发展为一种有效的解决方案，以满足全球移动数据流量的现象增长，使多媒体内容更接近用户。虽然MEC网络使能的大规模连接将显着提高通信质量，但未来有几个关键挑战。边缘节点的有限存储，大尺寸的多媒体内容以及时变用户的偏好使得能够有效地和动态地预测内容的普及，以存储在被请求之前存储最多即将到来的请求的。深度神经网络（DNN）的最新进展绘制了很多研究，以预测主动缓存方案中的内容普及。然而，在此上下文中存在的现有DNN模型遭受Longterm依赖关系，计算复杂性和不适合并行计算的不适合性。为了解决这些挑战，我们提出了一个边缘缓存框架，其与关注的视觉变压器（VIV）神经网络引入，称为基于变压器的边缘（TEGED）缓存，这是我们所知的最佳知识，正在研究第一次。此外，TEGECACH CACHING框架不需要数据预处理和附加的上下文信息。仿真结果与其对应物相比，证实了提出的TEGECACHING框架的有效性。

In recent years, the exponential proliferation of smart devices with their intelligent applications poses severe challenges on conventional cellular networks. Such challenges can be potentially overcome by integrating communication, computing, caching, and control (i4C) technologies. In this survey, we first give a snapshot of different aspects of the i4C, comprising background, motivation, leading technological enablers, potential applications, and use cases. Next, we describe different models of communication, computing, caching, and control (4C) to lay the foundation of the integration approach. We review current state-of-the-art research efforts related to the i4C, focusing on recent trends of both conventional and artificial intelligence (AI)-based integration approaches. We also highlight the need for intelligence in resources integration. Then, we discuss integration of sensing and communication (ISAC) and classify the integration approaches into various classes. Finally, we propose open challenges and present future research directions for beyond 5G networks, such as 6G.

为了满足下一代无线通信网络的极其异构要求，研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构，其中整个培训数据在一个节点上收集，即云服务器，显着提高了通信开销，并提高了严重的隐私问题。迄今为止，最近提出了作为联合学习（FL）称为联合学习的分布式机器学习范式。在FL中，每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后，通过无线信道，本地训练模型的权重或参数被发送到中央ps，聚合它们并更新全局模型。一方面，FL对优化无线通信网络的资源起着重要作用，另一方面，无线通信对于FL至关重要。因此，FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念，但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此，我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此，本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。

FOG无线电访问网络（F-RAN）是一项有前途的技术，用户移动设备（MDS）可以将计算任务卸载到附近的FOG接入点（F-APS）。由于F-APS的资源有限，因此设计有效的任务卸载方案很重要。在本文中，通过考虑随时间变化的网络环境，制定了F-RAN中的动态计算卸载和资源分配问题，以最大程度地减少MD的任务执行延迟和能源消耗。为了解决该问题，提出了基于联合的深入强化学习（DRL）算法，其中深层确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。利用联合学习来培训DDPG代理，以降低培训过程的计算复杂性并保护用户隐私。仿真结果表明，与其他现有策略相比，提议的联合DDPG算法可以更快地实现MDS更快的任务执行延迟和能源消耗。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

联邦学习（FL）变得流行，并在训练大型机器学习（ML）模型的情况下表现出很大的潜力，而不会使所有者的原始数据曝光。在FL中，数据所有者可以根据其本地数据培训ML模型，并且仅将模型更新发送到模型更新，而不是原始数据到模型所有者进行聚合。为了提高模型准确性和培训完成时间的学习绩效，招募足够的参与者至关重要。同时，数据所有者是理性的，可能不愿意由于资源消耗而参与协作学习过程。为了解决这些问题，最近有各种作品旨在激励数据业主贡献其资源。在本文中，我们为文献中提出的经济和游戏理论方法提供了全面的审查，以设计刺激数据业主参加流程培训过程的各种计划。特别是，我们首先在激励机制设计中常用的佛罗里达州的基础和背景，经济理论。然后，我们审查博弈理论和经济方法应用于FL的激励机制的应用。最后，我们突出了一些开放的问题和未来关于FL激励机制设计的研究方向。

在这项工作中，我们提出了一种新颖的框架来解决联邦学习（FL）的移动应用程序服务的争吵和隐私问题，考虑到移动用户（MUS）/移动应用程序提供者（MAP），隐私的有限计算/通信资源在贡献数据到地图中的MU中的成本，合理性和激励竞争。特别是，该地图首先基于MUS的信息/特征确定FL过程的一组最佳MU。为了缓解隐私意识的讨论问题，每个选定的MU可以加密本地数据的一部分，并除了本地培训过程之外，还可以将加密数据上载到加密培训过程的地图。为此，每个选定的MU可以根据其预期的培训本地数据和隐私保护的加密数据向地图提出合同。为了找到最佳合同，可以最大限度地利用地图和所有参与峰的同时保持整个系统的高学习质量，首先开发一个基于多个实用程序的基于多个实用程序的基于多项基于的一个基于的基于替代的问题。这些实用程序函数占MUS'隐私成本，地图的计算资源有限，地图和MU之间的不对称信息。然后，我们将问题转换为等同的低复杂性问题，并开发轻量级迭代算法，以有效地找到最佳解决方案。具有真实世界数据集的实验表明，我们的框架可以加快培训时间高达49％，提高预测准确性高达4.6倍，同时增强网络的社会福利，即所有参与实体的总实用性，高达114％与基线方法相比，隐私费用考虑。

随着基于位置的越来越多的社交网络，隐私保存位置预测已成为帮助用户发现新的兴趣点（POI）的主要任务。传统系统考虑一种需要传输和收集用户私有数据的集中方法。在这项工作中，我们展示了FedPoirec，隐私保留了联合学习方法的隐私，增强了用户社交界的功能，以获得最高$ N $ POI建议。首先，FedPoirec框架建立在本地数据永远不会离开所有者设备的原则上，而本地更新盲目地由参数服务器汇总。其次，本地推荐人通过允许用户交换学习参数来获得个性化，从而实现朋友之间的知识传输。为此，我们提出了一种隐私保留协议，用于通过利用CKKS完全同态加密方案的特性来集成用户朋友在联合计算之后的偏好。为了评估FEDPOIREC，我们使用两个推荐模型将我们的方法应用于五个现实世界数据集。广泛的实验表明，FEDPOIREC以集中方法实现了相当的推荐质量，而社会集成协议会突出用户侧的低计算和通信开销。

Unmanned aerial vehicle (UAV) swarms are considered as a promising technique for next-generation communication networks due to their flexibility, mobility, low cost, and the ability to collaboratively and autonomously provide services. Distributed learning (DL) enables UAV swarms to intelligently provide communication services, multi-directional remote surveillance, and target tracking. In this survey, we first introduce several popular DL algorithms such as federated learning (FL), multi-agent Reinforcement Learning (MARL), distributed inference, and split learning, and present a comprehensive overview of their applications for UAV swarms, such as trajectory design, power control, wireless resource allocation, user assignment, perception, and satellite communications. Then, we present several state-of-the-art applications of UAV swarms in wireless communication systems, such us reconfigurable intelligent surface (RIS), virtual reality (VR), semantic communications, and discuss the problems and challenges that DL-enabled UAV swarms can solve in these applications. Finally, we describe open problems of using DL in UAV swarms and future research directions of DL enabled UAV swarms. In summary, this survey provides a comprehensive survey of various DL applications for UAV swarms in extensive scenarios.

本文介绍了FLSYS的设计，实施和评估，一种支持移动应用的深度学习模型的移动云联合学习（FL）系统。 Flsys是创建使用这些模型的FL模型和应用程序开放生态系统的关键组件。 FLSYS旨在使用在智能手机上收集的移动感应数据，平衡模型性能，在手机上使用资源消耗，容忍手机通信故障，并在云中实现可扩展性。在FLSYS中，可以通过不同的应用程序培训云中具有不同流量的不同DL模型，并通过不同的应用程序同时访问和访问。此外，Flsys为第三方应用程序开发人员提供了培训FL模型的共同API。 flsys是在Android和AWS云中实现的。我们在野生FL模型中与人类活动识别（HAR）共同设计了FLSYS。在五个月的时间内，在100+大学生手机的两个地区收集了掌握数据。我们实施了Har-Wild，一种针对移动设备定制的CNN模型，具有数据增强机制，以减轻非独立和相同分布的（非IID）数据的问题，这些数据影响野外的流动模型训练。情绪分析（SA）模型用于演示FLSYS如何有效地支持并发模型，并且它使用446个用户的DataSet具有46,000多个推文。我们对Android手机和仿真器进行了广泛的实验，表明Flsys实现了良好的模型实用性和实际系统性能。

随着数据爆炸的不断趋势，将数据服务器从数据服务器传递到最终用户的数据包导致移动网络的Fronthaul和Reachthaula业务增加压力。为缓解此问题，将流行内容更接近最终用户的缓存是一种减少网络拥塞和提高用户体验的有效方法。为了找到内容缓存的最佳位置，许多传统方法构造了各种混合整数线性编程（MILP）模型。然而，由于维度固有的诅咒，这种方法可能无法支持在线决策。本文提出了一种用于主动缓存的新框架。该框架通过将优化问题转换为灰度图像来利用数据驱动技术来合并基于模型的优化。对于并行培训和简单的设计目的，所提出的MILP模型首先被分解为多个子问题，然后，训练卷积神经网络（CNNS）以预测这些子问题的内容高速缓存位置。此外，由于MILP模型分解忽略子问题之间的内部效果，因此CNNS的输出具有不可行的解决方案的风险。因此，提供了两个算法：第一个使用来自CNN的预测作为减少决策变量的数量的额外约束;第二个采用CNNS的输出来加速本地搜索。数值结果表明，与MILP解决方案相比，所提出的方案可以减少71.6％的计算时间，只有0.8％的额外性能成本，这为实时提供了高质量的决策。

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

In this tutorial paper, we look into the evolution and prospect of network architecture and propose a novel conceptual architecture for the 6th generation (6G) networks. The proposed architecture has two key elements, i.e., holistic network virtualization and pervasive artificial intelligence (AI). The holistic network virtualization consists of network slicing and digital twin, from the aspects of service provision and service demand, respectively, to incorporate service-centric and user-centric networking. The pervasive network intelligence integrates AI into future networks from the perspectives of networking for AI and AI for networking, respectively. Building on holistic network virtualization and pervasive network intelligence, the proposed architecture can facilitate three types of interplay, i.e., the interplay between digital twin and network slicing paradigms, between model-driven and data-driven methods for network management, and between virtualization and AI, to maximize the flexibility, scalability, adaptivity, and intelligence for 6G networks. We also identify challenges and open issues related to the proposed architecture. By providing our vision, we aim to inspire further discussions and developments on the potential architecture of 6G.