联邦学习（FL）为在非均匀的移动设备或边缘设备上进行协作培训机器学习模型的机会开辟了机会，同时将本地数据保持私密。随着其采用的增加，越来越多的关注与其经济和环境成本有关（也是如此）其他机器学习技术的案例）。不幸的是，几乎没有完成优化其能源消耗或二氧化碳或等效物的排放，因为通常将能量最小化作为次要目的。在本文中，我们研究了最小化的问题通过控制工作负载分配，在异质设备上对FL培训的能源消耗。我们将其模型为最小成本附表问题，总成本最小化的问题与相同，独立和原子质任务必须分配给具有任意成本功能的异质资源。我们根据先前未探索多项选择最低成本最大背包包装问题。我们还为各种成本功能单调增加并遵循相同的行为提供四种算法。这些解决方案同样适用于其他类型的成本以及其他一维成本的最小化数据分区问题。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

有限的通信资源，例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈（FL）。为了应对这些挑战，我们首先使用部分模型聚合（PMA）设计了一个新颖的FL框架，该框架仅汇总负责特征提取的神经网络的下层，而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后，我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限，我们定义了一个新的目标函数，名为“计划数据样本量”，以将原始的不明智优化问题转移到可用于设备调度，带宽分配，计算和通信时间分配的可拖动问题中。我们的分析表明，当PMA-FL的沟通和计算部分具有相同的功率时，可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略，并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比，提议的PMA-FL在两个典型的异质数据集（即Minist和CIFAR-10）上提高了2.72％和11.6％的精度。此外，提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高，但它们提供了令人满意的能量和时间缩短：MNIST的29％能量或20％的时间缩短； CIFAR-10的能量和25％的能量或12.5％的时间缩短。

联邦元学习（FML）已成为应对当今边缘学习竞技场中的数据限制和异质性挑战的承诺范式。然而，其性能通常受到缓慢的收敛性和相应的低通信效率的限制。此外，由于可用的无线电频谱和物联网设备的能量容量通常不足，因此在在实际无线网络中部署FML时，控制资源分配和能量消耗是至关重要的。为了克服挑战，在本文中，我们严格地分析了每个设备对每轮全球损失减少的贡献，并使用非统一的设备选择方案开发FML算法（称为Nufm）以加速收敛。之后，我们制定了集成NuFM在多通道无线系统中的资源分配问题，共同提高收敛速率并最小化壁钟时间以及能量成本。通过逐步解构原始问题，我们设计了一个联合设备选择和资源分配策略，以解决理论保证问题。此外，我们表明Nufm的计算复杂性可以通过$ O（d ^ 2）$至$ o（d）$（使用模型维度$ d $）通过组合两个一阶近似技术来降低。广泛的仿真结果表明，与现有基线相比，所提出的方法的有效性和优越性。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

随着边缘计算的出现，在过去的设备（ED）和边缘服务器之间卸载作业的问题在过去接受了重大的关注。由于越来越多的应用程序使用机器学习（ML）推断，我们通过考虑以下小说方面来研究卸载推理作业的问题：1）与典型的计算作业相比，推理的处理时间作业取决于ML模型的大小，2）最近提出的资源受限设备的深度神经网络（DNN）提供了缩放模型大小的选择。我们制定了一个分配问题，目的是最大化NED的N个数据样本的总推理准确性，受到MEPESPAN上的时间约束。我们提出了一种近似算法AMR2，并证明它在MEPESPAN最多可实现2T，并且从最佳总精度达到小恒定的总精度。作为概念证明，我们在配备MobileNet的覆盆子PI上实施了AMR2，并连接到配备Reset的服务器，并研究了AMR2的总精度和MakEspan性能进行图像分类应用。

Emerging technologies and applications including Internet of Things (IoT), social networking, and crowd-sourcing generate large amounts of data at the network edge. Machine learning models are often built from the collected data, to enable the detection, classification, and prediction of future events. Due to bandwidth, storage, and privacy concerns, it is often impractical to send all the data to a centralized location. In this paper, we consider the problem of learning model parameters from data distributed across multiple edge nodes, without sending raw data to a centralized place. Our focus is on a generic class of machine learning models that are trained using gradientdescent based approaches. We analyze the convergence bound of distributed gradient descent from a theoretical point of view, based on which we propose a control algorithm that determines the best trade-off between local update and global parameter aggregation to minimize the loss function under a given resource budget. The performance of the proposed algorithm is evaluated via extensive experiments with real datasets, both on a networked prototype system and in a larger-scale simulated environment. The experimentation results show that our proposed approach performs near to the optimum with various machine learning models and different data distributions.

在本文中，提出了一个绿色，量化的FL框架，该框架在本地培训和上行链路传输中代表具有有限精度水平的数据。在这里，有限的精度级别是通过使用量化的神经网络（QNN）来捕获的，该神经网络（QNN）以固定精确格式量化权重和激活。在考虑的FL模型中，每个设备训练其QNN并将量化的训练结果传输到基站。严格得出了局部训练和传输的能量模型。为了同时最大程度地减少能耗和交流的数量，相对于本地迭代的数量，选定设备的数量以及本地培训和传输的精确级别，在确保融合的同时，提出了多目标优化问题目标准确性约束。为了解决此问题，相对于系统控制变量，分析得出所提出的FL系统的收敛速率。然后，该问题的帕累托边界被表征为使用正常边界检查方法提供有效的解决方案。通过使用NASH讨价还价解决方案并分析派生的收敛速率，从两个目标之间平衡了两种目标之间的权衡的洞察力。仿真结果表明，与代表完全精确的数据相比，提出的FL框架可以减少能源消耗，直到收敛高达52％。

Federated Learning (FL) is a collaborative machine learning (ML) framework that combines on-device training and server-based aggregation to train a common ML model among distributed agents. In this work, we propose an asynchronous FL design with periodic aggregation to tackle the straggler issue in FL systems. Considering limited wireless communication resources, we investigate the effect of different scheduling policies and aggregation designs on the convergence performance. Driven by the importance of reducing the bias and variance of the aggregated model updates, we propose a scheduling policy that jointly considers the channel quality and training data representation of user devices. The effectiveness of our channel-aware data-importance-based scheduling policy, compared with state-of-the-art methods proposed for synchronous FL, is validated through simulations. Moreover, we show that an "age-aware" aggregation weighting design can significantly improve the learning performance in an asynchronous FL setting.

在本文中，研究了无线网络的联合学习（FL）。在每个通信回合中，选择一部分设备以有限的时间和能量参与聚合。为了最大程度地减少收敛时间，在基于Stackelberg游戏的框架中共同考虑了全球损失和延迟。具体而言，在Leader级别上，将基于信息的设备选择（AOI）选择为全球损失最小化问题，而子渠道分配，计算资源分配和功率分配在追随者级别被视为延迟最小化问题。通过将追随者级别的问题分为两个子问题，追随者的最佳响应是通过基于单调优化的资源分配算法和基于匹配的子渠道分配算法获得的。通过得出收敛速率的上限，重新制定了领导者级别的问题，然后提出了基于列表的设备选择算法来实现Stackelberg平衡。仿真结果表明，所提出的设备选择方案在全球损失方面优于其他方案，而开发的算法可以显着降低计算和通信的时间消耗。

在本章中，我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题，并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说，可以协同地培训联合模型，而每个参与设备的数据仍然是本地的数据。这个地址，一些延伸，隐私问题。它们还提供计算可扩展性，因为它们允许利用分布在许多边缘设备的计算资源。然而，在实践中，这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外，无线设备在其计算能力中具有高度异构，并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此，考虑到时变通信网络的影响以及器件的异构和随机计算能力，必须仔细设计分布式学习算法，特别是在无线网络边缘实现的算法。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

联合学习（FL）已成为跨无线边缘设备分配机器学习的流行方法。在这项工作中，我们考虑在设备 - 服务器通信延迟和设备计算异质性下优化FL的模型性能和资源利用之间的权衡。我们提出的StofedDelav算法将本地 - 全局模型组合器包含到FL同步步骤中。我们理论上表征了Stofeddelav的收敛行为，并获得了最佳的组合权重，这考虑了每个设备的全局模型延迟和预期的局部梯度误差。然后，我们制定了一种网络感知优化问题，该问题调整设备的小靶尺寸，以共同最大限度地减少能量消耗和机器学习训练丢失，并通过一系列凸起近似来解决非凸面问题。我们的模拟表明，当调整小批准和组合重量时，STOFeddelav在模型收敛速度和网络资源利用方面优于目前的艺术。此外，我们的方法可以减少模型训练期间所需的上行链路通信轮的数量，以达到相同的精度。

智能物联网环境（iiote）由可以协作执行半自动的IOT应用的异构装置，其示例包括高度自动化的制造单元或自主交互收获机器。能量效率是这种边缘环境中的关键，因为它们通常基于由无线和电池运行设备组成的基础设施，例如电子拖拉机，无人机，自动引导车辆（AGV）S和机器人。总能源消耗从多种技术技术汲取贡献，使得能够实现边缘计算和通信，分布式学习以及分布式分区和智能合同。本文提供了本技术的最先进的概述，并说明了它们的功能和性能，特别关注资源，延迟，隐私和能源消耗之间的权衡。最后，本文提供了一种在节能IIOTE和路线图中集成这些能力技术的愿景，以解决开放的研究挑战

在这项工作中，我们考虑了具有多个基站和间隔干扰的无线系统中的联合学习模型。在学习阶段，我们应用了一个不同的私人方案，将信息从用户传输到其相应的基站。我们通过在其最佳差距上得出上限来显示学习过程的收敛行为。此外，我们定义了一个优化问题，以减少该上限和总隐私泄漏。为了找到此问题的本地最佳解决方案，我们首先提出了一种计划资源块和用户的算法。然后，我们扩展了该方案，以通过优化差异隐私人工噪声来减少总隐私泄漏。我们将这两个程序的解决方案应用于联合学习系统的参数。在这种情况下，我们假设每个用户都配备了分类器。此外，假定通信单元的资源块比用户数量少。仿真结果表明，与随机调度程序相比，我们提出的调度程序提高了预测的平均准确性。此外，其具有噪声优化器的扩展版本大大减少了隐私泄漏的量。

联邦学习（FL）变得流行，并在训练大型机器学习（ML）模型的情况下表现出很大的潜力，而不会使所有者的原始数据曝光。在FL中，数据所有者可以根据其本地数据培训ML模型，并且仅将模型更新发送到模型更新，而不是原始数据到模型所有者进行聚合。为了提高模型准确性和培训完成时间的学习绩效，招募足够的参与者至关重要。同时，数据所有者是理性的，可能不愿意由于资源消耗而参与协作学习过程。为了解决这些问题，最近有各种作品旨在激励数据业主贡献其资源。在本文中，我们为文献中提出的经济和游戏理论方法提供了全面的审查，以设计刺激数据业主参加流程培训过程的各种计划。特别是，我们首先在激励机制设计中常用的佛罗里达州的基础和背景，经济理论。然后，我们审查博弈理论和经济方法应用于FL的激励机制的应用。最后，我们突出了一些开放的问题和未来关于FL激励机制设计的研究方向。

本文建议使用通信管道来提高移动边缘计算应用程序中联合学习的无线频谱利用效率和收敛速度。由于无线子渠道有限，在联合学习算法的每次迭代中，总计客户端的一部分。另一方面，计划的客户等待最慢的客户端完成计算。我们建议首先根据客户在计算联合学习模型的本地梯度所需的时间将客户聚集。然后，我们安排了来自所有群集的客户的混合，以管道的方式发送其本地更新。这样，更多的客户可以参与每次迭代，而不仅仅是等待较慢的客户完成计算的速度。虽然单个迭代的持续时间没有改变，但提出的方法可以显着减少达到目标准确性所需的迭代次数。我们为在不同的设置下提供了最佳客户群聚类的通用公式，并在分析上得出了一种有效的算法来获得最佳解决方案。我们还提供了数值结果，以证明针对不同数据集和深度学习体系结构所提出的方法的收益。

分布式机器学习的传统方法是将学习算法调整到网络中，例如减少更新以遏制开销。相反，基于智能边缘的网络使得可以遵循相反的方法，即定义围绕要执行的学习任务的逻辑网络拓扑，以达到所需的学习表现。在本文中，我们提出了一个系统模型，该模型在监督机器学习的背景下捕获了此类方面，考虑了学习节点（执行计算）和信息节点（提供数据）。然后，我们制定了选择（i）的问题，哪些学习和信息节点应配合以完成学习任务，以及（ii）执行的迭代次数，以最大程度地减少学习成本，同时满足目标预测错误和执行时间。在证明了上述问题的重要属性之后，我们设计了一种名为DoubleClemb的算法，该算法可以找到1+1/| i | -competive解决方案（具有i是一组信息节点），具有分立最差的复杂性。我们的绩效评估，利用现实世界的网络拓扑并考虑分类和回归任务，还表明，双重攀登与最佳，优于最先进的替代方案非常匹配。

Federated learning (FL) has been proposed as a privacy-preserving approach in distributed machine learning. A federated learning architecture consists of a central server and a number of clients that have access to private, potentially sensitive data. Clients are able to keep their data in their local machines and only share their locally trained model's parameters with a central server that manages the collaborative learning process. FL has delivered promising results in real-life scenarios, such as healthcare, energy, and finance. However, when the number of participating clients is large, the overhead of managing the clients slows down the learning. Thus, client selection has been introduced as a strategy to limit the number of communicating parties at every step of the process. Since the early na\"{i}ve random selection of clients, several client selection methods have been proposed in the literature. Unfortunately, given that this is an emergent field, there is a lack of a taxonomy of client selection methods, making it hard to compare approaches. In this paper, we propose a taxonomy of client selection in Federated Learning that enables us to shed light on current progress in the field and identify potential areas of future research in this promising area of machine learning.

Federated learning (FL) has achieved great success as a privacy-preserving distributed training paradigm, where many edge devices collaboratively train a machine learning model by sharing the model updates instead of the raw data with a server. However, the heterogeneous computational and communication resources of edge devices give rise to stragglers that significantly decelerate the training process. To mitigate this issue, we propose a novel FL framework named stochastic coded federated learning (SCFL) that leverages coded computing techniques. In SCFL, before the training process starts, each edge device uploads a privacy-preserving coded dataset to the server, which is generated by adding Gaussian noise to the projected local dataset. During training, the server computes gradients on the global coded dataset to compensate for the missing model updates of the straggling devices. We design a gradient aggregation scheme to ensure that the aggregated model update is an unbiased estimate of the desired global update. Moreover, this aggregation scheme enables periodical model averaging to improve the training efficiency. We characterize the tradeoff between the convergence performance and privacy guarantee of SCFL. In particular, a more noisy coded dataset provides stronger privacy protection for edge devices but results in learning performance degradation. We further develop a contract-based incentive mechanism to coordinate such a conflict. The simulation results show that SCFL learns a better model within the given time and achieves a better privacy-performance tradeoff than the baseline methods. In addition, the proposed incentive mechanism grants better training performance than the conventional Stackelberg game approach.