联合学习（FL）支持地理分布式设备的培训模型。然而，传统的FL系统采用集中式同步策略，提高了高通信压力和模型泛化挑战。 FL的现有优化未能加速异构设备的培训或遭受差的通信效率。在本文中，我们提出了一个支持在异构设备上分散的异步训练的框架的Hadfl。使用本地数据的异质性感知本地步骤本地培训设备。在每个聚合循环中，基于执行模型同步和聚合的概率来选择它们。与传统的FL系统相比，HADFL可以减轻中心服务器的通信压力，有效地利用异构计算能力，并且可以分别实现比Pytorch分布式训练方案分别的最大加速度为3.15倍，而不是Pytorch分布式训练方案，几乎没有损失收敛准确性。

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。

联合学习偏离“将数据发送到模型”的规范“向数据发送模型”。当在边缘生态系统中使用时，许多异构边缘设备通过不同的方式收集数据并通过不同的网络信道连接参与培训过程。由于设备故障或网络问题，这种生态系统中的边缘设备的失败很可能。在本文中，我们首先分析边缘设备数量对FL模型的影响，并提供一种选择有助于该模型的最佳设备的策略。我们观察所选设备失败并提供缓解策略以确保强大的联合学习技术的影响。

随着对用户数据隐私的越来越关注，联合学习（FL）已被开发为在边缘设备上训练机器学习模型的独特培训范式，而无需访问敏感数据。传统的FL和现有方法直接在云服务器的同一型号和培训设备的所有边缘上采用聚合方法。尽管这些方法保护了数据隐私，但它们不能具有模型异质性，甚至忽略了异质的计算能力，也可以忽略陡峭的沟通成本。在本文中，我们目的是将资源感知的FL汇总为从边缘模型中提取的本地知识的集合，而不是汇总每个本地模型的权重，然后将其蒸馏成一个强大的全局知识，作为服务器模型通过知识蒸馏。通过深入的相互学习，将本地模型和全球知识提取到很小的知识网络中。这种知识提取使Edge客户端可以部署资源感知模型并执行多模型知识融合，同时保持沟通效率和模型异质性。经验结果表明，在异质数据和模型中的通信成本和概括性能方面，我们的方法比现有的FL算法有了显着改善。我们的方法将VGG-11的沟通成本降低了102美元$ \ times $和Resnet-32，当培训Resnet-20作为知识网络时，最多可达30美元$ \ times $。

联合学习（FL）已成为工业物联网（IIOT）网络中数字双胞胎的必不可少的技术。但是，由于FL的主/奴隶结构，抵制主聚合器的单点失败以及恶意IIOT设备的攻击是非常具有挑战性的，同时保证了模型收敛速度和准确性。最近，区块链已进入FL系统，将范式转换为分散的方式，从而进一步提高了系统的安全性和学习可靠性。不幸的是，由于资源消耗庞大，交易量有限和高度沟通复杂性，区块链系统的传统共识机制和架构几乎无法处理大规模的FL任务并在IIT设备上运行。为了解决这些问题，本文提出了一个两层区块链驱动的FL系统，称为Chainfl，该系统将IIOT网络分为多个碎片，作为限制信息交换的标准层，并采用直接的无循环图（DAG） - 基于主链作为主链层，以实现平行和异步的横断面验证。此外，FL程序是定制的，以与区块链深入集成，并提出了修改的DAG共识机制来减轻由异常模型引起的失真。为了提供概念验证的实施和评估，部署了基于HyperLeDger面料和基于自发DAG的Mainchain的多个子链。广泛的实验结果表明，我们提出的链条系统以可接受和快速的训练效率（最高14％）和更强的鲁棒性（最多3次）优于现有的主要FL系统。

Federated Learning (FL) has become a key choice for distributed machine learning. Initially focused on centralized aggregation, recent works in FL have emphasized greater decentralization to adapt to the highly heterogeneous network edge. Among these, Hierarchical, Device-to-Device and Gossip Federated Learning (HFL, D2DFL \& GFL respectively) can be considered as foundational FL algorithms employing fundamental aggregation strategies. A number of FL algorithms were subsequently proposed employing multiple fundamental aggregation schemes jointly. Existing research, however, subjects the FL algorithms to varied conditions and gauges the performance of these algorithms mainly against Federated Averaging (FedAvg) only. This work consolidates the FL landscape and offers an objective analysis of the major FL algorithms through a comprehensive cross-evaluation for a wide range of operating conditions. In addition to the three foundational FL algorithms, this work also analyzes six derived algorithms. To enable a uniform assessment, a multi-FL framework named FLAGS: Federated Learning AlGorithms Simulation has been developed for rapid configuration of multiple FL algorithms. Our experiments indicate that fully decentralized FL algorithms achieve comparable accuracy under multiple operating conditions, including asynchronous aggregation and the presence of stragglers. Furthermore, decentralized FL can also operate in noisy environments and with a comparably higher local update rate. However, the impact of extremely skewed data distributions on decentralized FL is much more adverse than on centralized variants. The results indicate that it may not be necessary to restrict the devices to a single FL algorithm; rather, multi-FL nodes may operate with greater efficiency.

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

The space-air-ground integrated network (SAGIN), one of the key technologies for next-generation mobile communication systems, can facilitate data transmission for users all over the world, especially in some remote areas where vast amounts of informative data are collected by Internet of remote things (IoRT) devices to support various data-driven artificial intelligence (AI) services. However, training AI models centrally with the assistance of SAGIN faces the challenges of highly constrained network topology, inefficient data transmission, and privacy issues. To tackle these challenges, we first propose a novel topology-aware federated learning framework for the SAGIN, namely Olive Branch Learning (OBL). Specifically, the IoRT devices in the ground layer leverage their private data to perform model training locally, while the air nodes in the air layer and the ring-structured low earth orbit (LEO) satellite constellation in the space layer are in charge of model aggregation (synchronization) at different scales.To further enhance communication efficiency and inference performance of OBL, an efficient Communication and Non-IID-aware Air node-Satellite Assignment (CNASA) algorithm is designed by taking the data class distribution of the air nodes as well as their geographic locations into account. Furthermore, we extend our OBL framework and CNASA algorithm to adapt to more complex multi-orbit satellite networks. We analyze the convergence of our OBL framework and conclude that the CNASA algorithm contributes to the fast convergence of the global model. Extensive experiments based on realistic datasets corroborate the superior performance of our algorithm over the benchmark policies.

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。

With the development and progress of science and technology, the Internet of Things(IoT) has gradually entered people's lives, bringing great convenience to our lives and improving people's work efficiency. Specifically, the IoT can replace humans in jobs that they cannot perform. As a new type of IoT vehicle, the current status and trend of research on Unmanned Aerial Vehicle(UAV) is gratifying, and the development prospect is very promising. However, privacy and communication are still very serious issues in drone applications. This is because most drones still use centralized cloud-based data processing, which may lead to leakage of data collected by drones. At the same time, the large amount of data collected by drones may incur greater communication overhead when transferred to the cloud. Federated learning as a means of privacy protection can effectively solve the above two problems. However, federated learning when applied to UAV networks also needs to consider the heterogeneity of data, which is caused by regional differences in UAV regulation. In response, this paper proposes a new algorithm FedBA to optimize the global model and solves the data heterogeneity problem. In addition, we apply the algorithm to some real datasets, and the experimental results show that the algorithm outperforms other algorithms and improves the accuracy of the local model for UAVs.

有关连接车辆的高级研究最近针对将车辆到所有设施（V2X）网络与机器学习（ML）工具（ML）工具和分布式决策制定的集成。联合学习（FL）正在作为训练机器学习（ML）模型（包括V2X网络中的车辆）的新范式出现。与其将培训数据共享和上传到服务器，不如将模型参数（例如，神经网络的权重和偏见）更新，由大量的互连车辆种群应用，充当本地学习者。尽管有这些好处，但现有方法的局限性是集中式优化，它依靠服务器来汇总和融合本地参数，从而导致单个故障点和扩展问题的缺点，以增加V2X网络大小。同时，在智能运输方案中，从车载传感器收集的数据是多余的，这会降低聚合的性能。为了解决这些问题，我们探索了一个分散数据处理的新颖想法，并引入了用于网络内工具的联合学习框架，C-DFL（基于共识的分散联盟学习），以解决有关连接车辆的联合学习并提高学习质量的联盟学习。已经实施了广泛的仿真来评估C-DFL的性能，该表明C-DFL在所有情况下都胜过常规方法的性能。

机器学习（ML）是一种在车辆互联网（IOV）上培训预测模型的分布式方法，以实现智能公共交通。由于交通状况会随着时间而变化，因此必须连续有效地更新流量流动和乘客等待时间的ML模型。联合学习（FL）是一种分布式机器学习方案，允许车辆接收连续的模型更新，而无需将原始数据上传到云中并等待培训模型。但是，由于车辆在公共场所旅行以来，智能公共交通中FL容易受到中毒或DDOS攻击的影响。此外，由于设备异质性和不平衡数据分布，同步聚合策略在聚集之前从特定车辆中收集本地模型的同步聚合策略效率低下。尽管有异步联合学习（AFL）方案是通过收到本地模型来提高效率的，但陈旧的本地模型仍然不合理地加权，导致学习绩效不佳。为了实现更明智的公共交通，本文提供了一个基于动态缩放系数（DBAFL）的基于区块链的异步联合学习方案。具体而言，基于委员会的新型共识算法用于区块链，以最低的时间成本提高了可靠性。同时，设计的动态缩放系数允许AFL为陈旧的本地模型分配合理的重量。在异质设备上进行的广泛实验验证了DBAFL的学习效果，效率和可靠性优于外观的实验。

作为一个有前途的分布式机器学习范式，联合学习（FL）在不影响用户隐私的情况下培训具有分散数据的中央模型，这使得其被人工智能互联网（AIT）应用程序广泛使用。然而，传统的流体遭受了模型不准确，因为它会使用数据硬标签培训本地模型，并忽略与小概率不正确的预测的有用信息。虽然各种解决方案尽量解决传统流域的瓶颈，但大多数人都引入了显着的通信和记忆开销，使大规模的AIOT设备部署成为一个巨大的挑战。为了解决上述问题，本文提出了一种基于蒸馏的新型联合学习（DFL）架构，可实现AIT应用的高效准确。灵感来自知识蒸馏（KD），可以提高模型准确性，我们的方法将KD使用的软目标添加到FL模型培训，占用可忽略不计的网络资源。在每轮本地训练之后，通过每种充气设备的局部样品预测生成软目标，并用于下一轮模型训练。在DFL的本地培训期间，软目标和硬质标签都被用作模型预测的近似目标，以通过补充软目标的知识来提高模型准确性。为了进一步提高DFL模型的性能，我们设计了一种动态调整策略，用于调整KD中使用的两个损耗功能的比率，这可以最大限度地利用软目标和硬质标签。众所周知的基准测试的全面实验结果表明，我们的方法可以显着提高独立和相同分布（IID）和非IID数据的FL的模型精度。

近年来，最终用户的多个（边缘）设备中有大量分散数据，而由于法律或法规，分散数据的聚合对机器学习工作仍然困难。联合学习（FL）作为处理分散数据而不分享敏感原始数据的有效方法，同时协作培训全球机器学习模型。 FL中的服务器需要在培训过程中选择（和计划）设备。但是，具有FL的多个作业的设备的调度仍然是一个关键和打开的问题。在本文中，我们提出了一种新的多工作FL框架，以实现多个作业的并行培训过程。该框架包括系统模型和两个调度方法。在系统模型中，我们提出了多个作业的并行培训过程，并根据各种工作培训过程基于培训时间和各种设备的数据公平构建成本模型。我们提出了一种基于钢筋的基于学习的方法和基于贝叶斯优化的方法，以便为多个作业调度设备，同时最小化成本。我们通过多个工作和数据集进行广泛的实验。实验结果表明，我们提出的方法在培训时间（速度越快8.67倍）和准确性（高度高达44.6％）方面显着优于基线。

联合学习允许多个参与者在不公开数据隐私的情况下协作培训高效模型。但是，这种分布式的机器学习培训方法容易受到拜占庭客户的攻击，拜占庭客户通过修改模型或上传假梯度来干扰全球模型的训练。在本文中，我们提出了一种基于联邦学习（CMFL）的新型无服务器联合学习框架委员会机制，该机制可以确保算法具有融合保证的鲁棒性。在CMFL中，设立了一个委员会系统，以筛选上载已上传的本地梯度。 The committee system selects the local gradients rated by the elected members for the aggregation procedure through the selection strategy, and replaces the committee member through the election strategy.基于模型性能和防御的不同考虑，设计了两种相反的选择策略是为了精确和鲁棒性。广泛的实验表明，与典型的联邦学习相比，与传统的稳健性相比，CMFL的融合和更高的准确性比传统的稳健性，以分散的方法的方式获得了传统的耐受性算法。此外，我们理论上分析并证明了在不同的选举和选择策略下CMFL的收敛性，这与实验结果一致。

联邦边缘学习（诱导）吸引了许多隐私范例的关注，以有效地纳入网络边缘的分布式数据来训练深度学习模型。然而，单个边缘服务器的有限覆盖范围导致参与者的客户节点数量不足，这可能会损害学习性能。在本文中，我们调查了一种新颖的感觉框架，即半分散的联邦边缘学习（SD-INES），其中采用多个边缘服务器集体协调大量客户端节点。通过利用边缘服务器之间的低延迟通信进行高效的模型共享，SD-Feels可以包含更多的培训数据，同时与传统联合学习相比享受更低的延迟。我们详细介绍了三个主要步骤的SD感觉的培训算法，包括本地模型更新，群集内部和群集间模型聚合。在非独立和相同分布的（非IID）数据上证明了该算法的收敛性，这也有助于揭示关键参数对培训效率的影响，并提供实用的设计指南。同时，边缘装置的异质性可能导致级体效应并降低SD感应的收敛速度。为了解决这个问题，我们提出了一种具有SD-Iave的稳定性舒长方案的异步训练算法，其中，还分析了收敛性能。模拟结果展示了所提出的SD感觉和证实我们分析的算法的有效性和效率。

联合学习（FL）是一个蓬勃发展的分布式机器学习框架，其中中心参数服务器（PS）协调许多本地用户以训练全局一致的模型。传统的联合学习不可避免地依赖于具有PS的集中拓扑。因此，一旦PS失败，它将瘫痪。为了缓解如此单点故障，特别是在PS上，一些现有的工作已经提供了CDSGD和D-PSGD等分散的FL（DFL）实现，以便于分散拓扑中的流体。然而，这些方法仍存在一些问题，例如，在CDSGD中的用户最终模型和D-PSGD中的网络范围的模型平均必需品之间存在一些问题。为了解决这些缺陷，本文设计了一种作为DACFL的新DFL实现，其中每个用户使用自己的训练数据列举其模型，并通过对称和双随机矩阵将中间模型与其邻居交换。 DACFL将每个用户本地培训的进度视为离散时间过程，并采用第一个订单动态平均共识（FODAC）方法来跟踪\ Texit {平均模型}在没有PS的情况下。在本文中，我们还提供了DACFL的理论收敛性分析，即在I.I.D数据的前提下，以加强其合理性。 Mnist，Fashion-Mnist和CiFar-10的实验结果验证了我们在几间不变性和时变网络拓扑中的解决方案的可行性，并在大多数情况下声明DACFL优于D-PSGD和CDSGD。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

通过参与大规模联合学习（FL）优化的设备的异构性质的激励，我们专注于由区块链（BC）技术赋予的异步服务器的FL解决方案。与主要采用的FL方法相比，假设同步操作，我们提倡一个异步方法，由此，模型聚合作为客户端提交本地更新。异步设置与具有异构客户端的实际大规模设置中的联合优化思路非常适合。因此，它可能导致通信开销和空闲时段的效率提高。为了评估启用了BC启用的FL的学习完成延迟，我们提供了基于批量服务队列理论的分析模型。此外，我们提供仿真结果以评估同步和异步机制的性能。涉及BC启用的流量的重要方面，例如网络大小，链路容量或用户要求，并分析并分析。随着我们的结果表明，同步设置导致比异步案例更高的预测精度。然而，异步联合优化在许多情况下提供了更低的延迟，从而在处理大数据集时成为一种吸引力的FL解决方案，严重的时序约束（例如，近实时应用）或高度不同的训练数据。

在联合学习（FL）设置中，许多设备有助于培训通用模型。我们提出了一种选择提供更新的设备，以实现改进的概括，快速收敛和更好的设备级别性能。我们制定了最低 - 最大优化问题，并将其分解为原始偶的设置，在该设置中，双重性差距用于量化设备级的性能。我们的策略通过\ emph {exploitation}的随机设备选择，通过简化的设备贡献来结合数据新鲜度。这在概括和个性化方面都改善了受过训练的模型的性能。在开发阶段，应用了修改的截短蒙特卡洛（TMC）方法，以估计设备的贡献并降低开销的通信。实验结果表明，所提出的方法具有竞争性能，对基线方案的沟通开销和竞争性个性化绩效较低。