在联邦设置中接受培训的模型通常会遭受降解的表演，并且在概括方面失败，尤其是在面对异质场景时。在这项工作中，我们通过损失和黑森特征光谱的几何形状的镜头来研究这种行为，将模型缺乏概括能力与溶液的清晰度联系起来。通过先前的研究将损失表面和概括差距连接起来的动机，我们表明i）在本地培训客户，以清晰感最小化（SAM）或其自适应版本（ASAM）和II）平均随机重量（SWA）服务器端可以基本上改善联合学习的概括，并帮助弥合差距，以中央集权模型。通过在具有均匀损失均匀损失的社区中寻求参数，该模型会收敛于平坦的最小值及其泛化，从而在均质和异质情况下都显着改善。经验结果证明了这些优化器在各种基准视觉数据集（例如CIFAR10/100，Landmarks-User-160K，IDDA）和任务（大规模分类，语义分割，域概括）中的有效性。

语义细分对于使自动驾驶车辆自动驾驶至关重要，从而使他们能够通过将单个像素分配给已知类别来理解周围环境。但是，它可以根据用户汽车收集的明智数据运行；因此，保护​​客户的隐私成为主要问题。出于类似的原因，最近将联邦学习作为一种新的机器学习范式引入，旨在学习全球模型，同时保留隐私并利用数百万个远程设备的数据。尽管在这个主题上进行了几项努力，但尚未明确解决语义细分中联合学习在迄今为止驾驶的挑战。为了填补这一空白，我们提出了FedDrive，这是一个由三个设置和两个数据集组成的新基准，其中包含了统计异质性和域概括的现实世界挑战。我们通过深入的分析基于联合学习文献的最新算法，将它们与样式转移方法相结合以提高其概括能力。我们证明，正确处理标准化统计数据对于应对上述挑战至关重要。此外，在处理重大外观变化时，样式转移会提高性能。官方网站：https：//feddrive.github.io。

联合学习（FL）是一个有希望的策略，用于使用客户端（即边缘设备）的网络进行隐私保留，分布式学习。然而，客户之间的数据分布通常是非IID的，使得有效优化困难。为了缓解这个问题，许多流行算法专注于通过引入各种近似术语，一些产生可观的计算和/或内存开销来减轻客户端跨客户端的影响，以限制关于全局模型的本地更新。相反，我们考虑重新思考的解决方案，以重点关注局部学习一般性而不是近端限制。为此，我们首先提出了一项系统的研究，通过二阶指标通知，更好地了解FL中的算法效果。有趣的是，我们发现标准的正则化方法令人惊讶的是减轻数据异质性效应的强烈表现者。根据我们的调查结果，我们进一步提出了一种简单有效的方法，努力克服数据异质性和先前方法的陷阱。 FedAlign在各种设置中使用最先进的FL方法实现了竞争准确性，同时最大限度地减少计算和内存开销。代码将公开。

当客户具有不同的数据分布时，最新的联合学习方法的性能比其集中式同行差得多。对于神经网络，即使集中式SGD可以轻松找到同时执行所有客户端的解决方案，当前联合优化方法也无法收敛到可比的解决方案。我们表明，这种性能差异很大程度上可以归因于非概念性提出的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的功能，但是最后一层无法使用它们。也就是说，适用于此非凸问题的联合优化扭曲了最终层的学习。利用这一观察结果，我们提出了一个火车征征训练（TCT）程序来避开此问题：首先，使用现成方法（例如FedAvg）学习功能；然后，优化从网络的经验神经切线核近似获得的共透性问题。当客户具有不同的数据时，我们的技术可在FMNIST上的准确性提高高达36％，而CIFAR10的准确性提高了 +37％。

Federated Learning (FL) allows training machine learning models in privacy-constrained scenarios by enabling the cooperation of edge devices without requiring local data sharing. This approach raises several challenges due to the different statistical distribution of the local datasets and the clients' computational heterogeneity. In particular, the presence of highly non-i.i.d. data severely impairs both the performance of the trained neural network and its convergence rate, increasing the number of communication rounds requested to reach a performance comparable to that of the centralized scenario. As a solution, we propose FedSeq, a novel framework leveraging the sequential training of subgroups of heterogeneous clients, i.e. superclients, to emulate the centralized paradigm in a privacy-compliant way. Given a fixed budget of communication rounds, we show that FedSeq outperforms or match several state-of-the-art federated algorithms in terms of final performance and speed of convergence. Finally, our method can be easily integrated with other approaches available in the literature. Empirical results show that combining existing algorithms with FedSeq further improves its final performance and convergence speed. We test our method on CIFAR-10 and CIFAR-100 and prove its effectiveness in both i.i.d. and non-i.i.d. scenarios.

联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。

在大多数有关联合学习（FL）的文献中，神经网络都是随机重量初始化的。在本文中，我们介绍了一项关于预训练对FL的影响的实证研究。具体而言，我们旨在调查当客户的分散数据是非IID时，预训练是否可以减轻急剧精度下降。我们专注于FedAvg，这是基本和最广泛使用的FL算法。我们发现，在非IID数据下，预培训确实在很大程度上缩小了FedAvg和集中学习之间的差距，但这并不是由于减轻了FedAvg的本地培训中众所周知的模型漂移问题。相反，预培训如何通过使FedAvg的全球聚合更加稳定来帮助FedAvg。当使用真实数据的预训练对于FL不可行时，我们提出了一种新型的方法，可以预先培训合成数据。在各种图像数据集（包括用于分割的一个）上，我们使用合成预训练的方法导致了显着的增益，这实质上是为扩大现实世界应用程序的联合学习而迈出的关键步骤。

由于客户之间统计异质性的诅咒，采用个性化联合学习方法已成为成功部署基于联合学习的服务的基本选择。在个性化技术的各种分支中，基于模型混合物的个性化方法是优选的，因为每个客户都有自己的个性化模型，因为联合学习。它通常需要本地模型和联合模型，但是这种方法要么仅限于部分参数交换，要么需要其他本地更新，每种都对新颖客户端无助，并且对客户的计算能力负担重。由于已经发现了两个或更多独立深度网络之间包含多种低损失解决方案的连接子空间的存在，因此我们将这种有趣的属性与基于模型混合物的个性化联合学习方法相结合，以改善个性化的性能。我们提出了一种个性化的联合学习方法，该方法诱导了体重空间中本地和联合模型的优势之间的明确联系，以相互促进。通过在几个基准数据集上进行的广泛实验，我们证明了我们的方法在个性化绩效和鲁棒性方面都可以在现实服务中实现有问题的情况。

Data heterogeneity across clients is a key challenge in federated learning. Prior works address this by either aligning client and server models or using control variates to correct client model drift. Although these methods achieve fast convergence in convex or simple non-convex problems, the performance in over-parameterized models such as deep neural networks is lacking. In this paper, we first revisit the widely used FedAvg algorithm in a deep neural network to understand how data heterogeneity influences the gradient updates across the neural network layers. We observe that while the feature extraction layers are learned efficiently by FedAvg, the substantial diversity of the final classification layers across clients impedes the performance. Motivated by this, we propose to correct model drift by variance reduction only on the final layers. We demonstrate that this significantly outperforms existing benchmarks at a similar or lower communication cost. We furthermore provide proof for the convergence rate of our algorithm.

Federated learning is a distributed machine learning paradigm in which a large number of clients coordinate with a central server to learn a model without sharing their own training data. Standard federated optimization methods such as Federated Averaging (FEDAVG) are often difficult to tune and exhibit unfavorable convergence behavior. In non-federated settings, adaptive optimization methods have had notable success in combating such issues. In this work, we propose federated versions of adaptive optimizers, including ADAGRAD, ADAM, and YOGI, and analyze their convergence in the presence of heterogeneous data for general nonconvex settings. Our results highlight the interplay between client heterogeneity and communication efficiency. We also perform extensive experiments on these methods and show that the use of adaptive optimizers can significantly improve the performance of federated learning.

联合学习（FL）框架使Edge客户能够协作学习共享的推理模型，同时保留对客户的培训数据的隐私。最近，已经采取了许多启发式方法来概括集中化的自适应优化方法，例如SGDM，Adam，Adagrad等，以提高收敛性和准确性的联合设置。但是，关于在联合设置中的位置以及如何设计和利用自适应优化方法的理论原理仍然很少。这项工作旨在从普通微分方程（ODE）的动力学的角度开发新的自适应优化方法，以开发FL的新型自适应优化方法。首先，建立了一个分析框架，以在联合优化方法和相应集中优化器的ODES分解之间建立连接。其次，基于这个分析框架，开发了一种动量解耦自适应优化方法FedDA，以充分利用每种本地迭代的全球动量并加速训练收敛。最后但并非最不重要的一点是，在训练过程结束时，全部批处理梯度用于模仿集中式优化，以确保收敛并克服由自适应优化方法引起的可能的不一致。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

由于参与客户的异构特征，联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时，这种趋势加剧了，因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战，我们提出了一种新的联合学习框架，这提高了服务器端聚合步骤的稳定性，这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达，并且不需要将过去的模型存储在客户端中。我们还规范了本地更新，以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究，与最先进的方法相比，在准确性和通信效率方面表现出了拟议方法的显着性能，特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得

在联合学习（FL）中，许多客户或设备在不共享数据的情况下协作培训模型。模型在每个客户端进行了优化，并进一步通信到中央集线器进行聚合。尽管FL是一个吸引人的分散培训范式，但来自不同客户的数据之间的异质性可能会导致本地优化从全球目标中消失。为了估计并消除这种漂移，最近已将差异技术纳入了FL优化。但是，这些方法不准确地估计客户的漂移，最终无法正确删除它。在这项工作中，我们提出了一种自适应算法，该算法可以准确地估计客户端的漂移。与以前的工作相比，我们的方法需要更少的存储和通信带宽以及较低的计算成本。此外，我们提出的方法可以通过限制客户漂移的估计标准来诱导稳定性，从而使大规模fl更实用。实验发现表明，所提出的算法比在各种FL基准中的基准相比，收敛的速度明显更快，并且获得了更高的准确性。

An oft-cited open problem of federated learning is the existence of data heterogeneity at the clients. One pathway to understanding the drastic accuracy drop in federated learning is by scrutinizing the behavior of the clients' deep models on data with different levels of "difficulty", which has been left unaddressed. In this paper, we investigate a different and rarely studied dimension of FL: ordered learning. Specifically, we aim to investigate how ordered learning principles can contribute to alleviating the heterogeneity effects in FL. We present theoretical analysis and conduct extensive empirical studies on the efficacy of orderings spanning three kinds of learning: curriculum, anti-curriculum, and random curriculum. We find that curriculum learning largely alleviates non-IIDness. Interestingly, the more disparate the data distributions across clients the more they benefit from ordered learning. We provide analysis explaining this phenomenon, specifically indicating how curriculum training appears to make the objective landscape progressively less convex, suggesting fast converging iterations at the beginning of the training procedure. We derive quantitative results of convergence for both convex and nonconvex objectives by modeling the curriculum training on federated devices as local SGD with locally biased stochastic gradients. Also, inspired by ordered learning, we propose a novel client selection technique that benefits from the real-world disparity in the clients. Our proposed approach to client selection has a synergic effect when applied together with ordered learning in FL.

联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。

在存在数据掠夺性保存问题的情况下，有效地在许多设备和资源限制上（尤其是在边缘设备上）的有效部署深度神经网络是最具挑战性的问题之一。传统方法已经演变为改善单个全球模型，同时保持每个本地培训数据分散（即数据杂质性），或者培训一个曾经是一个曾经是一个曾经是的网络，该网络支持多样化的建筑设置，以解决配备不同计算功能的异质系统（即模型杂种）。但是，很少的研究同时考虑了这两个方向。在这项工作中，我们提出了一个新颖的框架来考虑两种情况，即超级网训练联合会（FEDSUP），客户在该场景中发送和接收一条超级网，其中包含从本身中采样的所有可能的体系结构。它的灵感来自联邦学习模型聚合阶段（FL）中平均参数的启发，类似于超级网训练中的体重分享。具体而言，在FedSup框架中，训练单射击模型中广泛使用的重量分享方法与联邦学习的平均（FedAvg）结合在一起。在我们的框架下，我们通过将子模型发送给广播阶段的客户来降低沟通成本和培训间接费用，提出有效的算法（电子馈SUP）。我们展示了几种增强FL环境中超网训练的策略，并进行广泛的经验评估。结果框架被证明为在几个标准基准上的数据和模型杂质性的鲁棒性铺平了道路。

联邦学习〜（FL）最近引起了学术界和行业的越来越多的关注，其最终目标是在隐私和沟通限制下进行协作培训。现有的基于FL算法的现有迭代模型需要大量的通信回合，以获得良好的模型，这是由于不同客户之间的极为不平衡和非平衡的I.D数据分配。因此，我们建议FedDM从多个本地替代功能中构建全球培训目标，这使服务器能够获得对损失格局的更全球视野。详细说明，我们在每个客户端构建了合成数据集，以在本地匹配从原始数据到分发匹配的损失景观。与笨拙的模型权重相比，FedDM通过传输更多信息和较小的合成数据来降低通信回合并提高模型质量。我们对三个图像分类数据集进行了广泛的实验，结果表明，在效率和模型性能方面，我们的方法可以优于其他FL的实验。此外，我们证明，FedDM可以适应使用高斯机制来保护差异隐私，并在相同的隐私预算下训练更好的模型。

在分布式和联合学习中实现全球融合的主要障碍是由于分布式数据的异质性和随机性的客户端跨越梯度的未对准。在这项工作中，我们表明，实际上可以利用数据异质性来通过隐式正规化提高泛化性能。缓解异质性影响的一种方法是在整个训练中鼓励在不同客户端中的渐变对齐。我们的分析表明，通过利用复制SGD的隐式正则化效果的正确优化方法可以实现这一目标，从而导致梯度对准以及测试精度的改进。由于SGD中该正则化的存在完全依赖于在训练期间的不同迷你批次的顺序使用，因此在用大型批次进行训练时固有地没有。为了在增加并行性的同时获得该正则化的泛化效益，我们提出了一种新的渐变算法，其诱导相同的隐式正则化，同时允许在每个更新中使用任意大的批次。我们通过在不同分布式和联合学习设置中实验验证我们算法的优势。

The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.