In this work, we devise robust and efficient learning protocols for orchestrating a Federated Learning (FL) process for the Federated Tumor Segmentation Challenge (FeTS 2022). Enabling FL for FeTS setup is challenging mainly due to data heterogeneity among collaborators and communication cost of training. To tackle these challenges, we propose Robust Learning Protocol (RoLePRO) which is a combination of server-side adaptive optimisation (e.g., server-side Adam) and judicious parameter (weights) aggregation schemes (e.g., adaptive weighted aggregation). RoLePRO takes a two-phase approach, where the first phase consists of vanilla Federated Averaging, while the second phase consists of a judicious aggregation scheme that uses a sophisticated reweighting, all in the presence of an adaptive optimisation algorithm at the server. We draw insights from extensive experimentation to tune learning rates for the two phases.

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

在点击率（CTR）预测的联合学习（FL）中，用户的数据未共享以保护隐私。学习是通过在客户端设备上本地培训进行的，并仅将模型更改传达给服务器。有两个主要的挑战：（i）客户异质性，制作使用加权平均来汇总客户模型更新的FL算法的进步缓慢且学习结果不令人满意； （ii）由于每个实验所需的大量计算时间和资源，因此使用反复试验方法调整服务器学习率的困难。为了应对这些挑战，我们提出了一种简单的在线元学习方法，以学习汇总模型更新的策略，该方法根据客户属性适应客户的重要性并调整更新的步骤大小。我们在公共数据集上进行广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都大大优于最先进的方法。

联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。

联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。

在联合学习（FL）中，许多客户或设备在不共享数据的情况下协作培训模型。模型在每个客户端进行了优化，并进一步通信到中央集线器进行聚合。尽管FL是一个吸引人的分散培训范式，但来自不同客户的数据之间的异质性可能会导致本地优化从全球目标中消失。为了估计并消除这种漂移，最近已将差异技术纳入了FL优化。但是，这些方法不准确地估计客户的漂移，最终无法正确删除它。在这项工作中，我们提出了一种自适应算法，该算法可以准确地估计客户端的漂移。与以前的工作相比，我们的方法需要更少的存储和通信带宽以及较低的计算成本。此外，我们提出的方法可以通过限制客户漂移的估计标准来诱导稳定性，从而使大规模fl更实用。实验发现表明，所提出的算法比在各种FL基准中的基准相比，收敛的速度明显更快，并且获得了更高的准确性。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

联合学习（FL）是一种分布式机器学习技术，可以在避免明确的数据共享的同时进行协作模型培训。 FL算法的固有保护属性使其对医疗领域特别有吸引力。但是，如果有异质的客户数据分布，则标准FL方法是不稳定的，需要密集的超参数调整以实现最佳性能。常规的超参数优化算法在现实世界中的FL应用中是不切实际的，因为它们涉及大量的培训试验，而计算预算有限，这些试验通常是不起作用的。在这项工作中，我们提出了一种有效的增强学习（RL）的联合次数超参数优化算法，称为自动FEDRL，其中在线RL代理可以根据当前的培训进度动态调整每个客户的超参数。进行了广泛的实验以研究不同的搜索策略和RL代理。该方法的有效性在CIFAR-10数据集的异质数据分配以及两个现实世界中的医学图像分割数据集上进行了验证，用于胸部CT中的COVID-19变病变分段，腹部CT中的胰腺细分。

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

联合学习使不同的各方能够在服务器的编排下协作建立全球模型，同时将培训数据保留在客户的设备上。但是，当客户具有异质数据时，性能会受到影响。为了解决这个问题，我们假设尽管数据异质性，但有些客户的数据分布可以集群。在以前的方法中，为了群集客户端，服务器要求客户端同时发送参数。但是，在有大量参与者可能有限的参与者的情况下，这可能是有问题的。为了防止这种瓶颈，我们提出了FLIC（使用增量聚类的联合学习），其中服务器利用客户在联合培训期间发送的客户发送的更新，而不是要求他们同时发送参数。因此，除了经典的联合学习所需的内容外，服务器与客户之间没有任何其他沟通。我们从经验上证明了各种非IID案例，我们的方法成功地按照相同的数据分布将客户分组分组。我们还通过研究其能力在联邦学习过程的早期阶段对客户进行分配的能力来确定FLIC的局限性。我们进一步将对模型的攻击作为数据异质性的一种形式，并从经验上表明，即使恶意客户的比例高于50 \％，FLIC也是针对中毒攻击的强大防御。

当可用的硬件无法满足内存和计算要求以有效地训练高性能的机器学习模型时，需要妥协训练质量或模型复杂性。在联合学习（FL）中，节点是比传统服务器级硬件更具限制的数量级，并且通常是电池供电的，严重限制了可以在此范式下训练的模型的复杂性。尽管大多数研究都集中在设计更好的聚合策略上以提高收敛速度并减轻FL的沟通成本，但更少的努力致力于加快设备培训。这样的阶段重复数百次（即每回合）并可能涉及数千个设备，这是培训联合模型所需的大部分时间，以及客户端的全部能源消耗。在这项工作中，我们介绍了第一个研究在FL工作负载中培训时间引入稀疏性时出现的独特方面的研究。然后，我们提出了Zerofl，该框架依赖于高度稀疏的操作来加快设备训练。与通过将最先进的稀疏训练框架适应FL设置相比，接受Zerofl和95％稀疏性训练的模型高达2.3％的精度。

The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

联邦学习（FL）最近由于其在保留隐私而使用分散数据的能力，最近引起了人们的关注。但是，这也提出了与参与设备的异质性有关的其他挑战，无论是在其计算能力和贡献数据方面。同时，神经体系结构搜索（NAS）已成功用于集中式数据集，从而产生了最新的结果，从而获得了受限（硬件意识）和不受约束的设置。但是，即使是在NAS和FL的交集的最新工作，也假定了与数据中心硬件的均匀计算环境，并且无法解决使用受约束，异质设备的问题。结果，在联合环境中对NAS的实际用法仍然是我们在工作中解决的一个空旷的问题。我们设计我们的系统Fedoras，在处理具有非IID分布数据的不同功能的设备时发现和培训有希望的体系结构，并提供了其在不同环境中有效性的经验证据。具体而言，我们在跨越三种不同模式（视觉，语音，文本）的数据集中评估了Fedoras，并且与最先进的联合解决方案相比，其性能更好，同时保持资源效率。

Federated learning is a distributed machine learning paradigm in which a large number of clients coordinate with a central server to learn a model without sharing their own training data. Standard federated optimization methods such as Federated Averaging (FEDAVG) are often difficult to tune and exhibit unfavorable convergence behavior. In non-federated settings, adaptive optimization methods have had notable success in combating such issues. In this work, we propose federated versions of adaptive optimizers, including ADAGRAD, ADAM, and YOGI, and analyze their convergence in the presence of heterogeneous data for general nonconvex settings. Our results highlight the interplay between client heterogeneity and communication efficiency. We also perform extensive experiments on these methods and show that the use of adaptive optimizers can significantly improve the performance of federated learning.

尽管结果令人印象深刻，但深度学习的技术还引起了经常在数据中心进行的培训程序引起的严重隐私和环境问题。作为回应，已经出现了集中培训的替代方案，例如联邦学习（FL）。也许出乎意料的是，FL开始在全球范围内部署，这些公司必须遵守源自倡导隐私保护的政府和社会团体的新法律要求和政策。 \ textit {但是，与FL有关的潜在环境影响仍然不清楚和未开发。本文提供了有关佛罗里达碳足迹的首次系统研究。然后，我们将FL的碳足迹与传统的集中学习进行了比较。我们的发现表明，根据配置，FL可以比集中的机器学习高达两个数量级。但是，在某些情况下，由于嵌入式设备的能源消耗减少，它可以与集中学习相提并论。我们使用FL进行了不同类型的数据集，设置和各种深度学习模型的广泛实验。最后，我们强调并将报告的结果与FL的未来挑战和趋势联系起来，以减少其环境影响，包括算法效率，硬件能力和更强的行业透明度。

分布式深度学习框架，如联合学习（FL）及其变体都是在广泛的Web客户端和移动/ IOT设备上实现个性化体验。然而，由于模型参数的爆炸增长（例如，十亿参数模型），基于FL的框架受到客户的计算资源的限制。拆分学习（SL），最近的框架，通过拆分客户端和服务器之间的模型培训来减少客户端计算负载。这种灵活性对于低计算设置非常有用，但通常以带宽消耗的增加成本而实现，并且可能导致次优化会聚，尤其是当客户数据异构时。在这项工作中，我们介绍了adasplit，通过降低带宽消耗并提高异构客户端的性能，使得能够将SL有效地缩放到低资源场景。为了捕获和基准的分布式深度学习的多维性质，我们还介绍了C3分数，是评估资源预算下的性能。我们通过与强大联邦和分裂学习基线的大量实验比较进行了大量实验比较，验证了adasplit在有限的资源下的有效性。我们还展示了adasplit中关键设计选择的敏感性分析，该选择验证了adasplit在可变资源预算中提供适应性权衡的能力。

Federated learning (FL) is a method to train model with distributed data from numerous participants such as IoT devices. It inherently assumes a uniform capacity among participants. However, participants have diverse computational resources in practice due to different conditions such as different energy budgets or executing parallel unrelated tasks. It is necessary to reduce the computation overhead for participants with inefficient computational resources, otherwise they would be unable to finish the full training process. To address the computation heterogeneity, in this paper we propose a strategy for estimating local models without computationally intensive iterations. Based on it, we propose Computationally Customized Federated Learning (CCFL), which allows each participant to determine whether to perform conventional local training or model estimation in each round based on its current computational resources. Both theoretical analysis and exhaustive experiments indicate that CCFL has the same convergence rate as FedAvg without resource constraints. Furthermore, CCFL can be viewed of a computation-efficient extension of FedAvg that retains model performance while considerably reducing computation overhead.

使用联合学习（FL）协作培训模型的多个医疗机构已成为最大化数据驱动模型的潜力的有希望的解决方案，但医学图像中的非独立性和相同分布的（非IID）数据仍然是一个突出的挑战在真实的练习中。由不同扫描仪或协议引起的特征异质性在本地（客户端）和全局（服务器）优化中引入了学习过程中的漂移，这损害了收敛以及模型性能。许多以前的作品已经尝试通过在本地或全球范围内解决漂移来解决非IID问题，但如何共同解决两个基本耦合的漂移仍然不清楚。在这项工作中，我们专注于处理本地和全球漂移，并介绍一个名为HARMOFL的新协调框架。首先，我们建议通过将变换到频域的图像的幅度归一化以模仿统一的成像设置来减轻本地更新漂移，以便在跨本地客户端生成统一的特征空间。其次，基于谐波功能，我们设计了引导每个本地模型的客户重量扰动，以达到平坦的最佳状态，其中局部最佳解决方案的邻域面积具有均匀低损耗。如果没有任何额外的沟通成本，则扰动协助全局模型通过聚合几个局部平面OptimA来优化融合的最佳解决方案。理论上，我们已经分析了所提出的方法和经验上对三种医学图像分类和分割任务进行了广泛的实验，表明HARMOFL优于一系列具有有前途的收敛行为的最近最先进的方法。

Federated Learning (FL) is a machine learning paradigm that enables the training of a shared global model across distributed clients while keeping the training data local. While most prior work on designing systems for FL has focused on using stateful always running components, recent work has shown that components in an FL system can greatly benefit from the usage of serverless computing and Function-as-a-Service technologies. To this end, distributed training of models with severless FL systems can be more resource-efficient and cheaper than conventional FL systems. However, serverless FL systems still suffer from the presence of stragglers, i.e., slow clients due to their resource and statistical heterogeneity. While several strategies have been proposed for mitigating stragglers in FL, most methodologies do not account for the particular characteristics of serverless environments, i.e., cold-starts, performance variations, and the ephemeral stateless nature of the function instances. Towards this, we propose FedLesScan, a novel clustering-based semi-asynchronous training strategy, specifically tailored for serverless FL. FedLesScan dynamically adapts to the behaviour of clients and minimizes the effect of stragglers on the overall system. We implement our strategy by extending an open-source serverless FL system called FedLess. Moreover, we comprehensively evaluate our strategy using the 2nd generation Google Cloud Functions with four datasets and varying percentages of stragglers. Results from our experiments show that compared to other approaches FedLesScan reduces training time and cost by an average of 8% and 20% respectively while utilizing clients better with an average increase in the effective update ratio of 17.75%.