由于大尺寸的翻译引擎以及培训客户端和中央服务器所需的多轮更新，联邦学习（FL）设置中的培训神经机翻译（FL）设置中的型号可能效率低下。在本文中，我们探索如何通过提出新颖的解决方案来有效地在FL设置中建立NMT模型。为了减少通信开销，从所有神经层中都只能交换我们术语“控制器”层。控制器是与我们预先训练的架构连接的少量额外的神经组件。这些新组件位于原始层之间。它们充当联络员与中央服务器沟通，并学习足以更新客户端的最小信息。我们在不同域的五个数据集中评估了我们模型的性能，从德语转换为英语。我们指出，配备控制器的型号预制地与中央和非FL设置训练的那些。此外，我们观察到FL管道的通信流量大幅减少，这是使用控制器的直接后果。基于我们的实验，基于控制器的模型比其他同行更便宜〜6倍。当我们考虑大型型号中的参数数量时，这种减少显着重要，并且当需要在FL设置中的多个轮时更换这些参数时变得更加重要。

With increasing privacy concerns on data, recent studies have made significant progress using federated learning (FL) on privacy-sensitive natural language processing (NLP) tasks. Much literature suggests fully fine-tuning pre-trained language models (PLMs) in the FL paradigm can mitigate the data heterogeneity problem and close the performance gap with centralized training. However, large PLMs bring the curse of prohibitive communication overhead and local model adaptation costs for the FL system. To this end, we introduce various parameter-efficient tuning (PETuning) methods into federated learning. Specifically, we provide a holistic empirical study of representative PLMs tuning methods in FL. The experimental results cover the analysis of data heterogeneity levels, data scales, and different FL scenarios. Overall communication overhead can be significantly reduced by locally tuning and globally aggregating lightweight model parameters while maintaining acceptable performance in various FL settings. To facilitate the research of PETuning in FL, we also develop a federated tuning framework FedPETuning, which allows practitioners to exploit different PETuning methods under the FL training paradigm conveniently. The source code is available at \url{https://github.com/iezhuozhuo/FedETuning/tree/deltaTuning}.

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

联合学习（FL）作为边缘设备的有希望的技术，以协作学习共享预测模型，同时保持其训练数据，从而解耦了从需要存储云中的数据的机器学习的能力。然而，在规模和系统异质性方面，FL难以现实地实现。虽然有许多用于模拟FL算法的研究框架，但它们不支持在异构边缘设备上进行可扩展的流程。在本文中，我们呈现花 - 一种全面的FL框架，通过提供新的设施来执行大规模的FL实验并考虑丰富的异构流程来区分现有平台。我们的实验表明花卉可以仅使用一对高端GPU在客户尺寸下进行FL实验。然后，研究人员可以将实验无缝地迁移到真实设备中以检查设计空间的其他部分。我们认为花卉为社区提供了一个批判性的新工具，用于研究和发展。

有效分布式参数的快速全局聚合对于联邦学习（FL）至关重要，这需要足够的带宽来进行参数通信和足够的用户数据以进行本地培训。否则，FL可能会花费过多的训练时间来收敛并产生不准确的模型。在本文中，我们提出了一个全新的FL框架，即Pressfl，该框架将联合模型培训取代联合的及时培训，即让联邦参与者培训提示而不是共享模型，以同时实现有效的全球聚合和本地培训通过以分布式方式利用基础模型（FM）的功率来利用数据不足。 ProSTERFL将现成的FM（即剪辑）运送到分布式客户端，这些客户将根据很少的本地数据进行合作培训共享的软提示。由于提示fl只需要更新提示而不是整个模型，因此本地培训和全局聚合都可以大大加速。经过大规模数据训练的FM可以通过训练有素的软提示为分布式用户任务提供强大的适应能力。我们通过广泛的实验对提示进行了经验分析，并在系统的可行性，用户隐私和性能方面表现出了优势。

联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。

传统的深度学习方法（DL）需要在中央服务器上收集和处理的培训数据，这些中央服务器通常在保健等隐私敏感域中挑战。为此，提出了一种新的学习范式，称为联合学习（FL），在解决隐私和数据所有权问题的同时将DL的潜力带到了这些域。 FL使远程客户端能够在保持数据本地时学习共享ML模型。然而，传统的FL系统面临多种挑战，例如可扩展性，复杂的基础设施管理，并且由于空闲客户端而被浪费的计算和产生的成本。 FL系统的这些挑战与无服务器计算和功能 - AS-Service（FAAS）平台旨在解决的核心问题密切对齐。这些包括快速可扩展性，无基础设施管理，自动缩放为空闲客户端，以及每次使用付费计费模型。为此，我们为无服务器FL展示了一个新颖的系统和框架，称为不发烟。我们的系统支持多个商业和自主主机的FAAS提供商，可以在机构数据中心和边缘设备上部署在云端，内部部署。据我们所知，我们是第一个能够在一大面料的异构FAAS提供商中启用FL，同时提供安全性和差异隐私等重要功能。我们展示了全面的实验，即使用我们的系统可以成功地培训多达200个客户功能的不同任务，更容易实现。此外，我们通过将其与传统的FL系统进行比较来证明我们的方法的实际可行性，并表明它可以更便宜，更资源效率更便宜。

Federated Learning (FL) is a machine learning paradigm that enables the training of a shared global model across distributed clients while keeping the training data local. While most prior work on designing systems for FL has focused on using stateful always running components, recent work has shown that components in an FL system can greatly benefit from the usage of serverless computing and Function-as-a-Service technologies. To this end, distributed training of models with severless FL systems can be more resource-efficient and cheaper than conventional FL systems. However, serverless FL systems still suffer from the presence of stragglers, i.e., slow clients due to their resource and statistical heterogeneity. While several strategies have been proposed for mitigating stragglers in FL, most methodologies do not account for the particular characteristics of serverless environments, i.e., cold-starts, performance variations, and the ephemeral stateless nature of the function instances. Towards this, we propose FedLesScan, a novel clustering-based semi-asynchronous training strategy, specifically tailored for serverless FL. FedLesScan dynamically adapts to the behaviour of clients and minimizes the effect of stragglers on the overall system. We implement our strategy by extending an open-source serverless FL system called FedLess. Moreover, we comprehensively evaluate our strategy using the 2nd generation Google Cloud Functions with four datasets and varying percentages of stragglers. Results from our experiments show that compared to other approaches FedLesScan reduces training time and cost by an average of 8% and 20% respectively while utilizing clients better with an average increase in the effective update ratio of 17.75%.

联合学习（FL）可以从云到资源限制的边缘设备分发机器学习工作负载。遗憾的是，当前的深网络不仅对边缘设备的推理和培训造成了太重，而且对于在带宽约束网络上传送更新，也太大了。在本文中，我们开发，实施和实验验证了所谓的联合动态稀疏训练（FEDDST）的新型FL框架，通过该训练可以通过该培训和培训复杂的神经网络，在设备上计算和网络内通信中具有基本上提高的效率。在FEDDST的核心是一个动态过程，可以从目标完整网络中提取和列出稀疏子网。通过这个方案，“两只鸟类用一块石头杀死：”而不是完整的模型，每个客户端都会对自己的稀疏网络进行有效的培训，并且在设备和云之间仅传输稀疏网络。此外，我们的结果表明，在流动训练期间的动态稀疏性更灵活地容纳比固定的共用稀疏面具的局部异质性。此外，动态稀疏性自然地引入了培训动态的“时间自化效应”，即使通过密集训练也会提高流程。在一个现实和挑战的非I.I.D。 FL Setting，FEDDST始终如一地优于我们的实验中的竞争算法：例如，在非IID CIFAR-10上的任何固定上传数据帽时，在给定相同的上传数据帽时，它会在FedVGM上获得令人印象深刻的精度优势;即使在上传数据帽2倍，也可以进一步展示FEDDST的疗效，即使FEDAVGM为2X，即使将FEDAVGM提供精度差距也会保持3％。代码可用：https://github.com/bibikar/feddst。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

在金融和医疗保健等高度监管域中的机构通常存在围绕数据共享的限制性规则。联合学习是一种分布式学习框架，可以实现对分散数据的多机构合作，并改善了每个合作师的数据隐私的保护。在本文中，我们提出了一种用于分散的联邦学习的通信有效的方案，称为ProxyFL或基于代理的联合学习。 ProxyFL中的每个参与者都维护了两个模型，私人模型和旨在保护参与者隐私的公开共享代理模型。代理模型允许参与者之间的高效信息交换，使用PushSum方法而无需集中式服务器。所提出的方法通过允许模型异质性消除了规范联合学习的显着限制;每个参与者都可以拥有任何架构的私有模型。此外，我们通过代理通信的协议导致使用差异隐私分析的隐私保障更强。对流行的图像数据集的实验，以及使用超过30,000多个高质量的千兆的千兆子痫组织的泛癌诊断问题整个幻灯片图像，表明ProxyFL可以优于现有的现有替代方案，越来越少的沟通开销和更强大的隐私。

尽管结果令人印象深刻，但深度学习的技术还引起了经常在数据中心进行的培训程序引起的严重隐私和环境问题。作为回应，已经出现了集中培训的替代方案，例如联邦学习（FL）。也许出乎意料的是，FL开始在全球范围内部署，这些公司必须遵守源自倡导隐私保护的政府和社会团体的新法律要求和政策。 \ textit {但是，与FL有关的潜在环境影响仍然不清楚和未开发。本文提供了有关佛罗里达碳足迹的首次系统研究。然后，我们将FL的碳足迹与传统的集中学习进行了比较。我们的发现表明，根据配置，FL可以比集中的机器学习高达两个数量级。但是，在某些情况下，由于嵌入式设备的能源消耗减少，它可以与集中学习相提并论。我们使用FL进行了不同类型的数据集，设置和各种深度学习模型的广泛实验。最后，我们强调并将报告的结果与FL的未来挑战和趋势联系起来，以减少其环境影响，包括算法效率，硬件能力和更强的行业透明度。

Federated learning (FL) has been proposed as a privacy-preserving approach in distributed machine learning. A federated learning architecture consists of a central server and a number of clients that have access to private, potentially sensitive data. Clients are able to keep their data in their local machines and only share their locally trained model's parameters with a central server that manages the collaborative learning process. FL has delivered promising results in real-life scenarios, such as healthcare, energy, and finance. However, when the number of participating clients is large, the overhead of managing the clients slows down the learning. Thus, client selection has been introduced as a strategy to limit the number of communicating parties at every step of the process. Since the early na\"{i}ve random selection of clients, several client selection methods have been proposed in the literature. Unfortunately, given that this is an emergent field, there is a lack of a taxonomy of client selection methods, making it hard to compare approaches. In this paper, we propose a taxonomy of client selection in Federated Learning that enables us to shed light on current progress in the field and identify potential areas of future research in this promising area of machine learning.

随着对用户数据隐私的越来越关注，联合学习（FL）已被开发为在边缘设备上训练机器学习模型的独特培训范式，而无需访问敏感数据。传统的FL和现有方法直接在云服务器的同一型号和培训设备的所有边缘上采用聚合方法。尽管这些方法保护了数据隐私，但它们不能具有模型异质性，甚至忽略了异质的计算能力，也可以忽略陡峭的沟通成本。在本文中，我们目的是将资源感知的FL汇总为从边缘模型中提取的本地知识的集合，而不是汇总每个本地模型的权重，然后将其蒸馏成一个强大的全局知识，作为服务器模型通过知识蒸馏。通过深入的相互学习，将本地模型和全球知识提取到很小的知识网络中。这种知识提取使Edge客户端可以部署资源感知模型并执行多模型知识融合，同时保持沟通效率和模型异质性。经验结果表明，在异质数据和模型中的通信成本和概括性能方面，我们的方法比现有的FL算法有了显着改善。我们的方法将VGG-11的沟通成本降低了102美元$ \ times $和Resnet-32，当培训Resnet-20作为知识网络时，最多可达30美元$ \ times $。

Federated Learning (FL) is extensively used to train AI/ML models in distributed and privacy-preserving settings. Participant edge devices in FL systems typically contain non-independent and identically distributed~(Non-IID) private data and unevenly distributed computational resources. Preserving user data privacy while optimizing AI/ML models in a heterogeneous federated network requires us to address data heterogeneity and system/resource heterogeneity. Hence, we propose \underline{R}esource-\underline{a}ware \underline{F}ederated \underline{L}earning~(RaFL) to address these challenges. RaFL allocates resource-aware models to edge devices using Neural Architecture Search~(NAS) and allows heterogeneous model architecture deployment by knowledge extraction and fusion. Integrating NAS into FL enables on-demand customized model deployment for resource-diverse edge devices. Furthermore, we propose a multi-model architecture fusion scheme allowing the aggregation of the distributed learning results. Results demonstrate RaFL's superior resource efficiency compared to SoTA.

事实证明，生成的对抗网络是学习复杂且高维数据分布的强大工具，但是已证明诸如模式崩溃之类的问题使他们难以训练它们。当数据分散到联合学习设置中的几个客户端时，这是一个更困难的问题，因为诸如客户端漂移和非IID数据之类的问题使联盟的平均平均值很难收敛。在这项工作中，我们研究了如何在培训数据分散到客户上时如何学习数据分布的任务，无法共享。我们的目标是从集中进行此分配中进行采样，而数据永远不会离开客户。我们使用标准基准图像数据集显示，现有方法在这种设置中失败，当局部时期的局部数量变大时，会经历所谓的客户漂移。因此，我们提出了一种新型的方法，我们称为Effgan：微调联合gans的合奏。作为本地专家发电机的合奏，Effgan能够学习所有客户端的数据分布并减轻客户漂移。它能够用大量的本地时代进行训练，从而使其比以前的作品更有效。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

联合学习（FL）在分布式客户端上培训机器学习模型，而不会暴露单个数据。与通常基于仔细组织的数据的集中培训不同，FL处理通常不混阻和不平衡的设备数据。因此，处理所有数据的传统流行训练协议同样地导致浪费本地计算资源，并减慢全局学习过程。为此，我们提出了一个系统性的FLBalancer，它积极选择客户的培训样本。我们的示例选择策略在尊重客户端的隐私和计算能力的同时优先确定更多“信息性”数据。为了更好地利用样本选择来加速全球培训，我们进一步推出了一种自适应截止日期控制方案，该方案预测每个轮的最佳截止日期，具有不同的客户端列车数据。与具有截止日期配置方法的现有流算法相比，我们对三个不同域的五个数据集的评估表明，FedBalancer将时间至准确性的性能提高1.22〜4.62倍，同时提高模型精度1.0〜3.3％。我们还表明，通过展示在与三种不同的FL算法共同运行时，FedBalancer提高了收敛速度和准确性，可以随时适用于其他流动方法。

本文提出并表征了联合学习（OARF）的开放应用程序存储库，是联合机器学习系统的基准套件。以前可用的联合学习基准主要集中在合成数据集上，并使用有限数量的应用程序。 OARF模仿更现实的应用方案，具有公开的数据集，如图像，文本和结构数据中的不同数据孤岛。我们的表征表明，基准套件在数据大小，分布，特征分布和学习任务复杂性中多样化。与参考实施的广泛评估显示了联合学习系统的重要方面的未来研究机会。我们开发了参考实现，并评估了联合学习的重要方面，包括模型准确性，通信成本，吞吐量和收敛时间。通过这些评估，我们发现了一些有趣的发现，例如联合学习可以有效地提高端到端吞吐量。

联合学习用于大量（数百万）边缘移动设备的机器学习模型的分散培训。它充满挑战，因为移动设备通常具有有限的通信带宽和本地计算资源。因此，提高联合学习的效率对于可扩展性和可用性至关重要。在本文中，我们建议利用部分训练的神经网络，该网络在整个训练过程中冻结了一部分模型参数，以降低对模型性能的影响几乎没有影响的通信成本。通过广泛的实验，我们经验证明，部分培训的神经网络（FEDPT）的联合学习可能导致卓越的通信准确性权衡，通信成本高达46美元，以小的准确度成本。我们的方法还实现了更快的培训，具有较小的内存占用空间，更好的效用，以便强​​大的差异隐私保证。对于推动设备上学习中的过度参数化的局限性，所提出的FEDPT方法可以特别有趣。