联合学习（FL）是一种分布式机器学习技术，可以在避免明确的数据共享的同时进行协作模型培训。 FL算法的固有保护属性使其对医疗领域特别有吸引力。但是，如果有异质的客户数据分布，则标准FL方法是不稳定的，需要密集的超参数调整以实现最佳性能。常规的超参数优化算法在现实世界中的FL应用中是不切实际的，因为它们涉及大量的培训试验，而计算预算有限，这些试验通常是不起作用的。在这项工作中，我们提出了一种有效的增强学习（RL）的联合次数超参数优化算法，称为自动FEDRL，其中在线RL代理可以根据当前的培训进度动态调整每个客户的超参数。进行了广泛的实验以研究不同的搜索策略和RL代理。该方法的有效性在CIFAR-10数据集的异质数据分配以及两个现实世界中的医学图像分割数据集上进行了验证，用于胸部CT中的COVID-19变病变分段，腹部CT中的胰腺细分。

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

联邦学习（FL）试图在本地客户端分发模型培训，而无需在集中式数据中心收集数据，从而消除了数据私人关系问题。 FL的一个主要挑战是数据异质性（每个客户的数据分布可能会有所不同），因为它可能导致本地客户的权重差异并减慢全球融合。当前专为数据异质性设计的SOTA FL方法通常会施加正则化以限制非IID数据的影响，并且是状态算法，即它们随着时间的推移维持局部统计数据。尽管有效，但这些方法只能用于FL的特殊情况，仅涉及少数可靠的客户。对于fl的更典型应用，客户端数量很大（例如，边缘设备和移动应用程序），这些方法无法应用，激发了对任何可用于任何数量客户端使用的无状态方法的无状态方法的需求。我们得出了一阶梯度正则化，以惩罚由于本地数据异质性而导致的本地更新不一致。具体而言，为了减轻权重差异，我们将全局数据分布的一阶近似引入本地目标，该目标凭直觉地惩罚了与全局更新相反方向的更新。最终结果是一种无状态的FL算法，可实现1）在非IID数据分布下，比SOTA方法明显更快地收敛（即较少的通信回合）和2）总体融合性能更高。重要的是，我们的方法不会对客户大小施加不切实际的限制，从而可以从大多数FL应用程序中向大量客户学习。

联邦学习（FL）是利用属于患者，人，公司或行业的敏感数据的合适解决方案，这些数据在刚性隐私约束下工作的难题。 FL主要或部分地支持数据隐私和安全问题，并提供促进促进多个边缘设备或组织的模型问题的替代方案，以使用许多本地数据培训全局模型而不具有它们。由其分布式自然引起的FL的非IID数据具有显着的性能下降和稳定性偏斜。本文介绍了一种新颖的方法，通过增强图像动态平衡客户端的数据分布，以解决FL的非IID数据问题。介绍的方法非常稳定模型培训，并将模型的测试精度从83.22％提高到89.43％，对于高度IID FL设定中的胸部X射线图像的多胸疾病检测。 IID，非IID和非IID的结果，联合培训表明，该方法可能有助于鼓励组织或研究人员开发更好的系统，以获得与数据隐私的数据的价值不仅适用于医疗保健，而且领域。

The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

个性化联合学习（FL）促进了多个客户之间的合作，以学习个性化模型而无需共享私人数据。该机制减轻了系统中通常遇到的统计异质性，即不同客户端的非IID数据。现有的个性化算法通常假设所有客户自愿进行个性化。但是，潜在的参与者可能仍然不愿个性化模型，因为他们可能无法正常工作。在这种情况下，客户选择使用全局模型。为了避免做出不切实际的假设，我们介绍了个性化率，该率是愿意培训个性化模型，将其介绍给联合设置并提出DYPFL的客户的比例。这种动态个性化的FL技术激励客户参与个性化本地模型，同时允许在整体模型表现更好时采用全球模型。我们表明，DYPFL中的算法管道可以保证良好的收敛性能，从而使其在广泛的条件下优于替代性个性化方法，包括异质性，客户端数量，本地时期和批量尺寸的变化。

由于参与客户的异构特征，联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时，这种趋势加剧了，因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战，我们提出了一种新的联合学习框架，这提高了服务器端聚合步骤的稳定性，这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达，并且不需要将过去的模型存储在客户端中。我们还规范了本地更新，以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究，与最先进的方法相比，在准确性和通信效率方面表现出了拟议方法的显着性能，特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得

在点击率（CTR）预测的联合学习（FL）中，用户的数据未共享以保护隐私。学习是通过在客户端设备上本地培训进行的，并仅将模型更改传达给服务器。有两个主要的挑战：（i）客户异质性，制作使用加权平均来汇总客户模型更新的FL算法的进步缓慢且学习结果不令人满意； （ii）由于每个实验所需的大量计算时间和资源，因此使用反复试验方法调整服务器学习率的困难。为了应对这些挑战，我们提出了一种简单的在线元学习方法，以学习汇总模型更新的策略，该方法根据客户属性适应客户的重要性并调整更新的步骤大小。我们在公共数据集上进行广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都大大优于最先进的方法。

联合学习是一种新兴的范式，允许大规模分散学习，而无需在不同的数据所有者中共享数据，这有助于解决医学图像分析中数据隐私的关注。但是，通过现有方法对客户的标签一致性的要求很大程度上缩小了其应用程序范围。实际上，每个临床部位只能以部分或没有与其他站点重叠的某些感兴趣的器官注释某些感兴趣的器官。将这种部分标记的数据纳入统一联邦是一个未开发的问题，具有临床意义和紧迫性。这项工作通过使用新型联合多重编码U-NET（FED-MENU）方法来应对挑战，以进行多器官分割。在我们的方法中，提出了一个多编码的U-NET（菜单网络），以通过不同的编码子网络提取器官特异性功能。每个子网络都可以看作是特定风琴的专家，并为该客户培训。此外，为了鼓励不同子网络提取的特定器官特定功能具有信息性和独特性，我们通过设计辅助通用解码器（AGD）来规范菜单网络的训练。四个公共数据集上的广泛实验表明，我们的Fed-Menu方法可以使用具有优越性能的部分标记的数据集有效地获得联合学习模型，而不是由局部或集中学习方法培训的其他模型。源代码将在纸质出版时公开提供。

联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

联合学习（FL）有助于多个客户共同培训机器学习模型，而无需共享其私人数据。但是，客户的非IID数据给FL带来了艰巨的挑战。现有的个性化方法在很大程度上依赖于将一个完整模型作为基本单元的默认处理方法，而忽略了不同层对客户非IID数据的重要性。在这项工作中，我们提出了一个新的框架，联合模型组成部分自我注意力（FEDMCSA），以处理FL中的非IID数据，该数据采用模型组件自我注意机制来颗粒片促进不同客户之间的合作。这种机制促进了相似模型组件之间的合作，同时减少了差异很大的模型组件之间的干扰。我们进行了广泛的实验，以证明FEDMCSA在四个基准数据集上的表现优于先前的方法。此外，我们从经验上展示了模型组成部分自我发项机制的有效性，该机制与现有的个性化FL互补，可以显着提高FL的性能。

联合学习（FL）可以在不共享参与网站的数据的情况下协作学习深层学习模型。在医学图像分析中的FL相对较新，可开放增强功能。在这项研究中，我们提出了一种新的联邦学习方法，用于培训更广泛的模型。所提出的方法利用了客户选择中的随机性，也利用了联合平均过程。我们将FedDropOutvg与FL情景中的几种算法进行比较，用于现实世界多站点组织病理学图像分类任务。我们展示了通过FEDDROPOUDAVG，最终模型可以比其他FL方法更好地实现性能，并且更接近经典的深度学习模型，需要为集中培训共享所有数据。我们在大型数据集上测试训练有素的模型，由21个不同中心组成的120万像素瓷砖。为了评估所提出的方法的泛化能力，我们使用来自FL中的中心的中心的RET-OUT测试集，并且来自其他独立中心的看不见的数据，其数据未在联邦培训中使用。我们表明，拟议的方法比其他最先进的联邦培训方法更广泛。据我们所知，我们的是第一个在医学图像分析任务的联合设置中使用随机客户端和本地模型参数选择过程的研究。

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

个性化联合学习（FL）是佛罗里达州的一个新兴研究领域，在客户之间存在数据异质性的情况下，可以学习一个易于适应的全球模型。但是，个性化FL的主要挑战之一是，由于客户数据与服务器隔离以确保隐私，因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题，我们专注于服务器可以独立于客户数据独立于客户数据的问题设置，这是各种应用程序中普遍的问题设置，但在现有文献中相对尚未探索。具体而言，我们提出了FedSim，这是一种针对个性化FL的新方法，该方法积极利用此类服务​​器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上，我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法，通过计算服务器中的完整元梯度，在计算上更有效，并且收敛速度高达34.2％。