联合学习的一个区别特征是（本地）客户数据可能具有统计异质性。这种异质性激发了个性化学习的设计，该学习是通过协作培训个人（个性化）模型的。文献中提出了各种个性化方法，似乎截然不同的形式和方法，从将单个全球模型用于本地正规化和模型插值，再到将多个全球模型用于个性化聚类等。在这项工作中，我们开始使用生成框架，可以统一几种不同的算法并暗示新算法。我们将生成框架应用于个性化的估计，并将其连接到经典的经验贝叶斯方法。我们在此框架下制定私人个性化估计。然后，我们将生成框架用于学习，该框架统一了几种已知的个性化FL算法，并提出了新算法。我们建议并研究一种基于知识蒸馏的新算法，该算法的数值优于几种已知算法。我们还为个性化学习方法开发隐私，并保证用户级的隐私和组成。我们通过数值评估估计和学习问题的性能以及隐私，证明了我们提出的方法的优势。

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

传统上，联邦学习（FL）旨在培训单个全球模型，同时使用多个客户和服务器进行协作。 FL算法面临的两个自然挑战是跨客户的数据中的异质性以及{\ em多样性资源}客户的协作。在这项工作中，我们介绍了\ textit {量化}和\ textit {个性化} fl算法quped，通过\ textit {knowledge蒸馏}（kd）促进集体（个性化模型压缩）培训，这些客户可以访问异物质数据和资源的客户。对于个性化，我们允许客户学习\ textit {压缩个性化模型}，具有不同的量化参数和模型维度/结构。为此，首先，我们提出了一种通过放松的优化问题来学习量化模型的算法，在该问题上也优化了量化值。当每个参与（联合）学习过程的客户对压缩模型（无论是模型维度还是精度）都有不同的要求时，我们通过为当地客户目标引入知识蒸馏损失来制定一个压缩个性化框架，该框架通过全球模型进行协作。我们开发了一个交替的近端梯度更新，以解决此压缩个性化问题，并分析其收敛属性。从数值上讲，我们验证了在各种异质环境中对客户的竞争性个性化方法，FedAvg和本地培训的验证。

This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a novel clustered FL framework, which applies a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify clusters without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we develop a novel clustered FL method called FPFC. Advancing from the standard ADMM, our method is implemented in parallel, updates only a subset of devices at each communication round, and allows each participating device to perform a variable amount of work. This greatly reduces the communication cost while simultaneously preserving privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning under FL settings and consider the asynchronous variant of FPFC (asyncFPFC). Theoretically, we provide convergence guarantees of FPFC for general nonconvex losses and establish the statistical convergence rate under a linear model with squared loss. Our extensive experiments demonstrate the advantages of FPFC over existing methods.

本文研究了客户表现出集群结构时联合学习下模型培训的问题。我们将这个问题与混合回归中的情况相关化，在混合回归中，每个客户端的本地数据限制了从$ k $未知回归模型之一生成的本地数据。我们设计了一种从任何初始化中实现全局收敛的算法，即使本地数据量高度不平衡，也可能存在包含$ o（1）$数据点的客户端。我们的算法首先在一些锚点客户端（每个都有$ \ tilde {\ omega}（k）$数据点）上运行MONM下降，以获取粗制的模型估计。然后，每个客户端交替估计其群集标签，并根据FedAvg或FedProx来完善模型估计。我们分析中的一个关键创新是对聚类误差的统一估计，我们通过基于代数几何理论来界定一般多项式概念类别的VC维度。

The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that our approach provides models with higher accuracy and fairness than state-of-the-art methods.

联合学习（FL）是一种在不获取客户私有数据的情况下培训全球模型的协同机器学习技术。 FL的主要挑战是客户之间的统计多样性，客户设备之间的计算能力有限，以及服务器和客户之间的过度沟通开销。为解决这些挑战，我们提出了一种通过最大化FEDMAC的相关性稀疏个性化联合学习计划。通过将近似的L1-norm和客户端模型与全局模型之间的相关性结合到标准流失函数中，提高了统计分集数据的性能，并且与非稀疏FL相比，网络所需的通信和计算负载减少。收敛分析表明，FEDMAC中的稀疏约束不会影响全球模型的收敛速度，理论结果表明，FEDMAC可以实现良好的稀疏个性化，这比基于L2-NOM的个性化方法更好。实验，我们展示了与最先进的个性化方法相比的这种稀疏个性化建筑的益处（例如，FEDMAC分别达到98.95％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，高精度，FMNIST，CIFAR-100和非IID变体下的合成数据集）。

隐私和沟通效率是联邦神经网络培训中的重要挑战，并将它们组合仍然是一个公开的问题。在这项工作中，我们开发了一种统一高度压缩通信和差异隐私（DP）的方法。我们引入基于相对熵编码（REC）到联合设置的压缩技术。通过对REC进行微小的修改，我们获得了一种可怕的私立学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。

大规模的机器学习系统通常涉及分布在用户集合中的数据。联合学习算法通过将模型更新传达给中央服务器而不是整个数据集来利用此结构。在本文中，我们研究了一个个性化联合学习设置的随机优化算法，涉及符合用户级别（联合）差异隐私的本地和全球模型。在学习私人全球模型的同时，促进了隐私成本，但本地学习是完全私人的。我们提供概括保证，表明与私人集中学习协调本地学习可以产生一种普遍有用和改进的精度和隐私之间的权衡。我们通过有关合成和现实世界数据集的实验来说明我们的理论结果。

联邦学习（FL）是大规模分布式学习的范例，它面临两个关键挑战：（i）从高度异构的用户数据和（ii）保护参与用户的隐私的高效培训。在这项工作中，我们提出了一种新颖的流动方法（DP-SCaffold）来通过将差异隐私（DP）约束结合到流行的脚手架算法中来解决这两个挑战。我们专注于有挑战性的环境，用户在没有任何可信中介的情况下与“诚实但奇怪的”服务器沟通，这需要确保隐私不仅可以访问最终模型的第三方，而且还要对服务器观察所有用户通信。使用DP理论的高级结果，我们建立了凸面和非凸面目标算法的融合。我们的分析清楚地突出了数据异质性下的隐私式折衷，并且当局部更新的数量和异质性水平增长时，展示了在最先进的算法DP-Fedivg上的DP-Scaffold的优越性。我们的数值结果证实了我们的分析，并表明DP-Scaffold在实践中提供了重大的收益。

虽然差异隐私的应用（DP）在联合学习（FL）方面进行了充分研究，但考虑到跨索洛FL的DP缺乏工作，该设置的特征是有限数量的客户，每个客户都包含许多人数据主体。在跨索洛fl中，由于现实世界中的隐私法规，通常涉及核心数据主体，而不是孤岛本身，因此客户级隐私的通常概念不太适合。在这项工作中，我们相反，考虑了更现实的孤岛特定项目级隐私的概念，其中筒仓为当地示例设定了自己的隐私目标。在这种情况下，我们重新考虑了个性化在联合学习中的作用。特别是，我们表明，均值进行的多任务学习（MR-MTL）是一个简单的个性化框架，是跨索洛FL的强大基准：在更强的隐私下，孤岛进一步激励彼此“联合”以互相“联合”减轻DP噪声，相对于标准基线方法，导致一致的改进。我们为竞争方法以及MR-MTL的理论表征提供了一项彻底的经验研究，以实现平均估计问题，从而突出了隐私与跨核数据异质性之间的相互作用。我们的工作旨在为私人跨索洛FL建立基准，并确定该领域未来工作的关键方向。

跨核心联合学习（FL）已成为医疗保健机器学习应用程序中有前途的工具。它允许医院/机构在数据私有时使用足够的数据培训模型。为了确保FL模型在FL客户之间面对异质数据时，大多数努力都集中在为客户个性化模型上。但是，客户数据之间的潜在关系被忽略了。在这项工作中，我们专注于一个特殊的非IID FL问题，称为域混合FL，其中每个客户的数据分布都被认为是几个预定域的混合物。认识到域的多样性和域内的相似性，我们提出了一种新颖的方法Feddar，该方法以脱钩的方式学习了域共享表示形式和域名个性化的预测头。对于简化的线性回归设置，我们从理论上证明了Feddar具有线性收敛速率。对于一般环境，我们对合成和现实世界医学数据集进行了深入的经验研究，这些研究表明了其优越性比先前的FL方法。

联合数据分析是一个用于分布式数据分析的框架，其中服务器从一组分布式的低型带宽用户设备中编译了嘈杂的响应，以估算总统计信息。该框架中的两个主要挑战是隐私，因为用户数据通常很敏感，并且压缩，因为用户设备的网络带宽较低。先前的工作通过将标准压缩算法与已知的隐私机制相结合，从而分别解决了这些挑战。在这项工作中，我们对问题进行了整体研究，并设计了一个适合任何给定沟通预算的隐私感知压缩机制。我们首先提出了一种在某些条件下传输具有最佳方差的单个实数的机制。然后，我们展示如何将其扩展到位置隐私用例以及向量的指标差异隐私，以应用于联合学习。我们的实验表明，在许多设置中，我们的机制可以导致更好的实用性与压缩权衡。

在本文中，我们仅使用部分分布式反馈来研究全球奖励最大化的问题。这个问题是由几个现实世界应用程序（例如蜂窝网络配置，动态定价和政策选择）激发的，其中中央实体采取的行动会影响有助于全球奖励的大量人群。但是，从整个人群那里收集此类奖励反馈不仅会产生高昂的成本，而且经常导致隐私问题。为了解决此问题，我们考虑了差异的私有分布式线性土匪，其中只选择了来自人群的一部分用户（称为客户）来参与学习过程，并且中央服务器通过迭代地汇总这些部分从这种部分反馈中学习了全局模型客户的本地反馈以差异化的方式。然后，我们提出了一个统一的算法学习框架，称为差异性分布式分布式消除（DP-DPE），该框架可以与流行的差异隐私（DP）模型（包括中央DP，Local DP，Local DP和Shuffle DP）自然集成。此外，我们证明DP-DPE既可以达到统一的遗憾，又实现了额定性沟通成本。有趣的是，DP-DPE也可以“免费”获得隐私保护，这是因为由于隐私保证是一个较低的加法术语。此外，作为我们技术的副产品，对于标准的差异私有线性匪徒，也可以实现“自由”隐私的相同结果。最后，我们进行模拟以证实我们的理论结果并证明DP-DPE的有效性。

我们研究了在通信约束下的分布式平均值估计和优化问题。我们提出了一个相关的量化协议，该协议的误差保证中的主项取决于数据点的平均偏差，而不仅仅是它们的绝对范围。该设计不需要关于数据集的集中属性的任何先验知识，这是在以前的工作中获得这种依赖所必需的。我们表明，在分布式优化算法中应用提出的协议作为子规则会导致更好的收敛速率。我们还在轻度假设下证明了我们的方案的最佳性。实验结果表明，我们提出的算法在各种任务方面优于现有的平均估计协议。

联合学习是一种协作机器学习，参与客户在本地处理他们的数据，仅与协作模型共享更新。这使得能够建立隐私意识的分布式机器学习模型等。目的是通过最大程度地减少一组客户本地存储的数据集的成本函数来优化统计模型的参数。这个过程使客户遇到了两个问题：私人信息的泄漏和模型的个性化缺乏。另一方面，随着分析数据的最新进步，人们对侵犯参与客户的隐私行为的关注激增。为了减轻这种情况，差异隐私及其变体是提供正式隐私保证的标准。客户通常代表非常异构的社区，并拥有非常多样化的数据。因此，与FL社区的最新重点保持一致，以为代表其多样性的用户建立个性化模型框架，这对于防止潜在威胁免受客户的敏感和个人信息而言也是至关重要的。 $ d $ - 私人是对地理位置可区分性的概括，即最近普及的位置隐私范式，它使用了一种基于公制的混淆技术，可保留原始数据的空间分布。为了解决保护客户隐私并允许个性化模型培训以增强系统的公平性和实用性的问题，我们提出了一种提供团体隐私性的方法在FL的框架下。我们为对现实世界数据集的适用性和实验验证提供了理论上的理由，以说明该方法的工作。

由于客户之间缺乏数据和统计多样性，联合学习从模型过度适应的巨大挑战面临巨大的挑战。为了应对这些挑战，本文提出了一种新型的个性化联合学习方法，该方法通过贝叶斯变异推断为pfedbayes。为了减轻过度拟合，将重量不确定性引入了客户和服务器的神经网络。为了实现个性化，每个客户端通过平衡私有数据的构建错误以及其KL Divergence与服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上限，并说明了概括误差的收敛速率是最小到对数因子的最佳选择。实验表明，所提出的方法在个性化模型上的表现优于其他高级个性化方法，例如Pfedbayes在MNIST，FMNIST和NON-I.I.I.D下，Pfedbayes的表现分别超过其他SOTA算法的其他SOTA算法的表现为1.25％，0.42％和11.71％。有限的数据。

为了在带宽洪泛环境（例如无线网络）中启用大规模的机器学习，最近在设计借助通信压缩的帮助下，最近在设计沟通效率的联合学习算法方面取得了重大进展。另一方面，隐私保护，尤其是在客户层面上，是另一个重要的避税，在存在高级通信压缩技术的情况下尚未同时解决。在本文中，我们提出了一个统一的框架，以通过沟通压缩提高私人联邦学习的沟通效率。利用通用压缩操作员和局部差异隐私，我们首先检查了一种简单的算法，该算法将压缩直接应用于差异私密的随机梯度下降，并确定其局限性。然后，我们为私人联合学习提出了一个统一的框架Soteriafl，该框架适应了一般的局部梯度估计剂家庭，包括流行的随机方差减少梯度方法和最先进的变化压缩方案。我们在隐私，公用事业和沟通复杂性方面提供了其性能权衡的全面表征，在这种情况下，Soterafl被证明可以在不牺牲隐私或实用性的情况下实现更好的沟通复杂性，而不是其他私人联合联盟学习算法而没有沟通压缩。

作为一个普遍的分布式学习范式，联邦学习（FL）训练了大量通信的大量设备的全球模型。本文研究了FL设置中的一类复合优化和统计恢复问题，其损失函数由数据依赖的平滑损耗和非平滑正常器组成。示例包括使用套索的稀疏线性回归，使用核标准正则化等等的低级矩阵恢复等。在现有文献中，联合复合优化算法仅从优化的角度设计，而无需任何统计保证。此外，他们不考虑在统计恢复问题中常用（受限）强凸度。从优化和统计角度来看，我们都会推进此问题的前沿。从优化的前期，我们提出了一种名为\ textit {快速联合双平均}的新算法，用于强烈凸出和平滑损失，并在复合设置中建立最新的迭代和通信复杂性。特别是，我们证明它具有快速的速度，线性加速和减少的沟通回合。从统计前期开始，对于受限制的强烈凸出和平滑损失，我们设计了另一种算法，即\ textIt {多阶段联合双重平均}，并证明了与线性加速绑定到最佳统计精度的高概率复杂性。合成数据和真实数据的实验表明，我们的方法的性能优于其他基线。据我们所知，这是为FL中复合问题提供快速优化算法和统计恢复保证的第一项工作。

从经验上证明，在跨客户聚集之前应用多个本地更新的实践是克服联合学习（FL）中的通信瓶颈的成功方法。在这项工作中，我们提出了一种通用食谱，即FedShuffle，可以更好地利用FL中的本地更新，尤其是在异质性方面。与许多先前的作品不同，FedShuffle在每个设备的更新数量上没有任何统一性。我们的FedShuffle食谱包括四种简单的功能成分：1）数据的本地改组，2）调整本地学习率，3）更新加权，4）减少动量方差（Cutkosky and Orabona，2019年）。我们对FedShuffle进行了全面的理论分析，并表明从理论和经验上讲，我们的方法都不遭受FL方法中存在的目标功能不匹配的障碍，这些方法假设在异质FL设置中，例如FedAvg（McMahan等人，McMahan等， 2017）。此外，通过将上面的成分结合起来，FedShuffle在Fednova上改善（Wang等，2020），以前提议解决此不匹配。我们还表明，在Hessian相似性假设下，通过降低动量方差的FedShuffle可以改善非本地方法。最后，通过对合成和现实世界数据集的实验，我们说明了FedShuffle中使用的四种成分中的每种如何有助于改善FL中局部更新的使用。