Fairness and robustness are two important concerns for federated learning systems. In this work, we identify that robustness to data and model poisoning attacks and fairness, measured as the uniformity of performance across devices, are competing constraints in statistically heterogeneous networks. To address these constraints, we propose employing a simple, general framework for personalized federated learning, Ditto, that can inherently provide fairness and robustness benefits, and develop a scalable solver for it. Theoretically, we analyze the ability of Ditto to achieve fairness and robustness simultaneously on a class of linear problems. Empirically, across a suite of federated datasets, we show that Ditto not only achieves competitive performance relative to recent personalization methods, but also enables more accurate, robust, and fair models relative to state-of-the-art fair or robust baselines.

Federated Learning is a distributed learning paradigm with two key challenges that differentiate it from traditional distributed optimization: (1) significant variability in terms of the systems characteristics on each device in the network (systems heterogeneity), and (2) non-identically distributed data across the network (statistical heterogeneity). In this work, we introduce a framework, FedProx, to tackle heterogeneity in federated networks. FedProx can be viewed as a generalization and re-parametrization of FedAvg, the current state-of-the-art method for federated learning. While this re-parameterization makes only minor modifications to the method itself, these modifications have important ramifications both in theory and in practice. Theoretically, we provide convergence guarantees for our framework when learning over data from non-identical distributions (statistical heterogeneity), and while adhering to device-level systems constraints by allowing each participating device to perform a variable amount of work (systems heterogeneity). Practically, we demonstrate that FedProx allows for more robust convergence than FedAvg across a suite of realistic federated datasets. In particular, in highly heterogeneous settings, FedProx demonstrates significantly more stable and accurate convergence behavior relative to FedAvg-improving absolute test accuracy by 22% on average.

在联邦学习中，对受保护群体的公平预测是许多应用程序的重要限制。不幸的是，先前研究集团联邦学习的工作往往缺乏正式的融合或公平保证。在这项工作中，我们为可证明的公平联合学习提供了一个一般框架。特别是，我们探索并扩展了有限的群体损失的概念，作为理论上的群体公平方法。使用此设置，我们提出了一种可扩展的联合优化方法，该方法在许多群体公平限制下优化了经验风险。我们为该方法提供收敛保证，并为最终解决方案提供公平保证。从经验上讲，我们评估了公平ML和联合学习的共同基准的方法，表明它可以比基线方法提供更公平，更准确的预测。

虽然差异隐私的应用（DP）在联合学习（FL）方面进行了充分研究，但考虑到跨索洛FL的DP缺乏工作，该设置的特征是有限数量的客户，每个客户都包含许多人数据主体。在跨索洛fl中，由于现实世界中的隐私法规，通常涉及核心数据主体，而不是孤岛本身，因此客户级隐私的通常概念不太适合。在这项工作中，我们相反，考虑了更现实的孤岛特定项目级隐私的概念，其中筒仓为当地示例设定了自己的隐私目标。在这种情况下，我们重新考虑了个性化在联合学习中的作用。特别是，我们表明，均值进行的多任务学习（MR-MTL）是一个简单的个性化框架，是跨索洛FL的强大基准：在更强的隐私下，孤岛进一步激励彼此“联合”以互相“联合”减轻DP噪声，相对于标准基线方法，导致一致的改进。我们为竞争方法以及MR-MTL的理论表征提供了一项彻底的经验研究，以实现平均估计问题，从而突出了隐私与跨核数据异质性之间的相互作用。我们的工作旨在为私人跨索洛FL建立基准，并确定该领域未来工作的关键方向。

联邦学习本质上很容易模拟中毒攻击，因为其分散性质允许攻击者参与受损的设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低目标子任务（例如，作为鸟类的分类平面）模型的性能。在本报告中，我们介绍\ algoname {}，这是一种使用全局Top-K更新稀疏和设备级渐变剪辑来减轻模型中毒攻击的新型防御。我们提出了一个理论框架，用于分析防御抗毒攻击的稳健性，并提供我们算法的鲁棒性和收敛性分析。为了验证其经验效率，我们在跨多个基准数据集中进行开放源评估，用于计算机愿景和联合学习。

联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中，从而提供了沟通效率和隐私的培训过程。但是，将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值，系统错误标签甚至对手的数据损坏。此外，由于对用户数据隐私的关注，服务提供商通常会禁止使用数据样本的质量。在本文中，我们通过提出自动加权的强大联合学习（ARFL）来应对这一挑战，这是一种新颖的方法，可以共同学习全球模型和本地更新的权重，以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习，这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较，可以分配权重，因此我们可以减少损失较高的客户，从而降低对全球模型的贡献。我们表明，当损坏的客户的数据与良性不同时，这种方法可以实现鲁棒性。为了优化目标函数，我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型，在包括CIFAR-10，女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明，我们的解决方案在不同的情况下具有鲁棒性，包括标签改组，标签翻转和嘈杂的功能，并且在大多数情况下都优于最先进的方法。

从经验上证明，在跨客户聚集之前应用多个本地更新的实践是克服联合学习（FL）中的通信瓶颈的成功方法。在这项工作中，我们提出了一种通用食谱，即FedShuffle，可以更好地利用FL中的本地更新，尤其是在异质性方面。与许多先前的作品不同，FedShuffle在每个设备的更新数量上没有任何统一性。我们的FedShuffle食谱包括四种简单的功能成分：1）数据的本地改组，2）调整本地学习率，3）更新加权，4）减少动量方差（Cutkosky and Orabona，2019年）。我们对FedShuffle进行了全面的理论分析，并表明从理论和经验上讲，我们的方法都不遭受FL方法中存在的目标功能不匹配的障碍，这些方法假设在异质FL设置中，例如FedAvg（McMahan等人，McMahan等， 2017）。此外，通过将上面的成分结合起来，FedShuffle在Fednova上改善（Wang等，2020），以前提议解决此不匹配。我们还表明，在Hessian相似性假设下，通过降低动量方差的FedShuffle可以改善非本地方法。最后，通过对合成和现实世界数据集的实验，我们说明了FedShuffle中使用的四种成分中的每种如何有助于改善FL中局部更新的使用。

自适应优化方法已成为许多机器学习任务的默认求解器。不幸的是，适应性的好处可能会在具有不同隐私的训练时降低，因为噪声增加了，以确保隐私会降低自适应预处理的有效性。为此，我们提出了ADADP，这是一个使用非敏感的侧面信息来预处梯度的一般框架，从而可以在私有设置中有效使用自适应方法。我们正式显示ADADPS减少了获得类似隐私保证所需的噪声量，从而提高了优化性能。从经验上讲，我们利用简单且随时可用的侧面信息来探索实践中ADADP的性能，与集中式和联合设置中的强大基线相比。我们的结果表明，ADADP平均提高了准确性7.7％（绝对） - 在大规模文本和图像基准上产生最先进的隐私性权衡权衡。

大规模的机器学习系统通常涉及分布在用户集合中的数据。联合学习算法通过将模型更新传达给中央服务器而不是整个数据集来利用此结构。在本文中，我们研究了一个个性化联合学习设置的随机优化算法，涉及符合用户级别（联合）差异隐私的本地和全球模型。在学习私人全球模型的同时，促进了隐私成本，但本地学习是完全私人的。我们提供概括保证，表明与私人集中学习协调本地学习可以产生一种普遍有用和改进的精度和隐私之间的权衡。我们通过有关合成和现实世界数据集的实验来说明我们的理论结果。

在本文中，我们建议在分散的设置中解决一个正规化的分布鲁棒性学习问题，并考虑到数据分配的变化。通过将Kullback-Liebler正则化功能添加到可靠的Min-Max优化问题中，可以将学习问题降低到修改的可靠最小化问题并有效地解决。利用新配制的优化问题，我们提出了一个强大的版本的分散的随机梯度下降（DSGD），分布在分布方面具有强大的分散性随机梯度下降（DR-DSGD）。在一些温和的假设下，前提是正则化参数大于一个，我们从理论上证明DR-DSGD达到了$ \ MATHCAL {O} \ left的收敛速率$，其中$ k $是设备的数量，而$ t $是迭代次数。仿真结果表明，我们提出的算法可以提高最差的分配测试精度，最高$ 10 \％$。此外，DR-DSGD比DSGD更有效，因为它需要更少的沟通回合（最高$ 20 $ $倍）才能达到相同的最差分配测试准确性目标。此外，进行的实验表明，在测试准确性方面，DR-DSGD会导致整个设备的性能更公平。

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

在联合学习（FL）中，通过跨设备的模型更新进行合作学习全球模型的目的倾向于通过本地信息反对个性化的目标。在这项工作中，我们通过基于多准则优化的框架以定量的方式校准了这一权衡，我们将其作为一个受约束的程序进行了：设备的目标是其本地目标，它试图最大程度地减少在满足非线性约束的同时，以使其满足非线性约束，这些目标是其本地目标。量化本地模型和全局模型之间的接近度。通过考虑该问题的拉格朗日放松，我们开发了一种算法，该算法允许每个节点通过查询到一阶梯度Oracle将其Lagrangian的本地组件最小化。然后，服务器执行Lagrange乘法器上升步骤，然后进行Lagrange乘法器加权步骤。我们称这种实例化的原始偶对方法是联合学习超出共识（$ \ texttt {fedBc} $）的实例。从理论上讲，我们确定$ \ texttt {fedBc} $以与最算好状态相匹配的速率收敛到一阶固定点，直到额外的错误项，取决于由于接近性约束而产生的公差参数。总体而言，该分析是针对非凸鞍点问题的原始偶对偶的方法的新颖表征。最后，我们证明了$ \ texttt {fedBc} $平衡了整个数据集（合成，MNIST，CIFAR-10，莎士比亚）的全球和本地模型测试精度指标，从而与艺术现状达到了竞争性能。

This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a novel clustered FL framework, which applies a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify clusters without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we develop a novel clustered FL method called FPFC. Advancing from the standard ADMM, our method is implemented in parallel, updates only a subset of devices at each communication round, and allows each participating device to perform a variable amount of work. This greatly reduces the communication cost while simultaneously preserving privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning under FL settings and consider the asynchronous variant of FPFC (asyncFPFC). Theoretically, we provide convergence guarantees of FPFC for general nonconvex losses and establish the statistical convergence rate under a linear model with squared loss. Our extensive experiments demonstrate the advantages of FPFC over existing methods.

标准联合优化方法成功地适用于单层结构的随机问题。然而，许多当代的ML问题 - 包括对抗性鲁棒性，超参数调整和参与者 - 批判性 - 属于嵌套的双层编程，这些编程包含微型型和组成优化。在这项工作中，我们提出了\ fedblo：一种联合交替的随机梯度方法来解决一般的嵌套问题。我们在存在异质数据的情况下为\ fedblo建立了可证明的收敛速率，并引入了二聚体，最小值和组成优化的变化。\ fedblo引入了多种创新，包括联邦高级计算和降低方差，以解决内部级别的异质性。我们通过有关超参数\＆超代理学习和最小值优化的实验来补充我们的理论，以证明我们方法在实践中的好处。代码可在https://github.com/ucr-optml/fednest上找到。

Federated learning poses new statistical and systems challenges in training machine learning models over distributed networks of devices. In this work, we show that multi-task learning is naturally suited to handle the statistical challenges of this setting, and propose a novel systems-aware optimization method, MOCHA, that is robust to practical systems issues. Our method and theory for the first time consider issues of high communication cost, stragglers, and fault tolerance for distributed multi-task learning. The resulting method achieves significant speedups compared to alternatives in the federated setting, as we demonstrate through simulations on real-world federated datasets. IntroductionMobile phones, wearable devices, and smart homes are just a few of the modern distributed networks generating massive amounts of data each day. Due to the growing storage and computational power of devices in these networks, it is increasingly attractive to store data locally and push more network computation to the edge. The nascent field of federated learning explores training statistical models directly on devices [37]. Examples of potential applications include: learning sentiment, semantic location, or activities of mobile phone users; predicting health events like low blood sugar or heart attack risk from wearable devices; or detecting burglaries within smart homes [3,39,42]. Following [25,36,26], we summarize the unique challenges of federated learning below.1. Statistical Challenges: The aim in federated learning is to fit a model to data, {X 1 , . . . , X m }, generated by m distributed nodes. Each node, t ∈ [m], collects data in a non-IID manner across the network, with data on each node being generated by a distinct distribution X t ∼ P t . The number of data points on each node, n t , may also vary significantly, and there may be an underlying structure present that captures the relationship amongst nodes and their associated distributions. Systems Challenges:There are typically a large number of nodes, m, in the network, and communication is often a significant bottleneck. Additionally, the storage, computational, and communication capacities of each node may differ due to variability in hardware (CPU, memory), network connection (3G, 4G, WiFi), and power (battery level). These systems challenges, compounded with unbalanced data and statistical heterogeneity, make issues such as stragglers and fault tolerance significantly more prevalent than in typical data center environments.In this work, we propose a modeling approach that differs significantly from prior work on federated learning, where the aim thus far has been to train a single global model across the network [25,36,26]. Instead, we address statistical challenges in the federated setting by learning separate models for each node, {w 1 , . . . , w m }. This can be naturally captured through a multi-task learning (MTL) framework, where the goal is to consider fitting separate but relate

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。

我们提供了一类用于强大的个性化联合学习的方法，称为FED+，该方法统一了许多联合学习算法。这类方法的主要优势是更好地适应联邦培训中发现的现实世界特征，例如各方缺乏IID数据，对异常值或散乱者的鲁棒性的需求以及在党派上表现良好的要求 - 特定数据集。我们通过问题公式实现这一目标，该问题使中央服务器能够采用可靠的方式来汇总本地模型，同时保持本地计算的结构完整。在各方跨各方的局部数据的异质性程度的情况下，我们为FED+提供了在不同（鲁棒）聚合方法下的convex和非凸损失函数的收敛保证。美联储+理论还可以处理包括散乱者在内的异质计算环境，没有其他假设；具体而言，融合结果涵盖了一般设置，在该设置中，各方跨各方的本地更新步骤的数量可能会有所不同。我们通过在标准基准数据集的广泛实验中证明了FED+的好处。

客户端之间的非独立和相同分布（非IID）数据分布被视为降低联合学习（FL）性能的关键因素。处理非IID数据（如个性化FL和联邦多任务学习（FMTL）的几种方法对研究社区有很大兴趣。在这项工作中，首先，我们使用Laplacian正规化制定FMTL问题，明确地利用客户模型之间的关系进行多任务学习。然后，我们介绍了FMTL问题的新视图，首次表明配制的FMTL问题可用于传统的FL和个性化FL。我们还提出了两种算法FEDU和DFEDU，分别解决了通信集中和分散方案中的配制FMTL问题。从理论上讲，我们证明了两种算法的收敛速率实现了用于非凸起目标的强大凸起和载位加速的线性加速。实验，我们表明我们的算法优于FL设置的传统算法FedVG，在FMTL设置中的Mocha，以及个性化流程中的PFEDME和PER-FEDAVG。

联合学习（FL）允许相互不信任的客户可以协作培训通用的机器学习模型，而无需共享其私人/专有培训数据。不幸的是，FL很容易受到恶意客户的中毒，他们旨在通过在FL培训过程中发送恶意模型更新来阻碍常见训练的模型的准确性。我们认为，对现有FL系统的中毒攻击成功的关键因素是客户可用的模型更新空间，使恶意客户可以通过解决优化问题来搜索最有毒的模型更新。为了解决这个问题，我们提出了联合排名学习（FRL）。 FRL将标准FL中的模型参数更新（浮点数连续空间）从模型参数更新（一个连续的空间）缩小到参数排名的空间（整数值的离散空间）。为了能够使用参数等级（而不是参数权重）训练全球模型，FRL利用了最近的SuperMasks培训机制的想法。具体而言，FRL客户端根据其本地培训数据对随机初始化的神经网络（由服务器提供）的参数进行排名。 FRL Server使用投票机制来汇总客户在每个培训时期提交的参数排名，以生成下一个培训时期的全球排名。从直觉上讲，我们基于投票的聚合机制阻止中毒客户对全球模型进行重大的对抗性修改，因为每个客户都会进行一次投票！我们通过分析证明和实验证明了FRL对中毒的鲁棒性。我们还显示了FRL的高沟通效率。我们的实验证明了FRL在现实世界中的优势。

联合学习（FL）是一项广泛采用的分布式学习范例，在实践中，打算在利用所有参与者的整个数据集进行培训的同时保护用户的数据隐私。在FL中，多种型号在用户身上独立培训，集中聚合以在迭代过程中更新全局模型。虽然这种方法在保护隐私方面是优异的，但FL仍然遭受攻击或拜占庭故障等质量问题。最近的一些尝试已经解决了对FL的强大聚集技术的这种质量挑战。然而，最先进的（SOTA）强大的技术的有效性尚不清楚并缺乏全面的研究。因此，为了更好地了解这些SOTA流域的当前质量状态和挑战在存在攻击和故障的情况下，我们进行了大规模的实证研究，以研究SOTA FL的质量，从多个攻击角度，模拟故障（通过突变运算符）和聚合（防御）方法。特别是，我们对两个通用图像数据集和一个现实世界联邦医学图像数据集进行了研究。我们还系统地调查了攻击用户和独立和相同分布的（IID）因子，每个数据集的攻击/故障的分布对鲁棒性结果的影响。经过496个配置进行大规模分析后，我们发现每个用户的大多数突变者对最终模型具有可忽略不计的影响。此外，选择最强大的FL聚合器取决于攻击和数据集。最后，我们说明了可以实现几乎在所有攻击和配置上的任何单个聚合器以及具有简单集合模型的所有攻击和配置的常用解决方案的通用解决方案。