SGD在分布式和多GPU系统上的实现创建了新的漏洞，可以通过一个或多个对抗代理来识别和滥用这些漏洞。最近，已经显示出众所周知的拜占庭式弹性梯度聚集方案确实容易受到可以定制攻击的知情攻击者的影响（Fang等，2020; Xie等，2020b）。我们介绍了Mixtailor，这是一种基于聚合策略的随机化计划，使攻击者无法充分了解。确定性方案可以直接将其集成到混合式尾勒中，而无需引入任何其他超参数。随机化降低了强大的对手来量身定制其攻击的能力，而随之而来的随机聚合方案在性能方面仍然具有竞争力。对于IID和非IID设置，我们建立了几乎确定的融合保证，这些保证既比文献中可用的融合更强大，更一般。我们在各种数据集，攻击和设置中进行的实证研究验证了我们的假设，并表明当知名的拜占庭耐受性计划失败时，Mixtailor会成功辩护。

联邦学习本质上很容易模拟中毒攻击，因为其分散性质允许攻击者参与受损的设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低目标子任务（例如，作为鸟类的分类平面）模型的性能。在本报告中，我们介绍\ algoname {}，这是一种使用全局Top-K更新稀疏和设备级渐变剪辑来减轻模型中毒攻击的新型防御。我们提出了一个理论框架，用于分析防御抗毒攻击的稳健性，并提供我们算法的鲁棒性和收敛性分析。为了验证其经验效率，我们在跨多个基准数据集中进行开放源评估，用于计算机愿景和联合学习。

许多深度学习领域都受益于使用越来越大的神经网络接受公共数据训练的培训，就像预先训练的NLP和计算机视觉模型一样。培训此类模型需要大量的计算资源（例如，HPC群集），而小型研究小组和独立研究人员则无法使用。解决问题的一种方法是，几个较小的小组将其计算资源汇总在一起并训练一种使所有参与者受益的模型。不幸的是，在这种情况下，任何参与者都可以通过故意或错误地发送错误的更新来危害整个培训。在此类同龄人的情况下进行培训需要具有拜占庭公差的专门分布式培训算法。这些算法通常通过引入冗余通信或通过受信任的服务器传递所有更新来牺牲效率，从而使它们无法应用于大规模深度学习，在该大规模深度学习中，模型可以具有数十亿个参数。在这项工作中，我们提出了一种新的协议，用于强调沟通效率的安全（容忍）分散培训。

在联合学习中，多个客户端设备联合学习机器学习模型：每个客户端设备都为其本地训练数据集维护本地模型，而主设备通过从客户端设备聚合本地模型维护全局模型。该机器学习界最近提出了几种联合学习方法，该方法被声称对某些客户端设备的拜占庭故障（例如，系统故障，对抗性操纵）具有稳健。在这项工作中，我们对局部模型中毒攻击进行了第一个系统研究对联邦学习。我们假设攻击者已损害某些客户端设备，并且攻击者在学习过程中操纵受损客户端设备上的本地模型参数，使得全局模型具有大的测试错误率。我们将我们的攻击制订为优化问题，并将我们的攻击应用于四个最近的拜占庭式联邦学习方法。我们在四个真实数据集中的经验结果表明，我们的攻击可以大大增加由联合学习方法学到的模型的错误率，这些方法被声称对某些客户端设备的拜占庭式失败具有强大的稳健性。我们概括了数据中毒攻击的两个防御，以防御我们当地的模型中毒攻击。我们的评价结果​​表明，在某些情况下，一个防御可以有效地防御我们的攻击，但在其他情况下，防御不足，突出了对我们当地模型中毒攻击对联合学习的新防御的必要性。

Federated learning allows collaborative workers to solve a machine learning problem while preserving data privacy. Recent studies have tackled various challenges in federated learning, but the joint optimization of communication overhead, learning reliability, and deployment efficiency is still an open problem. To this end, we propose a new scheme named federated learning via plurality vote (FedVote). In each communication round of FedVote, workers transmit binary or ternary weights to the server with low communication overhead. The model parameters are aggregated via weighted voting to enhance the resilience against Byzantine attacks. When deployed for inference, the model with binary or ternary weights is resource-friendly to edge devices. We show that our proposed method can reduce quantization error and converges faster compared with the methods directly quantizing the model updates.

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。

为了研究分布式学习的弹性，“拜占庭”文献考虑了一个强大的威胁模型，工人可以在其中向参数服务器报告任意梯度。尽管该模型有助于获得几个基本结果，但当工人大多是值得信赖的机器时，有时被认为是不现实的。在本文中，我们在该模型和数据中毒之间表现出令人惊讶的等效性，这一威胁被认为更现实。更具体地说，我们证明，在任何具有PAC保证的个性化联合学习系统中，每次梯度攻击都可以简化为数据中毒（我们表明这既是理想又是现实的）。这种等效性使得有可能在高度异构应用中对数据中毒的任何“强大”学习算法的韧性获得新的不可能结果，这是拜占庭机器学习的现有不可能定理的推论。此外，使用我们的等效性，我们（从理论和经验上）提出了一种实践攻击，这对经典的个性化联合学习模型非常有效。

Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.

Federated learning (FL) is an emerging machine learning paradigm, in which clients jointly learn a model with the help of a cloud server. A fundamental challenge of FL is that the clients are often heterogeneous, e.g., they have different computing powers, and thus the clients may send model updates to the server with substantially different delays. Asynchronous FL aims to address this challenge by enabling the server to update the model once any client's model update reaches it without waiting for other clients' model updates. However, like synchronous FL, asynchronous FL is also vulnerable to poisoning attacks, in which malicious clients manipulate the model via poisoning their local data and/or model updates sent to the server. Byzantine-robust FL aims to defend against poisoning attacks. In particular, Byzantine-robust FL can learn an accurate model even if some clients are malicious and have Byzantine behaviors. However, most existing studies on Byzantine-robust FL focused on synchronous FL, leaving asynchronous FL largely unexplored. In this work, we bridge this gap by proposing AFLGuard, a Byzantine-robust asynchronous FL method. We show that, both theoretically and empirically, AFLGuard is robust against various existing and adaptive poisoning attacks (both untargeted and targeted). Moreover, AFLGuard outperforms existing Byzantine-robust asynchronous FL methods.

联合学习（FL）允许相互不信任的客户可以协作培训通用的机器学习模型，而无需共享其私人/专有培训数据。不幸的是，FL很容易受到恶意客户的中毒，他们旨在通过在FL培训过程中发送恶意模型更新来阻碍常见训练的模型的准确性。我们认为，对现有FL系统的中毒攻击成功的关键因素是客户可用的模型更新空间，使恶意客户可以通过解决优化问题来搜索最有毒的模型更新。为了解决这个问题，我们提出了联合排名学习（FRL）。 FRL将标准FL中的模型参数更新（浮点数连续空间）从模型参数更新（一个连续的空间）缩小到参数排名的空间（整数值的离散空间）。为了能够使用参数等级（而不是参数权重）训练全球模型，FRL利用了最近的SuperMasks培训机制的想法。具体而言，FRL客户端根据其本地培训数据对随机初始化的神经网络（由服务器提供）的参数进行排名。 FRL Server使用投票机制来汇总客户在每个培训时期提交的参数排名，以生成下一个培训时期的全球排名。从直觉上讲，我们基于投票的聚合机制阻止中毒客户对全球模型进行重大的对抗性修改，因为每个客户都会进行一次投票！我们通过分析证明和实验证明了FRL对中毒的鲁棒性。我们还显示了FRL的高沟通效率。我们的实验证明了FRL在现实世界中的优势。

由于其在广泛的协作学习任务中的成功，联邦学习框架的普及程度越来越多，也引起了有关学习模型的某些安全问题，因为恶意客户可能参与学习过程。因此，目的是消除恶意参与者的影响，并确保最终模型是可信赖的。关于拜占庭攻击的一个常见观察结果是，客户的模型/更新之间的差异越高，隐藏攻击的空间就越多。为此，最近已经表明，通过利用动量，从而减少了方差，可以削弱已知的拜占庭攻击的强度。居中的剪裁框架（ICML 2021）进一步表明，除了降低差异外，从上一个迭代中的动量项可以用作中和拜占庭式攻击并显示出对知名攻击的令人印象深刻的表现。但是，在这项工作的范围内，我们表明居中的剪裁框架具有某些漏洞，并且可以根据这些漏洞来修订现有的攻击，以规避居中的剪裁防御。因此，我们介绍了一种设计攻击的策略，以规避居中的剪裁框架，并通过将测试准确性降低到最佳场景中的5-40，从而在数值上说明了其针对中心剪裁的有效性以及其他已知的防御策略。

Federated learning is a distributed framework according to which a model is trained over a set of devices, while keeping data localized. This framework faces several systemsoriented challenges which include (i) communication bottleneck since a large number of devices upload their local updates to a parameter server, and (ii) scalability as the federated network consists of millions of devices. Due to these systems challenges as well as issues related to statistical heterogeneity of data and privacy concerns, designing a provably efficient federated learning method is of significant importance yet it remains challenging. In this paper, we present FedPAQ, a communication-efficient Federated Learning method with Periodic Averaging and Quantization. FedPAQ relies on three key features: (1) periodic averaging where models are updated locally at devices and only periodically averaged at the server; (2) partial device participation where only a fraction of devices participate in each round of the training; and (3) quantized messagepassing where the edge nodes quantize their updates before uploading to the parameter server. These features address the communications and scalability challenges in federated learning. We also show that FedPAQ achieves near-optimal theoretical guarantees for strongly convex and non-convex loss functions and empirically demonstrate the communication-computation tradeoff provided by our method.

已经提出了安全的多方计算（MPC），以允许多个相互不信任的数据所有者在其合并数据上共同训练机器学习（ML）模型。但是，通过设计，MPC协议忠实地计算了训练功能，对抗性ML社区已证明该功能泄漏了私人信息，并且可以在中毒攻击中篡改。在这项工作中，我们认为在我们的框架中实现的模型合奏是一种称为Safenet的框架，是MPC的高度无限方法，可以避免许多对抗性ML攻击。 MPC培训中所有者之间数据的自然分区允许这种方法在训练时间高度可扩展，可证明可保护免受中毒攻击的保护，并证明可以防御许多隐私攻击。我们展示了Safenet对在端到端和转移学习方案训练的几个机器学习数据集和模型上中毒的效率，准确性和韧性。例如，Safenet可显着降低后门攻击的成功，同时获得$ 39 \ times $ $的培训，$ 36 \ times $ $ $少于达尔斯科夫（Dalskov）等人的四方MPC框架。我们的实验表明，即使在许多非IID设置中，结合也能保留这些好处。结合的简单性，廉价的设置和鲁棒性属性使其成为MPC私下培训ML模型的强大首选。

Fairness and robustness are two important concerns for federated learning systems. In this work, we identify that robustness to data and model poisoning attacks and fairness, measured as the uniformity of performance across devices, are competing constraints in statistically heterogeneous networks. To address these constraints, we propose employing a simple, general framework for personalized federated learning, Ditto, that can inherently provide fairness and robustness benefits, and develop a scalable solver for it. Theoretically, we analyze the ability of Ditto to achieve fairness and robustness simultaneously on a class of linear problems. Empirically, across a suite of federated datasets, we show that Ditto not only achieves competitive performance relative to recent personalization methods, but also enables more accurate, robust, and fair models relative to state-of-the-art fair or robust baselines.

分散的SGD（D-SGD）跨多个计算机（又称{\ em Nodes}）分发了繁重的学习任务，将每个节点的工作负载除以系统的大小。但是，少数\ emph {byzantine}（即，行为不当）节点会危及整个学习过程。当系统为\ emph {异步}时，此漏洞将进一步扩大。尽管已经提出了赋予拜占庭式弹性的方法，但这些方法显着影响该过程的效率，甚至否定了权力下放的好处。这自然提出了一个问题：\ emph {可以同时享受拜占庭式的弹性和每个节点的工作量减少？}我们通过提出\ newalgorithm {}来确保拜占庭式弹性而不会失去D-SGD的计算效率来积极回答。本质上，\ newalgorithm {}通过使用\ emph {polyak的动量}减少本地更新中的差异来削弱拜占庭节点的影响。然后，通过通过{\ em签名的Echo广播}和{\ em最近的邻平均}方案建立节点之间的协调，我们有效地耐受拜占庭节点，同时在非拜桑丁节点之间分布开销。为了证明我们的算法的正确性，我们介绍和分析了一个新颖的{\ em lyapunov函数}，该函数是由动量使用而产生的{\ em non-markovian模型漂移}。我们还通过对几个图像分类任务进行实验来证明\ newalgorithm {}的效率。

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

联合学习（FL）是一项广泛采用的分布式学习范例，在实践中，打算在利用所有参与者的整个数据集进行培训的同时保护用户的数据隐私。在FL中，多种型号在用户身上独立培训，集中聚合以在迭代过程中更新全局模型。虽然这种方法在保护隐私方面是优异的，但FL仍然遭受攻击或拜占庭故障等质量问题。最近的一些尝试已经解决了对FL的强大聚集技术的这种质量挑战。然而，最先进的（SOTA）强大的技术的有效性尚不清楚并缺乏全面的研究。因此，为了更好地了解这些SOTA流域的当前质量状态和挑战在存在攻击和故障的情况下，我们进行了大规模的实证研究，以研究SOTA FL的质量，从多个攻击角度，模拟故障（通过突变运算符）和聚合（防御）方法。特别是，我们对两个通用图像数据集和一个现实世界联邦医学图像数据集进行了研究。我们还系统地调查了攻击用户和独立和相同分布的（IID）因子，每个数据集的攻击/故障的分布对鲁棒性结果的影响。经过496个配置进行大规模分析后，我们发现每个用户的大多数突变者对最终模型具有可忽略不计的影响。此外，选择最强大的FL聚合器取决于攻击和数据集。最后，我们说明了可以实现几乎在所有攻击和配置上的任何单个聚合器以及具有简单集合模型的所有攻击和配置的常用解决方案的通用解决方案。

拜占庭式联合学习（FL）旨在对抗恶意客户并培训准确的全球模型，同时保持极低的攻击成功率。然而，大多数现有系统仅在诚实/半hon最达克的多数设置中都具有强大的功能。 FLTRUST（NDSS '21）将上下文扩展到对客户的恶意多数，但在训练之前，应在训练之前为服务器提供辅助数据集，以便过滤恶意输入。私人火焰/flguard（Usenix '22）提供了一种解决方案，以确保在半多数上下文中既有稳健性和更新机密性。到目前为止，不可能平衡恶意背景，鲁棒性和更新机密性之间的权衡。为了解决这个问题，我们提出了一种新颖的拜占庭式bybust和隐私的FL系统，称为简介，以捕获恶意的少数群体和多数服务器和客户端。具体而言，基于DBSCAN算法，我们设计了一种通过成对调整的余弦相似性聚类的新方法，以提高聚类结果的准确性。为了阻止多数攻击恶意的攻击，我们开发了一种称为模型分割的算法，在该算法中，同一集群中的本地更新聚集在一起，并且将聚合正确地发送回相应的客户端。我们还利用多种密码工具来执行聚类任务，而无需牺牲培训正确性并更新机密性。我们介绍了详细的安全证明和经验评估以及简要的收敛分析。实验结果表明，简介的测试精度实际上接近FL基线（平均为0.8％的差距）。同时，攻击成功率约为0％-5％。我们进一步优化了设计，以便可以分别降低{67％-89.17％和66.05％-68.75％}的通信开销和运行时。

联合学习允许多个参与者在不公开数据隐私的情况下协作培训高效模型。但是，这种分布式的机器学习培训方法容易受到拜占庭客户的攻击，拜占庭客户通过修改模型或上传假梯度来干扰全球模型的训练。在本文中，我们提出了一种基于联邦学习（CMFL）的新型无服务器联合学习框架委员会机制，该机制可以确保算法具有融合保证的鲁棒性。在CMFL中，设立了一个委员会系统，以筛选上载已上传的本地梯度。 The committee system selects the local gradients rated by the elected members for the aggregation procedure through the selection strategy, and replaces the committee member through the election strategy.基于模型性能和防御的不同考虑，设计了两种相反的选择策略是为了精确和鲁棒性。广泛的实验表明，与典型的联邦学习相比，与传统的稳健性相比，CMFL的融合和更高的准确性比传统的稳健性，以分散的方法的方式获得了传统的耐受性算法。此外，我们理论上分析并证明了在不同的选举和选择策略下CMFL的收敛性，这与实验结果一致。

从经验上证明，在跨客户聚集之前应用多个本地更新的实践是克服联合学习（FL）中的通信瓶颈的成功方法。在这项工作中，我们提出了一种通用食谱，即FedShuffle，可以更好地利用FL中的本地更新，尤其是在异质性方面。与许多先前的作品不同，FedShuffle在每个设备的更新数量上没有任何统一性。我们的FedShuffle食谱包括四种简单的功能成分：1）数据的本地改组，2）调整本地学习率，3）更新加权，4）减少动量方差（Cutkosky and Orabona，2019年）。我们对FedShuffle进行了全面的理论分析，并表明从理论和经验上讲，我们的方法都不遭受FL方法中存在的目标功能不匹配的障碍，这些方法假设在异质FL设置中，例如FedAvg（McMahan等人，McMahan等， 2017）。此外，通过将上面的成分结合起来，FedShuffle在Fednova上改善（Wang等，2020），以前提议解决此不匹配。我们还表明，在Hessian相似性假设下，通过降低动量方差的FedShuffle可以改善非本地方法。最后，通过对合成和现实世界数据集的实验，我们说明了FedShuffle中使用的四种成分中的每种如何有助于改善FL中局部更新的使用。