在联合学习中,多个客户端设备联合学习机器学习模型:每个客户端设备都为其本地训练数据集维护本地模型,而主设备通过从客户端设备聚合本地模型维护全局模型。该机器学习界最近提出了几种联合学习方法,该方法被声称对某些客户端设备的拜占庭故障(例如,系统故障,对抗性操纵)具有稳健。在这项工作中,我们对局部模型中毒攻击进行了第一个系统研究对联邦学习。我们假设攻击者已损害某些客户端设备,并且攻击者在学习过程中操纵受损客户端设备上的本地模型参数,使得全局模型具有大的测试错误率。我们将我们的攻击制订为优化问题,并将我们的攻击应用于四个最近的拜占庭式联邦学习方法。我们在四个真实数据集中的经验结果表明,我们的攻击可以大大增加由联合学习方法学到的模型的错误率,这些方法被声称对某些客户端设备的拜占庭式失败具有强大的稳健性。我们概括了数据中毒攻击的两个防御,以防御我们当地的模型中毒攻击。我们的评价结果​​表明,在某些情况下,一个防御可以有效地防御我们的攻击,但在其他情况下,防御不足,突出了对我们当地模型中毒攻击对联合学习的新防御的必要性。
translated by 谷歌翻译
Federated learning (FL) is an emerging machine learning paradigm, in which clients jointly learn a model with the help of a cloud server. A fundamental challenge of FL is that the clients are often heterogeneous, e.g., they have different computing powers, and thus the clients may send model updates to the server with substantially different delays. Asynchronous FL aims to address this challenge by enabling the server to update the model once any client's model update reaches it without waiting for other clients' model updates. However, like synchronous FL, asynchronous FL is also vulnerable to poisoning attacks, in which malicious clients manipulate the model via poisoning their local data and/or model updates sent to the server. Byzantine-robust FL aims to defend against poisoning attacks. In particular, Byzantine-robust FL can learn an accurate model even if some clients are malicious and have Byzantine behaviors. However, most existing studies on Byzantine-robust FL focused on synchronous FL, leaving asynchronous FL largely unexplored. In this work, we bridge this gap by proposing AFLGuard, a Byzantine-robust asynchronous FL method. We show that, both theoretically and empirically, AFLGuard is robust against various existing and adaptive poisoning attacks (both untargeted and targeted). Moreover, AFLGuard outperforms existing Byzantine-robust asynchronous FL methods.
translated by 谷歌翻译
联合学习(FL)容易受到模型中毒攻击的影响,在该攻击中,恶意客户通过将操纵模型更新发送到服务器来破坏全局模型。现有的防御措施主要依靠拜占庭式抗体方法,即使某些客户是恶意的,旨在学习准确的全球模型。但是,在实践中,他们只能抵抗少数恶意客户。如何与大量恶意客户抗衡模型中毒攻击仍然是一个公开挑战。我们的fldetector通过检测恶意客户来应对这一挑战。 FLDETECTOR旨在检测和删除大多数恶意客户,以便拜占庭式的fl方法可以使用其余客户学习准确的全球模型。我们的主要观察结果是,在模型中毒攻击中,在多次迭代中的客户更新的模型更新是不一致的。因此,FLDetector通过检查其模型更高的一致性来检测恶意客户端。大致来说,服务器根据其历史模型更新使用Cauchy Mean Valie Therorem和L-BFG预测客户端的模型更新在多个迭代中不一致。我们在三个基准数据集上进行的广泛实验表明,FLDETECTOR可以准确检测到多种最新模型中毒攻击中的恶意客户。在删除了被检测到的恶意客户端后,现有的拜占庭式FL方法可以学习准确的全球模型。
translated by 谷歌翻译
Federated Learning has emerged to cope with raising concerns about privacy breaches in using Machine or Deep Learning models. This new paradigm allows the leverage of deep learning models in a distributed manner, enhancing privacy preservation. However, the server's blindness to local datasets introduces its vulnerability to model poisoning attacks and data heterogeneity, tampering with the global model performance. Numerous works have proposed robust aggregation algorithms and defensive mechanisms, but the approaches are orthogonal to individual attacks or issues. FedCC, the proposed method, provides robust aggregation by comparing the Centered Kernel Alignment of Penultimate Layers Representations. The experiment results on FedCC demonstrate that it mitigates untargeted and targeted model poisoning or backdoor attacks while also being effective in non-Independently and Identically Distributed data environments. By applying FedCC against untargeted attacks, global model accuracy is recovered the most. Against targeted backdoor attacks, FedCC nullified attack confidence while preserving the test accuracy. Most of the experiment results outstand the baseline methods.
translated by 谷歌翻译
虽然最近的作品表明,联邦学习(FL)可能易受受损客户的袭击攻击,但它们对生产流系统的实际影响尚未完全理解。在这项工作中,我们的目标是通过枚举所有可能的威胁模型,中毒变化和对手的能力来制定综合系统化。我们专注于我们对未明确的中毒攻击,正如我们认为它们与生产流动部署有关。我们通过仔细表征现实威胁模型和对抗性能力,对实际生产的流动环境下无明显中毒攻击的关键分析。我们的研究结果令人惊讶:与既定信念相反,我们表明,即使使用简单,低成本的防御,我们也会在实践中非常强大。我们进一步进一步提出了新颖的,最先进的数据和模型中毒攻击,并通过三个基准数据集进行了广泛的实验,如何(在)有效中毒攻击在存在简单的防御机制中。我们的目标是纠正以前的误解,并提供关于对本主题更准确的(更现实)的研究的具体指导。
translated by 谷歌翻译
联合学习(FL)是一项广泛采用的分布式学习范例,在实践中,打算在利用所有参与者的整个数据集进行培训的同时保护用户的数据隐私。在FL中,多种型号在用户身上独立培训,集中聚合以在迭代过程中更新全局模型。虽然这种方法在保护隐私方面是优异的,但FL仍然遭受攻击或拜占庭故障等质量问题。最近的一些尝试已经解决了对FL的强大聚集技术的这种质量挑战。然而,最先进的(SOTA)强大的技术的有效性尚不清楚并缺乏全面的研究。因此,为了更好地了解这些SOTA流域的当前质量状态和挑战在存在攻击和故障的情况下,我们进行了大规模的实证研究,以研究SOTA FL的质量,从多个攻击角度,模拟故障(通过突变运算符)和聚合(防御)方法。特别是,我们对两个通用图像数据集和一个现实世界联邦医学图像数据集进行了研究。我们还系统地调查了攻击用户和独立和相同分布的(IID)因子,每个数据集的攻击/故障的分布对鲁棒性结果的影响。经过496个配置进行大规模分析后,我们发现每个用户的大多数突变者对最终模型具有可忽略不计的影响。此外,选择最强大的FL聚合器取决于攻击和数据集。最后,我们说明了可以实现几乎在所有攻击和配置上的任何单个聚合器以及具有简单集合模型的所有攻击和配置的常用解决方案的通用解决方案。
translated by 谷歌翻译
SGD在分布式和多GPU系统上的实现创建了新的漏洞,可以通过一个或多个对抗代理来识别和滥用这些漏洞。最近,已经显示出众所周知的拜占庭式弹性梯度聚集方案确实容易受到可以定制攻击的知情攻击者的影响(Fang等,2020; Xie等,2020b)。我们介绍了Mixtailor,这是一种基于聚合策略的随机化计划,使攻击者无法充分了解。确定性方案可以直接将其集成到混合式尾勒中,而无需引入任何其他超参数。随机化降低了强大的对手来量身定制其攻击的能力,而随之而来的随机聚合方案在性能方面仍然具有竞争力。对于IID和非IID设置,我们建立了几乎确定的融合保证,这些保证既比文献中可用的融合更强大,更一般。我们在各种数据集,攻击和设置中进行的实证研究验证了我们的假设,并表明当知名的拜占庭耐受性计划失败时,Mixtailor会成功辩护。
translated by 谷歌翻译
联合学习(FL)允许相互不信任的客户可以协作培训通用的机器学习模型,而无需共享其私人/专有培训数据。不幸的是,FL很容易受到恶意客户的中毒,他们旨在通过在FL培训过程中发送恶意模型更新来阻碍常见训练的模型的准确性。我们认为,对现有FL系统的中毒攻击成功的关键因素是客户可用的模型更新空间,使恶意客户可以通过解决优化问题来搜索最有毒的模型更新。为了解决这个问题,我们提出了联合排名学习(FRL)。 FRL将标准FL中的模型参数更新(浮点数连续空间)从模型参数更新(一个连续的空间)缩小到参数排名的空间(整数值的离散空间)。为了能够使用参数等级(而不是参数权重)训练全球模型,FRL利用了最近的SuperMasks培训机制的想法。具体而言,FRL客户端根据其本地培训数据对随机初始化的神经网络(由服务器提供)的参数进行排名。 FRL Server使用投票机制来汇总客户在每个培训时期提交的参数排名,以生成下一个培训时期的全球排名。从直觉上讲,我们基于投票的聚合机制阻止中毒客户对全球模型进行重大的对抗性修改,因为每个客户都会进行一次投票!我们通过分析证明和实验证明了FRL对中毒的鲁棒性。我们还显示了FRL的高沟通效率。我们的实验证明了FRL在现实世界中的优势。
translated by 谷歌翻译
联邦学习本质上很容易模拟中毒攻击,因为其分散性质允许攻击者参与受损的设备。在模型中毒攻击中,攻击者通过上传“中毒”更新来降低目标子任务(例如,作为鸟类的分类平面)模型的性能。在本报告中,我们介绍\ algoname {},这是一种使用全局Top-K更新稀疏和设备级渐变剪辑来减轻模型中毒攻击的新型防御。我们提出了一个理论框架,用于分析防御抗毒攻击的稳健性,并提供我们算法的鲁棒性和收敛性分析。为了验证其经验效率,我们在跨多个基准数据集中进行开放源评估,用于计算机愿景和联合学习。
translated by 谷歌翻译
联邦学习(FL)的应用正在稳步增加,尤其是在医疗保健等隐私性应用程序中。但是,由于各种对抗性攻击,例如中毒攻击(模型和数据中毒),其应用程序受到安全问题的限制。这种攻击试图毒化当地模型和数据以操纵全球模型,以获得不当的好处和恶意使用。传统的数据审核方法减轻中毒攻击的方法在FL中找到了有限的应用程序,因为由于隐私问题,边缘设备永远不会直接共享其原始数据,并且在全球范围内分布,没有深入了解其培训数据。此后,制定适当的策略来解决此类攻击并最大程度地减少其对联邦学习全球模型的影响是一项挑战。为了解决FL中的此类挑战,我们提出了一个新颖的框架,以使用深度神经网络和支持向量机的形式检测中毒攻击,而无需获得有关本地边缘设备的基础培训数据的任何直接访问或信息。我们为两种不同的医疗保健应用中使用不同的最先进的中毒攻击来说明和评估所提出的框架:心电图分类和人类活动识别。我们的实验分析表明,所提出的方法可以有效地检测中毒攻击,并可以从全球聚集中删除已确定的中毒更新。此后可以提高联邦全球的性能。
translated by 谷歌翻译
在联邦学习(FL)中,一群工人参与在一个节点的协调下建立一个全球模型,主任。关于FL的网络安全,一些攻击旨在将所制作的本地模型更新注入系统。一些防御是基于恶意工人检测和行为模式分析。在这种情况下,没有及时和动态的监控方法,酋长无法检测和从系统中删除恶意或不可靠的工人。我们的工作强调了准备联邦学习过程的紧迫性,以便监测和最终行为模式分析。我们研究了在培训的早期阶段内学习过程内的信息,提出了监测过程并评估所需的监测期。目的是在开始检测算法的时间内分析,以便从系统中删除恶意或不可靠的工人并优化防御机制部署。我们在应用于文本和图像分类的不同基准系统的流行模式下对行为模式分析防御进行了测试。我们的研究结果表明,监控过程降低了误报和假阴性,从而通过使分布式学习系统能够在培训的早期阶段实现更好的性能来提高系统效率。
translated by 谷歌翻译
由于其在广泛的协作学习任务中的成功,联邦学习框架的普及程度越来越多,也引起了有关学习模型的某些安全问题,因为恶意客户可能参与学习过程。因此,目的是消除恶意参与者的影响,并确保最终模型是可信赖的。关于拜占庭攻击的一个常见观察结果是,客户的模型/更新之间的差异越高,隐藏攻击的空间就越多。为此,最近已经表明,通过利用动量,从而减少了方差,可以削弱已知的拜占庭攻击的强度。居中的剪裁框架(ICML 2021)进一步表明,除了降低差异外,从上一个迭代中的动量项可以用作中和拜占庭式攻击并显示出对知名攻击的令人印象深刻的表现。但是,在这项工作的范围内,我们表明居中的剪裁框架具有某些漏洞,并且可以根据这些漏洞来修订现有的攻击,以规避居中的剪裁防御。因此,我们介绍了一种设计攻击的策略,以规避居中的剪裁框架,并通过将测试准确性降低到最佳场景中的5-40,从而在数值上说明了其针对中心剪裁的有效性以及其他已知的防御策略。
translated by 谷歌翻译
联合学习(FL)提供了一种高效的分散机器学习框架,其中培训数据仍然在网络中的远程客户端分发。虽然FL实现了使用物联网设备的隐私保留的移动边缘计算框架,但最近的研究表明,这种方法易于来自远程客户端的侧面中毒攻击。要解决FL的中毒攻击,我们提供了一个\ Textit {两阶段}防御算法,称为{lo} cal {ma}恶意的事实{r}(lomar)。在I阶段I中,通过使用内核密度估计方法测量其邻居的相对分布,LOMAR从每个远程客户端进行模型更新。在II阶段,最佳阈值近似以从统计角度来区分恶意和清洁更新。已经进行了四个现实数据集的综合实验,实验结果表明,我们的防御策略可以有效保护FL系统。 {具体来说,标签翻转攻击下的亚马逊数据集上的防御性能表明,与FG + Krum相比,LOMAR从96.0 \%$ 98.8 \%$ 96.0 \%$ 98.8 \%$增加目标标签测试精度,以及90.1美元的总平均测试准确性\%$至97.0 \%$。
translated by 谷歌翻译
In a membership inference attack, an attacker aims to infer whether a data sample is in a target classifier's training dataset or not. Specifically, given a black-box access to the target classifier, the attacker trains a binary classifier, which takes a data sample's confidence score vector predicted by the target classifier as an input and predicts the data sample to be a member or non-member of the target classifier's training dataset. Membership inference attacks pose severe privacy and security threats to the training dataset. Most existing defenses leverage differential privacy when training the target classifier or regularize the training process of the target classifier. These defenses suffer from two key limitations: 1) they do not have formal utility-loss guarantees of the confidence score vectors, and 2) they achieve suboptimal privacy-utility tradeoffs.In this work, we propose MemGuard, the first defense with formal utility-loss guarantees against black-box membership inference attacks. Instead of tampering the training process of the target classifier, MemGuard adds noise to each confidence score vector predicted by the target classifier. Our key observation is that attacker uses a classifier to predict member or non-member and classifier is vulnerable to adversarial examples. Based on the observation, we propose to add a carefully crafted noise vector to a confidence score vector to turn it into an adversarial example that misleads the attacker's classifier. Specifically, MemGuard works in two phases. In Phase I, MemGuard finds a carefully crafted noise vector that can turn a confidence score vector into an adversarial example, which is likely to mislead the attacker's classifier to make a random guessing at member or non-member. We find such carefully crafted noise vector via a new method that we design to incorporate the unique utility-loss constraints on the noise vector. In Phase II, Mem-Guard adds the noise vector to the confidence score vector with a certain probability, which is selected to satisfy a given utility-loss budget on the confidence score vector. Our experimental results on
translated by 谷歌翻译
最近出现的联邦学习(FL)是一个有吸引力的分布式学习框架,其中许多无线最终用户设备可以训练全局模型,数据仍然自动加载。与传统的机器学习框架相比,收集集中存储的用户数据,这为数据隐私带来了巨大的沟通负担和担忧,这种方法不仅可以保存网络带宽,还可以保护数据隐私。尽管前景有前景,但拜占庭袭击,传统分布式网络中的棘手威胁,也被发现对FL相当有效。在本文中,我们对佛罗里达州的抗议袭击进行了全面调查了捍卫拜占庭袭击的最先进战略。我们首先根据他们使用的技术为现有的防御解决方案提供分类法,然后是在整个板上的比较和讨论。然后,我们提出了一种新的拜占庭攻击方法,称为重量攻击,以击败这些防御计划,并进行实验以证明其威胁。结果表明,现有的防御解决方案虽然丰富,但仍远未完全保护FL。最后,我们表明体重攻击可能的可能对策,并突出了一些挑战和未来的研究方向,以减轻百灵鱼袭击杂志。
translated by 谷歌翻译
Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.
translated by 谷歌翻译
Federated Learning (FL) is a scheme for collaboratively training Deep Neural Networks (DNNs) with multiple data sources from different clients. Instead of sharing the data, each client trains the model locally, resulting in improved privacy. However, recently so-called targeted poisoning attacks have been proposed that allow individual clients to inject a backdoor into the trained model. Existing defenses against these backdoor attacks either rely on techniques like Differential Privacy to mitigate the backdoor, or analyze the weights of the individual models and apply outlier detection methods that restricts these defenses to certain data distributions. However, adding noise to the models' parameters or excluding benign outliers might also reduce the accuracy of the collaboratively trained model. Additionally, allowing the server to inspect the clients' models creates a privacy risk due to existing knowledge extraction methods. We propose CrowdGuard, a model filtering defense, that mitigates backdoor attacks by leveraging the clients' data to analyze the individual models before the aggregation. To prevent data leaks, the server sends the individual models to secure enclaves, running in client-located Trusted Execution Environments. To effectively distinguish benign and poisoned models, even if the data of different clients are not independently and identically distributed (non-IID), we introduce a novel metric called HLBIM to analyze the outputs of the DNN's hidden layers. We show that the applied significance-based detection algorithm combined can effectively detect poisoned models, even in non-IID scenarios. We show in our extensive evaluation that CrowdGuard can effectively mitigate targeted poisoning attacks and achieve in various scenarios a True-Positive-Rate of 100% and a True-Negative-Rate of 100%.
translated by 谷歌翻译
对网络攻击的现代防御越来越依赖于主动的方法,例如,基于过去的事件来预测对手的下一个行动。建立准确的预测模型需要许多组织的知识; las,这需要披露敏感信息,例如网络结构,安全姿势和政策,这些信息通常是不受欢迎的或完全不可能的。在本文中,我们探讨了使用联合学习(FL)预测未来安全事件的可行性。为此,我们介绍了Cerberus,这是一个系统,可以为参与组织的复发神经网络(RNN)模型进行协作培训。直觉是,FL可能会在非私有方法之间提供中间地面,在非私有方法中,训练数据在中央服务器上合并,而仅训练本地模型的较低性替代方案。我们将Cerberus实例化在从一家大型安全公司的入侵预防产品中获得的数据集上,并评估其有关实用程序,鲁棒性和隐私性,以及参与者如何从系统中贡献和受益。总体而言,我们的工作阐明了将FL执行此任务的积极方面和挑战,并为部署联合方法以进行预测安全铺平了道路。
translated by 谷歌翻译
联合学习(FL)使从分发在一组参与工人之间的本地数据中学习全球机器学习模型。这使得i)由于从丰富的联合培训数据中学习而培训更准确的模型,ii)通过不与他人共享工人的本地私人数据来改善隐私。但是,FL的分布性质使其容易受到针对性的中毒攻击的影响,这些攻击会对学习模型的完整性产生负面影响,而不幸的是,很难检测到。现有针对这些攻击的防御措施受到工人数据分布的假设的限制,可能会在主要任务上降低全球模型性能和/或不适合高维模型。在本文中,我们分析了针对FL的靶向攻击,并发现与攻击相关的深度学习模型的最后一层神经元与无关神经元的行为不同,这使得最后一层梯度有价值特征用于攻击检测。因此,我们将\ textit {fl-defender}作为对抗fl目标攻击的方法。它包括i)通过计算工人的最后一层梯度的工人角度相似性来工程更强的判别特征,ii)使用PCA压缩所得的相似性向量,以减少冗余信息,iiii)重新加权工人的''根据它们与压缩相似性向量的质心的偏差。对具有不同DL模型大小和数据分布的三个数据集进行的实验显示了我们方法在防御标签和后门攻击方面的有效性。与几个最先进的防御能力相比,FL Defender取得了最低的攻击成功率,维持全局模型在主要任务上的性能,并导致服务器上的最小计算开销。
translated by 谷歌翻译
联合学习(FL)提供了一个有效的范式,可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户,因此一些研究表明,FL容易受到中毒攻击的影响。同时,为了保护本地用户的隐私,FL始终以差异性私人方式(DPFL)进行培训。因此,在本文中,我们问:我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性?我们可以进一步改善FL的隐私以改善这种认证吗?我们首先研究了FL的用户级和实例级别的隐私,并提出了新的机制以获得改进的实例级隐私。然后,我们提供两个鲁棒性认证标准:两级DPFL的认证预测和认证攻击成本。从理论上讲,我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲,我们进行了广泛的实验,以在对不同数据集的一系列攻击下验证我们的理论。我们表明,具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证,但是在隐私保护和公用事业损失之间的适当平衡下,获得了最佳认证预测。
translated by 谷歌翻译