在联合学习中,每个参与者通过自己的数据列举其本地模型,并通过聚合来自这些参与者的模型更新来在可信服务器上形成全局模型。由于服务器对参与者的培训程序没有影响和可见性以确保隐私,因此全球模型变得容易受到数据中毒和模型中毒等攻击的影响。虽然最近已经提出了许多防御算法来解决这些攻击,但它们往往会使强烈的假设与联邦学习的性质相吻,例如非IID数据集。此外,它们大多缺乏全面的实验分析。在这项工作中,我们提出了一种称为Barfed的防御算法,不会对数据分布,更新参与者的相似性或恶意参与者的比率作出任何假设。 Barfed主要考虑基于与全局模型的距离的模型架构的每个层的参与者更新的异常状态。因此,没有任何异常层的参与者都参与了模型聚合。我们在许多场所进行广泛的实验,并表明该方法为不同攻击提供了强大的防御。
translated by 谷歌翻译
Federated Learning has emerged to cope with raising concerns about privacy breaches in using Machine or Deep Learning models. This new paradigm allows the leverage of deep learning models in a distributed manner, enhancing privacy preservation. However, the server's blindness to local datasets introduces its vulnerability to model poisoning attacks and data heterogeneity, tampering with the global model performance. Numerous works have proposed robust aggregation algorithms and defensive mechanisms, but the approaches are orthogonal to individual attacks or issues. FedCC, the proposed method, provides robust aggregation by comparing the Centered Kernel Alignment of Penultimate Layers Representations. The experiment results on FedCC demonstrate that it mitigates untargeted and targeted model poisoning or backdoor attacks while also being effective in non-Independently and Identically Distributed data environments. By applying FedCC against untargeted attacks, global model accuracy is recovered the most. Against targeted backdoor attacks, FedCC nullified attack confidence while preserving the test accuracy. Most of the experiment results outstand the baseline methods.
translated by 谷歌翻译
联合学习(FL)是一项广泛采用的分布式学习范例,在实践中,打算在利用所有参与者的整个数据集进行培训的同时保护用户的数据隐私。在FL中,多种型号在用户身上独立培训,集中聚合以在迭代过程中更新全局模型。虽然这种方法在保护隐私方面是优异的,但FL仍然遭受攻击或拜占庭故障等质量问题。最近的一些尝试已经解决了对FL的强大聚集技术的这种质量挑战。然而,最先进的(SOTA)强大的技术的有效性尚不清楚并缺乏全面的研究。因此,为了更好地了解这些SOTA流域的当前质量状态和挑战在存在攻击和故障的情况下,我们进行了大规模的实证研究,以研究SOTA FL的质量,从多个攻击角度,模拟故障(通过突变运算符)和聚合(防御)方法。特别是,我们对两个通用图像数据集和一个现实世界联邦医学图像数据集进行了研究。我们还系统地调查了攻击用户和独立和相同分布的(IID)因子,每个数据集的攻击/故障的分布对鲁棒性结果的影响。经过496个配置进行大规模分析后,我们发现每个用户的大多数突变者对最终模型具有可忽略不计的影响。此外,选择最强大的FL聚合器取决于攻击和数据集。最后,我们说明了可以实现几乎在所有攻击和配置上的任何单个聚合器以及具有简单集合模型的所有攻击和配置的常用解决方案的通用解决方案。
translated by 谷歌翻译
联合学习(FL)通过设计为参与同行提供了自主性和隐私,他们合作地建立了机器学习(ML)模型,同时将其私人数据保存在设备中。但是,同样的自主权通过进行不靶向或有针对性的中毒攻击来使恶意同伴毒害该模型的大门打开了大门。标签弹性(LF)攻击是一种有针对性的中毒攻击,攻击者通过将一些示例的标签从一个类(即源类)转换为另一个类别(即目标类别)来毒害他们的训练数据。不幸的是,这种攻击易于执行,难以检测,并且对全球模型的性能产生负面影响。现有针对LF的防御措施受到对同龄人数据分布和/或使用高维模型的表现不佳的假设的限制。在本文中,我们深入研究了LF攻击行为,并发现攻击者和诚实的同伴在源类示例上的矛盾目标反映在与输出层中源和目标类的相对应的参数梯度中梯度良好的攻击检测特征。因此,我们提出了一种新颖的防御,首先将这些梯度从同龄人的本地更新中动态提取,然后将提取的梯度簇,分析产生的簇,并在模型聚合之前过滤潜在的不良更新。对三个数据集的广泛经验分析显示,无论数据分布或模型维度如何,建议的防御力对LF攻击的有效性。此外,拟议的防御能力通过提供较低的测试错误,更高的总体准确性,更高的源类准确性,较低的攻击成功率和较高的源类准确性稳定性来优于几个最先进的防御能力。
translated by 谷歌翻译
在联合学习(FL)中,一组参与者共享与将更新结合到全局模型中的聚合服务器在本地数据上计算的更新。但是,将准确性与隐私和安全性进行调和是FL的挑战。一方面,诚实参与者发送的良好更新可能会揭示其私人本地信息,而恶意参与者发送的中毒更新可能会损害模型的可用性和/或完整性。另一方面,通过更新失真赔偿准确性增强隐私,而通过更新聚合损坏安全性,因为它不允许服务器过滤掉单个中毒更新。为了解决准确性私人关系冲突,我们提出{\ em碎片的联合学习}(FFL),其中参与者在将其发送到服务器之前,随机交换并混合其更新的片段。为了获得隐私,我们设计了一个轻巧的协议,该协议允许参与者私下交换和混合其更新的加密片段,以便服务器既不能获得单个更新,也不能将其链接到其发起人。为了实现安全性,我们设计了针对FFL量身定制的基于声誉的防御,该防御根据他们交换的片段质量以及他们发送的混合更新来建立对参与者及其混合更新的信任。由于交换的片段的参数可以保持其原始坐标和攻击者可以中和,因此服务器可以从接收到的混合更新中正确重建全局模型而不会准确损失。四个真实数据集的实验表明,FFL可以防止半冬季服务器安装隐私攻击,可以有效地抵抗中毒攻击,并可以保持全局模型的准确性。
translated by 谷歌翻译
联合学习(FL)允许相互不信任的客户可以协作培训通用的机器学习模型,而无需共享其私人/专有培训数据。不幸的是,FL很容易受到恶意客户的中毒,他们旨在通过在FL培训过程中发送恶意模型更新来阻碍常见训练的模型的准确性。我们认为,对现有FL系统的中毒攻击成功的关键因素是客户可用的模型更新空间,使恶意客户可以通过解决优化问题来搜索最有毒的模型更新。为了解决这个问题,我们提出了联合排名学习(FRL)。 FRL将标准FL中的模型参数更新(浮点数连续空间)从模型参数更新(一个连续的空间)缩小到参数排名的空间(整数值的离散空间)。为了能够使用参数等级(而不是参数权重)训练全球模型,FRL利用了最近的SuperMasks培训机制的想法。具体而言,FRL客户端根据其本地培训数据对随机初始化的神经网络(由服务器提供)的参数进行排名。 FRL Server使用投票机制来汇总客户在每个培训时期提交的参数排名,以生成下一个培训时期的全球排名。从直觉上讲,我们基于投票的聚合机制阻止中毒客户对全球模型进行重大的对抗性修改,因为每个客户都会进行一次投票!我们通过分析证明和实验证明了FRL对中毒的鲁棒性。我们还显示了FRL的高沟通效率。我们的实验证明了FRL在现实世界中的优势。
translated by 谷歌翻译
最近出现的联邦学习(FL)是一个有吸引力的分布式学习框架,其中许多无线最终用户设备可以训练全局模型,数据仍然自动加载。与传统的机器学习框架相比,收集集中存储的用户数据,这为数据隐私带来了巨大的沟通负担和担忧,这种方法不仅可以保存网络带宽,还可以保护数据隐私。尽管前景有前景,但拜占庭袭击,传统分布式网络中的棘手威胁,也被发现对FL相当有效。在本文中,我们对佛罗里达州的抗议袭击进行了全面调查了捍卫拜占庭袭击的最先进战略。我们首先根据他们使用的技术为现有的防御解决方案提供分类法,然后是在整个板上的比较和讨论。然后,我们提出了一种新的拜占庭攻击方法,称为重量攻击,以击败这些防御计划,并进行实验以证明其威胁。结果表明,现有的防御解决方案虽然丰富,但仍远未完全保护FL。最后,我们表明体重攻击可能的可能对策,并突出了一些挑战和未来的研究方向,以减轻百灵鱼袭击杂志。
translated by 谷歌翻译
联合学习(FL)容易受到模型中毒攻击的影响,在该攻击中,恶意客户通过将操纵模型更新发送到服务器来破坏全局模型。现有的防御措施主要依靠拜占庭式抗体方法,即使某些客户是恶意的,旨在学习准确的全球模型。但是,在实践中,他们只能抵抗少数恶意客户。如何与大量恶意客户抗衡模型中毒攻击仍然是一个公开挑战。我们的fldetector通过检测恶意客户来应对这一挑战。 FLDETECTOR旨在检测和删除大多数恶意客户,以便拜占庭式的fl方法可以使用其余客户学习准确的全球模型。我们的主要观察结果是,在模型中毒攻击中,在多次迭代中的客户更新的模型更新是不一致的。因此,FLDetector通过检查其模型更高的一致性来检测恶意客户端。大致来说,服务器根据其历史模型更新使用Cauchy Mean Valie Therorem和L-BFG预测客户端的模型更新在多个迭代中不一致。我们在三个基准数据集上进行的广泛实验表明,FLDETECTOR可以准确检测到多种最新模型中毒攻击中的恶意客户。在删除了被检测到的恶意客户端后,现有的拜占庭式FL方法可以学习准确的全球模型。
translated by 谷歌翻译
联合学习(FL)是分散机器学习的新型框架。由于FL的分散特征,它很容易受到训练程序中的对抗攻击的影响,例如,后门攻击。后门攻击旨在将后门注入机器学习模型中,以便该模型会在测试样本上任意使用一些特定的后门触发器。即使已经引入了一系列FL的后门攻击方法,但也有针对它们进行防御的方法。许多捍卫方法都利用了带有后门的模型的异常特征,或带有后门和常规模型的模型之间的差异。为了绕过这些防御,我们需要减少差异和异常特征。我们发现这种异常的来源是,后门攻击将在中毒数据时直接翻转数据标签。但是,当前对FL后门攻击的研究并不主要集中在减少带有后门和常规模型的模型之间的差异。在本文中,我们提出了对抗性知识蒸馏(ADVKD),一种方法将知识蒸馏与FL中的后门攻击结合在一起。通过知识蒸馏,我们可以减少标签翻转导致模型中的异常特征,因此该模型可以绕过防御措施。与当前方法相比,我们表明ADVKD不仅可以达到更高的攻击成功率,而且还可以在其他方法失败时成功绕过防御。为了进一步探索ADVKD的性能,我们测试参数如何影响不同情况下的ADVKD的性能。根据实验结果,我们总结了如何在不同情况下调整参数以获得更好的性能。我们还使用多种方法可视化不同攻击的效果并解释Advkd的有效性。
translated by 谷歌翻译
联合学习(FL)使从分发在一组参与工人之间的本地数据中学习全球机器学习模型。这使得i)由于从丰富的联合培训数据中学习而培训更准确的模型,ii)通过不与他人共享工人的本地私人数据来改善隐私。但是,FL的分布性质使其容易受到针对性的中毒攻击的影响,这些攻击会对学习模型的完整性产生负面影响,而不幸的是,很难检测到。现有针对这些攻击的防御措施受到工人数据分布的假设的限制,可能会在主要任务上降低全球模型性能和/或不适合高维模型。在本文中,我们分析了针对FL的靶向攻击,并发现与攻击相关的深度学习模型的最后一层神经元与无关神经元的行为不同,这使得最后一层梯度有价值特征用于攻击检测。因此,我们将\ textit {fl-defender}作为对抗fl目标攻击的方法。它包括i)通过计算工人的最后一层梯度的工人角度相似性来工程更强的判别特征,ii)使用PCA压缩所得的相似性向量,以减少冗余信息,iiii)重新加权工人的''根据它们与压缩相似性向量的质心的偏差。对具有不同DL模型大小和数据分布的三个数据集进行的实验显示了我们方法在防御标签和后门攻击方面的有效性。与几个最先进的防御能力相比,FL Defender取得了最低的攻击成功率,维持全局模型在主要任务上的性能,并导致服务器上的最小计算开销。
translated by 谷歌翻译
由于其在广泛的协作学习任务中的成功,联邦学习框架的普及程度越来越多,也引起了有关学习模型的某些安全问题,因为恶意客户可能参与学习过程。因此,目的是消除恶意参与者的影响,并确保最终模型是可信赖的。关于拜占庭攻击的一个常见观察结果是,客户的模型/更新之间的差异越高,隐藏攻击的空间就越多。为此,最近已经表明,通过利用动量,从而减少了方差,可以削弱已知的拜占庭攻击的强度。居中的剪裁框架(ICML 2021)进一步表明,除了降低差异外,从上一个迭代中的动量项可以用作中和拜占庭式攻击并显示出对知名攻击的令人印象深刻的表现。但是,在这项工作的范围内,我们表明居中的剪裁框架具有某些漏洞,并且可以根据这些漏洞来修订现有的攻击,以规避居中的剪裁防御。因此,我们介绍了一种设计攻击的策略,以规避居中的剪裁框架,并通过将测试准确性降低到最佳场景中的5-40,从而在数值上说明了其针对中心剪裁的有效性以及其他已知的防御策略。
translated by 谷歌翻译
由于对个人数据隐私的不断增长和当地客户的迅速增长的数据量,Federated Learnated(FL)的动机已成为新的机器学习设置。 FL系统由中央参数服务器和多个本地客户端组成。它将数据保留在本地客户端,并通过共享本地学到的模型参数来学习集中式模型。不需要共享本地数据,并且可以很好地保护隐私。然而,由于它是模型而不是共享的原始数据,因此系统可以暴露于恶意客户端发起的中毒模型攻击。此外,由于服务器上没有本地客户端数据,因此确定恶意客户端是一项挑战。此外,仍然可以使用上载模型估算客户本地数据,从而导致隐私披露。在这项工作中,我们首先提出了一个基于模型更新的联合平均算法,以防御拜占庭式攻击,例如加性噪声攻击和弹药攻击。提出了单个客户模型初始化方法,以通过隐藏各个本地机器学习模型来提供进一步的隐私保护。在结合这两个方案时,隐私和安全性都可以有效地增强。当没有攻击时,提出的方案被证明在非IID数据分布下实验会收敛。在拜占庭式攻击下,提议的方案的表现要比基于经典模型的FedAvg算法要好得多。
translated by 谷歌翻译
联合学习使不同的各方能够在服务器的编排下协作建立全球模型,同时将培训数据保留在客户的设备上。但是,当客户具有异质数据时,性能会受到影响。为了解决这个问题,我们假设尽管数据异质性,但有些客户的数据分布可以集群。在以前的方法中,为了群集客户端,服务器要求客户端同时发送参数。但是,在有大量参与者可能有限的参与者的情况下,这可能是有问题的。为了防止这种瓶颈,我们提出了FLIC(使用增量聚类的联合学习),其中服务器利用客户在联合培训期间发送的客户发送的更新,而不是要求他们同时发送参数。因此,除了经典的联合学习所需的内容外,服务器与客户之间没有任何其他沟通。我们从经验上证明了各种非IID案例,我们的方法成功地按照相同的数据分布将客户分组分组。我们还通过研究其能力在联邦学习过程的早期阶段对客户进行分配的能力来确定FLIC的局限性。我们进一步将对模型的攻击作为数据异质性的一种形式,并从经验上表明,即使恶意客户的比例高于50 \%,FLIC也是针对中毒攻击的强大防御。
translated by 谷歌翻译
联合学习(FL)是一种分布式机器学习方法,其中多个客户在不交换数据的情况下协作培训联合模型。尽管FL在数据隐私保护方面取得了前所未有的成功,但其对自由骑手攻击的脆弱性吸引了人们越来越多的关注。现有的防御能力可能对高度伪装或高百分比的自由骑手无效。为了应对这些挑战,我们从新颖的角度重新考虑防御,即模型重量不断发展的频率。从经验上讲,我们获得了一种新颖的见解,即在FL的训练中,模型权重的频率不断发展,自由骑机的频率和良性客户的频率显着不同的。受到这种见解的启发,我们提出了一种基于模型权重演化频率的新型防御方法,称为WEF-DEFENSE。特别是,我们在本地训练期间首先收集重量演变的频率(定义为WEF-MATRIX)。对于每个客户端,它将本地型号的WEF-Matrix与每个迭代的模型重量一起上传到服务器。然后,服务器根据WEF-Matrix的差异将自由骑士与良性客户端分开。最后,服务器使用个性化方法为相应的客户提供不同的全局模型。在五个数据集和五个模型上进行的全面实验表明,与最先进的基线相比,WEF防御能力更好。
translated by 谷歌翻译
联合学习(FL)允许多个客户端在私人数据上协作训练神经网络(NN)模型,而不会显示数据。最近,已经介绍了针对FL的几种针对性的中毒攻击。这些攻击将后门注入到所产生的模型中,允许对抗控制的输入被错误分类。抵抗后门攻击的现有对策效率低,并且通常仅旨在排除偏离聚合的偏离模型。然而,这种方法还删除了具有偏离数据分布的客户端的良性模型,导致聚合模型对这些客户端执行不佳。为了解决这个问题,我们提出了一种深入的模型过滤方法,用于减轻后门攻击。它基于三种新颖的技术,允许表征用于培训模型更新的数据的分布,并寻求测量NNS内部结构和输出中的细粒度差异。使用这些技术,DeepSight可以识别可疑的模型更新。我们还开发了一种可以准确集群模型更新的方案。结合两个组件的结果,DeepSight能够识别和消除含有高攻击模型的模型集群,具有高攻击影响。我们还表明,可以通过现有的基于重量剪切的防御能力减轻可能未被发现的中毒模型的后门贡献。我们评估了深度的性能和有效性,并表明它可以减轻最先进的后门攻击,对模型对良性数据的性能的影响忽略不计。
translated by 谷歌翻译
Federated Learning is a distributed machine learning framework designed for data privacy preservation i.e., local data remain private throughout the entire training and testing procedure. Federated Learning is gaining popularity because it allows one to use machine learning techniques while preserving privacy. However, it inherits the vulnerabilities and susceptibilities raised in deep learning techniques. For instance, Federated Learning is particularly vulnerable to data poisoning attacks that may deteriorate its performance and integrity due to its distributed nature and inaccessibility to the raw data. In addition, it is extremely difficult to correctly identify malicious clients due to the non-Independently and/or Identically Distributed (non-IID) data. The real-world data can be complex and diverse, making them hardly distinguishable from the malicious data without direct access to the raw data. Prior research has focused on detecting malicious clients while treating only the clients having IID data as benign. In this study, we propose a method that detects and classifies anomalous clients from benign clients when benign ones have non-IID data. Our proposed method leverages feature dimension reduction, dynamic clustering, and cosine similarity-based clipping. The experimental results validates that our proposed method not only classifies the malicious clients but also alleviates their negative influences from the entire procedure. Our findings may be used in future studies to effectively eliminate anomalous clients when building a model with diverse data.
translated by 谷歌翻译
Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.
translated by 谷歌翻译
对网络攻击的现代防御越来越依赖于主动的方法,例如,基于过去的事件来预测对手的下一个行动。建立准确的预测模型需要许多组织的知识; las,这需要披露敏感信息,例如网络结构,安全姿势和政策,这些信息通常是不受欢迎的或完全不可能的。在本文中,我们探讨了使用联合学习(FL)预测未来安全事件的可行性。为此,我们介绍了Cerberus,这是一个系统,可以为参与组织的复发神经网络(RNN)模型进行协作培训。直觉是,FL可能会在非私有方法之间提供中间地面,在非私有方法中,训练数据在中央服务器上合并,而仅训练本地模型的较低性替代方案。我们将Cerberus实例化在从一家大型安全公司的入侵预防产品中获得的数据集上,并评估其有关实用程序,鲁棒性和隐私性,以及参与者如何从系统中贡献和受益。总体而言,我们的工作阐明了将FL执行此任务的积极方面和挑战,并为部署联合方法以进行预测安全铺平了道路。
translated by 谷歌翻译
Federated Learning (FL) is a scheme for collaboratively training Deep Neural Networks (DNNs) with multiple data sources from different clients. Instead of sharing the data, each client trains the model locally, resulting in improved privacy. However, recently so-called targeted poisoning attacks have been proposed that allow individual clients to inject a backdoor into the trained model. Existing defenses against these backdoor attacks either rely on techniques like Differential Privacy to mitigate the backdoor, or analyze the weights of the individual models and apply outlier detection methods that restricts these defenses to certain data distributions. However, adding noise to the models' parameters or excluding benign outliers might also reduce the accuracy of the collaboratively trained model. Additionally, allowing the server to inspect the clients' models creates a privacy risk due to existing knowledge extraction methods. We propose CrowdGuard, a model filtering defense, that mitigates backdoor attacks by leveraging the clients' data to analyze the individual models before the aggregation. To prevent data leaks, the server sends the individual models to secure enclaves, running in client-located Trusted Execution Environments. To effectively distinguish benign and poisoned models, even if the data of different clients are not independently and identically distributed (non-IID), we introduce a novel metric called HLBIM to analyze the outputs of the DNN's hidden layers. We show that the applied significance-based detection algorithm combined can effectively detect poisoned models, even in non-IID scenarios. We show in our extensive evaluation that CrowdGuard can effectively mitigate targeted poisoning attacks and achieve in various scenarios a True-Positive-Rate of 100% and a True-Negative-Rate of 100%.
translated by 谷歌翻译
联合学习允许多个参与者在不公开数据隐私的情况下协作培训高效模型。但是,这种分布式的机器学习培训方法容易受到拜占庭客户的攻击,拜占庭客户通过修改模型或上传假梯度来干扰全球模型的训练。在本文中,我们提出了一种基于联邦学习(CMFL)的新型无服务器联合学习框架委员会机制,该机制可以确保算法具有融合保证的鲁棒性。在CMFL中,设立了一个委员会系统,以筛选上载已上传的本地梯度。 The committee system selects the local gradients rated by the elected members for the aggregation procedure through the selection strategy, and replaces the committee member through the election strategy.基于模型性能和防御的不同考虑,设计了两种相反的选择策略是为了精确和鲁棒性。广泛的实验表明,与典型的联邦学习相比,与传统的稳健性相比,CMFL的融合和更高的准确性比传统的稳健性,以分散的方法的方式获得了传统的耐受性算法。此外,我们理论上分析并证明了在不同的选举和选择策略下CMFL的收敛性,这与实验结果一致。
translated by 谷歌翻译