联合学习(FL)是一种分布式机器学习协议,允许一组代理在不共享其数据集的情况下协作培训模型。这使得FL特别适用于需要数据隐私的设置。然而,已经观察到FL的性能与局部数据分布的相似性密切相关。特别是,随着代理的数据分布差异,培训模型的准确性下降。在这项工作中,除了准确性之外,我们还会了解本地数据分布的变化如何影响训练型型号的公平性和稳健性。我们的实验结果表明,训练有素的模型表现出更高的偏差,并且随着本地数据分布的不同而变得更容易攻击。重要的是,公平性和鲁棒性的降级可以比准确性更严重。因此,我们揭示了对精确度影响的小变化仍然是重要的,如果培训的模型将部署在公平/安全性的关键上下文中。
translated by 谷歌翻译
联合学习是用于培训分布式,敏感数据的培训模型的流行策略,同时保留了数据隐私。先前的工作确定了毒害数据或模型的联合学习方案的一系列安全威胁。但是,联合学习是一个网络系统,客户与服务器之间的通信对于学习任务绩效起着至关重要的作用。我们强调了沟通如何在联邦学习中引入另一个漏洞表面,并研究网络级对手对训练联合学习模型的影响。我们表明,从精心选择的客户中删除网络流量的攻击者可以大大降低目标人群的模型准确性。此外,我们表明,来自少数客户的协调中毒运动可以扩大降低攻击。最后,我们开发了服务器端防御,通过识别和上采样的客户可能对目标准确性做出积极贡献,从而减轻了攻击的影响。我们在三个数据集上全面评估了我们的攻击和防御,假设具有网络部分可见性的加密通信渠道和攻击者。
translated by 谷歌翻译
虽然最近的作品表明,联邦学习(FL)可能易受受损客户的袭击攻击,但它们对生产流系统的实际影响尚未完全理解。在这项工作中,我们的目标是通过枚举所有可能的威胁模型,中毒变化和对手的能力来制定综合系统化。我们专注于我们对未明确的中毒攻击,正如我们认为它们与生产流动部署有关。我们通过仔细表征现实威胁模型和对抗性能力,对实际生产的流动环境下无明显中毒攻击的关键分析。我们的研究结果令人惊讶:与既定信念相反,我们表明,即使使用简单,低成本的防御,我们也会在实践中非常强大。我们进一步进一步提出了新颖的,最先进的数据和模型中毒攻击,并通过三个基准数据集进行了广泛的实验,如何(在)有效中毒攻击在存在简单的防御机制中。我们的目标是纠正以前的误解,并提供关于对本主题更准确的(更现实)的研究的具体指导。
translated by 谷歌翻译
联合学习(FL)是分散机器学习的新型框架。由于FL的分散特征,它很容易受到训练程序中的对抗攻击的影响,例如,后门攻击。后门攻击旨在将后门注入机器学习模型中,以便该模型会在测试样本上任意使用一些特定的后门触发器。即使已经引入了一系列FL的后门攻击方法,但也有针对它们进行防御的方法。许多捍卫方法都利用了带有后门的模型的异常特征,或带有后门和常规模型的模型之间的差异。为了绕过这些防御,我们需要减少差异和异常特征。我们发现这种异常的来源是,后门攻击将在中毒数据时直接翻转数据标签。但是,当前对FL后门攻击的研究并不主要集中在减少带有后门和常规模型的模型之间的差异。在本文中,我们提出了对抗性知识蒸馏(ADVKD),一种方法将知识蒸馏与FL中的后门攻击结合在一起。通过知识蒸馏,我们可以减少标签翻转导致模型中的异常特征,因此该模型可以绕过防御措施。与当前方法相比,我们表明ADVKD不仅可以达到更高的攻击成功率,而且还可以在其他方法失败时成功绕过防御。为了进一步探索ADVKD的性能,我们测试参数如何影响不同情况下的ADVKD的性能。根据实验结果,我们总结了如何在不同情况下调整参数以获得更好的性能。我们还使用多种方法可视化不同攻击的效果并解释Advkd的有效性。
translated by 谷歌翻译
Federated learning distributes model training among a multitude of agents, who, guided by privacy concerns, perform training using their local data but share only model parameter updates, for iterative aggregation at the server. In this work, we explore the threat of model poisoning attacks on federated learning initiated by a single, non-colluding malicious agent where the adversarial objective is to cause the model to mis-classify a set of chosen inputs with high confidence. We explore a number of strategies to carry out this attack, starting with simple boosting of the malicious agent's update to overcome the effects of other agents' updates. To increase attack stealth, we propose an alternating minimization strategy, which alternately optimizes for the training loss and the adversarial objective. We follow up by using parameter estimation for the benign agents' updates to improve on attack success. Finally, we use a suite of interpretability techniques to generate visual explanations of model decisions for both benign and malicious models, and show that the explanations are nearly visually indistinguishable. Our results indicate that even a highly constrained adversary can carry out model poisoning attacks while simultaneously maintaining stealth, thus highlighting the vulnerability of the federated learning setting and the need to develop effective defense strategies.
translated by 谷歌翻译
Federated Learning has emerged to cope with raising concerns about privacy breaches in using Machine or Deep Learning models. This new paradigm allows the leverage of deep learning models in a distributed manner, enhancing privacy preservation. However, the server's blindness to local datasets introduces its vulnerability to model poisoning attacks and data heterogeneity, tampering with the global model performance. Numerous works have proposed robust aggregation algorithms and defensive mechanisms, but the approaches are orthogonal to individual attacks or issues. FedCC, the proposed method, provides robust aggregation by comparing the Centered Kernel Alignment of Penultimate Layers Representations. The experiment results on FedCC demonstrate that it mitigates untargeted and targeted model poisoning or backdoor attacks while also being effective in non-Independently and Identically Distributed data environments. By applying FedCC against untargeted attacks, global model accuracy is recovered the most. Against targeted backdoor attacks, FedCC nullified attack confidence while preserving the test accuracy. Most of the experiment results outstand the baseline methods.
translated by 谷歌翻译
在联合学习中,每个参与者通过自己的数据列举其本地模型,并通过聚合来自这些参与者的模型更新来在可信服务器上形成全局模型。由于服务器对参与者的培训程序没有影响和可见性以确保隐私,因此全球模型变得容易受到数据中毒和模型中毒等攻击的影响。虽然最近已经提出了许多防御算法来解决这些攻击,但它们往往会使强烈的假设与联邦学习的性质相吻,例如非IID数据集。此外,它们大多缺乏全面的实验分析。在这项工作中,我们提出了一种称为Barfed的防御算法,不会对数据分布,更新参与者的相似性或恶意参与者的比率作出任何假设。 Barfed主要考虑基于与全局模型的距离的模型架构的每个层的参与者更新的异常状态。因此,没有任何异常层的参与者都参与了模型聚合。我们在许多场所进行广泛的实验,并表明该方法为不同攻击提供了强大的防御。
translated by 谷歌翻译
联合学习(FL)是一项广泛采用的分布式学习范例,在实践中,打算在利用所有参与者的整个数据集进行培训的同时保护用户的数据隐私。在FL中,多种型号在用户身上独立培训,集中聚合以在迭代过程中更新全局模型。虽然这种方法在保护隐私方面是优异的,但FL仍然遭受攻击或拜占庭故障等质量问题。最近的一些尝试已经解决了对FL的强大聚集技术的这种质量挑战。然而,最先进的(SOTA)强大的技术的有效性尚不清楚并缺乏全面的研究。因此,为了更好地了解这些SOTA流域的当前质量状态和挑战在存在攻击和故障的情况下,我们进行了大规模的实证研究,以研究SOTA FL的质量,从多个攻击角度,模拟故障(通过突变运算符)和聚合(防御)方法。特别是,我们对两个通用图像数据集和一个现实世界联邦医学图像数据集进行了研究。我们还系统地调查了攻击用户和独立和相同分布的(IID)因子,每个数据集的攻击/故障的分布对鲁棒性结果的影响。经过496个配置进行大规模分析后,我们发现每个用户的大多数突变者对最终模型具有可忽略不计的影响。此外,选择最强大的FL聚合器取决于攻击和数据集。最后,我们说明了可以实现几乎在所有攻击和配置上的任何单个聚合器以及具有简单集合模型的所有攻击和配置的常用解决方案的通用解决方案。
translated by 谷歌翻译
图神经网络(GNN)是一类用于处理图形域信息的基于深度学习的方法。 GNN最近已成为一种广泛使用的图形分析方法,因为它们可以为复杂的图形数据学习表示形式。但是,由于隐私问题和法规限制,集中的GNN可能很难应用于数据敏感的情况。 Federated学习(FL)是一种新兴技术,为保护隐私设置而开发,当几个方需要协作培训共享的全球模型时。尽管几项研究工作已应用于培训GNN(联邦GNN),但对他们对后门攻击的稳健性没有研究。本文通过在联邦GNN中进行两种类型的后门攻击来弥合这一差距:集中式后门攻击(CBA)和分发后门攻击(DBA)。我们的实验表明,在几乎所有评估的情况下,DBA攻击成功率高于CBA。对于CBA,即使对抗方的训练集嵌入了全球触发因素,所有本地触发器的攻击成功率也类似于全球触发因素。为了进一步探索联邦GNN中两次后门攻击的属性,我们评估了不同数量的客户,触发尺寸,中毒强度和触发密度的攻击性能。此外,我们探讨了DBA和CBA对两个最先进的防御能力的鲁棒性。我们发现,两次攻击都对被调查的防御能力进行了强大的强大,因此需要考虑将联邦GNN中的后门攻击视为需要定制防御的新威胁。
translated by 谷歌翻译
联合学习(FL)允许相互不信任的客户可以协作培训通用的机器学习模型,而无需共享其私人/专有培训数据。不幸的是,FL很容易受到恶意客户的中毒,他们旨在通过在FL培训过程中发送恶意模型更新来阻碍常见训练的模型的准确性。我们认为,对现有FL系统的中毒攻击成功的关键因素是客户可用的模型更新空间,使恶意客户可以通过解决优化问题来搜索最有毒的模型更新。为了解决这个问题,我们提出了联合排名学习(FRL)。 FRL将标准FL中的模型参数更新(浮点数连续空间)从模型参数更新(一个连续的空间)缩小到参数排名的空间(整数值的离散空间)。为了能够使用参数等级(而不是参数权重)训练全球模型,FRL利用了最近的SuperMasks培训机制的想法。具体而言,FRL客户端根据其本地培训数据对随机初始化的神经网络(由服务器提供)的参数进行排名。 FRL Server使用投票机制来汇总客户在每个培训时期提交的参数排名,以生成下一个培训时期的全球排名。从直觉上讲,我们基于投票的聚合机制阻止中毒客户对全球模型进行重大的对抗性修改,因为每个客户都会进行一次投票!我们通过分析证明和实验证明了FRL对中毒的鲁棒性。我们还显示了FRL的高沟通效率。我们的实验证明了FRL在现实世界中的优势。
translated by 谷歌翻译
联合学习(FL)使从分发在一组参与工人之间的本地数据中学习全球机器学习模型。这使得i)由于从丰富的联合培训数据中学习而培训更准确的模型,ii)通过不与他人共享工人的本地私人数据来改善隐私。但是,FL的分布性质使其容易受到针对性的中毒攻击的影响,这些攻击会对学习模型的完整性产生负面影响,而不幸的是,很难检测到。现有针对这些攻击的防御措施受到工人数据分布的假设的限制,可能会在主要任务上降低全球模型性能和/或不适合高维模型。在本文中,我们分析了针对FL的靶向攻击,并发现与攻击相关的深度学习模型的最后一层神经元与无关神经元的行为不同,这使得最后一层梯度有价值特征用于攻击检测。因此,我们将\ textit {fl-defender}作为对抗fl目标攻击的方法。它包括i)通过计算工人的最后一层梯度的工人角度相似性来工程更强的判别特征,ii)使用PCA压缩所得的相似性向量,以减少冗余信息,iiii)重新加权工人的''根据它们与压缩相似性向量的质心的偏差。对具有不同DL模型大小和数据分布的三个数据集进行的实验显示了我们方法在防御标签和后门攻击方面的有效性。与几个最先进的防御能力相比,FL Defender取得了最低的攻击成功率,维持全局模型在主要任务上的性能,并导致服务器上的最小计算开销。
translated by 谷歌翻译
已经提出了安全的多方计算(MPC),以允许多个相互不信任的数据所有者在其合并数据上共同训练机器学习(ML)模型。但是,通过设计,MPC协议忠实地计算了训练功能,对抗性ML社区已证明该功能泄漏了私人信息,并且可以在中毒攻击中篡改。在这项工作中,我们认为在我们的框架中实现的模型合奏是一种称为Safenet的框架,是MPC的高度无限方法,可以避免许多对抗性ML攻击。 MPC培训中所有者之间数据的自然分区允许这种方法在训练时间高度可扩展,可证明可保护免受中毒攻击的保护,并证明可以防御许多隐私攻击。我们展示了Safenet对在端到端和转移学习方案训练的几个机器学习数据集和模型上中毒的效率,准确性和韧性。例如,Safenet可显着降低后门攻击的成功,同时获得$ 39 \ times $ $的培训,$ 36 \ times $ $ $少于达尔斯科夫(Dalskov)等人的四方MPC框架。我们的实验表明,即使在许多非IID设置中,结合也能保留这些好处。结合的简单性,廉价的设置和鲁棒性属性使其成为MPC私下培训ML模型的强大首选。
translated by 谷歌翻译
对网络攻击的现代防御越来越依赖于主动的方法,例如,基于过去的事件来预测对手的下一个行动。建立准确的预测模型需要许多组织的知识; las,这需要披露敏感信息,例如网络结构,安全姿势和政策,这些信息通常是不受欢迎的或完全不可能的。在本文中,我们探讨了使用联合学习(FL)预测未来安全事件的可行性。为此,我们介绍了Cerberus,这是一个系统,可以为参与组织的复发神经网络(RNN)模型进行协作培训。直觉是,FL可能会在非私有方法之间提供中间地面,在非私有方法中,训练数据在中央服务器上合并,而仅训练本地模型的较低性替代方案。我们将Cerberus实例化在从一家大型安全公司的入侵预防产品中获得的数据集上,并评估其有关实用程序,鲁棒性和隐私性,以及参与者如何从系统中贡献和受益。总体而言,我们的工作阐明了将FL执行此任务的积极方面和挑战,并为部署联合方法以进行预测安全铺平了道路。
translated by 谷歌翻译
联合学习(FL)通过设计为参与同行提供了自主性和隐私,他们合作地建立了机器学习(ML)模型,同时将其私人数据保存在设备中。但是,同样的自主权通过进行不靶向或有针对性的中毒攻击来使恶意同伴毒害该模型的大门打开了大门。标签弹性(LF)攻击是一种有针对性的中毒攻击,攻击者通过将一些示例的标签从一个类(即源类)转换为另一个类别(即目标类别)来毒害他们的训练数据。不幸的是,这种攻击易于执行,难以检测,并且对全球模型的性能产生负面影响。现有针对LF的防御措施受到对同龄人数据分布和/或使用高维模型的表现不佳的假设的限制。在本文中,我们深入研究了LF攻击行为,并发现攻击者和诚实的同伴在源类示例上的矛盾目标反映在与输出层中源和目标类的相对应的参数梯度中梯度良好的攻击检测特征。因此,我们提出了一种新颖的防御,首先将这些梯度从同龄人的本地更新中动态提取,然后将提取的梯度簇,分析产生的簇,并在模型聚合之前过滤潜在的不良更新。对三个数据集的广泛经验分析显示,无论数据分布或模型维度如何,建议的防御力对LF攻击的有效性。此外,拟议的防御能力通过提供较低的测试错误,更高的总体准确性,更高的源类准确性,较低的攻击成功率和较高的源类准确性稳定性来优于几个最先进的防御能力。
translated by 谷歌翻译
Split Learning (SL) and Federated Learning (FL) are two prominent distributed collaborative learning techniques that maintain data privacy by allowing clients to never share their private data with other clients and servers, and fined extensive IoT applications in smart healthcare, smart cities, and smart industry. Prior work has extensively explored the security vulnerabilities of FL in the form of poisoning attacks. To mitigate the effect of these attacks, several defenses have also been proposed. Recently, a hybrid of both learning techniques has emerged (commonly known as SplitFed) that capitalizes on their advantages (fast training) and eliminates their intrinsic disadvantages (centralized model updates). In this paper, we perform the first ever empirical analysis of SplitFed's robustness to strong model poisoning attacks. We observe that the model updates in SplitFed have significantly smaller dimensionality as compared to FL that is known to have the curse of dimensionality. We show that large models that have higher dimensionality are more susceptible to privacy and security attacks, whereas the clients in SplitFed do not have the complete model and have lower dimensionality, making them more robust to existing model poisoning attacks. Our results show that the accuracy reduction due to the model poisoning attack is 5x lower for SplitFed compared to FL.
translated by 谷歌翻译
由于联邦学习(FL)的分布性质,研究人员发现FL容易受到后门攻击的影响,该攻击旨在将子任务注入FL而不破坏主要任务的性能。当在FL模型收敛上注入时,单发后门攻击在主要任务和后门子任务上都可以达到高度精度。但是,早期注射的单发后门攻击是无效的,因为:(1)由于正常局部更新的稀释效果,在注射时未达到最大的后门效果; (2)后门效应迅速下降,因为后门将被新的普通本地更新所覆盖。在本文中,我们利用FL模型信息泄漏加强了早期注射的单发后门攻击。我们表明,如果客户在模拟整个人群的分布和梯度的数据集上进行训练,则可以加快FL收敛速度。基于这一观察结果,我们提出了两阶段的后门攻击,其中包括随后的后门攻击的初步阶段。在初步阶段,受攻击者控制的客户首先启动了整个人口分布推理攻击,然后在本地制作的数据集上进行训练,该数据集与梯度和推断分布保持一致。从初步阶段中受益,后来注射的后门实现了更好的有效性,因为后门效应不太可能被普通模型更新稀释。在各种数据异质性设置下,在MNIST数据集上进行了广泛的实验,以评估拟议的后门攻击的有效性。结果表明,即使有防御机制,该提议的后门以成功率和寿命都优于现有的后门攻击。
translated by 谷歌翻译
由于其在广泛的协作学习任务中的成功,联邦学习框架的普及程度越来越多,也引起了有关学习模型的某些安全问题,因为恶意客户可能参与学习过程。因此,目的是消除恶意参与者的影响,并确保最终模型是可信赖的。关于拜占庭攻击的一个常见观察结果是,客户的模型/更新之间的差异越高,隐藏攻击的空间就越多。为此,最近已经表明,通过利用动量,从而减少了方差,可以削弱已知的拜占庭攻击的强度。居中的剪裁框架(ICML 2021)进一步表明,除了降低差异外,从上一个迭代中的动量项可以用作中和拜占庭式攻击并显示出对知名攻击的令人印象深刻的表现。但是,在这项工作的范围内,我们表明居中的剪裁框架具有某些漏洞,并且可以根据这些漏洞来修订现有的攻击,以规避居中的剪裁防御。因此,我们介绍了一种设计攻击的策略,以规避居中的剪裁框架,并通过将测试准确性降低到最佳场景中的5-40,从而在数值上说明了其针对中心剪裁的有效性以及其他已知的防御策略。
translated by 谷歌翻译
联合学习(FL)允许多个客户端在私人数据上协作训练神经网络(NN)模型,而不会显示数据。最近,已经介绍了针对FL的几种针对性的中毒攻击。这些攻击将后门注入到所产生的模型中,允许对抗控制的输入被错误分类。抵抗后门攻击的现有对策效率低,并且通常仅旨在排除偏离聚合的偏离模型。然而,这种方法还删除了具有偏离数据分布的客户端的良性模型,导致聚合模型对这些客户端执行不佳。为了解决这个问题,我们提出了一种深入的模型过滤方法,用于减轻后门攻击。它基于三种新颖的技术,允许表征用于培训模型更新的数据的分布,并寻求测量NNS内部结构和输出中的细粒度差异。使用这些技术,DeepSight可以识别可疑的模型更新。我们还开发了一种可以准确集群模型更新的方案。结合两个组件的结果,DeepSight能够识别和消除含有高攻击模型的模型集群,具有高攻击影响。我们还表明,可以通过现有的基于重量剪切的防御能力减轻可能未被发现的中毒模型的后门贡献。我们评估了深度的性能和有效性,并表明它可以减轻最先进的后门攻击,对模型对良性数据的性能的影响忽略不计。
translated by 谷歌翻译
联合学习(FL)提供了一个有效的范式,可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户,因此一些研究表明,FL容易受到中毒攻击的影响。同时,为了保护本地用户的隐私,FL始终以差异性私人方式(DPFL)进行培训。因此,在本文中,我们问:我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性?我们可以进一步改善FL的隐私以改善这种认证吗?我们首先研究了FL的用户级和实例级别的隐私,并提出了新的机制以获得改进的实例级隐私。然后,我们提供两个鲁棒性认证标准:两级DPFL的认证预测和认证攻击成本。从理论上讲,我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲,我们进行了广泛的实验,以在对不同数据集的一系列攻击下验证我们的理论。我们表明,具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证,但是在隐私保护和公用事业损失之间的适当平衡下,获得了最佳认证预测。
translated by 谷歌翻译
联邦学习本质上很容易模拟中毒攻击,因为其分散性质允许攻击者参与受损的设备。在模型中毒攻击中,攻击者通过上传“中毒”更新来降低目标子任务(例如,作为鸟类的分类平面)模型的性能。在本报告中,我们介绍\ algoname {},这是一种使用全局Top-K更新稀疏和设备级渐变剪辑来减轻模型中毒攻击的新型防御。我们提出了一个理论框架,用于分析防御抗毒攻击的稳健性,并提供我们算法的鲁棒性和收敛性分析。为了验证其经验效率,我们在跨多个基准数据集中进行开放源评估,用于计算机愿景和联合学习。
translated by 谷歌翻译