Federated Learning是一个私人设计的分布式学习范式，客户在中央服务器汇总本地更新以计算全局模型之前，客户在自己的数据上训练本地模型。根据所使用的聚合方法，本地更新是本地学习模型的梯度或权重。最近的重建攻击对单个MiniBatch的梯度更新应用了梯度反演优化，以重建客户在培训期间使用的私人数据。由于最新的重建攻击仅关注单个更新，因此忽略了现实的对抗场景，例如跨多个小型批次训练的多个更新和更新。一些研究考虑了一个更具挑战性的对抗场景，在该场景中，只能根据多个迷你批次进行模型更新，并且可以观察到计算昂贵的模拟，以解开每个本地步骤的基本样本。在本文中，我们提出了一种新型的近似梯度反转攻击，可有效，有效地重建来自模型或梯度更新的图像，以及跨多个时期。简而言之，agic（i）近似于模型更新中使用的训练样本的梯度更新，以避免昂贵的仿真程序，（ii）利用从多个时期收集的梯度/模型更新，（iii）将权重增加到相对于层的重量增加重建质量的神经网络结构。我们在三个数据集CIFAR-10，CIFAR-100和Imagenet上广泛评估AGIC。我们的结果表明，与两种代表性的最先进的梯度反演攻击相比，AGIC将峰值信噪比（PSNR）提高了50％。此外，AGIC的速度比基于最新的模拟攻击快，例如，在模型更新之间使用8个本地步骤攻击FedAvg时，它的速度快5倍。
translated by 谷歌翻译
最近的攻击表明，可以从FEDSGD更新中恢复用户数据，从而破坏隐私。但是，这些攻击具有有限的实际相关性，因为联邦学习通常使用FedAvg算法。与FEDSGD相比，从FedAvg更新中恢复数据要困难得多，因为：（i）更新是在未观察到的中间网络权重计算的，（ii）使用大量批次，并且（iii）标签和网络权重在客户端上同时不同脚步。在这项工作中，我们提出了一项新的基于优化的攻击，该攻击通过解决上述挑战来成功攻击FedAvg。首先，我们使用自动差异化解决了优化问题，该分化迫使客户端更新的仿真，该更新生成了恢复的标签和输入的未观察到的参数，以匹配接收到的客户端更新。其次，我们通过将来自不同时期的图像与置换不变的先验联系起来来解决大量批处理。第三，我们通过在每个FedAvg步骤中估算现有FEDSGD攻击的参数来恢复标签。在流行的女性数据集中，我们证明，平均而言，我们从现实的FedAvg更新中成功地恢复了> 45％的图像，该更新是在10个本地时期计算出的10批批次，每个批次，每个图像，每张5张图像，而使用基线仅<10％。我们的发现表明，基于FedAvg的许多现实世界联合学习实现非常脆弱。
translated by 谷歌翻译
近年来，分布式机器学习已被广泛用于解决大型且复杂的数据集问题。因此，分布式学习的安全也引起了学术界和行业的越来越多的注意。在这种情况下，联合学习（FL）是通过在本地维护私人培训数据来开发为“安全”分布式学习的，并且仅在之间进行公共模型梯度。但是，迄今为止，为此过程提出了各种梯度泄漏攻击，并证明它是不安全的。例如，共享这些攻击的常见缺点：它们需要过多的辅助信息，例如模型权重，优化者和某些超参数（例如，学习率），在实际情况下很难获得。此外，许多现有算法避免在FL中传输模型梯度，然后转向发送模型权重，例如FedAvg，但很少有人认为其安全性违反。在本文中，我们提出了两个新颖的框架，以证明传输模型权重还可能在FL方案下泄露客户端局部数据，即（DLM和DLM+）。此外，进行了许多实验，以说明我们的攻击框架的效果和普遍性。在本文的最后，我们还向拟议的攻击介绍了两个防御，并评估了它们的保护效果。全面地，只有一些适当的自定义，拟议的攻击和防御方案也可以应用于一般分布式学习方案。
translated by 谷歌翻译
联邦学习（FL）提供了有希望的分布式学习范式，因为它试图通过不共享其私人培训数据来保护用户隐私。但是，最近的研究表明，FL容易受到模型反转攻击的影响，该攻击可以通过窃听共享梯度来重建用户的私人数据。现有的防御解决方案无法在更强烈的攻击中生存，并且在隐私和绩效之间表现不佳。在本文中，我们提出了一种直接而有效的防御策略，基于与隐藏数据相混淆敏感数据的梯度。具体而言，我们在迷你批次中更改一些样品，以模仿梯度水平的敏感数据。使用梯度投影技术，我们的方法试图在不牺牲FL性能的情况下模糊敏感数据。我们广泛的评估表明，与其他防御能力相比，我们的技术在保留FL性能的同时提供了最高水平的保护。我们的源代码位于存储库中。
translated by 谷歌翻译
联合学习已被提议作为隐私的机器学习框架，该框架使多个客户能够在不共享原始数据的情况下进行协作。但是，在此框架中，设计并不能保证客户隐私保护。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击的影响。但是，实际上，考虑到高沟通成本或由于增强隐私要求，客户可能不会传输原始梯度。实证研究表明，梯度混淆，包括通过梯度噪声注入和通过梯度压缩的无意化混淆的意图混淆，可以提供更多的隐私保护，以防止重建攻击。在这项工作中，我们提出了一个针对联合学习中图像分类任务的新数据重建攻击框架。我们表明，通常采用的梯度后处理程序，例如梯度量化，梯度稀疏和梯度扰动，可能会在联合学习中具有错误的安全感。与先前的研究相反，我们认为不应将隐私增强视为梯度压缩的副产品。此外，我们在提出的框架下设计了一种新方法，以在语义层面重建图像。我们量化语义隐私泄漏，并根据图像相似性分数进行比较。我们的比较挑战了文献中图像数据泄漏评估方案。结果强调了在现有联合学习算法中重新审视和重新设计对客户数据的隐私保护机制的重要性。
translated by 谷歌翻译
利用梯度泄漏以重建据称为私人培训数据，梯度反演攻击是神经网络协作学习的无处不在威胁。为了防止梯度泄漏而不会遭受模型绩效严重损失的情况，最近的工作提出了一个基于变化模型作为任意模型体系结构的扩展的隐私增强模块（预编码）。在这项工作中，我们研究了预言对梯度反转攻击的影响，以揭示其基本的工作原理。我们表明，各变化建模会引起预科及其随后的层梯度的随机性，从而阻止梯度攻击的收敛性。通过在攻击优化期间有目的地省略那些随机梯度，我们制定了一种可以禁用Precode隐私保护效果的攻击。为了确保对这种有针对性攻击的隐私保护，我们将部分扰动（PPP）提出，作为变异建模和部分梯度扰动的战略组合。我们对四个开创性模型架构和两个图像分类数据集进行了广泛的实证研究。我们发现所有架构都容易梯度泄漏，可以通过PPP预防。因此，我们表明我们的方法需要较小的梯度扰动才能有效地保留隐私而不会损害模型性能。
translated by 谷歌翻译
联合学习使多个用户能够通过共享其模型更新（渐变）来构建联合模型，而其原始数据在其设备上保持本地。与常见的信念相比，这提供了隐私福利，我们在共享渐变时，我们在这里增加了隐私风险的最新结果。具体而言，我们调查梯度（LLG）的标签泄漏，这是一种新建攻击，从他们的共享梯度提取用户培训数据的标签。该攻击利用梯度的方向和幅度来确定任何标签的存在或不存在。 LLG简单且有效，能够泄漏由标签表示的电位敏感信息，并缩放到任意批量尺寸和多个类别。在数学上以及经验上证明了不同设置下攻击的有效性。此外，经验结果表明，LLG在模型训练的早期阶段以高精度成功提取标签。我们还讨论了针对这种泄漏的不同防御机制。我们的研究结果表明，梯度压缩是减轻攻击的实用技术。
translated by 谷歌翻译
对联合学习系统的梯度反转攻击从交换的梯度信息中重建客户培训数据。为了防止这种攻击，提出了各种防御机制。但是，它们通常会导致隐私和模型效用之间的不可接受的权衡。最近的观察结果表明，如果添加到神经网络中，辍学可以减轻梯度泄漏并改善模型实用性。不幸的是，这种现象尚未系统地研究。在这项工作中，我们彻底分析了辍学对迭代梯度反转攻击的影响。我们发现，由于模型训练过程中辍学引起的随机性，最先进的攻击状态无法重建客户数据。尽管如此，我们认为，如果在攻击优化期间对辍学引起的随机性进行了充分的建模，则辍学者不会提供可靠的保护。因此，我们提出了一种新型的辍学反转攻击（DIA），该攻击（DIA）共同优化了客户数据和辍学蒙版，以近似随机客户端模型。我们对我们对四个开创模型架构的攻击和三个图像分类数据集进行了广泛的系统评估。我们发现，我们提出的攻击绕过了似乎是由辍学引起的保护，并以高保真度重建客户数据。我们的工作表明，不能假定仅仅诱导模型架构变化的隐私变化以可靠地保护梯度泄漏，因此应与互补的防御机制结合使用。
translated by 谷歌翻译
梯度反转攻击（或从梯度的输入恢复）是对联合学习的安全和隐私保存的新出现威胁，由此，协议中的恶意窃听者或参与者可以恢复（部分）客户的私有数据。本文评估了现有的攻击和防御。我们发现一些攻击对设置产生了强烈的假设。放松这种假设可以大大削弱这些攻击。然后，我们评估三种拟议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄漏和数据效用的权衡，并发现以适当的方式将它们与它们相结合使得攻击较低，即使在原始的强烈假设下。我们还估计每个评估的防御下单个图像的端到端恢复的计算成本。我们的研究结果表明，目前可以针对较小的数据公用事业损失来捍卫最先进的攻击，如潜在策略的列表中总结。我们的代码可用于：https：//github.com/princeton-sysml/gradattack。
translated by 谷歌翻译
在联合学习（FL）中，数据不会在联合培训机器学习模型时留下个人设备。相反，这些设备与中央党（例如，公司）共享梯度。因为数据永远不会“离开”个人设备，因此FL作为隐私保留呈现。然而，最近显示这种保护是一个薄的外观，甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中，我们争辩说，事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者，这些攻击者是诚实但好奇的。相反，我们介绍了一个活跃和不诚实的攻击者，作为中央会，他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据，并在接近零成本时：攻击不需要复杂的优化目标。相反，它利用了模型梯度的固有数据泄漏，并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点，我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后，我们考虑缓解。我们观察到，FL中的差异隐私（DP）的当前实现是有缺陷的，因为它们明确地信任中央会，并在增加DP噪音的关键任务，因此不提供对恶意中央党的保护。我们还考虑其他防御，并解释为什么它们类似地不足。它需要重新设计FL，为用户提供任何有意义的数据隐私。
translated by 谷歌翻译
联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。
translated by 谷歌翻译
我们考虑从多个移动设备收集的测量预测蜂窝网络性能（信号映射）的问题。我们制定在线联合学习框架内的问题：（i）联合学习（FL）使用户能够协作培训模型，同时保持其培训数据; （ii）由于用户移动随着时间的推移，并且用于以在线方式用于本地培训，因此收集测量。我们考虑一个诚实但很好的服务器，他们使用梯度（DLG）类型的攻击深泄漏来观察来自目标用户的更新，并使用深度泄漏（DLG）类型的攻击，最初开发的是重建DNN图像分类器的训练数据。我们使应用于我们的设置的DLG攻击的关键观察，Infers Infers Infers批次的本地数据的平均位置，因此可以用于以粗糙粒度重建目标用户的轨迹。我们表明，已经通过梯度的平均来提供适度的隐私保护，这是联合平均所固有的。此外，我们提出了一种算法，该算法可以在本地应用，以策划用于本地更新的批次，以便在不伤害实用程序的情况下有效保护其位置隐私。最后，我们表明，参与FL的多个用户的效果取决于其轨迹的相似性。据我们所知，这是第一次研究DLG攻击在众群时空数据的环境中。
translated by 谷歌翻译
联合学习允许一组用户在私人训练数据集中培训深度神经网络。在协议期间，数据集永远不会留下各个用户的设备。这是通过要求每个用户向中央服务器发送“仅”模型更新来实现，从而汇总它们以更新深神经网络的参数。然而，已经表明，每个模型更新都具有关于用户数据集的敏感信息（例如，梯度反转攻击）。联合学习的最先进的实现通过利用安全聚合来保护这些模型更新：安全监控协议，用于安全地计算用户的模型更新的聚合。安全聚合是关键，以保护用户的隐私，因为它会阻碍服务器学习用户提供的个人模型更新的源，防止推断和数据归因攻击。在这项工作中，我们表明恶意服务器可以轻松地阐明安全聚合，就像后者未到位一样。我们设计了两种不同的攻击，能够在参与安全聚合的用户数量上，独立于参与安全聚合的用户数。这使得它们在大规模现实世界联邦学习应用中的具体威胁。攻击是通用的，不瞄准任何特定的安全聚合协议。即使安全聚合协议被其理想功能替换为提供完美的安全性的理想功能，它们也同样有效。我们的工作表明，安全聚合与联合学习相结合，当前实施只提供了“虚假的安全感”。
translated by 谷歌翻译
联合学习（FL）是一个新的人工智能概念，它使得互联网（IoT）设备能够学习协作模型，而无需将原始数据发送到集中的节点进行处理。尽管有许多优势，但在物联网设备上的计算资源较低，交换模型参数的高通信成本使得FL在大型物联网网络中的应用非常有限。在这项工作中，我们为非常大的物联网网络开发了一种新型的FL压缩方案，称为高压联合学习（HCFL）。 HCFL可以减少FL过程的数据负载，而无需更改其结构和超参数。通过这种方式，我们不仅可以显着降低沟通成本，而且使密集学习过程更适应低计算资源的物联网设备。此外，我们研究了IoT设备数量与FL模型的收敛水平之间的关系，从而更好地评估了FL过程的质量。我们在模拟和数学分析中演示了HCFL方案。我们提出的理论研究可以用作最低满意度的水平，证明在满足确定的配置时，FL过程可以实现良好的性能。因此，我们表明HCFL适用于具有许多物联网设备的任何FLENTECTED网络。
translated by 谷歌翻译
我们调查分裂学习的安全 - 一种新颖的协作机器学习框架，通过需要最小的资源消耗来实现峰值性能。在本文中，我们通过介绍客户私人培训集重建的一般攻击策略来揭示议定书的脆弱性并展示其固有的不安全。更突出地，我们表明恶意服务器可以积极地劫持分布式模型的学习过程，并将其纳入不安全状态，从而为客户端提供推动攻击。我们实施不同的攻击调整，并在各种数据集中测试它们以及现实的威胁方案。我们证明我们的攻击能够克服最近提出的防御技术，旨在提高分裂学习议定书的安全性。最后，我们还通过扩展以前设计的联合学习的攻击来说明协议对恶意客户的不安全性。要使我们的结果可重复，我们会在https://github.com/pasquini-dario/splitn_fsha提供的代码。
translated by 谷歌翻译
联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。
translated by 谷歌翻译
联合学习（FL）是一种分布式机器学习方法，其中多个客户在不交换数据的情况下协作培训联合模型。尽管FL在数据隐私保护方面取得了前所未有的成功，但其对自由骑手攻击的脆弱性吸引了人们越来越多的关注。现有的防御能力可能对高度伪装或高百分比的自由骑手无效。为了应对这些挑战，我们从新颖的角度重新考虑防御，即模型重量不断发展的频率。从经验上讲，我们获得了一种新颖的见解，即在FL的训练中，模型权重的频率不断发展，自由骑机的频率和良性客户的频率显着不同的。受到这种见解的启发，我们提出了一种基于模型权重演化频率的新型防御方法，称为WEF-DEFENSE。特别是，我们在本地训练期间首先收集重量演变的频率（定义为WEF-MATRIX）。对于每个客户端，它将本地型号的WEF-Matrix与每个迭代的模型重量一起上传到服务器。然后，服务器根据WEF-Matrix的差异将自由骑士与良性客户端分开。最后，服务器使用个性化方法为相应的客户提供不同的全局模型。在五个数据集和五个模型上进行的全面实验表明，与最先进的基线相比，WEF防御能力更好。
translated by 谷歌翻译
个性化联合学习（FL）是佛罗里达州的一个新兴研究领域，在客户之间存在数据异质性的情况下，可以学习一个易于适应的全球模型。但是，个性化FL的主要挑战之一是，由于客户数据与服务器隔离以确保隐私，因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题，我们专注于服务器可以独立于客户数据独立于客户数据的问题设置，这是各种应用程序中普遍的问题设置，但在现有文献中相对尚未探索。具体而言，我们提出了FedSim，这是一种针对个性化FL的新方法，该方法积极利用此类服务器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上，我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法，通过计算服务器中的完整元梯度，在计算上更有效，并且收敛速度高达34.2％。
translated by 谷歌翻译
联邦学习（FL）引起了人们对在存储在多个用户中的数据中启用隐私的机器学习的兴趣，同时避免将数据移动到偏离设备上。但是，尽管数据永远不会留下用户的设备，但仍然无法保证隐私，因为用户培训数据的重大计算以训练有素的本地模型的形式共享。最近，这些本地模型通过不同的隐私攻击（例如模型反演攻击）构成了实质性的隐私威胁。作为一种补救措施，通过保证服务器只能学习全局聚合模型更新，而不是单个模型更新，从而开发了安全汇总（SA）作为保护佛罗里达隐私的框架。尽管SA确保没有泄漏有关单个模型更新超出汇总模型更新的其他信息，但对于SA实际上可以提供多少私密性fl，没有正式的保证；由于有关单个数据集的信息仍然可以通过在服务器上计算的汇总模型泄漏。在这项工作中，我们对使用SA的FL的正式隐私保证进行了首次分析。具体而言，我们使用共同信息（MI）作为定量度量，并在每个用户数据集的信息上可以通过汇总的模型更新泄漏有关多少信息。当使用FEDSGD聚合算法时，我们的理论界限表明，隐私泄漏量随着SA参与FL的用户数量而线性减少。为了验证我们的理论界限，我们使用MI神经估计量来凭经验评估MNIST和CIFAR10数据集的不同FL设置下的隐私泄漏。我们的实验验证了FEDSGD的理论界限，随着用户数量和本地批量的增长，隐私泄漏的减少，并且随着培训回合的数量，隐私泄漏的增加。
translated by 谷歌翻译
由于联邦学习（FL）的分布性质，研究人员发现FL容易受到后门攻击的影响，该攻击旨在将子任务注入FL而不破坏主要任务的性能。当在FL模型收敛上注入时，单发后门攻击在主要任务和后门子任务上都可以达到高度精度。但是，早期注射的单发后门攻击是无效的，因为：（1）由于正常局部更新的稀释效果，在注射时未达到最大的后门效果； （2）后门效应迅速下降，因为后门将被新的普通本地更新所覆盖。在本文中，我们利用FL模型信息泄漏加强了早期注射的单发后门攻击。我们表明，如果客户在模拟整个人群的分布和梯度的数据集上进行训练，则可以加快FL收敛速度。基于这一观察结果，我们提出了两阶段的后门攻击，其中包括随后的后门攻击的初步阶段。在初步阶段，受攻击者控制的客户首先启动了整个人口分布推理攻击，然后在本地制作的数据集上进行训练，该数据集与梯度和推断分布保持一致。从初步阶段中受益，后来注射的后门实现了更好的有效性，因为后门效应不太可能被普通模型更新稀释。在各种数据异质性设置下，在MNIST数据集上进行了广泛的实验，以评估拟议的后门攻击的有效性。结果表明，即使有防御机制，该提议的后门以成功率和寿命都优于现有的后门攻击。
translated by 谷歌翻译