联合学习（FL）旨在对多个数据所有者持有的分布式数据执行隐私的机器学习。为此，FL要求数据所有者在本地执行培训，并与中央服务器共享梯度更新（而不是私人输入），然后将其安全地汇总在多个数据所有者上。尽管汇总本身并不能证明提供隐私保护，但先前的工作表明，如果批处理大小足够大，则足够了。在本文中，我们提出了鸡尾酒会攻击（CPA），与先前的信念相反，能够从汇总的渐变中恢复私人输入，这是批量较大的大小。 CPA利用了至关重要的见解，即来自完全连接的层的总梯度是其输入的线性组合，这使我们将梯度反演作为盲源分离（BSS）问题（非正式地称为鸡尾酒会问题）。我们适应独立的组件分析（ICA） - BSS问题的经典解决方案 - 恢复针对完全连接和卷积网络的私人输入，并表明CPA明显优于先前的梯度反转攻击，对成像网的输入量表，并表现出Imagenet大小的输入的范围最高可达1024的大批量。

梯度反转攻击（或从梯度的输入恢复）是对联合学习的安全和隐私保存的新出现威胁，由此，协议中的恶意窃听者或参与者可以恢复（部分）客户的私有数据。本文评估了现有的攻击和防御。我们发现一些攻击对设置产生了强烈的假设。放松这种假设可以大大削弱这些攻击。然后，我们评估三种拟议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄漏和数据效用的权衡，并发现以适当的方式将它们与它们相结合使得攻击较低，即使在原始的强烈假设下。我们还估计每个评估的防御下单个图像的端到端恢复的计算成本。我们的研究结果表明，目前可以针对较小的数据公用事业损失来捍卫最先进的攻击，如潜在策略的列表中总结。我们的代码可用于：https：//github.com/princeton-sysml/gradattack。

在联合学习（FL）中，数据不会在联合培训机器学习模型时留下个人设备。相反，这些设备与中央党（例如，公司）共享梯度。因为数据永远不会“离开”个人设备，因此FL作为隐私保留呈现。然而，最近显示这种保护是一个薄的外观，甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中，我们争辩说，事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者，这些攻击者是诚实但好奇的。相反，我们介绍了一个活跃和不诚实的攻击者，作为中央会，他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据，并在接近零成本时：攻击不需要复杂的优化目标。相反，它利用了模型梯度的固有数据泄漏，并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点，我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后，我们考虑缓解。我们观察到，FL中的差异隐私（DP）的当前实现是有缺陷的，因为它们明确地信任中央会，并在增加DP噪音的关键任务，因此不提供对恶意中央党的保护。我们还考虑其他防御，并解释为什么它们类似地不足。它需要重新设计FL，为用户提供任何有意义的数据隐私。

Federated Learning是一个私人设计的分布式学习范式，客户在中央服务器汇总本地更新以计算全局模型之前，客户在自己的数据上训练本地模型。根据所使用的聚合方法，本地更新是本地学习模型的梯度或权重。最近的重建攻击对单个MiniBatch的梯度更新应用了梯度反演优化，以重建客户在培训期间使用的私人数据。由于最新的重建攻击仅关注单个更新，因此忽略了现实的对抗场景，例如跨多个小型批次训练的多个更新和更新。一些研究考虑了一个更具挑战性的对抗场景，在该场景中，只能根据多个迷你批次进行模型更新，并且可以观察到计算昂贵的模拟，以解开每个本地步骤的基本样本。在本文中，我们提出了一种新型的近似梯度反转攻击，可有效，有效地重建来自模型或梯度更新的图像，以及跨多个时期。简而言之，agic（i）近似于模型更新中使用的训练样本的梯度更新，以避免昂贵的仿真程序，（ii）利用从多个时期收集的梯度/模型更新，（iii）将权重增加到相对于层的重量增加重建质量的神经网络结构。我们在三个数据集CIFAR-10，CIFAR-100和Imagenet上广泛评估AGIC。我们的结果表明，与两种代表性的最先进的梯度反演攻击相比，AGIC将峰值信噪比（PSNR）提高了50％。此外，AGIC的速度比基于最新的模拟攻击快，例如，在模型更新之间使用8个本地步骤攻击FedAvg时，它的速度快5倍。

由于其隐私和效率的承诺，联邦学习（FL）迅速上升。以前的工作通过从梯度更新中恢复用户数据，在FL管道中暴露了隐私漏洞。但是，现有的攻击无法解决现实设置，因为它们要么1）要求具有很小批量尺寸的玩具设置，要么2）需要不现实且引人注目的架构修改。我们引入了一种新的策略，该策略会大大提高现有攻击，以在任意大小的批次上运行，并且没有建筑修改。我们的模型不合时宜的策略仅需要对发送给用户的模型参数进行修改，这在许多情况下都是现实的威胁模型。我们展示了挑战大规模设置的策略，在跨设备和联合学习中获得了高保真数据提取。

联邦学习（FL）提供了有希望的分布式学习范式，因为它试图通过不共享其私人培训数据来保护用户隐私。但是，最近的研究表明，FL容易受到模型反转攻击的影响，该攻击可以通过窃听共享梯度来重建用户的私人数据。现有的防御解决方案无法在更强烈的攻击中生存，并且在隐私和绩效之间表现不佳。在本文中，我们提出了一种直接而有效的防御策略，基于与隐藏数据相混淆敏感数据的梯度。具体而言，我们在迷你批次中更改一些样品，以模仿梯度水平的敏感数据。使用梯度投影技术，我们的方法试图在不牺牲FL性能的情况下模糊敏感数据。我们广泛的评估表明，与其他防御能力相比，我们的技术在保留FL性能的同时提供了最高水平的保护。我们的源代码位于存储库中。

最近的攻击表明，可以从FEDSGD更新中恢复用户数据，从而破坏隐私。但是，这些攻击具有有限的实际相关性，因为联邦学习通常使用FedAvg算法。与FEDSGD相比，从FedAvg更新中恢复数据要困难得多，因为：（i）更新是在未观察到的中间网络权重计算的，（ii）使用大量批次，并且（iii）标签和网络权重在客户端上同时不同脚步。在这项工作中，我们提出了一项新的基于优化的攻击，该攻击通过解决上述挑战来成功攻击FedAvg。首先，我们使用自动差异化解决了优化问题，该分化迫使客户端更新的仿真，该更新生成了恢复的标签和输入的未观察到的参数，以匹配接收到的客户端更新。其次，我们通过将来自不同时期的图像与置换不变的先验联系起来来解决大量批处理。第三，我们通过在每个FedAvg步骤中估算现有FEDSGD攻击的参数来恢复标签。在流行的女性数据集中，我们证明，平均而言，我们从现实的FedAvg更新中成功地恢复了> 45％的图像，该更新是在10个本地时期计算出的10批批次，每个批次，每个图像，每张5张图像，而使用基线仅<10％。我们的发现表明，基于FedAvg的许多现实世界联合学习实现非常脆弱。

联合学习允许一组用户在私人训练数据集中培训深度神经网络。在协议期间，数据集永远不会留下各个用户的设备。这是通过要求每个用户向中央服务器发送“仅”模型更新来实现，从而汇总它们以更新深神经网络的参数。然而，已经表明，每个模型更新都具有关于用户数据集的敏感信息（例如，梯度反转攻击）。联合学习的最先进的实现通过利用安全聚合来保护这些模型更新：安全监控协议，用于安全地计算用户的模型更新的聚合。安全聚合是关键，以保护用户的隐私，因为它会阻碍服务器学习用户提供的个人模型更新的源，防止推断和数据归因攻击。在这项工作中，我们表明恶意服务器可以轻松地阐明安全聚合，就像后者未到位一样。我们设计了两种不同的攻击，能够在参与安全聚合的用户数量上，独立于参与安全聚合的用户数。这使得它们在大规模现实世界联邦学习应用中的具体威胁。攻击是通用的，不瞄准任何特定的安全聚合协议。即使安全聚合协议被其理想功能替换为提供完美的安全性的理想功能，它们也同样有效。我们的工作表明，安全聚合与联合学习相结合，当前实施只提供了“虚假的安全感”。

最近的研究表明，训练样本可以从梯度中回收，这些梯度称为梯度反转（Gradinv）攻击。但是，仍然缺乏广泛的调查，涵盖了最近的进步和对该问题的彻底分析。在本文中，我们介绍了有关Gradinv的全面调查，旨在总结尖端研究并扩大不同领域的视野。首先，我们通过将现有攻击描述为两个范式：基于迭代和递归的攻击，提出了Gradinv攻击的分类法。特别是，我们从基于迭代的攻击中挖掘出一些关键成分，包括数据初始化，模型培训和梯度匹配。其次，我们总结了针对Gradinv攻击的新兴防御策略。我们发现这些方法侧重于三种观点，涵盖了数据的晦涩，模型改进和梯度保护。最后，我们讨论了一些有希望的方向和开放问题，以进行进一步研究。

最近的研究表明，私人培训数据可以通过分布式机器学习系统（例如联合学习）（如联合学习）（如FL）泄露。增加批量大小以使数据恢复复杂化，通常被视为防止数据泄漏的有希望的防御策略。在本文中，我们重新审视该防御前提，并提出了一种高级数据泄漏攻击，具有理论上的理由，以有效地从共享聚合渐变恢复批量数据。我们将所提出的方法称为垂直联合学习（Cafe）中的灾难性数据泄漏。与现有数据泄漏攻击相比，我们对垂直流程的广泛实验结果展示了CAFE的有效性，以提高数据恢复质量。我们还提出了减轻咖啡馆的实际对策。我们的结果表明，私人数据参与标准FL，特别是垂直情况，具有从训练梯度泄露的高风险。我们的分析意味着这些学习设置中的前所未有和实际的数据泄漏风险。我们的工作代码可在https://github.com/derafael/cafe上获得。

联邦学习（FL）引起了人们对在存储在多个用户中的数据中启用隐私的机器学习的兴趣，同时避免将数据移动到偏离设备上。但是，尽管数据永远不会留下用户的设备，但仍然无法保证隐私，因为用户培训数据的重大计算以训练有素的本地模型的形式共享。最近，这些本地模型通过不同的隐私攻击（例如模型反演攻击）构成了实质性的隐私威胁。作为一种补救措施，通过保证服务器只能学习全局聚合模型更新，而不是单个模型更新，从而开发了安全汇总（SA）作为保护佛罗里达隐私的框架。尽管SA确保没有泄漏有关单个模型更新超出汇总模型更新的其他信息，但对于SA实际上可以提供多少私密性fl，没有正式的保证；由于有关单个数据集的信息仍然可以通过在服务器上计算的汇总模型泄漏。在这项工作中，我们对使用SA的FL的正式隐私保证进行了首次分析。具体而言，我们使用共同信息（MI）作为定量度量，并在每个用户数据集的信息上可以通过汇总的模型更新泄漏有关多少信息。当使用FEDSGD聚合算法时，我们的理论界限表明，隐私泄漏量随着SA参与FL的用户数量而线性减少。为了验证我们的理论界限，我们使用MI神经估计量来凭经验评估MNIST和CIFAR10数据集的不同FL设置下的隐私泄漏。我们的实验验证了FEDSGD的理论界限，随着用户数量和本地批量的增长，隐私泄漏的减少，并且随着培训回合的数量，隐私泄漏的增加。

联合学习框架通常需要协作者共享共同模型的本地渐变更新，而不是共享培训数据以保留隐私。但是，在梯度泄漏攻击的事先工作表明，可以从梯度揭示私人培训数据。到目前为止，几乎所有相关工程都基于完全连接或卷积神经网络的攻击。鉴于近期适应变压器以解决多种愿景任务的绝大多大浪潮，调查视觉变压器的隐私风险是非常有价值的。在本文中，我们分析了基于自我关注机制的渐变泄漏风险，以理论和实用的方式。特别是，我们提出了4月 - 注意隐私泄漏，这对自我关注的博览会造成了强烈的威胁，如vit。展示视觉变压器如何通过梯度泄露隐私泄漏的风险，我们敦促设计隐私更安全的变压器模型和防守方案的重要性。

联合学习（FL），数据保留在联合客户端，并且仅与中央聚合器共享梯度更新是私人的。最近的工作表明，具有梯度级别访问权限的对手可以成功进行推理和重建攻击。在这种情况下，众所周知，差异化（DP）学习可以提供弹性。但是，现状中使用的方法（\ ie中央和本地DP）引入了不同的公用事业与隐私权衡权衡。在这项工作中，我们迈出了通过{\ em层次fl（HFL）}来缓解此类权衡的第一步。我们证明，通过引入一个新的中介层，可以添加校准的DP噪声，可以获得更好的隐私与公用事业权衡；我们称此{\ em层次结构DP（HDP）}。我们使用3个不同数据集的实验（通常用作FL的基准）表明HDP产生的模型与使用中央DP获得的模型一样准确，在中央聚集器处添加了噪声。这种方法还为推理对手提供了可比的好处，例如在本地DP案例中，在联合客户端添加了噪音。

近年来，分布式机器学习已被广​​泛用于解决大型且复杂的数据集问题。因此，分布式学习的安全也引起了学术界和行业的越来越多的注意。在这种情况下，联合学习（FL）是通过在本地维护私人培训数据来开发为“安全”分布式学习的，并且仅在之间进行公共模型梯度。但是，迄今为止，为此过程提出了各种梯度泄漏攻击，并证明它是不安全的。例如，共享这些攻击的常见缺点：它们需要过多的辅助信息，例如模型权重，优化者和某些超参数（例如，学习率），在实际情况下很难获得。此外，许多现有算法避免在FL中传输模型梯度，然后转向发送模型权重，例如FedAvg，但很少有人认为其安全性违反。在本文中，我们提出了两个新颖的框架，以证明传输模型权重还可能在FL方案下泄露客户端局部数据，即（DLM和DLM+）。此外，进行了许多实验，以说明我们的攻击框架的效果和普遍性。在本文的最后，我们还向拟议的攻击介绍了两个防御，并评估了它们的保护效果。全面地，只有一些适当的自定义，拟议的攻击和防御方案也可以应用于一般分布式学习方案。

联合学习已被提议作为隐私的机器学习框架，该框架使多个客户能够在不共享原始数据的情况下进行协作。但是，在此框架中，设计并不能保证客户隐私保护。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击的影响。但是，实际上，考虑到高沟通成本或由于增强隐私要求，客户可能不会传输原始梯度。实证研究表明，梯度混淆，包括通过梯度噪声注入和通过梯度压缩的无意化混淆的意图混淆，可以提供更多的隐私保护，以防止重建攻击。在这项工作中，我们提出了一个针对联合学习中图像分类任务的新数据重建攻击框架。我们表明，通常采用的梯度后处理程序，例如梯度量化，梯度稀疏和梯度扰动，可能会在联合学习中具有错误的安全感。与先前的研究相反，我们认为不应将隐私增强视为梯度压缩的副产品。此外，我们在提出的框架下设计了一种新方法，以在语义层面重建图像。我们量化语义隐私泄漏，并根据图像相似性分数进行比较。我们的比较挑战了文献中图像数据泄漏评估方案。结果强调了在现有联合学习算法中重新审视和重新设计对客户数据的隐私保护机制的重要性。

Deep learning (DL) methods have been widely applied to anomaly-based network intrusion detection system (NIDS) to detect malicious traffic. To expand the usage scenarios of DL-based methods, the federated learning (FL) framework allows multiple users to train a global model on the basis of respecting individual data privacy. However, it has not yet been systematically evaluated how robust FL-based NIDSs are against existing privacy attacks under existing defenses. To address this issue, we propose two privacy evaluation metrics designed for FL-based NIDSs, including (1) privacy score that evaluates the similarity between the original and recovered traffic features using reconstruction attacks, and (2) evasion rate against NIDSs using Generative Adversarial Network-based adversarial attack with the reconstructed benign traffic. We conduct experiments to show that existing defenses provide little protection that the corresponding adversarial traffic can even evade the SOTA NIDS Kitsune. To defend against such attacks and build a more robust FL-based NIDS, we further propose FedDef, a novel optimization-based input perturbation defense strategy with theoretical guarantee. It achieves both high utility by minimizing the gradient distance and strong privacy protection by maximizing the input distance. We experimentally evaluate four existing defenses on four datasets and show that our defense outperforms all the baselines in terms of privacy protection with up to 7 times higher privacy score, while maintaining model accuracy loss within 3% under optimal parameter combination.

数据隐私已成为机器学习（ML）日益重要的问题，其中许多方法已经发展以解决这一挑战，例如，这一挑战加密（同性恋加密（HE），差异隐私（DP）等）和协作培训（安全多方计算（MPC），分布式学习和联合学习（FL））。这些技术特别侧重于数据加密或安全本地计算。他们将中间信息转移到第三方以计算最终结果。梯度交换通常被认为是在深度学习（DL）中协同训练鲁棒模型的安全方式。然而，最近的研究表明，可以从共享梯度恢复敏感信息。特别地，生成的对抗网络（GaN）已显示有效地恢复这些信息。然而，基于GaN的技术需要附加信息，例如类标签，这些标签通常不可用才能获得隐私保留的学习。在本文中，我们表明，在FL系统中，仅通过我们所提出的生成回归神经网络（GRNN）只能通过共享梯度全额从共享梯度容易地恢复基于图像的隐私数据。我们制定攻击是回归问题，并通过最小化梯度之间的距离来优化生成模型的两个分支。我们在几种图像分类任务上评估我们的方法。结果说明我们所提出的GNN优于最先进的方法，具有更好的稳定性，更强的鲁棒性和更高的准确性。它对全球流动模型也没有收敛要求。此外，我们使用面部重新识别来展示信息泄漏。在这项工作中还讨论了一些防御策略。

对协作学习的实证攻击表明，深度神经网络的梯度不仅可以披露训练数据的私有潜在属性，还可以用于重建原始数据。虽然先前的作品试图量化了梯度的隐私风险，但这些措施没有建立理论上对梯度泄漏的理解了解，而不是跨越攻击者的概括，并且不能完全解释通过实际攻击在实践中通过实证攻击观察到的内容。在本文中，我们介绍了理论上激励的措施，以量化攻击依赖和攻击无关方式的信息泄漏。具体而言，我们展示了$ \ mathcal {v} $ - 信息的适应，它概括了经验攻击成功率，并允许量化可以从任何所选择的攻击模型系列泄漏的信息量。然后，我们提出了独立的措施，只需要共享梯度，用于量化原始和潜在信息泄漏。我们的经验结果，六个数据集和四种流行型号，揭示了第一层的梯度包含最高量的原始信息，而（卷积）特征提取器层之后的（完全连接的）分类层包含最高的潜在信息。此外，我们展示了如何在训练期间诸如梯度聚集的技术如何减轻信息泄漏。我们的工作为更好的防御方式铺平了道路，例如基于层的保护或强聚合。

联邦学习是一种培训机器学习模型而不共享培训数据的既定方法。但是，最近的工作表明，它不能保证数据隐私，因为共享梯度仍然可以泄漏敏感信息。为了将渐变泄漏问题正式化，我们提出了一种理论框架，首次对贝叶斯最佳对手被扣除作为优化问题的理论框架。我们证明现有的泄漏攻击可以看作是对输入数据和梯度的概率分布的不同假设的这种最佳对手的近似。我们的实验证实了贝叶斯最佳对手的有效性，当它具有潜在的潜在分布时。此外，我们的实验评估表明，几种现有的启发式防御对于更强的攻击无效，特别是在培训过程中。因此，我们的研究结果表明，建设更有效的防御和他们的评价仍然是一个公开问题。

隐私权联合学习允许多个用户与中央服务器协调共同培训模型。服务器仅学习最终聚合结果，从而防止用户（私有）培训数据从单个模型更新中泄漏。但是，保持单个更新私有，使恶意用户可以执行拜占庭式攻击并降低模型准确性，而无需检测到。针对拜占庭工人的最佳防御能力依赖于基于排名的统计数据，例如中位数，以查找恶意更新。但是，在安全域中实施基于隐私的排名统计信息在安全域中是不平淡无奇的，因为它需要对所有单个更新进行排序。我们建立了第一个私人鲁棒性检查，该检查在汇总模型更新上使用基于高断点等级的统计信息。通过利用随机聚类，我们在不损害隐私的情况下显着提高了防御的可扩展性。我们利用零知识证明中的派生统计界限来检测和删除恶意更新，而无需透露私人用户更新。我们的新颖框架Zprobe可以使拜占庭式的弹性和安全的联合学习。经验评估表明，Zprobe提供了低架空解决方案，以防御最新的拜占庭袭击，同时保留隐私。