Federated Learning (FL) is pervasive in privacy-focused IoT environments since it enables avoiding privacy leakage by training models with gradients instead of data. Recent works show the uploaded gradients can be employed to reconstruct data, i.e., gradient leakage attacks, and several defenses are designed to alleviate the risk by tweaking the gradients. However, these defenses exhibit weak resilience against threatening attacks, as the effectiveness builds upon the unrealistic assumptions that deep neural networks are simplified as linear models. In this paper, without such unrealistic assumptions, we present a novel defense, called Refiner, instead of perturbing gradients, which refines ground-truth data to craft robust data that yields sufficient utility but with the least amount of privacy information, and then the gradients of robust data are uploaded. To craft robust data, Refiner promotes the gradients of critical parameters associated with robust data to close ground-truth ones while leaving the gradients of trivial parameters to safeguard privacy. Moreover, to exploit the gradients of trivial parameters, Refiner utilizes a well-designed evaluation network to steer robust data far away from ground-truth data, thereby alleviating privacy leakage risk. Extensive experiments across multiple benchmark datasets demonstrate the superior defense effectiveness of Refiner at defending against state-of-the-art threats.

Deep learning (DL) methods have been widely applied to anomaly-based network intrusion detection system (NIDS) to detect malicious traffic. To expand the usage scenarios of DL-based methods, the federated learning (FL) framework allows multiple users to train a global model on the basis of respecting individual data privacy. However, it has not yet been systematically evaluated how robust FL-based NIDSs are against existing privacy attacks under existing defenses. To address this issue, we propose two privacy evaluation metrics designed for FL-based NIDSs, including (1) privacy score that evaluates the similarity between the original and recovered traffic features using reconstruction attacks, and (2) evasion rate against NIDSs using Generative Adversarial Network-based adversarial attack with the reconstructed benign traffic. We conduct experiments to show that existing defenses provide little protection that the corresponding adversarial traffic can even evade the SOTA NIDS Kitsune. To defend against such attacks and build a more robust FL-based NIDS, we further propose FedDef, a novel optimization-based input perturbation defense strategy with theoretical guarantee. It achieves both high utility by minimizing the gradient distance and strong privacy protection by maximizing the input distance. We experimentally evaluate four existing defenses on four datasets and show that our defense outperforms all the baselines in terms of privacy protection with up to 7 times higher privacy score, while maintaining model accuracy loss within 3% under optimal parameter combination.

联合学习使多个用户能够通过共享其模型更新（渐变）来构建联合模型，而其原始数据在其设备上保持本地。与常见的信念相比，这提供了隐私福利，我们在共享渐变时，我们在这里增加了隐私风险的最新结果。具体而言，我们调查梯度（LLG）的标签泄漏，这是一种新建攻击，从他们的共享梯度提取用户培训数据的标签。该攻击利用梯度的方向和幅度来确定任何标签的存在或不存在。 LLG简单且有效，能够泄漏由标签表示的电位敏感信息，并缩放到任意批量尺寸和多个类别。在数学上以及经验上证明了不同设置下攻击的有效性。此外，经验结果表明，LLG在模型训练的早期阶段以高精度成功提取标签。我们还讨论了针对这种泄漏的不同防御机制。我们的研究结果表明，梯度压缩是减轻攻击的实用技术。

近年来，分布式机器学习已被广​​泛用于解决大型且复杂的数据集问题。因此，分布式学习的安全也引起了学术界和行业的越来越多的注意。在这种情况下，联合学习（FL）是通过在本地维护私人培训数据来开发为“安全”分布式学习的，并且仅在之间进行公共模型梯度。但是，迄今为止，为此过程提出了各种梯度泄漏攻击，并证明它是不安全的。例如，共享这些攻击的常见缺点：它们需要过多的辅助信息，例如模型权重，优化者和某些超参数（例如，学习率），在实际情况下很难获得。此外，许多现有算法避免在FL中传输模型梯度，然后转向发送模型权重，例如FedAvg，但很少有人认为其安全性违反。在本文中，我们提出了两个新颖的框架，以证明传输模型权重还可能在FL方案下泄露客户端局部数据，即（DLM和DLM+）。此外，进行了许多实验，以说明我们的攻击框架的效果和普遍性。在本文的最后，我们还向拟议的攻击介绍了两个防御，并评估了它们的保护效果。全面地，只有一些适当的自定义，拟议的攻击和防御方案也可以应用于一般分布式学习方案。

对协作学习的实证攻击表明，深度神经网络的梯度不仅可以披露训练数据的私有潜在属性，还可以用于重建原始数据。虽然先前的作品试图量化了梯度的隐私风险，但这些措施没有建立理论上对梯度泄漏的理解了解，而不是跨越攻击者的概括，并且不能完全解释通过实际攻击在实践中通过实证攻击观察到的内容。在本文中，我们介绍了理论上激励的措施，以量化攻击依赖和攻击无关方式的信息泄漏。具体而言，我们展示了$ \ mathcal {v} $ - 信息的适应，它概括了经验攻击成功率，并允许量化可以从任何所选择的攻击模型系列泄漏的信息量。然后，我们提出了独立的措施，只需要共享梯度，用于量化原始和潜在信息泄漏。我们的经验结果，六个数据集和四种流行型号，揭示了第一层的梯度包含最高量的原始信息，而（卷积）特征提取器层之后的（完全连接的）分类层包含最高的潜在信息。此外，我们展示了如何在训练期间诸如梯度聚集的技术如何减轻信息泄漏。我们的工作为更好的防御方式铺平了道路，例如基于层的保护或强聚合。

利用梯度泄漏以重建据称为私人培训数据，梯度反演攻击是神经网络协作学习的无处不在威胁。为了防止梯度泄漏而不会遭受模型绩效严重损失的情况，最近的工作提出了一个基于变化模型作为任意模型体系结构的扩展的隐私增强模块（预编码）。在这项工作中，我们研究了预言对梯度反转攻击的影响，以揭示其基本的工作原理。我们表明，各变化建模会引起预科及其随后的层梯度的随机性，从而阻止梯度攻击的收敛性。通过在攻击优化期间有目的地省略那些随机梯度，我们制定了一种可以禁用Precode隐私保护效果的攻击。为了确保对这种有针对性攻击的隐私保护，我们将部分扰动（PPP）提出，作为变异建模和部分梯度扰动的战略组合。我们对四个开创性模型架构和两个图像分类数据集进行了广泛的实证研究。我们发现所有架构都容易梯度泄漏，可以通过PPP预防。因此，我们表明我们的方法需要较小的梯度扰动才能有效地保留隐私而不会损害模型性能。

联合学习已被提议作为隐私的机器学习框架，该框架使多个客户能够在不共享原始数据的情况下进行协作。但是，在此框架中，设计并不能保证客户隐私保护。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击的影响。但是，实际上，考虑到高沟通成本或由于增强隐私要求，客户可能不会传输原始梯度。实证研究表明，梯度混淆，包括通过梯度噪声注入和通过梯度压缩的无意化混淆的意图混淆，可以提供更多的隐私保护，以防止重建攻击。在这项工作中，我们提出了一个针对联合学习中图像分类任务的新数据重建攻击框架。我们表明，通常采用的梯度后处理程序，例如梯度量化，梯度稀疏和梯度扰动，可能会在联合学习中具有错误的安全感。与先前的研究相反，我们认为不应将隐私增强视为梯度压缩的副产品。此外，我们在提出的框架下设计了一种新方法，以在语义层面重建图像。我们量化语义隐私泄漏，并根据图像相似性分数进行比较。我们的比较挑战了文献中图像数据泄漏评估方案。结果强调了在现有联合学习算法中重新审视和重新设计对客户数据的隐私保护机制的重要性。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

在联合学习（FL）中，数据不会在联合培训机器学习模型时留下个人设备。相反，这些设备与中央党（例如，公司）共享梯度。因为数据永远不会“离开”个人设备，因此FL作为隐私保留呈现。然而，最近显示这种保护是一个薄的外观，甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中，我们争辩说，事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者，这些攻击者是诚实但好奇的。相反，我们介绍了一个活跃和不诚实的攻击者，作为中央会，他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据，并在接近零成本时：攻击不需要复杂的优化目标。相反，它利用了模型梯度的固有数据泄漏，并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点，我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后，我们考虑缓解。我们观察到，FL中的差异隐私（DP）的当前实现是有缺陷的，因为它们明确地信任中央会，并在增加DP噪音的关键任务，因此不提供对恶意中央党的保护。我们还考虑其他防御，并解释为什么它们类似地不足。它需要重新设计FL，为用户提供任何有意义的数据隐私。

Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.

如今，信息技术的发展正在迅速增长。在大数据时代，个人信息的隐私更加明显。主要的挑战是找到一种方法来确保在发布和分析数据时不会披露敏感的个人信息。在信任的第三方数据策展人的假设上建立了集中式差异隐私。但是，这个假设在现实中并不总是正确的。作为一种新的隐私保护模型，当地的差异隐私具有相对强大的隐私保证。尽管联邦学习相对是一种用于分布式学习的隐私方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低沟通成本，我们建议将联合学习和当地差异隐私与动量梯度下降整合在一起，以提高机器学习模型的性能。

Differentially private federated learning (DP-FL) has received increasing attention to mitigate the privacy risk in federated learning. Although different schemes for DP-FL have been proposed, there is still a utility gap. Employing central Differential Privacy in FL (CDP-FL) can provide a good balance between the privacy and model utility, but requires a trusted server. Using Local Differential Privacy for FL (LDP-FL) does not require a trusted server, but suffers from lousy privacy-utility trade-off. Recently proposed shuffle DP based FL has the potential to bridge the gap between CDP-FL and LDP-FL without a trusted server; however, there is still a utility gap when the number of model parameters is large. In this work, we propose OLIVE, a system that combines the merits from CDP-FL and LDP-FL by leveraging Trusted Execution Environment (TEE). Our main technical contributions are the analysis and countermeasures against the vulnerability of TEE in OLIVE. Firstly, we theoretically analyze the memory access pattern leakage of OLIVE and find that there is a risk for sparsified gradients, which is common in FL. Secondly, we design an inference attack to understand how the memory access pattern could be linked to the training data. Thirdly, we propose oblivious yet efficient algorithms to prevent the memory access pattern leakage in OLIVE. Our experiments on real-world data demonstrate that OLIVE is efficient even when training a model with hundreds of thousands of parameters and effective against side-channel attacks on TEE.

联合学习是一种协作机器学习，参与客户在本地处理他们的数据，仅与协作模型共享更新。这使得能够建立隐私意识的分布式机器学习模型等。目的是通过最大程度地减少一组客户本地存储的数据集的成本函数来优化统计模型的参数。这个过程使客户遇到了两个问题：私人信息的泄漏和模型的个性化缺乏。另一方面，随着分析数据的最新进步，人们对侵犯参与客户的隐私行为的关注激增。为了减轻这种情况，差异隐私及其变体是提供正式隐私保证的标准。客户通常代表非常异构的社区，并拥有非常多样化的数据。因此，与FL社区的最新重点保持一致，以为代表其多样性的用户建立个性化模型框架，这对于防止潜在威胁免受客户的敏感和个人信息而言也是至关重要的。 $ d $ - 私人是对地理位置可区分性的概括，即最近普及的位置隐私范式，它使用了一种基于公制的混淆技术，可保留原始数据的空间分布。为了解决保护客户隐私并允许个性化模型培训以增强系统的公平性和实用性的问题，我们提出了一种提供团体隐私性的方法在FL的框架下。我们为对现实世界数据集的适用性和实验验证提供了理论上的理由，以说明该方法的工作。

联邦学习是一种培训机器学习模型而不共享培训数据的既定方法。但是，最近的工作表明，它不能保证数据隐私，因为共享梯度仍然可以泄漏敏感信息。为了将渐变泄漏问题正式化，我们提出了一种理论框架，首次对贝叶斯最佳对手被扣除作为优化问题的理论框架。我们证明现有的泄漏攻击可以看作是对输入数据和梯度的概率分布的不同假设的这种最佳对手的近似。我们的实验证实了贝叶斯最佳对手的有效性，当它具有潜在的潜在分布时。此外，我们的实验评估表明，几种现有的启发式防御对于更强的攻击无效，特别是在培训过程中。因此，我们的研究结果表明，建设更有效的防御和他们的评价仍然是一个公开问题。

联合学习框架通常需要协作者共享共同模型的本地渐变更新，而不是共享培训数据以保留隐私。但是，在梯度泄漏攻击的事先工作表明，可以从梯度揭示私人培训数据。到目前为止，几乎所有相关工程都基于完全连接或卷积神经网络的攻击。鉴于近期适应变压器以解决多种愿景任务的绝大多大浪潮，调查视觉变压器的隐私风险是非常有价值的。在本文中，我们分析了基于自我关注机制的渐变泄漏风险，以理论和实用的方式。特别是，我们提出了4月 - 注意隐私泄漏，这对自我关注的博览会造成了强烈的威胁，如vit。展示视觉变压器如何通过梯度泄露隐私泄漏的风险，我们敦促设计隐私更安全的变压器模型和防守方案的重要性。

联合学习（FL）是一种分布式机器学习方法，其中多个客户在不交换数据的情况下协作培训联合模型。尽管FL在数据隐私保护方面取得了前所未有的成功，但其对自由骑手攻击的脆弱性吸引了人们越来越多的关注。现有的防御能力可能对高度伪装或高百分比的自由骑手无效。为了应对这些挑战，我们从新颖的角度重新考虑防御，即模型重量不断发展的频率。从经验上讲，我们获得了一种新颖的见解，即在FL的训练中，模型权重的频率不断发展，自由骑机的频率和良性客户的频率显着不同的。受到这种见解的启发，我们提出了一种基于模型权重演化频率的新型防御方法，称为WEF-DEFENSE。特别是，我们在本地训练期间首先收集重量演变的频率（定义为WEF-MATRIX）。对于每个客户端，它将本地型号的WEF-Matrix与每个迭代的模型重量一起上传到服务器。然后，服务器根据WEF-Matrix的差异将自由骑士与良性客户端分开。最后，服务器使用个性化方法为相应的客户提供不同的全局模型。在五个数据集和五个模型上进行的全面实验表明，与最先进的基线相比，WEF防御能力更好。

最近的攻击表明，可以从FEDSGD更新中恢复用户数据，从而破坏隐私。但是，这些攻击具有有限的实际相关性，因为联邦学习通常使用FedAvg算法。与FEDSGD相比，从FedAvg更新中恢复数据要困难得多，因为：（i）更新是在未观察到的中间网络权重计算的，（ii）使用大量批次，并且（iii）标签和网络权重在客户端上同时不同脚步。在这项工作中，我们提出了一项新的基于优化的攻击，该攻击通过解决上述挑战来成功攻击FedAvg。首先，我们使用自动差异化解决了优化问题，该分化迫使客户端更新的仿真，该更新生成了恢复的标签和输入的未观察到的参数，以匹配接收到的客户端更新。其次，我们通过将来自不同时期的图像与置换不变的先验联系起来来解决大量批处理。第三，我们通过在每个FedAvg步骤中估算现有FEDSGD攻击的参数来恢复标签。在流行的女性数据集中，我们证明，平均而言，我们从现实的FedAvg更新中成功地恢复了> 45％的图像，该更新是在10个本地时期计算出的10批批次，每个批次，每个图像，每张5张图像，而使用基线仅<10％。我们的发现表明，基于FedAvg的许多现实世界联合学习实现非常脆弱。

我们调查分裂学习的安全 - 一种新颖的协作机器学习框架，通过需要最小的资源消耗来实现峰值性能。在本文中，我们通过介绍客户私人培训集重建的一般攻击策略来揭示议定书的脆弱性并展示其固有的不安全。更突出地，我们表明恶意服务器可以积极地劫持分布式模型的学习过程，并将其纳入不安全状态，从而为客户端提供推动攻击。我们实施不同的攻击调整，并在各种数据集中测试它们以及现实的威胁方案。我们证明我们的攻击能够克服最近提出的防御技术，旨在提高分裂学习议定书的安全性。最后，我们还通过扩展以前设计的联合学习的攻击来说明协议对恶意客户的不安全性。要使我们的结果可重复，我们会在https://github.com/pasquini-dario/splitn_fsha提供的代码。

智能仪表测量值虽然对于准确的需求预测至关重要，但仍面临一些缺点，包括消费者的隐私，数据泄露问题，仅举几例。最近的文献探索了联合学习（FL）作为一种有前途的隐私机器学习替代方案，该替代方案可以协作学习模型，而无需将私人原始数据暴露于短期负载预测中。尽管有着美德，但标准FL仍然容易受到棘手的网络威胁，称为拜占庭式攻击，这是由错误和/或恶意客户进行的。因此，为了提高联邦联邦短期负载预测对拜占庭威胁的鲁棒性，我们开发了一个最先进的基于私人安全的FL框架，以确保单个智能电表的数据的隐私，同时保护FL的安全性模型和架构。我们提出的框架利用了通过符号随机梯度下降（SignsGD）算法的梯度量化的想法，在本地模型培训后，客户仅将梯度的“符号”传输到控制中心。当我们通过涉及一组拜占庭攻击模型的基准神经网络的实验突出显示时，我们提出的方法会非常有效地减轻此类威胁，从而优于常规的FED-SGD模型。

由于联邦学习（FL）的分布性质，研究人员发现FL容易受到后门攻击的影响，该攻击旨在将子任务注入FL而不破坏主要任务的性能。当在FL模型收敛上注入时，单发后门攻击在主要任务和后门子任务上都可以达到高度精度。但是，早期注射的单发后门攻击是无效的，因为：（1）由于正常局部更新的稀释效果，在注射时未达到最大的后门效果； （2）后门效应迅速下降，因为后门将被新的普通本地更新所覆盖。在本文中，我们利用FL模型信息泄漏加强了早期注射的单发后门攻击。我们表明，如果客户在模拟整个人群的分布和梯度的数据集上进行训练，则可以加快FL收敛速度。基于这一观察结果，我们提出了两阶段的后门攻击，其中包括随后的后门攻击的初步阶段。在初步阶段，受攻击者控制的客户首先启动了整个人口分布推理攻击，然后在本地制作的数据集上进行训练，该数据集与梯度和推断分布保持一致。从初步阶段中受益，后来注射的后门实现了更好的有效性，因为后门效应不太可能被普通模型更新稀释。在各种数据异质性设置下，在MNIST数据集上进行了广泛的实验，以评估拟议的后门攻击的有效性。结果表明，即使有防御机制，该提议的后门以成功率和寿命都优于现有的后门攻击。