拆分学习和推理建议运行跨客户设备和云的大型模型的培训/推理。但是，这样的模型拆分引起了隐私问题，因为流过拆分层的激活可能会泄漏有关客户端私人输入数据的信息。当前，没有一个好方法可以量化通过分层泄漏多少私人信息，也没有一种将隐私提高到所需级别的好方法。在这项工作中，我们建议将Fisher信息用作隐私指标来衡量和控制信息泄漏。我们表明，Fisher信息可以直观地理解以无偏重建攻击者的限制的错误形式通过拆分层泄漏了多少私人信息。然后，我们提出了一种增强隐私的技术REFIL，可以在拆分层上强制使用用户呈现的Fisher信息泄漏，以实现高隐私，同时保持合理的实用程序。

培训深度神经网络通常会迫使用户在分布式或外包环境中工作，并伴随着隐私问题。 Split学习旨在通过在客户端和服务器之间分配模型来解决这一问题。该方案据说提供了隐私，因为服务器无法看到客户端的模型和输入。我们表明，通过两次新颖的攻击，这是不正确的。 （1）我们表明，只有掌握客户端神经网络体系结构知识的诚实但充满感染的分裂学习服务器可以恢复输入样本并获得与客户端模型的功能相似的模型，而无需检测到。 （2）我们证明，如果客户端仅隐藏模型的输出层以“保护”专用标签，则诚实但有趣的服务器可以完全准确地推断出标签。我们使用各种基准数据集测试我们的攻击，并反对提议的隐私增强扩展以分裂学习。我们的结果表明，明文分裂学习可能会带来严重的风险，从数据（输入）隐私到知识产权（模型参数），并且不仅仅提供虚假的安全感。

差异隐私被广泛接受为预防ML数据泄漏的事实方法，传统观念表明，它为隐私攻击提供了强烈的保护。但是，现有的语义保证DP专注于会员推理，这可能高估了对手的能力，并且当成员身份本身不敏感时不适用。在本文中，我们得出了针对正式威胁模型下培训数据重建攻击的DP机制的第一个语义保证。我们表明，两种截然不同的隐私会计方法 - Renyi差异隐私和Fisher信息泄漏 - 都提供了针对数据重建攻击的强烈语义保护。

联合学习已被提议作为隐私的机器学习框架，该框架使多个客户能够在不共享原始数据的情况下进行协作。但是，在此框架中，设计并不能保证客户隐私保护。先前的工作表明，联邦学习中的梯度共享策略可能容易受到数据重建攻击的影响。但是，实际上，考虑到高沟通成本或由于增强隐私要求，客户可能不会传输原始梯度。实证研究表明，梯度混淆，包括通过梯度噪声注入和通过梯度压缩的无意化混淆的意图混淆，可以提供更多的隐私保护，以防止重建攻击。在这项工作中，我们提出了一个针对联合学习中图像分类任务的新数据重建攻击框架。我们表明，通常采用的梯度后处理程序，例如梯度量化，梯度稀疏和梯度扰动，可能会在联合学习中具有错误的安全感。与先前的研究相反，我们认为不应将隐私增强视为梯度压缩的副产品。此外，我们在提出的框架下设计了一种新方法，以在语义层面重建图像。我们量化语义隐私泄漏，并根据图像相似性分数进行比较。我们的比较挑战了文献中图像数据泄漏评估方案。结果强调了在现有联合学习算法中重新审视和重新设计对客户数据的隐私保护机制的重要性。

Split学习（SL）通过允许客户在不共享原始数据的情况下协作培训深度学习模型来实现数据隐私保护。但是，SL仍然有限制，例如潜在的数据隐私泄漏和客户端的高计算。在这项研究中，我们建议将SL局部层进行二线以进行更快的计算（在移动设备上的培训和推理阶段的前进时间少17.5倍）和减少内存使用情况（最多减少32倍的内存和带宽要求） 。更重要的是，二进制的SL（B-SL）模型可以减少SL污染数据中的隐私泄漏，而模型精度的降解仅小。为了进一步增强隐私保护，我们还提出了两种新颖的方法：1）培训额外的局部泄漏损失，2）应用差异隐私，可以单独或同时集成到B-SL模型中。与多种基准模型相比，使用不同数据集的实验结果肯定了B-SL模型的优势。还说明了B-SL模型针对功能空间劫持攻击（FSHA）的有效性。我们的结果表明，B-SL模型对于具有高隐私保护要求（例如移动医疗保健应用程序）的轻巧的物联网/移动应用程序很有希望。

最近的攻击表明，可以从FEDSGD更新中恢复用户数据，从而破坏隐私。但是，这些攻击具有有限的实际相关性，因为联邦学习通常使用FedAvg算法。与FEDSGD相比，从FedAvg更新中恢复数据要困难得多，因为：（i）更新是在未观察到的中间网络权重计算的，（ii）使用大量批次，并且（iii）标签和网络权重在客户端上同时不同脚步。在这项工作中，我们提出了一项新的基于优化的攻击，该攻击通过解决上述挑战来成功攻击FedAvg。首先，我们使用自动差异化解决了优化问题，该分化迫使客户端更新的仿真，该更新生成了恢复的标签和输入的未观察到的参数，以匹配接收到的客户端更新。其次，我们通过将来自不同时期的图像与置换不变的先验联系起来来解决大量批处理。第三，我们通过在每个FedAvg步骤中估算现有FEDSGD攻击的参数来恢复标签。在流行的女性数据集中，我们证明，平均而言，我们从现实的FedAvg更新中成功地恢复了> 45％的图像，该更新是在10个本地时期计算出的10批批次，每个批次，每个图像，每张5张图像，而使用基线仅<10％。我们的发现表明，基于FedAvg的许多现实世界联合学习实现非常脆弱。

我们调查分裂学习的安全 - 一种新颖的协作机器学习框架，通过需要最小的资源消耗来实现峰值性能。在本文中，我们通过介绍客户私人培训集重建的一般攻击策略来揭示议定书的脆弱性并展示其固有的不安全。更突出地，我们表明恶意服务器可以积极地劫持分布式模型的学习过程，并将其纳入不安全状态，从而为客户端提供推动攻击。我们实施不同的攻击调整，并在各种数据集中测试它们以及现实的威胁方案。我们证明我们的攻击能够克服最近提出的防御技术，旨在提高分裂学习议定书的安全性。最后，我们还通过扩展以前设计的联合学习的攻击来说明协议对恶意客户的不安全性。要使我们的结果可重复，我们会在https://github.com/pasquini-dario/splitn_fsha提供的代码。

对联合学习系统的梯度反转攻击从交换的梯度信息中重建客户培训数据。为了防止这种攻击，提出了各种防御机制。但是，它们通常会导致隐私和模型效用之间的不可接受的权衡。最近的观察结果表明，如果添加到神经网络中，辍学可以减轻梯度泄漏并改善模型实用性。不幸的是，这种现象尚未系统地研究。在这项工作中，我们彻底分析了辍学对迭代梯度反转攻击的影响。我们发现，由于模型训练过程中辍学引起的随机性，最先进的攻击状态无法重建客户数据。尽管如此，我们认为，如果在攻击优化期间对辍学引起的随机性进行了充分的建模，则辍学者不会提供可靠的保护。因此，我们提出了一种新型的辍学反转攻击（DIA），该攻击（DIA）共同优化了客户数据和辍学蒙版，以近似随机客户端模型。我们对我们对四个开创模型架构的攻击和三个图像分类数据集进行了广泛的系统评估。我们发现，我们提出的攻击绕过了似乎是由辍学引起的保护，并以高保真度重建客户数据。我们的工作表明，不能假定仅仅诱导模型架构变化的隐私变化以可靠地保护梯度泄漏，因此应与互补的防御机制结合使用。

对协作学习的实证攻击表明，深度神经网络的梯度不仅可以披露训练数据的私有潜在属性，还可以用于重建原始数据。虽然先前的作品试图量化了梯度的隐私风险，但这些措施没有建立理论上对梯度泄漏的理解了解，而不是跨越攻击者的概括，并且不能完全解释通过实际攻击在实践中通过实证攻击观察到的内容。在本文中，我们介绍了理论上激励的措施，以量化攻击依赖和攻击无关方式的信息泄漏。具体而言，我们展示了$ \ mathcal {v} $ - 信息的适应，它概括了经验攻击成功率，并允许量化可以从任何所选择的攻击模型系列泄漏的信息量。然后，我们提出了独立的措施，只需要共享梯度，用于量化原始和潜在信息泄漏。我们的经验结果，六个数据集和四种流行型号，揭示了第一层的梯度包含最高量的原始信息，而（卷积）特征提取器层之后的（完全连接的）分类层包含最高的潜在信息。此外，我们展示了如何在训练期间诸如梯度聚集的技术如何减轻信息泄漏。我们的工作为更好的防御方式铺平了道路，例如基于层的保护或强聚合。

深度学习模型越来越多地部署在现实世界中。这些模型通常在服务器端部署，并在信息丰富的表示中接收用户数据，以求解特定任务，例如图像分类。由于图像可以包含敏感信息，而用户可能不愿意共享，因此隐私保护变得越来越重要。对抗表示学习（ARL）是一种训练在客户端运行并混淆图像的编码器的常见方法。假定可以安全地将混淆的图像安全地传输并用于服务器上的任务，而无需隐私问题。但是，在这项工作中，我们发现培训重建攻击者可以成功恢复现有ARL方法的原始图像。为此，我们通过低通滤波引入了一种新颖的ARL方法，从而限制了要在频域中编码的可用信息量。我们的实验结果表明，我们的方法可以承受重建攻击，同时超过了先前有关隐私 - 实用性权衡的最先进方法。我们进一步进行用户研究，以定性评估我们对重建攻击的防御。

利用梯度泄漏以重建据称为私人培训数据，梯度反演攻击是神经网络协作学习的无处不在威胁。为了防止梯度泄漏而不会遭受模型绩效严重损失的情况，最近的工作提出了一个基于变化模型作为任意模型体系结构的扩展的隐私增强模块（预编码）。在这项工作中，我们研究了预言对梯度反转攻击的影响，以揭示其基本的工作原理。我们表明，各变化建模会引起预科及其随后的层梯度的随机性，从而阻止梯度攻击的收敛性。通过在攻击优化期间有目的地省略那些随机梯度，我们制定了一种可以禁用Precode隐私保护效果的攻击。为了确保对这种有针对性攻击的隐私保护，我们将部分扰动（PPP）提出，作为变异建模和部分梯度扰动的战略组合。我们对四个开创性模型架构和两个图像分类数据集进行了广泛的实证研究。我们发现所有架构都容易梯度泄漏，可以通过PPP预防。因此，我们表明我们的方法需要较小的梯度扰动才能有效地保留隐私而不会损害模型性能。

鉴于对机器学习模型的访问，可以进行对手重建模型的培训数据？这项工作从一个强大的知情对手的镜头研究了这个问题，他们知道除了一个之外的所有培训数据点。通过实例化混凝土攻击，我们表明重建此严格威胁模型中的剩余数据点是可行的。对于凸模型（例如Logistic回归），重建攻击很简单，可以以封闭形式导出。对于更常规的模型（例如神经网络），我们提出了一种基于训练的攻击策略，该攻击策略接收作为输入攻击的模型的权重，并产生目标数据点。我们展示了我们对MNIST和CIFAR-10训练的图像分类器的攻击的有效性，并系统地研究了标准机器学习管道的哪些因素影响重建成功。最后，我们从理论上调查了有多差异的隐私足以通过知情对手减轻重建攻击。我们的工作提供了有效的重建攻击，模型开发人员可以用于评估超出以前作品中考虑的一般设置中的个别点的记忆（例如，生成语言模型或访问培训梯度）;它表明，标准模型具有存储足够信息的能力，以实现培训数据点的高保真重建;它表明，差异隐私可以成功减轻该参数制度中的攻击，其中公用事业劣化最小。

梯度反转攻击（或从梯度的输入恢复）是对联合学习的安全和隐私保存的新出现威胁，由此，协议中的恶意窃听者或参与者可以恢复（部分）客户的私有数据。本文评估了现有的攻击和防御。我们发现一些攻击对设置产生了强烈的假设。放松这种假设可以大大削弱这些攻击。然后，我们评估三种拟议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄漏和数据效用的权衡，并发现以适当的方式将它们与它们相结合使得攻击较低，即使在原始的强烈假设下。我们还估计每个评估的防御下单个图像的端到端恢复的计算成本。我们的研究结果表明，目前可以针对较小的数据公用事业损失来捍卫最先进的攻击，如潜在策略的列表中总结。我们的代码可用于：https：//github.com/princeton-sysml/gradattack。

在联合学习（FL）中，数据不会在联合培训机器学习模型时留下个人设备。相反，这些设备与中央党（例如，公司）共享梯度。因为数据永远不会“离开”个人设备，因此FL作为隐私保留呈现。然而，最近显示这种保护是一个薄的外观，甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中，我们争辩说，事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者，这些攻击者是诚实但好奇的。相反，我们介绍了一个活跃和不诚实的攻击者，作为中央会，他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据，并在接近零成本时：攻击不需要复杂的优化目标。相反，它利用了模型梯度的固有数据泄漏，并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点，我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后，我们考虑缓解。我们观察到，FL中的差异隐私（DP）的当前实现是有缺陷的，因为它们明确地信任中央会，并在增加DP噪音的关键任务，因此不提供对恶意中央党的保护。我们还考虑其他防御，并解释为什么它们类似地不足。它需要重新设计FL，为用户提供任何有意义的数据隐私。

分流学习和差异隐私是具有越来越多的技术，可以帮助在分布式数据集上有助于隐私的先进分析。反对分裂学习的攻击是一个重要的评估工具，最近一直在接受增加的研究。这项工作的贡献是将最近的特征空间劫持攻击（FSHA）应用于使用差分隐私（DP）增强的分体式神经网络的学习过程，使用客户端的离心DP优化器。FSHA攻击获得客户的私有数据重建，在任意设置DP ePsilon级别时以低错误率。我们还试验维度减少，作为潜在的攻击风险缓解，并表明它可能有所帮助。我们讨论了差异隐私不是在此设置中有效保护的原因，提及其他风险缓解方法。

分布式深度学习框架（例如分裂学习）在培训深神经网络的计算成本以及一组数据持有人的集体数据的隐私性利用方面为巨大的好处。特别是，通过将神经网络分配在客户端和服务器之间，以便客户端计算初始图层集，并且服务器计算其余的。但是，此方法引入了试图窃取客户端数据的恶意服务器的唯一攻击向量：该服务器可以将客户端模型引导到学习其选择的任何任务，例如倾向于输出易于可逆值。有了一个已经提出的具体示例（Pasquini等，CCS '21），这种训练式攻击攻击构成了分裂学习客户的数据隐私的重大风险。在本文中，我们提出了SplitGuard，该方法可以通过这种方法来检测该方法是否是通过训练式攻击攻击的目标。我们通过实验评估方法的有效性，将其与潜在的替代方案进行比较，并详细讨论与其使用相关的各个点。我们得出的结论是，Splitguard可以有效地检测训练式攻击，同时最大程度地减少对手回收的信息量。

语音情感识别（SER）处理语音信号以检测和表征表达的感知情绪。许多SER应用系统经常获取和传输在客户端收集的语音数据，以远程云平台进行推理和决策。然而，语音数据不仅涉及在声乐表达中传达的情绪，而且还具有其他敏感的人口特征，例如性别，年龄和语言背景。因此，塞尔系统希望能够在防止敏感和人口统计信息的意外/不正当推论的同时对情感构建进行分类的能力。联合学习（FL）是一个分布式机器学习范例，其协调客户端，以便在不共享其本地数据的情况下协同培训模型。此培训方法似乎是安全的，可以提高SER的隐私。然而，最近的作品表明，流动方法仍然容易受到重建攻击和会员推论攻击等各种隐私攻击的影响。虽然这些大部分都集中在计算机视觉应用程序上，但是使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL培训的SER系统的信息泄漏，我们提出了一个属性推理攻击框架，其分别涉及来自共享梯度或模型参数的客户端的敏感属性信息，分别对应于FEDSGD和FADAVG训练算法。作为一种用例，我们使用三个SER基准数据集来统一地评估我们预测客户的性别信息的方法：IEMocap，Crema-D和MSP-EXPLA。我们表明，使用FL培训的SER系统可实现属性推理攻击。我们进一步确定大多数信息泄漏可能来自SER模型中的第一层。

联合学习框架通常需要协作者共享共同模型的本地渐变更新，而不是共享培训数据以保留隐私。但是，在梯度泄漏攻击的事先工作表明，可以从梯度揭示私人培训数据。到目前为止，几乎所有相关工程都基于完全连接或卷积神经网络的攻击。鉴于近期适应变压器以解决多种愿景任务的绝大多大浪潮，调查视觉变压器的隐私风险是非常有价值的。在本文中，我们分析了基于自我关注机制的渐变泄漏风险，以理论和实用的方式。特别是，我们提出了4月 - 注意隐私泄漏，这对自我关注的博览会造成了强烈的威胁，如vit。展示视觉变压器如何通过梯度泄露隐私泄漏的风险，我们敦促设计隐私更安全的变压器模型和防守方案的重要性。

过去十年迅速采用了人工智能（AI），特别是深度学习网络，在医学互联网上（IOMT）生态系统。然而，最近已经表明，深度学习网络可以通过对抗性攻击来利用，这不仅使得IOMT易受数据盗窃，而且对医学诊断的操纵。现有的研究考虑将噪声添加到原始IOMT数据或模型参数中，这不仅可以降低医学推断的整体性能，而且对从梯度方法的深度泄漏的喜好是无效的。在这项工作中，我们提出了近端渐变分流学习（PSGL）方法，用于防范模型反演攻击。所提出的方法故意在客户端进行深度神经网络培训过程时攻击IOMT数据。我们建议使用近端梯度方法来恢复梯度图和决策级融合策略以提高识别性能。广泛的分析表明，PGSL不仅为模型反演攻击提供有效的防御机制，而且有助于提高公共可用数据集的识别性能。我们分别在重建和对冲攻击图像中准确地报告17.9美元\％$和36.9美元。

Differentially private federated learning (DP-FL) has received increasing attention to mitigate the privacy risk in federated learning. Although different schemes for DP-FL have been proposed, there is still a utility gap. Employing central Differential Privacy in FL (CDP-FL) can provide a good balance between the privacy and model utility, but requires a trusted server. Using Local Differential Privacy for FL (LDP-FL) does not require a trusted server, but suffers from lousy privacy-utility trade-off. Recently proposed shuffle DP based FL has the potential to bridge the gap between CDP-FL and LDP-FL without a trusted server; however, there is still a utility gap when the number of model parameters is large. In this work, we propose OLIVE, a system that combines the merits from CDP-FL and LDP-FL by leveraging Trusted Execution Environment (TEE). Our main technical contributions are the analysis and countermeasures against the vulnerability of TEE in OLIVE. Firstly, we theoretically analyze the memory access pattern leakage of OLIVE and find that there is a risk for sparsified gradients, which is common in FL. Secondly, we design an inference attack to understand how the memory access pattern could be linked to the training data. Thirdly, we propose oblivious yet efficient algorithms to prevent the memory access pattern leakage in OLIVE. Our experiments on real-world data demonstrate that OLIVE is efficient even when training a model with hundreds of thousands of parameters and effective against side-channel attacks on TEE.