Vertical Federated Learning (VFL) is widely utilized in real-world applications to enable collaborative learning while protecting data privacy and safety. However, previous works show that parties without labels (passive parties) in VFL can infer the sensitive label information owned by the party with labels (active party) or execute backdoor attacks to VFL. Meanwhile, active party can also infer sensitive feature information from passive party. All these pose new privacy and security challenges to VFL systems. We propose a new general defense method which limits the mutual information between private raw data, including both features and labels, and intermediate outputs to achieve a better trade-off between model utility and privacy. We term this defense Mutual Information Regularization Defense (MID). We theoretically and experimentally testify the effectiveness of our MID method in defending existing attacks in VFL, including label inference attacks, backdoor attacks and feature reconstruction attacks.

在联合学习等协作学习环境中，好奇的疗程可能是诚实的，但正在通过推理攻击试图通过推断攻击推断其他方的私人数据，而恶意缔约方可能会通过后门攻击操纵学习过程。但是，大多数现有的作品只考虑通过样本（HFL）划分数据的联合学习场景。特征分区联合学习（VFL）可以是许多真实应用程序中的另一个重要方案。当攻击者和防守者无法访问其他参与者的功能或模型参数时，这种情况下的攻击和防御尤其挑战。以前的作品仅显示了可以从每个样本渐变重建私有标签。在本文中，我们首先表明，只有批量平均梯度被揭示时，可以重建私人标签，这是针对常见的推定。此外，我们表明VFL中的被动派对甚至可以通过梯度替换攻击将其相应的标签用目标标签替换为目标标签。为了防御第一次攻击，我们介绍了一种基于AutoEncoder和熵正则化的混乱自动化器（CoAE）的新技术。我们证明，与现有方法相比，这种技术可以成功阻止标签推理攻击，同时损害较少的主要任务准确性。我们的COAE技术在捍卫梯度替代后门攻击方面也有效，使其成为一个普遍和实用的防御策略，没有改变原来的VFL协议。我们展示了我们双方和多方VFL设置下的方法的有效性。据我们所知，这是第一次处理特征分区联合学习框架中的标签推理和后门攻击的第一个系统研究。

联合学习（FL）已成为解决数据筒仓问题的实用解决方案，而不会损害用户隐私。它的一种变体垂直联合学习（VFL）最近引起了人们的关注，因为VFL与企业对利用更有价值的功能的需求相匹配，以构建更好的机器学习模型，同时保留用户隐私。当前在VFL中的工作集中于为特定VFL算法开发特定的保护或攻击机制。在这项工作中，我们提出了一个评估框架，该框架提出了隐私 - 私人评估问题。然后，我们将此框架作为指南，以全面评估针对三种广泛依据的VFL算法的大多数最先进的隐私攻击的广泛保护机制。这些评估可以帮助FL从业人员在特定要求下选择适当的保护机制。我们的评估结果表明：模型反转和大多数标签推理攻击可能会因现有保护机制而挫败；很难防止模型完成（MC）攻击，这需要更高级的MC靶向保护机制。根据我们的评估结果，我们为提高VFL系统的隐私保护能力提供具体建议。

由于联邦学习（FL）的分布性质，研究人员发现FL容易受到后门攻击的影响，该攻击旨在将子任务注入FL而不破坏主要任务的性能。当在FL模型收敛上注入时，单发后门攻击在主要任务和后门子任务上都可以达到高度精度。但是，早期注射的单发后门攻击是无效的，因为：（1）由于正常局部更新的稀释效果，在注射时未达到最大的后门效果； （2）后门效应迅速下降，因为后门将被新的普通本地更新所覆盖。在本文中，我们利用FL模型信息泄漏加强了早期注射的单发后门攻击。我们表明，如果客户在模拟整个人群的分布和梯度的数据集上进行训练，则可以加快FL收敛速度。基于这一观察结果，我们提出了两阶段的后门攻击，其中包括随后的后门攻击的初步阶段。在初步阶段，受攻击者控制的客户首先启动了整个人口分布推理攻击，然后在本地制作的数据集上进行训练，该数据集与梯度和推断分布保持一致。从初步阶段中受益，后来注射的后门实现了更好的有效性，因为后门效应不太可能被普通模型更新稀释。在各种数据异质性设置下，在MNIST数据集上进行了广泛的实验，以评估拟议的后门攻击的有效性。结果表明，即使有防御机制，该提议的后门以成功率和寿命都优于现有的后门攻击。

我们考虑垂直逻辑回归（VLR）接受了迷你批次梯度下降训练，这种环境吸引了行业日益增长的兴趣，并被证明在包括金融和医学研究在内的广泛应用中很有用。我们在一系列开源联合学习框架中提供了对VLR的全面和严格的隐私分析，其中协议之间可能会有所不同，但是获得了获得本地梯度的过程。我们首先考虑了诚实而有趣的威胁模型，其中忽略了协议的详细实施，并且仅假定共享过程，我们将其作为甲骨文提取。我们发现，即使在这种一般环境下，在适当的批处理大小约束下，仍然可以从另一方恢复单维功能和标签，从而证明了遵循相同理念的所有框架的潜在脆弱性。然后，我们研究基于同态加密（HE）的协议的流行实例。我们提出了一种主动攻击，该攻击通过生成和压缩辅助密文来显着削弱对先前分析中批处理大小的约束。为了解决基于HE的协议中的隐私泄漏，我们基于差异隐私（DP）开发了一种简单的对策，并为更新的算法提供实用程序和隐私保证。最后，我们从经验上验证了我们对基准数据集的攻击和防御的有效性。总之，我们的发现表明，仅依靠他的所有垂直联合学习框架可能包含严重的隐私风险，而DP已经证明了其在水平联合学习中的力量，也可以在垂直环境中起着至关重要的作用，尤其是当耦合时使用HE或安全的多方计算（MPC）技术。

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。

Vertical federated learning (VFL) is an emerging paradigm that enables collaborators to build machine learning models together in a distributed fashion. In general, these parties have a group of users in common but own different features. Existing VFL frameworks use cryptographic techniques to provide data privacy and security guarantees, leading to a line of works studying computing efficiency and fast implementation. However, the security of VFL's model remains underexplored.

In terms of artificial intelligence, there are several security and privacy deficiencies in the traditional centralized training methods of machine learning models by a server. To address this limitation, federated learning (FL) has been proposed and is known for breaking down ``data silos" and protecting the privacy of users. However, FL has not yet gained popularity in the industry, mainly due to its security, privacy, and high cost of communication. For the purpose of advancing the research in this field, building a robust FL system, and realizing the wide application of FL, this paper sorts out the possible attacks and corresponding defenses of the current FL system systematically. Firstly, this paper briefly introduces the basic workflow of FL and related knowledge of attacks and defenses. It reviews a great deal of research about privacy theft and malicious attacks that have been studied in recent years. Most importantly, in view of the current three classification criteria, namely the three stages of machine learning, the three different roles in federated learning, and the CIA (Confidentiality, Integrity, and Availability) guidelines on privacy protection, we divide attack approaches into two categories according to the training stage and the prediction stage in machine learning. Furthermore, we also identify the CIA property violated for each attack method and potential attack role. Various defense mechanisms are then analyzed separately from the level of privacy and security. Finally, we summarize the possible challenges in the application of FL from the aspect of attacks and defenses and discuss the future development direction of FL systems. In this way, the designed FL system has the ability to resist different attacks and is more secure and stable.

Deep learning (DL) methods have been widely applied to anomaly-based network intrusion detection system (NIDS) to detect malicious traffic. To expand the usage scenarios of DL-based methods, the federated learning (FL) framework allows multiple users to train a global model on the basis of respecting individual data privacy. However, it has not yet been systematically evaluated how robust FL-based NIDSs are against existing privacy attacks under existing defenses. To address this issue, we propose two privacy evaluation metrics designed for FL-based NIDSs, including (1) privacy score that evaluates the similarity between the original and recovered traffic features using reconstruction attacks, and (2) evasion rate against NIDSs using Generative Adversarial Network-based adversarial attack with the reconstructed benign traffic. We conduct experiments to show that existing defenses provide little protection that the corresponding adversarial traffic can even evade the SOTA NIDS Kitsune. To defend against such attacks and build a more robust FL-based NIDS, we further propose FedDef, a novel optimization-based input perturbation defense strategy with theoretical guarantee. It achieves both high utility by minimizing the gradient distance and strong privacy protection by maximizing the input distance. We experimentally evaluate four existing defenses on four datasets and show that our defense outperforms all the baselines in terms of privacy protection with up to 7 times higher privacy score, while maintaining model accuracy loss within 3% under optimal parameter combination.

已经提出了安全的多方计算（MPC），以允许多个相互不信任的数据所有者在其合并数据上共同训练机器学习（ML）模型。但是，通过设计，MPC协议忠实地计算了训练功能，对抗性ML社区已证明该功能泄漏了私人信息，并且可以在中毒攻击中篡改。在这项工作中，我们认为在我们的框架中实现的模型合奏是一种称为Safenet的框架，是MPC的高度无限方法，可以避免许多对抗性ML攻击。 MPC培训中所有者之间数据的自然分区允许这种方法在训练时间高度可扩展，可证明可保护免受中毒攻击的保护，并证明可以防御许多隐私攻击。我们展示了Safenet对在端到端和转移学习方案训练的几个机器学习数据集和模型上中毒的效率，准确性和韧性。例如，Safenet可显着降低后门攻击的成功，同时获得$ 39 \ times $ $的培训，$ 36 \ times $ $ $少于达尔斯科夫（Dalskov）等人的四方MPC框架。我们的实验表明，即使在许多非IID设置中，结合也能保留这些好处。结合的简单性，廉价的设置和鲁棒性属性使其成为MPC私下培训ML模型的强大首选。

在联合学习（FL）中，数据不会在联合培训机器学习模型时留下个人设备。相反，这些设备与中央党（例如，公司）共享梯度。因为数据永远不会“离开”个人设备，因此FL作为隐私保留呈现。然而，最近显示这种保护是一个薄的外观，甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中，我们争辩说，事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者，这些攻击者是诚实但好奇的。相反，我们介绍了一个活跃和不诚实的攻击者，作为中央会，他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据，并在接近零成本时：攻击不需要复杂的优化目标。相反，它利用了模型梯度的固有数据泄漏，并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点，我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后，我们考虑缓解。我们观察到，FL中的差异隐私（DP）的当前实现是有缺陷的，因为它们明确地信任中央会，并在增加DP噪音的关键任务，因此不提供对恶意中央党的保护。我们还考虑其他防御，并解释为什么它们类似地不足。它需要重新设计FL，为用户提供任何有意义的数据隐私。

通过仅使用训练有素的分类器，模型内（MI）攻击可以恢复用于训练分类器的数据，从而导致培训数据的隐私泄漏。为了防止MI攻击，先前的工作利用单方面依赖优化策略，即，在培训分类器期间，最大程度地减少了输入（即功能）和输出（即标签）之间的依赖关系。但是，这样的最小化过程与最小化监督损失相冲突，该损失旨在最大程度地提高输入和输出之间的依赖关系，从而在模型鲁棒性针对MI攻击和模型实用程序上对分类任务进行明确的权衡。在本文中，我们旨在最大程度地减少潜在表示和输入之间的依赖性，同时最大化潜在表示和输出之间的依赖关系，称为双边依赖性优化（BIDO）策略。特别是，除了对深神经网络的常用损失（例如，跨渗透性）外，我们还将依赖性约束用作普遍适用的正常化程序，可以根据不同的任务将其实例化使用适当的依赖标准。为了验证我们策略的功效，我们通过使用两种不同的依赖性度量提出了两种BIDO的实施：具有约束协方差的Bido（Bido-Coco）（Bido-Coco）和Bido具有Hilbert-Schmidt独立标准（Bido-HSIC）。实验表明，比多（Bido防御MI攻击的道路。

联合学习模型是根据多方拥有的宝贵培训数据进行协作开发的。在联合模型的开发和部署过程中，它们会面临风险，包括非法复制，重新分配，滥用和/或自由骑行。为了解决这些风险，联合学习模型的所有权验证是保护联合学习模型知识产权（IPR）（即Fedipr）的先决条件。我们提出了一种新颖的联邦深神经网络（FedDNN）所有权验证计划，该计划允许将专用水印嵌入并进行验证，以声称是FedDNN模型的合法IPR。在拟议的计划中，每个客户都独立验证了模型水印的存在，并索赔联合模型的所有权，而没有透露私人培训数据也没有私人水印信息。从理论上讲，嵌入式水印的有效性是通过对多个客户私下嵌入并检测到的水印的严格分析来证明的。此外，关于计算机视觉和自然语言处理任务的广泛实验结果表明，可以嵌入并可靠地检测到不同的位水印，而不会损害原始模型性能。我们的水印方案还具有各种联合训练环境的弹性，并防止拆除攻击。

最近的研究表明，私人培训数据可以通过分布式机器学习系统（例如联合学习）（如联合学习）（如FL）泄露。增加批量大小以使数据恢复复杂化，通常被视为防止数据泄漏的有希望的防御策略。在本文中，我们重新审视该防御前提，并提出了一种高级数据泄漏攻击，具有理论上的理由，以有效地从共享聚合渐变恢复批量数据。我们将所提出的方法称为垂直联合学习（Cafe）中的灾难性数据泄漏。与现有数据泄漏攻击相比，我们对垂直流程的广泛实验结果展示了CAFE的有效性，以提高数据恢复质量。我们还提出了减轻咖啡馆的实际对策。我们的结果表明，私人数据参与标准FL，特别是垂直情况，具有从训练梯度泄露的高风险。我们的分析意味着这些学习设置中的前所未有和实际的数据泄漏风险。我们的工作代码可在https://github.com/derafael/cafe上获得。

Privacy-preserving inference via edge or encrypted computing paradigms encourages users of machine learning services to confidentially run a model on their personal data for a target task and only share the model's outputs with the service provider; e.g., to activate further services. Nevertheless, despite all confidentiality efforts, we show that a ''vicious'' service provider can approximately reconstruct its users' personal data by observing only the model's outputs, while keeping the target utility of the model very close to that of a ''honest'' service provider. We show the possibility of jointly training a target model (to be run at users' side) and an attack model for data reconstruction (to be secretly used at server's side). We introduce the ''reconstruction risk'': a new measure for assessing the quality of reconstructed data that better captures the privacy risk of such attacks. Experimental results on 6 benchmark datasets show that for low-complexity data types, or for tasks with larger number of classes, a user's personal data can be approximately reconstructed from the outputs of a single target inference task. We propose a potential defense mechanism that helps to distinguish vicious vs. honest classifiers at inference time. We conclude this paper by discussing current challenges and open directions for future studies. We open-source our code and results, as a benchmark for future work.

Differentially private federated learning (DP-FL) has received increasing attention to mitigate the privacy risk in federated learning. Although different schemes for DP-FL have been proposed, there is still a utility gap. Employing central Differential Privacy in FL (CDP-FL) can provide a good balance between the privacy and model utility, but requires a trusted server. Using Local Differential Privacy for FL (LDP-FL) does not require a trusted server, but suffers from lousy privacy-utility trade-off. Recently proposed shuffle DP based FL has the potential to bridge the gap between CDP-FL and LDP-FL without a trusted server; however, there is still a utility gap when the number of model parameters is large. In this work, we propose OLIVE, a system that combines the merits from CDP-FL and LDP-FL by leveraging Trusted Execution Environment (TEE). Our main technical contributions are the analysis and countermeasures against the vulnerability of TEE in OLIVE. Firstly, we theoretically analyze the memory access pattern leakage of OLIVE and find that there is a risk for sparsified gradients, which is common in FL. Secondly, we design an inference attack to understand how the memory access pattern could be linked to the training data. Thirdly, we propose oblivious yet efficient algorithms to prevent the memory access pattern leakage in OLIVE. Our experiments on real-world data demonstrate that OLIVE is efficient even when training a model with hundreds of thousands of parameters and effective against side-channel attacks on TEE.

联邦学习本质上很容易模拟中毒攻击，因为其分散性质允许攻击者参与受损的设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低目标子任务（例如，作为鸟类的分类平面）模型的性能。在本报告中，我们介绍\ algoname {}，这是一种使用全局Top-K更新稀疏和设备级渐变剪辑来减轻模型中毒攻击的新型防御。我们提出了一个理论框架，用于分析防御抗毒攻击的稳健性，并提供我们算法的鲁棒性和收敛性分析。为了验证其经验效率，我们在跨多个基准数据集中进行开放源评估，用于计算机愿景和联合学习。

对机器学习模型的会员推理攻击（MIA）可能会导致模型培训中使用的培训数据集的严重隐私风险。在本文中，我们提出了一种针对成员推理攻击（MIAS）的新颖有效的神经元引导的防御方法。我们确定了针对MIA的现有防御机制的关键弱点，在该机制中，他们不能同时防御两个常用的基于神经网络的MIA，表明应分别评估这两次攻击以确保防御效果。我们提出了Neuguard，这是一种新的防御方法，可以通过对象共同控制输出和内部神经元的激活，以指导训练集的模型输出和测试集的模型输出以具有近距离分布。 Neuguard由类别的差异最小化靶向限制最终输出神经元和层平衡输出控制的目标，旨在限制每一层中的内部神经元。我们评估Neuguard，并将其与最新的防御能力与两个基于神经网络的MIA，五个最强的基于度量的MIA，包括三个基准数据集中的新提出的仅标签MIA。结果表明，Neuguard通过提供大大改善的公用事业权衡权衡，一般性和间接费用来优于最先进的防御能力。

联邦学习的出现在维持隐私的同时，促进了机器学习模型之间的大规模数据交换。尽管历史悠久，但联邦学习正在迅速发展，以使更广泛的使用更加实用。该领域中最重要的进步之一是将转移学习纳入联邦学习，这克服了主要联合学习的基本限制，尤其是在安全方面。本章从安全的角度进行了有关联合和转移学习的交集的全面调查。这项研究的主要目标是发现可能损害使用联合和转移学习的系统的隐私和性能的潜在脆弱性和防御机制。

拜占庭式联合学习（FL）旨在对抗恶意客户并培训准确的全球模型，同时保持极低的攻击成功率。然而，大多数现有系统仅在诚实/半hon最达克的多数设置中都具有强大的功能。 FLTRUST（NDSS '21）将上下文扩展到对客户的恶意多数，但在训练之前，应在训练之前为服务器提供辅助数据集，以便过滤恶意输入。私人火焰/flguard（Usenix '22）提供了一种解决方案，以确保在半多数上下文中既有稳健性和更新机密性。到目前为止，不可能平衡恶意背景，鲁棒性和更新机密性之间的权衡。为了解决这个问题，我们提出了一种新颖的拜占庭式bybust和隐私的FL系统，称为简介，以捕获恶意的少数群体和多数服务器和客户端。具体而言，基于DBSCAN算法，我们设计了一种通过成对调整的余弦相似性聚类的新方法，以提高聚类结果的准确性。为了阻止多数攻击恶意的攻击，我们开发了一种称为模型分割的算法，在该算法中，同一集群中的本地更新聚集在一起，并且将聚合正确地发送回相应的客户端。我们还利用多种密码工具来执行聚类任务，而无需牺牲培训正确性并更新机密性。我们介绍了详细的安全证明和经验评估以及简要的收敛分析。实验结果表明，简介的测试精度实际上接近FL基线（平均为0.8％的差距）。同时，攻击成功率约为0％-5％。我们进一步优化了设计，以便可以分别降低{67％-89.17％和66.05％-68.75％}的通信开销和运行时。