联合学习模型是根据多方拥有的宝贵培训数据进行协作开发的。在联合模型的开发和部署过程中，它们会面临风险，包括非法复制，重新分配，滥用和/或自由骑行。为了解决这些风险，联合学习模型的所有权验证是保护联合学习模型知识产权（IPR）（即Fedipr）的先决条件。我们提出了一种新颖的联邦深神经网络（FedDNN）所有权验证计划，该计划允许将专用水印嵌入并进行验证，以声称是FedDNN模型的合法IPR。在拟议的计划中，每个客户都独立验证了模型水印的存在，并索赔联合模型的所有权，而没有透露私人培训数据也没有私人水印信息。从理论上讲，嵌入式水印的有效性是通过对多个客户私下嵌入并检测到的水印的严格分析来证明的。此外，关于计算机视觉和自然语言处理任务的广泛实验结果表明，可以嵌入并可靠地检测到不同的位水印，而不会损害原始模型性能。我们的水印方案还具有各种联合训练环境的弹性，并防止拆除攻击。

Federated Learning (FL) is a scheme for collaboratively training Deep Neural Networks (DNNs) with multiple data sources from different clients. Instead of sharing the data, each client trains the model locally, resulting in improved privacy. However, recently so-called targeted poisoning attacks have been proposed that allow individual clients to inject a backdoor into the trained model. Existing defenses against these backdoor attacks either rely on techniques like Differential Privacy to mitigate the backdoor, or analyze the weights of the individual models and apply outlier detection methods that restricts these defenses to certain data distributions. However, adding noise to the models' parameters or excluding benign outliers might also reduce the accuracy of the collaboratively trained model. Additionally, allowing the server to inspect the clients' models creates a privacy risk due to existing knowledge extraction methods. We propose CrowdGuard, a model filtering defense, that mitigates backdoor attacks by leveraging the clients' data to analyze the individual models before the aggregation. To prevent data leaks, the server sends the individual models to secure enclaves, running in client-located Trusted Execution Environments. To effectively distinguish benign and poisoned models, even if the data of different clients are not independently and identically distributed (non-IID), we introduce a novel metric called HLBIM to analyze the outputs of the DNN's hidden layers. We show that the applied significance-based detection algorithm combined can effectively detect poisoned models, even in non-IID scenarios. We show in our extensive evaluation that CrowdGuard can effectively mitigate targeted poisoning attacks and achieve in various scenarios a True-Positive-Rate of 100% and a True-Negative-Rate of 100%.

联邦学习本质上很容易模拟中毒攻击，因为其分散性质允许攻击者参与受损的设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低目标子任务（例如，作为鸟类的分类平面）模型的性能。在本报告中，我们介绍\ algoname {}，这是一种使用全局Top-K更新稀疏和设备级渐变剪辑来减轻模型中毒攻击的新型防御。我们提出了一个理论框架，用于分析防御抗毒攻击的稳健性，并提供我们算法的鲁棒性和收敛性分析。为了验证其经验效率，我们在跨多个基准数据集中进行开放源评估，用于计算机愿景和联合学习。

拜占庭式联合学习（FL）旨在对抗恶意客户并培训准确的全球模型，同时保持极低的攻击成功率。然而，大多数现有系统仅在诚实/半hon最达克的多数设置中都具有强大的功能。 FLTRUST（NDSS '21）将上下文扩展到对客户的恶意多数，但在训练之前，应在训练之前为服务器提供辅助数据集，以便过滤恶意输入。私人火焰/flguard（Usenix '22）提供了一种解决方案，以确保在半多数上下文中既有稳健性和更新机密性。到目前为止，不可能平衡恶意背景，鲁棒性和更新机密性之间的权衡。为了解决这个问题，我们提出了一种新颖的拜占庭式bybust和隐私的FL系统，称为简介，以捕获恶意的少数群体和多数服务器和客户端。具体而言，基于DBSCAN算法，我们设计了一种通过成对调整的余弦相似性聚类的新方法，以提高聚类结果的准确性。为了阻止多数攻击恶意的攻击，我们开发了一种称为模型分割的算法，在该算法中，同一集群中的本地更新聚集在一起，并且将聚合正确地发送回相应的客户端。我们还利用多种密码工具来执行聚类任务，而无需牺牲培训正确性并更新机密性。我们介绍了详细的安全证明和经验评估以及简要的收敛分析。实验结果表明，简介的测试精度实际上接近FL基线（平均为0.8％的差距）。同时，攻击成功率约为0％-5％。我们进一步优化了设计，以便可以分别降低{67％-89.17％和66.05％-68.75％}的通信开销和运行时。

联合学习（FL）允许相互不信任的客户可以协作培训通用的机器学习模型，而无需共享其私人/专有培训数据。不幸的是，FL很容易受到恶意客户的中毒，他们旨在通过在FL培训过程中发送恶意模型更新来阻碍常见训练的模型的准确性。我们认为，对现有FL系统的中毒攻击成功的关键因素是客户可用的模型更新空间，使恶意客户可以通过解决优化问题来搜索最有毒的模型更新。为了解决这个问题，我们提出了联合排名学习（FRL）。 FRL将标准FL中的模型参数更新（浮点数连续空间）从模型参数更新（一个连续的空间）缩小到参数排名的空间（整数值的离散空间）。为了能够使用参数等级（而不是参数权重）训练全球模型，FRL利用了最近的SuperMasks培训机制的想法。具体而言，FRL客户端根据其本地培训数据对随机初始化的神经网络（由服务器提供）的参数进行排名。 FRL Server使用投票机制来汇总客户在每个培训时期提交的参数排名，以生成下一个培训时期的全球排名。从直觉上讲，我们基于投票的聚合机制阻止中毒客户对全球模型进行重大的对抗性修改，因为每个客户都会进行一次投票！我们通过分析证明和实验证明了FRL对中毒的鲁棒性。我们还显示了FRL的高沟通效率。我们的实验证明了FRL在现实世界中的优势。

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。

联合学习（FL）通过汇总模型更新，以隐私的方式对分散数据进行了全球模型培训。但是，对于使用具有大量参数的预训练的语言模型（PLM）的许多自然语言处理（NLP）任务，与FL相关的沟通成本相当大。最近，迅速调整了一些不修改PLM的软提示的调音，它作为新的学习范式取得了出色的表现。因此，我们要组合两种方法，并探索在FL下迅速调整的效果。在本文中，我们提出“ FedPrompt”作为第一个工作研究促使使用FL以模型分开学习方式进行调整，并证明该研究大大降低了沟通成本，只有PLMS参数的0.01％，而准确性几乎没有降低。在IID和非IID数据分布上。这提高了FL方法的效率，同时还可以在及时调整中保护数据隐私。此外，PLMS，提示在公共平台和个人用户之间被上传和下载，因此我们试图弄清楚是否仍然只有使用后门威胁在FL场景中软提示。我们通过对FedPrompt的数据中毒进一步进行后门攻击。我们的实验表明，正常的后门攻击无法实现高攻击成功率，证明了FedPrompt的稳健性。我们希望这项工作能够促进FL的应用，并提高对可能的安全威胁的认识。

Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.

图神经网络（GNN）是一类用于处理图形域信息的基于深度学习的方法。 GNN最近已成为一种广泛使用的图形分析方法，因为它们可以为复杂的图形数据学习表示形式。但是，由于隐私问题和法规限制，集中的GNN可能很难应用于数据敏感的情况。 Federated学习（FL）是一种新兴技术，为保护隐私设置而开发，当几个方需要协作培训共享的全球模型时。尽管几项研究工作已应用于培训GNN（联邦GNN），但对他们对后门攻击的稳健性没有研究。本文通过在联邦GNN中进行两种类型的后门攻击来弥合这一差距：集中式后门攻击（CBA）和分发后门攻击（DBA）。我们的实验表明，在几乎所有评估的情况下，DBA攻击成功率高于CBA。对于CBA，即使对抗方的训练集嵌入了全球触发因素，所有本地触发器的攻击成功率也类似于全球触发因素。为了进一步探索联邦GNN中两次后门攻击的属性，我们评估了不同数量的客户，触发尺寸，中毒强度和触发密度的攻击性能。此外，我们探讨了DBA和CBA对两个最先进的防御能力的鲁棒性。我们发现，两次攻击都对被调查的防御能力进行了强大的强大，因此需要考虑将联邦GNN中的后门攻击视为需要定制防御的新威胁。

已经提出了安全的多方计算（MPC），以允许多个相互不信任的数据所有者在其合并数据上共同训练机器学习（ML）模型。但是，通过设计，MPC协议忠实地计算了训练功能，对抗性ML社区已证明该功能泄漏了私人信息，并且可以在中毒攻击中篡改。在这项工作中，我们认为在我们的框架中实现的模型合奏是一种称为Safenet的框架，是MPC的高度无限方法，可以避免许多对抗性ML攻击。 MPC培训中所有者之间数据的自然分区允许这种方法在训练时间高度可扩展，可证明可保护免受中毒攻击的保护，并证明可以防御许多隐私攻击。我们展示了Safenet对在端到端和转移学习方案训练的几个机器学习数据集和模型上中毒的效率，准确性和韧性。例如，Safenet可显着降低后门攻击的成功，同时获得$ 39 \ times $ $的培训，$ 36 \ times $ $ $少于达尔斯科夫（Dalskov）等人的四方MPC框架。我们的实验表明，即使在许多非IID设置中，结合也能保留这些好处。结合的简单性，廉价的设置和鲁棒性属性使其成为MPC私下培训ML模型的强大首选。

在联邦学习方案中，多方共同从其各自的数据中学习模型，有两个相互矛盾的目标是选择适当的算法。一方面，必须在存在\ textit {semi-honest}合作伙伴的情况下尽可能保持私人和敏感的培训数据，而另一方面，必须在不同方之间交换一定数量的信息学习实用程序。这样的挑战要求采用隐私的联合学习解决方案，该解决方案最大程度地提高了学习模型的效用，并维护参与各方的私人数据的可证明的隐私保证。本文说明了一个一般框架，即a）从统一信息理论的角度来制定隐私损失和效用损失之间的权衡，而b）在包括随机化，包括随机性，包括随机的机制，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，包括随机性，，使用稀疏性和同态加密。结果表明，一般而言\ textit {没有免费的午餐来进行隐私 - 私人权衡取舍}，并且必须用一定程度的降级效用进行保存隐私。本文中说明的定量分析可以作为实用联合学习算法设计的指导。

Federated Learning has emerged to cope with raising concerns about privacy breaches in using Machine or Deep Learning models. This new paradigm allows the leverage of deep learning models in a distributed manner, enhancing privacy preservation. However, the server's blindness to local datasets introduces its vulnerability to model poisoning attacks and data heterogeneity, tampering with the global model performance. Numerous works have proposed robust aggregation algorithms and defensive mechanisms, but the approaches are orthogonal to individual attacks or issues. FedCC, the proposed method, provides robust aggregation by comparing the Centered Kernel Alignment of Penultimate Layers Representations. The experiment results on FedCC demonstrate that it mitigates untargeted and targeted model poisoning or backdoor attacks while also being effective in non-Independently and Identically Distributed data environments. By applying FedCC against untargeted attacks, global model accuracy is recovered the most. Against targeted backdoor attacks, FedCC nullified attack confidence while preserving the test accuracy. Most of the experiment results outstand the baseline methods.

最近出现的联邦学习（FL）是一个有吸引力的分布式学习框架，其中许多无线最终用户设备可以训练全局模型，数据仍然自动加载。与传统的机器学习框架相比，收集集中存储的用户数据，这为数据隐私带来了巨大的沟通负担和担忧，这种方法不仅可以保存网络带宽，还可以保护数据隐私。尽管前景有前景，但拜占庭袭击，传统分布式网络中的棘手威胁，也被发现对FL相当有效。在本文中，我们对佛罗里达州的抗议袭击进行了全面调查了捍卫拜占庭袭击的最先进战略。我们首先根据他们使用的技术为现有的防御解决方案提供分类法，然后是在整个板上的比较和讨论。然后，我们提出了一种新的拜占庭攻击方法，称为重量攻击，以击败这些防御计划，并进行实验以证明其威胁。结果表明，现有的防御解决方案虽然丰富，但仍远未完全保护FL。最后，我们表明体重攻击可能的可能对策，并突出了一些挑战和未来的研究方向，以减轻百灵鱼袭击杂志。

联邦学习的出现在维持隐私的同时，促进了机器学习模型之间的大规模数据交换。尽管历史悠久，但联邦学习正在迅速发展，以使更广泛的使用更加实用。该领域中最重要的进步之一是将转移学习纳入联邦学习，这克服了主要联合学习的基本限制，尤其是在安全方面。本章从安全的角度进行了有关联合和转移学习的交集的全面调查。这项研究的主要目标是发现可能损害使用联合和转移学习的系统的隐私和性能的潜在脆弱性和防御机制。

联邦学习（FL）引起了人们对在存储在多个用户中的数据中启用隐私的机器学习的兴趣，同时避免将数据移动到偏离设备上。但是，尽管数据永远不会留下用户的设备，但仍然无法保证隐私，因为用户培训数据的重大计算以训练有素的本地模型的形式共享。最近，这些本地模型通过不同的隐私攻击（例如模型反演攻击）构成了实质性的隐私威胁。作为一种补救措施，通过保证服务器只能学习全局聚合模型更新，而不是单个模型更新，从而开发了安全汇总（SA）作为保护佛罗里达隐私的框架。尽管SA确保没有泄漏有关单个模型更新超出汇总模型更新的其他信息，但对于SA实际上可以提供多少私密性fl，没有正式的保证；由于有关单个数据集的信息仍然可以通过在服务器上计算的汇总模型泄漏。在这项工作中，我们对使用SA的FL的正式隐私保证进行了首次分析。具体而言，我们使用共同信息（MI）作为定量度量，并在每个用户数据集的信息上可以通过汇总的模型更新泄漏有关多少信息。当使用FEDSGD聚合算法时，我们的理论界限表明，隐私泄漏量随着SA参与FL的用户数量而线性减少。为了验证我们的理论界限，我们使用MI神经估计量来凭经验评估MNIST和CIFAR10数据集的不同FL设置下的隐私泄漏。我们的实验验证了FEDSGD的理论界限，随着用户数量和本地批量的增长，隐私泄漏的减少，并且随着培训回合的数量，隐私泄漏的增加。

对网络攻击的现代防御越来越依赖于主动的方法，例如，基于过去的事件来预测对手的下一个行动。建立准确的预测模型需要许多组织的知识； las，这需要披露敏感信息，例如网络结构，安全姿势和政策，这些信息通常是不受欢迎的或完全不可能的。在本文中，我们探讨了使用联合学习（FL）预测未来安全事件的可行性。为此，我们介绍了Cerberus，这是一个系统，可以为参与组织的复发神经网络（RNN）模型进行协作培训。直觉是，FL可能会在非私有方法之间提供中间地面，在非私有方法中，训练数据在中央服务器上合并，而仅训练本地模型的较低性替代方案。我们将Cerberus实例化在从一家大型安全公司的入侵预防产品中获得的数据集上，并评估其有关实用程序，鲁棒性和隐私性，以及参与者如何从系统中贡献和受益。总体而言，我们的工作阐明了将FL执行此任务的积极方面和挑战，并为部署联合方法以进行预测安全铺平了道路。

虽然最近的作品表明，联邦学习（FL）可能易受受损客户的袭击攻击，但它们对生产流系统的实际影响尚未完全理解。在这项工作中，我们的目标是通过枚举所有可能的威胁模型，中毒变化和对手的能力来制定综合系统化。我们专注于我们对未明确的中毒攻击，正如我们认为它们与生产流动部署有关。我们通过仔细表征现实威胁模型和对抗性能力，对实际生产的流动环境下无明显中毒攻击的关键分析。我们的研究结果令人惊讶：与既定信念相反，我们表明，即使使用简单，低成本的防御，我们也会在实践中非常强大。我们进一步进一步提出了新颖的，最先进的数据和模型中毒攻击，并通过三个基准数据集进行了广泛的实验，如何（在）有效中毒攻击在存在简单的防御机制中。我们的目标是纠正以前的误解，并提供关于对本主题更准确的（更现实）的研究的具体指导。

联合学习（FL）是一种分布式机器学习方法，其中多个客户在不交换数据的情况下协作培训联合模型。尽管FL在数据隐私保护方面取得了前所未有的成功，但其对自由骑手攻击的脆弱性吸引了人们越来越多的关注。现有的防御能力可能对高度伪装或高百分比的自由骑手无效。为了应对这些挑战，我们从新颖的角度重新考虑防御，即模型重量不断发展的频率。从经验上讲，我们获得了一种新颖的见解，即在FL的训练中，模型权重的频率不断发展，自由骑机的频率和良性客户的频率显着不同的。受到这种见解的启发，我们提出了一种基于模型权重演化频率的新型防御方法，称为WEF-DEFENSE。特别是，我们在本地训练期间首先收集重量演变的频率（定义为WEF-MATRIX）。对于每个客户端，它将本地型号的WEF-Matrix与每个迭代的模型重量一起上传到服务器。然后，服务器根据WEF-Matrix的差异将自由骑士与良性客户端分开。最后，服务器使用个性化方法为相应的客户提供不同的全局模型。在五个数据集和五个模型上进行的全面实验表明，与最先进的基线相比，WEF防御能力更好。

联邦学习〜（FL）最近引起了学术界和行业的越来越多的关注，其最终目标是在隐私和沟通限制下进行协作培训。现有的基于FL算法的现有迭代模型需要大量的通信回合，以获得良好的模型，这是由于不同客户之间的极为不平衡和非平衡的I.D数据分配。因此，我们建议FedDM从多个本地替代功能中构建全球培训目标，这使服务器能够获得对损失格局的更全球视野。详细说明，我们在每个客户端构建了合成数据集，以在本地匹配从原始数据到分发匹配的损失景观。与笨拙的模型权重相比，FedDM通过传输更多信息和较小的合成数据来降低通信回合并提高模型质量。我们对三个图像分类数据集进行了广泛的实验，结果表明，在效率和模型性能方面，我们的方法可以优于其他FL的实验。此外，我们证明，FedDM可以适应使用高斯机制来保护差异隐私，并在相同的隐私预算下训练更好的模型。

尽管现有联合学习平台（FL）平台已取得了显着的进展，以提供开发基础架构，但这些平台可能无法很好地应对各种异质性带来的挑战，包括参与者本地数据，资源，行为和学习目标中的异质性。为了填补这一空白，在本文中，我们提出了一个名为FederatedScope的新型FL平台，该平台采用事件驱动的架构为用户提供极大的灵活性，以独立描述不同参与者的行为。这样的设计使用户可以轻松地描述参与者具有各种本地培训过程，学习目标和后端，并通过同步或异步培训策略将其协调为FL课程。 FederatedScope为易于使用和灵活的平台提供了丰富类型的插入操作和组件，以有效地进行进一步开发，并且我们实施了几个重要组件，以更好地帮助用户进行隐私保护，攻击模拟和自动调整。我们已经在https://github.com/alibaba/federatedscope上发布了FederatedScope，以在各种情况下促进联邦学习的学术研究和工业部署。