我们考虑了一个联合表示的学习框架，在中央服务器的协助下，一组$ n $分布式客户通过其私人数据协作培训一组实体的表示（或嵌入）（例如，用户在一个中的用户社交网络）。在此框架下，对于以私人方式汇总在客户培训的本地嵌入的关键步骤，我们开发了一个名为SECEA的安全嵌入聚合协议，该协议为一组实体提供信息理论隐私保证，并在每个客户端提供相应的嵌入$同时$ $，对好奇的服务器和最多$ t <n/2 $勾结的客户。作为SECEA的第一步，联合学习系统执行了一个私人实体联盟，让每个客户在不知道哪个实体属于哪个客户的情况下学习系统中的所有实体。在每个聚合回合中，使用Lagrange插值在客户端中秘密共享本地嵌入，然后每个客户端构造编码的查询以检索预期实体的聚合嵌入。我们对各种表示的学习任务进行全面的实验，以评估SECEA的效用和效率，并从经验上证明，与没有（或具有较弱的）隐私保证的嵌入聚合协议相比，SECEA会造成可忽略的绩效损失（5％以内）； SECEA的附加计算潜伏期减小，用于培训较大数据集的更深层次模型。

联合学习（FL）是一个分布式学习范式，使相互不信任的客户能够协作培训通用的机器学习模型。客户数据隐私在FL中至关重要。同时，必须保护模型免受对抗客户的中毒攻击。现有解决方案孤立地解决了这两个问题。我们提出了FedPerm，这是一种新的FL算法，它通过结合一种新型的内部模型参数改组技术来解决这两个问题，该技术可以放大数据隐私，并基于私人信息检索（PIR）技术，该技术允许允许对客户模型更新的加密聚合。这些技术的组合进一步有助于联邦服务器约束从客户端的参数更新，从而减少对抗性客户的模型中毒攻击的影响。我们进一步介绍了Fedperm独特的超参数，可以有效地使用Model Utilities进行计算开销。我们对MNIST数据集的经验评估表明，FEDPERM对FL中现有差异隐私（DP）执法解决方案的有效性。

最近，Niu，et。 al。介绍了一个新的联合学习（FL）的新变种​​，称为联邦子模型学习（FSL）。与传统的FL不同，每个客户端都会根据其私有数据在本地列出子模型（例如，从服务器检索），并在其选择到服务器时将子模型上载。然后所有客户端都会聚合所有子模型并完成迭代。不可避免地，FSL引入了两个隐私保留的计算任务，即私有子模型检索（PSR）和Secure Semodel聚合（SSA）。现有工作未能提供较少的亏损计划，或具有不切实际的效率。在这项工作中，我们利用分布式点函数（DPF）和Cuckoo Hashing来构建双服务器设置中的实用和轻量度安全FSL方案。更具体地说，我们提出了两个具有少量优化技术的基本协议，可确保我们对特定现实FSL任务的协议实用性。我们的实验表明，当重量尺寸$ \ LEQ 2 ^ {15} $时，我们所提出的协议可以在不到1分钟内完成，我们还通过与现有工作进行比较来展示协议效率，并通过处理真实世界的FSL任务。

联邦机器学习利用边缘计算来开发网络用户数据的模型，但联合学习的隐私仍然是一个重大挑战。已经提出了使用差异隐私的技术来解决这一点，但是带来了自己的挑战 - 许多人需要一个值得信赖的第三方，或者增加了太多的噪音来生产有用的模型。使用多方计算的\ EMPH {SERVE聚合}的最新进步消除了对第三方的需求，但是在计算上尤其在规模上昂贵。我们提出了一种新的联合学习协议，利用了一种基于与错误学习的技术的新颖差异私有的恶意安全聚合协议。我们的协议优于当前最先进的技术，并且经验结果表明它缩放到大量方面，具有任何差别私有联合学习方案的最佳精度。

Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.

联合学习（FL）是一种机器学习（ML）技术，旨在减少对用户数据隐私的威胁。培训是使用用户设备上的原始数据（称为客户端）进行的，只有称为梯度的培训结果被发送到服务器进行汇总并生成更新的模型。但是，我们不能假设可以使用私人信息来信任服务器，例如与数据所有者或数据源相关的元数据。因此，将客户信息隐藏在服务器中有助于减少与隐私相关的攻击。因此，客户身份的隐私以及客户数据的隐私是使此类攻击更加困难的必要条件。本文提出了基于组签名的FL的高效和隐私权协议。一个名为GSFL的新组合签名旨在保护客户数据和身份的隐私，而且考虑考虑到联合学习的迭代过程，还大大降低了计算和通信成本。我们表明，在计算，通信和信号成本方面，GSFL优于现有方法。另外，我们表明所提出的协议可以在联合学习环境中处理各种安全攻击。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

联合学习允许一组用户在私人训练数据集中培训深度神经网络。在协议期间，数据集永远不会留下各个用户的设备。这是通过要求每个用户向中央服务器发送“仅”模型更新来实现，从而汇总它们以更新深神经网络的参数。然而，已经表明，每个模型更新都具有关于用户数据集的敏感信息（例如，梯度反转攻击）。联合学习的最先进的实现通过利用安全聚合来保护这些模型更新：安全监控协议，用于安全地计算用户的模型更新的聚合。安全聚合是关键，以保护用户的隐私，因为它会阻碍服务器学习用户提供的个人模型更新的源，防止推断和数据归因攻击。在这项工作中，我们表明恶意服务器可以轻松地阐明安全聚合，就像后者未到位一样。我们设计了两种不同的攻击，能够在参与安全聚合的用户数量上，独立于参与安全聚合的用户数。这使得它们在大规模现实世界联邦学习应用中的具体威胁。攻击是通用的，不瞄准任何特定的安全聚合协议。即使安全聚合协议被其理想功能替换为提供完美的安全性的理想功能，它们也同样有效。我们的工作表明，安全聚合与联合学习相结合，当前实施只提供了“虚假的安全感”。

Differentially private federated learning (DP-FL) has received increasing attention to mitigate the privacy risk in federated learning. Although different schemes for DP-FL have been proposed, there is still a utility gap. Employing central Differential Privacy in FL (CDP-FL) can provide a good balance between the privacy and model utility, but requires a trusted server. Using Local Differential Privacy for FL (LDP-FL) does not require a trusted server, but suffers from lousy privacy-utility trade-off. Recently proposed shuffle DP based FL has the potential to bridge the gap between CDP-FL and LDP-FL without a trusted server; however, there is still a utility gap when the number of model parameters is large. In this work, we propose OLIVE, a system that combines the merits from CDP-FL and LDP-FL by leveraging Trusted Execution Environment (TEE). Our main technical contributions are the analysis and countermeasures against the vulnerability of TEE in OLIVE. Firstly, we theoretically analyze the memory access pattern leakage of OLIVE and find that there is a risk for sparsified gradients, which is common in FL. Secondly, we design an inference attack to understand how the memory access pattern could be linked to the training data. Thirdly, we propose oblivious yet efficient algorithms to prevent the memory access pattern leakage in OLIVE. Our experiments on real-world data demonstrate that OLIVE is efficient even when training a model with hundreds of thousands of parameters and effective against side-channel attacks on TEE.

我们提出了Swiftagg+，这是一种针对联合学习系统的新颖的安全聚合协议，其中central Server汇总了$ n \ in \ mathbb {n} $分布式用户的本地型号，每个大小$ l \ in \ mathbb {n} $中的每个型号，训练有素，以隐私的方式在其本地数据上。 Swiftagg+可以大大减少通信开销，而不会对安全性进行任何妥协，并在减少差距内实现最佳通信负载。具体而言，最多有$ d = o（n）$ droput用户，Swiftagg+实现了$（1+ \ Mathcal {o}（\ frac {1} {n} {n}））的每个用户通信负载。和$（1+ \ Mathcal {o}（\ frac {1} {n}））的服务器通信负载，具有最差的信息理论安全保证o（n）$半honest用户，也可能与好奇的服务器合谋。此外，拟议的Swiftagg+允许在通信负载和主动通信链接的数量之间进行灵活的权衡。特别是，对于$ t <n-d $，对于任何$ k \ in \ mathbb {n} $，Swiftagg+可以实现$（1+ \ frac {t} {k} {k}）l $符号的服务器通信负载，并且 - 用户通信负载最多$（1+ \ frac {t+d} {k}）l $符号，其中网络中的配对活动连接的数量为$ \ frac {n} {2}（k +T+D+1）$。

随着基于位置的越来越多的社交网络，隐私保存位置预测已成为帮助用户发现新的兴趣点（POI）的主要任务。传统系统考虑一种需要传输和收集用户私有数据的集中方法。在这项工作中，我们展示了FedPoirec，隐私保留了联合学习方法的隐私，增强了用户社交界的功能，以获得最高$ N $ POI建议。首先，FedPoirec框架建立在本地数据永远不会离开所有者设备的原则上，而本地更新盲目地由参数服务器汇总。其次，本地推荐人通过允许用户交换学习参数来获得个性化，从而实现朋友之间的知识传输。为此，我们提出了一种隐私保留协议，用于通过利用CKKS完全同态加密方案的特性来集成用户朋友在联合计算之后的偏好。为了评估FEDPOIREC，我们使用两个推荐模型将我们的方法应用于五个现实世界数据集。广泛的实验表明，FEDPOIREC以集中方法实现了相当的推荐质量，而社会集成协议会突出用户侧的低计算和通信开销。

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

我们提出了一个用于机器学习应用的基于区块链的安全数据交易市场的Omnilytics。利用omnilytics，许多分布式数据所有者可以贡献他们的私人数据，以集体培训某些型号所有者请求的ML模型，并获得数据贡献的补偿。 Omnilytics使这种模型培训能够同时为奇怪的数据所有者提供1）模型安全; 2）对奇怪的模型和数据所有者的数据安全; 3）对恶意数据所有者的弹性，为毒药模型培训提供有错误的结果; 4）打算逃避付款的恶意模型所有者的弹性。 Omnilytics被实施为一个区块链智能合同，以保证付款的原子。在omnilytics中，模型所有者将其模型分成私人和公共部分，并在合同上发布公共部分。通过执行合同，参与的数据所有者将其当地培训的模型安全地汇总以更新模型所有者的公共模式，并通过合同获得报销。我们在以Ethereum区块链中实施了Omnilytics的工作原型，并在各种参数组合下进行了广泛的实验，以测量其天然气成本，执行时间和模型质量。为了在MNIST数据集上训练CNN，MO能够将其模型精度从平板ChangchConsion Time的500毫秒内的62％提升到83％。这证明了Omnilytics对实际部署的有效性。

拜占庭式联合学习（FL）旨在对抗恶意客户并培训准确的全球模型，同时保持极低的攻击成功率。然而，大多数现有系统仅在诚实/半hon最达克的多数设置中都具有强大的功能。 FLTRUST（NDSS '21）将上下文扩展到对客户的恶意多数，但在训练之前，应在训练之前为服务器提供辅助数据集，以便过滤恶意输入。私人火焰/flguard（Usenix '22）提供了一种解决方案，以确保在半多数上下文中既有稳健性和更新机密性。到目前为止，不可能平衡恶意背景，鲁棒性和更新机密性之间的权衡。为了解决这个问题，我们提出了一种新颖的拜占庭式bybust和隐私的FL系统，称为简介，以捕获恶意的少数群体和多数服务器和客户端。具体而言，基于DBSCAN算法，我们设计了一种通过成对调整的余弦相似性聚类的新方法，以提高聚类结果的准确性。为了阻止多数攻击恶意的攻击，我们开发了一种称为模型分割的算法，在该算法中，同一集群中的本地更新聚集在一起，并且将聚合正确地发送回相应的客户端。我们还利用多种密码工具来执行聚类任务，而无需牺牲培训正确性并更新机密性。我们介绍了详细的安全证明和经验评估以及简要的收敛分析。实验结果表明，简介的测试精度实际上接近FL基线（平均为0.8％的差距）。同时，攻击成功率约为0％-5％。我们进一步优化了设计，以便可以分别降低{67％-89.17％和66.05％-68.75％}的通信开销和运行时。

联合学习（FL），数据保留在联合客户端，并且仅与中央聚合器共享梯度更新是私人的。最近的工作表明，具有梯度级别访问权限的对手可以成功进行推理和重建攻击。在这种情况下，众所周知，差异化（DP）学习可以提供弹性。但是，现状中使用的方法（\ ie中央和本地DP）引入了不同的公用事业与隐私权衡权衡。在这项工作中，我们迈出了通过{\ em层次fl（HFL）}来缓解此类权衡的第一步。我们证明，通过引入一个新的中介层，可以添加校准的DP噪声，可以获得更好的隐私与公用事业权衡；我们称此{\ em层次结构DP（HDP）}。我们使用3个不同数据集的实验（通常用作FL的基准）表明HDP产生的模型与使用中央DP获得的模型一样准确，在中央聚集器处添加了噪声。这种方法还为推理对手提供了可比的好处，例如在本地DP案例中，在联合客户端添加了噪音。

在联邦学习方案中，多方共同从其各自的数据中学习模型，有两个相互矛盾的目标是选择适当的算法。一方面，必须在存在\ textit {semi-honest}合作伙伴的情况下尽可能保持私人和敏感的培训数据，而另一方面，必须在不同方之间交换一定数量的信息学习实用程序。这样的挑战要求采用隐私的联合学习解决方案，该解决方案最大程度地提高了学习模型的效用，并维护参与各方的私人数据的可证明的隐私保证。本文说明了一个一般框架，即a）从统一信息理论的角度来制定隐私损失和效用损失之间的权衡，而b）在包括随机化，包括随机性，包括随机的机制，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，包括随机性，，使用稀疏性和同态加密。结果表明，一般而言\ textit {没有免费的午餐来进行隐私 - 私人权衡取舍}，并且必须用一定程度的降级效用进行保存隐私。本文中说明的定量分析可以作为实用联合学习算法设计的指导。

目前，联邦图神经网络（GNN）由于其在现实中的广泛应用而没有违反隐私法规而引起了很多关注。在所有隐私保护技术中，差异隐私（DP）是最有希望的，因为它的有效性和轻度计算开销。但是，基于DP的联合GNN尚未得到很好的研究，尤其是在子图级环境中，例如推荐系统的情况。最大的挑战是如何保证隐私并在联邦GNN中解决非独立和相同分布的（非IID）数据。在本文中，我们提出了基于DP的联合GNN DP-FEDREC来填补空白。利用私有集合交叉点（PSI）来扩展每个客户端的本地图，从而解决了非IID问题。最重要的是，DP不仅应用于权重，而且应用于PSI相交图的边缘，以完全保护客户的隐私。该评估表明，DP-FEDREC通过图形扩展实现了更好的性能，而DP仅引入了很少的计算开销。

安全聚合是一个流行的保留联合学习中的流行协议，它允许模型聚合，而不会在清除中显示各个模型。另一方面，传统的安全聚合协议产生了显着的通信开销，这可能成为现实世界带宽限制应用中的主要瓶颈。在解决这一挑战方面，在这项工作中，我们提出了一种用于安全聚合的轻量级渐变稀疏框架，其中服务器从大量用户学习Sparsified本地模型更新的聚合，但不学习各个参数。我们的理论分析表明，所提出的框架可以显着降低安全聚合的通信开销，同时确保可比计算复杂性。我们进一步确定了由于稀疏因疏脂而在隐私和沟通效率之间的权衡。我们的实验表明，我们的框架在与传统安全聚合基准相比时，我们的框架将延长到7.8倍降低了高达7.8倍，同时加速了墙上时钟训练时间1.13x。

With its capability to deal with graph data, which is widely found in practical applications, graph neural networks (GNNs) have attracted significant research attention in recent years. As societies become increasingly concerned with the need for data privacy protection, GNNs face the need to adapt to this new normal. Besides, as clients in Federated Learning (FL) may have relationships, more powerful tools are required to utilize such implicit information to boost performance. This has led to the rapid development of the emerging research field of federated graph neural networks (FedGNNs). This promising interdisciplinary field is highly challenging for interested researchers to grasp. The lack of an insightful survey on this topic further exacerbates the entry difficulty. In this paper, we bridge this gap by offering a comprehensive survey of this emerging field. We propose a 2-dimensional taxonomy of the FedGNNs literature: 1) the main taxonomy provides a clear perspective on the integration of GNNs and FL by analyzing how GNNs enhance FL training as well as how FL assists GNNs training, and 2) the auxiliary taxonomy provides a view on how FedGNNs deal with heterogeneity across FL clients. Through discussions of key ideas, challenges, and limitations of existing works, we envision future research directions that can help build more robust, explainable, efficient, fair, inductive, and comprehensive FedGNNs.

交叉设备联合学习（FL）是一种分布式学习范例，具有几种挑战，这些挑战将其区分离为传统的分布式学习，每个设备上的系统特征的可变性，以及数百万客户端与主要服务器协调。文献中描述的大多数FL系统是同步的 - 它们从各个客户端执行模型更新的同步聚合。缩放同步FL是挑战，因为增加了并行培训的客户数量导致训练速度的回报递减，类似于大批培训。而且，陷阱妨碍了同步流动训练。在这项工作中，我们概述了一种生产异步流行系统设计。我们的工作解决了上述问题，一些系统设计挑战及其解决方案的草图，并触及了为数百万客户建立生产流系统的原则。凭经验，我们证明异步流量在跨越近一亿台设备时比同步液更快地收敛。特别地，在高并发设置中，异步FL速度快5倍，并且具有比同步FL更小的通信开销差距。