联合建议解决了推荐系统的数据筒仓和隐私问题。当前的联合推荐系统主要利用加密或混淆方法来保护原始评级免受泄漏。但是，前者带有额外的沟通和计算成本，后者损坏了模型的准确性。他们俩都无法同时满足推荐系统的实时反馈和准确的个性化要求。在本文中，我们提出了联合蒙面的矩阵分解（FEDMMF），以保护联邦推荐系统中的数据隐私，而无需牺牲效率和有效性。在更多详细信息中，我们介绍了仅从本地数据生成的个性化面具的新想法，并将其应用于FEDMMF。一方面，个性化面具为参与者的私人数据提供了保护，而无需损失有效。另一方面，结合自适应安全聚合协议，个性化面膜可以进一步提高效率。从理论上讲，我们为个性化面具提供安全分析。从经验上讲，我们还显示了设计模型在不同的现实世界数据集上的优越性。

Conventional matrix factorization relies on centralized collection of users' data for recommendation, which might introduce an increased risk of privacy leakage especially when the recommender is untrusted. Existing differentially private matrix factorization methods either assume the recommender is trusted, or can only provide a uniform level of privacy protection for all users and items with untrusted recommender. In this paper, we propose a novel Heterogeneous Differentially Private Matrix Factorization algorithm (denoted as HDPMF) for untrusted recommender. To the best of our knowledge, we are the first to achieve heterogeneous differential privacy for decentralized matrix factorization in untrusted recommender scenario. Specifically, our framework uses modified stretching mechanism with an innovative rescaling scheme to achieve better trade off between privacy and accuracy. Meanwhile, by allocating privacy budget properly, we can capture homogeneous privacy preference within a user/item but heterogeneous privacy preference across different users/items. Theoretical analysis confirms that HDPMF renders rigorous privacy guarantee, and exhaustive experiments demonstrate its superiority especially in strong privacy guarantee, high dimension model and sparse dataset scenario.

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

Today's AI still faces two major challenges. One is that in most industries, data exists in the form of isolated islands. The other is the strengthening of data privacy and security. We propose a possible solution to these challenges: secure federated learning. Beyond the federated learning framework first proposed by Google in 2016, we introduce a comprehensive secure federated learning framework, which includes horizontal federated learning, vertical federated learning and federated transfer learning. We provide definitions, architectures and applications for the federated learning framework, and provide a comprehensive survey of existing works on this subject. In addition, we propose building data networks among organizations based on federated mechanisms as an effective solution to allow knowledge to be shared without compromising user privacy.

现在，推荐系统已经变得繁荣，旨在通过学习嵌入来预测用户对项目的潜在兴趣。图形神经网络的最新进展〜（GNNS）还提供带有强大备份的推荐系统，从用户项图中学习嵌入。但是，由于数据收集困难，仅利用用户项交互遭受冷启动问题。因此，目前的努力建议将社交信息与用户项目相互作用融合以缓解它，这是社会推荐问题。现有工作使用GNNS同时聚合两个社交链接和用户项交互。但是，它们都需要集中存储的社交链接和用户的互动，从而导致隐私问题。此外，根据严格的隐私保护，在一般数据保护规则下，将来可能不可行的数据存储可能是不可行的，敦促分散的社会建议框架。为此，我们设计了一个小说框架\ textbf {fe} delated \ textbf {so} cial推荐与\ textbf {g} raph神经网络（fesog）。首先，FeSog采用关系的关注和聚集来处理异质性。其次，Fesog Infers使用本地数据来保留个性化的用户嵌入。最后但并非最不重要的是，所提出的模型采用伪标签技术，其中包含项目采样，以保护隐私和增强培训。三个现实世界数据集的广泛实验可以证明FeSog在完成社会建议和隐私保护方面的有效性。我们是为我们所知，为社会建议提供联邦学习框架的第一项工作。

随着基于位置的越来越多的社交网络，隐私保存位置预测已成为帮助用户发现新的兴趣点（POI）的主要任务。传统系统考虑一种需要传输和收集用户私有数据的集中方法。在这项工作中，我们展示了FedPoirec，隐私保留了联合学习方法的隐私，增强了用户社交界的功能，以获得最高$ N $ POI建议。首先，FedPoirec框架建立在本地数据永远不会离开所有者设备的原则上，而本地更新盲目地由参数服务器汇总。其次，本地推荐人通过允许用户交换学习参数来获得个性化，从而实现朋友之间的知识传输。为此，我们提出了一种隐私保留协议，用于通过利用CKKS完全同态加密方案的特性来集成用户朋友在联合计算之后的偏好。为了评估FEDPOIREC，我们使用两个推荐模型将我们的方法应用于五个现实世界数据集。广泛的实验表明，FEDPOIREC以集中方法实现了相当的推荐质量，而社会集成协议会突出用户侧的低计算和通信开销。

我们考虑了一个联合表示的学习框架，在中央服务器的协助下，一组$ n $分布式客户通过其私人数据协作培训一组实体的表示（或嵌入）（例如，用户在一个中的用户社交网络）。在此框架下，对于以私人方式汇总在客户培训的本地嵌入的关键步骤，我们开发了一个名为SECEA的安全嵌入聚合协议，该协议为一组实体提供信息理论隐私保证，并在每个客户端提供相应的嵌入$同时$ $，对好奇的服务器和最多$ t <n/2 $勾结的客户。作为SECEA的第一步，联合学习系统执行了一个私人实体联盟，让每个客户在不知道哪个实体属于哪个客户的情况下学习系统中的所有实体。在每个聚合回合中，使用Lagrange插值在客户端中秘密共享本地嵌入，然后每个客户端构造编码的查询以检索预期实体的聚合嵌入。我们对各种表示的学习任务进行全面的实验，以评估SECEA的效用和效率，并从经验上证明，与没有（或具有较弱的）隐私保证的嵌入聚合协议相比，SECEA会造成可忽略的绩效损失（5％以内）； SECEA的附加计算潜伏期减小，用于培训较大数据集的更深层次模型。

目前，联邦图神经网络（GNN）由于其在现实中的广泛应用而没有违反隐私法规而引起了很多关注。在所有隐私保护技术中，差异隐私（DP）是最有希望的，因为它的有效性和轻度计算开销。但是，基于DP的联合GNN尚未得到很好的研究，尤其是在子图级环境中，例如推荐系统的情况。最大的挑战是如何保证隐私并在联邦GNN中解决非独立和相同分布的（非IID）数据。在本文中，我们提出了基于DP的联合GNN DP-FEDREC来填补空白。利用私有集合交叉点（PSI）来扩展每个客户端的本地图，从而解决了非IID问题。最重要的是，DP不仅应用于权重，而且应用于PSI相交图的边缘，以完全保护客户的隐私。该评估表明，DP-FEDREC通过图形扩展实现了更好的性能，而DP仅引入了很少的计算开销。

联邦机器学习利用边缘计算来开发网络用户数据的模型，但联合学习的隐私仍然是一个重大挑战。已经提出了使用差异隐私的技术来解决这一点，但是带来了自己的挑战 - 许多人需要一个值得信赖的第三方，或者增加了太多的噪音来生产有用的模型。使用多方计算的\ EMPH {SERVE聚合}的最新进步消除了对第三方的需求，但是在计算上尤其在规模上昂贵。我们提出了一种新的联合学习协议，利用了一种基于与错误学习的技术的新颖差异私有的恶意安全聚合协议。我们的协议优于当前最先进的技术，并且经验结果表明它缩放到大量方面，具有任何差别私有联合学习方案的最佳精度。

Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.

In terms of artificial intelligence, there are several security and privacy deficiencies in the traditional centralized training methods of machine learning models by a server. To address this limitation, federated learning (FL) has been proposed and is known for breaking down ``data silos" and protecting the privacy of users. However, FL has not yet gained popularity in the industry, mainly due to its security, privacy, and high cost of communication. For the purpose of advancing the research in this field, building a robust FL system, and realizing the wide application of FL, this paper sorts out the possible attacks and corresponding defenses of the current FL system systematically. Firstly, this paper briefly introduces the basic workflow of FL and related knowledge of attacks and defenses. It reviews a great deal of research about privacy theft and malicious attacks that have been studied in recent years. Most importantly, in view of the current three classification criteria, namely the three stages of machine learning, the three different roles in federated learning, and the CIA (Confidentiality, Integrity, and Availability) guidelines on privacy protection, we divide attack approaches into two categories according to the training stage and the prediction stage in machine learning. Furthermore, we also identify the CIA property violated for each attack method and potential attack role. Various defense mechanisms are then analyzed separately from the level of privacy and security. Finally, we summarize the possible challenges in the application of FL from the aspect of attacks and defenses and discuss the future development direction of FL systems. In this way, the designed FL system has the ability to resist different attacks and is more secure and stable.

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

在联邦学习方案中，多方共同从其各自的数据中学习模型，有两个相互矛盾的目标是选择适当的算法。一方面，必须在存在\ textit {semi-honest}合作伙伴的情况下尽可能保持私人和敏感的培训数据，而另一方面，必须在不同方之间交换一定数量的信息学习实用程序。这样的挑战要求采用隐私的联合学习解决方案，该解决方案最大程度地提高了学习模型的效用，并维护参与各方的私人数据的可证明的隐私保证。本文说明了一个一般框架，即a）从统一信息理论的角度来制定隐私损失和效用损失之间的权衡，而b）在包括随机化，包括随机性，包括随机的机制，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，，包括随机性，包括随机性，，使用稀疏性和同态加密。结果表明，一般而言\ textit {没有免费的午餐来进行隐私 - 私人权衡取舍}，并且必须用一定程度的降级效用进行保存隐私。本文中说明的定量分析可以作为实用联合学习算法设计的指导。

分布式隐私的回归方案已在各个领域开发和扩展，在这些领域中，多方协作和私人运行优化算法，例如梯度下降，以学习一组最佳参数。但是，传统的基于梯度的方法无法解决包含具有L1正则化的客观功能的问题，例如LASSO回归。在本文中，我们介绍了一个名为FCD的新分布式方案联合坐标下降，旨在在多方场景下安全地解决此问题。具体而言，通过安全的聚合和添加的扰动，我们的方案确保：（1）没有向其他方泄漏本地信息，并且（2）全局模型参数不会暴露于云服务器。最终，各方可以消除附加的扰动，以得出具有高性能的全球模型。我们表明，FCD方案填补了多方安全坐标下降方法的空白，并且适用于一般线性回归，包括线性，脊和拉索回归。理论安全分析和实验结果表明，可以有效，有效地执行FCD，并以低MAE度量作为在现实世界UCI数据集的三种线性回归的任务下作为集中方法提供的低MAE度量。

如今，信息技术的发展正在迅速增长。在大数据时代，个人信息的隐私更加明显。主要的挑战是找到一种方法来确保在发布和分析数据时不会披露敏感的个人信息。在信任的第三方数据策展人的假设上建立了集中式差异隐私。但是，这个假设在现实中并不总是正确的。作为一种新的隐私保护模型，当地的差异隐私具有相对强大的隐私保证。尽管联邦学习相对是一种用于分布式学习的隐私方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低沟通成本，我们建议将联合学习和当地差异隐私与动量梯度下降整合在一起，以提高机器学习模型的性能。

Federated Learning (FL) has emerged as a promising distributed learning paradigm with an added advantage of data privacy. With the growing interest in having collaboration among data owners, FL has gained significant attention of organizations. The idea of FL is to enable collaborating participants train machine learning (ML) models on decentralized data without breaching privacy. In simpler words, federated learning is the approach of ``bringing the model to the data, instead of bringing the data to the mode''. Federated learning, when applied to data which is partitioned vertically across participants, is able to build a complete ML model by combining local models trained only using the data with distinct features at the local sites. This architecture of FL is referred to as vertical federated learning (VFL), which differs from the conventional FL on horizontally partitioned data. As VFL is different from conventional FL, it comes with its own issues and challenges. In this paper, we present a structured literature review discussing the state-of-the-art approaches in VFL. Additionally, the literature review highlights the existing solutions to challenges in VFL and provides potential research directions in this domain.

随着大数据时代的出现以及人工智能和其他技术的发展，数据安全和隐私保护变得越来越重要。推荐系统在我们的社会中有许多应用程序，但是建议系统的模型构建通常与用户数据密不可分。特别是对于基于深度学习的推荐系统，由于模型的复杂性和深度学习本身的特征，其培训过程不仅需要长时间的培训时间和丰富的计算资源，而且还需要使用大量的用户数据，在数据安全和隐私保护方面构成了巨大的挑战。如何在确保数据安全性的同时训练分布式建议系统已成为要解决的紧迫问题。在本文中，我们基于Intel SGX（软件保护扩展），可信赖的执行环境的实施以及TensorFlow框架，实施两个方案，水平联合学习和安全的分布式培训，以实现安全，分布式分布式建议的基于系统的学习方案在不同的情况下。我们在经典的深度学习推荐模型（DLRM）上进行实验，该模型是一种基于神经网络的机器学习模型，旨在个性化和建议，结果表明，我们的实施介绍了模型性能的大约没有损失。训练速度在可接受的范围内。

由于对隐私保护的关注不断增加，因此如何在不同数据源上建立机器学习（ML）模型具有安全保证，这越来越受欢迎。垂直联合学习（VFL）描述了这种情况，其中ML模型建立在不同参与方的私人数据上，该数据与同一集合相同的实例中拥有不相交的功能，这适合许多现实世界中的协作任务。但是，我们发现VFL现有的解决方案要么支持有限的输入功能，要么在联合执行过程中遭受潜在数据泄漏的损失。为此，本文旨在研究VFL方案中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，这是VFL训练和推理的新型框架。首先，为了解决VFL模型的功能，我们建议联合源层团结不同各方的数据。联合源层可以有效地支持各种特征，包括密集，稀疏，数值和分类特征。其次，我们在联合执行期间仔细分析了安全性，并正式化了隐私要求。基于分析，我们设计了安全，准确的算法协议，并进一步证明了在理想真实的仿真范式下的安全保证。广泛的实验表明，BlindFL支持各种数据集和模型，同时获得强大的隐私保证。

安全聚合是一个流行的保留联合学习中的流行协议，它允许模型聚合，而不会在清除中显示各个模型。另一方面，传统的安全聚合协议产生了显着的通信开销，这可能成为现实世界带宽限制应用中的主要瓶颈。在解决这一挑战方面，在这项工作中，我们提出了一种用于安全聚合的轻量级渐变稀疏框架，其中服务器从大量用户学习Sparsified本地模型更新的聚合，但不学习各个参数。我们的理论分析表明，所提出的框架可以显着降低安全聚合的通信开销，同时确保可比计算复杂性。我们进一步确定了由于稀疏因疏脂而在隐私和沟通效率之间的权衡。我们的实验表明，我们的框架在与传统安全聚合基准相比时，我们的框架将延长到7.8倍降低了高达7.8倍，同时加速了墙上时钟训练时间1.13x。

垂直联合学习（VFL）引起了很多关注，因为它可以以隐私的方式实现跨核数据合作。虽然大多数在VFL专注于线性和树模型的研究工作，但在VFL中尚未对深层模型（例如，神经网络）进行很好的研究。在本文中，我们专注于Splitnn，这是VFL中著名的神经网络框架，并确定了SplitNN中数据安全性和模型性能之间的权衡。简而言之，SplitNN通过交换梯度和转换数据来训练模型。一方面，SplitNN遭受了模型性能的损失，因为多方使用转换的数据而不是原始数据共同训练模型，并且丢弃了大量的低级特征信息。另一方面，通过在SplitNN中的较低层的汇总（即，数据的转换较小，保留了更低级别的功能）来提高模型性能的天真解决方案，使原始数据易受推理攻击的影响。为了减轻上述权衡，我们在VFL中提出了一个新的神经网络协议，称为安全远射聚合（SFA）。它改变了汇总转换数据并采用可移动掩码以保护原始数据的方式。实验结果表明，具有SFA的网络同时实现了数据安全性和高模型性能。