在过去的几十年中，机器学习已应用于几乎所有计算机科学领域。引入gan允许在医学研究和文本预测领域中产生新的可能性。但是，这些新领域与对隐私敏感的数据有效。为了维护用户隐私，可以使用联合学习，差异隐私和gans的组合来处理私人数据，而无需赠送用户的隐私。最近，已经发布了两种此类组合的实现：DP-FED-AVG GAN和GS-WGAN。本文比较了它们的性能，并引入了DP-FED-FED-AVG GAN的替代版本，该版本利用Denoisising技术来抵抗准确性的损失，而准确性损失通常在应用差异隐私和联合学习到GAN时通常会发生。我们还比较了DENOCED DP-FED-AVG GAN的新颖适应性与该领域最新的实现。

Deep Learning has recently become hugely popular in machine learning for its ability to solve end-to-end learning systems, in which the features and the classifiers are learned simultaneously, providing significant improvements in classification accuracy in the presence of highly-structured and large databases.Its success is due to a combination of recent algorithmic breakthroughs, increasingly powerful computers, and access to significant amounts of data.Researchers have also considered privacy implications of deep learning. Models are typically trained in a centralized manner with all the data being processed by the same training algorithm. If the data is a collection of users' private data, including habits, personal pictures, geographical positions, interests, and more, the centralized server will have access to sensitive information that could potentially be mishandled. To tackle this problem, collaborative deep learning models have recently been proposed where parties locally train their deep learning structures and only share a subset of the parameters in the attempt to keep their respective training sets private. Parameters can also be obfuscated via differential privacy (DP) to make information extraction even more challenging, as proposed by Shokri and Shmatikov at CCS'15.Unfortunately, we show that any privacy-preserving collaborative deep learning is susceptible to a powerful attack that we devise in this paper. In particular, we show that a distributed, federated, or decentralized deep learning approach is fundamentally broken and does not protect the training sets of honest participants. The attack we developed exploits the real-time nature of the learning process that allows the adversary to train a Generative Adversarial Network (GAN) that generates prototypical samples of the targeted training set that was meant to be private (the samples generated by the GAN are intended to come from the same distribution as the training data). Interestingly, we show that record-level differential privacy applied to the shared parameters of the model, as suggested in previous work, is ineffective (i.e., record-level DP is not designed to address our attack).

生成对抗网络（GAN）是机器学习领域（ML）中的深度学习生成模型，涉及使用相当大的数据集训练两个神经网络（NN）。在某些领域，例如医学领域，培训数据可能是在不同医院中存储的医院患者记录。经典的集中式方法将涉及将数据发送到将培训模型的集中式服务器。但是，这将涉及违反患者及其数据的隐私和机密性，这是不可接受的。因此，联合学习（FL）是一种在没有数据离开主机设备的情况下在分布式设置中训练ML模型的ML技术，将是集中选项的更好替代方法。在这种ML技术中，只能传达参数和某些元数据。尽管如此，仍然存在使用参数和元数据推断用户数据的攻击。完全保护隐私的解决方案涉及传达数据的同型加密（HE）。本文将重点介绍具有三种不同类型的同态加密的FL-GAN的性能丧失：部分同态加密（PHE），有点同构加密（SHE）和完全同构加密（FHE）。我们还将测试多方计算（MPC）的性能损失，因为它具有同构特性。表演将与无加密的FL-GAN的性能进行比较。我们的实验表明，加密方法越复杂，它花费的时间越长，与FL的基本情况相比，他花费的额外时间非常重要。

事实证明，生成的对抗网络是学习复杂且高维数据分布的强大工具，但是已证明诸如模式崩溃之类的问题使他们难以训练它们。当数据分散到联合学习设置中的几个客户端时，这是一个更困难的问题，因为诸如客户端漂移和非IID数据之类的问题使联盟的平均平均值很难收敛。在这项工作中，我们研究了如何在培训数据分散到客户上时如何学习数据分布的任务，无法共享。我们的目标是从集中进行此分配中进行采样，而数据永远不会离开客户。我们使用标准基准图像数据集显示，现有方法在这种设置中失败，当局部时期的局部数量变大时，会经历所谓的客户漂移。因此，我们提出了一种新型的方法，我们称为Effgan：微调联合gans的合奏。作为本地专家发电机的合奏，Effgan能够学习所有客户端的数据分布并减轻客户漂移。它能够用大量的本地时代进行训练，从而使其比以前的作品更有效。

深度神经网络（DNNS）铰接对大型数据集的可用性的最新成功;但是，对此类数据集的培训经常为敏感培训信息构成隐私风险。在本文中，我们的目标是探讨生成模型和梯度稀疏性的力量，并提出了一种可扩展的隐私保留生成模型数据标准。与标准展示隐私保留框架相比，允许教师对一维预测进行投票，在高维梯度向量上投票在隐私保存方面具有挑战性。随着需要尺寸减少技术，我们需要在（1）之间的改进之间导航精致的权衡空间，并进行SGD收敛的放缓。为了解决这一点，我们利用通信高效学习，并通过将顶-K压缩与相应的噪声注入机构相结合，提出一种新的噪声压缩和聚集方法TopAGG。理论上，我们证明了DataLens框架保证了其生成数据的差异隐私，并提供了其收敛性的分析。为了展示DataLens的实际使用情况，我们对不同数据集进行广泛的实验，包括Mnist，Fashion-Mnist和高维Celeba，并且我们表明，DataLens显着优于其他基线DP生成模型。此外，我们改进了所提出的Topagg方法，该方法是DP SGD培训的主要构建块之一，并表明它能够在大多数情况下实现比最先进的DP SGD方法更高的效用案件。我们的代码在HTTPS://github.com/ai-secure/datalens公开提供。

Federated learning seeks to address the issue of isolated data islands by making clients disclose only their local training models. However, it was demonstrated that private information could still be inferred by analyzing local model parameters, such as deep neural network model weights. Recently, differential privacy has been applied to federated learning to protect data privacy, but the noise added may degrade the learning performance much. Typically, in previous work, training parameters were clipped equally and noises were added uniformly. The heterogeneity and convergence of training parameters were simply not considered. In this paper, we propose a differentially private scheme for federated learning with adaptive noise (Adap DP-FL). Specifically, due to the gradient heterogeneity, we conduct adaptive gradient clipping for different clients and different rounds; due to the gradient convergence, we add decreasing noises accordingly. Extensive experiments on real-world datasets demonstrate that our Adap DP-FL outperforms previous methods significantly.

自然语言处理（NLP）技术可以使用人的话语来帮助诊断诸如抑郁症之类的医疗状况。抑郁症是一种严重的医学疾病，可能会对人们的感觉，思维和行为产生不利影响，这可能导致情绪和身体上的问题。由于此类数据的敏感性，需要采取隐私措施来使用此类数据处理和培训模型。在这项工作中，我们研究了差异隐私（DP）在集中式学习和联合学习（FL）设置中对培训上下文化语言模型（Bert，Albert，Roberta和Distilbert）的影响。我们提供有关如何私下培训NLP模型以及哪些架构和设置提供更理想的隐私公用事业权衡的见解。我们设想这项工作将用于未来的医疗保健和心理健康研究，以使病史保持私密。因此，我们提供了这项工作的开源实施。

隐私法规法（例如GDPR）将透明度和安全性作为数据处理算法的设计支柱。在这种情况下，联邦学习是保护隐私的分布式机器学习的最具影响力的框架之一，从而实现了许多自然语言处理和计算机视觉任务的惊人结果。一些联合学习框架采用差异隐私，以防止私人数据泄漏到未经授权的政党和恶意攻击者。但是，许多研究突出了标准联邦学习对中毒和推理的脆弱性，因此引起了人们对敏感数据潜在风险的担忧。为了解决此问题，我们提出了SGDE，这是一种生成数据交换协议，可改善跨索洛联合会中的用户安全性和机器学习性能。 SGDE的核心是共享具有强大差异隐私的数据生成器，保证了对私人数据培训的培训，而不是通信显式梯度信息。这些发电机合成了任意大量数据，这些数据保留了私人样品的独特特征，但有很大差异。我们展示了将SGDE纳入跨核心联合网络如何提高对联邦学习最有影响力的攻击的弹性。我们在图像和表格数据集上测试我们的方法，利用β变量自动编码器作为数据生成器，并突出了对非生成数据的本地和联合学习的公平性和绩效改进。

包含间歇性和可再生能源的含量增加了电力系统需求预测的重要性。由于它们提供的测量粒度，智能电表可以在需求预测中发挥关键作用。消费者的隐私问题，公用事业和供应商不愿与竞争对手或第三方共享数据，以及监管限制是一些限制智能米预测面。本文介绍了使用智能电表数据作为前一个约束的解决方案的短期需求预测的协作机器学习方法。隐私保存技术和联合学习使能够确保消费者对两者的机密性，它们的数据，使用它生成的模型（差异隐私），以及通信均值（安全聚合）。评估的方法考虑了几种方案，探讨了传统的集中方法如何在分散，协作和私人系统的方向上投射。在评估中获得的结果提供了几乎完美的隐私预算（1.39，$ 10E ^ {5} $）和（2.01，$ 10e ^ { - 5} $），具有可忽略不计的性能妥协。

本文提出并表征了联合学习（OARF）的开放应用程序存储库，是联合机器学习系统的基准套件。以前可用的联合学习基准主要集中在合成数据集上，并使用有限数量的应用程序。 OARF模仿更现实的应用方案，具有公开的数据集，如图像，文本和结构数据中的不同数据孤岛。我们的表征表明，基准套件在数据大小，分布，特征分布和学习任务复杂性中多样化。与参考实施的广泛评估显示了联合学习系统的重要方面的未来研究机会。我们开发了参考实现，并评估了联合学习的重要方面，包括模型准确性，通信成本，吞吐量和收敛时间。通过这些评估，我们发现了一些有趣的发现，例如联合学习可以有效地提高端到端吞吐量。

如今，信息技术的发展正在迅速增长。在大数据时代，个人信息的隐私更加明显。主要的挑战是找到一种方法来确保在发布和分析数据时不会披露敏感的个人信息。在信任的第三方数据策展人的假设上建立了集中式差异隐私。但是，这个假设在现实中并不总是正确的。作为一种新的隐私保护模型，当地的差异隐私具有相对强大的隐私保证。尽管联邦学习相对是一种用于分布式学习的隐私方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低沟通成本，我们建议将联合学习和当地差异隐私与动量梯度下降整合在一起，以提高机器学习模型的性能。

随着机器学习的出现，在医疗保健和能源等关键基础设施的应用中，隐私是利益相关者的思想中越来越令人担忧。它是衡量的，确保模型和数据都不能用于提取攻击者对个人使用的敏感信息或通过利用关键基础设施来伤害整个社会。由于缺乏关于透明度和隐私约束的信任，机器学习在这些域中的适用性主要是有限的。各种安全关键用例（主要依赖于时间序列数据）目前在隐私相关的考虑因素方面受到了代表性。通过评估有关其在时间序列数据的适用性的若干隐私保留方法，我们验证了加密对深度学习的影响，差异隐私的强大数据集依赖性以及联合方法的广泛适用性。

Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.

Federated Learning (FL) has emerged as a promising distributed learning paradigm with an added advantage of data privacy. With the growing interest in having collaboration among data owners, FL has gained significant attention of organizations. The idea of FL is to enable collaborating participants train machine learning (ML) models on decentralized data without breaching privacy. In simpler words, federated learning is the approach of ``bringing the model to the data, instead of bringing the data to the mode''. Federated learning, when applied to data which is partitioned vertically across participants, is able to build a complete ML model by combining local models trained only using the data with distinct features at the local sites. This architecture of FL is referred to as vertical federated learning (VFL), which differs from the conventional FL on horizontally partitioned data. As VFL is different from conventional FL, it comes with its own issues and challenges. In this paper, we present a structured literature review discussing the state-of-the-art approaches in VFL. Additionally, the literature review highlights the existing solutions to challenges in VFL and provides potential research directions in this domain.

Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

从公共机器学习（ML）模型中泄漏数据是一个越来越重要的领域，因为ML的商业和政府应用可以利用多个数据源，可能包括用户和客户的敏感数据。我们对几个方面的当代进步进行了全面的调查，涵盖了非自愿数据泄漏，这对ML模型很自然，潜在的恶毒泄漏是由隐私攻击引起的，以及目前可用的防御机制。我们专注于推理时间泄漏，这是公开可用模型的最可能场景。我们首先在不同的数据，任务和模型体系结构的背景下讨论什么是泄漏。然后，我们提出了跨非自愿和恶意泄漏的分类法，可用的防御措施，然后进行当前可用的评估指标和应用。我们以杰出的挑战和开放性的问题结束，概述了一些有希望的未来研究方向。

为了保护培训生成的对抗网络（GaN）中的敏感数据，标准方法是使用差异的私有（DP）随机梯度下降方法，其中将受控噪声添加到梯度。输出合成样品的质量可能会受到不利影响，并且网络的训练甚至可能不会在这些噪声的存在下收敛。我们提出了差异私有的模型反演（DPMI）方法，其中私有数据首先通过公共发生器映射到潜在空间，然后是具有更好的收敛属性的低维DP-GaN。标准数据集CIFAR10和SVHN的实验结果以及自闭症筛选的面部地标数据集表明，我们的方法在同一隐私保证下，基于Incepion得分，FR \'Echet Inception距离和分类准确性的标准DP-GaN方法优于标准DP-GaN方法。

联合学习是一种数据解散隐私化技术，用于以安全的方式执行机器或深度学习。在本文中，我们介绍了有关联合学习的理论方面客户次数有所不同的用例。具体而言，使用从开放数据存储库中获得的胸部X射线图像提出了医学图像分析的用例。除了与隐私相关的优势外，还将研究预测的改进（就曲线下的准确性和面积而言）和减少执行时间（集中式方法）。将从培训数据中模拟不同的客户，以不平衡的方式选择，即，他们并非都有相同数量的数据。考虑三个或十个客户之间的结果与集中案件相比。间歇性客户将分析两种遵循方法，就像在实际情况下，某些客户可能会离开培训，一些新的新方法可能会进入培训。根据准确性，曲线下的区域和执行时间的结果，结果的结果的演变显示为原始数据被划分的客户次数。最后，提出了该领域的改进和未来工作。

分流学习和差异隐私是具有越来越多的技术，可以帮助在分布式数据集上有助于隐私的先进分析。反对分裂学习的攻击是一个重要的评估工具，最近一直在接受增加的研究。这项工作的贡献是将最近的特征空间劫持攻击（FSHA）应用于使用差分隐私（DP）增强的分体式神经网络的学习过程，使用客户端的离心DP优化器。FSHA攻击获得客户的私有数据重建，在任意设置DP ePsilon级别时以低错误率。我们还试验维度减少，作为潜在的攻击风险缓解，并表明它可能有所帮助。我们讨论了差异隐私不是在此设置中有效保护的原因，提及其他风险缓解方法。