We consider private federated learning (FL), where a server aggregates differentially private gradient updates from a large number of clients in order to train a machine learning model. The main challenge is balancing privacy with both classification accuracy of the learned model as well as the amount of communication between the clients and server. In this work, we build on a recently proposed method for communication-efficient private FL -- the MVU mechanism -- by introducing a new interpolation mechanism that can accommodate a more efficient privacy analysis. The result is the new Interpolated MVU mechanism that provides SOTA results on communication-efficient private FL on a variety of datasets.

联合数据分析是一个用于分布式数据分析的框架，其中服务器从一组分布式的低型带宽用户设备中编译了嘈杂的响应，以估算总统计信息。该框架中的两个主要挑战是隐私，因为用户数据通常很敏感，并且压缩，因为用户设备的网络带宽较低。先前的工作通过将标准压缩算法与已知的隐私机制相结合，从而分别解决了这些挑战。在这项工作中，我们对问题进行了整体研究，并设计了一个适合任何给定沟通预算的隐私感知压缩机制。我们首先提出了一种在某些条件下传输具有最佳方差的单个实数的机制。然后，我们展示如何将其扩展到位置隐私用例以及向量的指标差异隐私，以应用于联合学习。我们的实验表明，在许多设置中，我们的机制可以导致更好的实用性与压缩权衡。

隐私和沟通效率是联邦神经网络培训中的重要挑战，并将它们组合仍然是一个公开的问题。在这项工作中，我们开发了一种统一高度压缩通信和差异隐私（DP）的方法。我们引入基于相对熵编码（REC）到联合设置的压缩技术。通过对REC进行微小的修改，我们获得了一种可怕的私立学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。

我们考虑对跨用户设备分发的私人数据培训模型。为了确保隐私，我们添加了设备的噪声并使用安全的聚合，以便仅向服务器揭示嘈杂的总和。我们提出了一个综合的端到端系统，该系统适当地离散数据并在执行安全聚合之前添加离散的高斯噪声。我们为离散高斯人的总和提供了新的隐私分析，并仔细分析了数据量化和模块化求和算术的影响。我们的理论保证突出了沟通，隐私和准确性之间的复杂张力。我们广泛的实验结果表明，我们的解决方案基本上能够将准确性与中央差分隐私相匹配，而每个值的精度少于16位。

最近对具有正式隐私保证的分布式计算的研究，例如联合学习的差异私有（DP），利用每回合中客户的随机抽样（通过亚采样进行的隐私放大）来达到令人满意的隐私水平。然而，实现这一目标需要强大的假设，这些假设可能无法实践，包括对客户的精确和统一的亚采样，以及高度信任的聚合器来处理客户的数据。在本文中，我们探讨了一个更实用的协议，改组了办理登机手续，以解决上述问题。该协议依靠客户端做出独立和随机的决定来参与计算，释放服务器发射的亚采样要求，并启用客户端辍学的强大建模。此外，采用了称为洗牌模型的较弱的信任模型，而不是使用受信任的聚合器。为此，我们介绍了新工具来表征洗牌的r \'enyi差异隐私（RDP）。我们表明，我们的新技术在隐私保证中至少提高了三次，而在各种参数制度下使用近似DP的强大组成的人进行了三倍。此外，我们提供了一种数值方法来跟踪通用洗牌机构的隐私，包括具有高斯机制的分布式随机梯度下降（SGD）。据我们所知，这也是文献中分布式设置下本地/洗牌模型中高斯机制的首次评估，这可能具有独立的兴趣。

联合学习（FL）是一种从分散数据源训练机器学习模型的技术。我们根据当地的隐私约束概念研究FL，该概念通过在离开客户之前使数据混淆，为敏感数据披露提供了强烈的保护。我们确定了设计实用隐私的FL算法的两个主要问题：沟通效率和高维度的兼容性。然后，我们开发一种基于梯度的学习算法，称为\ emph {sqsgd}（选择性量化的随机梯度下降），以解决这两个问题。所提出的算法基于一种新颖的隐私量化方案，该方案使用每个客户每个维度的恒定位数。然后，我们通过三种方式改进基本算法：首先，我们采用梯度亚采样策略，同时在固定隐私预算下提供更好的培训性能和较小的沟通成本。其次，我们利用随机旋转作为预处理步骤来减少量化误差。第三，采用了自适应梯度标准上限策略来提高准确性和稳定训练。最后，在基准数据集中证明了拟议框架的实用性。实验结果表明，SQSGD成功地学习了Lenet和Resnet等局部隐私约束的大型模型。此外，凭借固定的隐私和通信水平，SQSGD的性能显着主导了各种基线算法。

Federated learning seeks to address the issue of isolated data islands by making clients disclose only their local training models. However, it was demonstrated that private information could still be inferred by analyzing local model parameters, such as deep neural network model weights. Recently, differential privacy has been applied to federated learning to protect data privacy, but the noise added may degrade the learning performance much. Typically, in previous work, training parameters were clipped equally and noises were added uniformly. The heterogeneity and convergence of training parameters were simply not considered. In this paper, we propose a differentially private scheme for federated learning with adaptive noise (Adap DP-FL). Specifically, due to the gradient heterogeneity, we conduct adaptive gradient clipping for different clients and different rounds; due to the gradient convergence, we add decreasing noises accordingly. Extensive experiments on real-world datasets demonstrate that our Adap DP-FL outperforms previous methods significantly.

Deep neural networks have strong capabilities of memorizing the underlying training data, which can be a serious privacy concern. An effective solution to this problem is to train models with differential privacy, which provides rigorous privacy guarantees by injecting random noise to the gradients. This paper focuses on the scenario where sensitive data are distributed among multiple participants, who jointly train a model through federated learning (FL), using both secure multiparty computation (MPC) to ensure the confidentiality of each gradient update, and differential privacy to avoid data leakage in the resulting model. A major challenge in this setting is that common mechanisms for enforcing DP in deep learning, which inject real-valued noise, are fundamentally incompatible with MPC, which exchanges finite-field integers among the participants. Consequently, most existing DP mechanisms require rather high noise levels, leading to poor model utility. Motivated by this, we propose Skellam mixture mechanism (SMM), an approach to enforce DP on models built via FL. Compared to existing methods, SMM eliminates the assumption that the input gradients must be integer-valued, and, thus, reduces the amount of noise injected to preserve DP. Further, SMM allows tight privacy accounting due to the nice composition and sub-sampling properties of the Skellam distribution, which are key to accurate deep learning with DP. The theoretical analysis of SMM is highly non-trivial, especially considering (i) the complicated math of differentially private deep learning in general and (ii) the fact that the mixture of two Skellam distributions is rather complex, and to our knowledge, has not been studied in the DP literature. Extensive experiments on various practical settings demonstrate that SMM consistently and significantly outperforms existing solutions in terms of the utility of the resulting model.

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

为了在带宽洪泛环境（例如无线网络）中启用大规模的机器学习，最近在设计借助通信压缩的帮助下，最近在设计沟通效率的联合学习算法方面取得了重大进展。另一方面，隐私保护，尤其是在客户层面上，是另一个重要的避税，在存在高级通信压缩技术的情况下尚未同时解决。在本文中，我们提出了一个统一的框架，以通过沟通压缩提高私人联邦学习的沟通效率。利用通用压缩操作员和局部差异隐私，我们首先检查了一种简单的算法，该算法将压缩直接应用于差异私密的随机梯度下降，并确定其局限性。然后，我们为私人联合学习提出了一个统一的框架Soteriafl，该框架适应了一般的局部梯度估计剂家庭，包括流行的随机方差减少梯度方法和最先进的变化压缩方案。我们在隐私，公用事业和沟通复杂性方面提供了其性能权衡的全面表征，在这种情况下，Soterafl被证明可以在不牺牲隐私或实用性的情况下实现更好的沟通复杂性，而不是其他私人联合联盟学习算法而没有沟通压缩。

在联合学习（FL）设置中具有用户级差异隐私（例如，DP联合平均）培训神经网络的现有方法涉及通过*将其绘制到某些常量值的贡献限制每个用户的模型更新的贡献。但是，没有好处*先验*跨任务和学习设置的剪切规范设置：更新规范分布取决于模型架构和丢失，每个设备上的数据量，客户端学习率以及可能各种其他参数。我们提出了一种方法，其中代替固定剪切范围，一个剪辑到更新规范分布的指定定量位的值，其中定量位的值本身估计在线，具有差异隐私。该方法紧密地追踪量级，使用可忽略的隐私预算，与其他联合学习技术相容，例如压缩和安全聚合，并具有DP-Fedivg的直接联合DP分析。实验表明，适应性剪辑到中位更新规范的适应性剪辑跨越一系列现实的联合学习任务，有时甚至优于在后敏感中选择的最佳固定剪辑，而无需调整任何剪切的超参数。

联邦学习〜（FL）最近引起了学术界和行业的越来越多的关注，其最终目标是在隐私和沟通限制下进行协作培训。现有的基于FL算法的现有迭代模型需要大量的通信回合，以获得良好的模型，这是由于不同客户之间的极为不平衡和非平衡的I.D数据分配。因此，我们建议FedDM从多个本地替代功能中构建全球培训目标，这使服务器能够获得对损失格局的更全球视野。详细说明，我们在每个客户端构建了合成数据集，以在本地匹配从原始数据到分发匹配的损失景观。与笨拙的模型权重相比，FedDM通过传输更多信息和较小的合成数据来降低通信回合并提高模型质量。我们对三个图像分类数据集进行了广泛的实验，结果表明，在效率和模型性能方面，我们的方法可以优于其他FL的实验。此外，我们证明，FedDM可以适应使用高斯机制来保护差异隐私，并在相同的隐私预算下训练更好的模型。

可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。

联合学习（FL）使分布式设备能够共同培训共享模型，同时保持培训数据本地。与水平FL（HFL）设置不同，每个客户都有部分数据样本，即垂直FL（VFL），该设置允许每个客户收集部分特征，它最近吸引了密集的研究工作。在本文中，我们确定了最先进的VFL框架面临的两个挑战：（1）某些作品直接平均水平的学习功能嵌入，因此可能会失去每个本地功能集的独特属性； （2）服务器需要与客户进行每个培训步骤的梯度交流，从而产生高沟通成本，从而导致快速消费隐私预算。在本文中，我们旨在应对上述挑战，并提出一个具有多个线性头（VIM）框架的有效VFL，每个头部通过考虑每个客户的单独贡献来对应于本地客户。此外，我们提出了一种乘数的交替方向方法（ADMM）的方法来解决我们的优化问题，从而通过允许在每个步骤中允许多个本地更新来降低通信成本，从而在不同的隐私下导致更好的性能。我们考虑各种设置，包括具有模型分割的VFL，而无需模型分裂。对于这两种设置，我们仔细分析了框架的差异隐私机制。此外，我们表明我们框架的副产品是学习线性头的权重反映了当地客户的重要性。我们进行了广泛的评估，并表明，在四个现实世界数据集上，VIM与最先进的表现相比，vim的性能和更快的收敛性要高得多。我们还明确评估了本地客户的重要性，并表明VIM可以启用客户级解释和客户端Denoising等功能。

Distributing machine learning predictors enables the collection of large-scale datasets while leaving sensitive raw data at trustworthy sites. We show that locally training support vector machines (SVMs) and computing their averages leads to a learning technique that is scalable to a large number of users, satisfies differential privacy, and is applicable to non-trivial tasks, such as CIFAR-10. For a large number of participants, communication cost is one of the main challenges. We achieve a low communication cost by requiring only a single invocation of an efficient secure multiparty summation protocol. By relying on state-of-the-art feature extractors (SimCLR), we are able to utilize differentially private convex learners for non-trivial tasks such as CIFAR-10. Our experimental results illustrate that for $1{,}000$ users with $50$ data points each, our scheme outperforms state-of-the-art scalable distributed learning methods (differentially private federated learning, short DP-FL) while requiring around $500$ times fewer communication costs: For CIFAR-10, we achieve a classification accuracy of $79.7\,\%$ for an $\varepsilon = 0.59$ while DP-FL achieves $57.6\,\%$. More generally, we prove learnability properties for the average of such locally trained models: convergence and uniform stability. By only requiring strongly convex, smooth, and Lipschitz-continuous objective functions, locally trained via stochastic gradient descent (SGD), we achieve a strong utility-privacy tradeoff.

我们考虑使用迷你批量梯度进行差异隐私（DP）的培训模型。现有的最先进的差异私有随机梯度下降（DP-SGD）需要通过采样或洗机来获得最佳隐私/准确性/计算权衡的隐私放大。不幸的是，在重要的实际情况下，精确采样和洗牌的精确要求可能很难获得，特别是联邦学习（FL）。我们设计和分析跟随 - 正规的领导者（DP-FTRL）的DP变体，其比较（理论上和经验地）与放大的DP-SGD相比，同时允许更灵活的数据访问模式。DP-FTRL不使用任何形式的隐私放大。该代码可在https://github.com/google-Research/federated/tree/master/dp_ftrl和https://github.com/google-reesearch/dp-ftrl处获得。

联合学习（FL）是一个分布式学习范式，使相互不信任的客户能够协作培训通用的机器学习模型。客户数据隐私在FL中至关重要。同时，必须保护模型免受对抗客户的中毒攻击。现有解决方案孤立地解决了这两个问题。我们提出了FedPerm，这是一种新的FL算法，它通过结合一种新型的内部模型参数改组技术来解决这两个问题，该技术可以放大数据隐私，并基于私人信息检索（PIR）技术，该技术允许允许对客户模型更新的加密聚合。这些技术的组合进一步有助于联邦服务器约束从客户端的参数更新，从而减少对抗性客户的模型中毒攻击的影响。我们进一步介绍了Fedperm独特的超参数，可以有效地使用Model Utilities进行计算开销。我们对MNIST数据集的经验评估表明，FEDPERM对FL中现有差异隐私（DP）执法解决方案的有效性。

联邦学习（FL）是大规模分布式学习的范例，它面临两个关键挑战：（i）从高度异构的用户数据和（ii）保护参与用户的隐私的高效培训。在这项工作中，我们提出了一种新颖的流动方法（DP-SCaffold）来通过将差异隐私（DP）约束结合到流行的脚手架算法中来解决这两个挑战。我们专注于有挑战性的环境，用户在没有任何可信中介的情况下与“诚实但奇怪的”服务器沟通，这需要确保隐私不仅可以访问最终模型的第三方，而且还要对服务器观察所有用户通信。使用DP理论的高级结果，我们建立了凸面和非凸面目标算法的融合。我们的分析清楚地突出了数据异质性下的隐私式折衷，并且当局部更新的数量和异质性水平增长时，展示了在最先进的算法DP-Fedivg上的DP-Scaffold的优越性。我们的数值结果证实了我们的分析，并表明DP-Scaffold在实践中提供了重大的收益。

我们在差异隐私（DP）的洗牌模型中研究高斯机制。特别是，我们表征了该机制的r \'enyi差异隐私（RDP），表明它是形式：$$ \ epsilon（\ lambda）\ leq \ leq \ frac {1} {\ lambda-rambda-1} \ log \ left（ \ frac { } \ binom {\ lambda！} {k_1，\ dotsc，k_n} e^{\ sum_ {\ sum_ {i = 1}^nk_i^2/2 \ sigma^2} \ right）由高斯RDP限制在上面，而不会改组。混乱的高斯RDP在组成多种DP机制方面是有利的，在该机制中，我们证明了其对散装模型的隐私保证的最新近似DP组成定理的改进。此外，我们将研究扩展到了次采样的洗牌机制和最近提出的洗牌机制，这些机制是针对分布式/联合学习的协议。最后，对这些机制进行了一项实证研究，以证明在分布式学习框架下采用洗牌高斯机制来保证严格的用户隐私的功效。

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。