差异私有随机梯度下降（DP-SGD）通过在SGD训练期间将噪声添加到剪切梯度以满足差异隐私（DP）定义来防止训练数据隐私泄露。另一方面，跨越训练步骤的相同剪辑操作和附加噪声导致不稳定的更新甚至是增值时间，这显着降低了模型的准确性。在本文中，我们延长了高斯DP中央极限定理，以分别校准每个单独的步骤的剪切值和噪声功率。因此，我们能够提出动态DP-SGD，其在更新期间具有比DP-SGD更低的隐私成本，直到它们在目标更新数量达到相同的目标隐私预算之前。特别是动态DP-SGD，特别提高了模型精度，而不会通过逐渐降低剪切值和噪声功率来遵循完全隐私预算约束来牺牲隐私。关于各种深度学习任务的广泛实验，包括图像分类，自然语言处理和联合学习，表明所提出的动态DP-SGD算法稳定更新，因此，在较强烈的隐私保护区中显着提高了模型精度与DP-SGD相比。

当适用于大规模学习问题时，由于与差异性的性能下降和高记忆开销相比，所谓的隐私私人随机梯度下降（DP-SGD）的常规智慧已经满足了有限的成功。非隐私对应。我们展示了如何通过用新型DP正向传播（DP-FP）替换DP-SGD来减轻性能下降，然后是一个离上的非DP优化器。我们的DP-FP采用新的（1）表示剪辑，然后在前向传播阶段进行噪声，以及（2）微批量构建通过分置，以实现DP放大，并将噪声功率降低至1 / m $，其中$ m $是一步中的微批次数量。在培训分类模型时，我们的DP-FP与表示的所有隐私保留操作的DP-FP无天然偏离偏差，总噪声与模型大小，以及DP-SGD中的内存问题。结果，我们的DP-FP优于尖端DP-SGD，同时保持相同的隐私水平，并且它接近非私有基线，显着优于最先进的DP-SGD变体。例如，当在四个下游任务上应用于Roberta-Light时，DP-FP的平均准确性为91.34 \％，隐私预算小于3，代表了最先进的DP的3.81 \％的性能改进 - 与非私有基线相比，SGD和只有0.9 \％的损失，但具有明显降低的隐私泄漏风险。

Federated learning seeks to address the issue of isolated data islands by making clients disclose only their local training models. However, it was demonstrated that private information could still be inferred by analyzing local model parameters, such as deep neural network model weights. Recently, differential privacy has been applied to federated learning to protect data privacy, but the noise added may degrade the learning performance much. Typically, in previous work, training parameters were clipped equally and noises were added uniformly. The heterogeneity and convergence of training parameters were simply not considered. In this paper, we propose a differentially private scheme for federated learning with adaptive noise (Adap DP-FL). Specifically, due to the gradient heterogeneity, we conduct adaptive gradient clipping for different clients and different rounds; due to the gradient convergence, we add decreasing noises accordingly. Extensive experiments on real-world datasets demonstrate that our Adap DP-FL outperforms previous methods significantly.

梯度泄漏攻击被认为是深度学习中的邪恶隐私威胁之一，因为攻击者在迭代培训期间隐蔽了梯度更新，而不会影响模型培训质量，但又使用泄漏的梯度逐步重建敏感培训数据，具有高攻击成功率。虽然具有差异隐私的深度学习是发布具有差异隐私保障的深度学习模型的违法标准，但我们展示了具有固定隐私参数的差异私有算法易受梯度泄漏攻击的影响。本文调查了差异隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了差异隐私的深度学习的现有实现，它使用固定噪声方差使用固定隐私参数将恒定噪声对所有层中的梯度注入恒定噪声。尽管提供了DP保证，但该方法遭受了低精度，并且很容易受到梯度泄漏攻击。其次，通过使用动态隐私参数，我们提出了一种梯度泄漏弹性深度学习方法，差异隐私保证。与导致恒定噪声方差导致的固定参数策略不同，不同的动态参数策略存在替代技术，以引入自适应噪声方差和自适应噪声注入，其与差别私有模型训练期间的梯度更新的趋势紧密对齐。最后，我们描述了四个互补指标来评估和比较替代方法。

Deep neural networks have strong capabilities of memorizing the underlying training data, which can be a serious privacy concern. An effective solution to this problem is to train models with differential privacy, which provides rigorous privacy guarantees by injecting random noise to the gradients. This paper focuses on the scenario where sensitive data are distributed among multiple participants, who jointly train a model through federated learning (FL), using both secure multiparty computation (MPC) to ensure the confidentiality of each gradient update, and differential privacy to avoid data leakage in the resulting model. A major challenge in this setting is that common mechanisms for enforcing DP in deep learning, which inject real-valued noise, are fundamentally incompatible with MPC, which exchanges finite-field integers among the participants. Consequently, most existing DP mechanisms require rather high noise levels, leading to poor model utility. Motivated by this, we propose Skellam mixture mechanism (SMM), an approach to enforce DP on models built via FL. Compared to existing methods, SMM eliminates the assumption that the input gradients must be integer-valued, and, thus, reduces the amount of noise injected to preserve DP. Further, SMM allows tight privacy accounting due to the nice composition and sub-sampling properties of the Skellam distribution, which are key to accurate deep learning with DP. The theoretical analysis of SMM is highly non-trivial, especially considering (i) the complicated math of differentially private deep learning in general and (ii) the fact that the mixture of two Skellam distributions is rather complex, and to our knowledge, has not been studied in the DP literature. Extensive experiments on various practical settings demonstrate that SMM consistently and significantly outperforms existing solutions in terms of the utility of the resulting model.

隐私和沟通效率是联邦神经网络培训中的重要挑战，并将它们组合仍然是一个公开的问题。在这项工作中，我们开发了一种统一高度压缩通信和差异隐私（DP）的方法。我们引入基于相对熵编码（REC）到联合设置的压缩技术。通过对REC进行微小的修改，我们获得了一种可怕的私立学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。

We consider private federated learning (FL), where a server aggregates differentially private gradient updates from a large number of clients in order to train a machine learning model. The main challenge is balancing privacy with both classification accuracy of the learned model as well as the amount of communication between the clients and server. In this work, we build on a recently proposed method for communication-efficient private FL -- the MVU mechanism -- by introducing a new interpolation mechanism that can accommodate a more efficient privacy analysis. The result is the new Interpolated MVU mechanism that provides SOTA results on communication-efficient private FL on a variety of datasets.

最近对具有正式隐私保证的分布式计算的研究，例如联合学习的差异私有（DP），利用每回合中客户的随机抽样（通过亚采样进行的隐私放大）来达到令人满意的隐私水平。然而，实现这一目标需要强大的假设，这些假设可能无法实践，包括对客户的精确和统一的亚采样，以及高度信任的聚合器来处理客户的数据。在本文中，我们探讨了一个更实用的协议，改组了办理登机手续，以解决上述问题。该协议依靠客户端做出独立和随机的决定来参与计算，释放服务器发射的亚采样要求，并启用客户端辍学的强大建模。此外，采用了称为洗牌模型的较弱的信任模型，而不是使用受信任的聚合器。为此，我们介绍了新工具来表征洗牌的r \'enyi差异隐私（RDP）。我们表明，我们的新技术在隐私保证中至少提高了三次，而在各种参数制度下使用近似DP的强大组成的人进行了三倍。此外，我们提供了一种数值方法来跟踪通用洗牌机构的隐私，包括具有高斯机制的分布式随机梯度下降（SGD）。据我们所知，这也是文献中分布式设置下本地/洗牌模型中高斯机制的首次评估，这可能具有独立的兴趣。

Machine learning techniques based on neural networks are achieving remarkable results in a wide variety of domains. Often, the training of models requires large, representative datasets, which may be crowdsourced and contain sensitive information. The models should not expose private information in these datasets. Addressing this goal, we develop new algorithmic techniques for learning and a refined analysis of privacy costs within the framework of differential privacy. Our implementation and experiments demonstrate that we can train deep neural networks with non-convex objectives, under a modest privacy budget, and at a manageable cost in software complexity, training efficiency, and model quality. * Google.† OpenAI. Work done while at Google.

深度神经网络（DNNS）铰接对大型数据集的可用性的最新成功;但是，对此类数据集的培训经常为敏感培训信息构成隐私风险。在本文中，我们的目标是探讨生成模型和梯度稀疏性的力量，并提出了一种可扩展的隐私保留生成模型数据标准。与标准展示隐私保留框架相比，允许教师对一维预测进行投票，在高维梯度向量上投票在隐私保存方面具有挑战性。随着需要尺寸减少技术，我们需要在（1）之间的改进之间导航精致的权衡空间，并进行SGD收敛的放缓。为了解决这一点，我们利用通信高效学习，并通过将顶-K压缩与相应的噪声注入机构相结合，提出一种新的噪声压缩和聚集方法TopAGG。理论上，我们证明了DataLens框架保证了其生成数据的差异隐私，并提供了其收敛性的分析。为了展示DataLens的实际使用情况，我们对不同数据集进行广泛的实验，包括Mnist，Fashion-Mnist和高维Celeba，并且我们表明，DataLens显着优于其他基线DP生成模型。此外，我们改进了所提出的Topagg方法，该方法是DP SGD培训的主要构建块之一，并表明它能够在大多数情况下实现比最先进的DP SGD方法更高的效用案件。我们的代码在HTTPS://github.com/ai-secure/datalens公开提供。

联合学习（FL）使分布式设备能够共同培训共享模型，同时保持培训数据本地。与水平FL（HFL）设置不同，每个客户都有部分数据样本，即垂直FL（VFL），该设置允许每个客户收集部分特征，它最近吸引了密集的研究工作。在本文中，我们确定了最先进的VFL框架面临的两个挑战：（1）某些作品直接平均水平的学习功能嵌入，因此可能会失去每个本地功能集的独特属性； （2）服务器需要与客户进行每个培训步骤的梯度交流，从而产生高沟通成本，从而导致快速消费隐私预算。在本文中，我们旨在应对上述挑战，并提出一个具有多个线性头（VIM）框架的有效VFL，每个头部通过考虑每个客户的单独贡献来对应于本地客户。此外，我们提出了一种乘数的交替方向方法（ADMM）的方法来解决我们的优化问题，从而通过允许在每个步骤中允许多个本地更新来降低通信成本，从而在不同的隐私下导致更好的性能。我们考虑各种设置，包括具有模型分割的VFL，而无需模型分裂。对于这两种设置，我们仔细分析了框架的差异隐私机制。此外，我们表明我们框架的副产品是学习线性头的权重反映了当地客户的重要性。我们进行了广泛的评估，并表明，在四个现实世界数据集上，VIM与最先进的表现相比，vim的性能和更快的收敛性要高得多。我们还明确评估了本地客户的重要性，并表明VIM可以启用客户级解释和客户端Denoising等功能。

我们考虑使用迷你批量梯度进行差异隐私（DP）的培训模型。现有的最先进的差异私有随机梯度下降（DP-SGD）需要通过采样或洗机来获得最佳隐私/准确性/计算权衡的隐私放大。不幸的是，在重要的实际情况下，精确采样和洗牌的精确要求可能很难获得，特别是联邦学习（FL）。我们设计和分析跟随 - 正规的领导者（DP-FTRL）的DP变体，其比较（理论上和经验地）与放大的DP-SGD相比，同时允许更灵活的数据访问模式。DP-FTRL不使用任何形式的隐私放大。该代码可在https://github.com/google-Research/federated/tree/master/dp_ftrl和https://github.com/google-reesearch/dp-ftrl处获得。

联邦学习（FL）是大规模分布式学习的范例，它面临两个关键挑战：（i）从高度异构的用户数据和（ii）保护参与用户的隐私的高效培训。在这项工作中，我们提出了一种新颖的流动方法（DP-SCaffold）来通过将差异隐私（DP）约束结合到流行的脚手架算法中来解决这两个挑战。我们专注于有挑战性的环境，用户在没有任何可信中介的情况下与“诚实但奇怪的”服务器沟通，这需要确保隐私不仅可以访问最终模型的第三方，而且还要对服务器观察所有用户通信。使用DP理论的高级结果，我们建立了凸面和非凸面目标算法的融合。我们的分析清楚地突出了数据异质性下的隐私式折衷，并且当局部更新的数量和异质性水平增长时，展示了在最先进的算法DP-Fedivg上的DP-Scaffold的优越性。我们的数值结果证实了我们的分析，并表明DP-Scaffold在实践中提供了重大的收益。

自适应优化方法已成为许多机器学习任务的默认求解器。不幸的是，适应性的好处可能会在具有不同隐私的训练时降低，因为噪声增加了，以确保隐私会降低自适应预处理的有效性。为此，我们提出了ADADP，这是一个使用非敏感的侧面信息来预处梯度的一般框架，从而可以在私有设置中有效使用自适应方法。我们正式显示ADADPS减少了获得类似隐私保证所需的噪声量，从而提高了优化性能。从经验上讲，我们利用简单且随时可用的侧面信息来探索实践中ADADP的性能，与集中式和联合设置中的强大基线相比。我们的结果表明，ADADP平均提高了准确性7.7％（绝对） - 在大规模文本和图像基准上产生最先进的隐私性权衡权衡。

我们审查在机器学习（ML）中使用差异隐私（DP）对隐私保护的使用。我们表明，在维护学习模型的准确性的驱动下，基于DP的ML实现非常宽松，以至于它们不提供DP的事前隐私保证。取而代之的是，他们提供的基本上是与传统（经常受到批评的）统计披露控制方法相似的噪声。由于缺乏正式的隐私保证，因此所提供的实际隐私水平必须经过实验评估，这很少进行。在这方面，我们提出的经验结果表明，ML中的标准反拟合技术可以比DP实现更好的实用性/隐私/效率权衡。

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。

从分布式敏感数据中学习隐私的模型是一个越来越重要的问题，通常在联邦学习环境中提出。最近通过分区的变异推理算法扩展到了非私有联盟学习设置。为了保护隐私，当前的黄金标准称为差异隐私。差异隐私在强大的数学上明确定义的意义上保证了隐私。在本文中，我们介绍了差异化的分区变异推断，这是学习与联合学习环境中贝叶斯后分布的差异近似的第一个通用框架，同时最大程度地减少了通信弹的数量并为数据主体提供差异隐私保证。我们在通用框架中提出了三个替代实现，一个基于单个方面的本地优化，而两个基于扰动全局更新（一种使用联合平均版本，一个将虚拟方添加到协议中），并比较其属性，并比较其属性理论上和经验。我们表明，只要各方都有足够的本地数据，扰动本地优化与简单且复杂的模型效果很好。但是，每个方始终独立保证隐私。相比之下，扰动全局更新与相对简单的模型最有效。鉴于可以访问合适的安全原始词，例如安全聚合或安全的改组，所有各方都可以共同保证隐私。

联合学习（FL）是一种从分散数据源训练机器学习模型的技术。我们根据当地的隐私约束概念研究FL，该概念通过在离开客户之前使数据混淆，为敏感数据披露提供了强烈的保护。我们确定了设计实用隐私的FL算法的两个主要问题：沟通效率和高维度的兼容性。然后，我们开发一种基于梯度的学习算法，称为\ emph {sqsgd}（选择性量化的随机梯度下降），以解决这两个问题。所提出的算法基于一种新颖的隐私量化方案，该方案使用每个客户每个维度的恒定位数。然后，我们通过三种方式改进基本算法：首先，我们采用梯度亚采样策略，同时在固定隐私预算下提供更好的培训性能和较小的沟通成本。其次，我们利用随机旋转作为预处理步骤来减少量化误差。第三，采用了自适应梯度标准上限策略来提高准确性和稳定训练。最后，在基准数据集中证明了拟议框架的实用性。实验结果表明，SQSGD成功地学习了Lenet和Resnet等局部隐私约束的大型模型。此外，凭借固定的隐私和通信水平，SQSGD的性能显着主导了各种基线算法。

Differentially Private Stochastic Gradient Descent (DP-SGD) is a key method for applying privacy in the training of deep learning models. This applies isotropic Gaussian noise to gradients during training, which can perturb these gradients in any direction, damaging utility. Metric DP, however, can provide alternative mechanisms based on arbitrary metrics that might be more suitable. In this paper we apply \textit{directional privacy}, via a mechanism based on the von Mises-Fisher (VMF) distribution, to perturb gradients in terms of \textit{angular distance} so that gradient direction is broadly preserved. We show that this provides $\epsilon d$-privacy for deep learning training, rather than the $(\epsilon, \delta)$-privacy of the Gaussian mechanism; and that experimentally, on key datasets, the VMF mechanism can outperform the Gaussian in the utility-privacy trade-off.

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。