梯度泄漏攻击被认为是深度学习中的邪恶隐私威胁之一，因为攻击者在迭代培训期间隐蔽了梯度更新，而不会影响模型培训质量，但又使用泄漏的梯度逐步重建敏感培训数据，具有高攻击成功率。虽然具有差异隐私的深度学习是发布具有差异隐私保障的深度学习模型的违法标准，但我们展示了具有固定隐私参数的差异私有算法易受梯度泄漏攻击的影响。本文调查了差异隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了差异隐私的深度学习的现有实现，它使用固定噪声方差使用固定隐私参数将恒定噪声对所有层中的梯度注入恒定噪声。尽管提供了DP保证，但该方法遭受了低精度，并且很容易受到梯度泄漏攻击。其次，通过使用动态隐私参数，我们提出了一种梯度泄漏弹性深度学习方法，差异隐私保证。与导致恒定噪声方差导致的固定参数策略不同，不同的动态参数策略存在替代技术，以引入自适应噪声方差和自适应噪声注入，其与差别私有模型训练期间的梯度更新的趋势紧密对齐。最后，我们描述了四个互补指标来评估和比较替代方法。

Differential privacy is a strong notion for privacy that can be used to prove formal guarantees, in terms of a privacy budget, , about how much information is leaked by a mechanism. However, implementations of privacy-preserving machine learning often select large values of in order to get acceptable utility of the model, with little understanding of the impact of such choices on meaningful privacy. Moreover, in scenarios where iterative learning procedures are used, differential privacy variants that offer tighter analyses are used which appear to reduce the needed privacy budget but present poorly understood trade-offs between privacy and utility. In this paper, we quantify the impact of these choices on privacy in experiments with logistic regression and neural network models. Our main finding is that there is a huge gap between the upper bounds on privacy loss that can be guaranteed, even with advanced mechanisms, and the effective privacy loss that can be measured using current inference attacks. Current mechanisms for differentially private machine learning rarely offer acceptable utility-privacy trade-offs with guarantees for complex learning tasks: settings that provide limited accuracy loss provide meaningless privacy guarantees, and settings that provide strong privacy guarantees result in useless models.

Machine learning techniques based on neural networks are achieving remarkable results in a wide variety of domains. Often, the training of models requires large, representative datasets, which may be crowdsourced and contain sensitive information. The models should not expose private information in these datasets. Addressing this goal, we develop new algorithmic techniques for learning and a refined analysis of privacy costs within the framework of differential privacy. Our implementation and experiments demonstrate that we can train deep neural networks with non-convex objectives, under a modest privacy budget, and at a manageable cost in software complexity, training efficiency, and model quality. * Google.† OpenAI. Work done while at Google.

深度神经网络（DNNS）铰接对大型数据集的可用性的最新成功;但是，对此类数据集的培训经常为敏感培训信息构成隐私风险。在本文中，我们的目标是探讨生成模型和梯度稀疏性的力量，并提出了一种可扩展的隐私保留生成模型数据标准。与标准展示隐私保留框架相比，允许教师对一维预测进行投票，在高维梯度向量上投票在隐私保存方面具有挑战性。随着需要尺寸减少技术，我们需要在（1）之间的改进之间导航精致的权衡空间，并进行SGD收敛的放缓。为了解决这一点，我们利用通信高效学习，并通过将顶-K压缩与相应的噪声注入机构相结合，提出一种新的噪声压缩和聚集方法TopAGG。理论上，我们证明了DataLens框架保证了其生成数据的差异隐私，并提供了其收敛性的分析。为了展示DataLens的实际使用情况，我们对不同数据集进行广泛的实验，包括Mnist，Fashion-Mnist和高维Celeba，并且我们表明，DataLens显着优于其他基线DP生成模型。此外，我们改进了所提出的Topagg方法，该方法是DP SGD培训的主要构建块之一，并表明它能够在大多数情况下实现比最先进的DP SGD方法更高的效用案件。我们的代码在HTTPS://github.com/ai-secure/datalens公开提供。

Federated learning seeks to address the issue of isolated data islands by making clients disclose only their local training models. However, it was demonstrated that private information could still be inferred by analyzing local model parameters, such as deep neural network model weights. Recently, differential privacy has been applied to federated learning to protect data privacy, but the noise added may degrade the learning performance much. Typically, in previous work, training parameters were clipped equally and noises were added uniformly. The heterogeneity and convergence of training parameters were simply not considered. In this paper, we propose a differentially private scheme for federated learning with adaptive noise (Adap DP-FL). Specifically, due to the gradient heterogeneity, we conduct adaptive gradient clipping for different clients and different rounds; due to the gradient convergence, we add decreasing noises accordingly. Extensive experiments on real-world datasets demonstrate that our Adap DP-FL outperforms previous methods significantly.

Differentially Private Stochastic Gradient Descent (DP-SGD) is a key method for applying privacy in the training of deep learning models. This applies isotropic Gaussian noise to gradients during training, which can perturb these gradients in any direction, damaging utility. Metric DP, however, can provide alternative mechanisms based on arbitrary metrics that might be more suitable. In this paper we apply \textit{directional privacy}, via a mechanism based on the von Mises-Fisher (VMF) distribution, to perturb gradients in terms of \textit{angular distance} so that gradient direction is broadly preserved. We show that this provides $\epsilon d$-privacy for deep learning training, rather than the $(\epsilon, \delta)$-privacy of the Gaussian mechanism; and that experimentally, on key datasets, the VMF mechanism can outperform the Gaussian in the utility-privacy trade-off.

联合学习（FL）提供了一个有效的范式，可以共同培训分布式用户的数据的全球模型。由于本地培训数据来自可能不值得信赖的不同用户，因此一些研究表明，FL容易受到中毒攻击的影响。同时，为了保护本地用户的隐私，FL始终以差异性私人方式（DPFL）进行培训。因此，在本文中，我们问：我们是否可以利用DPFL的先天隐私权来提供对中毒攻击的认证鲁棒性？我们可以进一步改善FL的隐私以改善这种认证吗？我们首先研究了FL的用户级和实例级别的隐私，并提出了新的机制以获得改进的实例级隐私。然后，我们提供两个鲁棒性认证标准：两级DPFL的认证预测和认证攻击成本。从理论上讲，我们证明了DPFL在有限数量的对抗用户或实例下的认证鲁棒性。从经验上讲，我们进行了广泛的实验，以在对不同数据集的一系列攻击下验证我们的理论。我们表明，具有更严格的隐私保证的DPFL总是在认证攻击成本方面提供更强的鲁棒性认证，但是在隐私保护和公用事业损失之间的适当平衡下，获得了最佳认证预测。

Differential privacy (DP) provides a formal privacy guarantee that prevents adversaries with access to machine learning models from extracting information about individual training points. Differentially private stochastic gradient descent (DPSGD) is the most popular training method with differential privacy in image recognition. However, existing DPSGD schemes lead to significant performance degradation, which prevents the application of differential privacy. In this paper, we propose a simulated annealing-based differentially private stochastic gradient descent scheme (SA-DPSGD) which accepts a candidate update with a probability that depends both on the update quality and on the number of iterations. Through this random update screening, we make the differentially private gradient descent proceed in the right direction in each iteration, and result in a more accurate model finally. In our experiments, under the same hyperparameters, our scheme achieves test accuracies 98.35%, 87.41% and 60.92% on datasets MNIST, FashionMNIST and CIFAR10, respectively, compared to the state-of-the-art result of 98.12%, 86.33% and 59.34%. Under the freely adjusted hyperparameters, our scheme achieves even higher accuracies, 98.89%, 88.50% and 64.17%. We believe that our method has a great contribution for closing the accuracy gap between private and non-private image classification.

差异私有随机梯度下降（DP-SGD）通过在SGD训练期间将噪声添加到剪切梯度以满足差异隐私（DP）定义来防止训练数据隐私泄露。另一方面，跨越训练步骤的相同剪辑操作和附加噪声导致不稳定的更新甚至是增值时间，这显着降低了模型的准确性。在本文中，我们延长了高斯DP中央极限定理，以分别校准每个单独的步骤的剪切值和噪声功率。因此，我们能够提出动态DP-SGD，其在更新期间具有比DP-SGD更低的隐私成本，直到它们在目标更新数量达到相同的目标隐私预算之前。特别是动态DP-SGD，特别提高了模型精度，而不会通过逐渐降低剪切值和噪声功率来遵循完全隐私预算约束来牺牲隐私。关于各种深度学习任务的广泛实验，包括图像分类，自然语言处理和联合学习，表明所提出的动态DP-SGD算法稳定更新，因此，在较强烈的隐私保护区中显着提高了模型精度与DP-SGD相比。

我们审查在机器学习（ML）中使用差异隐私（DP）对隐私保护的使用。我们表明，在维护学习模型的准确性的驱动下，基于DP的ML实现非常宽松，以至于它们不提供DP的事前隐私保证。取而代之的是，他们提供的基本上是与传统（经常受到批评的）统计披露控制方法相似的噪声。由于缺乏正式的隐私保证，因此所提供的实际隐私水平必须经过实验评估，这很少进行。在这方面，我们提出的经验结果表明，ML中的标准反拟合技术可以比DP实现更好的实用性/隐私/效率权衡。

如今，深度学习模型的所有者和开发人员必须考虑其培训数据的严格隐私保护规则，通常是人群来源且保留敏感信息。如今，深入学习模型执行隐私保证的最广泛采用的方法依赖于实施差异隐私的优化技术。根据文献，这种方法已被证明是针对多种模型的隐私攻击的成功防御，但其缺点是对模型的性能的实质性降级。在这项工作中，我们比较了差异私有的随机梯度下降（DP-SGD）算法与使用正则化技术的标准优化实践的有效性。我们分析了生成模型的实用程序，培训性能以及成员推理和模型反转攻击对学习模型的有效性。最后，我们讨论了差异隐私的缺陷和限制，并从经验上证明了辍学和L2型规范的卓越保护特性。

Deep neural networks have strong capabilities of memorizing the underlying training data, which can be a serious privacy concern. An effective solution to this problem is to train models with differential privacy, which provides rigorous privacy guarantees by injecting random noise to the gradients. This paper focuses on the scenario where sensitive data are distributed among multiple participants, who jointly train a model through federated learning (FL), using both secure multiparty computation (MPC) to ensure the confidentiality of each gradient update, and differential privacy to avoid data leakage in the resulting model. A major challenge in this setting is that common mechanisms for enforcing DP in deep learning, which inject real-valued noise, are fundamentally incompatible with MPC, which exchanges finite-field integers among the participants. Consequently, most existing DP mechanisms require rather high noise levels, leading to poor model utility. Motivated by this, we propose Skellam mixture mechanism (SMM), an approach to enforce DP on models built via FL. Compared to existing methods, SMM eliminates the assumption that the input gradients must be integer-valued, and, thus, reduces the amount of noise injected to preserve DP. Further, SMM allows tight privacy accounting due to the nice composition and sub-sampling properties of the Skellam distribution, which are key to accurate deep learning with DP. The theoretical analysis of SMM is highly non-trivial, especially considering (i) the complicated math of differentially private deep learning in general and (ii) the fact that the mixture of two Skellam distributions is rather complex, and to our knowledge, has not been studied in the DP literature. Extensive experiments on various practical settings demonstrate that SMM consistently and significantly outperforms existing solutions in terms of the utility of the resulting model.

差异隐私（DP）已被出现为严格的形式主义，以推理可量化的隐私泄漏。在机器学习（ML）中，已采用DP限制推理/披露训练示例。在现有的工作中杠杆横跨ML管道，尽管隔离，通常专注于梯度扰动等机制。在本文中，我们展示了DP-util，DP整体实用分析框架，跨越ML管道，重点是输入扰动，客观扰动，梯度扰动，输出扰动和预测扰动。在隐私敏感数据上给出ML任务，DP-Util使ML隐私从业者能够对DP在这五个扰动点中的影响，以模型公用事业丢失，隐私泄漏和真正透露的数量来测量DP的影响。训练样本。我们在视觉，医疗和金融数据集上使用两个代表性学习算法（Logistic回归和深神经网络）来评估DP-Uts，以防止会员资格推论攻击作为案例研究攻击。我们结果的一个亮点是，预测扰动一致地在所有数据集中始终如一地实现所有模型的最低实用损耗。在Logistic回归模型中，与其他扰动技术相比，客观扰动导致最低的隐私泄漏。对于深度神经网络，梯度扰动导致最低的隐私泄漏。此外，我们的结果揭示了记录的结果表明，由于隐私泄漏增加，差异私有模型揭示了更多数量的成员样本。总体而言，我们的研究结果表明，为了使使用的扰动机制有明智的决定，ML隐私从业者需要检查优化技术（凸与非凸），扰动机制，课程数量和隐私预算之间的动态。

提出测试释放（PTR）是一个差异隐私框架，可符合局部功能的敏感性，而不是其全球敏感性。该框架通常用于以差异性私有方式释放强大的统计数据，例如中位数或修剪平均值。尽管PTR是十年前引入的常见框架，但在诸如Robust SGD之类的应用程序中使用它，我们需要许多自适应鲁棒的查询是具有挑战性的。这主要是由于缺乏Renyi差异隐私（RDP）分析，这是一种瞬间的私人深度学习方法的基础。在这项工作中，我们概括了标准PTR，并在目标函数界定全局灵敏度时得出了第一个RDP。我们证明，与直接分析的$（\ eps，\ delta）$ -DP相比，我们的RDP绑定的PTR可以得出更严格的DP保证。我们还得出了亚采样下PTR的算法特异性隐私扩增。我们表明，我们的界限比一般的上限和接近下限的界限要紧密得多。我们的RDP界限可以为PTR的许多自适应运行的组成而更严格的隐私损失计算。作为我们的分析的应用，我们表明PTR和我们的理论结果可用于设计私人变体，用于拜占庭强大的训练算法，这些变体使用可靠的统计数据用于梯度聚集。我们对不同数据集和体系结构的标签，功能和梯度损坏的设置进行实验。我们表明，与基线相比，基于PTR的私人和强大的培训算法可显着改善该实用性。

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。

差异私有随机梯度下降（DPSGD）是基于差分隐私（DP）范例的随机梯度下降的变化，这可以减轻来自在训练数据中存在敏感信息的隐私威胁。然而，具有DPSGD的培训深度神经网络的一个主要缺点是模型精度的降低。本文研究了标准化层对DPSGD性能的影响。我们证明标准化层显着影响了深度神经网络与嘈杂参数的效用，应该被视为DPSGD培训的基本成分。特别是，我们提出了一种新的方法，用于将批量标准化与DPSGD集成，而不会产生额外的隐私损失。通过我们的方法，我们能够培训更深的网络并实现更好的效用隐私权衡。

Privacy noise may negate the benefits of using adaptive optimizers in differentially private model training. Prior works typically address this issue by using auxiliary information (e.g., public data) to boost the effectiveness of adaptive optimization. In this work, we explore techniques to estimate and efficiently adapt to gradient geometry in private adaptive optimization without auxiliary data. Motivated by the observation that adaptive methods can tolerate stale preconditioners, we propose differentially private adaptive training with delayed preconditioners (DP^2), a simple method that constructs delayed but less noisy preconditioners to better realize the benefits of adaptivity. Theoretically, we provide convergence guarantees for our method for both convex and non-convex problems, and analyze trade-offs between delay and privacy noise reduction. Empirically, we explore DP^2 across several real-world datasets, demonstrating that it can improve convergence speed by as much as 4x relative to non-adaptive baselines and match the performance of state-of-the-art optimization methods that require auxiliary data.

在联合学习（FL）中，数据不会在联合培训机器学习模型时留下个人设备。相反，这些设备与中央党（例如，公司）共享梯度。因为数据永远不会“离开”个人设备，因此FL作为隐私保留呈现。然而，最近显示这种保护是一个薄的外观，甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中，我们争辩说，事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者，这些攻击者是诚实但好奇的。相反，我们介绍了一个活跃和不诚实的攻击者，作为中央会，他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据，并在接近零成本时：攻击不需要复杂的优化目标。相反，它利用了模型梯度的固有数据泄漏，并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点，我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后，我们考虑缓解。我们观察到，FL中的差异隐私（DP）的当前实现是有缺陷的，因为它们明确地信任中央会，并在增加DP噪音的关键任务，因此不提供对恶意中央党的保护。我们还考虑其他防御，并解释为什么它们类似地不足。它需要重新设计FL，为用户提供任何有意义的数据隐私。

隐私和沟通效率是联邦神经网络培训中的重要挑战，并将它们组合仍然是一个公开的问题。在这项工作中，我们开发了一种统一高度压缩通信和差异隐私（DP）的方法。我们引入基于相对熵编码（REC）到联合设置的压缩技术。通过对REC进行微小的修改，我们获得了一种可怕的私立学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。

对协作学习的实证攻击表明，深度神经网络的梯度不仅可以披露训练数据的私有潜在属性，还可以用于重建原始数据。虽然先前的作品试图量化了梯度的隐私风险，但这些措施没有建立理论上对梯度泄漏的理解了解，而不是跨越攻击者的概括，并且不能完全解释通过实际攻击在实践中通过实证攻击观察到的内容。在本文中，我们介绍了理论上激励的措施，以量化攻击依赖和攻击无关方式的信息泄漏。具体而言，我们展示了$ \ mathcal {v} $ - 信息的适应，它概括了经验攻击成功率，并允许量化可以从任何所选择的攻击模型系列泄漏的信息量。然后，我们提出了独立的措施，只需要共享梯度，用于量化原始和潜在信息泄漏。我们的经验结果，六个数据集和四种流行型号，揭示了第一层的梯度包含最高量的原始信息，而（卷积）特征提取器层之后的（完全连接的）分类层包含最高的潜在信息。此外，我们展示了如何在训练期间诸如梯度聚集的技术如何减轻信息泄漏。我们的工作为更好的防御方式铺平了道路，例如基于层的保护或强聚合。