具有差异隐私（DP）的文本重写提供了具体的理论保证，可以保护个人在文本文档中的隐私。实际上，现有系统可能缺乏验证其隐私索赔的手段，从而导致透明度和可重复性问题。我们介绍了DP-Rewrite，这是一个开源框架，用于差异化文本重写，旨在通过模块化，可扩展和高度定制来解决这些问题。我们的系统结合了各种下游数据集，模型，培训前程序和评估指标，以提供一种灵活的方式来领导和验证私人文本重写研究。为了在实践中展示我们的软件，我们提供了一组实验，作为对熟练DP文本重写系统的案例研究，检测其预训练方法中的隐私泄漏。我们的系统公开可用，我们希望它将帮助社区使DP文本重写研究更容易访问和透明。

Pre-training large transformer models with in-domain data improves domain adaptation and helps gain performance on the domain-specific downstream tasks. However, sharing models pre-trained on potentially sensitive data is prone to adversarial privacy attacks. In this paper, we asked to which extent we can guarantee privacy of pre-training data and, at the same time, achieve better downstream performance on legal tasks without the need of additional labeled data. We extensively experiment with scalable self-supervised learning of transformer models under the formal paradigm of differential privacy and show that under specific training configurations we can improve downstream performance without sacrifying privacy protection for the in-domain data. Our main contribution is utilizing differential privacy for large-scale pre-training of transformer language models in the legal NLP domain, which, to the best of our knowledge, has not been addressed before.

随着语言模型的不断增加，它对于保护这些模型免于泄漏私人信息变得至关重要。以前的工作试图通过培训具有不同隐私保证的基于RNN的语言模型来应对这一挑战。但是，将经典的差异隐私应用于语言模型会导致模型性能差，因为基本隐私概念过于困惑，并且为数据中所有令牌提供了不体化的保护。鉴于自然语言中的私人信息很少（例如，电子邮件的大部分可能无法携带个人身份信息），我们提出了一个新的隐私概念，选择性差异隐私，以提供严格的数据，以保证数据的敏感部分改善模型实用程序。为了实现这样一个新的概念，我们为基于RNN的语言模型开发了相应的隐私机制，即选择性DPSGD。除了语言建模外，我们还将方法应用于更具体的应用程序 - dialog系统。语言建模和对话系统建设的实验表明，与基线相比，在各种隐私攻击下，提议的保留隐私机制可以实现更好的公用事业，同时保持安全。数据和代码在https://github.com/wyshi/lm_privacy上发布，以促进未来的研究。

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。

现代机器学习系统在大型数据集中培训时取得了巨大的成功。但是，这些数据集通常包含敏感信息（例如医疗记录，面部图像），导致严重的隐私问题。差异化私有生成模型（DPGM）通过生成私有化的敏感数据来避免此类隐私问题的解决方案。与其他差异私人（DP）学习者类似，DPGM的主要挑战也是如何在效用和隐私之间取得微妙的平衡。我们提出了DP $^2 $ -VAE，这是一种具有可证明的DP保证的变性自动编码器（VAE）的新型培训机制，并通过\ emph {pre-emph {pre-emph {prec-emph {pret-emph {pret-training}。在相同的DP约束下，DP $^2 $ -VAE最大程度地减少了训练过程中的扰动噪声，从而改善了实用性。 DP $^2 $ -VAE非常灵活，并且对许多其他VAE变体都很容易适应。从理论上讲，我们研究了预训练对私人数据的影响。从经验上讲，我们在图像数据集上进行了广泛的实验，以说明我们在各种隐私预算和评估指标下对基准的优越性。

Task-oriented dialogue systems often assist users with personal or confidential matters. For this reason, the developers of such a system are generally prohibited from observing actual usage. So how can they know where the system is failing and needs more training data or new functionality? In this work, we study ways in which realistic user utterances can be generated synthetically, to help increase the linguistic and functional coverage of the system, without compromising the privacy of actual users. To this end, we propose a two-stage Differentially Private (DP) generation method which first generates latent semantic parses, and then generates utterances based on the parses. Our proposed approach improves MAUVE by 3.8$\times$ and parse tree node-type overlap by 1.4$\times$ relative to current approaches for private synthetic data generation, improving both on fluency and semantic coverage. We further validate our approach on a realistic domain adaptation task of adding new functionality from private user data to a semantic parser, and show gains of 1.3$\times$ on its accuracy with the new feature.

当适用于大规模学习问题时，由于与差异性的性能下降和高记忆开销相比，所谓的隐私私人随机梯度下降（DP-SGD）的常规智慧已经满足了有限的成功。非隐私对应。我们展示了如何通过用新型DP正向传播（DP-FP）替换DP-SGD来减轻性能下降，然后是一个离上的非DP优化器。我们的DP-FP采用新的（1）表示剪辑，然后在前向传播阶段进行噪声，以及（2）微批量构建通过分置，以实现DP放大，并将噪声功率降低至1 / m $，其中$ m $是一步中的微批次数量。在培训分类模型时，我们的DP-FP与表示的所有隐私保留操作的DP-FP无天然偏离偏差，总噪声与模型大小，以及DP-SGD中的内存问题。结果，我们的DP-FP优于尖端DP-SGD，同时保持相同的隐私水平，并且它接近非私有基线，显着优于最先进的DP-SGD变体。例如，当在四个下游任务上应用于Roberta-Light时，DP-FP的平均准确性为91.34 \％，隐私预算小于3，代表了最先进的DP的3.81 \％的性能改进 - 与非私有基线相比，SGD和只有0.9 \％的损失，但具有明显降低的隐私泄漏风险。

大型语言模型被显示为记住隐私信息，例如培训数据中的社会保险号。鉴于培训语料库的巨大规模，筛选和自动筛选和过滤这些隐私数据是一项挑战。在本文中，我们提出了秘密编辑的培训（CRT），这是一种培训语言生成模型的方法，同时保护机密细分市场。我们从差异隐私（解决一个相关但独特的问题）中借鉴了想法，并表明我们的方法能够通过随机将培训过程的部分随机化来防止意外的记忆。此外，我们证明了通过近似正确的筛选策略进行修复会放大机密性保证。我们实施LSTM和GPT语言模型的方法。我们的实验结果表明，通过CRT训练的模型获得了几乎相同的困惑，同时保持了强大的机密性。

深度神经网络（DNNS）铰接对大型数据集的可用性的最新成功;但是，对此类数据集的培训经常为敏感培训信息构成隐私风险。在本文中，我们的目标是探讨生成模型和梯度稀疏性的力量，并提出了一种可扩展的隐私保留生成模型数据标准。与标准展示隐私保留框架相比，允许教师对一维预测进行投票，在高维梯度向量上投票在隐私保存方面具有挑战性。随着需要尺寸减少技术，我们需要在（1）之间的改进之间导航精致的权衡空间，并进行SGD收敛的放缓。为了解决这一点，我们利用通信高效学习，并通过将顶-K压缩与相应的噪声注入机构相结合，提出一种新的噪声压缩和聚集方法TopAGG。理论上，我们证明了DataLens框架保证了其生成数据的差异隐私，并提供了其收敛性的分析。为了展示DataLens的实际使用情况，我们对不同数据集进行广泛的实验，包括Mnist，Fashion-Mnist和高维Celeba，并且我们表明，DataLens显着优于其他基线DP生成模型。此外，我们改进了所提出的Topagg方法，该方法是DP SGD培训的主要构建块之一，并表明它能够在大多数情况下实现比最先进的DP SGD方法更高的效用案件。我们的代码在HTTPS://github.com/ai-secure/datalens公开提供。

自然语言处理（NLP）技术可以使用人的话语来帮助诊断诸如抑郁症之类的医疗状况。抑郁症是一种严重的医学疾病，可能会对人们的感觉，思维和行为产生不利影响，这可能导致情绪和身体上的问题。由于此类数据的敏感性，需要采取隐私措施来使用此类数据处理和培训模型。在这项工作中，我们研究了差异隐私（DP）在集中式学习和联合学习（FL）设置中对培训上下文化语言模型（Bert，Albert，Roberta和Distilbert）的影响。我们提供有关如何私下培训NLP模型以及哪些架构和设置提供更理想的隐私公用事业权衡的见解。我们设想这项工作将用于未来的医疗保健和心理健康研究，以使病史保持私密。因此，我们提供了这项工作的开源实施。

差异隐私（DP）已被出现为严格的形式主义，以推理可量化的隐私泄漏。在机器学习（ML）中，已采用DP限制推理/披露训练示例。在现有的工作中杠杆横跨ML管道，尽管隔离，通常专注于梯度扰动等机制。在本文中，我们展示了DP-util，DP整体实用分析框架，跨越ML管道，重点是输入扰动，客观扰动，梯度扰动，输出扰动和预测扰动。在隐私敏感数据上给出ML任务，DP-Util使ML隐私从业者能够对DP在这五个扰动点中的影响，以模型公用事业丢失，隐私泄漏和真正透露的数量来测量DP的影响。训练样本。我们在视觉，医疗和金融数据集上使用两个代表性学习算法（Logistic回归和深神经网络）来评估DP-Uts，以防止会员资格推论攻击作为案例研究攻击。我们结果的一个亮点是，预测扰动一致地在所有数据集中始终如一地实现所有模型的最低实用损耗。在Logistic回归模型中，与其他扰动技术相比，客观扰动导致最低的隐私泄漏。对于深度神经网络，梯度扰动导致最低的隐私泄漏。此外，我们的结果揭示了记录的结果表明，由于隐私泄漏增加，差异私有模型揭示了更多数量的成员样本。总体而言，我们的研究结果表明，为了使使用的扰动机制有明智的决定，ML隐私从业者需要检查优化技术（凸与非凸），扰动机制，课程数量和隐私预算之间的动态。

Privacy preserving deep learning is an emerging field in machine learning that aims to mitigate the privacy risks in the use of deep neural networks. One such risk is training data extraction from language models that have been trained on datasets , which contain personal and privacy sensitive information. In our study, we investigate the extent of named entity memorization in fine-tuned BERT models. We use single-label text classification as representative downstream task and employ three different fine-tuning setups in our experiments, including one with Differentially Privacy (DP). We create a large number of text samples from the fine-tuned BERT models utilizing a custom sequential sampling strategy with two prompting strategies. We search in these samples for named entities and check if they are also present in the fine-tuning datasets. We experiment with two benchmark datasets in the domains of emails and blogs. We show that the application of DP has a huge effect on the text generation capabilities of BERT. Furthermore, we show that a fine-tuned BERT does not generate more named entities entities specific to the fine-tuning dataset than a BERT model that is pre-trained only. This suggests that BERT is unlikely to emit personal or privacy sensitive named entities. Overall, our results are important to understand to what extent BERT-based services are prone to training data extraction attacks.

在本文中，我们研究了具有差异隐私（DP）的学习图神经网络（GNN）的问题。我们提出了一种基于聚合扰动（GAP）的新型差异私有GNN，该GNN为GNN的聚合函数添加了随机噪声，以使单个边缘（边缘级隐私）或单个节点的存在统计上的存在及其所有邻接边缘（ - 级别的隐私）。 GAP的新体系结构是根据私人学习的细节量身定制的，由三个单独的模块组成：（i）编码器模块，我们在不依赖边缘信息的情况下学习私人节点嵌入； （ii）聚合模块，其中我们根据图结构计算嘈杂的聚合节点嵌入； （iii）分类模块，我们在私有聚合上训练神经网络进行节点分类，而无需进一步查询图表。 GAP比以前的方法的主要优势在于，它可以从多跳社区的聚合中受益，并保证边缘级别和节点级别的DP不仅用于培训，而且可以推断出培训的隐私预算以外的额外费用。我们使用R \'Enyi DP来分析GAP的正式隐私保证，并在三个真实世界图数据集上进行经验实验。我们证明，与最先进的DP-GNN方法和天真的MLP基线相比，GAP提供了明显更好的准确性私人权衡权衡。

自适应优化方法已成为许多机器学习任务的默认求解器。不幸的是，适应性的好处可能会在具有不同隐私的训练时降低，因为噪声增加了，以确保隐私会降低自适应预处理的有效性。为此，我们提出了ADADP，这是一个使用非敏感的侧面信息来预处梯度的一般框架，从而可以在私有设置中有效使用自适应方法。我们正式显示ADADPS减少了获得类似隐私保证所需的噪声量，从而提高了优化性能。从经验上讲，我们利用简单且随时可用的侧面信息来探索实践中ADADP的性能，与集中式和联合设置中的强大基线相比。我们的结果表明，ADADP平均提高了准确性7.7％（绝对） - 在大规模文本和图像基准上产生最先进的隐私性权衡权衡。

We demonstrate that it is possible to train large recurrent language models with user-level differential privacy guarantees with only a negligible cost in predictive accuracy. Our work builds on recent advances in the training of deep networks on user-partitioned data and privacy accounting for stochastic gradient descent. In particular, we add user-level privacy protection to the federated averaging algorithm, which makes "large step" updates from user-level data. Our work demonstrates that given a dataset with a sufficiently large number of users (a requirement easily met by even small internet-scale datasets), achieving differential privacy comes at the cost of increased computation, rather than in decreased utility as in most prior work. We find that our private LSTM language models are quantitatively and qualitatively similar to un-noised models when trained on a large dataset.

临床NLP任务，例如文本的心理健康评估，必须考虑社会限制 - 绩效最大化必须受保证用户数据隐私的最大重要性来限制。消费者保护法规（例如GDPR）通常通过限制数据可用性来处理隐私，例如要求将用户数据限制为给定目的的“必要内容”。在这项工作中，我们认为提供更严格的正式隐私保证，同时增加模型中用户数据量的同时，在大多数情况下，为所有涉及的各方（尤其是对用户）增加了收益。我们在Twitter和Reddit帖子的两个现有自杀风险评估数据集上演示了我们的论点。我们提出了第一个分析并置用户历史记录长度和差异隐私预算，并详细说明建模其他用户上下文如何实现公用事业保存，同时保持可接受的用户隐私保证。

分层文本分类包括将文本文档分类为类和子类的层次结构。尽管人造神经网络已经证明有用的是执行这项任务，但遗憾的是，由于培训数据记忆，他们可以将培训数据信息泄漏到对手。在模型培训期间使用差异隐私可以减轻泄漏攻击训练型型号，使模型能够以降低的模型精度安全地共享。这项工作调查了具有差异隐私保证的分层文本分类中的隐私实用权折衷，并识别了提供优越权衡的神经网络架构。为此，我们使用白盒会员推理攻击来凭经验评估三种广泛使用的神经网络架构的信息泄漏。我们表明，大型差异隐私参数已经足以完全减轻隶属度推理攻击，因此仅导致模型实用程序的中等减少。更具体地说，对于具有长文本的大型数据集，我们观察了基于变压器的模型，实现了整体有利的隐私式实用工具权，而对于具有较短文本的较小的数据集是优选的。

Language models are widely deployed to provide automatic text completion services in user products. However, recent research has revealed that language models (especially large ones) bear considerable risk of memorizing private training data, which is then vulnerable to leakage and extraction by adversaries. In this study, we test the efficacy of a range of privacy-preserving techniques to mitigate unintended memorization of sensitive user text, while varying other factors such as model size and adversarial conditions. We test both "heuristic" mitigations (those without formal privacy guarantees) and Differentially Private training, which provides provable levels of privacy at the cost of some model performance. Our experiments show that (with the exception of L2 regularization), heuristic mitigations are largely ineffective in preventing memorization in our test suite, possibly because they make too strong of assumptions about the characteristics that define "sensitive" or "private" text. In contrast, Differential Privacy reliably prevents memorization in our experiments, despite its computational and model-performance costs.

最近的大规模自然语言处理（NLP）系统对大规模和多样化的语料库使用预先培训的大型语言模型（LLM）。实际上，预训练的模型通过对特定于任务的数据集进行微调来适应各种任务。 LLMS虽然有效，但已被证明可以记住培训数据的实例，从而有可能揭示在预训练期间处理的私人信息。潜在的泄漏可能会进一步传播到LLM经过微调的下游任务。另一方面，保存隐私的算法通常涉及从头开始的重新划痕，这对于LLM来说非常昂贵。在这项工作中，我们提出了一个简单，易于解释的，并且在解码阶段将其轻巧的扰动机制应用于已经训练的模型。我们的扰动机制是模型不可抑制的，可以与任何LLM结合使用。我们提供的理论分析表明，所提出的机制是私人的，实验结果显示了隐私 - 私人权衡权衡。

梯度泄漏攻击被认为是深度学习中的邪恶隐私威胁之一，因为攻击者在迭代培训期间隐蔽了梯度更新，而不会影响模型培训质量，但又使用泄漏的梯度逐步重建敏感培训数据，具有高攻击成功率。虽然具有差异隐私的深度学习是发布具有差异隐私保障的深度学习模型的违法标准，但我们展示了具有固定隐私参数的差异私有算法易受梯度泄漏攻击的影响。本文调查了差异隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了差异隐私的深度学习的现有实现，它使用固定噪声方差使用固定隐私参数将恒定噪声对所有层中的梯度注入恒定噪声。尽管提供了DP保证，但该方法遭受了低精度，并且很容易受到梯度泄漏攻击。其次，通过使用动态隐私参数，我们提出了一种梯度泄漏弹性深度学习方法，差异隐私保证。与导致恒定噪声方差导致的固定参数策略不同，不同的动态参数策略存在替代技术，以引入自适应噪声方差和自适应噪声注入，其与差别私有模型训练期间的梯度更新的趋势紧密对齐。最后，我们描述了四个互补指标来评估和比较替代方法。