特征在于构图的隐私劣化，即隐私会计，是差异隐私（DP）的基本话题，许多应用于差异私有机器学习和联合学习。我们提出了近期进步（Renyi DP，Privacy Compiles，$-D $ -dp和Pld形式主义）的统一，通过\ emph {phi $ \ phi $ -function）{占主导地位}隐私损失随机变量。我们展示了我们的方法允许\ emph {natural}自适应组成等renyi dp，提供\ emph {完全紧张}隐私会计，如pld，并且可以（通常是\ memph {docklyly}）转换为隐私权概况和$ f $ -dp ，从而提供$（\ epsilon，\ delta）$ - DP保证和可解释的权衡职能。算法，我们提出了一个\ xper {分析傅里叶会计师}，它象征性地表示$ \ phi $ -functions的\ icph {complex}对数，并使用高斯正交进行数值计算。在几个受欢迎的DP机制及其撤销的对应物上，我们展示了我们在理论和实验中的方法的灵活性和紧张性。

许多现代的机器学习算法由简单的私人算法组成；因此，一个越来越重要的问题是有效计算组成下的整体隐私损失。在这项研究中，我们介绍了Edgeworth会计师，这是一种分析方法，用于构成私人算法的差异隐私保证。 Edgeworth会计师首先使用$ f $ - 不同的隐私框架来无误地跟踪构图下的隐私损失，该框架使我们能够使用隐私损失log-logikelihoodhiehood（pllrs）表达隐私保证。顾名思义，该会计师接下来使用Edgeworth扩展到上下界限PLLR的总和的概率分布。此外，通过依靠一种使用简单的技术近似复杂分布的技术，我们证明了Edgeworth会计师可以应用于任何噪声加成机制的组成。由于Edgeworth扩展的某些吸引人的功能，该会计师提供的$（\ epsilon，\ delta）$ - 差异隐私范围是非反应的，基本上没有额外的计算成本，而不是先前的方法运行时间随成分的数量而增加。最后，我们证明了我们的上和下部$（\ epsilon，\ delta）$ - 差异隐私范围在联合分析和培训私人深度学习模型的某些制度中紧密。

隐私损失分配（PLD）在差异隐私（DP）的背景下对机制的隐私损失进行了严格的特征。最近的工作表明，与其他已知方法相比，基于PLD的会计允许更紧密的$（\ Varepsilon，\ delta）$ - DP保证。基于PLD的会计中的一个关键问题是如何在任何指定的离散支持上近似任何（潜在的连续）PLD。我们提出了解决这个问题的新方法。我们的方法都支持悲观的估计，它高估了曲棍球刺激的差异（即$ \ delta $）的任何值的$ \ varepsilon $和乐观的估计，从而低估了曲棍球粘贴的分歧。此外，我们表明，在所有悲观估计中，我们的悲观估计是最好的。实验评估表明，与以前的方法相比，我们的方法可以在更大的离散时间间隔内工作，同时保持相似的误差，但比现有方法更近似。

Concentrated differential privacy" was recently introduced by Dwork and Rothblum as a relaxation of differential privacy, which permits sharper analyses of many privacy-preserving computations. We present an alternative formulation of the concept of concentrated differential privacy in terms of the Rényi divergence between the distributions obtained by running an algorithm on neighboring inputs. With this reformulation in hand, we prove sharper quantitative results, establish lower bounds, and raise a few new questions. We also unify this approach with approximate differential privacy by giving an appropriate definition of "approximate concentrated differential privacy."

我们引入了一个新的差异隐私（DP）会计师，称为鞍点会计师（SPA）。SPA以准确而快速的方式近似保证DP机制的组成。我们的方法是受鞍点法的启发，这是一种统计中无处不在的数值技术。通过为SPA提供的近似误差，我们通过得出上限和下限来证明性能的严格保证。水疗中心的关键是与中心极限定理的大型探空方法的组合，我们通过指数倾斜与DP机制相对应的隐私损失随机变量来得出。水疗中心的一个关键优点是，它可以在$ n $折叠机制的$ n $折叠组成下持续运行。数值实验表明，水疗中心的准确性与更快的运行时的最新会计方法相当。

The ''Propose-Test-Release'' (PTR) framework is a classic recipe for designing differentially private (DP) algorithms that are data-adaptive, i.e. those that add less noise when the input dataset is nice. We extend PTR to a more general setting by privately testing data-dependent privacy losses rather than local sensitivity, hence making it applicable beyond the standard noise-adding mechanisms, e.g. to queries with unbounded or undefined sensitivity. We demonstrate the versatility of generalized PTR using private linear regression as a case study. Additionally, we apply our algorithm to solve an open problem from ''Private Aggregation of Teacher Ensembles (PATE)'' -- privately releasing the entire model with a delicate data-dependent analysis.

作为标准本地模型和中央模型之间的中间信任模型，差异隐私的洗牌模型已引起了人们的极大兴趣[EFMRTT19；CSUZZ19]。该模型的关键结果是，随机洗牌本地随机数据放大了差异隐私保证。这种放大意味着对数据匿名贡献的系统提供了更大的隐私保证[BEMMRLRKTS17]。在这项工作中，我们通过在理论和数字上逐渐改造结果来改善最新隐私放大的状态。我们的第一个贡献是对LDP Randomizers洗牌输出的R \'enyi差异隐私参数的首次渐近最佳分析。我们的第二个贡献是通过改组对隐私放大的新分析。该分析改进了[FMT20]的技术，并导致所有参数设置中的数值范围更紧密。

我们引入了一种用于隐私随机变量数值组成的新算法，可用于计算机制组成的准确差分隐私参数。我们的算法实现了$ \ mathrm {polylog}（k）$的运行时间和内存使用量，用于从广泛的机制（$ k $ times）中进行自我组合的任务；该类别包括在分析差异私有随机梯度下降中出现的亚采样高斯机制。相比之下，Gopi等人的最新工作。（Neurips 2021）在同一任务中获得了$ \ widetilde {o}（\ sqrt {k}）$的运行时间。我们的方法扩展到在同一类中撰写$ k $不同机制的情况，从$ \ wideTilde {o}（k^{1.5}）$改善其运行时间和内存使用量到$ \ widetilde {o}（k）$。

In this work, we give efficient algorithms for privately estimating a Gaussian distribution in both pure and approximate differential privacy (DP) models with optimal dependence on the dimension in the sample complexity. In the pure DP setting, we give an efficient algorithm that estimates an unknown $d$-dimensional Gaussian distribution up to an arbitrary tiny total variation error using $\widetilde{O}(d^2 \log \kappa)$ samples while tolerating a constant fraction of adversarial outliers. Here, $\kappa$ is the condition number of the target covariance matrix. The sample bound matches best non-private estimators in the dependence on the dimension (up to a polylogarithmic factor). We prove a new lower bound on differentially private covariance estimation to show that the dependence on the condition number $\kappa$ in the above sample bound is also tight. Prior to our work, only identifiability results (yielding inefficient super-polynomial time algorithms) were known for the problem. In the approximate DP setting, we give an efficient algorithm to estimate an unknown Gaussian distribution up to an arbitrarily tiny total variation error using $\widetilde{O}(d^2)$ samples while tolerating a constant fraction of adversarial outliers. Prior to our work, all efficient approximate DP algorithms incurred a super-quadratic sample cost or were not outlier-robust. For the special case of mean estimation, our algorithm achieves the optimal sample complexity of $\widetilde O(d)$, improving on a $\widetilde O(d^{1.5})$ bound from prior work. Our pure DP algorithm relies on a recursive private preconditioning subroutine that utilizes the recent work on private mean estimation [Hopkins et al., 2022]. Our approximate DP algorithms are based on a substantial upgrade of the method of stabilizing convex relaxations introduced in [Kothari et al., 2022].

我们考虑如何私下分享客观扰动，使用每个实例差异隐私（PDP）所产生的个性化隐私损失。标准差异隐私（DP）为我们提供了一个最坏的绑定，可能是相对于固定数据集的特定个人的隐私丢失的数量级。PDP框架对目标个人的隐私保障提供了更细粒度的分析，但每个实例隐私损失本身可能是敏感数据的函数。在本文中，我们分析了通过客观扰动释放私人经验风险最小化器的每案隐私丧失，并提出一组私下和准确地公布PDP损失的方法，没有额外的隐私费用。

我们考虑一个顺序设置，其中使用单个数据集用于执行自适应选择的分析，同时确保每个参与者的差别隐私丢失不超过预先指定的隐私预算。此问题的标准方法依赖于限制所有个人对所有个人的隐私损失的最坏情况估计，以及每个单一分析的所有可能的数据值。然而，在许多情况下，这种方法过于保守，特别是对于“典型”数据点，通过参与大部分分析产生很少的隐私损失。在这项工作中，我们基于每个分析中每个人的个性化隐私损失估计的价值，给出了更严格的隐私损失会计的方法。实现我们设计R \'enyi差异隐私的过滤器。过滤器是一种工具，可确保具有自适应选择的隐私参数的组合算法序列的隐私参数不超过预先预算。我们的过滤器比以往的$（\ epsilon，\ delta）$ - rogers等人的差别隐私更简单且更紧密。我们将结果应用于对嘈杂渐变下降的分析，并显示个性化会计可以实用，易于实施，并且只能使隐私式权衡更紧密。

提出测试释放（PTR）是一个差异隐私框架，可符合局部功能的敏感性，而不是其全球敏感性。该框架通常用于以差异性私有方式释放强大的统计数据，例如中位数或修剪平均值。尽管PTR是十年前引入的常见框架，但在诸如Robust SGD之类的应用程序中使用它，我们需要许多自适应鲁棒的查询是具有挑战性的。这主要是由于缺乏Renyi差异隐私（RDP）分析，这是一种瞬间的私人深度学习方法的基础。在这项工作中，我们概括了标准PTR，并在目标函数界定全局灵敏度时得出了第一个RDP。我们证明，与直接分析的$（\ eps，\ delta）$ -DP相比，我们的RDP绑定的PTR可以得出更严格的DP保证。我们还得出了亚采样下PTR的算法特异性隐私扩增。我们表明，我们的界限比一般的上限和接近下限的界限要紧密得多。我们的RDP界限可以为PTR的许多自适应运行的组成而更严格的隐私损失计算。作为我们的分析的应用，我们表明PTR和我们的理论结果可用于设计私人变体，用于拜占庭强大的训练算法，这些变体使用可靠的统计数据用于梯度聚集。我们对不同数据集和体系结构的标签，功能和梯度损坏的设置进行实验。我们表明，与基线相比，基于PTR的私人和强大的培训算法可显着改善该实用性。

我们呈现渐近最优的$（\ epsilon，\ delta）$差异私有机制，用于回答多个，自适应的$ \ delta $ -sursitive查询，解决Steinke和Ullman的猜想[2020]。我们的算法具有显着的优点，即它向每个查询增加独立的有界噪声，从而提供绝对误差。此外，我们在自适应数据分析中应用了我们的算法，获得了使用有限样本对某些基础分布的多个查询的改进保证。数值计算表明，界限噪声机制在许多标准设置中优于高斯机制。

差异隐私通常使用比理论更大的隐私参数应用于理想的理想。已经提出了宽大隐私参数的各种非正式理由。在这项工作中，我们考虑了部分差异隐私（DP），该隐私允许以每个属性为基础量化隐私保证。在此框架中，我们研究了几个基本数据分析和学习任务，并设计了其每个属性隐私参数的算法，其较小的人（即所有属性）的最佳隐私参数比最佳的隐私参数。

在数据库查询结果中添加随机噪声是实现隐私的重要工具。一个挑战是最大程度地减少这种噪音，同时仍然满足隐私要求。最近，出版了$（\ epsilon，\ delta）$的足够和必要的条件 - 高斯噪声的差异隐私。这种情况允许计算此分布的最小隐私量表。我们扩展了这项工作，并为$（\ epsilon，\ delta）$ - 差分隐私提供了足够和必要的条件，用于所有对称和对象concove噪声密度。我们的结果允许将噪声分布的细粒度调整为查询结果的维度。我们证明，与当前使用的Laplace和Gaussian机制相同的$ \ epsilon $和$ \ delta $发生的Laplace和Gaussian机制所产生的均方误差明显低得多。

在本文中，我们研究了非平滑凸函数的私人优化问题$ f（x）= \ mathbb {e} _i f_i（x）$ on $ \ mathbb {r}^d $。我们表明，通过将$ \ ell_2^2 $正规器添加到$ f（x）$并从$ \ pi（x）\ propto \ exp（-k（f（x）+\ mu \ \ | | x \ | _2^2/2））$恢复已知的最佳经验风险和$（\ epsilon，\ delta）$ - dp的已知最佳经验风险和人口损失。此外，我们将展示如何使用$ \ widetilde {o}（n \ min（d，n））$ QUERIES $ QUERIES $ f_i（x）$用于DP-SCO，其中$ n $是示例数/用户和$ d $是环境维度。我们还在评估查询的数量上给出了一个（几乎）匹配的下限$ \ widetilde {\ omega}（n \ min（d，n））$。我们的结果利用以下具有独立感兴趣的工具：（1）如果损失函数强烈凸出并且扰动是Lipschitz，则证明指数机制的高斯差异隐私（GDP）。我们的隐私约束是\ emph {optimal}，因为它包括高斯机制的隐私性，并使用等仪不等式证明了强烈的对数concove措施。 （2）我们展示如何从$ \ exp（-f（x） - \ mu \ | x \ | |^2_2/2）$ g $ -lipschitz $ f $带有$ \ eta $的总变化中的错误（电视）使用$ \ widetilde {o}（（g^2/\ mu）\ log^2（d/\ eta））$无偏查询到$ f（x）$。这是第一个在dimension $ d $和精度$ \ eta $上具有\ emph {polylogarithmic依赖的查询复杂性的采样器。

构建差异私有（DP）估计器需要得出观察结果的最大影响，如果在输入数据或估计器上没有外源性界限，这可能很困难，尤其是在高维度设置中。本文表明，在这方面，统计深度（即半空间深度和回归深度）的标准概念在这方面尤其有利，这在于单个观察值的最大影响很容易分析，并且该值通常很低。这用于使用这两个统计深度概念的最大值来激励新的近似DP位置和回归估计器。还提供了近似DP回归估计器的更高效的变体。此外，为了避免要求用户对估计和/或观察结果指定先验界限，描述了这些DP机制的变体，即满足随机差异隐私（RDP），这是Hall，Wasserman和Wasserman和Wasserman和Wasserman提供的差异隐私的放松Rinaldo（2013）。我们还提供了此处提出的两种DP回归方法的模拟。当样本量至少为100-200或隐私性损失预算足够高时，提出的估计器似乎相对于现有的DP回归方法表现出色。

我们介绍了一种基于约翰逊·林登斯特劳斯引理的统计查询的新方法，以释放具有差异隐私的统计查询的答案。关键的想法是随机投影查询答案，以较低的维空间，以便将可行的查询答案的任何两个向量之间的距离保留到添加性错误。然后，我们使用简单的噪声机制回答投影的查询，并将答案提升到原始维度。使用这种方法，我们首次给出了纯粹的私人机制，具有最佳情况下的最佳情况样本复杂性，在平均错误下，以回答$ n $ $ n $的宇宙的$ k $ Queries的工作量。作为其他应用，我们给出了具有最佳样品复杂性的第一个纯私人有效机制，用于计算有限的高维分布的协方差，并用于回答2向边缘查询。我们还表明，直到对错误的依赖性，我们机制的变体对于每个给定的查询工作负载几乎是最佳的。

最大信息系数（MIC）是一个强大的统计量，可以识别变量之间的依赖性。但是，它可以应用于敏感数据，并且发布可能会泄漏私人信息。作为解决方案，我们提出算法以提供差异隐私的方式近似麦克风。我们表明，经典拉普拉斯机制的自然应用产生的精度不足。因此，我们介绍了MICT统计量，这是一种新的MIC近似值，与差异隐私更加兼容。我们证明MICS是麦克风的一致估计器，我们提供了两个差异性私有版本。我们对各种真实和合成数据集进行实验。结果表明，私人微统计数据极大地超过了拉普拉斯机制的直接应用。此外，对现实世界数据集的实验显示出准确性，当样本量至少适中时可用。

我们给出了第一个多项式时间和样本$（\ epsilon，\ delta）$ - 差异私有（DP）算法，以估计存在恒定的对抗性异常分数的平均值，协方差和更高的时刻。我们的算法成功用于分布的分布系列，以便在经济估计上满足两个学习的良好性质：定向时刻的可证明的子销售，以及2度多项式的可证式超分子。我们的恢复保证持有“右仿射效率规范”：Mahalanobis距离的平均值，乘法谱和相对Frobenius距离保证，适用于更高时刻的协方差和注射规范。先前的作品获得了私有稳健算法，用于界限协方差的子静脉分布的平均估计。对于协方差估算，我们的是第一算法（即使在没有异常值的情况下也是在没有任何条件号的假设的情况下成功的。我们的算法从一个新的框架出现，该框架提供了一种用于修改凸面放宽的一般蓝图，以便在算法在其运行中产生正确的正确性的证人，以满足适当的参数规范中的强烈最坏情况稳定性。我们验证了用于修改标准的平方（SOS）SEMIDEFINITE编程放松的担保，以实现鲁棒估算。我们的隐私保障是通过将稳定性保证与新的“估计依赖性”噪声注入机制相结合来获得，其中噪声比例与估计的协方差的特征值。我们认为，此框架更加有用，以获得强大的估算器的DP对应者。独立于我们的工作，Ashtiani和Liaw [Al21]还获得了高斯分布的多项式时间和样本私有鲁棒估计算法。