设计私人投票规则是值得信赖的民主的重要问题。在本文中,根据差异隐私的框架,我们根据知名的Condorcet方法提出了三类随机投票规则:Laplacian Condorcet方法($ cm^{lap} _ \ lambda $),指数condorcet方法($ cmcmential condorcet方法^{exp} _ \ lambda $)和随机响应condorcet方法($ cm^{rr} _ \ lambda $),其中$ \ lambda $代表噪声级别。通过准确估计随机性引入的错误,我们表明$ cm^{exp} _ \ lambda $是大多数情况下最准确的机制。我们证明,我们的所有规则都满足绝对单调性,Lexi参与,概率帕累托效率,近似概率孔孔标准和近似SD-StrategyProofness。此外,$ cm^{rr} _ \ lambda $满足(非适当的)概率condorcet标准,而$ cm^{lap} _ \ lambda $和$ cm^{exp} _ \ \ lambda _ 。最后,我们将差异隐私视为投票公理,并讨论其与其他公理的关系。
translated by 谷歌翻译
特征在于构图的隐私劣化,即隐私会计,是差异隐私(DP)的基本话题,许多应用于差异私有机器学习和联合学习。我们提出了近期进步(Renyi DP,Privacy Compiles,$-D $ -dp和Pld形式主义)的统一,通过\ emph {phi $ \ phi $ -function){占主导地位}隐私损失随机变量。我们展示了我们的方法允许\ emph {natural}自适应组成等renyi dp,提供\ emph {完全紧张}隐私会计,如pld,并且可以(通常是\ memph {docklyly})转换为隐私权概况和$ f $ -dp ,从而提供$(\ epsilon,\ delta)$ - DP保证和可解释的权衡职能。算法,我们提出了一个\ xper {分析傅里叶会计师},它象征性地表示$ \ phi $ -functions的\ icph {complex}对数,并使用高斯正交进行数值计算。在几个受欢迎的DP机制及其撤销的对应物上,我们展示了我们在理论和实验中的方法的灵活性和紧张性。
translated by 谷歌翻译
For centuries, it has been widely believed that the influence of a small coalition of voters is negligible in a large election. Consequently, there is a large body of literature on characterizing the asymptotic likelihood for an election to be influenced, especially by the manipulation of a single voter, establishing an $O(\frac{1}{\sqrt n})$ upper bound and an $\Omega(\frac{1}{n^{67}})$ lower bound for many commonly studied voting rules under the i.i.d.~uniform distribution, known as Impartial Culture (IC) in social choice, where $n$ is the number is voters. In this paper, we extend previous studies in three aspects: (1) we consider a more general and realistic semi-random model, where a distribution adversary chooses a worst-case distribution and then a data adversary modifies up to $\psi$ portion of the data, (2) we consider many coalitional influence problems, including coalitional manipulation, margin of victory, and various vote controls and bribery, and (3) we consider arbitrary and variable coalition size $B$. Our main theorem provides asymptotically tight bounds on the semi-random likelihood of the existence of a size-$B$ coalition that can successfully influence the election under a wide range of voting rules. Applications of the main theorem and its proof techniques resolve long-standing open questions about the likelihood of coalitional manipulability under IC, by showing that the likelihood is $\Theta\left(\min\left\{\frac{B}{\sqrt n}, 1\right\}\right)$ for many commonly studied voting rules. The main technical contribution is a characterization of the semi-random likelihood for a Poisson multinomial variable (PMV) to be unstable, which we believe to be a general and useful technique with independent interest.
translated by 谷歌翻译
Concentrated differential privacy" was recently introduced by Dwork and Rothblum as a relaxation of differential privacy, which permits sharper analyses of many privacy-preserving computations. We present an alternative formulation of the concept of concentrated differential privacy in terms of the Rényi divergence between the distributions obtained by running an algorithm on neighboring inputs. With this reformulation in hand, we prove sharper quantitative results, establish lower bounds, and raise a few new questions. We also unify this approach with approximate differential privacy by giving an appropriate definition of "approximate concentrated differential privacy."
translated by 谷歌翻译
构建差异私有(DP)估计器需要得出观察结果的最大影响,如果在输入数据或估计器上没有外源性界限,这可能很困难,尤其是在高维度设置中。本文表明,在这方面,统计深度(即半空间深度和回归深度)的标准概念在这方面尤其有利,这在于单个观察值的最大影响很容易分析,并且该值通常很低。这用于使用这两个统计深度概念的最大值来激励新的近似DP位置和回归估计器。还提供了近似DP回归估计器的更高效的变体。此外,为了避免要求用户对估计和/或观察结果指定先验界限,描述了这些DP机制的变体,即满足随机差异隐私(RDP),这是Hall,Wasserman和Wasserman和Wasserman和Wasserman提供的差异隐私的放松Rinaldo(2013)。我们还提供了此处提出的两种DP回归方法的模拟。当样本量至少为100-200或隐私性损失预算足够高时,提出的估计器似乎相对于现有的DP回归方法表现出色。
translated by 谷歌翻译
作为标准本地模型和中央模型之间的中间信任模型,差异隐私的洗牌模型已引起了人们的极大兴趣[EFMRTT19;CSUZZ19]。该模型的关键结果是,随机洗牌本地随机数据放大了差异隐私保证。这种放大意味着对数据匿名贡献的系统提供了更大的隐私保证[BEMMRLRKTS17]。在这项工作中,我们通过在理论和数字上逐渐改造结果来改善最新隐私放大的状态。我们的第一个贡献是对LDP Randomizers洗牌输出的R \'enyi差异隐私参数的首次渐近最佳分析。我们的第二个贡献是通过改组对隐私放大的新分析。该分析改进了[FMT20]的技术,并导致所有参数设置中的数值范围更紧密。
translated by 谷歌翻译
我们在单峰偏好下研究社会选择环境中的公平性。在先前的作品中,已经对单峰领域中社会选择规则的构建和表征进行了广泛的研究。实际上,在单峰域中,众所周知,一致和防止策略的确定性规则必须是Min-Max规则,并且那些满足匿名的规则必须是中位数规则。此外,满足这些属性的随机社会选择规则已被证明是各自确定性规则的凸组合。我们通过在社会选择中包括公平考虑因素来非凡地增加了这一结果。我们的研究直接解决了代理人群体的公平性。为了研究群体对象,我们根据性别,种族和位置等自然属性考虑了代理商的现有分区分为逻辑群体。为了捕捉每个小组的公平性,我们介绍了小组匿名的概念。为了捕捉整个群体的公平性,我们提出了一个薄弱的观念以及公平的强烈概念。拟议的公平概念事实证明是对现有的个人财产概念的自然概括,此外,与现有的团体财产概念不同,对严格的顺序偏好提供了非平凡的结果。我们提供了满足群体对象的随机社会选择规则的两个单独的特征:(i)直接表征(ii)极端表征(作为公平确定性社会选择规则的凸组合)。我们还探索了没有群体并提供实现个人财产的规则的特殊情况。
translated by 谷歌翻译
我们为其非私人对准减少$(\ varepsilon,\ delta)$差异私人(dp)统计估计,提供了一个相当一般的框架。作为本框架的主要应用,我们提供多项式时间和$(\ varepsilon,\ delta)$ - DP算法用于学习(不受限制的)高斯分布在$ \ mathbb {r} ^ d $。我们学习高斯的方法的样本复杂度高斯距离总变化距离$ \ alpha $是$ \ widetilde {o} \ left(\ frac {d ^ 2} {\ alpha ^ 2} + \ frac {d ^ 2 \ sqrt {\ ln {1 / \ delta}} {\ alpha \ varepsilon} \右)$,匹配(最多为对数因子)最佳已知的信息理论(非高效)样本复杂性上限的aden-ali, Ashtiani,Kamath〜(alt'21)。在一个独立的工作中,Kamath,Mouzakis,Singhal,Steinke和Ullman〜(Arxiv:2111.04609)使用不同的方法证明了类似的结果,并以$ O(d ^ {5/2})$样本复杂性依赖于$ d $ 。作为我们的框架的另一个应用,我们提供了第一次多项式时间$(\ varepsilon,\ delta)$-dp算法,用于鲁棒学习(不受限制的)高斯。
translated by 谷歌翻译
我们引入了一个新的差异隐私(DP)会计师,称为鞍点会计师(SPA)。SPA以准确而快速的方式近似保证DP机制的组成。我们的方法是受鞍点法的启发,这是一种统计中无处不在的数值技术。通过为SPA提供的近似误差,我们通过得出上限和下限来证明性能的严格保证。水疗中心的关键是与中心极限定理的大型探空方法的组合,我们通过指数倾斜与DP机制相对应的隐私损失随机变量来得出。水疗中心的一个关键优点是,它可以在$ n $折叠机制的$ n $折叠组成下持续运行。数值实验表明,水疗中心的准确性与更快的运行时的最新会计方法相当。
translated by 谷歌翻译
Rankings are widely collected in various real-life scenarios, leading to the leakage of personal information such as users' preferences on videos or news. To protect rankings, existing works mainly develop privacy protection on a single ranking within a set of ranking or pairwise comparisons of a ranking under the $\epsilon$-differential privacy. This paper proposes a novel notion called $\epsilon$-ranking differential privacy for protecting ranks. We establish the connection between the Mallows model (Mallows, 1957) and the proposed $\epsilon$-ranking differential privacy. This allows us to develop a multistage ranking algorithm to generate synthetic rankings while satisfying the developed $\epsilon$-ranking differential privacy. Theoretical results regarding the utility of synthetic rankings in the downstream tasks, including the inference attack and the personalized ranking tasks, are established. For the inference attack, we quantify how $\epsilon$ affects the estimation of the true ranking based on synthetic rankings. For the personalized ranking task, we consider varying privacy preferences among users and quantify how their privacy preferences affect the consistency in estimating the optimal ranking function. Extensive numerical experiments are carried out to verify the theoretical results and demonstrate the effectiveness of the proposed synthetic ranking algorithm.
translated by 谷歌翻译
The ''Propose-Test-Release'' (PTR) framework is a classic recipe for designing differentially private (DP) algorithms that are data-adaptive, i.e. those that add less noise when the input dataset is nice. We extend PTR to a more general setting by privately testing data-dependent privacy losses rather than local sensitivity, hence making it applicable beyond the standard noise-adding mechanisms, e.g. to queries with unbounded or undefined sensitivity. We demonstrate the versatility of generalized PTR using private linear regression as a case study. Additionally, we apply our algorithm to solve an open problem from ''Private Aggregation of Teacher Ensembles (PATE)'' -- privately releasing the entire model with a delicate data-dependent analysis.
translated by 谷歌翻译
我们专注于简单,一维的集体决策问题(通常被称为设施位置问题),并探索战略防护和比例公平的问题。我们为满足战略防护和不同程度的比例公平程度的机制提出了几种特征结果。我们还将其中一个机制描述为满足自然公平性和单调性性质的任何机制的独特均衡结果。最后,我们确定了战略和按比例公平机制,提供了满足相应公平公理的所有机制中的最佳福利最佳逼近。
translated by 谷歌翻译
我们给出了第一个多项式时间和样本$(\ epsilon,\ delta)$ - 差异私有(DP)算法,以估计存在恒定的对抗性异常分数的平均值,协方差和更高的时刻。我们的算法成功用于分布的分布系列,以便在经济估计上满足两个学习的良好性质:定向时刻的可证明的子销售,以及2度多项式的可证式超分子。我们的恢复保证持有“右仿射效率规范”:Mahalanobis距离的平均值,乘法谱和相对Frobenius距离保证,适用于更高时刻的协方差和注射规范。先前的作品获得了私有稳健算法,用于界限协方差的子静脉分布的平均估计。对于协方差估算,我们的是第一算法(即使在没有异常值的情况下也是在没有任何条件号的假设的情况下成功的。我们的算法从一个新的框架出现,该框架提供了一种用于修改凸面放宽的一般蓝图,以便在算法在其运行中产生正确的正确性的证人,以满足适当的参数规范中的强烈最坏情况稳定性。我们验证了用于修改标准的平方(SOS)SEMIDEFINITE编程放松的担保,以实现鲁棒估算。我们的隐私保障是通过将稳定性保证与新的“估计依赖性”噪声注入机制相结合来获得,其中噪声比例与估计的协方差的特征值。我们认为,此框架更加有用,以获得强大的估算器的DP对应者。独立于我们的工作,Ashtiani和Liaw [Al21]还获得了高斯分布的多项式时间和样本私有鲁棒估计算法。
translated by 谷歌翻译
最大信息系数(MIC)是一个强大的统计量,可以识别变量之间的依赖性。但是,它可以应用于敏感数据,并且发布可能会泄漏私人信息。作为解决方案,我们提出算法以提供差异隐私的方式近似麦克风。我们表明,经典拉普拉斯机制的自然应用产生的精度不足。因此,我们介绍了MICT统计量,这是一种新的MIC近似值,与差异隐私更加兼容。我们证明MICS是麦克风的一致估计器,我们提供了两个差异性私有版本。我们对各种真实和合成数据集进行实验。结果表明,私人微统计数据极大地超过了拉普拉斯机制的直接应用。此外,对现实世界数据集的实验显示出准确性,当样本量至少适中时可用。
translated by 谷歌翻译
相称性是一个有吸引力的公平概念,已应用于一系列问题,包括设施位置问题,这是社交选择中的经典问题。在我们的工作中,我们提出了一个称为强比例的概念,该概念可确保当不同位置有两组代理时,两组都会产生相同的总成本。我们表明,尽管强度比例是一个充分动机且基本的公理,但没有确定性的策略性防护机制来满足该财产。然后,我们确定一种称为随机排名的随机机制(该机制均匀地选择了$ k $在$ 1 $到$ n $之间的数字$ k $,并在$ k $'的第一个最高代理位置定位该设施),可以满足预期的强烈比例。我们的主要定理将随机列表描述为实现普遍真实,普遍匿名性和强烈比例的独特机制,在所有随机机制之间的期望中。最后,我们通过平均范围的机制证明,可以通过削弱预期的普遍真实性来实现更强大的前柱公平保证。
translated by 谷歌翻译
In this work, we give efficient algorithms for privately estimating a Gaussian distribution in both pure and approximate differential privacy (DP) models with optimal dependence on the dimension in the sample complexity. In the pure DP setting, we give an efficient algorithm that estimates an unknown $d$-dimensional Gaussian distribution up to an arbitrary tiny total variation error using $\widetilde{O}(d^2 \log \kappa)$ samples while tolerating a constant fraction of adversarial outliers. Here, $\kappa$ is the condition number of the target covariance matrix. The sample bound matches best non-private estimators in the dependence on the dimension (up to a polylogarithmic factor). We prove a new lower bound on differentially private covariance estimation to show that the dependence on the condition number $\kappa$ in the above sample bound is also tight. Prior to our work, only identifiability results (yielding inefficient super-polynomial time algorithms) were known for the problem. In the approximate DP setting, we give an efficient algorithm to estimate an unknown Gaussian distribution up to an arbitrarily tiny total variation error using $\widetilde{O}(d^2)$ samples while tolerating a constant fraction of adversarial outliers. Prior to our work, all efficient approximate DP algorithms incurred a super-quadratic sample cost or were not outlier-robust. For the special case of mean estimation, our algorithm achieves the optimal sample complexity of $\widetilde O(d)$, improving on a $\widetilde O(d^{1.5})$ bound from prior work. Our pure DP algorithm relies on a recursive private preconditioning subroutine that utilizes the recent work on private mean estimation [Hopkins et al., 2022]. Our approximate DP algorithms are based on a substantial upgrade of the method of stabilizing convex relaxations introduced in [Kothari et al., 2022].
translated by 谷歌翻译
个性化Pagerank(PPR)是无监督学习图表(例如节点排名,标签和图形嵌入)的基本工具。但是,尽管数据隐私是最近的最重要问题之一,但现有的PPR算法并非旨在保护用户隐私。 PPR对输入图边缘高度敏感:仅一个边缘的差异可能会导致PPR矢量发生很大变化,并可能泄漏私人用户数据。在这项工作中,我们提出了一种输出近似PPR的算法,并证明对输入边缘的敏感性有界限。此外,我们证明,当输入图具有较大的程度时,我们的算法与非私有算法相似。我们敏感性的PPR直接暗示了用于几种图形学习工具的私有算法,例如差异私有(DP)PPR排名,DP节点分类和DP节点嵌入。为了补充我们的理论分析,我们还经验验证了算法的实际性能。
translated by 谷歌翻译
许多现代的机器学习算法由简单的私人算法组成;因此,一个越来越重要的问题是有效计算组成下的整体隐私损失。在这项研究中,我们介绍了Edgeworth会计师,这是一种分析方法,用于构成私人算法的差异隐私保证。 Edgeworth会计师首先使用$ f $ - 不同的隐私框架来无误地跟踪构图下的隐私损失,该框架使我们能够使用隐私损失log-logikelihoodhiehood(pllrs)表达隐私保证。顾名思义,该会计师接下来使用Edgeworth扩展到上下界限PLLR的总和的概率分布。此外,通过依靠一种使用简单的技术近似复杂分布的技术,我们证明了Edgeworth会计师可以应用于任何噪声加成机制的组成。由于Edgeworth扩展的某些吸引人的功能,该会计师提供的$(\ epsilon,\ delta)$ - 差异隐私范围是非反应的,基本上没有额外的计算成本,而不是先前的方法运行时间随成分的数量而增加。最后,我们证明了我们的上和下部$(\ epsilon,\ delta)$ - 差异隐私范围在联合分析和培训私人深度学习模型的某些制度中紧密。
translated by 谷歌翻译
隐私损失分配(PLD)在差异隐私(DP)的背景下对机制的隐私损失进行了严格的特征。最近的工作表明,与其他已知方法相比,基于PLD的会计允许更紧密的$(\ Varepsilon,\ delta)$ - DP保证。基于PLD的会计中的一个关键问题是如何在任何指定的离散支持上近似任何(潜在的连续)PLD。我们提出了解决这个问题的新方法。我们的方法都支持悲观的估计,它高估了曲棍球刺激的差异(即$ \ delta $)的任何值的$ \ varepsilon $和乐观的估计,从而低估了曲棍球粘贴的分歧。此外,我们表明,在所有悲观估计中,我们的悲观估计是最好的。实验评估表明,与以前的方法相比,我们的方法可以在更大的离散时间间隔内工作,同时保持相似的误差,但比现有方法更近似。
translated by 谷歌翻译
我们考虑一个平台从隐私敏感用户收集数据的问题,以估计潜在的感兴趣的参数。我们将这个问题作为贝叶斯的最佳机制设计问题,其中个人可以共享她的(可验证的)数据以换取货币奖励或服务,但同时有一个(私人)的异构隐私成本,我们量化使用差异隐私。我们考虑两个流行的差异隐私设置,为用户提供隐私保障:中央和本地。在两个设置中,我们为估计错误建立Minimax下限,并导出(接近)用户的异构隐私损失水平的最佳估计器。在这个特征上构建,我们将机制设计问题构成为最佳选择,以估计和支付将引起用户隐私敏感性的真实报告。在隐私敏感性分布的规律性条件下,我们开发有效的算法机制来解决两个隐私设置中的这个问题。我们在中央设置中的机制可以在时间$ \ mathcal {o}(n \ log n)$,其中$ n $是当地设置中的用户数以及我们的机制承认多项式时间近似方案(PTA)。
translated by 谷歌翻译