本文在联合学习(FL)设置中介绍了主题的颗粒状隐私,其中一个受试者是一个人,其私人信息由限制在单个联邦用户中或在多个联邦用户中分布的几个数据项体现。我们正式定义了FL的主题级别差异隐私的概念。我们提出了三种实施主题级DP的新算法。这些算法中的两种分别基于用户级别的本地差异隐私(LDP)和组差异隐私的概念。第三算法是基于对参加培训迷你批次的受试者的层次梯度平均(HigradavgDP)的新颖概念。我们还为多个联邦用户的受试者介绍了隐私损失的水平组成。我们表明,在最坏情况下,水平成分等效于顺序组成。我们证明了对所有算法的主题级别的DP保证,并使用女性和莎士比亚数据集对其进行经验分析。我们的评估表明,在我们的三种算法中,HigradavgDP提供了最佳的模型性能,接近使用基于DP-SGD的算法训练的模型,该算法提供了较弱的项目级别隐私保证。
translated by 谷歌翻译