各种应用程序中的一个关键问题是从公共源域进行适应的域,为此,相对较大的标记数据没有隐私限制,是一个人处置的私人目标域,为此提供了一个私人样本具有很少或没有标记的数据。在对源或目标数据没有隐私限制的回归问题中,基于几种理论保证的差异最小化算法被证明超过了许多其他适应性算法基础。在这种方法的基础上,我们设计了基于私有差异的算法,以适应带有公共标记数据到具有未标记的私人数据的目标域的源域。我们对私人算法的设计和分析非常关键地取决于我们证明的几个关键属性,以平滑地差异,例如其相对于$ \ ell_1 $ norm的平滑度和梯度的灵敏度。我们的解决方案基于Frank-Wolfe和Mirror-Despent算法的私人变体。我们表明,我们的适应算法受益于强有力的概括和隐私保证,并报告了证明其有效性的实验结果。
translated by 谷歌翻译
我们研究了凸面和非凸面设置的差异私有随机优化。对于凸面的情况,我们专注于非平滑通用线性损耗(GLL)的家庭。我们的$ \ ell_2 $ setting算法在近线性时间内实现了最佳的人口风险,而最知名的差异私有算法在超线性时间内运行。我们的$ \ ell_1 $ setting的算法具有近乎最佳的人口风险$ \ tilde {o} \ big(\ sqrt {\ frac {\ log {n \ log {d}} {n \ varepsilon} \ big)$,以及避免\ Cite {ASI:2021}的尺寸依赖性下限为一般非平滑凸损耗。在差别私有的非凸面设置中,我们提供了几种新算法,用于近似居住的人口风险。对于具有平稳损失和多面体约束的$ \ ell_1 $ tuce,我们提供第一个近乎尺寸的独立速率$ \ tilde o \ big(\ frac {\ log ^ {2/3} {d}} {{(n \ varepsilon)^ {1/3}}} \大)在线性时间。对于具有平滑损耗的约束$ \ ell_2 $ -case,我们获得了速率$ \ tilde o \ big(\ frac {1} {n ^ {1/3}} + \ frac {d ^ { 1/5}} {(n \ varepsilon)^ {2/5}} \ big)$。最后,对于$ \ ell_2 $ -case,我们为{\ em非平滑弱凸}的第一种方法提供了速率$ \ tilde o \ big(\ frac {1} {n ^ {1/4}} + \ FRAC {D ^ {1/6}} {(n \ varepsilon)^ {1/3}} \ big)$,它在$ d = o(\ sqrt {n})时匹配最好的现有非私有算法$。我们还将上面的所有结果扩展到Non-Convex $ \ ell_2 $ setting到$ \ ell_p $ setting,其中$ 1 <p \ leq 2 $,只有polylogarithmic(维度在尺寸)的速度下。
translated by 谷歌翻译