我们在列表可解码设置中给出了第一个多项式时间算法用于稳健回归,其中攻击者可以破坏大于$ 1/2 $的部分示例。对于任何$ \ alpha <1 $,我们的算法作为输入asample $ \ {(x_i,y_i)\} _ {i \ leq n} $ $ n $线性方程式,其中$ \ alpha n $方程式满足$ y_i = \ langle x_i,\ ell ^ * \ rangle + \ zeta $对于一些小噪声$ \ zeta $和$(1- \ alpha)n $的方程是\ emph {任意}选择。它输出一个列表$ L $大小为$ O(1 / \ alpha)$ - 一个固定常量 - 包含接近$ \ ell ^ * $的$ \ ell $。每当从\ emph {certifiable}反集中分配$ D $中选择内容时,我们的算法就会成功。作为特殊情况,当inlier分布是标准高斯时,这会产生$(d / \ alpha)^ {O(1 / \ alpha ^ 8)} $ timealgorithm来查找$ O(1 / \ alpha)$ size列表。对于内点的反集中假设在理论上是必要的信息。在$ \ ell ^ * $是布尔值的附加假设下,我们的算法适用于更一般的分布。为了解决这个问题,我们引入了一个用于列表可解码学习的新框架,它加强了方形的“可识别性到算法”范式。在一项独立的工作中,Raghavendra和Yau [RY19]也使用平方和方法获得了类似可解码回归的类似结果。
translated by 谷歌翻译
In this paper, we consider the problem of preserving privacy in the onlinelearning setting. We study the problem in the online convex programming (OCP)framework---a popular online learning setting with several interestingtheoretical and practical implications---while using differential privacy asthe formal privacy measure. For this problem, we distill two criticalattributes that a private OCP algorithm should have in order to providereasonable privacy as well as utility guarantees: 1) linearly decreasingsensitivity, i.e., as new data points arrive their effect on the learning modeldecreases, 2) sub-linear regret bound---regret bound is a populargoodness/utility measure of an online learning algorithm. Given an OCP algorithm that satisfies these two conditions, we provide ageneral framework to convert the given algorithm into a privacy preserving OCPalgorithm with good (sub-linear) regret. We then illustrate our approach byconverting two popular online learning algorithms into their differentiallyprivate variants while guaranteeing sub-linear regret ($O(\sqrt{T})$). Next, weconsider the special case of online linear regression problems, a practicallyimportant class of online learning problems, for which we generalize anapproach by Dwork et al. to provide a differentially private algorithm withjust $O(\log^{1.5} T)$ regret. Finally, we show that our online learningframework can be used to provide differentially private algorithms for offlinelearning as well. For the offline learning problem, our approach obtains bettererror bounds as well as can handle larger class of problems than the existingstate-of-the-art methods Chaudhuri et al.
translated by 谷歌翻译
生成对抗网络(GAN)在生成复杂数据(如图像)方面表现出了巨大的希望。 GAN中的标准做法是在训练后丢弃识别者并仅使用发生器进行采样。然而,这丢失了由鉴别者学习的有价值的实际数据分布信息。在这项工作中,我们提出了一个生成器和鉴别器之间的协作抽样方案,以改进数据生成。在判别器的指导下,我们的方法通过基于梯度的优化来改进生成的样本,使发电机分布更接近真实的数据分布。此外,我们提出了一种实用的鉴别器整形方法,可以进一步改进样品精制过程。与现有的GAN变体正交,我们提出的方法在GAN采样中提供了新的自由度。我们通过合成数据和图像生成任务的实验证明了它的功效。
translated by 谷歌翻译
我们提出了一种新的基于学习的方法来解决成像中的不适定逆问题。我们讨论了地面实况训练样本很少并且问题严重不适的情况 - 这既是因为潜在的物理因素,也是因为我们只能进行少量测量。这种设置是常见的物理成像和遥感。我们表明,在这种情况下,直接学习从测量数据到构造的映射的常见方法变得不稳定。相反,我们建议首先从数据到未知图像的投影到随机分段常数子空间中学习更简单映射的集合。然后,我们通过解决类似反卷积问题来组合投影以形成最终重建。我们实验表明,所提出的方法对于测量噪声和在训练期间未见的损坏比直接学习的逆变得更加稳健。
translated by 谷歌翻译