我们对解决几个自然学习问题的一通流算法所需的记忆量给出了下限。在$ \ {0,1 \}^d $中的示例的环境中,可以使用$ \ kappa $ bits对最佳分类器进行编码,我们表明,使用近距离数量的示例学习的算法,$ \ tilde o(\ kappa)$,必须使用$ \ tilde \ omega(d \ kappa)$空间。我们的空间界限与问题自然参数化的环境空间的维度相匹配,即使在示例和最终分类器的大小上是二次的。例如,在$ d $ -sparse线性分类器的设置中,$ \ kappa = \ theta(d \ log d)$,我们的空间下限是$ \ tilde \ omega(d^^^ 2)$。我们的边界与流长$ n $优雅地降级,通常具有$ \ tilde \ omega \ left(d \ kappa \ cdot \ frac \ frac {\ kappa} {n} {n} \ right)$。 $ \ omega(d \ kappa)$的形式的界限以学习奇偶校验和有限字段定义的其他问题而闻名。在狭窄的样本量范围内适用的边界也以线性回归而闻名。对于最近学习应用程序中常见的类型的问题,我们的第一个范围是适用于各种输入尺寸的问题。
translated by 谷歌翻译