我们证明,如果输入维数是常数,则对应于拉普拉斯核的再生核HilbertSpace中的最小范数插值不一致。即使基于数据选择,下限也适用于任何内核带宽选择。结果支持经验观察,即RKHS中的最小范数插值(即,训练数据的精确拟合)对于一些高维数据集而言是好的,但对于低维数据集则不是。
translated by 谷歌翻译
A widespread folklore for explaining the success of Convolutional Neural Networks (CNNs) is that CNNs use a more compact representation than the Fully-connected Neural Network (FNN) and thus require fewer training samples to accurately estimate their parameters. We initiate the study of rigorously characterizing the sample complexity of estimating CNNs. We show that for an m-dimensional convolutional filter with linear activation acting on a d-dimensional input, the sample complexity of achieving population prediction error of is r Opm{ 2 q 2 , whereas the sample-complexity for its FNN counterpart is lower bounded by Ωpd{ 2 q samples. Since, in typical settings m ! d, this result demonstrates the advantage of using a CNN. We further consider the sample complexity of estimating a one-hidden-layer CNN with linear activation where both the m-dimensional convolu-tional filter and the r-dimensional output weights are unknown. For this model, we show that the sample complexity is r O ` pm`rq{pm`pm`rq{ 2 ˘ when the ratio between the stride size and the filter size is a constant. For both models, we also present lower bounds showing our sample complexities are tight up to logarithmic factors. Our main tools for deriving these results are a localized empirical process analysis and a new lemma characterizing the convolutional structure. We believe that these tools may inspire further developments in understanding CNNs.
translated by 谷歌翻译
社交媒体提供了丰富的有价值的原始数据来源,但是,非正式写作很快就会成为许多自然语言处理(NLP)任务的瓶颈。现成的工具通常通过正式文本进行培训,并且能够明确地处理短期在线帖子中发现的噪音。此外,各种不经常发生的语言变异带来了一些挑战,即使对于那些可能无法理解这些帖子的含义的人来说,尤其是当它们包含俚语和缩写时。文本规范化旨在将在线用户生成的文本转换为规范形式。当前的文本标准化系统依赖于以本地方式工作的字符串或语音相似性和分类模型。我们认为处理上下文信息对于该任务是至关重要的,并且引入了社交媒体文本标准化混合字词 - 基于关注的编码器 - 解码器模型,其可以用作NLP应用的预处理步骤以适应社交媒体中的噪声文本。我们基于字符的组件在合成对象示例上进行了训练,这些示例旨在捕获在用户生成的在线文本中常见的错误。实验表明,我们的模型超越了为文本规范化设计的neuralarchitectures,并实现了与最先进相关工作的可比性。
translated by 谷歌翻译
以前的工作表明,流行的趋势事件是重要的外部因素,它们对用户搜索行为产生重大影响,并提供了一种计算模拟这种影响的方法。然而,他们的问题制定是基于每个事件独立地产生影响的强烈假设。这种假设是不现实的,因为现实世界中存在许多相互影响的相关事件,因此会对用户搜索行为产生共同影响,而不是独立地构成影响。在本文中,我们研究了由多个相关事件对用户搜索行为构成的JointInfluences建模的这一新问题。我们提出了一种基于多变量霍克斯过程的联合影响模型,该模型根据对用户搜索行为的影响来捕获多个事件之间的相互依赖性。我们使用来自https://search.yahoo.com/的两个月查询日志数据来评估建议的联合影响模型。实验结果表明,该模型确实可以捕获联合影响随时间的时间动态,并且当应用于解决各种有趣的预测问题以及真实单词应用场景(例如,查询自动完成)时,还实现了优于不同基线方法的优越性能。
translated by 谷歌翻译
电子商务(E-Com)搜索是一种新兴的信息检索新应用。学习排名(LETOR)是优化搜索引擎的一般有效策略,因此也是E-Comsearch的关键技术。虽然LETOR在网络搜索中的应用已得到很好的研究,但其在E-Com搜索中的应用尚未得到很好的探索。在本文中,我们讨论了应用学习将方法排序到E-Com搜索的实际挑战,包括特征表示中的挑战,获得可靠的相关性判断,以及最佳利用多个用户反馈信号,如点击率,添加到购物车比率,订单费率和收入。我们使用行业数据集的实验研究了这些新的挑战,并报告了几个有趣的发现,可以为如何最佳地应用LETOR到E-Com搜索提供指导:首先,仅基于产品项目定义的基于流行度的特征是非常有用的,LETOR方法能够有效地优化它们与基于相关性的特征相结合。其次,查询属性稀疏性对LETOR提出了挑战,选择减少/避免稀疏性的特征是有益的。第三,虽然众包对于获得网络搜索的相关性判断通常很有用,但由于在引出足够细粒度的相关性判断方面存在困难,因此它对于E-Com搜索不起作用。最后,在多个反馈信号中,订单率被认为是mostrobust培训目标,其次是点击率,而添加到购物车的ratioseems最不稳健,这表明一个有效的实用策略可能是最初使用点击率进行培训和逐渐转向使用订单率,它们变得可用。
translated by 谷歌翻译
无监督的视觉表示学习在计算机视觉研究中仍然是一个很大程度上未解决的问题。在最近提出的用于无监督学习视觉表示的方法中,一类自我监督技术在许多具有挑战性的基准上实现了卓越的性能。已经研究了大量的自我监督学习的前提任务,但其他重要的方面,如卷积神经网络(CNN)的选择,并没有得到同等的关注。因此,我们重新审视了许多以前提出的自我监督模型,进行彻底的大规模研究,结果发现了多个关键的问题。我们挑战了自我监督的视觉表现学习中的一些常见实践,并观察到CNN设计的标准配方并不总是转化为自我监督的表征学习。作为我们研究的一部分,我们大大提高了先前提出的技术的性能,并且大大优于以前发布的最先进的结果。
translated by 谷歌翻译
深度量度学习旨在学习将图像像素映射到嵌入特征向量的函数,所述特征向量模拟图像之间的相似性。当前方法的大多数是非参数的,通过监视相似(对)或相对类似(三元组)图像来间接地学习度量。训练这些方法的一个困难的挑战是挖掘图像的信息样本,因为仅仅在单个小批量中存在的局部环境学习度量空间。替代方法使用参数度量学习来消除通过监视图像到代理进行采样的需要。虽然这简化了优化,但这种基于代理的方法在性能方面落后了。在这项工作中,我们证明了标准分类网络可以转化为基于代理的度量学习的变体,其在各种图像检索任务中与非参数方法竞争。我们解决了基于代理的度量学习中的关键挑战,例如极端分类下的性能,并描述了稳定和学习更高维度嵌入的技术。我们评估了我们针对图像检索和聚类的CAR-196,CUB-200-2011,斯坦福在线产品和店内数据集的方法。最后,我们展示了我们的softmax分类方法可以学习高维二进制嵌入,这些嵌入在所有使用与竞争方法相同或更小的内存占用评估的数据集上实现最新的性能。
translated by 谷歌翻译
条件GAN处于自然图像合成的最前沿。这些模型的maindrawback是标记数据的必要性。在这项工作中,我们开发了两种流行的无监督学习技术,对抗性训练和自我监督,以缩小有条件和无条件GAN之间的差距。特别是,我们允许网络在代表性学习的任务上进行合作,而对于经典的GAN游戏则是对抗性的。 。自我监督的作用是鼓励鉴别者容忍有意义的特征表征,这些表征在训练期间不会被遗忘。我们根据经验测试学习图像表示的质量和合成图像的质量。在相同条件下,自我监督的GAN获得了类似性能的现有条件对应物。最后,我们表明这种完全无监督学习的方法可以扩展到无条件ImageNet生成的FID达到33。
translated by 谷歌翻译
GAN涉及在对抗性游戏中训练两个网络,其中每个网络的任务取决于其对手。最近,一些作品将GAN培训作为在线或持续学习问题。我们关注的是识别者,它必须在(对侧)移位数据分布下进行分类。在接受顺序任务训练时,神经网络禁止\ emph {遗忘}。对于GAN,鉴别器遗忘会导致训练不稳定。为了抵制遗忘,我们鼓励歧视者通过增加自我监督来维持有用的陈述。条件GAN使用标签具有相似的效果。然而,我们的自我监督的GAN不需要标签,并且缩小了条件和无条件模型之间的性能差距。我们表明,在这样做时,自我监督的鉴别器比常规的GAN学习更好的表示。
translated by 谷歌翻译
目前关于人类注视和显着性建模的大多数研究都使用了高质量的刺激。然而,在现实世界中,捕获的图像在整个采集,传输和显示链期间经历各种类型的失真。一些失真类型包括运动模糊,灯光变化和旋转。尽管做了很少的努力,但普遍存在的失真对视觉注意和显着性模型的影响尚未得到系统的研究。在本文中,我们首先创建了一个大型数据库,其中包括超过1900种图像的10个观察者的眼睛运动,这些图像因19种类型的扭曲而退化。其次,通过分析眼球运动和显着性模型,我们发现:a)观察者在失真与原始图像上观察不同位置,b)显着性模型的性能在扭曲图像上受到严重阻碍,最大性能下降属于旋转和剪切扭曲。最后,我们研究了在提供数据增强转换时不同失真的有效性。实验结果验证了保留人类视线参考图像的一些有用的数据增强变换可以改善深度显着模型以防止失真,而一些严重改变人类注视的无效变换会降低性能。
translated by 谷歌翻译