我们证明,如果输入维数是常数,则对应于拉普拉斯核的再生核HilbertSpace中的最小范数插值不一致。即使基于数据选择,下限也适用于任何内核带宽选择。结果支持经验观察,即RKHS中的最小范数插值(即,训练数据的精确拟合)对于一些高维数据集而言是好的,但对于低维数据集则不是。
translated by 谷歌翻译
A widespread folklore for explaining the success of Convolutional Neural Networks (CNNs) is that CNNs use a more compact representation than the Fully-connected Neural Network (FNN) and thus require fewer training samples to accurately estimate their parameters. We initiate the study of rigorously characterizing the sample complexity of estimating CNNs. We show that for an m-dimensional convolutional filter with linear activation acting on a d-dimensional input, the sample complexity of achieving population prediction error of is r Opm{ 2 q 2 , whereas the sample-complexity for its FNN counterpart is lower bounded by Ωpd{ 2 q samples. Since, in typical settings m ! d, this result demonstrates the advantage of using a CNN. We further consider the sample complexity of estimating a one-hidden-layer CNN with linear activation where both the m-dimensional convolu-tional filter and the r-dimensional output weights are unknown. For this model, we show that the sample complexity is r O ` pm`rq{pm`pm`rq{ 2 ˘ when the ratio between the stride size and the filter size is a constant. For both models, we also present lower bounds showing our sample complexities are tight up to logarithmic factors. Our main tools for deriving these results are a localized empirical process analysis and a new lemma characterizing the convolutional structure. We believe that these tools may inspire further developments in understanding CNNs.
translated by 谷歌翻译
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以从快速发展的自我监督视觉表征学习领域中受益。统一这两种方法,我们提出了自我监督半监督学习($ S ^ 4L $)的框架,并用它来推动两种新的半监督图像分类方法。我们证明了这些方法与精心调整的基线和现有的半监督学习方法相比的有效性。然后我们证明$ S ^ 4L $和现有的半监督方法可以联合训练,在半监督的ILSVRC-2012上产生了一个新的最先进的结果,有10%的标签。
translated by 谷歌翻译
在翻译短语(单词或单词组)时,人类译者有意或无意地采用不同的翻译过程,除了成语翻译,如成语等效,泛化,特殊化,语义调制等。译者和语言学家(如维纳和达贝尔内特) ,纽马克等人提出了几种类型来描述不同的翻译过程。然而,就我们所知,没有努力自动对这些细粒度的翻译过程进行分类。最近,TED会谈的英法平行语料库已经手动注释了翻译过程类别以及已建立的注释指南。基于这些注释示例,我们提出了在子系统级别上对翻译过程的自动分类。实验结果表明,我们可以将非字面翻译与字面翻译区分开来,准确度分别为87.09%和55.20%,用于五种非字面翻译过程的分类。这项工作表明可以自动对翻译过程进行分类。即使有少量注释示例,我们的实验也会显示我们在未来工作中可以遵循的方向。我们的长期目标之一是利用这种自动分类来更好地控制双语平行语料库中的词汇提取。
translated by 谷歌翻译
本文重点研究了有限注释数据和狭义知识域背景下的传统关系抽取任务。我们使用由200个乳腺癌随访治疗组成的临床语料库来探索这项任务,其中注释了16种不同类型的关系。我们尝试了一种提取类型关系的方法,称为窗口有界发生(WBC),它使用围绕相关类型的实体命令的可调整上下文窗口,并将其性能与更典型的感官共生基线进行比较。我们进一步介绍了一种基于最先进的词嵌入和单词同义词的新概念(BoC)方法来进行特征工程。我们通过与更高复杂度的方法进行比较来证明BoC的竞争力,并探讨其在这个小数据集上的有效性。
translated by 谷歌翻译
社交媒体提供了丰富的有价值的原始数据来源,但是,非正式写作很快就会成为许多自然语言处理(NLP)任务的瓶颈。现成的工具通常通过正式文本进行培训,并且能够明确地处理短期在线帖子中发现的噪音。此外,各种不经常发生的语言变异带来了一些挑战,即使对于那些可能无法理解这些帖子的含义的人来说,尤其是当它们包含俚语和缩写时。文本规范化旨在将在线用户生成的文本转换为规范形式。当前的文本标准化系统依赖于以本地方式工作的字符串或语音相似性和分类模型。我们认为处理上下文信息对于该任务是至关重要的,并且引入了社交媒体文本标准化混合字词 - 基于关注的编码器 - 解码器模型,其可以用作NLP应用的预处理步骤以适应社交媒体中的噪声文本。我们基于字符的组件在合成对象示例上进行了训练,这些示例旨在捕获在用户生成的在线文本中常见的错误。实验表明,我们的模型超越了为文本规范化设计的neuralarchitectures,并实现了与最先进相关工作的可比性。
translated by 谷歌翻译
深度生成模型正在成为现代机器学习的基石。对条件生成对抗网络的近期研究表明,在自然图像上学习复杂的高维分布是在范围内。虽然最新型号能够以高分辨率生成高保真,多样化的图像,但它们依赖于大量的标记数据。在这项工作中,我们展示了如何从最近的自我和半监督学习的工作中受益,以便在无监督的ImageNet综合以及条件设置中超越最先进的技术(SOTA)。特别地,所提出的方法能够使用当前最先进的条件模型BigGAN onImageNet上的样本质量(由FID测量)仅使用10%的标签并且使用20%的标签超过它。
translated by 谷歌翻译
以前的工作表明,流行的趋势事件是重要的外部因素,它们对用户搜索行为产生重大影响,并提供了一种计算模拟这种影响的方法。然而,他们的问题制定是基于每个事件独立地产生影响的强烈假设。这种假设是不现实的,因为现实世界中存在许多相互影响的相关事件,因此会对用户搜索行为产生共同影响,而不是独立地构成影响。在本文中,我们研究了由多个相关事件对用户搜索行为构成的JointInfluences建模的这一新问题。我们提出了一种基于多变量霍克斯过程的联合影响模型,该模型根据对用户搜索行为的影响来捕获多个事件之间的相互依赖性。我们使用来自https://search.yahoo.com/的两个月查询日志数据来评估建议的联合影响模型。实验结果表明,该模型确实可以捕获联合影响随时间的时间动态,并且当应用于解决各种有趣的预测问题以及真实单词应用场景(例如,查询自动完成)时,还实现了优于不同基线方法的优越性能。
translated by 谷歌翻译
电子商务(E-Com)搜索是一种新兴的信息检索新应用。学习排名(LETOR)是优化搜索引擎的一般有效策略,因此也是E-Comsearch的关键技术。虽然LETOR在网络搜索中的应用已得到很好的研究,但其在E-Com搜索中的应用尚未得到很好的探索。在本文中,我们讨论了应用学习将方法排序到E-Com搜索的实际挑战,包括特征表示中的挑战,获得可靠的相关性判断,以及最佳利用多个用户反馈信号,如点击率,添加到购物车比率,订单费率和收入。我们使用行业数据集的实验研究了这些新的挑战,并报告了几个有趣的发现,可以为如何最佳地应用LETOR到E-Com搜索提供指导:首先,仅基于产品项目定义的基于流行度的特征是非常有用的,LETOR方法能够有效地优化它们与基于相关性的特征相结合。其次,查询属性稀疏性对LETOR提出了挑战,选择减少/避免稀疏性的特征是有益的。第三,虽然众包对于获得网络搜索的相关性判断通常很有用,但由于在引出足够细粒度的相关性判断方面存在困难,因此它对于E-Com搜索不起作用。最后,在多个反馈信号中,订单率被认为是mostrobust培训目标,其次是点击率,而添加到购物车的ratioseems最不稳健,这表明一个有效的实用策略可能是最初使用点击率进行培训和逐渐转向使用订单率,它们变得可用。
translated by 谷歌翻译
无监督的视觉表示学习在计算机视觉研究中仍然是一个很大程度上未解决的问题。在最近提出的用于无监督学习视觉表示的方法中,一类自我监督技术在许多具有挑战性的基准上实现了卓越的性能。已经研究了大量的自我监督学习的前提任务,但其他重要的方面,如卷积神经网络(CNN)的选择,并没有得到同等的关注。因此,我们重新审视了许多以前提出的自我监督模型,进行彻底的大规模研究,结果发现了多个关键的问题。我们挑战了自我监督的视觉表现学习中的一些常见实践,并观察到CNN设计的标准配方并不总是转化为自我监督的表征学习。作为我们研究的一部分,我们大大提高了先前提出的技术的性能,并且大大优于以前发布的最先进的结果。
translated by 谷歌翻译