标签平滑(LS)是一种出现的学习范式,它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明,LS是带有硬标签的训练数据的常规器,因此改善了模型的概括。后来,据报道,LS甚至有助于用嘈杂的标签学习时改善鲁棒性。但是,我们观察到,当我们以高标签噪声状态运行时,LS的优势就会消失。从直觉上讲,这是由于$ \ mathbb {p}的熵增加(\ text {noisy label} | x)$当噪声速率很高时,在这种情况下,进一步应用LS会倾向于“超平滑”估计后部。我们开始发现,文献中的几种学习与噪声标签的解决方案相反,与负面/不标签平滑(NLS)更紧密地关联,它们与LS相反,并将其定义为使用负重量来结合硬和软标签呢我们在使用嘈杂标签学习时对LS和NLS的性质提供理解。在其他已建立的属性中,我们从理论上表明,当标签噪声速率高时,NLS被认为更有益。我们在多个基准测试中提供了广泛的实验结果,以支持我们的发现。代码可在https://github.com/ucsc-real/negative-label-smooth上公开获取。
translated by 谷歌翻译
在本文中,我们回答了插入标签噪声(较少的信息标签)时的问题,而是返回更准确和公平的模型。我们主要通过三次观察启发:1)与降低标签噪声速率相比,增加噪声速率易于实现; 2)增加某类实例的标签噪声以平衡噪声速率(增加到平衡)导致更容易的学习问题; 3)增加对平衡改善了对标签偏差的公平保障。在本文中,我们首先通过增加一组实例的标签噪声率W.r.t.来量化推出的权衡。损失标签信息和降低的学习困难。我们在改善泛化能量或公平保证方面,我们分析了这样的增加是有益的。然后,我们介绍一种方法来正确插入标签噪声,以便与嘈杂的标签学习学习的任务,无论是没有还是公平约束。我们面临的主要技术挑战是由于我们不知道哪些数据实例遭受更高的噪音,而且我们不会有地面真理标签来验证任何可能的假设。我们提出了一种检测方法,可以向我们通知我们,在不使用地面真理标签的情况下,哪一组标签可能会遭受更高的噪音。我们正式建立了提出的解决方案的有效性,并通过广泛的实验证明了它。
translated by 谷歌翻译
噪声过渡矩阵在使用嘈杂标签的学习问题中起着核心作用。在许多其他原因中,许多现有解决方案都依赖于访问它。在没有地面真相标签的情况下识别和估算过渡矩阵是一项艰巨而挑战的任务。当标签噪声转变取决于每个实例时,识别与实例有关的噪声转变矩阵的问题变得更加具有挑战性。尽管最近的作品提出了从实例依赖性嘈杂标签中学习的解决方案,但该领域仍缺乏对何时仍然可以识别此问题的统一理解。本文的目的是表征标签噪声过渡矩阵的可识别性。在Kruskal的可识别性结果的基础上,我们能够在实例级别识别通用情况的噪声过渡矩阵时表明需要多个嘈杂标签的必要性。我们进一步实例化了结果,以解释最先进的解决方案的成功,以及如何缓解多个嘈杂标签的需求的其他假设。我们的结果还表明,分离的特征对上述标识任务有帮助,我们提供了经验证据。
translated by 谷歌翻译
标签噪声过渡矩阵,表示从干净标签到嘈杂标签的过渡概率,对于设计统计上强大的解决方案至关重要。噪声过渡矩阵的现有估计器,例如,使用锚点或凝集性,专注于相对容易获得高质量表示的计算机视觉任务。我们观察到,由于非信息和信息性表示的共存,具有较低质量特征的任务无法满足锚点或凝聚力条件。为了解决这个问题,我们提出了一种通用和实用的信息理论方法,以减少质量较低特征的信息不足的部分。这种改进对于识别和估计标签噪声转变矩阵至关重要。显着的技术挑战是仅使用嘈杂标签而不是干净的标签来计算相关的信息理论指标。我们证明,著名的$ f $ - 潮流信息度量通常可以在使用嘈杂标签计算时保留订单。然后,我们使用此蒸馏版本的功能构建过渡矩阵估计器。通过评估具有较低质量特征的各种表格数据和文本分类任务的估计误差,还可以通过评估拟议方法的必要性和有效性。代码可在github.com/ucsc-real/beyondimages上找到。
translated by 谷歌翻译
深度学习在大量大数据的帮助下取得了众多域中的显着成功。然而,由于许多真实情景中缺乏高质量标签,数据标签的质量是一个问题。由于嘈杂的标签严重降低了深度神经网络的泛化表现,从嘈杂的标签(强大的培训)学习是在现代深度学习应用中成为一项重要任务。在本调查中,我们首先从监督的学习角度描述了与标签噪声学习的问题。接下来,我们提供62项最先进的培训方法的全面审查,所有这些培训方法都按照其方法论差异分为五个群体,其次是用于评估其优越性的六种性质的系统比较。随后,我们对噪声速率估计进行深入分析,并总结了通常使用的评估方法,包括公共噪声数据集和评估度量。最后,我们提出了几个有前途的研究方向,可以作为未来研究的指导。所有内容将在https://github.com/songhwanjun/awesome-noisy-labels提供。
translated by 谷歌翻译
深神经网络(DNN)的记忆效果在许多最先进的标签噪声学习方法中起着枢轴作用。为了利用这一财产,通常采用早期停止训练早期优化的伎俩。目前的方法通常通过考虑整个DNN来决定早期停止点。然而,DNN可以被认为是一系列层的组成,并且发现DNN中的后一个层对标签噪声更敏感,而其前同行是非常稳健的。因此,选择整个网络的停止点可以使不同的DNN层对抗彼此影响,从而降低最终性能。在本文中,我们建议将DNN分离为不同的部位,逐步培训它们以解决这个问题。而不是早期停止,它一次列举一个整体DNN,我们最初通过用相对大量的时期优化DNN来训练前DNN层。在培训期间,我们通过使用较少数量的时期使用较少的地层来逐步培训后者DNN层,以抵消嘈杂标签的影响。我们将所提出的方法术语作为渐进式早期停止(PES)。尽管其简单性,与早期停止相比,PES可以帮助获得更有前景和稳定的结果。此外,通过将PE与现有的嘈杂标签培训相结合,我们在图像分类基准上实现了最先进的性能。
translated by 谷歌翻译
深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性,但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡,嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战,我们通常会遭受过度拟合或不足的折磨。在这项工作中,我们彻底研究了流行的软马克斯损失和基于保证金的损失,并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件,该条件指示了类原型应锚定的方式。通过理论分析的激励,我们提出了一种简单但有效的方法,即原型锚定学习(PAL),可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。
translated by 谷歌翻译
深入学习在现代分类任务中取得了许多突破。已经提出了众多架构用于不同的数据结构,但是当涉及丢失功能时,跨熵损失是主要的选择。最近,若干替代损失已经看到了深度分类器的恢复利益。特别是,经验证据似乎促进了方形损失,但仍然缺乏理论效果。在这项工作中,我们通过系统地研究了在神经切线内核(NTK)制度中的过度分化的神经网络的表现方式来促进对分类方面损失的理论理解。揭示了关于泛化误差,鲁棒性和校准错误的有趣特性。根据课程是否可分离,我们考虑两种情况。在一般的不可分类案例中,为错误分类率和校准误差建立快速收敛速率。当类是可分离的时,错误分类率改善了速度快。此外,经过证明得到的余量被证明是低于零的较低,提供了鲁棒性的理论保证。我们希望我们的调查结果超出NTK制度并转化为实际设置。为此,我们对实际神经网络进行广泛的实证研究,展示了合成低维数据和真实图像数据中方损的有效性。与跨熵相比,方形损耗具有可比的概括误差,但具有明显的鲁棒性和模型校准的优点。
translated by 谷歌翻译
最近已证明自我监督的对比学习(CL)非常有效地防止深网贴上嘈杂的标签。尽管取得了经验成功,但对对比度学习对增强鲁棒性的影响的理论理解非常有限。在这项工作中,我们严格地证明,通过对比度学习学到的表示矩阵可以通过:(i)与数据中每个子类相对应的一个突出的奇异值来增强鲁棒性,并显着较小的剩余奇异值; (ii){{显着的单数矢量与每个子类的干净标签之间的一个很大的对齐。以上属性使对此类表示的线性层能够有效地学习干净的标签,而不会过度适应噪音。}我们进一步表明,通过对比度学习预先训练的深网的雅各比式的低级别结构使他们能够获得优越的最初的性能是在嘈杂的标签上进行微调时。最后,我们证明了对比度学习提供的最初鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能,例如平均27.18 \%\%和15.58 \%\%\%\%\%cifar-10上的提高和80 \%对称嘈杂标签的CIFAR-100,网络视频的准确性提高4.11 \%。
translated by 谷歌翻译
可以将监督学习视为将相关信息从输入数据中提取到特征表示形式。当监督嘈杂时,此过程变得困难,因为蒸馏信息可能无关紧要。实际上,最近的研究表明,网络可以轻松地过度贴合所有标签,包括损坏的标签,因此几乎无法概括以清洁数据集。在本文中,我们专注于使用嘈杂的标签学习的问题,并将压缩归纳偏置引入网络体系结构以减轻这种过度的问题。更确切地说,我们重新审视一个名为辍学的经典正则化及其变体嵌套辍学。辍学可以作为其功能删除机制的压缩约束,而嵌套辍学进一步学习有序的特征表示W.R.T.特征重要性。此外,具有压缩正则化的训练有素的模型与共同教学相结合,以提高性能。从理论上讲,我们在压缩正则化下对目标函数进行偏置变化分解。我们分析了单个模型和共同教学。该分解提供了三个见解:(i)表明过度合适确实是使用嘈杂标签学习的问题; (ii)通过信息瓶颈配方,它解释了为什么提出的特征压缩有助于对抗标签噪声; (iii)它通过将压缩正规化纳入共同教学而带来的性能提升提供了解释。实验表明,我们的简单方法比具有现实世界标签噪声(包括服装1M和Animal-10N)的基准测试标准的最先进方法具有可比性甚至更好的性能。我们的实施可在https://yingyichen-cyy.github.io/compressfatsfeatnoisylabels/上获得。
translated by 谷歌翻译
作为标签噪声,最受欢迎的分布变化之一,严重降低了深度神经网络的概括性能,具有嘈杂标签的强大训练正在成为现代深度学习中的重要任务。在本文中,我们提出了我们的框架,在子分类器(ALASCA)上创造了自适应标签平滑,该框架提供了具有理论保证和可忽略的其他计算的可靠特征提取器。首先,我们得出标签平滑(LS)会产生隐式Lipschitz正则化(LR)。此外,基于这些推导,我们将自适应LS(ALS)应用于子分类器架构上,以在中间层上的自适应LR的实际应用。我们对ALASCA进行了广泛的实验,并将其与以前的几个数据集上的噪声燃烧方法相结合,并显示我们的框架始终优于相应的基线。
translated by 谷歌翻译
深神经网络(DNN)的记忆效应在最近的标签噪声学习方法中起关键作用。为了利用这种效果,已经广泛采用了基于模型预测的方法,该方法旨在利用DNN在学习的早期阶段以纠正嘈杂标签的效果。但是,我们观察到该模型在标签预测期间会犯错误,从而导致性能不令人满意。相比之下,在学习早期阶段产生的特征表现出更好的鲁棒性。受到这一观察的启发,在本文中,我们提出了一种基于特征嵌入的新方法,用于用标签噪声,称为标签NoissiLution(Lend)。要具体而言,我们首先根据当前的嵌入式特征计算一个相似性矩阵,以捕获训练数据的局部结构。然后,附近标记的数据(\ textIt {i.e。},标签噪声稀释)使错误标记的数据携带的嘈杂的监督信号淹没了,其有效性是由特征嵌入的固有鲁棒性保证的。最后,带有稀释标签的培训数据进一步用于培训强大的分类器。从经验上讲,我们通过将我们的贷款与几种代表性的强大学习方法进行比较,对合成和现实世界嘈杂数据集进行了广泛的实验。结果验证了我们贷款的有效性。
translated by 谷歌翻译
通过将域知识与标记的样本集成在一起,知情的机器学习已经出现,以提高广泛应用的学习绩效。尽管如此,对注射领域知识的作用的严格理解尚未探索。在本文中,我们考虑了一个知情的深度神经网络(DNN),并将过度参数化和域知识纳入其培训目标功能,并研究域知识如何以及为什么会使绩效受益。具体而言,我们定量地证明了领域知识的两个好处在知情学习中 - 正规化基于标签的监督并补充标签样品 - 并揭示了人口风险的标签和知识不完美性之间的权衡。基于理论分析,我们提出了一个广义知情的培训目标,以更好地利用知识的好处,并平衡标签和知识不完美,这是由人口风险约束的验证。我们对抽样复杂性的分析阐明了如何选择超参数进行知情学习的灯光,并进一步证明了知识知情学习的优势。
translated by 谷歌翻译
分发概括是将模型从实验室转移到现实世界时的关键挑战之一。现有努力主要侧重于源和目标域之间建立不变的功能。基于不变的功能,源域上的高性能分类可以在目标域上同样良好。换句话说,不变的功能是\ emph {transcorable}。然而,在实践中,没有完全可转换的功能,并且一些算法似乎学习比其他算法更学习“更可转移”的特征。我们如何理解和量化此类\ EMPH {可转录性}?在本文中,我们正式定义了一种可以量化和计算域泛化的可转换性。我们指出了与域之间的常见差异措施的差异和连接,例如总变化和Wassersein距离。然后,我们证明我们可以使用足够的样本估计我们的可转换性,并根据我们的可转移提供目标误差的新上限。经验上,我们评估现有算法学习的特征嵌入的可转换性,以获得域泛化。令人惊讶的是,我们发现许多算法并不完全学习可转让的功能,尽管很少有人仍然可以生存。鉴于此,我们提出了一种用于学习可转移功能的新算法,并在各种基准数据集中测试,包括RotationMnist,PACS,Office和Wilds-FMOW。实验结果表明,该算法在许多最先进的算法上实现了一致的改进,证实了我们的理论发现。
translated by 谷歌翻译
我们推出了可实现的机器学习模型的贝叶斯风险和泛化误差的信息 - 理论下限。特别地,我们采用了一个分析,其中模型参数的速率失真函数在训练样本和模型参数之间界定了所需的互信息,以便向贝叶斯风险约束学习模型。对于可实现的模型,我们表明,速率失真函数和相互信息承认的表达式,方便分析。对于在其参数中(大致)较低的LipsChitz的模型,我们将从下面的速率失真函数绑定,而对于VC类,相互信息以高于$ d_ \ mathrm {vc} \ log(n)$。当这些条件匹配时,贝叶斯相对于零一个损耗尺度的风险不足于$ \ oomega(d_ \ mathrm {vc} / n)$,它与已知的外界和最小界限匹配对数因子。我们还考虑标签噪声的影响,在训练和/或测试样本损坏时提供下限。
translated by 谷歌翻译
现实世界数据集中的标签噪声编码错误的相关模式并损害深神经网络(DNNS)的概括。寻找有效的方法来检测损坏的模式至关重要。当前的方法主要着重于设计强大的训练技术,以防止DNN记住损坏的模式。这些方法通常需要定制的培训过程,并可能过度腐败的模式,从而导致检测的性能下降。在本文中,从以数据为中心的角度来看,我们提出了一种无培训的解决方案来检测损坏的标签。直观地,``Closer''实例更有可能共享相同的干净标签。根据邻域信息,我们提出了两种方法:第一种方法通过检查附近功能的嘈杂标签通过``本地投票''使用''本地投票。可能会损坏的实例。我们理论上分析了功能的质量如何影响本地投票并为调整邻里规模提供指南。我们还证明了基于排名的方法的最坏情况错误。合成和真实的实验 - 世界标签噪声表明我们的无训练解决方案始终如一,并显着改善了大多数基于训练的基线。
translated by 谷歌翻译
大多数监督学习数据集的构建围绕着为每个实例收集多个标签,然后将标签汇总以形成``金标准''的类型。我们通过开发该过程的(风格化的)理论模型并分析其统计后果的理论模型来质疑该管道的智慧,并显示了如何访问非聚集标签信息的信息可以使培训良好的模型更加容易,或者在某些情况下 - 甚至在某些情况下 - 可行,而只有金标准标签是不可能的。然而,整个故事都是微妙的,汇总和填充标签信息之间的对比取决于问题的细节,在该信息中,使用汇总信息的估计器表现出强大但较慢的收敛速度,而估计器可以有效地利用所有标签的收敛性更高。如果他们有忠诚(或可以学习)真实的标签过程,很快。我们在风格化模型中开发的理论对现实世界数据集进行了一些预测,包括何时非聚集标签应改善学习绩效,我们测试以证实我们的预测有效性。
translated by 谷歌翻译
神经崩溃的概念是指在各种规范分类问题中经验观察到的几种新兴现象。在训练深度神经网络的终端阶段,同一类的所有示例的特征嵌入往往会崩溃为单一表示,而不同类别的特征往往会尽可能分开。通常通过简化的模型(称为无约束的特征表示)来研究神经崩溃,其中假定模型具有“无限表达性”,并且可以将每个数据点映射到任何任意表示。在这项工作中,我们提出了不受约束的功能表示的更现实的变体,该变体考虑到了网络的有限表达性。经验证据表明,嘈杂数据点的记忆导致神经崩溃的降解(扩张)。使用记忆 - 稀释(M-D)现象的模型,我们展示了一种机制,通过该机制,不同的损失导致嘈杂数据上受过训练的网络的不同性能。我们的证据揭示了为什么标签平滑性(经验观察到产生正则化效果的跨凝性的修改)导致分类任务的概括改善的原因。
translated by 谷歌翻译
为了减轻二进制分类中培训有效二进制分类器的数据要求,已经提出了许多弱监督的学习设置。其中,当由于隐私,机密性或安全原因无法访问时,使用成对但不是尖标签的一些考虑。然而,作为一对标签表示两个数据点是否共享尖点标签,如果任一点同样可能是正的或负数,则不能容易地收集。因此,在本文中,我们提出了一种名为成对比较(PCOMP)分类的新颖设置,在那里我们只有一对未标记的数据,我们知道一个人比另一个更有可能是积极的。首先,我们提供了PCOMP数据生成过程,通过理论上保证导出了无偏的风险估计器(URE),并进一步提高了URE使用校正功能。其次,我们将PCOMP分类链接到嘈杂的标签学习,通过强加一致性正规化来开发渐进式,并改善它。最后,我们通过实验证明了我们的方法的有效性,这表明PCOMP是一种有价值的,实际上有用的成对监督类型,除了一对标签。
translated by 谷歌翻译
大多数现有的政策学习解决方案都需要学习代理商接收高质量的监督信号,如强化学习(RL)或行为克隆(BC)中的高质量专家演示。在实践中获得这些质量监督通常是不可行的或昂贵的昂贵。我们的目标是一个统一的框架,利用可用的廉价弱势监督,以有效地执行政策学习。为了处理这个问题,我们将“弱监督”视为来自同行代理的不完美信息,并根据与同行代理人的政策(而不是简单协议)的“相关协议”评估学习代理人的政策。我们的方法明确惩罚了对弱势监督的过度措施。除了理论担保之外,对具有嘈杂奖励的任务(包括嘈杂奖励)的广泛评估,具有薄弱的示范,标准政策共同培训表明我们的方法导致了实质性的性能改进,特别是当学习环境的复杂性或噪音很高时。
translated by 谷歌翻译