互补标签学习（CLL）是弱监督的情况下的常见应用。但是，在实际数据集中，CLL遇到了平衡的培训样本，其中一个类的样品的数量明显低于其他类别的样本。不幸的是，现有的CLL方法尚未探索类饮食样本的问题，从而降低了预测准确性，尤其是在不平衡的类中。在本文中，我们提出了一个新颖的问题设置，以允许从类不平衡的互补标签样品中学习以进行多类分类。因此，为了解决这个新的问题，我们提出了一种新的CLL方法，称为加权互补标签学习（WCLL）。提出的方法通过利用类不平衡互补标记的信息来模拟加权的经验风险损失，这也适用于多类不平衡训练样本。此外，提出的方法的估计误差结合是提供理论保证的。最后，我们对广泛使用的基准数据集进行了广泛的实验，以通过将其与现有最新方法进行比较来验证我们的方法的优势。
translated by 谷歌翻译
为了减轻二进制分类中培训有效二进制分类器的数据要求，已经提出了许多弱监督的学习设置。其中，当由于隐私，机密性或安全原因无法访问时，使用成对但不是尖标签的一些考虑。然而，作为一对标签表示两个数据点是否共享尖点标签，如果任一点同样可能是正的或负数，则不能容易地收集。因此，在本文中，我们提出了一种名为成对比较（PCOMP）分类的新颖设置，在那里我们只有一对未标记的数据，我们知道一个人比另一个更有可能是积极的。首先，我们提供了PCOMP数据生成过程，通过理论上保证导出了无偏的风险估计器（URE），并进一步提高了URE使用校正功能。其次，我们将PCOMP分类链接到嘈杂的标签学习，通过强加一致性正规化来开发渐进式，并改善它。最后，我们通过实验证明了我们的方法的有效性，这表明PCOMP是一种有价值的，实际上有用的成对监督类型，除了一对标签。
translated by 谷歌翻译
互补标签（CL）只是指示一个示例的不正确类，但是使用CLS学习会导致多类分类器可以预测正确的类。不幸的是，问题设置仅允许每个示例一个CL，这特别限制了其潜力，因为我们的标签可能会轻松地将多个CLS（MCL）识别为一个示例。在本文中，我们提出了一个新颖的问题设置，以允许每个示例的MCL和使用MCL学习的两种方法。首先，我们设计了两个将MCL分解为许多单个CLS的包装器，以便我们可以使用CLS学习任何方法。但是，分解后MCL持有的监督信息在概念上稀释。因此，在第二个方面，我们得出了公正的风险估计器。最小化IT处理每组MCL的整体组合，并具有估计误差的结合。我们进一步改善了第二种方法，以最大程度地减少正确选择的上限。实验表明，以前的方式可以很好地与MCL学习，但后者甚至更好。
translated by 谷歌翻译
部分标签学习是一种弱监督的学习，不精确的标签，在这里，每个训练示例，我们都有一组候选标签而不是一个真正的标签。最近，在候选标签集的不同一代模型下提出了部分标签学习的各种方法。然而，这些方法需要在生成模型上具有相对强烈的分布假设。当假设不保持时，理论上不保证该方法的性能。在本文中，我们提出了部分标签对适用权的概念。我们表明，这种适当的部分标签学习框架包括许多以前的部分标签学习设置作为特殊情况。然后，我们派生了统一的分类风险估计。我们证明我们的估算器是通过获取其估计误差绑定的风险态度。最后，我们通过实验验证了算法的有效性。
translated by 谷歌翻译
近年来，有监督的深度学习取得了巨大的成功，从大量完全标记的数据中，对预测模型进行了培训。但是，实际上，标记这样的大数据可能非常昂贵，甚至出于隐私原因甚至可能是不可能的。因此，在本文中，我们旨在学习一个无需任何类标签的准确分类器。更具体地说，我们考虑了多组未标记的数据及其类先验的情况，即每个类别的比例。在此问题设置下，我们首先得出了对分类风险的无偏估计量，可以从给定未标记的集合中估算，并理论上分析了学习分类器的概括误差。然后，我们发现获得的分类器往往会导致过度拟合，因为其经验风险在训练过程中呈负面。为了防止过度拟合，我们进一步提出了一个部分风险正规化，该风险正规化在某些级别上保持了未标记的数据集和类方面的部分风险。实验表明，我们的方法有效地减轻了过度拟合和优于从多个未标记集中学习的最先进方法。
translated by 谷歌翻译
积极的未标记（PU）学习旨在仅从积极和未标记的数据中学习二进制分类器，这在许多现实世界中都被使用。但是，现有的PU学习算法无法在开放且不断变化的情况下应对现实世界中的挑战，在这种情况下，未观察到的增强类的示例可能会在测试阶段出现。在本文中，我们通过利用来自增强类分布的未标记数据来提出一个通过增强类（PUAC）进行PU学习的无偏风险估计器，在许多现实世界中，可以轻松收集这些数据。此外，我们得出了针对拟议估计器的估计误差，该估计量为其融合到最佳解决方案提供了理论保证。多个现实数据集的实验证明了拟议方法的有效性。
translated by 谷歌翻译
部分标签学习（PLL）是一个典型的弱监督学习框架，每个培训实例都与候选标签集相关联，其中只有一个标签是有效的。为了解决PLL问题，通常方法试图通过使用先验知识（例如培训数据的结构信息）或以自训练方式提炼模型输出来对候选人集进行歧义。不幸的是，由于在模型训练的早期阶段缺乏先前的信息或不可靠的预测，这些方法通常无法获得有利的性能。在本文中，我们提出了一个新的针对部分标签学习的框架，该框架具有元客观指导性的歧义（MOGD），该框架旨在通过在小验证集中求解元目标来从设置的候选标签中恢复地面真相标签。具体而言，为了减轻假阳性标签的负面影响，我们根据验证集的元损失重新权重。然后，分类器通过最大程度地减少加权交叉熵损失来训练。通过使用普通SGD优化器的各种深网络可以轻松实现所提出的方法。从理论上讲，我们证明了元目标的收敛属性，并得出了所提出方法的估计误差界限。在各种基准数据集和实际PLL数据集上进行的广泛实验表明，与最先进的方法相比，所提出的方法可以实现合理的性能。
translated by 谷歌翻译
当训练数据集患有极端阶级失衡时，深度神经网络通常会表现不佳。最近的研究发现，以半监督的方式直接使用分布外数据（即开放式样本）培训将损害概括性能。在这项工作中，我们从理论上表明，从贝叶斯的角度来看，仍然可以利用分发数据来扩大少数群体。基于这种动机，我们提出了一种称为开放采样的新方法，该方法利用开放式嘈杂标签重新平衡培训数据集的班级先验。对于每个开放式实例，标签是从我们的预定义分布中取样的，该分布互补，与原始类先验的分布互补。我们从经验上表明，开放采样不仅可以重新平衡阶级先验，还鼓励神经网络学习可分离的表示。广泛的实验表明，我们提出的方法显着优于现有数据重新平衡方法，并可以提高现有最新方法的性能。
translated by 谷歌翻译
部分标签学习是一种弱监督的学习，每个培训实例都对应于一组候选标签，其中只有一个是正确的。在本文中，我们介绍了一种针对此问题的新型概率方法，与现有方法相比，该方法至少具有三个优势：它简化了训练过程，改善了性能并可以应用于任何深层体系结构。对人工和现实世界数据集进行的实验表明，诺言的表现优于现有方法。
translated by 谷歌翻译
在监督的学习中，获得大量全标记的培训数据很昂贵。我们表明，我们并不总是需要关于每个培训示例的完整标签信息来培训合格的分类器。具体而言，受统计原则的启发，我们提出了完全标记的培训集的统计量（摘要），该培训集几乎捕获了分类的所有相关信息，但同时更容易直接获得。我们称此统计数据为“足够标记的数据”，并证明其足够的和效率可以找到最佳的隐藏表示形式，可以在其中使用少量随机选择的单个随机选择的全标签示例，可以在其中训练有效的分类器头。可以直接从注释者获得足够标记的数据，而无需首先收集完全标记的数据。我们证明，与获得完全标记的数据相比，直接获得足够标记的数据要容易得多。此外，足够标记的数据自然更加安全，因为它存储了相对而不是绝对的信息。提供广泛的实验结果以支持我们的理论。
translated by 谷歌翻译
补充标签学习（CLL）是一个弱监督的学习问题，旨在仅从互补标签中学习多级分类器，该标签表明一个实例不属于的类。现有方法主要采用简化范式对普通分类的范式，该分类应用了特定的转换和替代损失，以将CLL连接回普通分类。然而，这些方法面临着几个局限性，例如过度合适或挂在深层模型上的趋势。在本文中，我们以一种新颖的视角避开了这些局限性 - 将互补类别的概率估计减少到概率上。我们证明，互补标签的准确概率估计通过一个简单的解码步骤导致良好的分类器。该证明建立了从CLL到概率估计值的还原框架。该框架提供了几种关键CLL方法作为特殊情况的解释，并使我们能够设计一种在嘈杂环境中更强大的改进算法。该框架还提出了基于概率估计质量的验证过程，从而导致了仅使用互补标签验证模型的另一种方法。灵活的框架为使用深层和非深度模型以估算解决CLL问题时开辟了广泛的未开发机会。经验实验进一步验证了该框架在各种环境中的功效和鲁棒性。
translated by 谷歌翻译
虽然神经网络在平均病例的性能方面对分类任务的成功显着，但它们通常无法在某些数据组上表现良好。这样的组信息可能是昂贵的;因此，即使在培训数据不可用的组标签不可用，较稳健性和公平的最新作品也提出了改善最差组性能的方法。然而，这些方法通常在培训时间使用集团信息的表现不佳。在这项工作中，我们假设没有组标签的较大数据集一起访问少量组标签。我们提出了一个简单的两步框架，利用这个部分组信息来提高最差组性能：训练模型以预测训练数据的丢失组标签，然后在强大的优化目标中使用这些预测的组标签。从理论上讲，我们在最差的组性能方面为我们的方法提供泛化界限，展示了泛化误差如何相对于培训点总数和具有组标签的培训点的数量。凭经验，我们的方法优于不使用群组信息的基线表达，即使只有1-33％的积分都有组标签。我们提供消融研究，以支持我们框架的稳健性和可扩展性。
translated by 谷歌翻译
从积极和未标记的（PU）数据中学习是各种应用中的重要问题。最近PU分类的大多数方法假设训练未标记的数据集中的课程（正样本的比率）与测试数据的类别相同，这在许多实际情况下不存在。此外，我们通常不知道培训和测试数据的类别，因此我们没有关于如何在没有它们的情况下训练分类器的线索。为了解决这些问题，我们提出了一种基于密度比估计的新型PU分类方法。我们所提出的方法的显着优势在于它不需要训练阶段中的类前沿;先前的换档仅在测试阶段结合。理论上，理论地证明我们提出的方法和实验证明其有效性。
translated by 谷歌翻译
深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。
translated by 谷歌翻译
伪标记已被证明是一种有希望的半监督学习（SSL）范式。现有的伪标记方法通常假定培训数据的类别分布是平衡的。但是，这种假设远非现实的场景，现有的伪标记方法在班级不平衡的背景下遭受了严重的性能变性。在这项工作中，我们在半监督设置下研究伪标记。核心思想是使用偏置自适应分类器自动吸收由班级失衡引起的训练偏差，该分类器将原始线性分类器与偏置吸引子配合使用。偏置吸引子设计为适应训练偏见的轻巧残留网络。具体而言，通过双级学习框架来学习偏见吸引子，以便偏见自适应分类器能够符合不平衡的训练数据，而线性分类器可以为每个类提供无偏的标签预测。我们在各种不平衡的半监督设置下进行了广泛的实验，结果表明我们的方法可以适用于不同的伪标记模型，并且优于先前的艺术。
translated by 谷歌翻译
最近关于使用嘈杂标签的学习的研究通过利用小型干净数据集来显示出色的性能。特别是，基于模型不可知的元学习的标签校正方法进一步提高了性能，通过纠正了嘈杂的标签。但是，标签错误矫予没有保障措施，导致不可避免的性能下降。此外，每个训练步骤都需要至少三个背部传播，显着减慢训练速度。为了缓解这些问题，我们提出了一种强大而有效的方法，可以在飞行中学习标签转换矩阵。采用转换矩阵使分类器对所有校正样本持怀疑态度，这减轻了错误的错误问题。我们还介绍了一个双头架构，以便在单个反向传播中有效地估计标签转换矩阵，使得估计的矩阵紧密地遵循由标签校正引起的移位噪声分布。广泛的实验表明，我们的方法在训练效率方面表现出比现有方法相当或更好的准确性。
translated by 谷歌翻译
在嘈杂标记的数据上进行强大的学习是实际应用中的重要任务，因为标签噪声直接导致深度学习模型的概括不良。现有的标签噪声学习方法通常假定培训数据的基础类别是平衡的。但是，现实世界中的数据通常是不平衡的，导致观察到的与标签噪声引起的固有类别分布之间的不一致。分布不一致使标签 - 噪声学习的问题更具挑战性，因为很难将干净的样本与内在尾巴类别的嘈杂样本区分开来。在本文中，我们提出了一个学习框架，用于使用内在长尾数据进行标签 - 噪声学习。具体而言，我们提出了一种称为两阶段双维样品选择（TBS）的可靠样品选择方法，以更好地与嘈杂的样品分开清洁样品，尤其是对于尾巴类别。 TBSS由两个新的分离指标组成，以在每个类别中共同分开样本。对具有内在长尾巴分布的多个嘈杂标记的数据集进行了广泛的实验，证明了我们方法的有效性。
translated by 谷歌翻译
深度学习正在推动许多计算机视觉应用中的最新技术。但是，它依赖于大量注释的数据存储库，并且捕获现实世界数据的不受约束性质尚未解决。半监督学习（SSL）用大量未标记的数据来补充带注释的培训数据，以降低注释成本。标准SSL方法假设未标记的数据来自与注释数据相同的分布。最近，Orca [9]引入了一个更现实的SSL问题，称为开放世界SSL，假设未注释的数据可能包含来自未知类别的样本。这项工作提出了一种在开放世界中解决SSL的新方法，我们同时学习对已知和未知类别进行分类。在我们方法的核心方面，我们利用样本不确定性，并将有关类分布的先验知识纳入，以生成可靠的伪标记，以适用于已知和未知类别的未标记数据。我们广泛的实验在几个基准数据集上展示了我们的方法的有效性，在该数据集上，它在其中的七个不同数据集（包括CIFAR-100（17.6％）（17.6％），Imagenet-100（5.7％）（5.7％）和微小成像网（9.9％）。
translated by 谷歌翻译
在标签 - 噪声学习中，估计过渡矩阵是一个热门话题，因为矩阵在构建统计上一致的分类器中起着重要作用。传统上，从干净的标签到嘈杂的标签（即，清洁标签过渡矩阵（CLTM））已被广泛利用，以通过使用嘈杂的数据来学习干净的标签分类器。该分类器的动机主要是输出贝叶斯的最佳预测标签，在本文中，我们研究以直接建模从贝叶斯最佳标签过渡到嘈杂标签（即贝叶斯标签，贝叶斯标签，是BLTM）），并学习分类器以预测贝叶斯最佳的分类器标签。请注意，只有嘈杂的数据，它不足以估计CLTM或BLTM。但是，贝叶斯最佳标签与干净标签相比，贝叶斯最佳标签的不确定性较小，即，贝叶斯最佳标签的类后代是一热矢量，而干净标签的载体则不是。这使两个优点能够估算BLTM，即（a）一组具有理论上保证的贝叶斯最佳标签的示例可以从嘈杂的数据中收集； （b）可行的解决方案空间要小得多。通过利用优势，我们通过采用深层神经网络来估计BLTM参数，从而更好地概括和出色的分类性能。
translated by 谷歌翻译
我们研究了在联合环境中从积极和未标记的（PU）数据中学习的问题，由于资源和时间的限制，每个客户仅标记其数据集的一小部分。与传统的PU学习中的设置不同，负面类是由单个类组成的，而由客户在联合设置中无法识别的否定样本可能来自客户未知的多个类。因此，在这种情况下，几乎无法应用现有的PU学习方法。为了解决这个问题，我们提出了一个新颖的框架，即使用正面和未标记的数据（FEDPU）联合学习，以通过利用其他客户的标记数据来最大程度地降低多个负面类别的预期风险。我们理论上分析了拟议的FedPU的概括结合。经验实验表明，FedPU比常规监督和半监督联盟的学习方法取得更好的性能。
translated by 谷歌翻译