针对强大表示学习和自我监督的学习（SSL）的对抗性培训（AT）是无监督的代表学习学习的两个主动研究领域。在整合到SSL中，多个先前的工作已经完成了一项非常重要但具有挑战性的任务：学习强大的表示没有标签。一个广泛使用的框架是对抗性的对比度学习，它是在SSL和SSL处伴侣，因此构成了一个非常复杂的优化问题。受划分和争夺哲学的启发，我们推测它可以简化并通过解决两个子问题来改进：不稳定的SSL和伪用者。这种动机将任务的重点从寻求耦合问题的最佳集成策略转移到寻找子问题的子解决方案。话虽如此，这项工作丢弃了直接引入SSL框架的先前实践，并提出了一个两阶段的框架，称为脱钩的对抗性对比学习（DEACL）。广泛的实验结果表明，我们的DEACL实现了SOTA自制的对抗性鲁棒性，同时大大减少了训练时间，从而验证了其有效性和效率。此外，我们的DEACL构成了一个更可解释的解决方案，其成功也弥合了半监督的差距，以利用未标记的样品来实现强大的表示。该代码可在https://github.com/pantheon5100/deacl上公开访问。
translated by 谷歌翻译
对比度学习（CL）可以通过在其顶部的线性分类器上学习更广泛的特征表示并实现下游任务的最先进的性能。然而，由于对抗性稳健性在图像分类中变得至关重要，但仍然不清楚CL是否能够为下游任务保留鲁棒性。主要挑战是，在自我监督的预押率+监督的FineTuning范式中，由于学习任务不匹配从预先追溯到Fineetuning，对抗性鲁棒性很容易被遗忘。我们称之为挑战“跨任务稳健性转移性”。为了解决上述问题，在本文中，我们通过稳健性增强的镜头重新审视并提前CL原理。我们展示了（1）对比视图的设计事项：图像的高频分量有利于提高模型鲁棒性; （2）使用伪监督刺激（例如，诉诸特征聚类）增强CL，有助于保持稳健性而不会忘记。配备了我们的新设计，我们提出了一种新的对抗对比预制框架的advcl。我们表明Advcl能够增强跨任务稳健性转移性，而不会损失模型精度和芬降效率。通过彻底的实验研究，我们展示了Advcl优于跨多个数据集（CiFar-10，CiFar-100和STL-10）和FineTuning方案的最先进的自我监督的自我监督学习方法（线性评估和满模型fineetuning）。
translated by 谷歌翻译
在本文中，我们引入了一个新型的神经网络训练框架，该框架增加了模型对对抗性攻击的对抗性鲁棒性，同时通过将对比度学习（CL）与对抗性训练（AT）结合在一起，以保持高清洁精度。我们建议通过学习在数据增强和对抗性扰动下保持一致的特征表示来提高对对抗性攻击的模型鲁棒性。我们利用对比的学习来通过将对抗性示例视为另一个积极的例子来提高对抗性的鲁棒性，并旨在最大化数据样本的随机增强及其对抗性示例之间的相似性，同时不断更新分类头，以避免在认知解离之间分类头和嵌入空间。这种分离是由于CL将网络更新到嵌入空间的事实引起的，同时冻结用于生成新的积极对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗性特征（CLAF）的对比度学习，在该数据集上，它在替代监督和自我监督的对抗学习方法上均优于强大的精度和清洁精度。
translated by 谷歌翻译
最近，对抗性训练已被纳入自我监督的对比预训练中，以增强标签效率，并具有令人兴奋的对抗性鲁棒性。但是，鲁棒性是经过昂贵的对抗训练的代价。在本文中，我们表明了一个令人惊讶的事实，即对比的预训练与稳健性具有有趣而隐含的联系，并且在经过训练的代表中如此自然的鲁棒性使我们能够设计出一种强大的鲁棒算法，以防止对抗性攻击，Rush，将标准组合在一起。对比的预训练和随机平滑。它提高了标准准确性和强大的精度，并且与对抗训练相比，培训成本大大降低了。我们使用广泛的经验研究表明，拟议中的Rush在一阶攻击下的共同基准（CIFAR-10，CIFAR-100和STL-10）的大幅度优于对抗性训练的强大分类器。特别是，在$ \ ell _ {\ infty} $下 - 大小为8/255 PGD攻击CIFAR-10的标准扰动，我们使用RESNET-18作为骨架达到77.8％的型号达到77.8％稳健精度和87.9％的标准精度。与最先进的工作相比，我们的工作的鲁棒精度提高了15％以上，标准准确性略有提高。
translated by 谷歌翻译
对比度学习（CL）最近已应用于对抗性学习任务。这种实践将对抗样本视为实例的其他积极观点，并且通过彼此达成最大的协议，可以产生更好的对抗性鲁棒性。但是，由于对抗性扰动可能会导致实例级别的身份混乱，因此这种机制可能存在缺陷，这可能会通过用单独的身份将不同的实例聚集在一起来阻碍CL性能。为了解决这个问题，我们建议在形成鲜明对比时不平等地对待对抗样本，与不对称的Infonce目标（$ a-Infonce $）允许区分对抗样本的考虑。具体而言，对手被视为降低的阳性，会引起较弱的学习信号，或者是与其他负面样本形成较高对比的艰难负面因素。以不对称的方式，可以有效地减轻CL和对抗性学习之间相互冲突目标的不利影响。实验表明，我们的方法始终超过不同鉴定方案的现有对抗性CL方法，而无需额外的计算成本。提出的A-INFONCE也是一种通用形式，可以很容易地扩展到其他CL方法。代码可从https://github.com/yqy2001/a-infonce获得。
translated by 谷歌翻译
我们提出了一个新颖的半监督学习框架，该框架巧妙地利用了模型的预测，从两个强烈的图像观点中的预测之间的一致性正则化，并由伪标签的信心加权，称为conmatch。虽然最新的半监督学习方法使用图像的弱和强烈的观点来定义方向的一致性损失，但如何为两个强大的观点之间的一致性定义定义这种方向仍然没有探索。为了解决这个问题，我们通过弱小的观点作为非参数和参数方法中的锚点来提出从强大的观点中对伪标签的新颖置信度度量。特别是，在参数方法中，我们首次介绍了伪标签在网络中的信心，该网络的信心是以端到端方式通过骨干模型学习的。此外，我们还提出了阶段训练，以提高培训的融合。当纳入现有的半监督学习者中时，并始终提高表现。我们进行实验，以证明我们对最新方法的有效性并提供广泛的消融研究。代码已在https://github.com/jiwoncocoder/conmatch上公开提供。
translated by 谷歌翻译
对比学习（CL）是自我监督学习（SSL）最成功的范式之一。它以原则上的方式考虑了两个增强的“视图”，同一图像是正面的，将其拉近，所有其他图像都是负面的。但是，在基于CL的技术的令人印象深刻的成功之后，它们的配方通常依赖于重型设置，包括大型样品批次，广泛的培训时代等。因此，我们有动力解决这些问题并建立一个简单，高效但有竞争力的问题对比学习的基线。具体而言，我们从理论和实证研究中鉴定出对广泛使用的Infonce损失的显着负阳性耦合（NPC）效应，从而导致有关批处理大小的不合适的学习效率。通过消除NPC效应，我们提出了脱钩的对比度学习（DCL）损失，该损失从分母中删除了积极的术语，并显着提高了学习效率。 DCL对竞争性表现具有较小的对亚最佳超参数的敏感性，既不需要SIMCLR中的大批量，Moco中的动量编码或大型时代。我们以各种基准来证明，同时表现出对次优的超参数敏感的鲁棒性。值得注意的是，具有DCL的SIMCLR在200个时期内使用批次尺寸256实现68.2％的Imagenet-1K TOP-1精度，在预训练中的表现优于其SIMCLR基线6.4％。此外，DCL可以与SOTA对比度学习方法NNCLR结合使用，以达到72.3％的Imagenet-1k Top-1精度，在400个时期的512批次大小中，这代表了对比学习中的新SOTA。我们认为DCL为将来的对比SSL研究提供了宝贵的基准。
translated by 谷歌翻译
现有的少量学习（FSL）方法依赖于具有大型标记数据集的培训，从而阻止它们利用丰富的未标记数据。从信息理论的角度来看，我们提出了一种有效的无监督的FSL方法，并以自学意义进行学习表示。遵循信息原理，我们的方法通过捕获数据的内在结构来学习全面的表示。具体而言，我们以低偏置的MI估计量来最大化实例及其表示的相互信息（MI），以执行自我监督的预训练。我们的自我监督模型对所见类别的可区分特征的监督预训练没有针对可见的阶级的偏见，从而对看不见的类别进行了更好的概括。我们解释说，受监督的预训练和自我监督的预训练实际上正在最大化不同的MI目标。进一步进行了广泛的实验，以通过各种训练环境分析其FSL性能。令人惊讶的是，结果表明，在适当条件下，自我监管的预训练可以优于监督预训练。与最先进的FSL方法相比，我们的方法在没有基本类别的任何标签的情况下，在广泛使用的FSL基准上实现了可比的性能。
translated by 谷歌翻译
尽管自我监督的表示学习（SSL）受到社区的广泛关注，但最近的研究认为，当模型大小降低时，其性能将遭受悬崖的下降。当前的方法主要依赖于对比度学习来训练网络，在这项工作中，我们提出了一种简单而有效的蒸馏对比学习（Disco），以大幅度减轻问题。具体而言，我们发现主流SSL方法获得的最终嵌入包含最富有成果的信息，并建议提炼最终的嵌入，以最大程度地将教师的知识传播到轻量级模型中，通过约束学生的最后嵌入与学生的最后嵌入，以使其与该模型保持一致。老师。此外，在实验中，我们发现存在一种被称为蒸馏瓶颈的现象，并存在以扩大嵌入尺寸以减轻此问题。我们的方法在部署过程中不会向轻型模型引入任何额外的参数。实验结果表明，我们的方法在所有轻型模型上都达到了最先进的作用。特别是，当使用RESNET-101/RESNET-50用作教师教授有效网络-B0时，Imagenet上有效网络B0的线性结果非常接近Resnet-101/Resnet-50，但是有效网络B0的参数数量仅为9.4 \％/16.3 \％Resnet-101/resnet-50。代码可从https：// github获得。 com/yuting-gao/disco-pytorch。
translated by 谷歌翻译
Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).
translated by 谷歌翻译
最近提出的对抗自我监督的学习方法通常需要大批和长期训练时期提取强大的功能，在实际应用中是不友好的。在本文中，我们提出了一种新的对抗动力对比学习方法，它利用两个存储体来跟踪不同迷你批次的不变特征。这些存储体可以有效地结合到每次迭代中，并帮助网络学习具有较小批次的更强大的特征表示，并且较少的时期。此外，在对分类任务进行微调后，所提出的方法可以满足或超过现实世界数据集上一些最先进的监督基线的性能。我们的代码可用于\ url {https:/github.com/mtandhj/amoc}。
translated by 谷歌翻译
我们提出了自适应培训 - 一种统一的培训算法，通过模型预测动态校准并增强训练过程，而不会产生额外的计算成本 - 以推进深度神经网络的监督和自我监督的学习。我们分析了培训数据的深网络培训动态，例如随机噪声和对抗例。我们的分析表明，模型预测能够在数据中放大有用的基础信息，即使在没有任何标签信息的情况下，这种现象也会发生，突出显示模型预测可能会产生培训过程：自适应培训改善了深网络的概括在噪音下，增强自我监督的代表学习。分析还阐明了解深度学习，例如，在经验风险最小化和最新的自我监督学习算法的折叠问题中对最近发现的双重现象的潜在解释。在CIFAR，STL和Imagenet数据集上的实验验证了我们在三种应用中的方法的有效性：用标签噪声，选择性分类和线性评估进行分类。为了促进未来的研究，该代码已在HTTPS://github.com/layneh/Self-Aveptive-训练中公开提供。
translated by 谷歌翻译
基于伪标签的半监督学习（SSL）在原始数据利用率上取得了巨大的成功。但是，由于自我生成的人工标签中包含的噪声，其训练程序受到确认偏差的影响。此外，该模型的判断在具有广泛分布数据的现实应用程序中变得更加嘈杂。为了解决这个问题，我们提出了一种名为“班级意识的对比度半监督学习”（CCSSL）的通用方法，该方法是提高伪标签质量并增强现实环境中模型的稳健性的插手。我们的方法不是将现实世界数据视为一个联合集合，而是分别处理可靠的分布数据，并将其融合到下游任务中，并将其与图像对比度融合到下游任务中，以更好地泛化。此外，通过应用目标重新加权，我们成功地强调了清洁标签学习，并同时减少嘈杂的标签学习。尽管它很简单，但我们提出的CCSSL比标准数据集CIFAR100和STL10上的最新SSL方法具有显着的性能改进。在现实世界数据集Semi-Inat 2021上，我们将FixMatch提高了9.80％，并提高了3.18％。代码可用https://github.com/tencentyouturesearch/classification-spoomls。
translated by 谷歌翻译
关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是，他们面临三个常见的陷阱：（1）尾巴：医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题，并导致性能恶化； （2）一致性：尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征； （3）多样性：整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身，以发现不同解剖学观点的类似但不同的样本。在本文中，我们介绍了一种新型的半监督医学图像分割框架，称其为您自己的解剖结构（MONA），并做出了三个贡献。首先，先前的工作认为，每个像素对模型培训都同样重要。我们从经验上观察到，仅此单单就不太可能定义有意义的解剖特征，这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次，我们构建了一组目标，鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后，我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性，该数据在不同的标签设置下实现了新的最新设置。
translated by 谷歌翻译
自我监督的学习是一个有希望的无监督学习框架，实现了大型浮点网络取得成功。但这种网络不易部署到边缘设备。为了加速模型部署模型，在为各种下游任务中学习这种资源有限的设备的益处，我们向使用移动目标网络的二进制网络提出了一种自我监督的学习方法。特别是，我们建议共同列车，随机初始化的分类器，附加到预用浮点特征提取器，具有二进制网络。此外，我们提出了一种特征相似性损失，动态丢失平衡和改进的多级训练，以进一步提高准确性，并呼叫我们的方法燃烧。我们使用七个数据集的五个下游任务的经验验证显示，烧伤优于二进制网络的自我监督基线，有时优于预测预测。
translated by 谷歌翻译
标签昂贵，有时是不可靠的。嘈杂的标签学习，半监督学习和对比学习是三种不同的设计，用于设计需要更少的注释成本的学习过程。最近已经证明了半监督学习和对比学习，以改善使用嘈杂标签地址数据集的学习策略。尽管如此，这些领域之间的内部连接以及将它们的强度结合在一起的可能性仅开始出现。在本文中，我们探讨了融合它们的进一步方法和优势。具体而言，我们提出了CSSL，统一的对比半监督学习算法和Codim（对比DivideMix），一种用嘈杂标签学习的新算法。 CSSL利用经典半监督学习和对比学习技术的力量，并进一步适应了Codim，其从多种类型和标签噪声水平鲁莽地学习。我们表明Codim带来了一致的改进，并在多个基准上实现了最先进的结果。
translated by 谷歌翻译
半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。
translated by 谷歌翻译
近年来，随着深度神经网络方法的普及，手术计算机视觉领域经历了相当大的突破。但是，用于培训的标准全面监督方法需要大量的带注释的数据，从而实现高昂的成本；特别是在临床领域。已经开始在一般计算机视觉社区中获得吸引力的自我监督学习（SSL）方法代表了对这些注释成本的潜在解决方案，从而使仅从未标记的数据中学习有用的表示形式。尽管如此，SSL方法在更复杂和有影响力的领域（例如医学和手术）中的有效性仍然有限且未开发。在这项工作中，我们通过在手术计算机视觉的背景下研究了四种最先进的SSL方法（Moco V2，Simclr，Dino，SWAV），以解决这一关键需求。我们对这些方法在cholec80数据集上的性能进行了广泛的分析，以在手术环境理解，相位识别和工具存在检测中为两个基本和流行的任务。我们检查了它们的参数化，然后在半监督设置中相对于训练数据数量的行为。如本工作所述和进行的那样，将这些方法的正确转移到手术中，可以使SSL的一般用途获得可观的性能 - 相位识别率高达7％，而在工具存在检测方面，则具有20％ - 半监督相位识别方法高达14％。该代码将在https://github.com/camma-public/selfsupsurg上提供。
translated by 谷歌翻译
本文解决了新型类别发现（NCD）的问题，该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性，我们只遇到了一些部分类和图像。与NCD上的其他作品不同，我们利用原型强调类别歧视的重要性，并减轻缺少新颖阶级注释的问题。具体而言，我们提出了一种新型的适应性原型学习方法，该方法由两个主要阶段组成：原型表示学习和原型自我训练。在第一阶段，我们获得了一个可靠的特征提取器，该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段，我们再次利用原型来整理离线伪标签，并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验，并证明了该方法具有最先进的性能的有效性和鲁棒性。
translated by 谷歌翻译
我们研究视觉变压器（VIT）的半监督学习（SSL），尽管VIT架构广泛采用了不同的任务，但视觉变形金刚（VIT）还是一个不足的主题。为了解决这个问题，我们提出了一条新的SSL管道，该管道由第一个联合国/自制的预训练组成，然后是监督的微调，最后是半监督的微调。在半监督的微调阶段，我们采用指数的移动平均线（EMA） - 教师框架，而不是流行的FixMatch，因为前者更稳定，并且为半手不见的视觉变压器提供了更高的准确性。此外，我们提出了一种概率的伪混合机制来插入未标记的样品及其伪标签以改善正则化，这对于训练电感偏差较弱的训练VIT很重要。我们所提出的方法被称为半vit，比半监督分类设置中的CNN对应物获得可比性或更好的性能。半vit还享受VIT的可伸缩性优势，可以很容易地扩展到具有越来越高的精度的大型模型。例如，半效率总数仅使用1％标签在Imagenet上获得令人印象深刻的80％TOP-1精度，使用100％ImageNet标签与Inception-V4相当。
translated by 谷歌翻译