自我监督学习（SSL）已取得了有希望的下游表现。但是，当面临现实世界应用程序中的各种资源预算时，将一一一个尺寸的多个网络预算到多个网络的巨大计算负担。在本文中，我们提出了基于歧视性SSL的可靠预处理网络（DSPNET），可以立即训练，然后缩小到各种大小的多个子网络，每个尺寸都可以忠实地学习良好的表示，并可以作为良好的初始化，以良好的初始化。具有各种资源预算的下游任务。具体而言，我们通过优雅地集成SSL和知识蒸馏，将微小网络的思想扩展到判别性SSL范式。我们在图像网上与网络与线性评估和半监督评估方案的一个单独预处理的网络表现出可比性或改进的性能，同时降低了较大的培训成本。预处理的模型还可以很好地推广到下游检测和分割任务。代码将公开。
translated by 谷歌翻译
尽管自我监督的表示学习（SSL）受到社区的广泛关注，但最近的研究认为，当模型大小降低时，其性能将遭受悬崖的下降。当前的方法主要依赖于对比度学习来训练网络，在这项工作中，我们提出了一种简单而有效的蒸馏对比学习（Disco），以大幅度减轻问题。具体而言，我们发现主流SSL方法获得的最终嵌入包含最富有成果的信息，并建议提炼最终的嵌入，以最大程度地将教师的知识传播到轻量级模型中，通过约束学生的最后嵌入与学生的最后嵌入，以使其与该模型保持一致。老师。此外，在实验中，我们发现存在一种被称为蒸馏瓶颈的现象，并存在以扩大嵌入尺寸以减轻此问题。我们的方法在部署过程中不会向轻型模型引入任何额外的参数。实验结果表明，我们的方法在所有轻型模型上都达到了最先进的作用。特别是，当使用RESNET-101/RESNET-50用作教师教授有效网络-B0时，Imagenet上有效网络B0的线性结果非常接近Resnet-101/Resnet-50，但是有效网络B0的参数数量仅为9.4 \％/16.3 \％Resnet-101/resnet-50。代码可从https：// github获得。 com/yuting-gao/disco-pytorch。
translated by 谷歌翻译
我们专注于更好地理解增强不变代表性学习的关键因素。我们重新访问moco v2和byol，并试图证明以下假设的真实性：不同的框架即使具有相同的借口任务也会带来不同特征的表示。我们建立了MoCo V2和BYOL之间公平比较的第一个基准，并观察：（i）复杂的模型配置使得可以更好地适应预训练数据集； （ii）从实现竞争性转移表演中获得的预训练和微调阻碍模型的优化策略不匹配。鉴于公平的基准，我们进行进一步的研究并发现网络结构的不对称性赋予对比框架在线性评估协议下正常工作，同时可能会损害长尾分类任务的转移性能。此外，负样本并不能使模型更明智地选择数据增强，也不会使不对称网络结构结构。我们相信我们的发现为将来的工作提供了有用的信息。
translated by 谷歌翻译
The pretrain-finetune paradigm in modern computer vision facilitates the success of self-supervised learning, which tends to achieve better transferability than supervised learning. However, with the availability of massive labeled data, a natural question emerges: how to train a better model with both self and full supervision signals? In this paper, we propose Omni-suPErvised Representation leArning with hierarchical supervisions (OPERA) as a solution. We provide a unified perspective of supervisions from labeled and unlabeled data and propose a unified framework of fully supervised and self-supervised learning. We extract a set of hierarchical proxy representations for each image and impose self and full supervisions on the corresponding proxy representations. Extensive experiments on both convolutional neural networks and vision transformers demonstrate the superiority of OPERA in image classification, segmentation, and object detection. Code is available at: https://github.com/wangck20/OPERA.
translated by 谷歌翻译
近年来，基于对比的自我监督学习方法取得了巨大的成功。但是，自学要求非常长的训练时期（例如，MoCO V3的800个时代）才能获得有希望的结果，这对于一般学术界来说是不可接受的，并阻碍了该主题的发展。这项工作重新审视了基于动量的对比学习框架，并确定了两种增强观点仅产生一个积极对的效率低下。我们提出了快速MOCO-一个新颖的框架，该框架利用组合贴片从两个增强视图中构造了多对正面，该视图提供了丰富的监督信号，这些信号带来了可忽视的额外计算成本，从而带来了显着的加速。经过100个时期训练的快速MOCO实现了73.5％的线性评估精度，类似于经过800个时期训练的MOCO V3（Resnet-50骨干）。额外的训练（200个时期）进一步将结果提高到75.1％，这与最先进的方法相当。几个下游任务的实验也证实了快速MOCO的有效性。
translated by 谷歌翻译
We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.
translated by 谷歌翻译
We introduce Bootstrap Your Own Latent (BYOL), a new approach to selfsupervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected. 3
translated by 谷歌翻译
随着自我监督学习（SSL）的成功，它已成为一种主流范式，可以从自我监督预定的预计模型中进行微调以提高下游任务的性能。但是，我们发现当前的SSL模型在执行低位量化时遭受严重的准确性下降，禁止其在资源受限应用程序中的部署。在本文中，我们提出了一种称为协同自我监督和量化学习（SSQL）的方法，以预处理量化量化的自我监督模型，从而有助于下游部署。 SSQL以自我监督的方式对比量化和完整的精度模型的特征，在每个步骤中随机选择了量化模型的位宽度。 SSQL不仅在量化较低的位宽度时显着提高了准确性，而且在大多数情况下都提高了完整精度模型的准确性。通过仅培训一次，SSQL可以同时在不同的位宽度上受益于各种下游任务。此外，在没有额外的存储开销的情况下，可以实现位宽度的灵活性，在训练和推理过程中只需要一份重量。我们理论上分析了SSQL的优化过程，并在各种基准测试中进行详尽的实验，以进一步证明我们方法的有效性。我们的代码可从https://github.com/megvii-research/ssql-eccv2022获得。
translated by 谷歌翻译
对比的自我监督学习在很大程度上缩小了对想象成的预先训练的差距。然而，它的成功高度依赖于想象成的以对象形象，即相同图像的不同增强视图对应于相同的对象。当预先训练在具有许多物体的更复杂的场景图像上，如此重种策划约束会立即不可行。为了克服这一限制，我们介绍了对象级表示学习（ORL），这是一个新的自我监督的学习框架迈向场景图像。我们的主要洞察力是利用图像级自我监督的预培训作为发现对象级语义对应之前的，从而实现了从场景图像中学习的对象级表示。对Coco的广泛实验表明，ORL显着提高了自我监督学习在场景图像上的性能，甚至超过了在几个下游任务上的监督Imagenet预训练。此外，当可用更加解标的场景图像时，ORL提高了下游性能，证明其在野外利用未标记数据的巨大潜力。我们希望我们的方法可以激励未来的研究从场景数据的更多通用无人监督的代表。
translated by 谷歌翻译
translated by 谷歌翻译
我们提出了一种适用于半全球任务的自学学习（SSL）方法，例如对象检测和语义分割。我们通过在训练过程中最大程度地减少像素级局部对比度（LC）损失，代表了同一图像转换版本的相应图像位置之间的局部一致性。可以将LC-LOSS添加到以最小开销的现有自我监督学习方法中。我们使用可可，Pascal VOC和CityScapes数据集评估了两个下游任务的SSL方法 - 对象检测和语义细分。我们的方法的表现优于现有的最新SSL方法可可对象检测的方法1.9％，Pascal VOC检测1.4％，而CityScapes Sementation则为0.6％。
translated by 谷歌翻译
最近在自我监督学习中的最先进的框架最近表明，与传统的CNN型号相比，基于变压器的模型可以导致性能提升。繁荣以最大化图像的两个视图的相互信息，现有的作品对最终陈述具有对比损失。在我们的工作中，我们通过通过对比损失允许中间表示从最终层学习来进一步利用这一点，这可以最大化原始目标的上限和两层之间的相互信息。我们的方法，自蒸馏自我监督学习（SDSSL），胜过竞争基础（SIMCLR，BYOL和MOCO V3）使用各种任务和数据集。在线性评估和K-NN协议中，SDSSL不仅导致最终层的性能优异，而且在大多数下层中也是如此。此外，正负对准用于解释如何更有效地形成表示。代码将可用。
translated by 谷歌翻译
指数移动平均值（EMA或动量）被广泛用于现代自学学习（SSL）方法，例如MOCO，以提高性能。我们证明，这种动量也可以插入无动量的SSL框架（例如SIMCLR），以提高性能。尽管它广泛用作现代SSL框架中的基本组成部分，但动量造成的好处尚未得到充分理解。我们发现它的成功至少可以部分归因于稳定性效应。在第一次尝试中，我们分析了EMA如何影响编码器的每个部分，并揭示了编码器输入附近的部分起着微不足道的作用，而后者则具有更大的影响。通过监测编码器中每个块的输出的总体损失的梯度，我们观察到，最终层在反向传播过程中倾向于比其他层的波动大得多，即稳定性较小。有趣的是，我们表明，使用EMA到SSL编码器的最后一部分，即投影仪，而不是整个深层网络编码器可以提供可比或可比性的性能。我们提出的仅投影仪的动量有助于维持EMA的好处，但避免了双向计算。
translated by 谷歌翻译
通过自学学习的视觉表示是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下筛选出相关模式。这是通过大量数据增强，大规模数据集和过量量的计算来实现的。视频自我监督学习（SSL）面临着额外的挑战：视频数据集通常不如图像数据集那么大，计算是一个数量级，并且优化器所必须通过的伪造模式数量乘以几倍。因此，直接从视频数据中学习自我监督的表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个以自我或语言监督为基础的强大模型，并在不依赖视频标记的数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\ textit {subsume}基于图像模型的语义内容，该模型在通用域上训练。所提出的算法被证明可以更有效地学习（即在较小的时期和较小的批次中），并在单模式SSL方法中对标准下游任务进行了新的最新性能。
translated by 谷歌翻译
特征回归是将大型神经网络模型蒸馏到较小的功能回归。我们表明，随着网络架构的简单变化，回归可能会优于自我监督模型的知识蒸馏更复杂的最先进方法。令人惊讶的是，即使仅在蒸馏过程中仅使用并且在下游任务中丢弃时，将多层的Perceptron头部添加到CNN骨架上是有益的。因此，更深的非线性投影可以使用在不改变推理架构和时间的情况下准确地模仿老师。此外，我们利用独立的投影头来同时蒸馏多个教师网络。我们还发现，使用与教师和学生网络的输入相同的弱增强图像辅助蒸馏。Imagenet DataSet上的实验证明了各种自我监督蒸馏环境中提出的变化的功效。
translated by 谷歌翻译
蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。
translated by 谷歌翻译
自我监督的方法（SSL）通过最大化两个增强视图之间的相互信息，裁剪是一种巨大的成功，其中裁剪是一种流行的增强技术。裁剪区域广泛用于构造正对，而裁剪后的左侧区域很少被探讨在现有方法中，尽管它们在一起构成相同的图像实例并且两者都有助于对类别的描述。在本文中，我们首次尝试从完整的角度来展示两种地区的重要性，并提出称为区域对比学习（RegionCl）的简单但有效的借口任务。具体地，给定两个不同的图像，我们随机从具有相同大小的每个图像随机裁剪区域（称为粘贴视图）并将它们交换以分别与左区域（称为CANVAS视图）一起组成两个新图像。然后，可以根据以下简单标准提供对比度对，即，每个视图是（1）阳性，其视图从相同的原始图像增强，并且与从其他图像增强的视图增强的视图。对于对流行的SSL方法进行微小的修改，RegionCL利用这些丰富的对并帮助模型区分来自画布和粘贴视图的区域特征，因此学习更好的视觉表示。 Imagenet，Coco和Citycapes上的实验表明，RegionCL通过大型边缘改善Moco V2，Densecl和Simsiam，并在分类，检测和分割任务上实现最先进的性能。代码将在https://github.com/annbless/regioncl.git上获得。
translated by 谷歌翻译
虽然自我监督的表示学习（SSL）在大型模型中证明是有效的，但在遵循相同的解决方案时，轻量级模型中的SSL和监督方法之间仍然存在巨大差距。我们深入研究这个问题，发现轻量级模型在简单地执行实例对比时易于在语义空间中崩溃。为了解决这个问题，我们提出了一种与关系知识蒸馏（REKD）的关系方面的对比范例。我们介绍一个异构教师，明确地挖掘语义信息并将新颖的关系知识转移到学生（轻量级模型）。理论分析支持我们对案例对比度的主要担忧，验证了我们关系的对比学习的有效性。广泛的实验结果还表明，我们的方法达到了多种轻量级模型的显着改进。特别是，亚历谢的线性评估显然将目前的最先进从44.7％提高到50.1％，这是第一个接近监督50.5％的工作。代码将可用。
translated by 谷歌翻译
许多最近的自我监督学习方法在图像分类和其他任务上表现出了令人印象深刻的表现。已经使用了一种令人困惑的多种技术，并不总是清楚地了解其收益的原因，尤其是在组合使用时。在这里，我们将图像的嵌入视为点粒子，并将模型优化视为该粒子系统上的动态过程。我们的动态模型结合了类似图像的吸引力，避免局部崩溃的局部分散力以及实现颗粒的全球均匀分布的全局分散力。动态透视图突出了使用延迟参数图像嵌入（a la byol）以及同一图像的多个视图的优点。它还使用纯动态的局部分散力（布朗运动），该分散力比其他方法显示出改善的性能，并且不需要其他粒子坐标的知识。该方法称为MSBREG，代表（i）多视质心损失，它施加了吸引力的力来将不同的图像视图嵌入到其质心上，（ii）奇异值损失，将粒子系统推向空间均匀的密度（ iii）布朗扩散损失。我们评估MSBREG在ImageNet上的下游分类性能以及转移学习任务，包括细粒度分类，多类对象分类，对象检测和实例分段。此外，我们还表明，将我们的正则化术语应用于其他方法，进一步改善了其性能并通过防止模式崩溃来稳定训练。
translated by 谷歌翻译
在计算病理学工作流程中检测和分裂ObjectSwithinWholesLideImagesis。自我监督学习（SSL）吸引了这种重度注释的任务。尽管自然图像的密集任务具有广泛的基准，但不幸的是，在当前的病理学作品中，此类研究仍然没有。我们的论文打算缩小这一差距。我们首先基于病理图像中密集预测任务的代表性SSL方法。然后，我们提出了概念对比学习（结论），这是密集预训练的SSL框架。我们探讨了结论如何使用不同来源提供的概念，并最终提出了一种简单的无依赖性概念生成方法，该方法不依赖于外部分割算法或显着检测模型。广泛的实验表明，在不同环境中，结论比以前的最新SSL方法具有优势。沿着我们的探索，我们弥补了几个重要而有趣的组成部分，这有助于致力于病理图像的密集预训练。我们希望这项工作可以提供有用的数据点，并鼓励社区为感兴趣的问题进行结论预培训。代码可用。
translated by 谷歌翻译