我们提出了自我分类器 - 一种新型自我监督的端到端分类学习方法。自我分级器通过优化同一样本的两个增强视图的同级课程预测，以单级端到端的方式同时使用标签和表示。为了保证非退化解决方案（即，所有标签分配给同一类别的解决方案）我们提出了一种数学上促进的跨熵损失变体，其在预测标签上具有均匀的先前被断言。在我们的理论分析中，我们证明了堕落的解决方案不是我们方法的最佳解决方案。自我分级器可以实现和可扩展。与其他流行的无监督分类和对比表示学习方法不同，它不需要任何形式的预训练，期望最大化，伪标签，外部聚类，第二网络，停止梯度操作或负对对。尽管其简单性，但我们的方法为想象成的无人监督分类设定了新的艺术状态;甚至实现了无监督的代表学习的最先进结果的效果。代码：https：//github.com/elad-amrani/self-classifier

我们通过以端到端的方式对大规模未标记的数据集进行分类，呈现扭曲，简单和理论上可解释的自我监督的表示学习方法。我们使用Softmax操作终止的暹罗网络，以产生两个增强图像的双类分布。没有监督，我们强制执行不同增强的班级分布。但是，只需最小化增强之间的分歧将导致折叠解决方案，即，输出所有图像的相同类概率分布。在这种情况下，留下有关输入图像的信息。为了解决这个问题，我们建议最大化输入和课程预测之间的互信息。具体地，我们最小化每个样品的分布的熵，使每个样品的课程预测是对每个样品自信的预测，并最大化平均分布的熵，以使不同样品的预测变得不同。以这种方式，扭曲可以自然地避免没有特定设计的折叠解决方案，例如非对称网络，停止梯度操作或动量编码器。因此，扭曲优于各种任务的最先进的方法。特别是，在半监督学习中，扭曲令人惊讶地表现出令人惊讶的是，使用Reset-50作为骨干的1％ImageNet标签实现61.2％的顶级精度，以前的最佳结果为6.2％。代码和预先训练的模型是给出的：https://github.com/byteDance/twist

Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or "views") of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a "swapped" prediction mechanism where we predict the code of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks.

对比性自我监督表示方法学习方法最大程度地提高了正对之间的相似性，同时倾向于最大程度地减少负对之间的相似性。但是，总的来说，负面对之间的相互作用被忽略了，因为它们没有根据其特定差异和相似性而采用的特殊机制来对待负面对。在本文中，我们提出了扩展的动量对比（Xmoco），这是一种基于MOCO家族配置中提出的动量编码单元的遗产，一种自我监督的表示方法。为此，我们引入了交叉一致性正则化损失，并通过该损失将转换一致性扩展到不同图像（负对）。在交叉一致性正则化规则下，我们认为与任何一对图像（正或负）相关的语义表示应在借口转换下保留其交叉相似性。此外，我们通过在批处理上的负面对上实施相似性的均匀分布来进一步规范训练损失。可以轻松地将所提出的正规化添加到现有的自我监督学习算法中。从经验上讲，我们报告了标准Imagenet-1K线性头部分类基准的竞争性能。此外，通过将学习的表示形式转移到常见的下游任务中，我们表明，将Xmoco与普遍使用的增强功能一起使用可以改善此类任务的性能。我们希望本文的发现是研究人员考虑自我监督学习中负面例子的重要相互作用的动机。

我们介绍了代表学习（CARL）的一致分配，通过组合来自自我监督对比学习和深层聚类的思路来学习视觉表现的无监督学习方法。通过从聚类角度来看对比学习，Carl通过学习一组一般原型来学习无监督的表示，该原型用作能量锚来强制执行给定图像的不同视图被分配给相同的原型。与与深层聚类的对比学习的当代工作不同，Carl建议以在线方式学习一组一般原型，使用梯度下降，而无需使用非可微分算法或k手段来解决群集分配问题。卡尔在许多代表性学习基准中超越了竞争对手，包括线性评估，半监督学习和转移学习。

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that bridges contrastive learning with clustering. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it encodes semantic structures discovered by clustering into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

我们专注于更好地理解增强不变代表性学习的关键因素。我们重新访问moco v2和byol，并试图证明以下假设的真实性：不同的框架即使具有相同的借口任务也会带来不同特征的表示。我们建立了MoCo V2和BYOL之间公平比较的第一个基准，并观察：（i）复杂的模型配置使得可以更好地适应预训练数据集； （ii）从实现竞争性转移表演中获得的预训练和微调阻碍模型的优化策略不匹配。鉴于公平的基准，我们进行进一步的研究并发现网络结构的不对称性赋予对比框架在线性评估协议下正常工作，同时可能会损害长尾分类任务的转移性能。此外，负样本并不能使模型更明智地选择数据增强，也不会使不对称网络结构结构。我们相信我们的发现为将来的工作提供了有用的信息。

Siamese networks have become a common structure in various recent models for unsupervised visual representation learning. These models maximize the similarity between two augmentations of one image, subject to certain conditions for avoiding collapsing solutions. In this paper, we report surprising empirical results that simple Siamese networks can learn meaningful representations even using none of the following: (i) negative sample pairs, (ii) large batches, (iii) momentum encoders. Our experiments show that collapsing solutions do exist for the loss and structure, but a stop-gradient operation plays an essential role in preventing collapsing. We provide a hypothesis on the implication of stop-gradient, and further show proof-of-concept experiments verifying it. Our "SimSiam" method achieves competitive results on ImageNet and downstream tasks. We hope this simple baseline will motivate people to rethink the roles of Siamese architectures for unsupervised representation learning. Code will be made available.

Can we automatically group images into semantically meaningful clusters when ground-truth annotations are absent? The task of unsupervised image classification remains an important, and open challenge in computer vision. Several recent approaches have tried to tackle this problem in an end-to-end fashion. In this paper, we deviate from recent works, and advocate a two-step approach where feature learning and clustering are decoupled. First, a self-supervised task from representation learning is employed to obtain semantically meaningful features. Second, we use the obtained features as a prior in a learnable clustering approach. In doing so, we remove the ability for cluster learning to depend on low-level features, which is present in current end-to-end learning approaches. Experimental evaluation shows that we outperform state-of-the-art methods by large margins, in particular +26.6% on CI-FAR10, +25.0% on CIFAR100-20 and +21.3% on STL10 in terms of classification accuracy. Furthermore, our method is the first to perform well on a large-scale dataset for image classification. In particular, we obtain promising results on ImageNet, and outperform several semi-supervised learning methods in the low-data regime without the use of any groundtruth annotations. The code is made publicly available here.

现有的深度聚类方法依赖于对比学习的对比学习，这需要否定例子来形成嵌入空间，其中所有情况都处于良好分离状态。但是，否定的例子不可避免地引起阶级碰撞问题，损害了群集的表示学习。在本文中，我们探讨了对深度聚类的非对比表示学习，被称为NCC，其基于Byol，一种没有负例的代表性方法。首先，我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐，称为正抽样策略，该域避免了由否定示例引起的类碰撞问题，从而提高了集群内的紧凑性。其次，我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准，命名的原型是原型的对比损失或protocl，这可以最大化簇间距离。此外，我们在期望 - 最大化（EM）框架中制定了NCC，其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布，并且M-Step利用了所提出的损失优化在线网络。结果，NCC形成了一个嵌入空间，其中所有集群都处于分离良好，而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法，通过显着的余量。

The ImageNet Large Scale Visual Recognition Challenge is a benchmark in object category classification and detection on hundreds of object categories and millions of images. The challenge has been run annually from 2010 to present, attracting participation from more than fifty institutions. This paper describes the creation of this benchmark dataset and the advances in object recognition that have been possible as a result. We discuss the chal-

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

许多最近的自我监督学习方法在图像分类和其他任务上表现出了令人印象深刻的表现。已经使用了一种令人困惑的多种技术，并不总是清楚地了解其收益的原因，尤其是在组合使用时。在这里，我们将图像的嵌入视为点粒子，并将模型优化视为该粒子系统上的动态过程。我们的动态模型结合了类似图像的吸引力，避免局部崩溃的局部分散力以及实现颗粒的全球均匀分布的全局分散力。动态透视图突出了使用延迟参数图像嵌入（a la byol）以及同一图像的多个视图的优点。它还使用纯动态的局部分散力（布朗运动），该分散力比其他方法显示出改善的性能，并且不需要其他粒子坐标的知识。该方法称为MSBREG，代表（i）多视质心损失，它施加了吸引力的力来将不同的图像视图嵌入到其质心上，（ii）奇异值损失，将粒子系统推向空间均匀的密度（ iii）布朗扩散损失。我们评估MSBREG在ImageNet上的下游分类性能以及转移学习任务，包括细粒度分类，多类对象分类，对象检测和实例分段。此外，我们还表明，将我们的正则化术语应用于其他方法，进一步改善了其性能并通过防止模式崩溃来稳定训练。

This paper proposes Mutual Information Regularized Assignment (MIRA), a pseudo-labeling algorithm for unsupervised representation learning inspired by information maximization. We formulate online pseudo-labeling as an optimization problem to find pseudo-labels that maximize the mutual information between the label and data while being close to a given model probability. We derive a fixed-point iteration method and prove its convergence to the optimal solution. In contrast to baselines, MIRA combined with pseudo-label prediction enables a simple yet effective clustering-based representation learning without incorporating extra training techniques or artificial constraints such as sampling strategy, equipartition constraints, etc. With relatively small training epochs, representation learned by MIRA achieves state-of-the-art performance on various downstream tasks, including the linear/k-NN evaluation and transfer learning. Especially, with only 400 epochs, our method applied to ImageNet dataset with ResNet-50 architecture achieves 75.6% linear evaluation accuracy.

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.

语言变形金刚的成功主要归因于屏蔽语言建模（MLM）的借口任务，其中文本首先被致以语义有意义的作品。在这项工作中，我们研究了蒙面图像建模（MIM），并指出使用语义有意义的视觉销售器的优缺点。我们提出了一个自我监督的框架IBOT，可以使用在线标记器执行蒙版预测。具体而言，我们在蒙面的补丁令牌上进行自我蒸馏，并将教师网络作为在线标记器，以及在课堂上的自蒸馏来获取视觉语义。在线销售器与MIM目标和分配的多级培训管道共同学习，销售器需要预先预先培训。通过在Imagenet-1K上达到81.6％的线性探测精度和86.3％的微调精度来展示IBOT的突出。除了最先进的图像分类结果之外，我们强调了新兴的局部语义模式，这有助于模型对共同损坏获得强大的鲁棒性，并在密集的下游任务中实现领先的结果，例如，对象检测，实例分割和语义细分。

尽管增加了大量的增强家庭，但只有几个樱桃采摘的稳健增强政策有利于自我监督的图像代表学习。在本文中，我们提出了一个定向自我监督的学习范式（DSSL），其与显着的增强符号兼容。具体而言，我们在用标准增强的视图轻度增强后调整重增强策略，以产生更难的视图（HV）。 HV通常具有与原始图像较高的偏差而不是轻度增强的标准视图（SV）。与以前的方法不同，同等对称地将所有增强视图对称地最大化它们的相似性，DSSL将相同实例的增强视图视为部分有序集（具有SV $ \ LeftrightArrow $ SV，SV $ \左路$ HV），然后装备一个定向目标函数尊重视图之间的衍生关系。 DSSL可以轻松地用几行代码实现，并且对于流行的自我监督学习框架非常灵活，包括SIMCLR，Simsiam，Byol。对CiFar和Imagenet的广泛实验结果表明，DSSL可以稳定地改善各种基线，其兼容性与更广泛的增强。

图像聚类是一种非常有用的技术，可广泛应用于各个区域，包括遥感。最近，通过自我监督学习的视觉表示大大改善了图像聚类的性能。为了进一步改善训练良好的聚类模型，本文提出了一种新的方法，该方法是根据对当前群集的属性在每个集群中首先对样本进行排名的方法模型。为了对样品进行排名，我们开发了一种根据当前群集的样本的可能性，根据它们是否位于人口稠密的社区中，而在训练模型的同时，我们提供了加权排名样本的策略。我们提出了广泛的实验结果，这些结果表明新技术可用于改善最新的图像聚类模型，从而实现准确性的性能增长范围从$ 2.1 \％\％$到$ 15.9 \％$ $。在遥感中的各种数据集上执行我们的方法，我们表明我们的方法可以有效地应用于遥感图像。

我们对自我监督，监督或半监督设置的代表学习感兴趣。在应用自我监督学习的平均移位思想的事先工作，通过拉动查询图像来概括拜尔的想法，不仅更接近其其他增强，而且还可以到其他增强的最近邻居（NNS）。我们认为，学习可以从选择远处与查询相关的邻居选择遥远的邻居。因此，我们建议通过约束最近邻居的搜索空间来概括MSF算法。我们显示我们的方法在SSL设置中优于MSF，当约束使用不同的图像时，并且当约束确保NNS具有与查询相同的伪标签时，在半监控设置中优于培训资源的半监控设置中的爪子。