虽然通过学习特定于样本的鉴别视觉特征，但对比学习最近对未标记图像的深度聚类引起了显着的益处，但其对明确推断的类决策界限的可能性不太了解。这是因为它的实例鉴别策略不是类敏感性，因此，没有优化导出的特定于特定于特定的特征空间的簇，以便对应于有意义的类决策边界进行了优化。在这项工作中，我们通过引入语义对比学习（SCL）来解决这个问题。通过制定语义（群集感知）对比学习目标，SCL对未标记的训练数据进行了明确的基于距离的群集结构。此外，我们引入了通过实例视觉相似性和群集决策边界共同满足的聚类一致性条件，并同时通过他们的共识，同时优化了关于语义地面类别（未知/未标记）的假设。这种语义对比学习方法来发现未知类决策界限对无监督对象识别任务的学习具有相当大的优势。广泛的实验表明，SCL在六个对象识别基准上表现出最先进的对比学习和深度聚类方法，特别是在更具有挑战性的更精细的粒度和更大的数据集。

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

本文解决了新型类别发现（NCD）的问题，该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性，我们只遇到了一些部分类和图像。与NCD上的其他作品不同，我们利用原型强调类别歧视的重要性，并减轻缺少新颖阶级注释的问题。具体而言，我们提出了一种新型的适应性原型学习方法，该方法由两个主要阶段组成：原型表示学习和原型自我训练。在第一阶段，我们获得了一个可靠的特征提取器，该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段，我们再次利用原型来整理离线伪标签，并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验，并证明了该方法具有最先进的性能的有效性和鲁棒性。

现有的深度聚类方法依赖于对比学习的对比学习，这需要否定例子来形成嵌入空间，其中所有情况都处于良好分离状态。但是，否定的例子不可避免地引起阶级碰撞问题，损害了群集的表示学习。在本文中，我们探讨了对深度聚类的非对比表示学习，被称为NCC，其基于Byol，一种没有负例的代表性方法。首先，我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐，称为正抽样策略，该域避免了由否定示例引起的类碰撞问题，从而提高了集群内的紧凑性。其次，我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准，命名的原型是原型的对比损失或protocl，这可以最大化簇间距离。此外，我们在期望 - 最大化（EM）框架中制定了NCC，其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布，并且M-Step利用了所提出的损失优化在线网络。结果，NCC形成了一个嵌入空间，其中所有集群都处于分离良好，而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法，通过显着的余量。

Can we automatically group images into semantically meaningful clusters when ground-truth annotations are absent? The task of unsupervised image classification remains an important, and open challenge in computer vision. Several recent approaches have tried to tackle this problem in an end-to-end fashion. In this paper, we deviate from recent works, and advocate a two-step approach where feature learning and clustering are decoupled. First, a self-supervised task from representation learning is employed to obtain semantically meaningful features. Second, we use the obtained features as a prior in a learnable clustering approach. In doing so, we remove the ability for cluster learning to depend on low-level features, which is present in current end-to-end learning approaches. Experimental evaluation shows that we outperform state-of-the-art methods by large margins, in particular +26.6% on CI-FAR10, +25.0% on CIFAR100-20 and +21.3% on STL10 in terms of classification accuracy. Furthermore, our method is the first to perform well on a large-scale dataset for image classification. In particular, we obtain promising results on ImageNet, and outperform several semi-supervised learning methods in the low-data regime without the use of any groundtruth annotations. The code is made publicly available here.

在这项工作中，我们考虑了开放式设置中跨域3D动作识别的问题，这是以前很少探索的。具体而言，有一个源域和一个目标域，其中包含具有不同样式和类别的骨架序列，我们的目的是通过使用标记的源数据和未标记的目标数据来聚集目标数据。对于这项具有挑战性的任务，本文提出了一种新颖的方法，称为CODT，以协作聚类域共享的功能和特定于目标的功能。 CODT由两个平行分支组成。一个分支机构旨在通过源域中的有监督学习来学习域共享的特征，而另一个分支是使用目标域中的对比学习来学习针对特定目标的特征。为了聚集功能，我们提出了一种在线聚类算法，该算法可以同时促进可靠的伪标签生成和特征群集。此外，为了利用域共享特征和特定目标特征的互补性，我们提出了一种新颖的协作聚类策略，以在两个分支之间实现配对关系一致性。我们对多个跨域3D动作识别数据集进行了广泛的实验，结果证明了我们方法的有效性。

最近先进的无监督学习方法使用暹罗样框架来比较来自同一图像的两个“视图”以进行学习表示。使两个视图独特是一种保证无监督方法可以学习有意义的信息的核心。但是，如果使用用于生成两个视图的增强不足够强度，此类框架有时会易碎过度装备，导致培训数据上的过度自信的问题。此缺点会阻碍模型，从学习微妙方差和细粒度信息。为了解决这个问题，在这项工作中，我们的目标是涉及在无监督的学习中的标签空间上的距离概念，并让模型通过混合输入数据空间来了解正面或负对对之间的柔和程度，以便协同工作输入和损耗空间。尽管其概念性简单，我们凭借解决的解决方案 - 无监督图像混合（UN-MIX），我们可以从转换的输入和相应的新标签空间中学习Subtler，更强大和广义表示。广泛的实验在CiFar-10，CiFar-100，STL-10，微小的想象和标准想象中进行了流行的无人监督方法SIMCLR，BYOL，MOCO V1和V2，SWAV等。我们所提出的图像混合物和标签分配策略可以获得一致的改进在完全相同的超参数和基础方法的培训程序之后1〜3％。代码在https://github.com/szq0214/un-mix上公开提供。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

我们介绍了代表学习（CARL）的一致分配，通过组合来自自我监督对比学习和深层聚类的思路来学习视觉表现的无监督学习方法。通过从聚类角度来看对比学习，Carl通过学习一组一般原型来学习无监督的表示，该原型用作能量锚来强制执行给定图像的不同视图被分配给相同的原型。与与深层聚类的对比学习的当代工作不同，Carl建议以在线方式学习一组一般原型，使用梯度下降，而无需使用非可微分算法或k手段来解决群集分配问题。卡尔在许多代表性学习基准中超越了竞争对手，包括线性评估，半监督学习和转移学习。

聚类是一项基本的机器学习任务，在文献中已广泛研究。经典聚类方法遵循以下假设：数据通过各种表示的学习技术表示为矢量化形式的特征。随着数据变得越来越复杂和复杂，浅（传统）聚类方法无法再处理高维数据类型。随着深度学习的巨大成功，尤其是深度无监督的学习，在过去的十年中，已经提出了许多具有深层建筑的代表性学习技术。最近，已经提出了深层聚类的概念，即共同优化表示的学习和聚类，因此引起了社区的日益关注。深度学习在聚类中的巨大成功，最基本的机器学习任务之一以及该方向的最新进展的巨大成功所激发。 - 艺术方法。我们总结了深度聚类的基本组成部分，并通过设计深度表示学习和聚类之间的交互方式对现有方法进行了分类。此外，该调查还提供了流行的基准数据集，评估指标和开源实现，以清楚地说明各种实验设置。最后但并非最不重要的一点是，我们讨论了深度聚类的实际应用，并提出了应有的挑战性主题，应将进一步的研究作为未来的方向。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

Although existing semi-supervised learning models achieve remarkable success in learning with unannotated in-distribution data, they mostly fail to learn on unlabeled data sampled from novel semantic classes due to their closed-set assumption. In this work, we target a pragmatic but under-explored Generalized Novel Category Discovery (GNCD) setting. The GNCD setting aims to categorize unlabeled training data coming from known and novel classes by leveraging the information of partially labeled known classes. We propose a two-stage Contrastive Affinity Learning method with auxiliary visual Prompts, dubbed PromptCAL, to address this challenging problem. Our approach discovers reliable pairwise sample affinities to learn better semantic clustering of both known and novel classes for the class token and visual prompts. First, we propose a discriminative prompt regularization loss to reinforce semantic discriminativeness of prompt-adapted pre-trained vision transformer for refined affinity relationships. Besides, we propose a contrastive affinity learning stage to calibrate semantic representations based on our iterative semi-supervised affinity graph generation method for semantically-enhanced prompt supervision. Extensive experimental evaluation demonstrates that our PromptCAL method is more effective in discovering novel classes even with limited annotations and surpasses the current state-of-the-art on generic and fine-grained benchmarks (with nearly $11\%$ gain on CUB-200, and $9\%$ on ImageNet-100) on overall accuracy.

视觉识别任务通常限于处理小型类的小型，因为剩余类别不可用。我们有兴趣通过基于标记和未标记的示例的表示学习来识别数据集中的新颖概念，并将识别的视野扩展到已知和新型类别。为了解决这一具有挑战性的任务，我们提出了一种组合学习方法，其自然地使用由异构标签空间上的多个监督元分类器给出的组成知识来委托未经组合的类别。组合嵌入给出的表示通过一致性正则化进行了更强大的。我们还介绍了公制学习策略，以估算成对伪标签，以改善未标记的例子的表示，其有效地保护了朝着所知和新型课程的语义关系。该算法通过联合优化提高了看不见的课程的歧视以及学习知名课程的表示，通过联合优化来发现新颖的概念，以便更广泛地提高到新颖的课程。我们广泛的实验通过多种图像检索和新型类发现基准中的提出方法表现出显着的性能。

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that bridges contrastive learning with clustering. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it encodes semantic structures discovered by clustering into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

Graph Contrastive Learning (GCL) has recently drawn much research interest for learning generalizable node representations in a self-supervised manner. In general, the contrastive learning process in GCL is performed on top of the representations learned by a graph neural network (GNN) backbone, which transforms and propagates the node contextual information based on its local neighborhoods. However, nodes sharing similar characteristics may not always be geographically close, which poses a great challenge for unsupervised GCL efforts due to their inherent limitations in capturing such global graph knowledge. In this work, we address their inherent limitations by proposing a simple yet effective framework -- Simple Neural Networks with Structural and Semantic Contrastive Learning} (S^3-CL). Notably, by virtue of the proposed structural and semantic contrastive learning algorithms, even a simple neural network can learn expressive node representations that preserve valuable global structural and semantic patterns. Our experiments demonstrate that the node representations learned by S^3-CL achieve superior performance on different downstream tasks compared with the state-of-the-art unsupervised GCL methods. Implementation and more experimental details are publicly available at \url{https://github.com/kaize0409/S-3-CL.}

由于其通过深层神经网络的共同表示学习和聚类的能力，近年来，深层聚类引起了人们的关注。在其最新发展中，对比度学习已成为一种有效的技术，可实质性地提高深度聚类的性能。但是，现有的基于学习的基于对比的深层聚类算法主要集中于一些精心设计的增强（通常具有有限的转换以保留结构），被称为薄弱的增强，但不能超越弱化的增强，以探索更多的机会（随着更具侵略性的转变甚至严重的扭曲）。在本文中，我们提出了一种被称为强烈增强的对比聚类（SACC）的端到端深群集方法，该方法将传统的两夸大视图范式扩展到多种视图，并共同利用强大而弱的增强，以增强深层聚类。特别是，我们利用具有三重共享权重的骨干网络，在该网络中，强烈的增强视图和两个弱化的视图均融合在一起。基于主链产生的表示，弱进行弱化的视图对和强力视图对同时被利用用于实例级的对比度学习（通过实例投影仪）和群集级的对比度学习（通过群集投影仪），与主链一起可以以纯监督的方式共同优化。五个具有挑战性的图像数据集的实验结果表明，我们的SACC方法优于最先进的方法。该代码可在https://github.com/dengxiaozhi/sacc上找到。

深度聚类最近引起了极大的关注。尽管取得了显着的进展，但以前的大多数深度聚类作品仍有两个局限性。首先，其中许多集中在某些基于分布的聚类损失上，缺乏通过对比度学习来利用样本（或增强）关系的能力。其次，他们经常忽略了间接样本结构信息，从而忽略了多尺度邻里结构学习的丰富可能性。鉴于这一点，本文提出了一种新的深聚类方法，称为图像聚类，其中包括对比度学习和多尺度图卷积网络（IcicleGCN），该网络（ICICELGCN）也弥合了卷积神经网络（CNN）和图形卷积网络（GCN）之间的差距。作为对比度学习与图像聚类任务的多尺度邻域结构学习之间的差距。所提出的IcicleGCN框架由四个主要模块组成，即基于CNN的主链，实例相似性模块（ISM），关节群集结构学习和实例重建模块（JC-SLIM）和多尺度GCN模块（M -GCN）。具体而言，在每个图像上执行了两个随机增强，使用两个重量共享视图的骨干网络用于学习增强样品的表示形式，然后将其馈送到ISM和JC-SLIM以进行实例级别和集群级别的对比度分别学习。此外，为了实施多尺度的邻域结构学习，通过（i）通过（i）层次融合的层相互作用和（ii）共同自适应学习确保他们的最后一层，同时对两个GCN和自动编码器进行了同时培训。层输出分布保持一致。多个图像数据集上的实验证明了IcicleGCN优于最先进的群集性能。

无监督的人重新识别（RE-ID）由于其可扩展性和对现实世界应用的可能性而吸引了增加的研究兴趣。最先进的无监督的重新ID方法通常遵循基于聚类的策略，该策略通过聚类来生成伪标签，并维护存储器以存储实例功能并代表群集的质心进行对比​​学习。这种方法遇到了两个问题。首先，无监督学习产生的质心可能不是一个完美的原型。强迫图像更接近质心，强调了聚类的结果，这可能会在迭代过程中积累聚类错误。其次，以前的方法利用在不同的训练迭代中获得的功能代表一种质心，这与当前的训练样本不一致，因为这些特征不是直接可比的。为此，我们通过随机学习策略提出了一种无监督的重新ID方法。具体来说，我们采用了随机更新的内存，其中使用集群的随机实例来更新群集级内存以进行对比度学习。这样，学会了随机选择的图像对之间的关​​系，以避免由不可靠的伪标签引起的训练偏见。随机内存也始终是最新的，以保持一致性。此外，为了减轻摄像机方差的问题，在聚类过程中提出了一个统一的距离矩阵，其中减少了不同摄像头域的距离偏置，并强调了身份的差异。

最先进的无监督的RE-ID方法使用基于内存的非参数软制AX丢失训练神经网络。存储在存储器中的实例特征向量通过群集和更新在实例级别中分配伪标签。然而，不同的簇大小导致每个群集的更新进度中的不一致。为了解决这个问题，我们呈现了存储特征向量的集群对比度，并计算群集级别的对比度损耗。我们的方法采用唯一的群集表示来描述每个群集，从而产生群集级存储字典。以这种方式，可以有效地保持聚类的一致性，在整个阶段，可以显着降低GPU存储器消耗。因此，我们的方法可以解决集群不一致的问题，并且适用于较大的数据集。此外，我们采用不同的聚类算法来展示我们框架的鲁棒性和泛化。与标准无监督的重新ID管道的集群对比的应用达到了9.9％，8.3％，12.1％的显着改善，而最新的无人纯粹无监督的重新ID方法和5.5％，4.8％，4.4％地图相比与市场，公爵和MSMT17数据集上的最先进的无监督域适应重新ID方法相比。代码可在https://github.com/alibaba/cluster-contrast获得。