本文解决了新型类别发现（NCD）的问题，该问题旨在区分大规模图像集中的未知类别。 NCD任务由于与现实世界情景的亲密关系而具有挑战性，我们只遇到了一些部分类和图像。与NCD上的其他作品不同，我们利用原型强调类别歧视的重要性，并减轻缺少新颖阶级注释的问题。具体而言，我们提出了一种新型的适应性原型学习方法，该方法由两个主要阶段组成：原型表示学习和原型自我训练。在第一阶段，我们获得了一个可靠的特征提取器，该功能提取器可以为所有具有基础和新颖类别的图像提供。该功能提取器的实例和类别歧视能力通过自我监督的学习和适应性原型来提高。在第二阶段，我们再次利用原型来整理离线伪标签，并训练类别聚类的最终参数分类器。我们对四个基准数据集进行了广泛的实验，并证明了该方法具有最先进的性能的有效性和鲁棒性。

Can we automatically group images into semantically meaningful clusters when ground-truth annotations are absent? The task of unsupervised image classification remains an important, and open challenge in computer vision. Several recent approaches have tried to tackle this problem in an end-to-end fashion. In this paper, we deviate from recent works, and advocate a two-step approach where feature learning and clustering are decoupled. First, a self-supervised task from representation learning is employed to obtain semantically meaningful features. Second, we use the obtained features as a prior in a learnable clustering approach. In doing so, we remove the ability for cluster learning to depend on low-level features, which is present in current end-to-end learning approaches. Experimental evaluation shows that we outperform state-of-the-art methods by large margins, in particular +26.6% on CI-FAR10, +25.0% on CIFAR100-20 and +21.3% on STL10 in terms of classification accuracy. Furthermore, our method is the first to perform well on a large-scale dataset for image classification. In particular, we obtain promising results on ImageNet, and outperform several semi-supervised learning methods in the low-data regime without the use of any groundtruth annotations. The code is made publicly available here.

在本文中，我们考虑一个高度通用的图像识别设置，其中，给定标记和未标记的图像集，任务是在未标记的集合中对所有图像进行分类。这里，未标记的图像可以来自标记的类或新颖的图像。现有的识别方法无法处理此设置，因为它们会产生几种限制性假设，例如仅来自已知或未知 - 类的未标记的实例以及已知的未知类的数量。我们解决了更加不受约束的环境，命名为“广义类别发现”，并挑战所有这些假设。我们首先通过从新型类别发现和适应这项任务的最先进的算法来建立强有力的基线。接下来，我们建议使用视觉变形金刚，为此开放的世界设置具有对比的代表学习。然后，我们介绍一个简单而有效的半监督$ k $ -means方法，将未标记的数据自动聚类，看不见的类，显着优于基线。最后，我们还提出了一种新的方法来估计未标记数据中的类别数。我们彻底评估了我们在公共数据集上的方法，包括Cifar10，CiFar100和Imagenet-100，以及包括幼崽，斯坦福汽车和植宝司19，包括幼崽，斯坦福汽车和Herbarium19，在这个新的环境中基准测试，以培养未来的研究。

在本文中，我们通过利用包含来自其他不同但相关类别的图像的标记数据集将来自新类的未标记的图像与新类别分组从新类别分组到不同的语义分区的问题。这是一个比传统的半监督学习更现实和具有挑战性的。我们为这个问题提出了一个双分支学习框架，一个分支专注于本地部分级信息和专注于整体特征的另一个分支。将知识从标记的数据传输到未标记的，我们建议使用两个分支机构的双重排名统计信息来生成伪标签，用于培训未标记的数据。我们进一步介绍了一个相互知识蒸馏方法，以允许信息交流并鼓励两个分支机构之间的协议，以发现新类别，允许我们的模型享受全球和当地特征的好处。我们全面评估了我们在通用对象分类的公共基准上的方法，以及用于细粒度的视觉识别的更具挑战性的数据集，实现最先进的性能。

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or "views") of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a "swapped" prediction mechanism where we predict the code of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks.

虽然通过学习特定于样本的鉴别视觉特征，但对比学习最近对未标记图像的深度聚类引起了显着的益处，但其对明确推断的类决策界限的可能性不太了解。这是因为它的实例鉴别策略不是类敏感性，因此，没有优化导出的特定于特定于特定的特征空间的簇，以便对应于有意义的类决策边界进行了优化。在这项工作中，我们通过引入语义对比学习（SCL）来解决这个问题。通过制定语义（群集感知）对比学习目标，SCL对未标记的训练数据进行了明确的基于距离的群集结构。此外，我们引入了通过实例视觉相似性和群集决策边界共同满足的聚类一致性条件，并同时通过他们的共识，同时优化了关于语义地面类别（未知/未标记）的假设。这种语义对比学习方法来发现未知类决策界限对无监督对象识别任务的学习具有相当大的优势。广泛的实验表明，SCL在六个对象识别基准上表现出最先进的对比学习和深度聚类方法，特别是在更具有挑战性的更精细的粒度和更大的数据集。

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

Generalized Category Discovery (GCD) aims to recognize both known and novel categories from a set of unlabeled data, based on another dataset labeled with only known categories. Without considering differences between known and novel categories, current methods learn about them in a coupled manner, which can hurt model's generalization and discriminative ability. Furthermore, the coupled training approach prevents these models transferring category-specific knowledge explicitly from labeled data to unlabeled data, which can lose high-level semantic information and impair model performance. To mitigate above limitations, we present a novel model called Decoupled Prototypical Network (DPN). By formulating a bipartite matching problem for category prototypes, DPN can not only decouple known and novel categories to achieve different training targets effectively, but also align known categories in labeled and unlabeled data to transfer category-specific knowledge explicitly and capture high-level semantics. Furthermore, DPN can learn more discriminative features for both known and novel categories through our proposed Semantic-aware Prototypical Learning (SPL). Besides capturing meaningful semantic information, SPL can also alleviate the noise of hard pseudo labels through semantic-weighted soft assignment. Extensive experiments show that DPN outperforms state-of-the-art models by a large margin on all evaluation metrics across multiple benchmark datasets. Code and data are available at https://github.com/Lackel/DPN.

在这项工作中，我们考虑了开放式设置中跨域3D动作识别的问题，这是以前很少探索的。具体而言，有一个源域和一个目标域，其中包含具有不同样式和类别的骨架序列，我们的目的是通过使用标记的源数据和未标记的目标数据来聚集目标数据。对于这项具有挑战性的任务，本文提出了一种新颖的方法，称为CODT，以协作聚类域共享的功能和特定于目标的功能。 CODT由两个平行分支组成。一个分支机构旨在通过源域中的有监督学习来学习域共享的特征，而另一个分支是使用目标域中的对比学习来学习针对特定目标的特征。为了聚集功能，我们提出了一种在线聚类算法，该算法可以同时促进可靠的伪标签生成和特征群集。此外，为了利用域共享特征和特定目标特征的互补性，我们提出了一种新颖的协作聚类策略，以在两个分支之间实现配对关系一致性。我们对多个跨域3D动作识别数据集进行了广泛的实验，结果证明了我们方法的有效性。

我们介绍了代表学习（CARL）的一致分配，通过组合来自自我监督对比学习和深层聚类的思路来学习视觉表现的无监督学习方法。通过从聚类角度来看对比学习，Carl通过学习一组一般原型来学习无监督的表示，该原型用作能量锚来强制执行给定图像的不同视图被分配给相同的原型。与与深层聚类的对比学习的当代工作不同，Carl建议以在线方式学习一组一般原型，使用梯度下降，而无需使用非可微分算法或k手段来解决群集分配问题。卡尔在许多代表性学习基准中超越了竞争对手，包括线性评估，半监督学习和转移学习。

我们研究了类新型小说类发现的新任务（class-incd），该任务是指在未标记的数据集中发现新型类别的问题，该问题通过利用已在包含脱节的标签数据集上训练的预训练的模型，该模型已受过培训但是相关类别。除了发现新颖的课程外，我们还旨在维护模型识别先前看到的基本类别的能力。受到基于彩排的增量学习方法的启发，在本文中，我们提出了一种新颖的方法，以防止通过共同利用基类功能原型和特征级知识蒸馏来忘记对基础类的过去信息。我们还提出了一种自我训练的聚类策略，该策略同时将新颖的类别簇簇，并为基础和新颖类培训共同分类器。这使得我们的方法能够在课堂内设置中运行。我们的实验以三个共同的基准进行，表明我们的方法显着优于最先进的方法。代码可从https://github.com/oatmealliu/class-incd获得

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

We introduce an information-maximization approach for the Generalized Category Discovery (GCD) problem. Specifically, we explore a parametric family of loss functions evaluating the mutual information between the features and the labels, and find automatically the one that maximizes the predictive performances. Furthermore, we introduce the Elbow Maximum Centroid-Shift (EMaCS) technique, which estimates the number of classes in the unlabeled set. We report comprehensive experiments, which show that our mutual information-based approach (MIB) is both versatile and highly competitive under various GCD scenarios. The gap between the proposed approach and the existing methods is significant, more so when dealing with fine-grained classification problems. Our code: \url{https://github.com/fchiaroni/Mutual-Information-Based-GCD}.

半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。

尽管已显示自我监督的学习受益于许多视觉任务，但现有技术主要集中在图像级操作上，这可能无法很好地概括为补丁或像素级别的下游任务。此外，现有的SSL方法可能无法充分描述和关联图像量表内和跨图像量表的上述表示。在本文中，我们提出了一个自制的金字塔表示学习（SS-PRL）框架。所提出的SS-PRL旨在通过学习适当的原型在斑块级别得出金字塔表示，并在图像中观察和关联固有的语义信息。特别是，我们在SS-PRL中提出了跨尺度贴片级的相关性学习，该学习允许模型汇总和关联信息跨贴片量表。我们表明，借助我们提出的用于模型预训练的SS-PRL，可以轻松适应和调整模型，以适应各种应用程序，包括多标签分类，对象检测和实例分割。

从一个非常少数标记的样品中学习新颖的课程引起了机器学习区域的越来越高。最近关于基于元学习或转移学习的基于范例的研究表明，良好特征空间的获取信息可以是在几次拍摄任务上实现有利性能的有效解决方案。在本文中，我们提出了一种简单但有效的范式，该范式解耦了学习特征表示和分类器的任务，并且只能通过典型的传送学习培训策略从基类嵌入体系结构的特征。为了在每个类别内保持跨基地和新类别和辨别能力的泛化能力，我们提出了一种双路径特征学习方案，其有效地结合了与对比特征结构的结构相似性。以这种方式，内部级别对齐和级别的均匀性可以很好地平衡，并且导致性能提高。三个流行基准测试的实验表明，当与简单的基于原型的分类器结合起来时，我们的方法仍然可以在电感或转换推理设置中的标准和广义的几次射击问题达到有希望的结果。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

少量学习（FSL）旨在学习概括到具有有限培训样本的小型课程的模型。最近的作品将FSL推进一个场景，其中还提供了未标记的例子并提出半监督FSL方法。另一种方法还关心基类的性能，除了新颖的外，还建立了增量FSL方案。在本文中，我们在更现实但复杂的环境下概括了上述两个，通过半监督增量少量学习（S2 I-FSL）命名。为了解决任务，我们提出了一种包含两部分的新型范例：（1）一种精心设计的元训练算法，用于减轻由不可靠的伪标签和（2）模型适应机制来减轻基础和新颖类之间的模糊性，以学习歧视特征对于小说类，同时使用少数标记和所有未标记的数据保留基本知识。对标准FSL，半监控FSL，增量FSL的广泛实验，以及第一个构建的S2 I-FSL基准测试证明了我们提出的方法的有效性。

大多数现有的工作在几次学习中，依赖于Meta-Learning网络在大型基础数据集上，该网络通常是与目标数据集相同的域。我们解决了跨域几秒钟的问题，其中基础和目标域之间存在大移位。与未标记的目标数据的跨域几秒识别问题在很大程度上在文献中毫无根据。启动是使用自我训练解决此问题的第一个方法。但是，它使用固定的老师在标记的基础数据集上返回，以为未标记的目标样本创建软标签。由于基本数据集和未标记的数据集来自不同的域，因此将基本数据集的类域中的目标图像投影，具有固定的预制模型可能是子最优的。我们提出了一种简单的动态蒸馏基方法，以方便来自新颖/基础数据集的未标记图像。我们通过从教师网络中的未标记图像的未标记版本的预测计算并将其与来自学生网络相同的相同图像的强大版本匹配来施加一致性正常化。教师网络的参数被更新为学生网络参数的指数移动平均值。我们表明所提出的网络了解可以轻松适应目标域的表示，即使它尚未在预先预测阶段的目标专用类别训练。我们的车型优于当前最先进的方法，在BSCD-FSL基准中的5次分类，3.6％的3.6％，并在传统的域名几枪学习任务中显示出竞争性能。