无监督的图像检索旨在学习有效的检索系统而无需昂贵的数据注释，但是大多数现有方法都严重依赖于手工制作的功能描述符或预训练的功能提取器。为了最大程度地减少人类的监督，最近的Advance提出了深度无监督的图像检索，旨在训练从头开始的深层模型，以共同优化视觉特征和量化代码。但是，现有方法主要集中于实例对比学习，而无需考虑基本的语义结构信息，从而导致了次优的性能。在这项工作中，我们提出了一种新型的自我监督一致的量化方法，以深度无监督的图像检索，该方法由一致的零件量化和全局一致的量化组成。在部分一致的量化中，我们通过CodeWord多样性正规化设计了部分邻居语义一致性学习。这允许将基础化表示的基本邻居结构信息视为自学。在全球一致的量化中，我们对嵌入和量化表示形式采用对比度学习，并将这些表示形式融合在一起，以在实例之间进行一致的对比度正规化。这可以弥补量化过程中有用表示信息的丢失，并在实例之间正规化一致性。我们的方法具有统一的学习目标和全球一致的量化，利用了更丰富的自学线索来促进模型学习。在三个基准数据集上进行的广泛实验表明，我们的方法优于最先进的方法。

监督基于深度学习的哈希和矢量量化是实现快速和大规模的图像检索系统。通过完全利用标签注释，与传统方法相比，它们正在实现出色的检索性能。但是，令人生心的是为大量训练数据准确地分配标签，并且还有注释过程易于出错。为了解决这些问题，我们提出了第一款深度无监督的图像检索方法被称为自我监督的产品量化（SPQ）网络，该方法是无标签和以自我监督的方式培训的。我们通过比较单独转换的图像（视图）来设计一个交叉量化的对比学习策略，该横向学习策略共同学习码字和深视觉描述符。我们的方法分析了图像内容以提取描述性功能，允许我们理解图像表示以准确检索。通过对基准进行广泛的实验，我们证明该方法即使没有监督预测，也会产生最先进的结果。

Hierarchical semantic structures, naturally existing in real-world datasets, can assist in capturing the latent distribution of data to learn robust hash codes for retrieval systems. Although hierarchical semantic structures can be simply expressed by integrating semantically relevant data into a high-level taxon with coarser-grained semantics, the construction, embedding, and exploitation of the structures remain tricky for unsupervised hash learning. To tackle these problems, we propose a novel unsupervised hashing method named Hyperbolic Hierarchical Contrastive Hashing (HHCH). We propose to embed continuous hash codes into hyperbolic space for accurate semantic expression since embedding hierarchies in hyperbolic space generates less distortion than in hyper-sphere space and Euclidean space. In addition, we extend the K-Means algorithm to hyperbolic space and perform the proposed hierarchical hyperbolic K-Means algorithm to construct hierarchical semantic structures adaptively. To exploit the hierarchical semantic structures in hyperbolic space, we designed the hierarchical contrastive learning algorithm, including hierarchical instance-wise and hierarchical prototype-wise contrastive learning. Extensive experiments on four benchmark datasets demonstrate that the proposed method outperforms the state-of-the-art unsupervised hashing methods. Codes will be released.

最近流行的对比学习范式提出了无监督的哈希的发展。但是，以前的基于学习的作品受到（1）基于全球图像表示的数据相似性挖掘的障碍，以及（2）由数据增强引起的哈希代码语义损失。在本文中，我们提出了一种新颖的方法，即加权的伴侣哈希（WCH），以朝着解决这两个问题迈出一步。我们介绍了一个新型的相互注意模块，以减轻由缺失的图像结构引起的网络特征中信息不对称问题的问题。此外，我们探索了图像之间的细粒语义关系，即，我们将图像分为多个斑块并计算斑块之间的相似性。反映深层图像关系的聚合加权相似性是经过蒸馏而来的，以促进哈希码以蒸馏损失的方式学习，从而获得更好的检索性能。广泛的实验表明，所提出的WCH在三个基准数据集上显着优于现有的无监督哈希方法。

视觉识别任务通常限于处理小型类的小型，因为剩余类别不可用。我们有兴趣通过基于标记和未标记的示例的表示学习来识别数据集中的新颖概念，并将识别的视野扩展到已知和新型类别。为了解决这一具有挑战性的任务，我们提出了一种组合学习方法，其自然地使用由异构标签空间上的多个监督元分类器给出的组成知识来委托未经组合的类别。组合嵌入给出的表示通过一致性正则化进行了更强大的。我们还介绍了公制学习策略，以估算成对伪标签，以改善未标记的例子的表示，其有效地保护了朝着所知和新型课程的语义关系。该算法通过联合优化提高了看不见的课程的歧视以及学习知名课程的表示，通过联合优化来发现新颖的概念，以便更广泛地提高到新颖的课程。我们广泛的实验通过多种图像检索和新型类发现基准中的提出方法表现出显着的性能。

最近，为了提高无监督的图像检索性能，通过设计语义相似性矩阵提出了许多无监督的哈希方法，该方法基于预先训练的CNN模型提取的图像功能之间的相似性。但是，这些方法中的大多数倾向于忽略图像中包含的高级抽象语义概念。直观地，概念在计算图像之间的相似性中起着重要作用。在实际情况下，每个图像都与某些概念相关联，如果两个图像共享更相同的概念，则两个图像之间的相似性将更大。受到上述直觉的启发，在这项工作中，我们提出了一种带有语义概念挖掘的新颖无监督的散列散布，称为UHSCM，该挖掘利用VLP模型来构建高质量的相似性矩阵。具体而言，首先收集一组随机选择的概念。然后，通过使用及时的工程进行视觉预审进（VLP）模型，该模型在视觉表示学习中表现出强大的力量，根据训练图像将一组概念降低。接下来，提出的方法UHSCM应用了VLP模型，并再次提示挖掘每个图像的概念分布，并基于挖掘的概念分布构建高质量的语义相似性矩阵。最后，以语义相似性矩阵作为指导信息，提出了一种新颖的散列损失，并提出了基于对比度损失的正则化项，以优化哈希网络。在三个基准数据集上进行的大量实验表明，所提出的方法在图像检索任务中优于最新基准。

由于其在计算和存储的效率，散列广泛应用于大型多媒体数据上的多模式检索。在本文中，我们提出了一种用于可伸缩图像文本和视频文本检索的新型深度语义多模式散列网络（DSMHN）。所提出的深度散列框架利用2-D卷积神经网络（CNN）作为骨干网络，以捕获图像文本检索的空间信息，而3-D CNN作为骨干网络以捕获视频的空间和时间信息 - 文本检索。在DSMHN中，通过显式保留帧间性相似性和岩石性语义标签，共同学习两组模态特定散列函数。具体地，假设学习散列代码应该是对分类任务的最佳选择，通过在所得哈希代码上嵌入语义标签来共同训练两个流网络以学习散列函数。此外，提出了一种统一的深层多模式散列框架，通过利用特征表示学习，互相相似度 - 保存学习，语义标签保留学习和哈希函数学习同时利用不同类型的损耗功能来学习紧凑和高质量的哈希码。该提议的DSMHN方法是用于图像文本和视频文本检索的通用和可扩展的深度散列框架，其可以灵活地集成在不同类型的损耗功能中。我们在四个广泛使用的多媒体检索数据集中对单一模态和跨模型检索任务进行广泛的实验。图像文本和视频文本检索任务的实验结果表明DSMHN显着优于最先进的方法。

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。

无教师的在线知识蒸馏（KD）旨在培训多个学生模型的合奏，并彼此提炼知识。尽管现有的在线KD方法实现了理想的性能，但它们通常专注于阶级概率作为核心知识类型，而忽略了宝贵的特征代表性信息。我们为在线KD提供了一个相互的对比学习（MCL）框架。 MCL的核心思想是以在线方式进行对比分布的相互交互和对比度分布的转移。我们的MCL可以汇总跨网络嵌入信息，并最大化两个网络之间的相互信息的下限。这使每个网络能够从他人那里学习额外的对比知识，从而提供更好的特征表示形式，从而提高视觉识别任务的性能。除最后一层外，我们还将MCL扩展到辅助特征细化模块辅助的几个中间层。这进一步增强了在线KD的表示能力。关于图像分类和转移学习到视觉识别任务的实验表明，MCL可以针对最新的在线KD方法带来一致的性能提高。优势表明，MCL可以指导网络生成更好的特征表示。我们的代码可在https://github.com/winycg/mcl上公开获取。

现有人重新识别（Reid）方法通常直接加载预先训练的ImageNet权重以进行初始化。然而，作为一个细粒度的分类任务，Reid更具挑战性，并且存在于想象成分类之间的大域差距。在本文中，通过自我监督的代表性的巨大成功的巨大成功，在本文中，我们为基于对比学习（CL）管道的对比训练，为REID设计了一个无人监督的训练框架，被称为上限。在预培训期间，我们试图解决学习细粒度的重点问题的两个关键问题：（1）CL流水线中的增强可能扭曲人物图像中的鉴别条款。 （2）未完全探索人物图像的细粒度局部特征。因此，我们在Up-Reid中引入了一个身份内 - 身份（i $ ^ 2 $ - ）正则化，该正常化是从全局图像方面和本地补丁方面的两个约束：在增强和原始人物图像之间强制强制实施全局一致性为了增加增强的稳健性，而使用每个图像的本地斑块之间的内在对比度约束来完全探索局部鉴别的线索。在多个流行的RE-ID数据集上进行了广泛的实验，包括PersonX，Market1501，CuHK03和MSMT17，表明我们的上部Reid预训练模型可以显着使下游REID微调和实现最先进的性能。代码和模型将被释放到https://github.com/frost-yang-99/up -reid。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

在本文中，我们采用了最大化的互信息（MI）方法来解决无监督的二进制哈希代码的问题，以实现高效的跨模型检索。我们提出了一种新颖的方法，被称为跨模型信息最大散列（CMIMH）。首先，要学习可以保留模跨和跨间相似性的信息的信息，我们利用最近估计MI的变分的进步，以最大化二进制表示和输入特征之间的MI以及不同方式的二进制表示之间的MI。通过在假设由多变量Bernoulli分布模型的假设下联合最大化这些MIM，我们可以学习二进制表示，该二进制表示，其可以在梯度下降中有效地以微量批量方式有效地保留帧内和模态的相似性。此外，我们发现尝试通过学习与来自不同模式的相同实例的类似二进制表示来最小化模态差距，这可能导致更少的信息性表示。因此，在减少模态间隙和失去模态 - 私人信息之间平衡对跨模型检索任务很重要。标准基准数据集上的定量评估表明，该方法始终如一地优于其他最先进的跨模型检索方法。

Although existing semi-supervised learning models achieve remarkable success in learning with unannotated in-distribution data, they mostly fail to learn on unlabeled data sampled from novel semantic classes due to their closed-set assumption. In this work, we target a pragmatic but under-explored Generalized Novel Category Discovery (GNCD) setting. The GNCD setting aims to categorize unlabeled training data coming from known and novel classes by leveraging the information of partially labeled known classes. We propose a two-stage Contrastive Affinity Learning method with auxiliary visual Prompts, dubbed PromptCAL, to address this challenging problem. Our approach discovers reliable pairwise sample affinities to learn better semantic clustering of both known and novel classes for the class token and visual prompts. First, we propose a discriminative prompt regularization loss to reinforce semantic discriminativeness of prompt-adapted pre-trained vision transformer for refined affinity relationships. Besides, we propose a contrastive affinity learning stage to calibrate semantic representations based on our iterative semi-supervised affinity graph generation method for semantically-enhanced prompt supervision. Extensive experimental evaluation demonstrates that our PromptCAL method is more effective in discovering novel classes even with limited annotations and surpasses the current state-of-the-art on generic and fine-grained benchmarks (with nearly $11\%$ gain on CUB-200, and $9\%$ on ImageNet-100) on overall accuracy.

实例级图像检索（IIR）或简单的实例检索，涉及在数据集中查找包含查询实例（例如对象）的数据集中所有图像的问题。本文首次尝试使用基于实例歧视的对比学习（CL）解决此问题。尽管CL在许多计算机视觉任务中表现出令人印象深刻的性能，但在IIR领域也从未找到过类似的成功。在这项工作中，我们通过探索从预先训练和微调的CL模型中得出判别表示的能力来解决此问题。首先，我们通过比较预先训练的深度神经网络（DNN）分类器与CL模型学到的功能相比，研究了IIR转移学习的功效。这些发现启发了我们提出了一种新的培训策略，该策略通过使用平均精度（AP）损失以及微调方法来学习针对IIR量身定制的对比功能表示形式，从而优化CL以学习为导向IIR的功能。我们的经验评估表明，从挑战性的牛津和巴黎数据集中的预先培训的DNN分类器中学到的现成的特征上的表现显着提高。

虽然通过学习特定于样本的鉴别视觉特征，但对比学习最近对未标记图像的深度聚类引起了显着的益处，但其对明确推断的类决策界限的可能性不太了解。这是因为它的实例鉴别策略不是类敏感性，因此，没有优化导出的特定于特定于特定的特征空间的簇，以便对应于有意义的类决策边界进行了优化。在这项工作中，我们通过引入语义对比学习（SCL）来解决这个问题。通过制定语义（群集感知）对比学习目标，SCL对未标记的训练数据进行了明确的基于距离的群集结构。此外，我们引入了通过实例视觉相似性和群集决策边界共同满足的聚类一致性条件，并同时通过他们的共识，同时优化了关于语义地面类别（未知/未标记）的假设。这种语义对比学习方法来发现未知类决策界限对无监督对象识别任务的学习具有相当大的优势。广泛的实验表明，SCL在六个对象识别基准上表现出最先进的对比学习和深度聚类方法，特别是在更具有挑战性的更精细的粒度和更大的数据集。

现有的深度聚类方法依赖于对比学习的对比学习，这需要否定例子来形成嵌入空间，其中所有情况都处于良好分离状态。但是，否定的例子不可避免地引起阶级碰撞问题，损害了群集的表示学习。在本文中，我们探讨了对深度聚类的非对比表示学习，被称为NCC，其基于Byol，一种没有负例的代表性方法。首先，我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐，称为正抽样策略，该域避免了由否定示例引起的类碰撞问题，从而提高了集群内的紧凑性。其次，我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准，命名的原型是原型的对比损失或protocl，这可以最大化簇间距离。此外，我们在期望 - 最大化（EM）框架中制定了NCC，其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布，并且M-Step利用了所提出的损失优化在线网络。结果，NCC形成了一个嵌入空间，其中所有集群都处于分离良好，而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法，通过显着的余量。

在基于哈希的图像检索系统中，原始的变换输入通常会产生不同的代码，降低检索精度。要缓解此问题，可以在培训期间应用数据增强。然而，即使一个内容的增强样本在真实空间中相似，量化也可以在汉明空间远离它们。这导致可以阻碍培训和降低性能的表示差异。在这项工作中，我们提出了一种新型的自蒸馏散列方案，以最小化差异，同时利用增强数据的潜力。通过将弱变换样本的哈希知识转移到强大的样本，我们使哈希代码对各种变换不敏感。我们还引入了基于哈希代理的相似度学习和基于二进制交叉熵的量化损耗，以提供优质的质量哈希代码。最终，我们构建一个深度散列框架，产生鉴别性哈希代码。基准测试的广泛实验验证了我们的自蒸馏改善了现有的深度散列方法，我们的框架达到了最先进的检索结果。代码将很快发布。

监督的深度学习模型取决于大量标记的数据。不幸的是，收集和注释包含所需更改的零花态样本是耗时和劳动密集型的。从预训练模型中转移学习可有效减轻遥感（RS）变化检测（CD）中标签不足。我们探索在预训练期间使用语义信息的使用。不同于传统的监督预训练，该预训练从图像到标签，我们将语义监督纳入了自我监督的学习（SSL）框架中。通常，多个感兴趣的对象（例如，建筑物）以未经切割的RS图像分布在各个位置。我们没有通过全局池操纵图像级表示，而是在每个像素嵌入式上引入点级监督以学习空间敏感的特征，从而使下游密集的CD受益。为了实现这一目标，我们通过使用语义掩码在视图之间的重叠区域上通过类平衡的采样获得了多个点。我们学会了一个嵌入式空间，将背景和前景点分开，并将视图之间的空间对齐点齐聚在一起。我们的直觉是导致的语义歧视性表示与无关的变化不变（照明和无关紧要的土地覆盖）可能有助于改变识别。我们在RS社区中免费提供大规模的图像面罩，用于预训练。在三个CD数据集上进行的大量实验验证了我们方法的有效性。我们的表现明显优于Imagenet预训练，内域监督和几种SSL方法。经验结果表明我们的预训练提高了CD模型的概括和数据效率。值得注意的是，我们使用20％的培训数据获得了比基线（随机初始化）使用100％数据获得竞争结果。我们的代码可用。

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

由顺序训练和元训练阶段组成的两阶段训练范式已广泛用于当前的几次学习（FSL）研究。这些方法中的许多方法都使用自我监督的学习和对比度学习来实现新的最新结果。但是，在FSL培训范式的两个阶段，对比度学习的潜力仍未得到充分利用。在本文中，我们提出了一个新颖的基于学习的框架，该框架将对比度学习无缝地整合到两个阶段中，以提高少量分类的性能。在预训练阶段，我们提出了特征向量与特征映射和特征映射与特征映射的形式的自我监督对比损失，该图形与特征映射使用全局和本地信息来学习良好的初始表示形式。在元训练阶段，我们提出了一种跨视图的情节训练机制，以对同一情节的两个不同视图进行最近的质心分类，并采用基于它们的距离尺度对比度损失。这两种策略迫使模型克服观点之间的偏见并促进表示形式的可转让性。在三个基准数据集上进行的广泛实验表明，我们的方法可以实现竞争成果。