细颗粒的对象检索旨在学习判别性表示以检索视觉上相似的对象。但是，现有的表现最佳作品通常在语义嵌入空间上施加成对的相似性，以在有限数据方面不断调整整个模型，从而使次优溶液易于收敛。在本文中，我们开发了细粒度的检索提示调整（FRPT），该调整引导了一个冷冻的预训练模型，从样本提示和功能适应的角度从样本提示的角度执行精细颗粒的检索任务。具体而言，FRPT只需要在提示中学习更少的参数和适应性，而不是对整个模型进行微调，从而解决了通过微调整个模型引起的次优溶液的收敛性。从技术上讲，随着样本提示，引入结构扰动提示（SPP）以缩放甚至夸大了一些像素，从而通过内容感知到的不均匀采样操作为类别预测做出了贡献。这样，SPP可以通过在原始预训练期间接近已解决的任务的扰动提示来帮助您的精细颗粒检索任务。此外，提出了特定于类别的意识头并将其视为特征适应，它可以使用实例归一化在预训练模型提取的特征中消除物种差异，因此仅使优化的功能仅包括子类别之间的差异。广泛的实验表明，我们的FRPT具有较少的可学习参数，可以在三个广泛使用的细粒数据集上实现最先进的性能。

当前的Modus Operandi在改编预训练的模型中涉及更新所有骨干参数，即，完整的微调。本文介绍了视觉及时调整（VPT），作为视觉中大规模变压器模型的全面微调的有效替代方案。VPT从最近有效地调整大型语言模型的最新进展中汲取灵感，在输入空间中仅引入了少量的可训练参数（少于模型参数），同时保持模型骨架冻结。通过对各种下游识别任务的广泛实验，我们表明VPT与其他参数有效调整协议相比获得了显着的性能增长。最重要的是，在许多情况下，VPT甚至在模型能力和培训数据量表的许多情况下都胜过全面的微调，同时降低了每任务的存储成本。

这项工作的目的是探索如何有效有效地将预训练的基础模型适应图像语义分割的各种下游任务。常规方法通常为每个特定数据集微调整个网络，并且存储这些网络的大量参数是繁重的。最近的一些作品试图将一些可训练的参数插入冷冻网络中，以学习有效调整的视觉提示。但是，这些作品显着修改了标准模块的原始结构，使其在许多现有的高速推理设备上无法使用，其中标准模块及其参数已嵌入。为了促进基于及时的语义细分，我们提出了一个新颖的阶段间及时匹配的框架，该框架保持基础模型的原始结构，同时自适应地生成视觉提示，以适应以任务为导向的调整。具体而言，首先将预训练的模型分为多个阶段，其参数被冷冻并共享所有语义分割任务。然后将称为语义意识的提示匹配器的轻巧模块在两个阶段之间介绍给层次上的插值，以在临时语义图的指导下学习每个特定任务的合理提示。这样，我们可以更好地刺激对冷冻模型的预训练的知识，以有效地学习下游数据集的语义概念。在五个基准上进行的广泛实验表明，所提出的方法可以实现参数效率和性能效率之间的有希望的权衡。

识别诸如眼睛和喙之类的判别细节对于区分细粒度的班级非常重要，因为它们的总体外观相似。在这方面，我们介绍了任务差异最大化（TDM），这是一个简单的模块，用于细颗粒的几个射击分类。我们的目标是通过强调编码课堂不同信息的渠道来定位班级判别区域。具体而言，TDM基于两个新颖的组件学习特定于任务的通道权重：支持注意模块（SAM）和查询注意模块（QAM）。 SAM产生支持权重，以表示每个类别的频道判别能力。尽管如此，由于SAM基本上仅基于标记的支持集，因此它可能容易受到此类支持集的偏见。因此，我们提出了QAM，通过产生查询权重来补充SAM，该查询权重使给定查询图像的对象相关的通道更加重量。通过组合这两个权重，定义了特定于类的任务通道权重。然后将权重应用以产生任务自适应特征地图，更多地关注判别细节。我们的实验证实了TDM的有效性及其互补益处，并在细粒度的几乎没有分类中使用了先前的方法。

Fine-grained visual recognition is to classify objects with visually similar appearances into subcategories, which has made great progress with the development of deep CNNs. However, handling subtle differences between different subcategories still remains a challenge. In this paper, we propose to solve this issue in one unified framework from two aspects, i.e., constructing feature-level interrelationships, and capturing part-level discriminative features. This framework, namely PArt-guided Relational Transformers (PART), is proposed to learn the discriminative part features with an automatic part discovery module, and to explore the intrinsic correlations with a feature transformation module by adapting the Transformer models from the field of natural language processing. The part discovery module efficiently discovers the discriminative regions which are highly-corresponded to the gradient descent procedure. Then the second feature transformation module builds correlations within the global embedding and multiple part embedding, enhancing spatial interactions among semantic pixels. Moreover, our proposed approach does not rely on additional part branches in the inference time and reaches state-of-the-art performance on 3 widely-used fine-grained object recognition benchmarks. Experimental results and explainable visualizations demonstrate the effectiveness of our proposed approach. The code can be found at https://github.com/iCVTEAM/PART.

细粒度的图像识别是具有挑战性的，因为鉴别性线索通常是碎片化的，无论是来自单个图像还是多个图像。尽管有重要的改进，但大多数现有方法仍然专注于从单个图像中的最辨别部分，忽略其他地区的信息细节，缺乏从其他相关图像的线索考虑。在本文中，我们从新的角度分析了微粒图像识别的困难，并提出了一种具有峰值抑制模块和知识引导模块的变压器架构，其尊重单个图像中辨别特征的多样化和鉴别线索的聚合在多个图像中。具体地，峰值抑制模块首先利用线性投影来将输入图像转换为顺序令牌。然后，它基于变压器编码器产生的注意响应来阻止令牌。该模块因特征学习过程中的最辨别部分而受到惩罚，因此，提高了忽视区域的信息利用。知识引导模块将从峰值抑制模块生成的基于图像的表示与被学习的知识嵌入集进行比较，以获得知识响应系数。之后，使用响应系数作为分类分数，将知识学习形式形式化为分类问题。在训练期间更新知识嵌入和基于图像的表示，以便知识嵌入包括不同图像的鉴别线索。最后，我们将所获得的知识嵌入纳入基于形象的表示，作为全面的表示，导致性能显着提高。对六个流行数据集的广泛评估证明了所提出的方法的优势。

Existing fine-tuning methods either tune all parameters of the pre-trained model (full fine-tuning), which is not efficient, or only tune the last linear layer (linear probing), which suffers a significant accuracy drop compared to the full fine-tuning. In this paper, we propose a new parameter-efficient fine-tuning method termed as SSF, representing that researchers only need to Scale and Shift the deep Features extracted by a pre-trained model to catch up with the performance of full fine-tuning. In this way, SSF also surprisingly outperforms other parameter-efficient fine-tuning approaches even with a smaller number of tunable parameters. Furthermore, different from some existing parameter-efficient fine-tuning methods (e.g., Adapter or VPT) that introduce the extra parameters and computational cost in the training and inference stages, SSF only adds learnable parameters during the training stage, and these additional parameters can be merged into the original pre-trained model weights via re-parameterization in the inference phase. With the proposed SSF, our model obtains 2.46% (90.72% vs. 88.54%) and 11.48% (73.10% vs. 65.57%) performance improvement on FGVC and VTAB-1k in terms of Top-1 accuracy compared to the full fine-tuning but only fine-tuning about 0.3M parameters. We also conduct amounts of experiments in various model families (CNNs, Transformers, and MLPs) and datasets. Results on 26 image classification datasets in total and 3 robustness & out-of-distribution datasets show the effectiveness of SSF. Code is available at https://github.com/dongzelian/SSF.

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

很少有细粒度的学习旨在将查询图像分类为具有细粒度差异的一组支持类别之一。尽管学习不同对象通过深神网络的局部差异取得了成功，但如何在基于变压器的架构中利用查询支持的跨图像对象语义关系在几个摄像机的细粒度场景中仍未得到充分探索。在这项工作中，我们提出了一个基于变压器的双螺旋模型，即HelixFormer，以双向和对称方式实现跨图像对象语义挖掘。 HelixFormer由两个步骤组成：1）跨不同分支的关系挖掘过程（RMP），以及2）在每个分支中表示增强过程（REP）。通过设计的RMP，每个分支都可以使用来自另一个分支的信息提取细粒对象级跨图义语义关系图（CSRMS），从而确保在语义相关的本地对象区域中更好地跨图像相互作用。此外，借助CSRMS，开发的REP可以增强每个分支中发现的与语义相关的局部区域的提取特征，从而增强模型区分细粒物体的细微特征差异的能力。在五个公共细粒基准上进行的广泛实验表明，螺旋形式可以有效地增强识别细颗粒物体的跨图像对象语义关系匹配，从而在1次以下的大多数先进方法中实现更好的性能，并且5击场景。我们的代码可在以下网址找到：https：//github.com/jiakangyuan/helixformer

很少有细粒度的分类和人搜索作为独特的任务和文学作品，已经分别对待了它们。但是，仔细观察揭示了重要的相似之处：这两个任务的目标类别只能由特定的对象细节歧视；相关模型应概括为新类别，而在培训期间看不到。我们提出了一个适用于这两个任务的新型统一查询引导网络（QGN）。QGN由一个查询引导的暹罗引文和兴奋子网组成，该子网还重新进行了所有网络层的查询和画廊功能，一个查询实习的区域建议特定于特定于特定的本地化以及查询指导的相似性子网络子网本网络用于公制学习。QGN在最近的一些少数细颗粒数据集上有所改善，在幼崽上的其他技术优于大幅度。QGN还对人搜索Cuhk-Sysu和PRW数据集进行了竞争性执行，我们在其中进行了深入的分析。

由于与传统的基于RGB的跟踪相比，多模式跟踪的能力在复杂的情况下更准确和健壮，因此获得了关注。它的关键在于如何融合多模式数据并减少模式之间的差距。但是，多模式跟踪仍然严重遭受数据缺乏症的影响，从而导致融合模块的学习不足。我们没有在本文中构建这样的融合模块，而是通过将重要性附加到多模式的视觉提示中，为多模式跟踪提供了新的视角。我们设计了一种新型的多模式及时跟踪器（Protrack），可以通过及时范式将多模式输入传递到单个模态。通过最好地利用预先训练的RGB跟踪器在大规模学习的跟踪能力，我们的突起即使没有对多模式数据进行任何额外的培训，我们的突起也可以通过更改输入来实现高性能多模式跟踪。 5个基准数据集的广泛实验证明了所提出的突起的有效性。

很少有学习的学习（FSL）旨在学习一个可以轻松适应新颖课程的分类器，只有几个标签的示例，限制数据使这项任务挑战深度学习。基于量子指标的方法已实现了有希望的表现基于图像级的功能。但是，这些全球特征忽略了丰富的本地和结构信息，这些信息在可见的和看不见的类之间都是可以转移和一致的。认知科学的某些研究认为，人类可以识别出具有学识渊博的新颖类。我们希望挖掘出来可以从基础类别转移和判别性表示，并采用它们以识别新的课程。建立情节训练机制，我们提出了一个原始的采矿和推理网络（PMRN），以端到端的方式学习原始感知的表示，以进行度量。基于基于FSL模型。我们首先添加自学辅助任务，迫使功能提取器学习与原始词相对应的电视模式。为了进一步挖掘并产生可转移的原始感知表示形式，我们设计了一个自适应通道组（ACG）模块，以通过增强信息通道图的同时抑制无用的通道图，从而从对象嵌入中合成一组视觉原语。基于学到的原始功能，提出了一个语义相关推理（SCR）模块来捕获它们之间的内部关系。在本文中，我们了解原始词的特定于任务的重要性，并基于特定于任务的注意力功能进行原始级别的度量。广泛的实验表明，我们的方法在六个标准基准下实现了最先进的结果。

最近，动物姿势估计引起了关注动物行为理解的学术界（例如野生动植物和保护生物学）的兴趣。但是，目前的动物姿势估计遭受了小数据集和较大的数据差异，因此很难获得稳健的性能。为了解决这个问题，我们建议可以利用语言模型学到的与姿势相关语义之间的关系的丰富知识来改善动物姿势估计。因此，在这项研究中，我们介绍了一个新颖的促进框架，以有效地采用语言模型，以更好地根据及时训练来理解动物姿势。在Promptpose中，我们建议将语言知识适应视觉动物的姿势是实现有效动物姿势估计的关键。为此，我们首先介绍文本提示，以在文本语义描述和支持动物关键点功能之间建立连接。此外，我们进一步设计了一个像素级的对比损失，以在文本描述和本地图像特征之间建立密集的联系，以及语义级别的对比损失，以弥合语言图像跨模式预训练的全球对比度之间的差距密集预测中的局部对比。在实践中，Pickerpose在改善动物姿势估计方面显示出巨大的好处。通过进行广泛的实验，我们表明，我们的及时疾病在监督和少量设置下取得了卓越的性能，超过了代表性的方法。源代码和模型将公开可用。

细粒度的视觉分类（FGVC）旨在识别类似下属类别的对象，这对于人类的准确自动识别需求而言是挑战性和实用性的。大多数FGVC方法都集中在判别区域开采的注意力机制研究上，同时忽略了它们的相互依赖性和组成的整体对象结构，这对于模型的判别信息本地化和理解能力至关重要。为了解决上述限制，我们建议结构信息建模变压器（SIM-TRANS）将对象结构信息纳入变压器，以增强判别性表示学习，以包含外观信息和结构信息。具体而言，我们将图像编码为一系列贴片令牌，并使用两个精心设计的模块构建强大的视觉变压器框架：（i）提出了结构信息学习（SIL）模块以挖掘出在该模块中的空间上下文关系，对象范围借助变压器的自我发项权重，进一步注入导入结构信息的模型； （ii）引入了多级特征增强（MFB）模块，以利用类中多级特征和对比度学习的互补性，以增强功能鲁棒性，以获得准确的识别。提出的两个模块具有轻加权，可以插入任何变压器网络并轻松地端到端训练，这仅取决于视觉变压器本身带来的注意力重量。广泛的实验和分析表明，所提出的SIM-TRANS在细粒度的视觉分类基准上实现了最先进的性能。该代码可在https://github.com/pku-icst-mipl/sim-trans_acmmm2022上获得。

传统的细颗粒图像分类通常依赖于带注释的地面真相的大规模训练样本。但是，某些子类别在实际应用中可能几乎没有可用的样本。在本文中，我们建议使用多频邻域（MFN）和双交叉调制（DCM）提出一个新颖的几弹性细颗粒图像分类网络（FICNET）。采用模块MFN来捕获空间域和频域中的信息。然后，提取自相似性和多频成分以产生多频结构表示。 DCM使用分别考虑全球环境信息和类别之间的微妙关系来调节嵌入过程。针对两个少量任务的三个细粒基准数据集进行的综合实验验证了FICNET与最先进的方法相比具有出色的性能。特别是，在两个数据集“ Caltech-UCSD鸟”和“ Stanford Cars”上进行的实验分别可以获得分类精度93.17 \％和95.36 \％。它们甚至高于一般的细粒图像分类方法可以实现的。

细粒度视觉识别的挑战通常在于发现关键的歧视区域。虽然可以从大规模标记的数据集中自动识别此类区域，但是当仅提供少量注释时，类似的方法可能会降低效率。在低数据制度中，网络通常很难选择正确的区域以识别识别，并且倾向于从培训数据中过度拟合虚假的相关模式。为了解决这个问题，本文提出了一种自我提升的注意机制，这是一种新颖的方法，可以使网络正规化关注跨样本和类共享的关键区域。具体而言，提出的方法首先为每个训练图像生成一个注意图，突出显示用于识别地面真实对象类别的判别零件。然后将生成的注意图用作伪通量。该网络被执行以适合它们作为辅助任务。我们将这种方法称为自我增强注意机制（SAM）。我们还通过使用SAM创建多个注意地图来开发一个变体，以泳池卷积图的样式，以双线性合并，称为SAM双线性。通过广泛的实验研究，我们表明两种方法都可以显着提高低数据状态上的细粒度视觉识别性能，并可以纳入现有的网络体系结构中。源代码可公开可用：https：//github.com/ganperf/sam

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

旨在识别来自子类别的对象的细粒度视觉分类（FGVC）是一个非常具有挑战性的任务，因为固有的微妙级别差异。大多数现有工程主要通过重用骨干网络来提取检测到的歧视区域的特征来解决这个问题。然而，该策略不可避免地使管道复杂化并推动所提出的区域，其中大多数物体的大多数部分未能定位真正重要的部分。最近，视觉变压器（VIT）在传统的分类任务中表现出其强大的表现。变压器的自我关注机制将每个补丁令牌链接到分类令牌。在这项工作中，我们首先评估vit框架在细粒度识别环境中的有效性。然后，由于注意力的强度，可以直观地被认为是令牌重要性的指标，我们进一步提出了一种新颖的部分选择模块，可以应用于我们整合变压器的所有原始注意力的变压器架构进入注意地图，用于指导网络以有效，准确地选择鉴别的图像斑块并计算它们的关系。应用对比损失来扩大混淆类的特征表示之间的距离。我们将基于增强的变压器的模型Transfg命名，并通过在我们实现最先进的绩效的五个流行的细粒度基准测试中进行实验来展示它的价值。提出了更好地理解模型的定性结果。

在本文中，我们提出了基于抑制增强面膜的注意力和交互式通道转换（Semicon），以学习处理大规模细粒图像检索任务的二进制哈希码。在半号中，我们首先开发出基于抑制增强的面膜（SEM）的注意力，以动态定位判别图像区域。更重要的是，与现有的注意机制不同，我们的SEM是为了限制此类区域而开发的，然后通过考虑以阶段的方式考虑激活区域之间的关系来限制其他互补区域。在每个阶段，交互式通道变换（ICON）模块之后旨在利用跨参与激活张量的通道之间的相关性。由于通道通常可以与细粒对象的部分相对应，因此也可以相应地建模该部分相关性，从而进一步提高细粒的检索精度。此外，要作为计算经济，图标是通过有效的两步过程实现的。最后，对我们的分号的哈希学习由全球和本地级分支组成，以更好地表示细粒对象，然后生成与多个级别相对应的二进制哈希码。五个基准细粒数据集的实验显示了我们优于竞争方法。

The task of Few-shot learning (FSL) aims to transfer the knowledge learned from base categories with sufficient labelled data to novel categories with scarce known information. It is currently an important research question and has great practical values in the real-world applications. Despite extensive previous efforts are made on few-shot learning tasks, we emphasize that most existing methods did not take into account the distributional shift caused by sample selection bias in the FSL scenario. Such a selection bias can induce spurious correlation between the semantic causal features, that are causally and semantically related to the class label, and the other non-causal features. Critically, the former ones should be invariant across changes in distributions, highly related to the classes of interest, and thus well generalizable to novel classes, while the latter ones are not stable to changes in the distribution. To resolve this problem, we propose a novel data augmentation strategy dubbed as PatchMix that can break this spurious dependency by replacing the patch-level information and supervision of the query images with random gallery images from different classes from the query ones. We theoretically show that such an augmentation mechanism, different from existing ones, is able to identify the causal features. To further make these features to be discriminative enough for classification, we propose Correlation-guided Reconstruction (CGR) and Hardness-Aware module for instance discrimination and easier discrimination between similar classes. Moreover, such a framework can be adapted to the unsupervised FSL scenario.