可以通过对手动预定义目标的监督（例如，一hot或Hadamard代码）进行深入的表示学习来解决细粒度的视觉分类。这种目标编码方案对于模型间相关性的灵活性较小，并且对稀疏和不平衡的数据分布也很敏感。鉴于此，本文介绍了一种新颖的目标编码方案 - 动态目标关系图（DTRG），作为辅助特征正则化，是一个自生成的结构输出，可根据输入图像映射。具体而言，类级特征中心的在线计算旨在在表示空间中生成跨类别距离，因此可以通过非参数方式通过动态图来描绘。明确最大程度地减少锚定在这些级别中心的阶层内特征变化可以鼓励学习判别特征。此外，由于利用了类间的依赖性，提出的目标图可以减轻代表学习中的数据稀疏性和不稳定。受混合风格数据增强的最新成功的启发，本文将随机性引入了动态目标关系图的软结构，以进一步探索目标类别的关系多样性。实验结果可以证明我们方法对多个视觉分类任务的许多不同基准的有效性，尤其是在流行的细粒对象基准上实现最先进的性能以及针对稀疏和不平衡数据的出色鲁棒性。源代码可在https://github.com/akonlau/dtrg上公开提供。

细粒度的视觉分类（FGVC）旨在识别类似下属类别的对象，这对于人类的准确自动识别需求而言是挑战性和实用性的。大多数FGVC方法都集中在判别区域开采的注意力机制研究上，同时忽略了它们的相互依赖性和组成的整体对象结构，这对于模型的判别信息本地化和理解能力至关重要。为了解决上述限制，我们建议结构信息建模变压器（SIM-TRANS）将对象结构信息纳入变压器，以增强判别性表示学习，以包含外观信息和结构信息。具体而言，我们将图像编码为一系列贴片令牌，并使用两个精心设计的模块构建强大的视觉变压器框架：（i）提出了结构信息学习（SIL）模块以挖掘出在该模块中的空间上下文关系，对象范围借助变压器的自我发项权重，进一步注入导入结构信息的模型； （ii）引入了多级特征增强（MFB）模块，以利用类中多级特征和对比度学习的互补性，以增强功能鲁棒性，以获得准确的识别。提出的两个模块具有轻加权，可以插入任何变压器网络并轻松地端到端训练，这仅取决于视觉变压器本身带来的注意力重量。广泛的实验和分析表明，所提出的SIM-TRANS在细粒度的视觉分类基准上实现了最先进的性能。该代码可在https://github.com/pku-icst-mipl/sim-trans_acmmm2022上获得。

混合是深度神经网络的流行数据依赖性增强技术，其包含两个子任务，混合生成和分类。社区通常将混合限制在监督学习（SL）中，并且生成子任务的目的是固定到采样的对，而不是考虑整个数据歧管。为了克服这些限制，我们系统地研究了两个子任务的目标，并为SL和自我监督的学习（SSL）方案，命名为Samix的两个子任务和提出情景 - 激动化混合。具体而言，我们假设并验证混合生成的核心目标，因为优化来自其他类别的全球歧视的两个类之间的局部平滑度。基于这一发现，提出了$ \ eta $ -Balanced混合丢失，以进行两个子任务的互补培训。同时，生成子任务被参数化为可优化的模块，混音器，其利用注意机制来生成混合样本而无需标记依赖性。对SL和SSL任务的广泛实验表明SAMIX始终如一地优于大边距。

Fine-grained visual recognition is to classify objects with visually similar appearances into subcategories, which has made great progress with the development of deep CNNs. However, handling subtle differences between different subcategories still remains a challenge. In this paper, we propose to solve this issue in one unified framework from two aspects, i.e., constructing feature-level interrelationships, and capturing part-level discriminative features. This framework, namely PArt-guided Relational Transformers (PART), is proposed to learn the discriminative part features with an automatic part discovery module, and to explore the intrinsic correlations with a feature transformation module by adapting the Transformer models from the field of natural language processing. The part discovery module efficiently discovers the discriminative regions which are highly-corresponded to the gradient descent procedure. Then the second feature transformation module builds correlations within the global embedding and multiple part embedding, enhancing spatial interactions among semantic pixels. Moreover, our proposed approach does not rely on additional part branches in the inference time and reaches state-of-the-art performance on 3 widely-used fine-grained object recognition benchmarks. Experimental results and explainable visualizations demonstrate the effectiveness of our proposed approach. The code can be found at https://github.com/iCVTEAM/PART.

传统的细颗粒图像分类通常依赖于带注释的地面真相的大规模训练样本。但是，某些子类别在实际应用中可能几乎没有可用的样本。在本文中，我们建议使用多频邻域（MFN）和双交叉调制（DCM）提出一个新颖的几弹性细颗粒图像分类网络（FICNET）。采用模块MFN来捕获空间域和频域中的信息。然后，提取自相似性和多频成分以产生多频结构表示。 DCM使用分别考虑全球环境信息和类别之间的微妙关系来调节嵌入过程。针对两个少量任务的三个细粒基准数据集进行的综合实验验证了FICNET与最先进的方法相比具有出色的性能。特别是，在两个数据集“ Caltech-UCSD鸟”和“ Stanford Cars”上进行的实验分别可以获得分类精度93.17 \％和95.36 \％。它们甚至高于一般的细粒图像分类方法可以实现的。

与常规知识蒸馏（KD）不同，自我KD允许网络在没有额外网络的任何指导的情况下向自身学习知识。本文提议从图像混合物（Mixskd）执行自我KD，将这两种技术集成到统一的框架中。 Mixskd相互蒸馏以图形和概率分布在随机的原始图像和它们的混合图像之间以有意义的方式。因此，它通过对混合图像进行监督信号进行建模来指导网络学习跨图像知识。此外，我们通过汇总多阶段功能图来构建一个自学老师网络，以提供软标签以监督骨干分类器，从而进一步提高自我增强的功效。图像分类和转移学习到对象检测和语义分割的实验表明，混合物KD优于其他最先进的自我KD和数据增强方法。该代码可在https://github.com/winycg/self-kd-lib上找到。

事实证明，数据混合对提高深神经网络的概括能力是有效的。虽然早期方法通过手工制作的策略（例如线性插值）混合样品，但最新方法利用显着性信息通过复杂的离线优化来匹配混合样品和标签。但是，在精确的混合政策和优化复杂性之间进行了权衡。为了应对这一挑战，我们提出了一个新颖的自动混合（Automix）框架，其中混合策略被参数化并直接实现最终分类目标。具体而言，Automix将混合分类重新定义为两个子任务（即混合样品生成和混合分类）与相应的子网络，并在双层优化框架中求解它们。对于这一代，可学习的轻质混合发电机Mix Block旨在通过在相应混合标签的直接监督下对贴片的关系进行建模，以生成混合样品。为了防止双层优化的降解和不稳定性，我们进一步引入了动量管道以端到端的方式训练汽车。与在各种分类场景和下游任务中的最新图像相比，九个图像基准的广泛实验证明了汽车的优势。

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

大多数现有的最新视频分类方法假设训练数据遵守统一的分布。但是，现实世界中的视频数据通常会表现出不平衡的长尾巴分布，从而导致模型偏见对头等阶层，并且在尾巴上的性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上，但将其调整到视频数据并不是微不足道的扩展。我们提出了一种端到端的多专家分布校准方法，以基于两级分布信息来应对这些挑战。该方法共同考虑了每个类别中样品的分布（类内部分布）和各种数据（类间分布）的总体分布，以解决在长尾分布下数据不平衡数据的问题。通过对两级分布信息进行建模，该模型可以共同考虑头等阶层和尾部类别，并将知识从头等阶层显着转移，以提高尾部类别的性能。广泛的实验验证了我们的方法是否在长尾视频分类任务上实现了最先进的性能。

在过去的几年中，基于深度卷积神经网络（CNN）的图像识别已取得了重大进展。这主要是由于此类网络在挖掘判别对象姿势以及质地和形状的零件信息方面具有强大的能力。这通常不适合细粒度的视觉分类（FGVC），因为它由于阻塞，变形，照明等而表现出较高的类内和较低的阶层差异。表征对象/场景。为此，我们提出了一种方法，该方法可以通过汇总大多数相关图像区域的上下文感知特征及其在区分细颗粒类别中避免边界框和/或可区分的零件注释中的重要性来有效捕获细微的变化。我们的方法的灵感来自最新的自我注意力和图形神经网络（GNNS）方法的启发端到端的学习过程。我们的模型在八个基准数据集上进行了评估，该数据集由细粒对象和人类对象相互作用组成。它的表现优于最先进的方法，其识别准确性很大。

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

The task of Few-shot learning (FSL) aims to transfer the knowledge learned from base categories with sufficient labelled data to novel categories with scarce known information. It is currently an important research question and has great practical values in the real-world applications. Despite extensive previous efforts are made on few-shot learning tasks, we emphasize that most existing methods did not take into account the distributional shift caused by sample selection bias in the FSL scenario. Such a selection bias can induce spurious correlation between the semantic causal features, that are causally and semantically related to the class label, and the other non-causal features. Critically, the former ones should be invariant across changes in distributions, highly related to the classes of interest, and thus well generalizable to novel classes, while the latter ones are not stable to changes in the distribution. To resolve this problem, we propose a novel data augmentation strategy dubbed as PatchMix that can break this spurious dependency by replacing the patch-level information and supervision of the query images with random gallery images from different classes from the query ones. We theoretically show that such an augmentation mechanism, different from existing ones, is able to identify the causal features. To further make these features to be discriminative enough for classification, we propose Correlation-guided Reconstruction (CGR) and Hardness-Aware module for instance discrimination and easier discrimination between similar classes. Moreover, such a framework can be adapted to the unsupervised FSL scenario.

细粒度的图像识别是具有挑战性的，因为鉴别性线索通常是碎片化的，无论是来自单个图像还是多个图像。尽管有重要的改进，但大多数现有方法仍然专注于从单个图像中的最辨别部分，忽略其他地区的信息细节，缺乏从其他相关图像的线索考虑。在本文中，我们从新的角度分析了微粒图像识别的困难，并提出了一种具有峰值抑制模块和知识引导模块的变压器架构，其尊重单个图像中辨别特征的多样化和鉴别线索的聚合在多个图像中。具体地，峰值抑制模块首先利用线性投影来将输入图像转换为顺序令牌。然后，它基于变压器编码器产生的注意响应来阻止令牌。该模块因特征学习过程中的最辨别部分而受到惩罚，因此，提高了忽视区域的信息利用。知识引导模块将从峰值抑制模块生成的基于图像的表示与被学习的知识嵌入集进行比较，以获得知识响应系数。之后，使用响应系数作为分类分数，将知识学习形式形式化为分类问题。在训练期间更新知识嵌入和基于图像的表示，以便知识嵌入包括不同图像的鉴别线索。最后，我们将所获得的知识嵌入纳入基于形象的表示，作为全面的表示，导致性能显着提高。对六个流行数据集的广泛评估证明了所提出的方法的优势。

少量分类旨在通过一些培训样本来调整小型课程的分类器。然而，训练数据的不足可能导致某个类中的特征分布偏差估计。为了缓解这个问题，我们通过探索新颖和基类之间的类别相关性，作为先前知识来展示一个简单而有效的功能整流方法。我们通过将特征映射到潜在的向量中明确地捕获这种相关性，其中匹配基类的数量的维度，将其视为在基类上的特征的对数概率。基于该潜伏向量，整流特征由解码器直接构建，我们预计在去除其他随机因素的同时保持与类别相关的信息，因此更接近其类心。此外，通过改变SoftMax中的温度值，我们可以重新平衡特征整流和重建以获得更好的性能。我们的方法是通用的，灵活的，不可知的任何特征提取器和分类器，容易嵌入到现有的FSL方法中。实验验证了我们的方法能够整流偏置功能，尤其是当特征远离班级质心时。拟议的方法一直在三种广泛使用的基准上获得相当大的性能收益，用不同的骨干和分类器评估。该代码将公开。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

分层分类旨在将对象对类别的层次进行。例如，可以根据订单，家庭和物种的三级层次分类来分类鸟类。现有方法通过将其解耦为几个多级分类任务来常见地解决分层分类。但是，这种多任务学习策略未能充分利用不同层次结构的各种类别之间的相关性。在本文中，我们提出了基于深度学习的统一概率框架的标签层次转换，以解决层次分类。具体地，我们明确地学习标签层次转换矩阵，其列向量表示两个相邻层次结构之间的类的条件标签分布，并且可以能够编码嵌入类层次结构中的相关性。我们进一步提出了混淆损失，这鼓励分类网络在训练期间学习不同标签层次结构的相关性。所提出的框架可以适用于任何现有的深网络，只有轻微的修改。我们尝试具有各种层次结构的三个公共基准数据集，结果证明了我们的方法超出现有技术的优势。源代码将公开可用。

Recent methods for deep metric learning have been focusing on designing different contrastive loss functions between positive and negative pairs of samples so that the learned feature embedding is able to pull positive samples of the same class closer and push negative samples from different classes away from each other. In this work, we recognize that there is a significant semantic gap between features at the intermediate feature layer and class labels at the final output layer. To bridge this gap, we develop a contrastive Bayesian analysis to characterize and model the posterior probabilities of image labels conditioned by their features similarity in a contrastive learning setting. This contrastive Bayesian analysis leads to a new loss function for deep metric learning. To improve the generalization capability of the proposed method onto new classes, we further extend the contrastive Bayesian loss with a metric variance constraint. Our experimental results and ablation studies demonstrate that the proposed contrastive Bayesian metric learning method significantly improves the performance of deep metric learning in both supervised and pseudo-supervised scenarios, outperforming existing methods by a large margin.

细粒度视觉识别的挑战通常在于发现关键的歧视区域。虽然可以从大规模标记的数据集中自动识别此类区域，但是当仅提供少量注释时，类似的方法可能会降低效率。在低数据制度中，网络通常很难选择正确的区域以识别识别，并且倾向于从培训数据中过度拟合虚假的相关模式。为了解决这个问题，本文提出了一种自我提升的注意机制，这是一种新颖的方法，可以使网络正规化关注跨样本和类共享的关键区域。具体而言，提出的方法首先为每个训练图像生成一个注意图，突出显示用于识别地面真实对象类别的判别零件。然后将生成的注意图用作伪通量。该网络被执行以适合它们作为辅助任务。我们将这种方法称为自我增强注意机制（SAM）。我们还通过使用SAM创建多个注意地图来开发一个变体，以泳池卷积图的样式，以双线性合并，称为SAM双线性。通过广泛的实验研究，我们表明两种方法都可以显着提高低数据状态上的细粒度视觉识别性能，并可以纳入现有的网络体系结构中。源代码可公开可用：https：//github.com/ganperf/sam

很少有细粒度的学习旨在将查询图像分类为具有细粒度差异的一组支持类别之一。尽管学习不同对象通过深神网络的局部差异取得了成功，但如何在基于变压器的架构中利用查询支持的跨图像对象语义关系在几个摄像机的细粒度场景中仍未得到充分探索。在这项工作中，我们提出了一个基于变压器的双螺旋模型，即HelixFormer，以双向和对称方式实现跨图像对象语义挖掘。 HelixFormer由两个步骤组成：1）跨不同分支的关系挖掘过程（RMP），以及2）在每个分支中表示增强过程（REP）。通过设计的RMP，每个分支都可以使用来自另一个分支的信息提取细粒对象级跨图义语义关系图（CSRMS），从而确保在语义相关的本地对象区域中更好地跨图像相互作用。此外，借助CSRMS，开发的REP可以增强每个分支中发现的与语义相关的局部区域的提取特征，从而增强模型区分细粒物体的细微特征差异的能力。在五个公共细粒基准上进行的广泛实验表明，螺旋形式可以有效地增强识别细颗粒物体的跨图像对象语义关系匹配，从而在1次以下的大多数先进方法中实现更好的性能，并且5击场景。我们的代码可在以下网址找到：https：//github.com/jiakangyuan/helixformer

细粒度的视觉分类（FGVC）是计算机视觉和模式识别的一个长期存在的基本问题，并为各种各样的现实应用程序提供了基础。本文描述了我们在Snakeclef2022上使用FGVC的贡献。首先，我们设计了一个强大的多模式主链，以利用各种元信息来协助细粒度的识别。其次，我们提供了新的损失功能，可以用数据集解决长时间的分布。然后，为了充分利用未标记的数据集，我们使用自我监督的学习和监督学习联合培训来提供预训练的模型。此外，我们的实验也考虑了一些有效的数据过程技巧。最后但并非最不重要的一点是，在下游任务中进行了微调，并具有艰苦的型号模型性能。广泛的实验表明，我们的方法可以有效地提高细粒识别的性能。我们的方法分别可以在私人和公共数据集上获得宏F1分别为92.7％和89.4％，这是私人排行榜上参与者中的第一名。