人类识别是事件检测，人跟踪和公共安全的重要课题。有许多方法提出了人类识别，例如面部识别，人重新识别和步态识别。通常，现有方法主要将查询图像分类为图像库集合（I2i）中的特定标识。这对场景非常有限，其中仅在广泛的视频监控应用程序（A2i或I2a）中提供了查询或属性库集合的文本描述。然而，非常少量的努力已经致力于无模式识别，即，以可扩展的方式识别在库中设置的查询。在这项工作中，我们采取初步尝试，并以可扩展的方式制定这样一种新的无模式人类识别（命名为MFHI）任务作为通用零射击学习模型。同时，它能够通过学习每个身份的鉴别性原型来弥合视觉和语义模态。此外，在视觉模型上强制执行语义引导的空间注意，以获得具有高全局类别级和本地属性级别辨别的表示。最后，我们在两个共同挑战的识别任务中设计和开展广泛的实验，包括面部识别和人员重新识别，证明我们的方法优于一种在无模式人体识别方面的各种最先进的方法。

基于文本的人搜索是一项具有挑战性的任务，旨在搜索具有查询文本描述的图像库中具有相同身份的行人图像。近年来，基于文本的人搜索取得了良好的进步，而最先进的方法通过学习图像和文本之间的本地细粒度对应来实现出色的性能。但是，现有方法通过手工制作的拆分或外部工具从图像和文本中明确提取图像零件和文本短语，然后进行复杂的跨模式本地匹配。此外，现有方法很少考虑由图像特定信息引起的方式之间的信息不平等问题。在本文中，我们提出了一个有效的联合信息和语义对齐网络（ISANET），用于基于文本的人搜索。具体而言，我们首先设计一个特定图像的信息抑制模块，该模块分别通过关系引导定位和通道注意过滤抑制图像背景和环境因素。该设计可以有效地减轻信息不平等问题，并实现图像和文本之间的信息对齐。其次，我们建议一个隐性的本地对齐模块，以将图像和文本功能适应一组模态共享的语义主题中心，并隐式地学习图像和文本之间的本地细粒度对应关系，而无需其他监督信息和复杂的跨模式互动。此外，引入了全球一致性作为当地观点的补充。在多个数据库上进行的广泛实验证明了所提出的ISANET的有效性和优势。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

跨模式的人重新识别（RE-ID）对于现代视频监视系统至关重要。关键的挑战是与一个人提供的语义信息引起的跨模式表示，并忽略背景信息。这项工作介绍了一种新型的基于卷积神经网络（CNN）的体系结构，旨在学习语义上的跨模式视觉和文本表示。基础构建块，名为Axm-block，是一个统一的多层网络，该网络会动态利用多尺度知识，并根据共享语义重新校准每种模式。为了补充卷积设计，在文本分支中应用上下文注意力以操纵长期依赖性。此外，我们提出了一种独特的设计，以增强基于视觉零件的功能连贯性和局部性信息。我们的框架具有新颖的能力，可以在功能学习阶段隐式学习模式之间的一致语义。统一的特征学习有效地利用文本数据作为视觉表示学习的超级注释信号，并自动拒绝无关的信息。整个AXM-NET经过Cuhk-Pedes数据的端到端训练。我们报告了两个任务的结果，即人搜索和跨模式重新ID。 AXM-NET优于当前最新方法（SOTA）方法，并在Cuhk-Pedes测试集上获得64.44 \％等级@1。在Crossre-ID和Cuhk-Sysu数据集中，它还胜过竞争对手的竞争对手$> $ 10 \％。

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。

广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

少数拍摄识别旨在在低数据制度下识别新型类别。由于图像的稀缺性，机器不能获得足够的有效信息，并且模型的泛化能力极弱。通过使用辅助语义模式​​，基于最近的公制学习的少量学习方法已经取得了有希望的表现。但是，这些方法仅增强了支持类的表示，而查询图像没有语义模态信息以增强表示。相反，我们提出了属性形状的学习（ASL），其可以将可视化表示标准化以预测查询图像的属性。我们进一步设计了一个属性 - 视觉注意力模块（Avam），它利用属性来生成更多辨别特征。我们的方法使视觉表示能够专注于具有属性指导的重要区域。实验表明，我们的方法可以在幼崽和太阳基准上实现竞争结果。我们的代码可用于{https://github.com/chenhaoxing/asl}。

文本对象的重新识别（REID）旨在通过文本描述搜索感兴趣的身份的行人图像。由于丰富的模式内变化和明显的模式间差异，这是具有挑战性的。现有作品通常忽略两种方式之间的特征粒度差异，即，视觉特征通常是细粒度的，而文本特征则粗糙，这主要负责大型模式间间隙。在本文中，我们提出了一个基于变形金刚的端到端框架，以学习两种模式的粒度统一表示，称为LGUR。 LGUR框架包含两个模块：基于字典的粒度比对（DGA）模块和基于原型的粒度统一（PGU）模块。在DGA中，为了使两种模式的粒度对齐，我们引入了一个多模式共享词典（MSD）以重建视觉和文本特征。此外，DGA还具有两个重要因素，即跨模式指导和以前景为中心的重建，以促进MSD的优化。在PGU中，我们采用一组共享和可学习的原型作为查询，以提取粒度统一特征空间中这两种方式的多样化和语义对齐特征，从而进一步促进了REID的性能。综合实验表明，我们的LGUR在Cuhk-Pedes和ICFG-Pedes数据集上始终以大幅度的优势优于最先进的东西。代码将在https://github.com/zhiyinshao-h/lgur上发布。

基于文本的人检索的核心问题是如何弥合多模式数据之间的异质差距。以前的许多方法，用于学习以\ textbf {交叉模式分布共识预测（CDCP）}方式学习潜在的常见歧管映射范式。当将某个模态分布到公共歧管中的映射特征时，相反模态的特征分布是完全不可见的。也就是说，如何实现跨模式分布共识，以便将多模式特征嵌入和对齐构建的跨模式公共歧管中，这完全取决于模型本身的经验，而不是实际情况。通过这种方法，不可避免的是，多模式数据在共同的歧管中不能很好地对齐，这最终导致了次优的检索性能。为了克服此\ textbf {CDCP困境}，我们提出了一种称为lbul的新颖算法，以学习基于文本的人检索的一致的跨模式公共歧管（C $^{3} $ M）。正如中文的谚语所说，我们方法的核心思想是``\ textit {san si er hou xing}'，即\ textbf {thee thee thee thee thee you lap leak（lbul）}。 LBUL的常见歧管映射机制包含一个看起来的步骤和跳跃步骤。与基于CDCP的方法相比，LBUL考虑了视觉和文本方式的分布特征，然后将数据从某种模式嵌入到C $^{3} $ M中以获得更固体的交叉模式分布共识，从而获得了优质检索准确性。我们对两个基于文本的人检索数据集Cuhk-Pedes和RSTPREID评估了建议的方法。实验结果表明，所提出的LBUL胜过先前的方法，并实现了最新的性能。

从图像中学习代表，健壮和歧视性信息对于有效的人重新识别（RE-ID）至关重要。在本文中，我们提出了一种基于身体和手部图像的人重新ID的端到端判别深度学习的复合方法。我们仔细设计了本地感知的全球注意力网络（Laga-Net），这是一个多分支深度网络架构，由一个用于空间注意力的分支组成，一个用于渠道注意。注意分支集中在图像的相关特征上，同时抑制了无关紧要的背景。为了克服注意力机制的弱点，与像素改组一样，我们将相对位置编码整合到空间注意模块中以捕获像素的空间位置。全球分支机构打算保留全球环境或结构信息。对于打算捕获细粒度信息的本地分支，我们进行统一的分区以水平在Conv-Layer上生成条纹。我们通过执行软分区来检索零件，而无需明确分区图像或需要外部线索，例如姿势估计。一组消融研究表明，每个组件都会有助于提高拉加网络的性能。对四个受欢迎的人体重新ID基准和两个公开可用的手数据集的广泛评估表明，我们的建议方法始终优于现有的最新方法。

感谢您的跨模式检索技术，通过将它们投射到一个共同的空间中，可以在24小时的监视系统中重新进行重新识别，从而实现了可见的信号（RGB-IR）重新识别（RE-ID）。但是，关于探测到探测器，几乎所有现有的基于RGB-IR的跨模式人RE-ID方法都集中在图像到图像匹配上，而视频对视频匹配包含更丰富的空间 - 和时间信息仍未探索。在本文中，我们主要研究基于视频的跨模式人Re-ID方法。为了实现这项任务，构建了一个基于视频的RGB-IR数据集，其中927个有效身份，具有463,259帧和21,863个曲目，由12个RGB/IR摄像机捕获。基于我们构造的数据集，我们证明，随着曲目中帧的增加，该性能确实达到了更多的增强功能，证明了视频对视频匹配在RGB-IR RE-ID中的重要性。此外，进一步提出了一种新颖的方法，不仅将两种模态投射到模态不变子空间，而且还提取了运动不变的时间记忆。多亏了这两种策略，我们基于视频的跨模式人重新ID取得了更好的结果。代码和数据集以：https：//github.com/vcmproject233/mitml发布。

可见的红外人员重新识别（REID）旨在认识到RGB和IR摄像机网络中的同一个人。一些深度学习（DL）模型已直接纳入了两种模式，以在联合表示空间中区分人。但是，由于RGB和IR模式之间数据分布的较大域转移，因此这个跨模式的REID问题仍然具有挑战性。 ％本文引入了一种新的方法，用于创建中间虚拟域，该域在训练过程中充当两个主要领域（即RGB和IR模式）之间的桥梁。该中间域被视为在测试时间无法获得的特权信息（PI），并允许将此跨模式匹配任务制定为在特权信息（LUPI）下学习的问题。我们设计了一种新方法，以在可见的和红外域之间生成图像，这些方法提供了其他信息，以通过中间域的适应来训练深层REID模型。特别是，通过在训练过程中采用无色和多步三重态损失目标，我们的方法提供了通用的特征表示空间，这些空间对大型可见的红外域移动具有牢固的功能。 ％关于挑战性可见红外REID数据集的实验结果表明，我们提出的方法始终提高匹配的准确性，而在测试时没有任何计算开销。该代码可在：\ href {https://github.com/alehdaghi/cross-modal-re-id-iid-via-lupi} {https://github.com/alehdaghi/alehdaghi/cross-modal-re-re-id-i-id--i- id-i--i- id-id-i--i--via-lupi} { Via-Lupi}

跨模型检索（CMR）是多式化计算和信息检索的重要研究主题，它将一种类型的数据作为查询来检索另一种类型的相关数据，并且已广泛用于许多现实世界应用程序。最近，由剪辑代表的视觉语言预训练模型表明了其在各种视觉和语言相关任务方面学习视觉和文本表示的优势及其令人印象深刻的性能。虽然剪辑以及以前的预训练模型表现出令人遗憾的CMR性能改善，但由于缺乏多式联级关联，很少探索这些预测模型对监督CMR的训练模型的性能和影响。在本文中，我们将剪辑作为当前代表性的视觉 - 语言预训练模型，进行全面的实证研究，并提供对其性能和对监督CMR的影响的见解。为此，我们首先提出了一种新颖的模型剪辑4cmr（\ textBF {Clip for}监督\ textbf {c} ross- \ textbf {m} odal \ textbf {r} etrieval），该剪辑作为骨干网络来执行监督CMR。然后，我们在CMR中重新审视现有的损失函数设计，包括最常见的一对损失，类明智的损失和混合动力车，并提供对应用夹子的见解。此外，我们调查了监督CMR中的几个有关问题，并通过CLIP4CMR为该领域提供了新的视角，包括对模态不平衡的鲁棒性和对超参数的敏感性。广泛的实验结果表明，CLIP4CMR实现了SOTA的结果，在基准数据集维基百科，Nus-rive，Pascal句子和XMediaet上有重大改进。我们的数据和代码在https://github.com/zhixiongz/clip4cmr上公开提供。

In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.

Person re-identification is a challenging task because of the high intra-class variance induced by the unrestricted nuisance factors of variations such as pose, illumination, viewpoint, background, and sensor noise. Recent approaches postulate that powerful architectures have the capacity to learn feature representations invariant to nuisance factors, by training them with losses that minimize intra-class variance and maximize inter-class separation, without modeling nuisance factors explicitly. The dominant approaches use either a discriminative loss with margin, like the softmax loss with the additive angular margin, or a metric learning loss, like the triplet loss with batch hard mining of triplets. Since the softmax imposes feature normalization, it limits the gradient flow supervising the feature embedding. We address this by joining the losses and leveraging the triplet loss as a proxy for the missing gradients. We further improve invariance to nuisance factors by adding the discriminative task of predicting attributes. Our extensive evaluation highlights that when only a holistic representation is learned, we consistently outperform the state-of-the-art on the three most challenging datasets. Such representations are easier to deploy in practical systems. Finally, we found that joining the losses removes the requirement for having a margin in the softmax loss while increasing performance.

Person re-identification plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. Recently, leveraging the supervised or semi-unsupervised learning paradigms, which benefits from the large-scale datasets and strong computing performance, has achieved a competitive performance on a specific target domain. However, when Re-ID models are directly deployed in a new domain without target samples, they always suffer from considerable performance degradation and poor domain generalization. To address this challenge, we propose a Deep Multimodal Fusion network to elaborate rich semantic knowledge for assisting in representation learning during the pre-training. Importantly, a multimodal fusion strategy is introduced to translate the features of different modalities into the common space, which can significantly boost generalization capability of Re-ID model. As for the fine-tuning stage, a realistic dataset is adopted to fine-tune the pre-trained model for better distribution alignment with real-world data. Comprehensive experiments on benchmarks demonstrate that our method can significantly outperform previous domain generalization or meta-learning methods with a clear margin. Our source code will also be publicly available at https://github.com/JeremyXSC/DMF.

Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.

基于文本的人检索旨在根据文本描述找到查询人员。关键是学习视觉文本模式之间的常见潜在空间映射。为了实现这一目标，现有的作品采用细分来获得明确的跨模式对齐方式或利用注意力来探索显着对准。这些方法有两个缺点：1）标记交叉模式比对很耗时。 2）注意方法可以探索显着的跨模式对齐，但可能会忽略一些微妙而有价值的对。为了缓解这些问题，我们为基于文本的人检索引入了一个隐式视觉文本（IVT）框架。与以前的模型不同，IVT利用单个网络来学习两种模式的表示形式，这有助于视觉文本相互作用。为了探索细粒的对准，我们进一步提出了两个隐式语义比对范式：多级比对（MLA）和双向掩码建模（BMM）。 MLA模块在句子，短语和单词级别上探索了更精细的匹配，而BMM模块旨在挖掘视觉和文本模态之间的\ textbf {更多}语义对齐。进行了广泛的实验，以评估公共数据集中提出的IVT，即Cuhk-Pedes，RSTPREID和ICFG-PEDES。即使没有明确的身体部位对准，我们的方法仍然可以达到最先进的表现。代码可在以下网址获得：https：//github.com/tencentyouturesearch/personretrieval-ivt。

Image-text retrieval (ITR) is a challenging task in the field of multimodal information processing due to the semantic gap between different modalities. In recent years, researchers have made great progress in exploring the accurate alignment between image and text. However, existing works mainly focus on the fine-grained alignment between image regions and sentence fragments, which ignores the guiding significance of context background information. Actually, integrating the local fine-grained information and global context background information can provide more semantic clues for retrieval. In this paper, we propose a novel Hierarchical Graph Alignment Network (HGAN) for image-text retrieval. First, to capture the comprehensive multimodal features, we construct the feature graphs for the image and text modality respectively. Then, a multi-granularity shared space is established with a designed Multi-granularity Feature Aggregation and Rearrangement (MFAR) module, which enhances the semantic corresponding relations between the local and global information, and obtains more accurate feature representations for the image and text modalities. Finally, the ultimate image and text features are further refined through three-level similarity functions to achieve the hierarchical alignment. To justify the proposed model, we perform extensive experiments on MS-COCO and Flickr30K datasets. Experimental results show that the proposed HGAN outperforms the state-of-the-art methods on both datasets, which demonstrates the effectiveness and superiority of our model.