基于文本的人搜索是一项具有挑战性的任务，旨在搜索具有查询文本描述的图像库中具有相同身份的行人图像。近年来，基于文本的人搜索取得了良好的进步，而最先进的方法通过学习图像和文本之间的本地细粒度对应来实现出色的性能。但是，现有方法通过手工制作的拆分或外部工具从图像和文本中明确提取图像零件和文本短语，然后进行复杂的跨模式本地匹配。此外，现有方法很少考虑由图像特定信息引起的方式之间的信息不平等问题。在本文中，我们提出了一个有效的联合信息和语义对齐网络（ISANET），用于基于文本的人搜索。具体而言，我们首先设计一个特定图像的信息抑制模块，该模块分别通过关系引导定位和通道注意过滤抑制图像背景和环境因素。该设计可以有效地减轻信息不平等问题，并实现图像和文本之间的信息对齐。其次，我们建议一个隐性的本地对齐模块，以将图像和文本功能适应一组模态共享的语义主题中心，并隐式地学习图像和文本之间的本地细粒度对应关系，而无需其他监督信息和复杂的跨模式互动。此外，引入了全球一致性作为当地观点的补充。在多个数据库上进行的广泛实验证明了所提出的ISANET的有效性和优势。

Image-text retrieval (ITR) is a challenging task in the field of multimodal information processing due to the semantic gap between different modalities. In recent years, researchers have made great progress in exploring the accurate alignment between image and text. However, existing works mainly focus on the fine-grained alignment between image regions and sentence fragments, which ignores the guiding significance of context background information. Actually, integrating the local fine-grained information and global context background information can provide more semantic clues for retrieval. In this paper, we propose a novel Hierarchical Graph Alignment Network (HGAN) for image-text retrieval. First, to capture the comprehensive multimodal features, we construct the feature graphs for the image and text modality respectively. Then, a multi-granularity shared space is established with a designed Multi-granularity Feature Aggregation and Rearrangement (MFAR) module, which enhances the semantic corresponding relations between the local and global information, and obtains more accurate feature representations for the image and text modalities. Finally, the ultimate image and text features are further refined through three-level similarity functions to achieve the hierarchical alignment. To justify the proposed model, we perform extensive experiments on MS-COCO and Flickr30K datasets. Experimental results show that the proposed HGAN outperforms the state-of-the-art methods on both datasets, which demonstrates the effectiveness and superiority of our model.

跨模式的人重新识别（RE-ID）对于现代视频监视系统至关重要。关键的挑战是与一个人提供的语义信息引起的跨模式表示，并忽略背景信息。这项工作介绍了一种新型的基于卷积神经网络（CNN）的体系结构，旨在学习语义上的跨模式视觉和文本表示。基础构建块，名为Axm-block，是一个统一的多层网络，该网络会动态利用多尺度知识，并根据共享语义重新校准每种模式。为了补充卷积设计，在文本分支中应用上下文注意力以操纵长期依赖性。此外，我们提出了一种独特的设计，以增强基于视觉零件的功能连贯性和局部性信息。我们的框架具有新颖的能力，可以在功能学习阶段隐式学习模式之间的一致语义。统一的特征学习有效地利用文本数据作为视觉表示学习的超级注释信号，并自动拒绝无关的信息。整个AXM-NET经过Cuhk-Pedes数据的端到端训练。我们报告了两个任务的结果，即人搜索和跨模式重新ID。 AXM-NET优于当前最新方法（SOTA）方法，并在Cuhk-Pedes测试集上获得64.44 \％等级@1。在Crossre-ID和Cuhk-Sysu数据集中，它还胜过竞争对手的竞争对手$> $ 10 \％。

基于文本的人员搜索旨在通过文本描述检索某个行人的图像。此任务的关键挑战是消除模态间隙，并在模态中实现特征对齐。在本文中，我们提出了一种用于基于文本的人员搜索的语义对齐方法，其中通过自动学习语义对齐的视觉特征和文本特征来实现模态的特征对齐。首先，我们介绍了两个变换器的骨干，以编码图像和文本的强大特征表示。其次，我们设计了一个语义对齐的特征聚合网络，以便自适应地选择和聚合具有相同语义的特征，进入部分感知功能，该功能是通过跨模型部分对齐损耗和分集丢失约束的多头注意模块实现的。Cuhk-Pedes和Flickr30K数据集上的实验结果表明，我们的方法实现了最先进的表演。

给定自然语言描述，基于文本的人检索旨在从大规模人物图像数据库中识别目标人的图像。现有方法通常面对\ textbf {颜色过度盟军问题}，这意味着在匹配跨模式数据时，模型在很大程度上依赖颜色信息。实际上，颜色信息是检索的重要决策，但是对颜色的过度依赖会分散模型从其他关键线索（例如纹理信息，结构信息等）中分散注意力，从而导致了次优的检索表现。为了解决这个问题，在本文中，我们建议\ textbf {c} apture \ textbf {a} ll-round \ textbf {i} nformation \ textbf {b} eyond \ textbf {c} olor（c} olor（ ）通过用于基于文本的人检索的共同优化的多分支体系结构。 CAIBC包含三个分支，包括RGB分支，灰度（GRS）分支和颜色（CLR）分支。此外，为了以平衡和有效的方式充分使用全方位信息，采用了相互学习机制来启用三个分支，这些分支可以参与信息的各个方面，以相互交流和学习。进行了广泛的实验分析，以评估我们在\ textbf {有监督}和\ textbf {弱监督}基于文本的人检索的\ textbf {pertexbf {pertegbf {pertegbf {cuhk-pedes和rstpreid数据集上的提议的CAIBC方法，这表明CAIBC显着超过现有的方法和现有方法。在这三个任务上实现最先进的性能。

文本对象的重新识别（REID）旨在通过文本描述搜索感兴趣的身份的行人图像。由于丰富的模式内变化和明显的模式间差异，这是具有挑战性的。现有作品通常忽略两种方式之间的特征粒度差异，即，视觉特征通常是细粒度的，而文本特征则粗糙，这主要负责大型模式间间隙。在本文中，我们提出了一个基于变形金刚的端到端框架，以学习两种模式的粒度统一表示，称为LGUR。 LGUR框架包含两个模块：基于字典的粒度比对（DGA）模块和基于原型的粒度统一（PGU）模块。在DGA中，为了使两种模式的粒度对齐，我们引入了一个多模式共享词典（MSD）以重建视觉和文本特征。此外，DGA还具有两个重要因素，即跨模式指导和以前景为中心的重建，以促进MSD的优化。在PGU中，我们采用一组共享和可学习的原型作为查询，以提取粒度统一特征空间中这两种方式的多样化和语义对齐特征，从而进一步促进了REID的性能。综合实验表明，我们的LGUR在Cuhk-Pedes和ICFG-Pedes数据集上始终以大幅度的优势优于最先进的东西。代码将在https://github.com/zhiyinshao-h/lgur上发布。

基于文本的人检索旨在根据文本描述找到查询人员。关键是学习视觉文本模式之间的常见潜在空间映射。为了实现这一目标，现有的作品采用细分来获得明确的跨模式对齐方式或利用注意力来探索显着对准。这些方法有两个缺点：1）标记交叉模式比对很耗时。 2）注意方法可以探索显着的跨模式对齐，但可能会忽略一些微妙而有价值的对。为了缓解这些问题，我们为基于文本的人检索引入了一个隐式视觉文本（IVT）框架。与以前的模型不同，IVT利用单个网络来学习两种模式的表示形式，这有助于视觉文本相互作用。为了探索细粒的对准，我们进一步提出了两个隐式语义比对范式：多级比对（MLA）和双向掩码建模（BMM）。 MLA模块在句子，短语和单词级别上探索了更精细的匹配，而BMM模块旨在挖掘视觉和文本模态之间的\ textbf {更多}语义对齐。进行了广泛的实验，以评估公共数据集中提出的IVT，即Cuhk-Pedes，RSTPREID和ICFG-PEDES。即使没有明确的身体部位对准，我们的方法仍然可以达到最先进的表现。代码可在以下网址获得：https：//github.com/tencentyouturesearch/personretrieval-ivt。

基于文本的人检索的核心问题是如何弥合多模式数据之间的异质差距。以前的许多方法，用于学习以\ textbf {交叉模式分布共识预测（CDCP）}方式学习潜在的常见歧管映射范式。当将某个模态分布到公共歧管中的映射特征时，相反模态的特征分布是完全不可见的。也就是说，如何实现跨模式分布共识，以便将多模式特征嵌入和对齐构建的跨模式公共歧管中，这完全取决于模型本身的经验，而不是实际情况。通过这种方法，不可避免的是，多模式数据在共同的歧管中不能很好地对齐，这最终导致了次优的检索性能。为了克服此\ textbf {CDCP困境}，我们提出了一种称为lbul的新颖算法，以学习基于文本的人检索的一致的跨模式公共歧管（C $^{3} $ M）。正如中文的谚语所说，我们方法的核心思想是``\ textit {san si er hou xing}'，即\ textbf {thee thee thee thee thee you lap leak（lbul）}。 LBUL的常见歧管映射机制包含一个看起来的步骤和跳跃步骤。与基于CDCP的方法相比，LBUL考虑了视觉和文本方式的分布特征，然后将数据从某种模式嵌入到C $^{3} $ M中以获得更固体的交叉模式分布共识，从而获得了优质检索准确性。我们对两个基于文本的人检索数据集Cuhk-Pedes和RSTPREID评估了建议的方法。实验结果表明，所提出的LBUL胜过先前的方法，并实现了最新的性能。

人类识别是事件检测，人跟踪和公共安全的重要课题。有许多方法提出了人类识别，例如面部识别，人重新识别和步态识别。通常，现有方法主要将查询图像分类为图像库集合（I2i）中的特定标识。这对场景非常有限，其中仅在广泛的视频监控应用程序（A2i或I2a）中提供了查询或属性库集合的文本描述。然而，非常少量的努力已经致力于无模式识别，即，以可扩展的方式识别在库中设置的查询。在这项工作中，我们采取初步尝试，并以可扩展的方式制定这样一种新的无模式人类识别（命名为MFHI）任务作为通用零射击学习模型。同时，它能够通过学习每个身份的鉴别性原型来弥合视觉和语义模态。此外，在视觉模型上强制执行语义引导的空间注意，以获得具有高全局类别级和本地属性级别辨别的表示。最后，我们在两个共同挑战的识别任务中设计和开展广泛的实验，包括面部识别和人员重新识别，证明我们的方法优于一种在无模式人体识别方面的各种最先进的方法。

最近，跨模式的预训练任务一直是一个热点，因为它在各种下文研究中广泛应用，包括检索，字幕，问题答案等。然而，退出的方法采用单媒体预训练模型来探索进行跨模式检索的联合视觉表示，这很容易遭受计算爆炸的影响。此外，尽管常规的双流结构非常有效，但它们仍然缺乏重要的跨模式相互作用，导致性能低。在这些挑战的激励下，我们提出了一个对比的跨模式知识共享预训练（Cookie），以掌握联合文本图像表示。从结构上讲，Cookie由于可接受的时间消耗而采用了传统的双流结构。为了克服上述双流结构的固有缺陷，我们精心设计了两个有效的模块。具体而言，第一个模块是一个体重共享的变压器，它构建在视觉和文本编码器的头上，旨在将语义对齐文本和图像对齐。该设计使视觉和文本路径集中在相同的语义上。另一个是三个专门设计的对比学习，旨在分享不同模型之间的知识。共享的跨模式知识大大发展了单峰表示的研究，从而促进了单模式检索任务。对多模式匹配研究的广泛实验结果，包括跨模式检索，文本匹配和图像检索揭示了我们的计算效率和我们预训练模型的统计指标的上级。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

Image-text retrieval in remote sensing aims to provide flexible information for data analysis and application. In recent years, state-of-the-art methods are dedicated to ``scale decoupling'' and ``semantic decoupling'' strategies to further enhance the capability of representation. However, these previous approaches focus on either the disentangling scale or semantics but ignore merging these two ideas in a union model, which extremely limits the performance of cross-modal retrieval models. To address these issues, we propose a novel Scale-Semantic Joint Decoupling Network (SSJDN) for remote sensing image-text retrieval. Specifically, we design the Bidirectional Scale Decoupling (BSD) module, which exploits Salience Feature Extraction (SFE) and Salience-Guided Suppression (SGS) units to adaptively extract potential features and suppress cumbersome features at other scales in a bidirectional pattern to yield different scale clues. Besides, we design the Label-supervised Semantic Decoupling (LSD) module by leveraging the category semantic labels as prior knowledge to supervise images and texts probing significant semantic-related information. Finally, we design a Semantic-guided Triple Loss (STL), which adaptively generates a constant to adjust the loss function to improve the probability of matching the same semantic image and text and shorten the convergence time of the retrieval model. Our proposed SSJDN outperforms state-of-the-art approaches in numerical experiments conducted on four benchmark remote sensing datasets.

除了考虑人类姿势和遮挡引起的识别难度外，还必须解决可见的 - 热跨模式重新识别（VT-REID）任务中不同成像系统引起的模态差异。在本文中，我们提出了跨模式的局部最短路径和全局增强（CM-LSP-GE）模块，这是一个基于本地和全局特征联合学习的两流网络。我们论文的核心思想是使用局部功能对准来解决遮挡问题，并通过增强全球功能来解决模态差异。首先，基于注意力的两流重新系统网络旨在提取双模式特征并映射到统一的特征空间。然后，为了解决跨模式的人姿势和遮挡问题，将图像水平切成几个相等的部分以获得局部特征，并且使用两个图之间的局部特征中最短路径来实现细粒度的局部特征对齐。第三，批归归式化的增强模块应用了全局特征来增强策略，从而导致不同类别之间的差异增强。多粒度损失融合策略进一步提高了算法的性能。最后，使用本地和全球特征的联合学习机制用于提高跨模式的重新识别精度。两个典型数据集的实验结果表明，我们的模型显然优于最先进的方法。尤其是在SYSU-MM01数据集上，我们的模型在Rank-1和MAP的所有搜索术语中都可以获得2.89％和7.96％的增益。源代码将很快发布。

我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。

图像文本检索（ITR）在桥接视觉和舌形式方面具有挑战性。对比度学习已被大多数先前的艺术所采用。除了有限的负面图像文本对外，约束学习的能力受到手动加权负对以及对外部知识的不认识的限制。在本文中，我们提出了新型耦合多样性敏感的动量约束学习（编码器），以改善跨模式表示。首先，发明了一种新颖的多样性对比度学习（DCL）体系结构。我们引入了两种模式的动态词典，以扩大图像文本对的比例，并且通过自适应负面对加权实现多样性敏感性。此外，编码器设计了两个分支。一个人从图像/文本中学习实例级的嵌入式，它还基于其嵌入为其输入图像/文本生成伪在线聚类标签。同时，另一个分支学会从常识知识图中查询以形成两种模式的概念级描述符。之后，两个分支都利用DCL来对齐跨模式嵌入空间，而额外的伪聚类标签预测损失则用于促进第二个分支的概念级表示学习。在两个流行的基准测试（即Mscoco和Flicker30k）上进行的广泛实验，验证编码器的表现明显优于最先进的方法。

Video-Text检索（VTR）是多模式理解的一项有吸引力但具有挑战性的任务，该任务旨在在给定查询（视频）的情况下搜索相关的视频（文本）。现有方法通常采用完全异构的视觉文本信息来对齐视频和文本，同时缺乏对这两种模式中均匀的高级语义信息的认识。为了填补这一差距，在这项工作中，我们提出了一个新颖的视觉语言对准模型，名为VTR Hise，该模型通过合并显式高级语义来改善跨模式的表示。首先，我们探讨了显式高级语义的层次结构属性，并将其进一步分为两个级别，即离散的语义和整体语义。具体来说，对于视觉分支，我们利用了现成的语义实体预测器来生成离散的高级语义。同时，采用训练有素的视频字幕模型来输出整体高级语义。至于文本方式，我们将文本分为三个部分，包括发生，动作和实体。特别是，这种情况对应于整体高级语义，同时动作和实体代表离散的语义。然后，利用不同的图推理技术来促进整体和离散的高级语义之间的相互作用。广泛的实验表明，借助明确的高级语义，我们的方法在包括MSR-VTT，MSVD和DIDEMO在内的三个基准数据集上实现了优于最先进方法的卓越性能。

遮挡对人重新识别（Reid）构成了重大挑战。现有方法通常依赖于外部工具来推断可见的身体部位，这在计算效率和Reid精度方面可能是次优。特别是，在面对复杂的闭塞时，它们可能会失败，例如行人之间的遮挡。因此，在本文中，我们提出了一种名为M质量感知部分模型（QPM）的新方法，用于遮挡鲁棒Reid。首先，我们建议共同学习零件特征和预测部分质量分数。由于没有提供质量注释，我们介绍了一种自动将低分分配给闭塞体部位的策略，从而削弱了遮挡体零落在Reid结果上的影响。其次，基于预测部分质量分数，我们提出了一种新颖的身份感知空间关注（ISA）模块。在该模块中，利用粗略标识感知功能来突出目标行人的像素，以便处理行人之间的遮挡。第三，我们设计了一种自适应和有效的方法，用于了解来自每个图像对的共同非遮挡区域的全局特征。这种设计至关重要，但经常被现有方法忽略。 QPM有三个关键优势：1）它不依赖于培训或推理阶段的任何外部工具; 2）它处理由物体和其他行人引起的闭塞; 3）它是高度计算效率。对闭塞Reid的四个流行数据库的实验结果证明QPM始终如一地以显着的利润方式优于最先进的方法。 QPM代码将被释放。

基于内容的图像检索（CIR）旨在通过同时理解示例图像和互补文本的组成来搜索目标图像，这可能会影响各种各样的现实世界应用，例如互联网搜索和时尚检索。在这种情况下，输入图像是搜索的直观上下文和背景，而相应的语言明确请求有关如何修改查询图像的特定特征以获取预期目标图像的新特征。此任务具有挑战性，因为它需要通过合并跨粒度语义更新来学习和理解复合图像文本表示。在本文中，我们通过小说\下划线{\ textbf {b}}来解决此任务\ textbf {s}} ition（\ textbf {boss}）带有混合反事实训练框架，通过从两个先前被忽视的角度研究它，从而为CIR任务提供了新的启示：\ emph {隐式自下而上的自下而上的sisitiol语言表示}和sisiol语言表示}和\ emph {显式晶状体构造的明显细粒度对应}。一方面，我们利用了从底部本地特征到顶部全局语义的跨模式嵌入的隐式相互作用和组成，从而保留和转换视觉表示在多个连续步骤中以语言语义为条件的视觉表示，以进行有效的目标图像搜索。另一方面，我们设计了一种混合反事实培训策略，可以减少模型对类似查询的歧义。

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。