基于图形的模型最近在人的重新识别任务中取得了巨大的成功,该任务首先计算了不同人之间的图形拓扑结构(亲和力),然后将信息传递给他们的信息以实现更强的功能。但是,我们在可见的红外人员重新识别任务(VI-REID)中发现了现有的基于图的方法,因为有两个问题:1)火车测试模式平衡差距,这是VI-REID任务的属性。两个模式数据的数量在训练阶段平衡,但推理极为不平衡,导致基于图的VI-REID方法的概括较低。 2)由图形模块的端到端学习方式引起的亚最佳拓扑结构。我们分析训练有素的输入特征会削弱图形拓扑的学习,从而使其在推理过程中不够概括。在本文中,我们提出了一种反事实干预特征转移(CIFT)方法来解决这些问题。具体而言,均匀和异质的特征转移(H2FT)旨在通过两种独立的设计的图形模块和不平衡的场景模拟来减少火车测试模态差距。此外,提出了反事实关系干预(CRI)来利用反事实干预和因果效应工具来突出拓扑结构在整个训练过程中的作用,这使图形拓扑结构更加可靠。对标准VI-REID基准测试的广泛实验表明,CIFT在各种设置下都优于最新方法。
translated by 谷歌翻译
可见红外人重新识别(VI RE-ID)旨在使可见和红外模式之间的人物图像匹配。现有的VI RE-ID方法主要集中在图像中提取均匀的结构关系,即局部特征之间的关系,同时忽略不同方式中局部特征的异构相关性。异构结构化关系对于学习有效的身份表示并执行跨模式匹配至关重要。在本文中,我们通过单独的模态的模态特定图来模拟均匀结构关系,然后与可见光和红外模态的模态特定图挖掘异质结构相关性。首先,均匀的结构图(HOSG)占地一流的矿物,任意节点(本地特征)与可见或红外图像中的所有REST节点之间的静态关系,以学习有效的身份表示。其次,为了找到跨型号身份 - 一致的对应关系,异构曲线图对齐模块(HGGAM)进一步测量了通过路由搜索方式的两个模式的局部节点特征之间的关系边缘强度。第三,我们提出了跨模型互相关(CMCC)丢失来提取可见和红外图形的特征​​表示的模态不变性。 CMCC计算模态之间的相互信息,并驱逐语义冗余。对Sysu-MM01和RegDB数据集的广泛实验表明,我们的方法优于最先进的最先进,增益为13.73 \%和9.45 \%Rank1 / Map。该代码可在https://github.com/fegnyujian/homerneous-和 - obeterogeneous-relional-agraphy获得。
translated by 谷歌翻译
学习模态不变功能是可见热跨模板人员重新凝视(VT-REID)问题的核心,其中查询和画廊图像来自不同的模式。现有工作通过使用对抗性学习或仔细设计特征提取模块来隐式地将像素和特征空间中的模态对齐。我们提出了一个简单但有效的框架MMD-REID,通过明确的差异减少约束来降低模态差距。 MMD-REID从最大均值(MMD)中获取灵感,广泛使用的统计工具用于确定两个分布之间的距离。 MMD-REID采用新的基于边缘的配方,以匹配可见和热样品的类条件特征分布,以最大限度地减少级别的距离,同时保持特征辨别性。 MMD-Reid是一个简单的架构和损失制定方面的框架。我们对MMD-REID的有效性进行了广泛的实验,以使MMD-REID对调整边缘和阶级条件分布的有效性,从而学习模型无关和身份的一致特征。所提出的框架显着优于Sysu-MM01和RegDB数据集的最先进的方法。代码将在https://github.com/vcl-iisc/mmd -reid发布
translated by 谷歌翻译
Visible-Infrared Person Re-Identification (VI-ReID) is a challenging retrieval task under complex modality changes. Existing methods usually focus on extracting discriminative visual features while ignoring the reliability and commonality of visual features between different modalities. In this paper, we propose a novel deep learning framework named Progressive Modality-shared Transformer (PMT) for effective VI-ReID. To reduce the negative effect of modality gaps, we first take the gray-scale images as an auxiliary modality and propose a progressive learning strategy. Then, we propose a Modality-Shared Enhancement Loss (MSEL) to guide the model to explore more reliable identity information from modality-shared features. Finally, to cope with the problem of large intra-class differences and small inter-class differences, we propose a Discriminative Center Loss (DCL) combined with the MSEL to further improve the discrimination of reliable features. Extensive experiments on SYSU-MM01 and RegDB datasets show that our proposed framework performs better than most state-of-the-art methods. For model reproduction, we release the source code at https://github.com/hulu88/PMT.
translated by 谷歌翻译
为了应对复杂的照明环境中的车辆重新识别(RE-ID)的挑战,由于其出色的互补优势,因此考虑了多光谱来源,例如可见和红外信息。然而,多光谱的车辆重新ID遭受了由不同模态的异质特性以及各种身份不同视图的各种外观的巨大挑战引起的交叉模式差异。同时,各种环境干扰会导致每种方式中的样本分布差异很大。在这项工作中,我们提出了一个新型的跨方向一致性网络,以同时克服与模式和样本方面的差异。特别是,我们设计了一个新的跨方向中心损失,以将每个身份的模态中心拉动接近减轻的跨模式差异,而每个身份的样本中心接近减轻样品差异。这种策略可以为车辆重新ID生成歧视性的多光谱特征表示。此外,我们设计一个自适应层归一化单元,以动态调整个体特征分布以处理稳健学习的模式内特征的分布差异。为了提供一个全面的评估平​​台,我们创建了高质量的RGB-NIR TIR多光谱车辆重新ID基准(MSVR310),其中包括从广泛的观点,时间跨度和环境复杂性的310辆不同的车辆。对创建和公共数据集进行的全面实验证明了与最先进方法相比,提出的方法的有效性。
translated by 谷歌翻译
除了考虑人类姿势和遮挡引起的识别难度外,还必须解决可见的 - 热跨模式重新识别(VT-REID)任务中不同成像系统引起的模态差异。在本文中,我们提出了跨模式的局部最短路径和全局增强(CM-LSP-GE)模块,这是一个基于本地和全局特征联合学习的两流网络。我们论文的核心思想是使用局部功能对准来解决遮挡问题,并通过增强全球功能来解决模态差异。首先,基于注意力的两流重新系统网络旨在提取双模式特征并映射到统一的特征空间。然后,为了解决跨模式的人姿势和遮挡问题,将图像水平切成几个相等的部分以获得局部特征,并且使用两个图之间的局部特征中最短路径来实现细粒度的局部特征对齐。第三,批归归式化的增强模块应用了全局特征来增强策略,从而导致不同类别之间的差异增强。多粒度损失融合策略进一步提高了算法的性能。最后,使用本地和全球特征的联合学习机制用于提高跨模式的重新识别精度。两个典型数据集的实验结果表明,我们的模型显然优于最先进的方法。尤其是在SYSU-MM01数据集上,我们的模型在Rank-1和MAP的所有搜索术语中都可以获得2.89%和7.96%的增益。源代码将很快发布。
translated by 谷歌翻译
Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.
translated by 谷歌翻译
可见的红外人员重新识别(REID)旨在认识到RGB和IR摄像机网络中的同一个人。一些深度学习(DL)模型已直接纳入了两种模式,以在联合表示空间中区分人。但是,由于RGB和IR模式之间数据分布的较大域转移,因此这个跨模式的REID问题仍然具有挑战性。 %本文引入了一种新的方法,用于创建中间虚拟域,该域在训练过程中充当两个主要领域(即RGB和IR模式)之间的桥梁。该中间域被视为在测试时间无法获得的特权信息(PI),并允许将此跨模式匹配任务制定为在特权信息(LUPI)下学习的问题。我们设计了一种新方法,以在可见的和红外域之间生成图像,这些方法提供了其他信息,以通过中间域的适应来训练深层REID模型。特别是,通过在训练过程中采用无色和多步三重态损失目标,我们的方法提供了通用的特征表示空间,这些空间对大型可见的红外域移动具有牢固的功能。 %关于挑战性可见红外REID数据集的实验结果表明,我们提出的方法始终提高匹配的准确性,而在测试时没有任何计算开销。该代码可在:\ href {https://github.com/alehdaghi/cross-modal-re-id-iid-via-lupi} {https://github.com/alehdaghi/alehdaghi/cross-modal-re-re-id-i-id--i- id-i--i- id-id-i--i--via-lupi} { Via-Lupi}
translated by 谷歌翻译
由于其实际意义,跨情态人重新识别的问题已得到越来越多的关注。由于人类通常会在比较两个类似的物体时参加差异的事实,我们提出了一种双径跨模型特征学习框架,其保留了内在空间缩小,并参加了输入跨模型图像对的差异。我们的框架由两个主要组件组成:双路径空间结构保留公共空间网络(DSCSN)和对比相关网络(CCN)。前者将跨型号图像嵌入到共同的3D张量空间而不失去空间结构,而后者通过动态比较输入图像对提取对比特征。注意,为输入RGB和红外图像生成的表示彼此相互依赖。我们对两个公共可用RGB-IR REID数据集,SYSU-MM01和REGDB进行了广泛的实验,我们提出的方法优于完整和简化的评估模式的大边距优于最先进的算法。
translated by 谷歌翻译
可见的红外人员重新识别(VI-REID)是与可见和红外形态相同的个人匹配的任务。它的主要挑战在于由在不同光谱上运行的相机引起的模态差距。现有的VI-Reid方法主要集中于跨模式学习的一般特征,通常是以特征可区分性为代价。为了解决这个问题,我们提出了一个基于周期的新型网络,用于中性但歧视性特征学习,称为环形。具体而言,Cycletrans使用轻巧的知识捕获模块(KCM)根据伪查询从与模态相关的特征地图捕获丰富的语义。之后,根据模态 - 欧罗威兰原型将这些特征转换为中性特征,将差异建模模块(DMM)部署为中性。为了确保特征可区分性,进一步部署了另外两个KCMs以进行特征周期结构。通过自行车结构,我们的方法可以在保留其出色的语义的同时学习有效的中性特征。在SYSU-MM01和REGDB数据集上进行的广泛实验验证了环形验证的优点针对最先进的方法,在SYSU-MM01中排名1的 +4.57%,REGDB中排名1 +2.2%。
translated by 谷歌翻译
感谢您的跨模式检索技术,通过将它们投射到一个共同的空间中,可以在24小时的监视系统中重新进行重新识别,从而实现了可见的信号(RGB-IR)重新识别(RE-ID)。但是,关于探测到探测器,几乎所有现有的基于RGB-IR的跨模式人RE-ID方法都集中在图像到图像匹配上,而视频对视频匹配包含更丰富的空间 - 和时间信息仍未探索。在本文中,我们主要研究基于视频的跨模式人Re-ID方法。为了实现这项任务,构建了一个基于视频的RGB-IR数据集,其中927个有效身份,具有463,259帧和21,863个曲目,由12个RGB/IR摄像机捕获。基于我们构造的数据集,我们证明,随着曲目中帧的增加,该性能确实达到了更多的增强功能,证明了视频对视频匹配在RGB-IR RE-ID中的重要性。此外,进一步提出了一种新颖的方法,不仅将两种模态投射到模态不变子空间,而且还提取了运动不变的时间记忆。多亏了这两种策略,我们基于视频的跨模式人重新ID取得了更好的结果。代码和数据集以:https://github.com/vcmproject233/mitml发布。
translated by 谷歌翻译
基于文本的人搜索是一项具有挑战性的任务,旨在搜索具有查询文本描述的图像库中具有相同身份的行人图像。近年来,基于文本的人搜索取得了良好的进步,而最先进的方法通过学习图像和文本之间的本地细粒度对应来实现出色的性能。但是,现有方法通过手工制作的拆分或外部工具从图像和文本中明确提取图像零件和文本短语,然后进行复杂的跨模式本地匹配。此外,现有方法很少考虑由图像特定信息引起的方式之间的信息不平等问题。在本文中,我们提出了一个有效的联合信息和语义对齐网络(ISANET),用于基于文本的人搜索。具体而言,我们首先设计一个特定图像的信息抑制模块,该模块分别通过关系引导定位和通道注意过滤抑制图像背景和环境因素。该设计可以有效地减轻信息不平等问题,并实现图像和文本之间的信息对齐。其次,我们建议一个隐性的本地对齐模块,以将图像和文本功能适应一组模态共享的语义主题中心,并隐式地学习图像和文本之间的本地细粒度对应关系,而无需其他监督信息和复杂的跨模式互动。此外,引入了全球一致性作为当地观点的补充。在多个数据库上进行的广泛实验证明了所提出的ISANET的有效性和优势。
translated by 谷歌翻译
最近,由于受监督人员重新识别(REID)的表现不佳,域名概括(DG)人REID引起了很多关注,旨在学习一个不敏感的模型,并可以抵抗域的影响偏见。在本文中,我们首先通过实验验证样式因素是域偏差的重要组成部分。基于这个结论,我们提出了一种样式变量且无关紧要的学习方法(SVIL)方法,以消除样式因素对模型的影响。具体来说,我们在SVIL中设计了样式的抖动模块(SJM)。 SJM模块可以丰富特定源域的样式多样性,并减少各种源域的样式差异。这导致该模型重点关注与身份相关的信息,并对样式变化不敏感。此外,我们将SJM模块与元学习算法有机结合,从而最大程度地提高了好处并进一步提高模型的概括能力。请注意,我们的SJM模块是插件和推理,无需成本。广泛的实验证实了我们的SVIL的有效性,而我们的方法的表现优于DG-REID基准测试的最先进方法。
translated by 谷歌翻译
近年来,随着对公共安全的需求越来越多,智能监测网络的快速发展,人员重新识别(RE-ID)已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是,传统的人重新ID方法需要手动标记人的目标,这消耗了大量的劳动力成本。随着深度神经网络的广泛应用,出现了许多基于深入的基于学习的人物的方法。因此,本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先,我们总结了对几个最近公布的人的研究重新ID调查,并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次,我们提出了一种多维分类,根据度量标准和表示学习,将基于深度学习的人的重新ID方法分为四类,包括深度度量学习,本地特征学习,生成的对抗学习和序列特征学习的方法。此外,我们根据其方法和动机来细分以上四类,讨论部分子类别的优缺点。最后,我们讨论了一些挑战和可能的研究方向的人重新ID。
translated by 谷歌翻译
可见红外人重新识别(VI-REID)由于可见和红外模式之间存在较大的差异而受到挑战。大多数开创性方法通过学习模态共享和ID相关的功能来降低类内变型和跨性间差异。但是,在VI-REID中尚未充分利用一个显式模态共享提示。此外,现有特征学习范例在全局特征或分区特征条带上强加约束,忽略了全局和零件特征的预测一致性。为了解决上述问题,我们将构成估算作为辅助学习任务,以帮助vi-reid任务在端到端的框架中。通过以互利的方式联合培训这两个任务,我们的模型学习了更高质量的模态共享和ID相关的功能。在它之上,通过分层特征约束(HFC)无缝同步全局功能和本地特征的学习,前者使用知识蒸馏策略监督后者。两个基准VI-REID数据集的实验结果表明,该方法始终如一地通过显着的利润来改善最先进的方法。具体而言,我们的方法在RegDB数据集上取决于针对最先进的方法的近20美元\%$地图改进。我们的兴趣调查结果突出了vi-reid中辅助任务学习的使用。
translated by 谷歌翻译
Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.
translated by 谷歌翻译
虽然RGB-Infrared跨型号人重新识别(RGB-IR Reid)在24小时智能监测中启用了巨大进展,但最先进的仍然严重依赖于微调想象的预先训练的网络。由于单模性质,这种大规模的预训练可以产生逆向模态图像检索性能的RGB偏置的表示。本文介绍了一个自我监督的预训练替代品,命名为模态感知多个粒度学习(MMGL),该学习(MMGL)直接从划痕上培训模型,而是在没有外部数据和复杂的调整技巧的情况下实现竞争结果。具体而言,MMGL将RGB-IR图像映射到共享潜在置换空间中,通过最大化循环 - 一致的RGB-IR图像补片之间的协议,进一步提高了局部辨别性。实验表明,MMGL在更快的训练速度(几小时内收敛)和求解数据效率(<5%数据大小)比想象预先训练更好地了解更好的表示(+ 6.47%的秩1)。结果还表明它概括为各种现有模型,损失,并且在数据集中具有有希望的可转换性。代码将被释放。
translated by 谷歌翻译
本文从跨模式度量学习的角度来解决基于零点草图的图像检索(ZS-SBIR)问题。此任务具有两个特性:1)零拍摄设置需要具有良好的课堂紧凑性和识别新颖类别的课堂间差异的度量空间,而2)草图查询和照片库是不同的模态。从两个方面,公制学习视点益处ZS-SBIR。首先,它促进了深度度量学习(DML)中最近的良好实践的改进。通过在DML中结合两种基本学习方法,例如分类培训和成对培训,我们为ZS-SBIR设置了一个强大的基线。没有钟声和口哨,这种基线实现了竞争的检索准确性。其次,它提供了一个正确抑制模态间隙至关重要的洞察力。为此,我们设计了一种名为Domency Ippar Triplet硬挖掘(Mathm)的新颖方法。 Mathm增强了基线,具有三种类型的成对学习,例如跨模型样本对,模态样本对,以及它们的组合。\我们还设计了一种自适应加权方法,可以在动态训练期间平衡这三个组件。实验结果证实,Mathm根据强大的基线带来另一轮显着改进,并建立了新的最先进的性能。例如,在Tu-Berlin数据集上,我们达到了47.88 + 2.94%地图@全部和58.28 + 2.34%prip @ 100。代码将在:https://github.com/huangzongheng/mathm公开使用。
translated by 谷歌翻译
In recent years, the Transformer architecture has shown its superiority in the video-based person re-identification task. Inspired by video representation learning, these methods mainly focus on designing modules to extract informative spatial and temporal features. However, they are still limited in extracting local attributes and global identity information, which are critical for the person re-identification task. In this paper, we propose a novel Multi-Stage Spatial-Temporal Aggregation Transformer (MSTAT) with two novel designed proxy embedding modules to address the above issue. Specifically, MSTAT consists of three stages to encode the attribute-associated, the identity-associated, and the attribute-identity-associated information from the video clips, respectively, achieving the holistic perception of the input person. We combine the outputs of all the stages for the final identification. In practice, to save the computational cost, the Spatial-Temporal Aggregation (STA) modules are first adopted in each stage to conduct the self-attention operations along the spatial and temporal dimensions separately. We further introduce the Attribute-Aware and Identity-Aware Proxy embedding modules (AAP and IAP) to extract the informative and discriminative feature representations at different stages. All of them are realized by employing newly designed self-attention operations with specific meanings. Moreover, temporal patch shuffling is also introduced to further improve the robustness of the model. Extensive experimental results demonstrate the effectiveness of the proposed modules in extracting the informative and discriminative information from the videos, and illustrate the MSTAT can achieve state-of-the-art accuracies on various standard benchmarks.
translated by 谷歌翻译
遮挡对人重新识别(Reid)构成了重大挑战。现有方法通常依赖于外部工具来推断可见的身体部位,这在计算效率和Reid精度方面可能是次优。特别是,在面对复杂的闭塞时,它们可能会失败,例如行人之间的遮挡。因此,在本文中,我们提出了一种名为M质量感知部分模型(QPM)的新方法,用于遮挡鲁棒Reid。首先,我们建议共同学习零件特征和预测部分质量分数。由于没有提供质量注释,我们介绍了一种自动将低分分配给闭塞体部位的策略,从而削弱了遮挡体零落在Reid结果上的影响。其次,基于预测部分质量分数,我们提出了一种新颖的身份感知空间关注(ISA)模块。在该模块中,利用粗略标识感知功能来突出目标行人的像素,以便处理行人之间的遮挡。第三,我们设计了一种自适应和有效的方法,用于了解来自每个图像对的共同非遮挡区域的全局特征。这种设计至关重要,但经常被现有方法忽略。 QPM有三个关键优势:1)它不依赖于培训或推理阶段的任何外部工具; 2)它处理由物体和其他行人引起的闭塞; 3)它是高度计算效率。对闭塞Reid的四个流行数据库的实验结果证明QPM始终如一地以显着的利润方式优于最先进的方法。 QPM代码将被释放。
translated by 谷歌翻译