由于其在神经网络中的出色性能而不引入附加信息,因此注意力机制广泛用于深度学习。然而,在无人监督的人重新识别中,由多抬头的自我注意的注意力模块遭受了非原始事实条件的注意力传播。为了解决这个问题,我们设计像素级关注模块,为多脑自我关注提供限制。同时,对于样本的人重新识别数据的识别目标的特征,我们设计了域级注意模块,以提供更全面的行人特征。我们将头部级别,像素级别和域级别的注意力结合起来提出多级注意力块,并验证其对大型人重新识别数据集的性能(Market-1501,Dukemtmc-Reid和MSMT17和PersonX)。
translated by 谷歌翻译
由于源域和目标域之间的巨大差距,对于人重新识别的无监督域适应(UDA)是具有挑战性的。典型的自我训练方法是使用群集算法生成的伪标签来迭代优化目标域上的模型。然而,对此的缺点是嘈杂的伪标签通常在学习时造成麻烦。为了解决这个问题,已经开发了双网络的相互学习方法来生产可靠的软标签。然而,随着两个神经网络逐渐收敛,它们的互补性被削弱,并且它们可能变得偏向相同的噪音。本文提出了一种新颖的轻量级模块,细小波块(AWB),可以集成到相互学习的双网络中,以增强伪标签中的互补性和进一步抑制噪声。具体而言,我们首先介绍一种无参数模块,该波块通过不同的方式挥动特征映射块的两个网络创造了两个网络之间的差异。然后,利用注意机制来扩大创建的差异并发现更多互补特征。此外,探讨了两种组合策略,即探讨了与后关注。实验表明,该方法实现了最先进的性能,具有对多个UDA人重新识别任务的显着改进。我们还通过将其应用于车辆重新识别和图像分类任务来证明所提出的方法的一般性。我们的代码和模型可在https://github.com/wangwenhao0716/attentive-waveblock上使用。
translated by 谷歌翻译
无监督的域自适应人重新识别(重新ID)任务是一个挑战,因为与常规域自适应任务不同,人物重新ID中的源域数据和目标域数据之间没有重叠,这导致一个重要的领域差距。最先进的无监督的RE-ID方法使用基于内存的对比损耗训练神经网络。然而,通过将每个未标记的实例视为类来执行对比学习,作为类将导致阶级冲突的问题,并且由于在存储库中更新时不同类别的实例数量的差异,更新强度是不一致的。为了解决此类问题,我们提出了对人的重新ID的原型字典学习,其能够通过一个训练阶段利用源域数据和目标域数据,同时避免类碰撞问题和群集更新强度不一致的问题原型字典学习。为了减少模型上域间隙的干扰,我们提出了一个本地增强模块,以改善模型的域适应而不增加模型参数的数量。我们在两个大型数据集上的实验证明了原型字典学习的有效性。 71.5 \%地图是在市场到Duke任务中实现的,这是与最先进的无监督域自适应RE-ID方法相比的2.3 \%的改进。它在Duke-to-Market任务中实现了83.9 \%地图,而与最先进的无监督的自适应重新ID方法相比,该任务在4.4 \%中提高了4.4%。
translated by 谷歌翻译
最先进的无监督的RE-ID方法使用基于内存的非参数软制AX丢失训练神经网络。存储在存储器中的实例特征向量通过群集和更新在实例级别中分配伪标签。然而,不同的簇大小导致每个群集的更新进度中的不一致。为了解决这个问题,我们呈现了存储特征向量的集群对比度,并计算群集级别的对比度损耗。我们的方法采用唯一的群集表示来描述每个群集,从而产生群集级存储字典。以这种方式,可以有效地保持聚类的一致性,在整个阶段,可以显着降低GPU存储器消耗。因此,我们的方法可以解决集群不一致的问题,并且适用于较大的数据集。此外,我们采用不同的聚类算法来展示我们框架的鲁棒性和泛化。与标准无监督的重新ID管道的集群对比的应用达到了9.9%,8.3%,12.1%的显着改善,而最新的无人纯粹无监督的重新ID方法和5.5%,4.8%,4.4%地图相比与市场,公爵和MSMT17数据集上的最先进的无监督域适应重新ID方法相比。代码可在https://github.com/alibaba/cluster-contrast获得。
translated by 谷歌翻译
未经监督的人重新识别(Reid)是一个具有挑战性的任务,没有数据注释,以指导歧视性学习。现有方法通过群集提取的嵌入式来尝试解决此问题以生成伪标签。然而,大多数方法忽略了摄像机样式方差引起的类内间隙,并且一些方法是相对复杂和间接的,尽管它们试图解决相机样式对特征分布的负面影响。为了解决这个问题,我们提出了一种相机感知的风格分离和对比学习方法(CA-Ureid),它直接将相机样式与设计的相机感知的注意模块直接分离在功能空间中。它可以将学习功能明确地将学习功能分为特定于相机和相机不可知的部件,从而降低了不同摄像机的影响。此外,为了进一步缩小相机的差距,我们设计了一个摄像机感知对比中心损失,以了解每个身份的更多歧视性嵌入。广泛的实验证明了我们对无监督者Reid任务的最先进方法的方法的优越性。
translated by 谷歌翻译
近年来,随着对公共安全的需求越来越多,智能监测网络的快速发展,人员重新识别(RE-ID)已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是,传统的人重新ID方法需要手动标记人的目标,这消耗了大量的劳动力成本。随着深度神经网络的广泛应用,出现了许多基于深入的基于学习的人物的方法。因此,本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先,我们总结了对几个最近公布的人的研究重新ID调查,并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次,我们提出了一种多维分类,根据度量标准和表示学习,将基于深度学习的人的重新ID方法分为四类,包括深度度量学习,本地特征学习,生成的对抗学习和序列特征学习的方法。此外,我们根据其方法和动机来细分以上四类,讨论部分子类别的优缺点。最后,我们讨论了一些挑战和可能的研究方向的人重新ID。
translated by 谷歌翻译
由于其在看不见的数据域中的强大适应能力,可普遍的人重新识别(RE-ID)引起了人们的注意力。但是,现有的解决方案通常会忽略穿越摄像机(例如照明和解决方案差异)或行人未对准(例如,观点和姿势差异),这在适应新领域时很容易导致概括能力。在本文中,我们将这些困难提出为:1)相机相机(CC)问题,它表示由不同的相机引起的各种人类外观变化; 2)摄像头(CP)问题,这表明在不同的摄像机观点或更改姿势下,由相同身份人引起的行人未对准。为了解决上述问题,我们提出了一个双流生成模型(BGM),以学习与摄像机不变的全局功能和行人对准本地功能融合的细粒度表示,该功能包含编码网络和两个流解码子网络。在原始的行人图像的指导下,通过过滤跨摄像机干扰因子来学习CC问题的摄像头全局功能。对于CP问题,另一个流可以使用信息完整的语义对齐零件图来学习一个与人行人对齐的本地特征,以进行行人对齐。此外,提出了部分加权损失函数,以减少丢失零件对行人对齐的影响。广泛的实验表明,我们的方法优于大规模概括性重新ID基准的最新方法,涉及域的概括设置和跨域设置。
translated by 谷歌翻译
最近,无监督的人重新识别(RE-ID)引起了人们的关注,因为其开放世界情景设置有限,可用的带注释的数据有限。现有的监督方法通常无法很好地概括在看不见的域上,而无监督的方法(大多数缺乏多范围的信息),并且容易患有确认偏见。在本文中,我们旨在从两个方面从看不见的目标域上找到更好的特征表示形式,1)在标记的源域上进行无监督的域适应性和2)2)在未标记的目标域上挖掘潜在的相似性。此外,提出了一种协作伪标记策略,以减轻确认偏见的影响。首先,使用生成对抗网络将图像从源域转移到目标域。此外,引入了人身份和身份映射损失,以提高生成图像的质量。其次,我们提出了一个新颖的协作多元特征聚类框架(CMFC),以学习目标域的内部数据结构,包括全局特征和部分特征分支。全球特征分支(GB)在人体图像的全球特征上采用了无监督的聚类,而部分特征分支(PB)矿山在不同人体区域内的相似性。最后,在两个基准数据集上进行的广泛实验表明,在无监督的人重新设置下,我们的方法的竞争性能。
translated by 谷歌翻译
闭塞者重新识别是计算机视觉的具有挑战性的领域,这面临效率低下特征表示和低识别准确性等问题。卷积神经网络更加关注局部特征的提取,因此难以提取遮挡行人的特征,效果并不满足。最近,视觉变压器被引入重新识别领域,并通过构建补丁序列之间的全局特征的关系来实现最先进的结果。然而,视觉变压器在提取局部特征方面的性能不如卷积神经网络的性能。因此,我们设计了一个名为PFT的基于部分特征变换器的人重新识别框架。所提出的PFT采用三个模块来提高视觉变压器的效率。 (1)补丁全维增强模块。我们设计一种具有与补丁序列相同的尺寸的学习张量,这是全维性和深度嵌入在补丁序列中,以丰富训练样本的多样性。 (2)融合与重建模块。我们提取获得的补丁序列的不太重要的部分,并用原始补丁序列融合它们以重建原始补丁序列。 (3)空间切片模块。从空间方向切片和组贴片序列,可以有效地提高贴片序列的短距离相关性。封闭和整体重新识别数据集的实验结果表明,所提出的PFT网络始终如一地实现了卓越的性能,优于最先进的方法。
translated by 谷歌翻译
监督人员重新识别(RE-ID)方法需要大量的成对手动标记数据,这些数据不适用于重新ID部署的大多数真实情景。另一方面,无监督的RE-ID方法依赖于未标记的数据来培训模型,但与监督的重新ID方法相比,执行差劲。在这项工作中,我们的目标是将无监督的重新识别学习与少数人的注释相结合,以实现竞争性能。为此目标,我们提出了一个无人监督的聚类主动学习(UCAL)重新ID深度学习方法。它能够逐步地发现代表性的质心对并要求人类注释它们。这些标记的代表成对数据可以通过其他大量未标记的数据来改善无监督的表示学习模型。更重要的是,由于选择了代表性质心对注释,UCAL可以使用非常低成本的人力努力工作。广泛的实验表明,在三个重新ID基准数据集上展示了拟议的模型的优越性。
translated by 谷歌翻译
Person re-identification plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. Recently, leveraging the supervised or semi-unsupervised learning paradigms, which benefits from the large-scale datasets and strong computing performance, has achieved a competitive performance on a specific target domain. However, when Re-ID models are directly deployed in a new domain without target samples, they always suffer from considerable performance degradation and poor domain generalization. To address this challenge, we propose a Deep Multimodal Fusion network to elaborate rich semantic knowledge for assisting in representation learning during the pre-training. Importantly, a multimodal fusion strategy is introduced to translate the features of different modalities into the common space, which can significantly boost generalization capability of Re-ID model. As for the fine-tuning stage, a realistic dataset is adopted to fine-tune the pre-trained model for better distribution alignment with real-world data. Comprehensive experiments on benchmarks demonstrate that our method can significantly outperform previous domain generalization or meta-learning methods with a clear margin. Our source code will also be publicly available at https://github.com/JeremyXSC/DMF.
translated by 谷歌翻译
Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.
translated by 谷歌翻译
闭塞者重新识别(REID)旨在匹配遮挡人物在不同的相机视图上的整体上。目标行人(TP)通常受到非行人闭塞(NPO)和Nontarget行人(NTP)的干扰。以前的方法主要集中在忽略NTP的特征污染的同时越来越越来越多的模型对非NPO的鲁棒性。在本文中,我们提出了一种新颖的特征擦除和扩散网络(FED),同时处理NPO和NTP。具体地,我们的建议闭塞擦除模块(OEM)消除了NPO特征,并由NPO增强策略辅助,该策略模拟整体行人图像上的NPO并产生精确的遮挡掩模。随后,我们随后,我们将行人表示与其他记忆特征弥散,以通过学习的跨关注机构通过新颖的特征扩散模块(FDM)实现的特征空间中的NTP特征。随着OEM的闭塞分数的指导,特征扩散过程主要在可见的身体部位上进行,保证合成的NTP特性的质量。通过在我们提出的联邦网络中联合优化OEM和FDM,我们可以大大提高模型对TP的看法能力,并减轻NPO和NTP的影响。此外,所提出的FDM仅用作用于训练的辅助模块,并将在推理阶段中丢弃,从而引入很少的推理计算开销。遮挡和整体人员Reid基准的实验表明了美联储最先进的优越性,喂养的含量在封闭式封闭的内容上取得了86.3%的排名 - 1准确性,超过其他人至少4.7%。
translated by 谷歌翻译
Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.
translated by 谷歌翻译
尽管近年来人的重新识别取得了令人印象深刻的改善,但在实际应用程序场景中,由不同的障碍引起的常见闭塞案例仍然是一个不稳定的问题。现有方法主要通过采用额外网络提供的身体线索来区分可见部分,以解决此问题。然而,助理模型和REID数据集之间的不可避免的域间隙极大地增加了获得有效和有效模型的困难。为了摆脱额外的预训练网络并在端到端可训练网络中实现自动对齐,我们根据两个不言而喻的先验知识提出了一种新型的动态原型掩码(DPM)。具体而言,我们首先设计了一个层次蒙版生成器,该层面生成器利用层次的语义选择高质量的整体原型和闭塞输入图像的特征表示之间的可见图案空间。在这种情况下,可以自发地在选定的子空间中很好地对齐。然后,为了丰富高质量整体原型的特征表示并提供更完整的特征空间,我们引入了一个头部丰富模块,以鼓励不同的头部在整个图像中汇总不同的模式表示。对被遮挡和整体人员重新识别基准进行的广泛的实验评估证明了DPM优于最先进的方法。该代码在https://github.com/stone96123/dpm上发布。
translated by 谷歌翻译
人重新识别(Reid)旨在从不同摄像机捕获的图像中检索一个人。对于基于深度学习的REID方法,已经证明,使用本地特征与人物图像的全局特征可以帮助为人员检索提供强大的特征表示。人类的姿势信息可以提供人体骨架的位置,有效地指导网络在这些关键领域更加关注这些关键领域,也可能有助于减少来自背景或闭塞的噪音分散。然而,先前与姿势相关的作品提出的方法可能无法充分利用姿势信息的好处,并没有考虑不同当地特征的不同贡献。在本文中,我们提出了一种姿势引导图注意网络,一个多分支架构,包括一个用于全局特征的一个分支,一个用于中粒体特征的一个分支,一个分支用于细粒度关键点特征。我们使用预先训练的姿势估计器来生成本地特征学习的关键点热图,并仔细设计图表卷积层以通过建模相似关系来重新评估提取的本地特征的贡献权重。实验结果表明我们对歧视特征学习的方法的有效性,我们表明我们的模型在几个主流评估数据集上实现了最先进的表演。我们还对我们的网络进行了大量的消融研究和设计不同类型的比较实验,以证明其有效性和鲁棒性,包括整体数据集,部分数据集,遮挡数据集和跨域测试。
translated by 谷歌翻译
无监督的人重新识别是计算机视觉中的一项具有挑战性且有前途的任务。如今,无监督的人重新识别方法通过使用伪标签培训取得了巨大进步。但是,如何以无监督的方式进行纯化的特征和标签噪声的显式研究。为了净化功能,我们考虑了来自不同本地视图的两种其他功能,以丰富功能表示。所提出的多视图功能仔细地集成到我们的群体对比度学习中,以利用全球功能容易忽略和偏见的更具歧视性线索。为了净化标签噪声,我们建议在离线方案中利用教师模型的知识。具体来说,我们首先从嘈杂的伪标签培训教师模型,然后使用教师模型指导我们的学生模型的学习。在我们的环境中,学生模型可以在教师模型的监督下快速融合,因此,随着教师模型的影响很大,嘈杂标签的干扰。在仔细处理功能学习中的噪音和偏见之后,我们的纯化模块被证明对无监督的人的重新识别非常有效。对三个受欢迎人重新识别数据集进行的广泛实验证明了我们方法的优势。尤其是,我们的方法在具有挑战性的Market-1501基准中,在完全无监督的环境下,在具有挑战性的Market-1501基准中实现了最先进的精度85.8 \%@map和94.5 \% @rank-1。代码将发布。
translated by 谷歌翻译
Systems for person re-identification (ReID) can achieve a high accuracy when trained on large fully-labeled image datasets. However, the domain shift typically associated with diverse operational capture conditions (e.g., camera viewpoints and lighting) may translate to a significant decline in performance. This paper focuses on unsupervised domain adaptation (UDA) for video-based ReID - a relevant scenario that is less explored in the literature. In this scenario, the ReID model must adapt to a complex target domain defined by a network of diverse video cameras based on tracklet information. State-of-art methods cluster unlabeled target data, yet domain shifts across target cameras (sub-domains) can lead to poor initialization of clustering methods that propagates noise across epochs, thus preventing the ReID model to accurately associate samples of same identity. In this paper, an UDA method is introduced for video person ReID that leverages knowledge on video tracklets, and on the distribution of frames captured over target cameras to improve the performance of CNN backbones trained using pseudo-labels. Our method relies on an adversarial approach, where a camera-discriminator network is introduced to extract discriminant camera-independent representations, facilitating the subsequent clustering. In addition, a weighted contrastive loss is proposed to leverage the confidence of clusters, and mitigate the risk of incorrect identity associations. Experimental results obtained on three challenging video-based person ReID datasets - PRID2011, iLIDS-VID, and MARS - indicate that our proposed method can outperform related state-of-the-art methods. Our code is available at: \url{https://github.com/dmekhazni/CAWCL-ReID}
translated by 谷歌翻译
未经监督的人重新识别(重新ID)由于其解决监督重新ID模型的可扩展性问题而吸引了越来越多的关注。大多数现有的无监督方法采用迭代聚类机制,网络基于由无监督群集生成的伪标签进行培训。但是,聚类错误是不可避免的。为了产生高质量的伪标签并减轻聚类错误的影响,我们提出了一种新的群集关系建模框架,用于无监督的人重新ID。具体地,在聚类之前,基于曲线图相关学习(GCL)模块探索未标记图像之间的关系,然后将其用于聚类以产生高质量的伪标签。本,GCL适自适应地挖掘样本之间的关系迷你批次以减少培训时异常聚类的影响。为了更有效地训练网络,我们进一步提出了一种选择性对比学习(SCL)方法,具有选择性存储器银行更新策略。广泛的实验表明,我们的方法比在Market1501,Dukemtmc-Reid和MSMT17数据集上的大多数最先进的无人监督方法显示出更好的结果。我们将发布模型再现的代码。
translated by 谷歌翻译
无监督的人重新识别(RE-ID)由于其可扩展性和对现实世界应用的可能性而吸引了增加的研究兴趣。最先进的无监督的重新ID方法通常遵循基于聚类的策略,该策略通过聚类来生成伪标签,并维护存储器以存储实例功能并代表群集的质心进行对比​​学习。这种方法遇到了两个问题。首先,无监督学习产生的质心可能不是一个完美的原型。强迫图像更接近质心,强调了聚类的结果,这可能会在迭代过程中积累聚类错误。其次,以前的方法利用在不同的训练迭代中获得的功能代表一种质心,这与当前的训练样本不一致,因为这些特征不是直接可比的。为此,我们通过随机学习策略提出了一种无监督的重新ID方法。具体来说,我们采用了随机更新的内存,其中使用集群的随机实例来更新群集级内存以进行对比度学习。这样,学会了随机选择的图像对之间的关​​系,以避免由不可靠的伪标签引起的训练偏见。随机内存也始终是最新的,以保持一致性。此外,为了减轻摄像机方差的问题,在聚类过程中提出了一个统一的距离矩阵,其中减少了不同摄像头域的距离偏置,并强调了身份的差异。
translated by 谷歌翻译