基于聚类的无监督域自适应(UDA)人重新识别(Reid)可减少详尽的注释。然而,由于嵌入不良的功能嵌入和不完美的聚类,目标域数据的伪标签本身包含错误的错误比例,这将误导特色。在本文中,我们提出了一种名为概率不确定性的方法,用于域自适应人员重新识别域的概率不确定性引导逐行标签炼油厂(P $ ^ 2 $ LR)。首先,我们建议将标记不确定性与概率距离一起模拟,以及理想的单峰分布。建立定量标准以测量伪标签的不确定性,并促进网络培训。其次,我们探索精炼伪标签的渐进战略。凭借不确定性引导的替代优化,我们在目标域数据探索与嘈杂标签的负面影响之间平衡。在强大的基线之上,我们获得了重大改进,实现了四个UDA Reid基准的最先进的表现。具体而言,我们的方法在Duke2market任务上占据了6.5%地图的基线,同时超过了最先进的方法,在Market2MSMT任务上将最先进的方法映射到2.5%地图。
translated by 谷歌翻译
无监督的人重新识别(RE-ID)由于其可扩展性和对现实世界应用的可能性而吸引了增加的研究兴趣。最先进的无监督的重新ID方法通常遵循基于聚类的策略,该策略通过聚类来生成伪标签,并维护存储器以存储实例功能并代表群集的质心进行对比​​学习。这种方法遇到了两个问题。首先,无监督学习产生的质心可能不是一个完美的原型。强迫图像更接近质心,强调了聚类的结果,这可能会在迭代过程中积累聚类错误。其次,以前的方法利用在不同的训练迭代中获得的功能代表一种质心,这与当前的训练样本不一致,因为这些特征不是直接可比的。为此,我们通过随机学习策略提出了一种无监督的重新ID方法。具体来说,我们采用了随机更新的内存,其中使用集群的随机实例来更新群集级内存以进行对比度学习。这样,学会了随机选择的图像对之间的关​​系,以避免由不可靠的伪标签引起的训练偏见。随机内存也始终是最新的,以保持一致性。此外,为了减轻摄像机方差的问题,在聚类过程中提出了一个统一的距离矩阵,其中减少了不同摄像头域的距离偏置,并强调了身份的差异。
translated by 谷歌翻译
最近,无监督的人重新识别(RE-ID)引起了人们的关注,因为其开放世界情景设置有限,可用的带注释的数据有限。现有的监督方法通常无法很好地概括在看不见的域上,而无监督的方法(大多数缺乏多范围的信息),并且容易患有确认偏见。在本文中,我们旨在从两个方面从看不见的目标域上找到更好的特征表示形式,1)在标记的源域上进行无监督的域适应性和2)2)在未标记的目标域上挖掘潜在的相似性。此外,提出了一种协作伪标记策略,以减轻确认偏见的影响。首先,使用生成对抗网络将图像从源域转移到目标域。此外,引入了人身份和身份映射损失,以提高生成图像的质量。其次,我们提出了一个新颖的协作多元特征聚类框架(CMFC),以学习目标域的内部数据结构,包括全局特征和部分特征分支。全球特征分支(GB)在人体图像的全球特征上采用了无监督的聚类,而部分特征分支(PB)矿山在不同人体区域内的相似性。最后,在两个基准数据集上进行的广泛实验表明,在无监督的人重新设置下,我们的方法的竞争性能。
translated by 谷歌翻译
Unsupervised person re-identification (ReID) aims at learning discriminative identity features for person retrieval without any annotations. Recent advances accomplish this task by leveraging clustering-based pseudo labels, but these pseudo labels are inevitably noisy which deteriorate model performance. In this paper, we propose a Neighbour Consistency guided Pseudo Label Refinement (NCPLR) framework, which can be regarded as a transductive form of label propagation under the assumption that the prediction of each example should be similar to its nearest neighbours'. Specifically, the refined label for each training instance can be obtained by the original clustering result and a weighted ensemble of its neighbours' predictions, with weights determined according to their similarities in the feature space. In addition, we consider the clustering-based unsupervised person ReID as a label-noise learning problem. Then, we proposed an explicit neighbour consistency regularization to reduce model susceptibility to over-fitting while improving the training stability. The NCPLR method is simple yet effective, and can be seamlessly integrated into existing clustering-based unsupervised algorithms. Extensive experimental results on five ReID datasets demonstrate the effectiveness of the proposed method, and showing superior performance to state-of-the-art methods by a large margin.
translated by 谷歌翻译
最近,许多方法通过基于伪标签的对比学习来解决无监督的域自适应人员重新识别(UDA RE-ID)问题。在培训期间,通过简单地平均来自具有相同伪标签的集群的所有实例特征来获得UNI-Firedroid表示。然而,由于群集结果不完美的聚类结果,群集可能包含具有不同标识(标签噪声)的图像,这使得UNI质心表示不适当。在本文中,我们介绍了一种新的多质心存储器(MCM),以在群集中自适应地捕获不同的身份信息。 MCM可以通过为查询图像选择适当的正/负质心来有效地减轻标签噪声问题。此外,我们进一步提出了两种策略来改善对比学习过程。首先,我们介绍了一个域特定的对比度学习(DSCL)机制,通过仅通过相同域进行比较样本来完全探索局部信息。其次,我们提出了二阶最近的插值(Soni)以获得丰富和信息性的负样本。我们将MCM,DSCL和Soni集成到一个名为Multi-Firedroid表示网络(MCRN)的统一框架中。广泛的实验证明了MCRN在多个UDA重新ID任务上的最先进方法和完全无监督的重新ID任务的优越性。
translated by 谷歌翻译
无监督的域自适应人重新识别(重新ID)任务是一个挑战,因为与常规域自适应任务不同,人物重新ID中的源域数据和目标域数据之间没有重叠,这导致一个重要的领域差距。最先进的无监督的RE-ID方法使用基于内存的对比损耗训练神经网络。然而,通过将每个未标记的实例视为类来执行对比学习,作为类将导致阶级冲突的问题,并且由于在存储库中更新时不同类别的实例数量的差异,更新强度是不一致的。为了解决此类问题,我们提出了对人的重新ID的原型字典学习,其能够通过一个训练阶段利用源域数据和目标域数据,同时避免类碰撞问题和群集更新强度不一致的问题原型字典学习。为了减少模型上域间隙的干扰,我们提出了一个本地增强模块,以改善模型的域适应而不增加模型参数的数量。我们在两个大型数据集上的实验证明了原型字典学习的有效性。 71.5 \%地图是在市场到Duke任务中实现的,这是与最先进的无监督域自适应RE-ID方法相比的2.3 \%的改进。它在Duke-to-Market任务中实现了83.9 \%地图,而与最先进的无监督的自适应重新ID方法相比,该任务在4.4 \%中提高了4.4%。
translated by 谷歌翻译
伪标签的使用占上处,以解决无监督的域自适应(UDA)重新识别(RE-ID),具有最佳性能。事实上,这家族的方法已经上升到几个有效的UDA重新ID特定框架。在这些作品中,改善伪标签UDA重新ID性能的研究方向多样化,主要基于直觉和实验:炼制伪标签,减少伪标签中的错误的影响......它可能很难推断出来它们是一般的良好做法,可以以任何伪标记方法实施,以始终如一地提高其性能。为了解决这一关键问题,提出了一个关于伪标签UDA RE-ID的新的理论视图。这些贡献是三倍:(i)伪标签UDA重新ID的新理论框架,通过UDA重新ID性能的新一般学习上限,正式化。 (ii)伪标签的一般良好做法,直接推导出拟议的理论框架的解释,以改善目标重新ID表现。 (iii)关于具有挑战性的人和车辆交叉数据集重新ID任务的广泛实验,对各种最先进的方法和各种建议的良好实践实现显示了一致的性能改进。
translated by 谷歌翻译
无监督的人重新识别是计算机视觉中的一项具有挑战性且有前途的任务。如今,无监督的人重新识别方法通过使用伪标签培训取得了巨大进步。但是,如何以无监督的方式进行纯化的特征和标签噪声的显式研究。为了净化功能,我们考虑了来自不同本地视图的两种其他功能,以丰富功能表示。所提出的多视图功能仔细地集成到我们的群体对比度学习中,以利用全球功能容易忽略和偏见的更具歧视性线索。为了净化标签噪声,我们建议在离线方案中利用教师模型的知识。具体来说,我们首先从嘈杂的伪标签培训教师模型,然后使用教师模型指导我们的学生模型的学习。在我们的环境中,学生模型可以在教师模型的监督下快速融合,因此,随着教师模型的影响很大,嘈杂标签的干扰。在仔细处理功能学习中的噪音和偏见之后,我们的纯化模块被证明对无监督的人的重新识别非常有效。对三个受欢迎人重新识别数据集进行的广泛实验证明了我们方法的优势。尤其是,我们的方法在具有挑战性的Market-1501基准中,在完全无监督的环境下,在具有挑战性的Market-1501基准中实现了最先进的精度85.8 \%@map和94.5 \% @rank-1。代码将发布。
translated by 谷歌翻译
未经监督的人重新识别(重新ID)由于其解决监督重新ID模型的可扩展性问题而吸引了越来越多的关注。大多数现有的无监督方法采用迭代聚类机制,网络基于由无监督群集生成的伪标签进行培训。但是,聚类错误是不可避免的。为了产生高质量的伪标签并减轻聚类错误的影响,我们提出了一种新的群集关系建模框架,用于无监督的人重新ID。具体地,在聚类之前,基于曲线图相关学习(GCL)模块探索未标记图像之间的关系,然后将其用于聚类以产生高质量的伪标签。本,GCL适自适应地挖掘样本之间的关系迷你批次以减少培训时异常聚类的影响。为了更有效地训练网络,我们进一步提出了一种选择性对比学习(SCL)方法,具有选择性存储器银行更新策略。广泛的实验表明,我们的方法比在Market1501,Dukemtmc-Reid和MSMT17数据集上的大多数最先进的无人监督方法显示出更好的结果。我们将发布模型再现的代码。
translated by 谷歌翻译
未经监督的人重新识别(Reid)是一个具有挑战性的任务,没有数据注释,以指导歧视性学习。现有方法通过群集提取的嵌入式来尝试解决此问题以生成伪标签。然而,大多数方法忽略了摄像机样式方差引起的类内间隙,并且一些方法是相对复杂和间接的,尽管它们试图解决相机样式对特征分布的负面影响。为了解决这个问题,我们提出了一种相机感知的风格分离和对比学习方法(CA-Ureid),它直接将相机样式与设计的相机感知的注意模块直接分离在功能空间中。它可以将学习功能明确地将学习功能分为特定于相机和相机不可知的部件,从而降低了不同摄像机的影响。此外,为了进一步缩小相机的差距,我们设计了一个摄像机感知对比中心损失,以了解每个身份的更多歧视性嵌入。广泛的实验证明了我们对无监督者Reid任务的最先进方法的方法的优越性。
translated by 谷歌翻译
最先进的无监督的RE-ID方法使用基于内存的非参数软制AX丢失训练神经网络。存储在存储器中的实例特征向量通过群集和更新在实例级别中分配伪标签。然而,不同的簇大小导致每个群集的更新进度中的不一致。为了解决这个问题,我们呈现了存储特征向量的集群对比度,并计算群集级别的对比度损耗。我们的方法采用唯一的群集表示来描述每个群集,从而产生群集级存储字典。以这种方式,可以有效地保持聚类的一致性,在整个阶段,可以显着降低GPU存储器消耗。因此,我们的方法可以解决集群不一致的问题,并且适用于较大的数据集。此外,我们采用不同的聚类算法来展示我们框架的鲁棒性和泛化。与标准无监督的重新ID管道的集群对比的应用达到了9.9%,8.3%,12.1%的显着改善,而最新的无人纯粹无监督的重新ID方法和5.5%,4.8%,4.4%地图相比与市场,公爵和MSMT17数据集上的最先进的无监督域适应重新ID方法相比。代码可在https://github.com/alibaba/cluster-contrast获得。
translated by 谷歌翻译
Unsupervised domain adaptation (UDA) via deep learning has attracted appealing attention for tackling domain-shift problems caused by distribution discrepancy across different domains. Existing UDA approaches highly depend on the accessibility of source domain data, which is usually limited in practical scenarios due to privacy protection, data storage and transmission cost, and computation burden. To tackle this issue, many source-free unsupervised domain adaptation (SFUDA) methods have been proposed recently, which perform knowledge transfer from a pre-trained source model to unlabeled target domain with source data inaccessible. A comprehensive review of these works on SFUDA is of great significance. In this paper, we provide a timely and systematic literature review of existing SFUDA approaches from a technical perspective. Specifically, we categorize current SFUDA studies into two groups, i.e., white-box SFUDA and black-box SFUDA, and further divide them into finer subcategories based on different learning strategies they use. We also investigate the challenges of methods in each subcategory, discuss the advantages/disadvantages of white-box and black-box SFUDA methods, conclude the commonly used benchmark datasets, and summarize the popular techniques for improved generalizability of models learned without using source data. We finally discuss several promising future directions in this field.
translated by 谷歌翻译
Person re-identification (re-ID) models trained on one domain often fail to generalize well to another. In our attempt, we present a "learning via translation" framework. In the baseline, we translate the labeled images from source to target domain in an unsupervised manner. We then train re-ID models with the translated images by supervised methods. Yet, being an essential part of this framework, unsupervised image-image translation suffers from the information loss of source-domain labels during translation.Our motivation is two-fold. First, for each image, the discriminative cues contained in its ID label should be maintained after translation. Second, given the fact that two domains have entirely different persons, a translated image should be dissimilar to any of the target IDs. To this end, we propose to preserve two types of unsupervised similarities, 1) self-similarity of an image before and after translation, and 2) domain-dissimilarity of a translated source image and a target image. Both constraints are implemented in the similarity preserving generative adversarial network (SPGAN) which consists of an Siamese network and a Cy-cleGAN. Through domain adaptation experiment, we show that images generated by SPGAN are more suitable for domain adaptation and yield consistent and competitive re-ID accuracy on two large-scale datasets.
translated by 谷歌翻译
Systems for person re-identification (ReID) can achieve a high accuracy when trained on large fully-labeled image datasets. However, the domain shift typically associated with diverse operational capture conditions (e.g., camera viewpoints and lighting) may translate to a significant decline in performance. This paper focuses on unsupervised domain adaptation (UDA) for video-based ReID - a relevant scenario that is less explored in the literature. In this scenario, the ReID model must adapt to a complex target domain defined by a network of diverse video cameras based on tracklet information. State-of-art methods cluster unlabeled target data, yet domain shifts across target cameras (sub-domains) can lead to poor initialization of clustering methods that propagates noise across epochs, thus preventing the ReID model to accurately associate samples of same identity. In this paper, an UDA method is introduced for video person ReID that leverages knowledge on video tracklets, and on the distribution of frames captured over target cameras to improve the performance of CNN backbones trained using pseudo-labels. Our method relies on an adversarial approach, where a camera-discriminator network is introduced to extract discriminant camera-independent representations, facilitating the subsequent clustering. In addition, a weighted contrastive loss is proposed to leverage the confidence of clusters, and mitigate the risk of incorrect identity associations. Experimental results obtained on three challenging video-based person ReID datasets - PRID2011, iLIDS-VID, and MARS - indicate that our proposed method can outperform related state-of-the-art methods. Our code is available at: \url{https://github.com/dmekhazni/CAWCL-ReID}
translated by 谷歌翻译
最近,通过计算各个特征和集群记忆之间的对比损失,群集对比度学习已被证明对人员Reid有效。但是,使用各个功能以势头更新群集内存的现有方法对嘈杂的样本不稳健,例如具有错误注释标签或伪标签的样本。与基于个人的更新机制不同,基于质心的更新机制应用每个群集的平均特征更新群集内存对少数噪声样本是强大的。因此,我们制定了一个名为双集群对比学习(DCC)的统一集群对比框架中的基于个人的更新和基于质心的更新机制,它维护了两种类型的存储体:个人和质心集群存储库。值得注意的是,基于各个功能更新各个集群内存。质心群集内存应用每个Cluter的平均特征以更新相应的群集内存。除了每个存储器的Vallina对比损耗之外,应用了一致性约束,以保证两个存储器输出的一致性。请注意,通过使用聚类方法生成的地面真理标签或伪标签,可以轻松地应用于无监督或监督人员REID。在监督人员REID和无人监督者REID下的两项基准的大量实验证明了拟议的DCC的优越。代码可用:https://github.com/htyao89/dual-cluster-contrastive/
translated by 谷歌翻译
由于其高实用价值,无监督的域自适应人员重新识别受到显着的关注。在过去几年中,通过遵循聚类和FineTuning范式,研究人员建议利用他们的师生框架,以减少不同人重新识别数据集之间的域间差距。受到最近的教师学生框架基于方法的启发,它试图通过使学生从教师直接复制行为来模仿人类学习过程,或者选择可靠的学习材料,我们建议进行进一步的探索,以模仿不同方面的人类学习过程,\ Texit {IE},自适应更新学习材料,选择性地模仿教师行为,分析学习材料结构。探索的三个组件共同合作,构成了一个新的无监督域自适应人重新识别的方法,称为人类学习仿框架。三个基准数据集的实验结果证明了我们提出的方法的功效。
translated by 谷歌翻译
最近,由于受监督人员重新识别(REID)的表现不佳,域名概括(DG)人REID引起了很多关注,旨在学习一个不敏感的模型,并可以抵抗域的影响偏见。在本文中,我们首先通过实验验证样式因素是域偏差的重要组成部分。基于这个结论,我们提出了一种样式变量且无关紧要的学习方法(SVIL)方法,以消除样式因素对模型的影响。具体来说,我们在SVIL中设计了样式的抖动模块(SJM)。 SJM模块可以丰富特定源域的样式多样性,并减少各种源域的样式差异。这导致该模型重点关注与身份相关的信息,并对样式变化不敏感。此外,我们将SJM模块与元学习算法有机结合,从而最大程度地提高了好处并进一步提高模型的概括能力。请注意,我们的SJM模块是插件和推理,无需成本。广泛的实验证实了我们的SVIL的有效性,而我们的方法的表现优于DG-REID基准测试的最先进方法。
translated by 谷歌翻译
基于聚类的方法,在伪标签的产生和特征提取网络的优化之间交替,在无监督学习(USL)和无监督的域自适应(UDA)人重新识别(RE-ID)中起着主要作用。为了减轻嘈杂的伪标签的不利影响,现有方法要么放弃不可靠的标签,要么通过相互学习或标签传播来完善伪标签。但是,仍然积累了许多错误的标签,因为这些方法主要采用传统的无监督聚类算法,这些算法依赖于对数据分布的某些假设,并且无法捕获复杂的现实世界数据的分布。在本文中,我们提出了基于插件的伪标签校正网络(GLC),以以监督聚类的方式完善伪标签。训练GLC可以通过任何聚类方法生成的初始伪标签的监督来感知自训练的每个时期的不同数据分布。它可以学会通过K最近的邻居(KNN)图和早期训练策略的样本之间的关系约束来纠正初始嘈杂标签。具体而言,GLC学会从邻居汇总节点特征,并预测是否应在图上链接节点。此外,在对嘈杂的标签进行严重记忆以防止过度拟合嘈杂的伪标签之前,GLC已通过“早停”进行了优化。因此,尽管监督信号包含一些噪音,但GLC提高了伪标签的质量,从而可以更好地进行重新ID性能。在Market-1501和MSMT17上进行了USL和UDA人重新ID的广泛实验表明,我们的方法与各种基于聚类的方法广泛兼容,并始终如一地促进最先进的性能。
translated by 谷歌翻译
监督人员重新识别(RE-ID)方法需要大量的成对手动标记数据,这些数据不适用于重新ID部署的大多数真实情景。另一方面,无监督的RE-ID方法依赖于未标记的数据来培训模型,但与监督的重新ID方法相比,执行差劲。在这项工作中,我们的目标是将无监督的重新识别学习与少数人的注释相结合,以实现竞争性能。为此目标,我们提出了一个无人监督的聚类主动学习(UCAL)重新ID深度学习方法。它能够逐步地发现代表性的质心对并要求人类注释它们。这些标记的代表成对数据可以通过其他大量未标记的数据来改善无监督的表示学习模型。更重要的是,由于选择了代表性质心对注释,UCAL可以使用非常低成本的人力努力工作。广泛的实验表明,在三个重新ID基准数据集上展示了拟议的模型的优越性。
translated by 谷歌翻译
域概括(DG)最近引起了人的重新识别(REID)的巨大关注。它旨在使在多个源域上培训的模型概括到未经看不见的目标域。虽然实现了有前进的进步,但现有方法通常需要要标记的源域,这可能是实际REID任务的重大负担。在本文中,我们通过假设任何源域都有任何标签可以调查Reid的无监督域泛化。为了解决这个具有挑战性的设置,我们提出了一种简单高效的域特定的自适应框架,并通过设计在批处理和实例归一化技术上的自适应归一化模块实现。在此过程中,我们成功地产生了可靠的伪标签来实现培训,并根据需要增强模型的域泛化能力。此外,我们表明,我们的框架甚至可以应用于在监督域泛化和无监督域适应的环境下改进人员Reid,展示了关于相关方法的竞争性能。对基准数据集进行了广泛的实验研究以验证所提出的框架。我们的工作的重要性在于它表明了对人Reid的无监督域概括的潜力,并为这一主题进一步研究了一个强大的基线。
translated by 谷歌翻译