人重新识别(RE-ID)在监督场景中取得了巨大成功。但是,由于模型过于适合所见源域,因此很难将监督模型直接传输到任意看不见的域。在本文中,我们旨在从数据增强的角度来解决可推广的多源人员重新ID任务(即,在培训期间看不见测试域,并且在培训期间看不见测试域,因此我们提出了一种新颖的方法,称为Mixnorm,由域感知的混合范围(DMN)和域软件中心正则化(DCR)组成。不同于常规数据增强,提出的域吸引的混合范围化,以增强从神经网络的标准化视图中训练期间特征的多样性,这可以有效地减轻模型过度适应源域,从而提高概括性。在看不见的域中模型的能力。为了更好地学习域不变的模型,我们进一步开发了域吸引的中心正规化,以更好地将产生的各种功能映射到同一空间中。在多个基准数据集上进行的广泛实验验证了所提出的方法的有效性,并表明所提出的方法可以胜过最先进的方法。此外,进一步的分析还揭示了所提出的方法的优越性。
translated by 谷歌翻译
人重新识别(RE-ID)是视频监视系统中的一项关键技术,在监督环境中取得了重大成功。但是,由于可用源域和看不见的目标域之间的域间隙,很难将监督模型直接应用于任意看不见的域。在本文中,我们提出了一种新颖的标签分布学习(LDL)方法,以解决可推广的多源人员重新ID任务(即,有多个可用的源域,并且在培训期间看不到测试域),旨在旨在探索不同类别的关系,并减轻跨不同域的域转移,以改善模型的歧视并同时学习域不变特征。具体而言,在培训过程中,我们通过在线方式生产标签分布来挖掘不同类别的关系信息,因此它有益于提取判别特征。此外,对于每个类别的标签分布,我们进一步对其进行了修改,以更多和同等的关注该类不属于的其他域,这可以有效地减少跨不同域的域间隙并获得域不变特征。此外,我们还提供了理论分析,以证明所提出的方法可以有效地处理域转移问题。在多个基准数据集上进行的广泛实验验证了所提出的方法的有效性,并表明所提出的方法可以胜过最先进的方法。此外,进一步的分析还揭示了所提出的方法的优越性。
translated by 谷歌翻译
域概括(DG)最近引起了人的重新识别(REID)的巨大关注。它旨在使在多个源域上培训的模型概括到未经看不见的目标域。虽然实现了有前进的进步,但现有方法通常需要要标记的源域,这可能是实际REID任务的重大负担。在本文中,我们通过假设任何源域都有任何标签可以调查Reid的无监督域泛化。为了解决这个具有挑战性的设置,我们提出了一种简单高效的域特定的自适应框架,并通过设计在批处理和实例归一化技术上的自适应归一化模块实现。在此过程中,我们成功地产生了可靠的伪标签来实现培训,并根据需要增强模型的域泛化能力。此外,我们表明,我们的框架甚至可以应用于在监督域泛化和无监督域适应的环境下改进人员Reid,展示了关于相关方法的竞争性能。对基准数据集进行了广泛的实验研究以验证所提出的框架。我们的工作的重要性在于它表明了对人Reid的无监督域概括的潜力,并为这一主题进一步研究了一个强大的基线。
translated by 谷歌翻译
最近,由于受监督人员重新识别(REID)的表现不佳,域名概括(DG)人REID引起了很多关注,旨在学习一个不敏感的模型,并可以抵抗域的影响偏见。在本文中,我们首先通过实验验证样式因素是域偏差的重要组成部分。基于这个结论,我们提出了一种样式变量且无关紧要的学习方法(SVIL)方法,以消除样式因素对模型的影响。具体来说,我们在SVIL中设计了样式的抖动模块(SJM)。 SJM模块可以丰富特定源域的样式多样性,并减少各种源域的样式差异。这导致该模型重点关注与身份相关的信息,并对样式变化不敏感。此外,我们将SJM模块与元学习算法有机结合,从而最大程度地提高了好处并进一步提高模型的概括能力。请注意,我们的SJM模块是插件和推理,无需成本。广泛的实验证实了我们的SVIL的有效性,而我们的方法的表现优于DG-REID基准测试的最先进方法。
translated by 谷歌翻译
域的概括(DG)旨在学习一个对源域的模型,以很好地概括看不见的目标域。尽管它取得了巨大的成功,但大多数现有方法都需要用于源域中所有培训样本的标签信息,这在现实世界中既耗时又昂贵。在本文中,我们求助于解决半监督域的概括(SSDG)任务,其中每个源域中都有一些标签信息。为了解决任务,我们首先分析多域学习的理论,该理论强调了1)减轻域间隙的影响和2)利用所有样品训练模型可以有效地减少每个源域中的概括误差,因此提高伪标签的质量。根据分析,我们提出了Multimatch,即将FixMatch扩展到多任务学习框架,从而为SSDG生成高质量的伪标签。具体来说,我们将每个培训域视为一个任务(即本地任务),并将所有培训域(即全球任务)组合在一起,以训练看不见的测试域的额外任务。在多任务框架中,我们为每个任务使用独立的BN和分类器,这可以有效地减轻伪标记期间不同领域的干扰。同样,共享框架中的大多数参数,可以通过所有培训样本进行培训。此外,为了进一步提高伪标签的准确性和模型的概括,我们分别在培训和测试过程中分别融合了全球任务和本地任务的预测。一系列实验验证了所提出的方法的有效性,并且在几个基准DG数据集上优于现有的半监督方法和SSDG方法。
translated by 谷歌翻译
人重新识别(REID)的域概括(DG)是一个具有挑战性的问题,因为在培训过程中无法访问允许的目标域数据。大多数现有的DG REID方法都采用相同的功能来更新功能提取器和分类器参数。这种常见的实践导致模型过度拟合了源域中的现有特征样式,即使使用元学习,也会在目标域上对目标域的概括概括能力。为了解决这个问题,我们提出了一种新型的交织方式学习框架。与传统的学习策略不同,交织的学习结合了两个远期传播和每个迭代的后退传播。我们采用交错样式的功能,使用不同的前向传播来更新功能提取器和分类器,这有助于模型避免过度适应某些域样式。为了充分探索风格交织的学习的优势,我们进一步提出了一种新颖的功能风格化方法来多样化功能样式。这种方法不仅混合了多个培训样本的功能样式,还可以从批处理级别的样式发行中示例新的和有意义的功能样式。广泛的实验结果表明,我们的模型始终优于DG REID大规模基准的最先进方法,从而在计算效率方面具有明显的优势。代码可从https://github.com/wentaotan/interleaved-learning获得。
translated by 谷歌翻译
域名概括(DG)人重新识别(REID)旨在通过在培训时间进行无需目标域数据的未经访问域来测试,这是一个现实但具有挑战性的问题。与假设不同域的相同模型的方法相反,专家(MOE)的混合利用多个域特定网络来利用域之间的互补信息,获得令人印象深刻的结果。然而,基于MOE的DG REID方法随着源极域的数量的增加而遭受大型模型尺寸,而且大多数忽略了域不变特性的开发。要处理上面的两个问题,本文介绍了一种通过其他人对DG REID的聚合(META)嵌入模拟嵌入的新方法。为避免大型型号大小,元的专家对每个源域的分支网络不添加分支网络,但共享除批量归一化层外的所有参数。除了多个专家外,Meta除了实例规范化(IN)并将其介绍到全球分支中,以跨域追求不变的功能。同时,META考虑通过归一化统计数据的看不见的目标样本和源域的相关性,并开发聚合网络以自适应地集成多个专家来模仿未经调用的目标域。受益于拟议的一致性损失和episodic训练算法,我们可以预期元模仿真正看不见的目标域的嵌入。广泛的实验核实,META通过大边缘超越最先进的DG REID方法。
translated by 谷歌翻译
通过在多个观察到的源极域上培训模型,域概括旨在概括到无需进一步培训的任意看不见的目标领域。现有的作品主要专注于学习域不变的功能,以提高泛化能力。然而,由于在训练期间不可用目标域,因此前面的方法不可避免地遭受源极域中的过度。为了解决这个问题,我们开发了一个有效的基于辍学的框架,可以扩大模型的注意力,这可以有效地减轻过度的问题。特别地,与典型的辍学方案不同,通常在固定层上进行丢失,首先,我们随机选择一层,然后我们随机选择其通道以进行丢弃。此外,我们利用进步方案增加训练期间辍学的比率,这可以逐步提高培训模型的难度,以增强模型的稳健性。此外,为了进一步缓解过度拟合问题的影响,我们利用了在图像级和特征级别的增强方案来产生强大的基线模型。我们对多个基准数据集进行广泛的实验,该数据集显示了我们的方法可以优于最先进的方法。
translated by 谷歌翻译
域概括人员重新识别旨在将培训的模型应用于未经看明域。先前作品将所有培训域中的数据组合以捕获域不变的功能,或者采用专家的混合来调查特定域的信息。在这项工作中,我们争辩说,域特定和域不变的功能对于提高重新ID模型的泛化能力至关重要。为此,我们设计了一种新颖的框架,我们命名为两流自适应学习(tal),同时模拟这两种信息。具体地,提出了一种特定于域的流以捕获具有批量归一化(BN)参数的训练域统计,而自适应匹配层被设计为动态聚合域级信息。同时,我们在域不变流中设计一个自适应BN层,以近似各种看不见域的统计信息。这两个流自适应地和协作地工作,以学习更广泛的重新ID功能。我们的框架可以应用于单源和多源域泛化任务,实验结果表明我们的框架显着优于最先进的方法。
translated by 谷歌翻译
基于现有的基于解除拘淀的概括性的方法,即可在直接解开人称的旨在转变为域相关干扰和身份相关特征。然而,它们忽略了一些重要的特征在域相关干扰和身份相关特征中顽固地纠缠于,这是难以以无监督的方式分解的。在本文中,我们提出了一种简单但有效的校准功能分解(CFD)模块,专注于通过更明智的特征分解和强化策略来提高人员重新识别的泛化能力。具体地,校准和标准化的批量归一化(CSBN)旨在通过联合探索域内校准和域间标准化的多源域特征来学习校准的人表示。 CSBN限制每个域的特征分布的实例级别不一致,捕获内部域级别的特定统计信息。校准人称表示在细微分解为身份相关功能,域功能,剩余纠结的纠结之一。为了提高泛化能力并确保高度辨别身份相关特征,引入了校准的实例归一化(CIN)以强制执行判别ID相关信息,并滤除ID-Intrelate的信息,同时剩余的富互补线索纠缠特征进一步用于加强它。广泛的实验表明了我们框架的强烈概括能力。我们的模型由CFD模块赋予授权,显着优于多个广泛使用的基准测试的最先进的域广义方法。代码将公开:https://github.com/zkcys001/cfd。
translated by 谷歌翻译
旨在概括在源域中训练的模型来看不见的目标域,域泛化(DG)最近引起了很多关注。 DG的关键问题是如何防止对观察到的源极域的过度接收,因为在培训期间目标域不可用。我们调查过度拟合不仅导致未经看不见的目标域的普遍推广能力,而且在测试阶段导致不稳定的预测。在本文中,我们观察到,在训练阶段采样多个任务并在测试阶段产生增强图像,很大程度上有利于泛化性能。因此,通过处理不同视图的任务和图像,我们提出了一种新颖的多视图DG框架。具体地,在训练阶段,为了提高泛化能力,我们开发了一种多视图正则化元学习算法,该算法采用多个任务在更新模型期间产生合适的优化方向。在测试阶段,为了减轻不稳定的预测,我们利用多个增强图像来产生多视图预测,这通过熔断测试图像的不同视图的结果显着促进了模型可靠性。三个基准数据集的广泛实验验证了我们的方法优于几种最先进的方法。
translated by 谷歌翻译
Though convolutional neural networks (CNNs) have demonstrated remarkable ability in learning discriminative features, they often generalize poorly to unseen domains. Domain generalization aims to address this problem by learning from a set of source domains a model that is generalizable to any unseen domain. In this paper, a novel approach is proposed based on probabilistically mixing instancelevel feature statistics of training samples across source domains. Our method, termed MixStyle, is motivated by the observation that visual domain is closely related to image style (e.g., photo vs. sketch images). Such style information is captured by the bottom layers of a CNN where our proposed style-mixing takes place. Mixing styles of training instances results in novel domains being synthesized implicitly, which increase the domain diversity of the source domains, and hence the generalizability of the trained model. MixStyle fits into mini-batch training perfectly and is extremely easy to implement. The effectiveness of MixStyle is demonstrated on a wide range of tasks including category classification, instance retrieval and reinforcement learning.
translated by 谷歌翻译
批量归一化(BN)广泛用于现代神经网络,已被证明代表与域相关知识,因此对于跨域任务(如无监督域适应(UDA))无效。现有的BN变体方法在归一化模块中相同信道中的源和目标域知识。然而,跨域跨域的相应通道的特征之间的错位通常导致子最佳的可转换性。在本文中,我们利用跨域关系并提出了一种新颖的归一化方法,互惠归一化(RN)。具体地,RN首先呈现互易补偿(RC)模块,用于基于跨域频道明智的相关性在两个域中获取每个信道的补偿。然后,RN开发互易聚合(RA)模块,以便以其跨域补偿组件自适应地聚合特征。作为BN的替代方案,RN更适合于UDA问题并且可以容易地集成到流行的域适应方法中。实验表明,所提出的RN优于现有的正常化对应物,通过大幅度,并有助于最先进的适应方法实现更好的结果。源代码可在https://github.com/openning07/reciprocal-normalization-for-da上找到。
translated by 谷歌翻译
最近,无监督的人重新识别(RE-ID)引起了人们的关注,因为其开放世界情景设置有限,可用的带注释的数据有限。现有的监督方法通常无法很好地概括在看不见的域上,而无监督的方法(大多数缺乏多范围的信息),并且容易患有确认偏见。在本文中,我们旨在从两个方面从看不见的目标域上找到更好的特征表示形式,1)在标记的源域上进行无监督的域适应性和2)2)在未标记的目标域上挖掘潜在的相似性。此外,提出了一种协作伪标记策略,以减轻确认偏见的影响。首先,使用生成对抗网络将图像从源域转移到目标域。此外,引入了人身份和身份映射损失,以提高生成图像的质量。其次,我们提出了一个新颖的协作多元特征聚类框架(CMFC),以学习目标域的内部数据结构,包括全局特征和部分特征分支。全球特征分支(GB)在人体图像的全球特征上采用了无监督的聚类,而部分特征分支(PB)矿山在不同人体区域内的相似性。最后,在两个基准数据集上进行的广泛实验表明,在无监督的人重新设置下,我们的方法的竞争性能。
translated by 谷歌翻译
更广泛的人重新识别(Reid)在最近的计算机视觉社区中引起了不断的关注。在这项工作中,我们在身份标签,特定特定因素(衣服/鞋子颜色等)和域特定因素(背景,观点等)之间构建结构因果模型。根据因果分析,我们提出了一种新颖的域不变表示,以获得概括的人重新识别(DIR-REID)框架。具体而言,我们首先建议解散特定于特定的和域特定的特征空间,我们提出了一种有效的算法实现,用于后台调整,基本上是朝向SCM的因果干预。已经进行了广泛的实验,表明Dir-Reid在大规模域泛化Reid基准上表现出最先进的方法。
translated by 谷歌翻译
Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.
translated by 谷歌翻译
基于深度学习的人重新识别(REID)通常需要大量的培训数据来实现良好的性能。因此,似乎从各种环境中收集更多培训数据往往会提高Reid性能。本文重新审视了这种共同的信念,并使一些令人惊讶的观察结果:使用更多样本,即使用来自多个数据集的样本的培训,不一定通过使用流行的Reid模型来实现更好的性能。在某些情况下,使用更多样本的培训甚至可能损害评估的性能在其中一个数据集中进行。我们假设这一现象是由于标准网络在适应不同环境中的无法行动。为了克服这个问题,我们提出了一种称为域相机样动态网络(DCSD)的方法,其参数可以适应各种因素。具体而言,我们考虑可以从输入特征和外部域相关因子中识别的内部域相关因素,例如域信息或相机信息。我们的发现是,具有这种自适应模型的培训可以从更多的训练样本中获益。实验结果表明,我们的DCSD可以大大提高性能(高达12.3%),而在多个数据集中的联合培训。
translated by 谷歌翻译
为了将训练有素的模型直接概括为看不见的目标域,域概括(DG)是一种新提出的学习范式,引起了很大的关注。以前的DG模型通常需要在训练过程中观察到的源域中的足够数量的带注释的样品。在本文中,我们放宽了有关完全注释的要求,并研究了半监督域的概括(SSDG),在训练过程中,只有一个源域与其他完全未标记的域一起完全注释。由于要解决观察到的源域之间的域间隙和预测看不见的目标域之间的挑战,我们提出了一个通过关节域吸引的标签和双分类器的新型深框架,以产生高质量的伪标记。具体来说,为了预测域移位下的准确伪标记,开发了一个域吸引的伪标记模块。此外,考虑到概括和伪标记之间的目标不一致:前者防止在所有源域上过度拟合,而后者可能过分适合未标记的源域,以高精度,我们采用双分类器来独立执行伪标记和域名,并在训练过程中执行伪造域通用化。 。当为未标记的源域生成准确的伪标记时,将域混合操作应用于标记和未标记域之间的新域,这对于提高模型的通用能力是有益的。公开可用的DG基准数据集的广泛结果显示了我们提出的SSDG方法的功效。
translated by 谷歌翻译
随着各种面部表现攻击不断出现,基于域概括(DG)的面部抗散热(FAS)方法引起了人们的注意。现有的基于DG的FAS方法始终捕获用于概括各种看不见域的域不变功能。但是,他们忽略了单个源域的歧视性特征和不同域的不同域特异性信息,并且训练有素的模型不足以适应各种看不见的域。为了解决这个问题,我们提出了专家学习(AMEL)框架的自适应混合物,该框架利用了特定于域的信息以适应性地在可见的源域和看不见的目标域之间建立链接,以进一步改善概括。具体而言,特定领域的专家(DSE)旨在研究歧视性和独特的域特异性特征,以作为对共同域不变特征的补充。此外,提出了动态专家聚合(DEA),以根据与看不见的目标域相关的域相关的每个源专家的互补信息来自适应地汇总信息。并结合元学习,这些模块合作,可适应各种看不见的目标域的有意义的特定于域特异性信息。广泛的实验和可视化证明了我们对最先进竞争者的方法的有效性。
translated by 谷歌翻译
机器学习系统通常假设训练和测试分布是相同的。为此,关键要求是开发可以概括到未经看不见的分布的模型。领域泛化(DG),即分销概括,近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置,其中给出了一个或几个不同但相关域,并且目标是学习可以概括到看不见的测试域的模型。多年来,域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先,我们提供了域泛化的正式定义,并讨论了几个相关领域。然后,我们彻底审查了与域泛化相关的理论,并仔细分析了泛化背后的理论。我们将最近的算法分为三个类:数据操作,表示学习和学习策略,并为每个类别详细介绍几种流行的算法。第三,我们介绍常用的数据集,应用程序和我们的开放源代码库进行公平评估。最后,我们总结了现有文学,并为未来提供了一些潜在的研究主题。
translated by 谷歌翻译