作为主导范式,微调目标数据的预先训练模型广泛用于许多深度学习应用,特别是对于小数据集。然而,最近的研究已经明确表明,一旦培训迭代的数量增加,划痕训练都没有比这一训练前策略更糟糕的最终表现。在这项工作中,我们从学习理论中流行的泛化分析的角度重新审视这种现象。我们的结果表明,最终预测精度可能具有对预训练模型的弱依赖性,特别是在大训练迭代的情况下。观察激励我们利用预训练预调整的数据,因为此数据也可用于微调。使用预训练数据的泛化结果表明,当适当的预训练数据包含在微调中时,可以提高目标任务的最终性能。随着理论发现的洞察力,我们提出了一种新颖的选择策略来选择从预训练数据中的子集,以帮助改善目标任务的概括。 8个基准数据集上的图像分类任务的广泛实验结果验证了基于数据选择的微调管道的有效性。
translated by 谷歌翻译
域概括(DG)最近引起了人的重新识别(REID)的巨大关注。它旨在使在多个源域上培训的模型概括到未经看不见的目标域。虽然实现了有前进的进步,但现有方法通常需要要标记的源域,这可能是实际REID任务的重大负担。在本文中,我们通过假设任何源域都有任何标签可以调查Reid的无监督域泛化。为了解决这个具有挑战性的设置,我们提出了一种简单高效的域特定的自适应框架,并通过设计在批处理和实例归一化技术上的自适应归一化模块实现。在此过程中,我们成功地产生了可靠的伪标签来实现培训,并根据需要增强模型的域泛化能力。此外,我们表明,我们的框架甚至可以应用于在监督域泛化和无监督域适应的环境下改进人员Reid,展示了关于相关方法的竞争性能。对基准数据集进行了广泛的实验研究以验证所提出的框架。我们的工作的重要性在于它表明了对人Reid的无监督域概括的潜力,并为这一主题进一步研究了一个强大的基线。
translated by 谷歌翻译
未经监督的域适应(UDA)用于重新识别(RE-ID)是一个具有挑战性的任务:避免昂贵的附加数据的注释,它旨在将知识从域转移到仅具有未标记数据的域的带注释数据。已证明伪标签方法已对UDA重新ID有效。然而,这些方法的有效性大量取决于通过聚类影响影响伪标签的一些超参数(HP)的选择。兴趣领域缺乏注释使得这一选择是非微不足道的。目前的方法只需重复使用所有适应任务的相同的经验值,并且无论通过伪标记培训阶段都会改变的目标数据表示。由于这种简单的选择可能会限制其性能,我们的目标是解决这个问题。我们提出了对聚类UDA RE-ID进行培训选择的新理论基础以及伪标签UDA聚类的自动和循环HP调谐方法:丘比巴。 Hyprass在伪标记方法中包含两个模块:(i)基于标记源验证集的HP选择和(ii)特征歧视的条件域对齐,以改善基于源样本的HP选择。关于常用的人员重新ID和车辆重新ID数据集的实验表明,与常用的经验HP设置相比,我们所提出的次数始终如一地提高RE-ID中最先进的方法。
translated by 谷歌翻译
最先进的无监督的RE-ID方法使用基于内存的非参数软制AX丢失训练神经网络。存储在存储器中的实例特征向量通过群集和更新在实例级别中分配伪标签。然而,不同的簇大小导致每个群集的更新进度中的不一致。为了解决这个问题,我们呈现了存储特征向量的集群对比度,并计算群集级别的对比度损耗。我们的方法采用唯一的群集表示来描述每个群集,从而产生群集级存储字典。以这种方式,可以有效地保持聚类的一致性,在整个阶段,可以显着降低GPU存储器消耗。因此,我们的方法可以解决集群不一致的问题,并且适用于较大的数据集。此外,我们采用不同的聚类算法来展示我们框架的鲁棒性和泛化。与标准无监督的重新ID管道的集群对比的应用达到了9.9%,8.3%,12.1%的显着改善,而最新的无人纯粹无监督的重新ID方法和5.5%,4.8%,4.4%地图相比与市场,公爵和MSMT17数据集上的最先进的无监督域适应重新ID方法相比。代码可在https://github.com/alibaba/cluster-contrast获得。
translated by 谷歌翻译
我们研究了视觉变压器的培训,用于半监督图像分类。变形金刚最近在众多监督的学习任务中表现出令人印象深刻的表现。令人惊讶的是,我们发现视觉变形金刚在半监督的想象中心设置上表现不佳。相比之下,卷积神经网络(CNNS)实现了小标记数据制度的卓越结果。进一步调查揭示了原因是CNN具有强大的空间归纳偏差。灵感来自这一观察,我们介绍了一个联合半监督学习框架,半统一,其中包含变压器分支,卷积分支和精心设计的融合模块,用于分支之间的知识共享。卷积分支在有限监督数据上培训,并生成伪标签,以监督变压器分支对未标记数据的培训。关于Imagenet的广泛实验表明,半统一达到75.5 \%的前1个精度,优于最先进的。此外,我们显示Semifirmer是一般框架,与大多数现代变压器和卷积神经结构兼容。
translated by 谷歌翻译
监督学习可以学习大型代表性空间,这对于处理困难的学习任务至关重要。然而,由于模型的设计,经典图像分类方法争取在处理小型数据集时概括为新的问题和新情况。事实上,监督学习可能失去图像特征的位置,这导致在非常深刻的架构中的监督崩溃。在本文中,我们调查了如何有效地对未标记数据的强大和充分增强的自我监督,可以有效地培训神经网络的第一层,甚至比监督学习更好,无需数百万标记的数据。主要目标是通过获取通用任务 - 不可知的低级功能来断开像素数据与注释的连接。此外,我们调查视觉变形金刚(VIV)并表明,从自我监督架构中得出的低级功能可以提高这种紧急架构的鲁棒性和整体性能。我们在最小的开源数据集STL-​​10上评估了我们的方法,当从自我监督的学习架构输入到vit而不是原始时,我们获得了从41.66%的显着提升到83.25%。图片。
translated by 谷歌翻译
无监督的视频人重新识别(Reid)方法通常取决于全局级别功能。许多监督的Reid方法采用了本地级别的功能,并实现了显着的性能改进。但是,将本地级别的功能应用于无监督的方法可能会引入不稳定的性能。为了提高无监督视频REID的性能稳定,本文介绍了一般方案融合零件模型和无监督的学习。在该方案中,全局级别功能分为等于的本地级别。用于探索无监督学习的本地感知模块以探索对本地级别功能的概括。建议克服本地级别特征的缺点来克服全局感知模块。来自这两个模块的功能融合以形成每个输入图像的鲁棒特征表示。此特征表示具有本地级别功能的优点,而不会遭受其缺点。综合实验是在三个基准上进行的,包括PRID2011,ILIDS-VID和Dukemtmc-Videoreid,结果表明,该方法实现了最先进的性能。广泛的消融研究证明了所提出的计划,本地感知模块和全局感知模块的有效性和稳健性。
translated by 谷歌翻译
与基于现代聚类算法的完全监督的REID方法相比,未经监督的人重新识别(U-Reid)最近达到了竞争性能。然而,这种基于聚类的方案对大规模数据集来说变得对计算方式。如何探讨如何有效利用具有有限计算资源的无限未标记的数据,以便更好地进行更好的U-Reid。在本文中,我们首次尝试大规模U-Reid并提出一个“大型任务的小数据”范式被称为Meta聚类学习(MCL)。 MCL仅通过群集伪标记整个未标记数据的子集,以节省第一期训练的计算。之后,被学习的集群中心称为我们的MCL中的元原型,被视为代理注释器,以便轻松注释其它未标记数据以进一步抛光模型。为了缓解抛光阶段的潜在嘈杂的标签问题,我们强制执行两个精心设计的损失限制,以保证境内统一的一致性和相互识别的强烈相关性。对于多个广泛使用的U-REID基准测试,我们的方法显着节省了计算成本,同时与先前作品相比,实现了可比或更好的性能。
translated by 谷歌翻译
域概括人员重新识别旨在将培训的模型应用于未经看明域。先前作品将所有培训域中的数据组合以捕获域不变的功能,或者采用专家的混合来调查特定域的信息。在这项工作中,我们争辩说,域特定和域不变的功能对于提高重新ID模型的泛化能力至关重要。为此,我们设计了一种新颖的框架,我们命名为两流自适应学习(tal),同时模拟这两种信息。具体地,提出了一种特定于域的流以捕获具有批量归一化(BN)参数的训练域统计,而自适应匹配层被设计为动态聚合域级信息。同时,我们在域不变流中设计一个自适应BN层,以近似各种看不见域的统计信息。这两个流自适应地和协作地工作,以学习更广泛的重新ID功能。我们的框架可以应用于单源和多源域泛化任务,实验结果表明我们的框架显着优于最先进的方法。
translated by 谷歌翻译
几乎所有用于计算机视觉任务的最先进的神经网络都受到(1)在目标数据集上的大规模数据集和(2)FINETUNING上的预培训(1)预培训。该策略有助于减少对目标数据集的依赖,并提高目标任务的收敛速率和泛化。虽然对大型数据集进行预训练非常有用,但其最重要的缺点是高培训成本。要解决此问题,我们提出了有效的过滤方法,以从训练前的数据集中选择相关子集。此外,我们发现,在训练前的图像分辨率降低图像分辨率在成本和性能之间提供了很大的权衡。我们通过在无监督和监督设置中的想象中进行预测,并在各种目标数据集和任务集合中进行预测,通过预先培训来验证我们的技术。我们提出的方法大大降低了预训练成本并提供了强大的性能提升。最后,我们通过在我们的子集上调整可用模型来提高标准ImageNet预培训1-3%,并在从更大的规模数据集中过滤的数据集上进行预训练。
translated by 谷歌翻译
无监督域适应(UDA)旨在将从标记的源域中学习的知识转移到未标记的目标域。以前的工作主要是在卷积神经网络(CNNS)上建立的,以学习域名不变的表示。随着近期应用视觉变压器(VIT)对视力任务的指数增加,然而,在文献中仍未开发了调整跨领域知识的能力。为了填补这一差距,本文首先全面调查了vit的各种域适应任务的可转移性。令人惊讶的是,VIT通过其具有大边缘的基于CNNS的对应物来证明优异的可转移性,而通过掺入抗体适应可以进一步提高性能。尽管如此,直接使用基于CNNS的适应策略未能利用Vit的内在优点(例如,注意机制和顺序图像表示)在知识转移中起重要作用。为了解决这个问题,我们提出了一个统一的框架,即可转换的视觉变压器(TVT),以充分利用VIT的可转换性来实现域适应。具体而言,我们精致地设计了一种新颖且有效的单位,我们术语可转移适应模块(TAM)。通过将学习的传递注入注意块,TAM压迫重点是可转移和辨别特征。此外,我们利用判别聚类来增强在对抗域对齐期间破坏的特征分集和分离。为了验证其多功能性,我们在四个基准测试中对TVT进行了广泛的研究,实验结果表明,与现有的最先进的UDA方法相比,TVT达到了显着的改进。
translated by 谷歌翻译
预训练为深入学习支持的X线射线分析中最近的成功奠定了基础。它通过在源域上进行大规模完全监督或自我监督的学习来学习可转移的图像表示。然而,监督的预培训需要复杂和劳动密集的两级人类辅助注释过程,而自我监督的学习不能与监督范例竞争。为了解决这些问题,我们提出了一个跨监督的方法,命名为审查监督(指的)的自由文本报告,该报告从射线照相中获取来自原始放射学报告的自由监督信号。该方法采用了视觉变压器,旨在从每个患者研究中的多种视图中学习联合表示。在极其有限的监督下,引用其在4个众所周知的X射线数据集上的转移学习和自我监督学习对应。此外,甚至是基于具有人辅助结构标签的射线照相的源区的甚至超越方法。因此,有可能取代规范的预训练方法。
translated by 谷歌翻译
人重新识别(Reid)旨在从不同摄像机捕获的图像中检索一个人。对于基于深度学习的REID方法,已经证明,使用本地特征与人物图像的全局特征可以帮助为人员检索提供强大的特征表示。人类的姿势信息可以提供人体骨架的位置,有效地指导网络在这些关键领域更加关注这些关键领域,也可能有助于减少来自背景或闭塞的噪音分散。然而,先前与姿势相关的作品提出的方法可能无法充分利用姿势信息的好处,并没有考虑不同当地特征的不同贡献。在本文中,我们提出了一种姿势引导图注意网络,一个多分支架构,包括一个用于全局特征的一个分支,一个用于中粒体特征的一个分支,一个分支用于细粒度关键点特征。我们使用预先训练的姿势估计器来生成本地特征学习的关键点热图,并仔细设计图表卷积层以通过建模相似关系来重新评估提取的本地特征的贡献权重。实验结果表明我们对歧视特征学习的方法的有效性,我们表明我们的模型在几个主流评估数据集上实现了最先进的表演。我们还对我们的网络进行了大量的消融研究和设计不同类型的比较实验,以证明其有效性和鲁棒性,包括整体数据集,部分数据集,遮挡数据集和跨域测试。
translated by 谷歌翻译
在将人重新识别(REID)模型部署在安全关键型应用程序中时,它是关键,以了解模型的鲁棒性,以反对不同的图像损坏阵列。但是,当前对人的评估Reid仅考虑干净数据集的性能,并忽略各种损坏方案中的图像。在这项工作中,我们全面建立了六种Reid基准,用于学习腐败不变的代表。在Reid领域,我们是第一个在单个和跨模式数据集中开展腐败腐败的彻底研究,包括市场-1501,CUHK03,MSMT17,REGDB,SYSU-MM01。在再现和检查最近的REID方法的鲁棒性能后,我们有一些观察结果:1)基于变压器的模型对损坏的图像更加强大,与基于CNN的模型相比,2)增加了随机擦除的概率(常用的增强方法)伤害模型腐败鲁棒性,3)交叉数据集泛化改善腐败鲁棒性增加。通过分析上述观察,我们提出了一个强大的基线,对单一和跨型号的内部数据集,实现了对不同腐败的改善的鲁棒性。我们的代码可在https://github.com/minghuichen43/cil -reid上获得。
translated by 谷歌翻译
语言变形金刚的成功主要归因于屏蔽语言建模(MLM)的借口任务,其中文本首先被致以语义有意义的作品。在这项工作中,我们研究了蒙面图像建模(MIM),并指出使用语义有意义的视觉销售器的优缺点。我们提出了一个自我监督的框架IBOT,可以使用在线标记器执行蒙版预测。具体而言,我们在蒙面的补丁令牌上进行自我蒸馏,并将教师网络作为在线标记器,以及在课堂上的自蒸馏来获取视觉语义。在线销售器与MIM目标和分配的多级培训管道共同学习,销售器需要预先预先培训。通过在Imagenet-1K上达到81.6%的线性探测精度和86.3%的微调精度来展示IBOT的突出。除了最先进的图像分类结果之外,我们强调了新兴的局部语义模式,这有助于模型对共同损坏获得强大的鲁棒性,并在密集的下游任务中实现领先的结果,例如,对象检测,实例分割和语义细分。
translated by 谷歌翻译
无监督的域适应(UDA)旨在将知识从标记的源域传输到未标记的目标域。大多数现有的UDA方法通过学习域 - 不变的表示和在两个域中共享一个分类器来实现知识传输。但是,忽略与任务相关的域特定信息,并强制统一的分类器以适合两个域将限制每个域中的特征表达性。在本文中,通过观察到具有可比参数的变压器架构可以产生比CNN对应的更可转换的表示,我们提出了一个双赢的变压器框架(WINTR),它分别探讨了每个域的特定于域的知识,而同时交互式跨域知识。具体而言,我们使用变压器中的两个单独的分类令牌学习两个不同的映射,以及每个特定于域的分类器的设计。跨域知识通过源引导标签改进和与源或目标的单侧特征对齐传输,这保持了特定于域的信息的完整性。三个基准数据集的广泛实验表明,我们的方法优于最先进的UDA方法,验证利用域特定和不变性的有效性
translated by 谷歌翻译
基于现有的基于解除拘淀的概括性的方法,即可在直接解开人称的旨在转变为域相关干扰和身份相关特征。然而,它们忽略了一些重要的特征在域相关干扰和身份相关特征中顽固地纠缠于,这是难以以无监督的方式分解的。在本文中,我们提出了一种简单但有效的校准功能分解(CFD)模块,专注于通过更明智的特征分解和强化策略来提高人员重新识别的泛化能力。具体地,校准和标准化的批量归一化(CSBN)旨在通过联合探索域内校准和域间标准化的多源域特征来学习校准的人表示。 CSBN限制每个域的特征分布的实例级别不一致,捕获内部域级别的特定统计信息。校准人称表示在细微分解为身份相关功能,域功能,剩余纠结的纠结之一。为了提高泛化能力并确保高度辨别身份相关特征,引入了校准的实例归一化(CIN)以强制执行判别ID相关信息,并滤除ID-Intrelate的信息,同时剩余的富互补线索纠缠特征进一步用于加强它。广泛的实验表明了我们框架的强烈概括能力。我们的模型由CFD模块赋予授权,显着优于多个广泛使用的基准测试的最先进的域广义方法。代码将公开:https://github.com/zkcys001/cfd。
translated by 谷歌翻译
最近的特征对比学习(FCL)在无监督的代表学习中表现出了有希望的表现。然而,对于近置表示学习,其中标记的数据和未标记数据属于相同的语义空间,FCL不能显示由于在优化期间不涉及类语义而无法占用的压倒性增益。因此,产生的特征不保证由来自标记数据中学到的类重量轻松归类,尽管它们是富有的信息。为了解决这个问题,我们在本文中提出了一种新颖的概率对比学习(PCL),这不仅产生了丰富的功能,而且还强制执行它们以分布在课堂上的原型。具体而言,我们建议在SoftMax之后使用输出概率来执行对比学习而不是FCL中提取的功能。显然,这种方法可以在优化期间利用类语义。此外,我们建议在传统的FCL中删除$ \ ell_ {2} $归一化,并直接使用$ \ ell_ {1} $ - 归一化对比学习的概率。我们提出的PCL简单有效。我们在三个近距离图像分类任务中进行广泛的实验,即无监督域适应,半监督学习和半监督域适应。多个数据集上的结果表明,我们的PCL可以一致地获得相当大的收益并实现所有三个任务的最先进的性能。
translated by 谷歌翻译
由于获取对语义分割的实际图像的像素明智的注释是一个昂贵的过程,模型可以通过更多可访问的合成数据训练,并且适应真实图像而不需要其注释。在无监督的域适应(UDA)中研究了该过程。尽管大量方法提出了新的适应策略,但它们主要基于过时的网络架构。由于尚未系统地研究了网络架构的影响,我们首先为UDA进行基准标记不同的网络架构,然后提出基于基准结果的新型UDA方法Daformer。 DAFormer网络由变压器编码器和多级上下文感知功能融合解码器组成。它通过三种简单但重要的培训策略使稳定培训并避免将DAFFormer过度装箱到源域:虽然通过减轻自我训练的确认偏差来提高源域上的罕见类别提高了伪标签的质量常见的类,Thing-Class Imagenet特征距离和学习率预热促进了从想象成预介绍的功能转移。 Daformer显着提高了最先进的性能,通过10.8 Miou for GTA-> Citycapes和5.4 Miou for Synthia-> Citycapes,并使得甚至是学习甚至困难的课程,如火车,公共汽车和卡车。该实现可在https://github.com/lhoyer/daformer中获得。
translated by 谷歌翻译
学习模态不变功能是可见热跨模板人员重新凝视(VT-REID)问题的核心,其中查询和画廊图像来自不同的模式。现有工作通过使用对抗性学习或仔细设计特征提取模块来隐式地将像素和特征空间中的模态对齐。我们提出了一个简单但有效的框架MMD-REID,通过明确的差异减少约束来降低模态差距。 MMD-REID从最大均值(MMD)中获取灵感,广泛使用的统计工具用于确定两个分布之间的距离。 MMD-REID采用新的基于边缘的配方,以匹配可见和热样品的类条件特征分布,以最大限度地减少级别的距离,同时保持特征辨别性。 MMD-Reid是一个简单的架构和损失制定方面的框架。我们对MMD-REID的有效性进行了广泛的实验,以使MMD-REID对调整边缘和阶级条件分布的有效性,从而学习模型无关和身份的一致特征。所提出的框架显着优于Sysu-MM01和RegDB数据集的最先进的方法。代码将在https://github.com/vcl-iisc/mmd -reid发布
translated by 谷歌翻译