为了使视频模型能够在不同环境中无缝应用,已经提出了各种视频无监督的域适应性(VUDA)方法来提高视频模型的鲁棒性和可传递性。尽管模型鲁棒性有所改进,但这些VUDA方法仍需要访问源数据和源模型参数以进行适应,从而提高了严重的数据隐私和模型可移植性问题。为了应对上述问题,本文首先将Black-Box视频域的适应(BVDA)制定为更现实但具有挑战性的场景,在该场景中,仅作为Black-Box预测器提供了源视频模型。尽管在图像域中提出了一些针对黑框域适应性(BDA)的方法,但这些方法不能适用于视频域,因为视频模式具有更复杂的时间特征,难以对齐。为了解决BVDA,我们通过应用蒙版到混合策略和视频量的正则化:内部正规化和外部正规化,提出了一个新颖的内野和外部正规化网络(EXTERS),在剪辑和时间特征上执行,并进行外部正规化,同时将知识从从黑框预测变量获得的预测中提炼出来。经验结果表明,在各种跨域封闭设置和部分集合动作识别基准中,外部的最先进性能甚至超过了具有源数据可访问性的大多数现有视频域适应方法。
translated by 谷歌翻译
基于视频的无监督域适应性(VUDA)方法改善了视频模型的鲁棒性,从而使它们能够应用于不同环境的动作识别任务。但是,这些方法需要在适应过程中不断访问源数据。然而,在许多现实世界中,源视频域中的主题和场景应该与目标视频域中的主题和场景无关。随着对数据隐私的越来越重视,需要源数据访问的方法会引起严重的隐私问题。因此,为应对这种关注,更实用的域适应情景被提出为基于无源的视频域的适应性(SFVDA)。尽管图像数据上有一些无源域适应性(SFDA)的方法,但由于视频的多模式性质,这些方法在SFVDA中产生了退化性能,并且存在其他时间特征。在本文中,我们提出了一个新颖的专注时间一致网络(ATCON)来通过学习时间一致性来解决SFVDA,并由两个新颖的一致性目标保证,即具有跨局部时间特征执行的特征一致性和源预测一致性。 ATCON通过基于预测置信度参与本地时间特征,进一步构建有效的总体特征。经验结果表明,ATCON在各种跨域动作识别基准中的最先进表现。
translated by 谷歌翻译
为了缓解标签的负担,无监督的域适应(UDA)旨在将知识传输到新的未标记数据集(目标)中的标记数据集(源)。尽管进展令人印象深刻,但先前的方法总是需要访问原始源数据,并开发数据相关的对准方法以以转换的学习方式识别目标样本,这可能会从源头中提高隐私问题。几个最近的研究通过利用来自源域的训练有素的白盒模型来替代解决方案,然而,它仍可能通过生成的对抗性学习泄漏原始数据。本文研究了UDA的实用和有趣的设置,其中仅在目标域中的适应期间提供了黑盒源模型(即,仅可用网络预测)。为了解决这个问题,我们提出了一个名为蒸馏和微调(用餐)的新的两步知识适应框架。考虑到目标数据结构,用餐首先将知识从源预测器蒸馏到定制的目标模型,然后微调蒸馏模型以进一步适合目标域。此外,神经网络不需要在用餐中的域中相同,甚至允许有效地适应低资源设备。三个UDA场景(即单源,多源和部分集)的经验结果确认,与最先进的数据相关的方法相比,该用途达到了高竞争力的性能。代码可用于\ url {https://github.com/tim-learn/dine/}。
translated by 谷歌翻译
无监督域适应(UDA)旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据,因此当数据保密而不相配在隐私问题时,不适用。本文旨在仅使用培训的分类模型来解决现实设置,而不是访问源数据。为了有效地利用适应源模型,我们提出了一种新颖的方法,称为源假设转移(拍摄),其通过将目标数据特征拟合到冻结源分类模块(表示分类假设)来学习目标域的特征提取模块。具体而言,拍摄挖掘出于特征提取模块的信息最大化和自我监督学习,以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外,我们提出了一种新的标签转移策略,它基于预测的置信度(标签信息),然后采用半监督学习来将目标数据分成两个分裂,然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测,我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明,拍摄和射击++实现了与最先进的结果超越或相当的结果,展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https://github.com/tim-learn/shot-plus}。
translated by 谷歌翻译
域的适应性旨在使标记的源域和未标记的目标域对齐,并且大多数现有方法都认为源数据是可访问的。不幸的是,这种范式引起了数据隐私和安全性的关注。最近的研究试图通过无源设置来消除这些问题,该设置将源训练的模型适应目标域而不暴露源数据。但是,由于对源模型的对抗性攻击,无源范式仍然有数据泄漏的风险。因此,提出了黑框设置,其中只能利用源模型的输出。在本文中,我们同时介绍了无源的适应和黑盒适应性,提出了一种新的方法,即来自频率混合和相互学习(FMML)的“更好的目标表示”。具体而言,我们引入了一种新的数据增强技术作为频率混音,该技术突出了插值中与任务相关的对象,从而增强了目标模型的类符合性和线性行为。此外,我们引入了一种称为相互学习的网络正则化方法,以介绍域的适应问题。它通过自我知识蒸馏传输目标模型内部的知识,从而通过学习多尺度目标表示来减轻对源域的过度拟合。广泛的实验表明,我们的方法在两种设置下都可以在几个基准数据集上实现最新性能。
translated by 谷歌翻译
无监督的视频域适应是一项实用但具有挑战性的任务。在这项工作中,我们第一次从脱离视图中解决了它。我们的关键想法是在适应过程中将与域相关的信息从数据中删除。具体而言,我们考虑从两组潜在因素中生成跨域视频,一个编码静态域相关信息,另一个编码时间和语义相关的信息。然后开发转移顺序的VAE(Transvae)框架以建模这种产生。为了更好地适应适应,我们进一步提出了几个目标,以限制Transvae中的潜在因素。与几种最先进的方法相比,对UCF-HMDB,小丑和Epic-Kitchens数据集进行了广泛的实验验证了Transvae的有效性和优势。代码可在https://github.com/ldkong1205/transvae上公开获取。
translated by 谷歌翻译
在过去的十年中,许多深入学习模型都受到了良好的培训,并在各种机器智能领域取得了巨大成功,特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下,提出了知识蒸馏(KD)和域适应(DA)并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是,由于隐私,版权或机密性,原始数据并不总是可用的。最近,无数据知识转移范式吸引了吸引人的关注,因为它涉及从训练有素的模型中蒸馏宝贵的知识,而无需访问培训数据。特别是,它主要包括无数据知识蒸馏(DFKD)和源无数据域适应(SFDA)。一方面,DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络,以进行模型压缩和有效推论。另一方面,SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中,我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移,以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外,我们对未来研究的主题提供了一些见解。
translated by 谷歌翻译
假设源标签空间集成了目标一个,部分视频域适应(PVDA)是跨域视频分类问题的更一般和实际的场景。 PVDA的主要挑战是减轻由仅源离群类别类别引起的负转移。为了应对这一挑战,一个关键的步骤是通过提高目标类别和下降的异常值类来汇总目标预测,以分配类权重。但是,班级权重的错误预测会误导网络并导致负转移。以前的工作通过使用时间特征和注意力机制来提高类重量的准确性,但是当试图在域移动显着时,尝试产生准确的类重量时,这些方法可能会缺乏,就像在大多数真实世界中一样。为了应对这些挑战,我们提出了多模式集群校准的部分对抗网络(MCAN)。 MCAN通过多个时间尺度的多模式特征增强了视频功能提取,以形成更强大的整体特征。它利用一种新型的类重量校准方法来减轻由不正确的类重量引起的负转移。校准方法试图使用无监督聚类所隐含的分布信息来识别和权衡正确和错误的预测。与最先进的PVDA方法相比,对盛行的PVDA基准进行了广泛的实验,而拟议的MCAN取得了重大改进。
translated by 谷歌翻译
尽管近年来行动认可取得了令人印象深刻的结果,但视频培训数据的收集和注释仍然很耗时和成本密集。因此,已经提出了图像到视频改编,以利用无标签的Web图像源来适应未标记的目标视频。这提出了两个主要挑战:(1)Web图像和视频帧之间的空间域移动; (2)图像和视频数据之间的模态差距。为了应对这些挑战,我们提出了自行车域的适应(CYCDA),这是一种基于周期的方法,用于通过在图像和视频中利用图像和视频中的联合空间信息来适应无监督的图像到视频域,另一方面,训练一个独立的时空模型,用于弥合模式差距。我们在每个周期中的两者之间的知识转移之间在空间和时空学习之间交替。我们在基准数据集上评估了图像到视频的方法,以及用于实现最新结果的混合源域的适应性,并证明了我们的循环适应性的好处。
translated by 谷歌翻译
域适应(DA)旨在将知识从标签富裕但异构的域转移到标签恐慌域,这减轻了标签努力并吸引了相当大的关注。与以前的方法不同,重点是学习域中的特征表示,一些最近的方法存在通用半监督学习(SSL)技术,直接将它们应用于DA任务,甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记,可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是,它忽略了DA问题的分布偏移,并且不可避免地偏置为源数据。要解决此问题,我们提出了一个名为辅助目标域导向的分类器(ATDOC)的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置,以提高伪标签的质量。具体地,我们使用内存机制并开发两种类型的非参数分类器,即最近的质心分类器和邻域聚合,而不引入任何其他网络参数。尽管在伪分类目标中具有简单性,但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术,以及甚至瘢痕标记的SSL任务。
translated by 谷歌翻译
半监督域适应(SSDA)是一种具有挑战性的问题,需要克服1)以朝向域的较差的数据和2)分布换档的方法。不幸的是,由于培训数据偏差朝标标样本训练,域适应(DA)和半监督学习(SSL)方法的简单组合通常无法解决这两个目的。在本文中,我们介绍了一种自适应结构学习方法,以规范SSL和DA的合作。灵感来自多视图学习,我们建议的框架由共享特征编码器网络和两个分类器网络组成,用于涉及矛盾的目的。其中,其中一个分类器被应用于组目标特征以提高级别的密度,扩大了鲁棒代表学习的分类集群的间隙。同时,其他分类器作为符号器,试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址,我们应用最大平均差异(MMD)距离最小化和自培训(ST)将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home,展示了我们对最先进的方法的方法的准确性和稳健性。
translated by 谷歌翻译
无源的无监督域适应性(SFUDA)旨在使用未标记的目标数据和训练有素的源域模型来学习目标域模型。大多数先前的SFUDA都致力于根据源知识推断目标数据的语义。在不衡量源知识的可传递性的情况下,这些方法不足以利用源知识,并且无法识别推断的目标语义的可靠性。但是,现有的可传递性测量需要源数据或目标标签,而SFUDA中是不可行的。为此,首先,我们提出了一种新颖的不确定性诱导的可传递性表示(UTR),该表示在没有源数据和目标标签的情况下,它利用不确定性作为工具来分析源编码的通道可传递性。域级UTR揭开了编码器通道向目标域的可传输程度,实例级别的UTR表征了推断的目标语义的可靠性。其次,基于UTR,我们为SFUDA提出了一个新颖的校准自适应框架(CAF),包括i)源知识校准模块,该模块指导目标模型学习可转移的源知识并丢弃不可转移的源知识,并且II)校准不可靠语义的目标语义校准模块。在校准的源知识和目标语义的帮助下,该模型可以安全地适应目标领域。我们使用实验结果验证了方法的有效性,并证明所提出的方法在三个SFUDA基准上实现了最先进的性能。代码可在https://github.com/spiresearch/utr上找到。
translated by 谷歌翻译
深度学习已成为解决不同领域中现实世界中问题的首选方法,部分原因是它能够从数据中学习并在广泛的应用程序上实现令人印象深刻的性能。但是,它的成功通常取决于两个假设:(i)精确模型拟合需要大量标记的数据集,并且(ii)培训和测试数据是独立的且分布相同的。因此,不能保证它在看不见的目标域上的性能,尤其是在适应阶段遇到分布数据的数据时。目标域中数据的性能下降是部署深层神经网络的关键问题,这些网络已成功地在源域中的数据训练。通过利用标记的源域数据和未标记的目标域数据来执行目标域中的各种任务,提出了无监督的域适应(UDA)来对抗这一点。 UDA在自然图像处理,视频分析,自然语言处理,时间序列数据分析,医学图像分析等方面取得了令人鼓舞的结果。在本综述中,作为一个快速发展的主题,我们对其方法和应用程序进行了系统的比较。此外,还讨论了UDA与其紧密相关的任务的联系,例如域的概括和分布外检测。此外,突出显示了当前方法和可能有希望的方向的缺陷。
translated by 谷歌翻译
虽然在许多域内生成并提供了大量的未标记数据,但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是,在现实世界的应用中,不能满足这种要求。标签的数量有限,手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是,模型性能因域之间的差异(域移位或数据集偏差)而劣化。为了克服注释的负担,域适应(DA)旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA(UDA)处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异,并在培训期间在两个域中学习域不变的表示。在本文中,我们首先定义UDA问题。其次,我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后,我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。
translated by 谷歌翻译
语义分割在广泛的计算机视觉应用中起着基本作用,提供了全球对图像​​的理解的关键信息。然而,最先进的模型依赖于大量的注释样本,其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜,因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年,这包含了语义细分本身的重要性,以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习,域泛化,测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员,并有助于他们培养现场的新研究方向。
translated by 谷歌翻译
作为对数据有效使用的研究,多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是,目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此,我们提出了一种将注意力驱动的领域融合和耐噪声学习(ADNT)整合到上述两个问题的方法。首先,我们建立了相反的注意结构,以在特征和诱导域运动之间执行信息。通过这种方法,当域差异降低时,特征的可区分性也可以显着提高。其次,基于无监督的域适应训练的特征,我们设计了自适应的反向横向熵损失,该损失可以直接对伪标签的产生施加约束。最后,结合了这两种方法,几个基准的实验结果进一步验证了我们提出的ADNT的有效性,并证明了优于最新方法的性能。
translated by 谷歌翻译
学习目标域中的未知样本(不存在于源类中)对于无监督域适应(UDA)相当重要。存在两个典型的UDA方案,即开放式和开放式集合,后者假定目标域中并非所有源类都显示在内。但是,大多数先前的方法都是为一个UDA场景而设计的,并且始终在其他UDA方案上表现差。此外,它们还需要在适应过程中标记的源数据,限制其在数据隐私敏感应用中的可用性。为了解决这些问题,本文提出了一种通用模型适应(UMAD)框架,其处理了UDA方案,而无需访问源数据,也不是关于域之间类别的类别的知识。具体而言,我们的目标是使用优雅设计的双头分类器来学习源模型,并将其提供给目标域。在适应期间,我们开发了一种信息丰富的一致性分数,以帮助区分从已知样品中的未知样本。为了在目标域中实现双边适应,我们进一步最大化了局部化的相互信息,以将已知的样本与源分类器对齐,并采用熵丢失,以便分别推动远离源分类边界的未知样本。开放式和开放式的UDA方案的实验表明,umad作为无需访问源数据的统一方法,展示与最先进的数据相关方法的可比性。
translated by 谷歌翻译
目标域中的标签放弃使无监督的域适应性(UDA)成为许多现实世界应用中的吸引力技术,尽管它也带来了巨大的挑战,因为没有标记目标数据,模型适应变得更加困难。在本文中,我们通过从目标领域的先验知识中寻求赔偿来解决这个问题,这在实践中通常(部分)可用于人类专业知识。这导致了一个新颖而实用的环境,除了训练数据外,还可以提供有关目标类别分布的一些先验知识。我们将该设置称为知识引导的无监督域适应性(KUDA)。特别是,我们考虑了有关目标域中类别分布的两种特定类型的先验知识:一个描述单个类概率的下层和上限的Unary Bound,以及描述了两个类概率之间关系的二进制关系。我们提出了一个使用此类先验知识来完善模型生成的伪标签的通用整流模块。该模块被配制为从先验知识和光滑的正常化程序中得出的零一编程问题。它可以很容易地插入基于自我训练的UDA方法中,我们将其与两种最先进的方法结合使用,即射击和用餐。四个基准测试的经验结果证实,整流模块显然改善了伪标签的质量,这反过来又受益于自我训练阶段。在先验知识的指导下,两种方法的性能都大大提高。我们希望我们的工作能够激发进一步的调查,以整合UDA的先验知识。代码可在https://github.com/tsun/kuda上找到。
translated by 谷歌翻译
无监督的域适应性(DA)中的主要挑战是减轻源域和目标域之间的域移动。先前的DA工作表明,可以使用借口任务来通过学习域不变表示来减轻此域的转移。但是,实际上,我们发现大多数现有的借口任务对其他已建立的技术无效。因此,我们从理论上分析了如何以及何时可以利用子公司借口任务来协助给定DA问题的目标任务并制定客观的子公司任务适用性标准。基于此标准,我们设计了一个新颖的贴纸干预过程和铸造贴纸分类的过程,作为监督的子公司DA问题,该问题与目标任务无监督的DA同时发生。我们的方法不仅改善了目标任务适应性能,而且还促进了面向隐私的无源DA,即没有并发源目标访问。标准Office-31,Office-Home,Domainnet和Visda基准的实验证明了我们对单源和多源无源DA的优势。我们的方法还补充了现有的无源作品,从而实现了领先的绩效。
translated by 谷歌翻译
无监督域适应(UDA)已成功解决了可视应用程序的域移位问题。然而,由于以下原因,这些方法可能对时间序列数据的性能有限。首先,它们主要依赖于用于源预制的大规模数据集(即,ImageNet),这不适用于时间序列数据。其次,它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后,最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制,我们提出了一个自我监督的自回归域适应(Slarda)框架。特别是,我们首先设计一个自我监督的学习模块,它利用预测作为辅助任务以提高源特征的可转换性。其次,我们提出了一种新的自回归域自适应技术,其包括在域对齐期间源和目标特征的时间依赖性。最后,我们开发了一个集合教师模型,通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验,具有30个跨域方案。结果表明,我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。
translated by 谷歌翻译