Unsupervised Domain Adaptation (UDA) has emerged as a powerful solution for the domain shift problem via transferring the knowledge from a labeled source domain to a shifted unlabeled target domain. Despite the prevalence of UDA for visual applications, it remains relatively less explored for time-series applications. In this work, we propose a novel lightweight contrastive domain adaptation framework called CoTMix for time-series data. Unlike existing approaches that either use statistical distances or adversarial techniques, we leverage contrastive learning solely to mitigate the distribution shift across the different domains. Specifically, we propose a novel temporal mixup strategy to generate two intermediate augmented views for the source and target domains. Subsequently, we leverage contrastive learning to maximize the similarity between each domain and its corresponding augmented view. The generated views consider the temporal dynamics of time-series data during the adaptation process while inheriting the semantics among the two domains. Hence, we gradually push both domains towards a common intermediate space, mitigating the distribution shift across them. Extensive experiments conducted on four real-world time-series datasets show that our approach can significantly outperform all state-of-the-art UDA methods. The implementation code of CoTMix is available at \href{https://github.com/emadeldeen24/CoTMix}{github.com/emadeldeen24/CoTMix}.
translated by 谷歌翻译
无监督域适应(UDA)已成功解决了可视应用程序的域移位问题。然而,由于以下原因,这些方法可能对时间序列数据的性能有限。首先,它们主要依赖于用于源预制的大规模数据集(即,ImageNet),这不适用于时间序列数据。其次,它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后,最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制,我们提出了一个自我监督的自回归域适应(Slarda)框架。特别是,我们首先设计一个自我监督的学习模块,它利用预测作为辅助任务以提高源特征的可转换性。其次,我们提出了一种新的自回归域自适应技术,其包括在域对齐期间源和目标特征的时间依赖性。最后,我们开发了一个集合教师模型,通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验,具有30个跨域方案。结果表明,我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。
translated by 谷歌翻译
睡眠分期在诊断和治疗睡眠障碍中非常重要。最近,已经提出了许多数据驱动的深度学习模型,用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型,并在较小的主题上对其进行测试。但是,他们通常认为火车和测试数据是从相同的分布中绘制的,这可能在现实世界中不存在。最近已经开发了无监督的域适应性(UDA)来处理此域移位问题。但是,以前用于睡眠分期的UDA方法具有两个主要局限性。首先,他们依靠一个完全共享的模型来对齐,该模型可能会在功能提取过程中丢失特定于域的信息。其次,它们仅在全球范围内将源和目标分布对齐,而无需考虑目标域中的类信息,从而阻碍了测试时模型的分类性能。在这项工作中,我们提出了一个名为Adast的新型对抗性学习框架,以解决未标记的目标域中的域转移问题。首先,我们开发了一个未共享的注意机制,以保留两个领域中的域特异性特征。其次,我们设计了一种迭代自我训练策略,以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器,以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。
translated by 谷歌翻译
无监督的域适应性(UDA)旨在使用标记的源域学习机器学习模型,该源域在类似但不同的未标记目标域上表现良好。 UDA在许多应用(例如医学)中很重要,在医学上,它用于适应不同患者队列的风险评分。在本文中,我们为UDA的时间序列数据(称为Cluda)开发了一个新颖的框架。具体而言,我们提出了一个对比度学习框架,以学习多元时间序列中的域不变语义,以便为预测任务保留标签信息。在我们的框架中,我们通过最近的邻居对比学习进一步捕获源和目标域之间的语义变化。据我们所知,我们的第一个框架是学习时间序列数据UDA的域不变语义信息。我们使用医学时间序列(即Mimic-IV和Amsterdamumcdb)使用大规模的现实世界数据集评估我们的框架,以证明其有效性,并表明它在UDA时实现了最先进的性能。
translated by 谷歌翻译
学习时间序列表示只有未标记的数据或几个标签样本可用时,可能是一项具有挑战性的任务。最近,通过对比,通过对比的不同数据观点从未标记的数据中提取有用的表示形式方面,对对比的自我监督学习表现出了很大的改进。在这项工作中,我们通过时间和上下文对比(TS-TCC)提出了一个新颖的时间序列表示学习框架,该框架从未标记的数据中学习了具有对比性学习的无标记数据的表示。具体而言,我们建议时间序列特定的弱和强大的增强,并利用他们的观点在拟议的时间对比模块中学习稳健的时间关系,除了通过我们提出的上下文对比模块学习判别性表示。此外,我们对时间序列数据增强选择进行系统研究,这是对比度学习的关键部分。我们还将TS-TCC扩展到了半监督的学习设置,并提出了一种类感知的TS-TCC(CA-TCC),从可用的少数标​​记数据中受益,以进一步改善TS-TCC学到的表示。具体而言,我们利用TS-TCC生成的强大伪标签来实现班级感知的对比损失。广泛的实验表明,对我们提议的框架所学的功能的线性评估与完全监督的培训相当。此外,我们的框架在少数标记的数据和转移学习方案中显示出高效率。该代码可在\ url {https://github.com/emadeldeen24/ts-tcc}上公开获得。
translated by 谷歌翻译
利用源区和目标域之间的张建空间是最近无监督的域适应方法之一。然而,标签的平衡崩溃问题,源标签在邻居实例的预测中占据了目标标签的主导地位,从未得到解决。在本文中,我们提出了一个实例 - 方面的最小策略,最小化了张开的空间中的高不确定性实例的熵,以解决它。我们通过最低限度问题的解决方案将大亨空间分为两个子空间:对比空间和共识空间。在对比的空间中,通过约束实例来减轻域间差异,以具有对比度视图和标签,并且共识空间减少了域内类别之间的混淆。我们的方法的有效性在公共基准上证明,包括办公室-31,办公室和visda-c,这实现了最先进的表演。我们进一步表明,我们的方法在PACS上表明了当前最先进的方法,这表示我们的实例 - 方面的方法适用于多源域适应。
translated by 谷歌翻译
Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.
translated by 谷歌翻译
Recent works on domain adaptation reveal the effectiveness of adversarial learning on filling the discrepancy between source and target domains. However, two common limitations exist in current adversarial-learning-based methods. First, samples from two domains alone are not sufficient to ensure domain-invariance at most part of latent space. Second, the domain discriminator involved in these methods can only judge real or fake with the guidance of hard label, while it is more reasonable to use soft scores to evaluate the generated images or features, i.e., to fully utilize the inter-domain information. In this paper, we present adversarial domain adaptation with domain mixup (DM-ADA), which guarantees domain-invariance in a more continuous latent space and guides the domain discriminator in judging samples' difference relative to source and target domains. Domain mixup is jointly conducted on pixel and feature level to improve the robustness of models. Extensive experiments prove that the proposed approach can achieve superior performance on tasks with various degrees of domain shift and data complexity.
translated by 谷歌翻译
深度神经网络(DNN)在非参考图像质量评估(NR-IQA)方面具有巨大潜力。但是,NR-IQA的注释是劳动密集型且耗时的,这严重限制了其对真实图像的应用。为了减轻对质量注释的依赖,一些作品已将无监督的域适应性(UDA)应用于NR-IQA。但是,上述方法忽略了分类中使用的对齐空间是最佳选择,因为该空间不是为了感知而精心设计的。为了解决这一挑战,我们提出了一个有效的面向感知的无监督域适应方法,用于NR-IQA,该方法通过富含标签的源域数据将足够的知识转移到通过样式的对齐和混合的标签目标域图像。具体而言,我们发现了一个更紧凑,更可靠的空间,即基于有趣/惊人的观察结果,以感知为导向的UDA的特征样式空间,即DNN中深层的功能样式(即平均和差异)与DNN中的深层层完全相关NR-IQA的质量得分。因此,我们建议在更面向感知的空间(即特征样式空间)中对齐源和目标域,以减少其他质量 - Irretrelevant特征因素的干预措施。此外,为了提高质量得分与其功能样式之间的一致性,我们还提出了一种新颖的功能增强策略样式混音,将DNN的最后一层之前将功能样式(即平均值和差异)混合在一起,并混合使用标签。对两个典型的跨域设置(即合成至真实性和多种变形)的广泛实验结果证明了我们提出的styleam对NR-IQA的有效性。
translated by 谷歌翻译
无监督的域适应(UDA)旨在将标记的源分布与未标记的目标分布对齐,以获取域不变预测模型。然而,众所周知的UDA方法的应用在半监督域适应(SSDA)方案中不完全概括,其中来自目标域的少数标记的样本可用。在本文中,我们提出了一种用于半监督域适应(CLDA)的简单对比学习框架,该框架试图在SSDA中弥合标记和未标记的目标分布与源极和未标记的目标分布之间的域间差距之间的域间隙。我们建议采用类明智的对比学学习来降低原始(输入图像)和强大增强的未标记目标图像之间的域间间隙和实例级对比度对准,以最小化域内差异。我们已经凭经验表明,这两个模块相互补充,以实现卓越的性能。在三个众所周知的域适应基准数据集中的实验即Domainnet,Office-Home和Office31展示了我们方法的有效性。 CLDA在所有上述数据集上实现最先进的结果。
translated by 谷歌翻译
目前,跨景元的高光谱图像(HSI)分类引起了人们的注意。当需要实时处理TD且不能重复使用训练时,必须仅在源域(SD)上训练模型(SD)并将模型直接传输到目标域(TD)。基于域概括的思想,开发了单源域扩展网络(SDENET),以确保域扩展的可靠性和有效性。该方法使用生成的对抗学习在SD中训练和TD测试。包括语义编码器和MORPH编码器在内的发电机旨在基于编码器随机化架构生成扩展域(ED),其中空间和频谱随机化专门用于生成可变的空间和光谱信息,并隐含形态知识。作为域扩展过程中的域不变信息。此外,受监督的对比学习被采用在歧视者中,以学习阶级领域不变的表示,该表示驱动了SD和ED的阶级样本。同时,对抗性训练旨在优化发电机以驱动SD和ED的阶级样品进行分离。与最先进的技术相比,在两个公共HSI数据集和另一个多光谱图像(MSI)数据集上进行了广泛的实验,证明了该方法的优越性。
translated by 谷歌翻译
半监督域适应(SSDA)是一种具有挑战性的问题,需要克服1)以朝向域的较差的数据和2)分布换档的方法。不幸的是,由于培训数据偏差朝标标样本训练,域适应(DA)和半监督学习(SSL)方法的简单组合通常无法解决这两个目的。在本文中,我们介绍了一种自适应结构学习方法,以规范SSL和DA的合作。灵感来自多视图学习,我们建议的框架由共享特征编码器网络和两个分类器网络组成,用于涉及矛盾的目的。其中,其中一个分类器被应用于组目标特征以提高级别的密度,扩大了鲁棒代表学习的分类集群的间隙。同时,其他分类器作为符号器,试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址,我们应用最大平均差异(MMD)距离最小化和自培训(ST)将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home,展示了我们对最先进的方法的方法的准确性和稳健性。
translated by 谷歌翻译
域的概括方法旨在学习使用有限数量的源域,在训练过程中无需访问目标域样本的数据,以学习强大的域移动模型。用于域概括的流行域对齐方法寻求通过最大程度地降低所有域的特征分布之间的差异来提取域不变特征,从而无视域间关系。在本文中,我们提出了一种新颖的表示学习方法,该方法有选择地强制估计密切相关的源域之间的预测一致性。具体而言,我们假设域共享不同的类信息表示形式,因此,我们仅适用于所有可能导致负转移的域,而是正规化与密切相关域之间的差异。我们将我们的方法应用于时间序列分类任务,并在三个公共现实世界数据集上进行全面的实验。与最先进的方法相比,在准确性和模型校准方面,我们的方法比基线大大改善了基线,并取得更好或竞争性的性能。
translated by 谷歌翻译
EEG-based tinnitus classification is a valuable tool for tinnitus diagnosis, research, and treatments. Most current works are limited to a single dataset where data patterns are similar. But EEG signals are highly non-stationary, resulting in model's poor generalization to new users, sessions or datasets. Thus, designing a model that can generalize to new datasets is beneficial and indispensable. To mitigate distribution discrepancy across datasets, we propose to achieve Disentangled and Side-aware Unsupervised Domain Adaptation (DSUDA) for cross-dataset tinnitus diagnosis. A disentangled auto-encoder is developed to decouple class-irrelevant information from the EEG signals to improve the classifying ability. The side-aware unsupervised domain adaptation module adapts the class-irrelevant information as domain variance to a new dataset and excludes the variance to obtain the class-distill features for the new dataset classification. It also align signals of left and right ears to overcome inherent EEG pattern difference. We compare DSUDA with state-of-the-art methods, and our model achieves significant improvements over competitors regarding comprehensive evaluation criteria. The results demonstrate our model can successfully generalize to a new dataset and effectively diagnose tinnitus.
translated by 谷歌翻译
收集足够标记的数据以建立人类活动识别(HAR)模型是昂贵且耗时的。对现有数据的培训通常会使模型偏向于培训数据的分布,因此该模型可能会在具有不同分布的测试数据上执行。尽管现有的转移学习和域适应性的努力试图解决上述问题,但他们仍然需要访问目标域上的未标记数据,这在实际情况下可能是不可能的。很少有作品注意训练一个模型,该模型可以很好地概括为HAR看不见的目标域。在本文中,我们提出了一种新的方法,称为可推广跨域HAR的语义歧视混合(SDMIX)。首先,我们介绍了语义感知的混音,该混音考虑了活动语义范围,以克服域差异带来的语义不一致。其次,我们引入了较大的利润损失,以增强混合歧视,以防止虚拟标签带来的错误分类。在五个公共数据集上进行的综合概括实验表明,我们的SDMIX基本上优于最先进的方法,其平均准确度提高了跨人员,交叉数据库和交叉位置HAR的平均准确性6%。
translated by 谷歌翻译
深度学习模型的最新发展,捕捉作物物候的复杂的时间模式有卫星图像时间序列(坐在),大大高级作物分类。然而,当施加到目标区域从训练区空间上不同的,这些模型差没有任何目标标签由于作物物候区域之间的时间位移进行。为了解决这个无人监督跨区域适应环境,现有方法学域不变特征没有任何目标的监督,而不是时间偏移本身。因此,这些技术提供了SITS只有有限的好处。在本文中,我们提出TimeMatch,一种新的无监督领域适应性方法SITS直接占时移。 TimeMatch由两个部分组成:1)时间位移的估计,其估计具有源极训练模型的未标记的目标区域的时间偏移,和2)TimeMatch学习,它结合了时间位移估计与半监督学习到一个分类适应未标记的目标区域。我们还引进了跨区域适应的开放式访问的数据集与来自欧洲四个不同区域的旁边。在此数据集,我们证明了TimeMatch优于所有竞争的方法,通过11%的在五个不同的适应情景F1-得分,创下了新的国家的最先进的跨区域适应性。
translated by 谷歌翻译
在这项工作中,我们以一种充满挑战的自我监督方法研究无监督的领域适应性(UDA)。困难之一是如何在没有目标标签的情况下学习任务歧视。与以前的文献直接使跨域分布或利用反向梯度保持一致,我们建议域混淆对比度学习(DCCL),以通过域难题桥接源和目标域,并在适应后保留歧视性表示。从技术上讲,DCCL搜索了最大的挑战方向,而精美的工艺领域将增强型混淆为正对,然后对比鼓励该模型向其他领域提取陈述,从而学习更稳定和有效的域名。我们还研究对比度学习在执行其他数据增强时是否必然有助于UDA。广泛的实验表明,DCCL明显优于基准。
translated by 谷歌翻译
半监督域适应性(SSDA)中的主要挑战之一是标记源和目标样本数量之间的偏差比,导致该模型偏向源域。 SSDA中的最新作品表明,仅将标记的目标样品与源样本对齐可能导致目标域与源域的不完全域对齐。在我们的方法中,为了使两个域对齐,我们利用对比的损失,使用来自两个域的监督样本学习语义上有意义的域不可知特征空间。为了减轻偏斜标签比率引起的挑战,我们通过将其特征表示形式与来自源和目标域的标记样品的特征表示形式进行比较,为未标记的目标样本进行了伪造。此外,为了增加目标域的支持,在训练过程中,这些潜在的嘈杂的伪标签逐渐被逐渐注入标记的目标数据集中。具体而言,我们使用温度缩放的余弦相似性度量将软伪标签分配给未标记的目标样品。此外,我们计算每个未标记样品的软伪标签的指数移动平均值。这些伪标签逐渐注入或删除)(从)基于置信阈值(以补充源和目标分布的比对)(从)中(从)中。最后,我们在标记和伪标记的数据集上使用有监督的对比损失来对齐源和目标分布。使用我们提出的方法,我们在SSDA基准测试中展示了最先进的性能-Office-Home,Domainnet和Office-31。
translated by 谷歌翻译
当前有监督的跨域图像检索方法可以实现出色的性能。但是,数据收集和标签的成本施加了在实际应用程序中实践部署的棘手障碍。在本文中,我们研究了无监督的跨域图像检索任务,其中类标签和配对注释不再是训练的先决条件。这是一项极具挑战性的任务,因为没有对内域特征表示学习和跨域对准的监督。我们通过引入:1)一种新的群体对比度学习机制来应对这两个挑战,以帮助提取班级语义感知特征,以及2)新的距离距离损失,以有效地测量并最大程度地减少域差异而无需任何外部监督。在办公室和域名数据集上进行的实验始终显示出与最先进方法相比,我们的框架的出色图像检索精度。我们的源代码可以在https://github.com/conghuihu/ucdir上找到。
translated by 谷歌翻译
自我监督的学习(SSL)最近成为特征学习方法中的最爱。因此,它可以吸引域适应方法来考虑结合SSL。直觉是强制执行实例级别一致性,使得预测器在域中变得不变。但是,域适应制度中的大多数现有SSL方法通常被视为独立的辅助组件,使域自适应的签名无人看管。实际上,域间隙消失的最佳区域和SSL PERUSES的实例级别约束可能根本不一致。从这一点来看,我们向一个特定的范式的自我监督学习量身定制,用于域适应,即可转让的对比学习(TCL),这与SSL和所需的跨域转移性相一致地联系起来。我们发现对比学习本质上是一个合适的域适应候选者,因为它的实例不变性假设可以方便地促进由域适应任务青睐的跨域类级不变性。基于特定的记忆库结构和伪标签策略,TCL然后通过清洁和新的对比损失来惩罚源头和靶之间的跨域内域差异。免费午餐是由于纳入对比学习,TCL依赖于移动平均的关键编码器,自然地实现了用于目标数据的伪标签的暂停标签,这避免了无额外的成本。因此,TCL有效地减少了跨域间隙。通过对基准(Office-Home,Visda-2017,Diamet-Five,PACS和Domainnet)进行广泛的实验,用于单源和多源域适配任务,TCL已经证明了最先进的性能。
translated by 谷歌翻译