睡眠分期在诊断和治疗睡眠障碍中非常重要。最近，已经提出了许多数据驱动的深度学习模型，用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型，并在较小的主题上对其进行测试。但是，他们通常认为火车和测试数据是从相同的分布中绘制的，这可能在现实世界中不存在。最近已经开发了无监督的域适应性（UDA）来处理此域移位问题。但是，以前用于睡眠分期的UDA方法具有两个主要局限性。首先，他们依靠一个完全共享的模型来对齐，该模型可能会在功能提取过程中丢失特定于域的信息。其次，它们仅在全球范围内将源和目标分布对齐，而无需考虑目标域中的类信息，从而阻碍了测试时模型的分类性能。在这项工作中，我们提出了一个名为Adast的新型对抗性学习框架，以解决未标记的目标域中的域转移问题。首先，我们开发了一个未共享的注意机制，以保留两个领域中的域特异性特征。其次，我们设计了一种迭代自我训练策略，以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器，以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。

无监督域适应（UDA）已成功解决了可视应用程序的域移位问题。然而，由于以下原因，这些方法可能对时间序列数据的性能有限。首先，它们主要依赖于用于源预制的大规模数据集（即，ImageNet），这不适用于时间序列数据。其次，它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后，最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制，我们提出了一个自我监督的自回归域适应（Slarda）框架。特别是，我们首先设计一个自我监督的学习模块，它利用预测作为辅助任务以提高源特征的可转换性。其次，我们提出了一种新的自回归域自适应技术，其包括在域对齐期间源和目标特征的时间依赖性。最后，我们开发了一个集合教师模型，通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验，具有30个跨域方案。结果表明，我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。

Unsupervised Domain Adaptation (UDA) has emerged as a powerful solution for the domain shift problem via transferring the knowledge from a labeled source domain to a shifted unlabeled target domain. Despite the prevalence of UDA for visual applications, it remains relatively less explored for time-series applications. In this work, we propose a novel lightweight contrastive domain adaptation framework called CoTMix for time-series data. Unlike existing approaches that either use statistical distances or adversarial techniques, we leverage contrastive learning solely to mitigate the distribution shift across the different domains. Specifically, we propose a novel temporal mixup strategy to generate two intermediate augmented views for the source and target domains. Subsequently, we leverage contrastive learning to maximize the similarity between each domain and its corresponding augmented view. The generated views consider the temporal dynamics of time-series data during the adaptation process while inheriting the semantics among the two domains. Hence, we gradually push both domains towards a common intermediate space, mitigating the distribution shift across them. Extensive experiments conducted on four real-world time-series datasets show that our approach can significantly outperform all state-of-the-art UDA methods. The implementation code of CoTMix is available at \href{https://github.com/emadeldeen24/CoTMix}{github.com/emadeldeen24/CoTMix}.

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。

Deep domain adaptation has emerged as a new learning technique to address the lack of massive amounts of labeled data. Compared to conventional methods, which learn shared feature subspaces or reuse important source instances with shallow representations, deep domain adaptation methods leverage deep networks to learn more transferable representations by embedding domain adaptation in the pipeline of deep learning. There have been comprehensive surveys for shallow domain adaptation, but few timely reviews the emerging deep learning based methods. In this paper, we provide a comprehensive survey of deep domain adaptation methods for computer vision applications with four major contributions. First, we present a taxonomy of different deep domain adaptation scenarios according to the properties of data that define how two domains are diverged. Second, we summarize deep domain adaptation approaches into several categories based on training loss, and analyze and compare briefly the state-of-the-art methods under these categories. Third, we overview the computer vision applications that go beyond image classification, such as face recognition, semantic segmentation and object detection. Fourth, some potential deficiencies of current methods and several future directions are highlighted.

工作记忆（WM）表示在脑海中存储的信息，是人类认知领域的一个基本研究主题。可以监测大脑的电活动的脑电图（EEG）已被广泛用于测量WM的水平。但是，关键的挑战之一是个体差异可能会导致无效的结果，尤其是当既定模型符合陌生主题时。在这项工作中，我们提出了一个具有空间注意力（CS-DASA）的跨主题深层适应模型，以概括跨科目的工作负载分类。首先，我们将EEG时间序列转换为包含空间，光谱和时间信息的多帧EEG图像。首先，CS-DASA中的主题共享模块从源和目标主题中接收多帧的EEG图像数据，并学习了共同的特征表示。然后，在特定于主题的模块中，实现了最大平均差异，以测量重现的内核希尔伯特空间中的域分布差异，这可以为域适应增加有效的罚款损失。此外，采用主题对象的空间注意机制专注于目标图像数据的判别空间特征。在包含13个受试者的公共WM EEG数据集上进行的实验表明，所提出的模型能够达到比现有最新方法更好的性能。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

最近的智能故障诊断（IFD）的进展大大依赖于深度代表学习和大量标记数据。然而，机器通常以各种工作条件操作，或者目标任务具有不同的分布，其中包含用于训练的收集数据（域移位问题）。此外，目标域中的新收集的测试数据通常是未标记的，导致基于无监督的深度转移学习（基于UDTL为基础的）IFD问题。虽然它已经实现了巨大的发展，但标准和开放的源代码框架以及基于UDTL的IFD的比较研究尚未建立。在本文中，我们根据不同的任务，构建新的分类系统并对基于UDTL的IFD进行全面审查。对一些典型方法和数据集的比较分析显示了基于UDTL的IFD中的一些开放和基本问题，这很少研究，包括特征，骨干，负转移，物理前导等的可转移性，强调UDTL的重要性和再现性 - 基于IFD，整个测试框架将发布给研究界以促进未来的研究。总之，发布的框架和比较研究可以作为扩展界面和基本结果，以便对基于UDTL的IFD进行新的研究。代码框架可用于\ url {https:/github.com/zhaozhibin/udtl}。

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

虽然无监督的域适应（UDA）算法，即，近年来只有来自源域的标记数据，大多数算法和理论结果侧重于单源无监督域适应（SUDA）。然而，在实际情况下，标记的数据通常可以从多个不同的源收集，并且它们可能不仅不同于目标域而且彼此不同。因此，来自多个源的域适配器不应以相同的方式进行建模。最近基于深度学习的多源无监督域适应（Muda）算法专注于通过在通用特征空间中的所有源极和目标域的分布对齐来提取所有域的公共域不变表示。但是，往往很难提取Muda中所有域的相同域不变表示。此外，这些方法匹配分布而不考虑类之间的域特定的决策边界。为了解决这些问题，我们提出了一个新的框架，具有两个对准阶段的Muda，它不仅将每对源和目标域的分布对齐，而且还通过利用域特定的分类器的输出对准决策边界。广泛的实验表明，我们的方法可以对图像分类的流行基准数据集实现显着的结果。

深度学习模型的最新发展，捕捉作物物候的复杂的时间模式有卫星图像时间序列（坐在），大大高级作物分类。然而，当施加到目标区域从训练区空间上不同的，这些模型差没有任何目标标签由于作物物候区域之间的时间位移进行。为了解决这个无人监督跨区域适应环境，现有方法学域不变特征没有任何目标的监督，而不是时间偏移本身。因此，这些技术提供了SITS只有有限的好处。在本文中，我们提出TimeMatch，一种新的无监督领域适应性方法SITS直接占时移。 TimeMatch由两个部分组成：1）时间位移的估计，其估计具有源极训练模型的未标记的目标区域的时间偏移，和2）TimeMatch学习，它结合了时间位移估计与半监督学习到一个分类适应未标记的目标区域。我们还引进了跨区域适应的开放式访问的数据集与来自欧洲四个不同区域的旁边。在此数据集，我们证明了TimeMatch优于所有竞争的方法，通过11％的在五个不同的适应情景F1-得分，创下了新的国家的最先进的跨区域适应性。

关于无监督域适应性（UDA）的大多数现有研究都认为每个域的训练样本都带有域标签（例如绘画，照片）。假定每个域中的样品都遵循相同的分布，并利用域标签通过特征对齐来学习域不变特征。但是，这样的假设通常并不成立 - 通常存在许多较细粒的领域（例如，已经开发出了数十种现代绘画样式，每种绘画样式与经典风格的范围都有很大不同）。因此，在每个人工定义和粗粒结构域之间强迫特征分布对齐可能是无效的。在本文中，我们从完全不同的角度解决了单源和多源UDA，即将每个实例视为一个良好的域。因此，跨域的特征对齐是冗余。相反，我们建议执行动态实例域的适应性（DIDA）。具体而言，开发了具有自适应卷积内核的动态神经网络，以生成实例自适应残差，以使域 - 无知的深度特征适应每个单独的实例。这使得共享分类器可以同时应用于源域数据，而无需依赖任何域注释。此外，我们没有施加复杂的特征对准损失，而是仅使用标记的源和伪标记为目标数据的跨透镜损失采用简单的半监督学习范式。我们的模型被称为DIDA-NET，可以在几种常用的单源和多源UDA数据集上实现最先进的性能，包括数字，办公室房屋，域名，域名，Digit-Five和PAC。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

目的：随着具有非传统电极配置的可穿戴睡眠监测设备的快速升高，需要自动算法，可以在具有少量标记数据的配置上执行睡眠暂存。转移学习具有从源模态（例如标准电极配置）到新的目标模态（例如非传统电极配置）的神经网络权重。方法：我们提出功能匹配，一个新的转移学习策略作为常用的芬降方法的替代方案。该方法包括培训具有来自源模态的大量数据的模型，以及源头和目标模态的成对样本很少。对于那些配对的样本，模型提取目标模态的特征，与来自源模态的相应样本相匹配。结果：我们将特征与三种不同的目标域的FineTuning进行比较，具有两个不同的神经网络架构，以及不同数量的培训数据。特别是在小型队列（即，在非传统的记录设置中标记的记录）上，具有系统地匹配的特征，具有平均相对差异的精度为不同场景和数据集的0.4％至4.7％。结论：我们的研究结果表明，特征符合FineTuning作为转移学习方法的特征，特别是在非常低的数据制度中。意义：因此，我们得出结论，特征匹配是具有新颖设备可穿戴睡眠分段的有希望的新方法。

作为对数据有效使用的研究，多源无监督的域适应性将知识从带有标记数据的多个源域转移到了未标记的目标域。但是，目标域中不同域和嘈杂的伪标签之间的分布差异都导致多源无监督域适应方法的性能瓶颈。鉴于此，我们提出了一种将注意力驱动的领域融合和耐噪声学习（ADNT）整合到上述两个问题的方法。首先，我们建立了相反的注意结构，以在特征和诱导域运动之间执行信息。通过这种方法，当域差异降低时，特征的可区分性也可以显着提高。其次，基于无监督的域适应训练的特征，我们设计了自适应的反向横向熵损失，该损失可以直接对伪标签的产生施加约束。最后，结合了这两种方法，几个基准的实验结果进一步验证了我们提出的ADNT的有效性，并证明了优于最新方法的性能。

大多数现有的多源域适配（MSDA）方法通过特征分布对准最小化多个源 - 目标域对之间的距离，从单个源设置借用的方法。但是，对于不同的源极域，对齐成对特征分布是具有挑战性的，甚至可以对MSDA进行反效率。在本文中，我们介绍了一种新颖的方法：可转让的属性学习。动机很简单：虽然不同的域可以具有急剧不同的视野，但它们包含相同的类类，其特征在一起相同的属性;因此，MSDA模型应该专注于学习目标域的最可转换的属性。采用这种方法，我们提出了域名关注一致性网络，称为DAC网。关键设计是一个特征通道注意模块，旨在识别可转移功能（属性）。重要的是，注意模块受到一致性损失的监督，这对源极和目标域之间的信道注意权重的分布施加。此外，为了促进对目标数据的鉴别特征学习，我们将伪标记与类紧凑性丢失相结合，以最小化目标特征和分类器的权重向量之间的距离。在三个MSDA基准测试中进行了广泛的实验表明，我们的DAC-NET在所有这些中实现了新的最新性能。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

关于无监督的域适应性（UDA）的广泛研究已将有限的实验数据集深入学习到现实世界中无约束的领域。大多数UDA接近通用嵌入空间中的对齐功能，并将共享分类器应用于目标预测。但是，由于当域差异很大时可能不存在完全排列的特征空间，因此这些方法受到了两个局限性。首先，由于缺乏目标标签监督，强制域的比对会恶化目标域的可区分性。其次，源监督分类器不可避免地偏向源数据，因此它在目标域中的表现可能不佳。为了减轻这些问题，我们建议在两个集中在不同领域的空间中同时进行特征对齐，并为每个空间创建一个针对该域的面向域的分类器。具体而言，我们设计了一个面向域的变压器（DOT），该变压器（DOT）具有两个单独的分类令牌，以学习不同的面向域的表示形式和两个分类器，以保持域的可区分性。理论保证的基于对比度的对齐和源指导的伪标签细化策略被用来探索域名和特定信息。全面的实验验证了我们的方法在几个基准上实现了最先进的方法。

A systematic review on machine-learning strategies for improving generalizability (cross-subjects and cross-sessions) electroencephalography (EEG) based in emotion classification was realized. In this context, the non-stationarity of EEG signals is a critical issue and can lead to the Dataset Shift problem. Several architectures and methods have been proposed to address this issue, mainly based on transfer learning methods. 418 papers were retrieved from the Scopus, IEEE Xplore and PubMed databases through a search query focusing on modern machine learning techniques for generalization in EEG-based emotion assessment. Among these papers, 75 were found eligible based on their relevance to the problem. Studies lacking a specific cross-subject and cross-session validation strategy and making use of other biosignals as support were excluded. On the basis of the selected papers' analysis, a taxonomy of the studies employing Machine Learning (ML) methods was proposed, together with a brief discussion on the different ML approaches involved. The studies with the best results in terms of average classification accuracy were identified, supporting that transfer learning methods seem to perform better than other approaches. A discussion is proposed on the impact of (i) the emotion theoretical models and (ii) psychological screening of the experimental sample on the classifier performances.

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.