学习时间序列表示只有未标记的数据或几个标签样本可用时，可能是一项具有挑战性的任务。最近，通过对比，通过对比的不同数据观点从未标记的数据中提取有用的表示形式方面，对对比的自我监督学习表现出了很大的改进。在这项工作中，我们通过时间和上下文对比（TS-TCC）提出了一个新颖的时间序列表示学习框架，该框架从未标记的数据中学习了具有对比性学习的无标记数据的表示。具体而言，我们建议时间序列特定的弱和强大的增强，并利用他们的观点在拟议的时间对比模块中学习稳健的时间关系，除了通过我们提出的上下文对比模块学习判别性表示。此外，我们对时间序列数据增强选择进行系统研究，这是对比度学习的关键部分。我们还将TS-TCC扩展到了半监督的学习设置，并提出了一种类感知的TS-TCC（CA-TCC），从可用的少数标​​记数据中受益，以进一步改善TS-TCC学到的表示。具体而言，我们利用TS-TCC生成的强大伪标签来实现班级感知的对比损失。广泛的实验表明，对我们提议的框架所学的功能的线性评估与完全监督的培训相当。此外，我们的框架在少数标记的数据和转移学习方案中显示出高效率。该代码可在\ url {https://github.com/emadeldeen24/ts-tcc}上公开获得。

在时间序列上进行预训练会带来独特的挑战，这是由于预训练和目标域之间的潜在不匹配，例如时间动力学的变化，快速变化的趋势以及远距离循环效应和短期循环效应，这会导致下游差的差表现。尽管域适应方法可以减轻这些偏移，但大多数方法都需要直接从目标域中进行示例，从而使其次优于预训练。为了应对这一挑战，方法需要适应具有不同时间动力学的目标域，并且能够在预训练期间看到任何目标示例。相对于其他方式，在时间序列中，我们期望同一示例的基于时间和频率的表示形式靠近时间频率。为此，我们认为时间频一致性（TF-C）（将特定示例的基于时间的社区嵌入到其基于频率的邻居和后背）是可取的。由TF-C激发，我们定义了一个可分解的预训练模型，其中自我监督信号由时间和频率分量之间的距离提供，每个信号通过对比度估计单独训练。我们在八个数据集上评估了新方法，包括电诊断测试，人类活动识别，机械故障检测和身体状态监测。针对八种最先进方法的实验表明，在一对一的设置中，TF-C平均比基准平均超过15.4％（F1分数）（例如，在EMG数据上对EEG预测的模型进行微调）和在具有挑战性的一对一环境中，最多可达8.4％（F1得分），这反映了现实世界应用中出现的场景广度。源代码和数据集可在https：//anonymon.4open.science/r/tfc-pretraining-6b07上找到。

无监督域适应（UDA）已成功解决了可视应用程序的域移位问题。然而，由于以下原因，这些方法可能对时间序列数据的性能有限。首先，它们主要依赖于用于源预制的大规模数据集（即，ImageNet），这不适用于时间序列数据。其次，它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后，最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制，我们提出了一个自我监督的自回归域适应（Slarda）框架。特别是，我们首先设计一个自我监督的学习模块，它利用预测作为辅助任务以提高源特征的可转换性。其次，我们提出了一种新的自回归域自适应技术，其包括在域对齐期间源和目标特征的时间依赖性。最后，我们开发了一个集合教师模型，通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验，具有30个跨域方案。结果表明，我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

Unsupervised Domain Adaptation (UDA) has emerged as a powerful solution for the domain shift problem via transferring the knowledge from a labeled source domain to a shifted unlabeled target domain. Despite the prevalence of UDA for visual applications, it remains relatively less explored for time-series applications. In this work, we propose a novel lightweight contrastive domain adaptation framework called CoTMix for time-series data. Unlike existing approaches that either use statistical distances or adversarial techniques, we leverage contrastive learning solely to mitigate the distribution shift across the different domains. Specifically, we propose a novel temporal mixup strategy to generate two intermediate augmented views for the source and target domains. Subsequently, we leverage contrastive learning to maximize the similarity between each domain and its corresponding augmented view. The generated views consider the temporal dynamics of time-series data during the adaptation process while inheriting the semantics among the two domains. Hence, we gradually push both domains towards a common intermediate space, mitigating the distribution shift across them. Extensive experiments conducted on four real-world time-series datasets show that our approach can significantly outperform all state-of-the-art UDA methods. The implementation code of CoTMix is available at \href{https://github.com/emadeldeen24/CoTMix}{github.com/emadeldeen24/CoTMix}.

我们提出了Parse，这是一种新颖的半监督结构，用于学习强大的脑电图表现以进行情感识别。为了减少大量未标记数据与标记数据有限的潜在分布不匹配，Parse使用成对表示对准。首先，我们的模型执行数据增强，然后标签猜测大量原始和增强的未标记数据。然后将其锐化的标签和标记数据的凸组合锐化。最后，进行表示对准和情感分类。为了严格测试我们的模型，我们将解析与我们实施并适应脑电图学习的几种最先进的半监督方法进行了比较。我们对四个基于公共EEG的情绪识别数据集，种子，种子IV，种子V和Amigos（价和唤醒）进行这些实验。该实验表明，我们提出的框架在种子，种子-IV和Amigos（Valence）中的标记样品有限的情况下，取得了总体最佳效果，同时接近种子V和Amigos中的总体最佳结果（达到第二好） （唤醒）。分析表明，我们的成对表示对齐方式通过减少未标记数据和标记数据之间的分布比对来大大提高性能，尤其是当每类仅1个样本被标记时。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

机器学习的最新进展表明，通过自我监督的学习获得的预训练表示形式可以通过小型培训数据实现高精度。与视觉和自然语言处理域不同，基于IMU的应用程序的预培训是具有挑战性的，因为只有少数公开可用的数据集具有足够的规模和多样性来学习可推广的表示。为了克服这个问题，我们提出了IMG2IMU，这是一种新颖的方法，可以适应从大规模图像到不同弹药的IMU感应任务的预训练表示。我们将传感器数据转换为可解释的频谱图，以便模型利用从视觉中获得的知识。此外，我们将对比度学习应用于我们旨在学习用于解释传感器数据的表示形式。我们对五个IMU感应任务的广泛评估表明，IMG2IMU始终优于基准，这说明视力知识可以纳入一些用于IMU感应任务的学习环境中。

我们提出了一种结合时间序列表示学习的专家知识的方法。我们的方法采用专家功能来代替以前的对比学习方法中常用的数据转换。我们这样做是因为时间序列数据经常源于工业或医疗领域，这些工业或医学领域通常可以从域专家那里获得专家功能，而转换通常难以捉摸，对于时间序列数据。我们首先提出了有用的时间序列表示应实现的两个属性，并表明当前的表示学习方法不能确保这些属性。因此，我们设计了Expclr，这是一种基于目标的目标，它利用专家功能来鼓励两种属性来实现学习的代表。最后，我们在三个现实世界中的数据集上演示了ExpCLR超过了无监督和半监督的表示学习的几种最新方法。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

在这项工作中，我们使用功能磁共振成像（fMRI）专注于具有挑战性的任务，神经疾病分类。在基于人群的疾病分析中，图卷积神经网络（GCN）取得了显着的成功。但是，这些成就与丰富的标记数据密不可分，对虚假信号敏感。为了改善在标签有效的设置下的fMRI表示学习和分类，我们建议在GCN上使用新颖的，理论驱动的自我监督学习（SSL）框架，即在FMRI分析门上用于时间自我监督学习的CCA。具体而言，要求设计合适有效的SSL策略来提取fMRI的形成和鲁棒特征。为此，我们研究了FMRI动态功能连接（FC）的几种新的图表增强策略，用于SSL培训。此外，我们利用规范相关分析（CCA）在不同的时间嵌入中，并呈现理论含义。因此，这产生了一个新颖的两步GCN学习程序，该过程包括在未标记的fMRI人群图上的（i）SSL组成，并且（ii）在小标记的fMRI数据集上进行了微调，以进行分类任务。我们的方法在两个独立的fMRI数据集上进行了测试，这表明自闭症和痴呆症诊断方面表现出色。

睡眠分期在诊断和治疗睡眠障碍中非常重要。最近，已经提出了许多数据驱动的深度学习模型，用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型，并在较小的主题上对其进行测试。但是，他们通常认为火车和测试数据是从相同的分布中绘制的，这可能在现实世界中不存在。最近已经开发了无监督的域适应性（UDA）来处理此域移位问题。但是，以前用于睡眠分期的UDA方法具有两个主要局限性。首先，他们依靠一个完全共享的模型来对齐，该模型可能会在功能提取过程中丢失特定于域的信息。其次，它们仅在全球范围内将源和目标分布对齐，而无需考虑目标域中的类信息，从而阻碍了测试时模型的分类性能。在这项工作中，我们提出了一个名为Adast的新型对抗性学习框架，以解决未标记的目标域中的域转移问题。首先，我们开发了一个未共享的注意机制，以保留两个领域中的域特异性特征。其次，我们设计了一种迭代自我训练策略，以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器，以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。

基于伪标签的半监督学习（SSL）在原始数据利用率上取得了巨大的成功。但是，由于自我生成的人工标签中包含的噪声，其训练程序受到确认偏差的影响。此外，该模型的判断在具有广泛分布数据的现实应用程序中变得更加嘈杂。为了解决这个问题，我们提出了一种名为“班级意识的对比度半监督学习”（CCSSL）的通用方法，该方法是提高伪标签质量并增强现实环境中模型的稳健性的插手。我们的方法不是将现实世界数据视为一个联合集合，而是分别处理可靠的分布数据，并将其融合到下游任务中，并将其与图像对比度融合到下游任务中，以更好地泛化。此外，通过应用目标重新加权，我们成功地强调了清洁标签学习，并同时减少嘈杂的标签学习。尽管它很简单，但我们提出的CCSSL比标准数据集CIFAR100和STL10上的最新SSL方法具有显着的性能改进。在现实世界数据集Semi-Inat 2021上，我们将FixMatch提高了9.80％，并提高了3.18％。代码可用https://github.com/tencentyouturesearch/classification-spoomls。

目的：在本文中，我们旨在从大量未标记的脑电图（EEG）信号中学习强大的向量表示，以使学习的表示（1）表现得足以替代睡眠分期任务中的原始信号； （2）在较少的标签和嘈杂样本的情况下，提供了比监督模型更好的预测性能。材料和方法：我们提出了一个自我监督的模型，称为与世界表示形式（Contrawr）相比，用于EEG信号表示学习，该模型使用数据集中的全局统计信息来区分与不同睡眠阶段相关的信号。在包括在家中的三个现实世界EEG数据集上评估了Contrawr模型，这些模型既包括在家中录制设置。结果：Contrawr在三个数据集中的睡眠登台任务上，Moco，Simclr，Byol，Simsiam胜过最新的自我监督学习方法。当可用的培训标签较少时，Contrawr还会击败受监督的学习（例如，标记不到2％的数据时，精度提高了4％）。此外，该模型在2D投影中提供了信息表示。讨论：建议的模型可以推广到其他无监督的生理信号学习任务。未来的方向包括探索特定于任务的数据增强，并将自我监督与监督方法结合起来，这是基于本文自我监督学习的最初成功。结论：我们表明，Contrawr对噪声是强大的，并且可以为下游预测任务提供高质量的EEG表示。在低标签场景（例如，只有2％的数据具有标签），Contrawr的预测能力（例如，睡眠分期准确性提高了4％）比监督的基线要好得多。

我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。

对于图像表示的自我监督学习最近对线性评估和微调评估有很多突破。这些方法依赖于巧妙制作的损失函数和培训设置，以避免特征崩溃问题。在本文中，我们改进了最近提出的VICREG纸，这引入了一个不依赖于专业训练环的损失函数，以收敛到有用的陈述。我们的方法改进了Vicrog中提出的协方差术语，另外我们通过极大地加速模型收敛的纤维镜层增强了架构的头部。我们的模型在UCR时间序列分类归档和PTB-XL ECG数据集的子集上实现了卓越的性能和对LINEAR评估和微调评估。

对图像分类任务的对比学习成功的鼓励，我们为3D手姿势估计的结构化回归任务提出了一种新的自我监督方法。对比学习利用未标记的数据来通过损失制定来使用未标记的数据，以鼓励学习的特征表示在任何图像转换下都是不变的。对于3D手姿势估计，它也希望具有不变性地与诸如颜色抖动的外观变换。但是，该任务需要在仿射和转换之类的转换下的标准性。为了解决这个问题，我们提出了一种对比的对比目标，并在3D手姿势估计的背景下展示其有效性。我们通过实验研究了不变性和对比的对比目标的影响，并表明学习的等待特征导致3D手姿势估计的任务的更好表示。此外，我们显示具有足够深度的标准Evenet，在额外的未标记数据上培训，在弗雷手中获得高达14.5％的提高，因此在没有任何任务的专用架构的情况下实现最先进的性能。 https://ait.ethz.ch/projects/2021/peclr/使用代码和模型

最近，深度学习方法已成功地用于解决数字病理领域的众多挑战。但是，其中许多方法都是完全监督的，需要带注释的图像。对组织学的注释图像对于即使是高技能病理学家来说也是一个耗时且乏味的过程，因此，大多数组织学数据集缺乏利益区域的注释，并且标记弱。在本文中，我们介绍了Historoperm，这是一种旨在提高弱监督环境中组织学图像的表示技术的性能的视图生成方法。在组织培训中，我们列出了从整体组织学图像产生的斑块的增强视图，以提高分类精度。这些排列的视图属于相同的原始幻灯片级别，但是由不同的贴片实例产生的。我们在两个公共组织学数据集和肾细胞癌的两个公共组织学数据集上测试了BYOL和SIMCLR添加组织培训。对于两个数据集，我们发现与标准BYOL和SIMCLR方法相比，在准确性，F1得分和AUC方面的性能都得到了改善。特别是，在线性评估构型中，HistoPerm将BYOL的腹腔疾病数据集的分类精度提高了8％，SIMCLR的分类精度增加了3％。同样，在组织培训的情况下，BYOL的分类精度增加了2％，而SIMCLR在肾细胞癌数据集上的精度增加了0.25％。可以在共同表示学习框架中采用拟议的基于置换的视图生成方法，以捕获弱监督的设置中的组织病理学特征，并可能导致整个斜面分类结果接近甚至比完全监督的方法接近甚至更好。

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.