我们提出了一种结合时间序列表示学习的专家知识的方法。我们的方法采用专家功能来代替以前的对比学习方法中常用的数据转换。我们这样做是因为时间序列数据经常源于工业或医疗领域，这些工业或医学领域通常可以从域专家那里获得专家功能，而转换通常难以捉摸，对于时间序列数据。我们首先提出了有用的时间序列表示应实现的两个属性，并表明当前的表示学习方法不能确保这些属性。因此，我们设计了Expclr，这是一种基于目标的目标，它利用专家功能来鼓励两种属性来实现学习的代表。最后，我们在三个现实世界中的数据集上演示了ExpCLR超过了无监督和半监督的表示学习的几种最新方法。

学习时间序列表示只有未标记的数据或几个标签样本可用时，可能是一项具有挑战性的任务。最近，通过对比，通过对比的不同数据观点从未标记的数据中提取有用的表示形式方面，对对比的自我监督学习表现出了很大的改进。在这项工作中，我们通过时间和上下文对比（TS-TCC）提出了一个新颖的时间序列表示学习框架，该框架从未标记的数据中学习了具有对比性学习的无标记数据的表示。具体而言，我们建议时间序列特定的弱和强大的增强，并利用他们的观点在拟议的时间对比模块中学习稳健的时间关系，除了通过我们提出的上下文对比模块学习判别性表示。此外，我们对时间序列数据增强选择进行系统研究，这是对比度学习的关键部分。我们还将TS-TCC扩展到了半监督的学习设置，并提出了一种类感知的TS-TCC（CA-TCC），从可用的少数标​​记数据中受益，以进一步改善TS-TCC学到的表示。具体而言，我们利用TS-TCC生成的强大伪标签来实现班级感知的对比损失。广泛的实验表明，对我们提议的框架所学的功能的线性评估与完全监督的培训相当。此外，我们的框架在少数标记的数据和转移学习方案中显示出高效率。该代码可在\ url {https://github.com/emadeldeen24/ts-tcc}上公开获得。

在时间序列上进行预训练会带来独特的挑战，这是由于预训练和目标域之间的潜在不匹配，例如时间动力学的变化，快速变化的趋势以及远距离循环效应和短期循环效应，这会导致下游差的差表现。尽管域适应方法可以减轻这些偏移，但大多数方法都需要直接从目标域中进行示例，从而使其次优于预训练。为了应对这一挑战，方法需要适应具有不同时间动力学的目标域，并且能够在预训练期间看到任何目标示例。相对于其他方式，在时间序列中，我们期望同一示例的基于时间和频率的表示形式靠近时间频率。为此，我们认为时间频一致性（TF-C）（将特定示例的基于时间的社区嵌入到其基于频率的邻居和后背）是可取的。由TF-C激发，我们定义了一个可分解的预训练模型，其中自我监督信号由时间和频率分量之间的距离提供，每个信号通过对比度估计单独训练。我们在八个数据集上评估了新方法，包括电诊断测试，人类活动识别，机械故障检测和身体状态监测。针对八种最先进方法的实验表明，在一对一的设置中，TF-C平均比基准平均超过15.4％（F1分数）（例如，在EMG数据上对EEG预测的模型进行微调）和在具有挑战性的一对一环境中，最多可达8.4％（F1得分），这反映了现实世界应用中出现的场景广度。源代码和数据集可在https：//anonymon.4open.science/r/tfc-pretraining-6b07上找到。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

无监督的对比度学习（UCL）是一种自我监督的学习技术，旨在通过将正面样本彼此接近，同时将负面样本推到嵌入空间中远处，以学习有用的表示功能。为了提高UCL的性能，几项作品引入了旨在选择“硬”阴性样本与UCL中使用的随机采样策略相比，旨在选择“硬”阴性样本的硬性阴性对比度学习（H-UCL）。在另一种方法中，在假设标签信息可用的假设下，有监督的对比学习（SCL）最近通过将UCL扩展到完全监督的环境来开发。在本文中，由于硬性采样策略在H-UCL中的有效性以及标签信息在SCL中的有用性的启发性，我们提出了一个称为硬性负责监督的对比度学习（H-SCL）的对比学习框架。我们的数值结果证明了H-SCL在几个图像数据集上对SCL和H-UCL的有效性。另外，从理论上讲，在某些条件下，H-SCL的目标函数可以受H-UCL的目标函数的界定，而不是由UCL的目标函数界定。因此，将H-UCL损失最小化可以作为最小化H-SCL损失的代理，而最小化UCL损失不能。正如我们数值表明H-SCL优于其他对比学习方法时，我们的理论结果（通过H-UCL损失界限H-SCL损失）有助于解释为什么H-UCL在实践中优于UCL。

最近的对比方法显着改善了几个域的自我监督学习。特别地，对比方法是最有效的，其中数据增强可以容易地构造。在计算机愿景中。但是，在没有建立的数据变换（如时间序列数据）的情况下，它们在域中不太成功。在本文中，我们提出了一种新颖的自我监督学习框架，将对比学习与神经过程结合起来。它依赖于神经过程的最近进步来执行时间序列预测。这允许通过采用一组各种采样功能来生成增强版本的数据，并且因此避免手动设计增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以便在自我监督设置中学习时序序列表示。因此，与以前的自我监督方法不同，我们的增强管道是任务不可行的，使我们的方法能够在各种应用程序中执行良好。特别是，具有使用我们的方法训练的线性分类器的RESET能够跨越工业，医疗和音频数据集的最先进的技术，从而提高ECG定期数据的精度超过10％。我们进一步证明，我们的自我监督的表示在潜在的空间中更有效，改善了多种聚类指标，并且在10％的标签上进行微调我们的方法实现了完全监督的竞争竞争。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

近年来，随着深度神经网络方法的普及，手术计算机视觉领域经历了相当大的突破。但是，用于培训的标准全面监督方法需要大量的带注释的数据，从而实现高昂的成本；特别是在临床领域。已经开始在一般计算机视觉社区中获得吸引力的自我监督学习（SSL）方法代表了对这些注释成本的潜在解决方案，从而使仅从未标记的数据中学习有用的表示形式。尽管如此，SSL方法在更复杂和有影响力的领域（例如医学和手术）中的有效性仍然有限且未开发。在这项工作中，我们通过在手术计算机视觉的背景下研究了四种最先进的SSL方法（Moco V2，Simclr，Dino，SWAV），以解决这一关键需求。我们对这些方法在cholec80数据集上的性能进行了广泛的分析，以在手术环境理解，相位识别和工具存在检测中为两个基本和流行的任务。我们检查了它们的参数化，然后在半监督设置中相对于训练数据数量的行为。如本工作所述和进行的那样，将这些方法的正确转移到手术中，可以使SSL的一般用途获得可观的性能 - 相位识别率高达7％，而在工具存在检测方面，则具有20％ - 半监督相位识别方法高达14％。该代码将在https://github.com/camma-public/selfsupsurg上提供。

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

降低降低方法是无监督的方法，它学习了低维空间，在这些方法中，初始空间的某些特性（通常是“邻居”的概念）被保留。这种方法通常需要在大的K-NN图或复杂的优化求解器上传播。另一方面，通常用于从头开始学习表示形式，依靠简单，更可扩展的框架来学习的自我监督学习方法。在本文中，我们提出了TLDR，这是通用输入空间的一种降低方法，该方法正在移植Zbontar等人的最新自我监督学习框架。 （2021）降低维度的特定任务，超越任意表示。我们建议使用最近的邻居从训练组中构建对，并减少冗余损失，以学习在此类对之间产生表示形式的编码器。 TLDR是一种简单，易于训练和广泛适用性的方法。它由一个离线最近的邻居计算步骤组成，该步骤可以高度近似，并且是一个直接的学习过程。为了提高可伸缩性，我们专注于提高线性维度的降低，并在图像和文档检索任务上显示一致的收益，例如在Roxford上获得PCA的 +4％地图，用于GEM-AP，改善了ImageNet上的Dino的性能或以10倍的压缩保留。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

实例歧视对比学习（CL）在学习可转移表示方面取得了重大成功。与CL损失的温度$ \ tau $相关的硬度感知的属性被确定为在自动集中在硬性阴性样品上起着至关重要的作用。但是，先前的工作还证明了CL损失的均匀性困境（UTD）存在，这将导致意外的性能降解。具体而言，较小的温度有助于学习可分离的嵌入，但对语义相关样品的耐受性较小，这可能导致次优的嵌入空间，反之亦然。在本文中，我们提出了一种模型感的对比学习（MACL）策略来逃避UTD。对于训练不足的阶段，锚固的高相似性区域包含潜在的阳性样品的可能性较小。因此，在这些阶段采用较小的温度可以对硬性阴性样品施加更大的惩罚强度，以改善CL模型的歧视。相反，由于对潜在的阳性样品的耐受性，训练有素的相位较高的温度有助于探索语义结构。在实施过程中，MACL中的温度旨在适应反映CL模型置信度的对齐属性。此外，我们重新审查了为什么对比度学习需要在统一梯度降低的视角中大量负面样本。基于MACL和这些分析，在这项工作中提出了新的CL损失，以改善批量尺寸少量的学说和培训。

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

从一个非常少数标记的样品中学习新颖的课程引起了机器学习区域的越来越高。最近关于基于元学习或转移学习的基于范例的研究表明，良好特征空间的获取信息可以是在几次拍摄任务上实现有利性能的有效解决方案。在本文中，我们提出了一种简单但有效的范式，该范式解耦了学习特征表示和分类器的任务，并且只能通过典型的传送学习培训策略从基类嵌入体系结构的特征。为了在每个类别内保持跨基地和新类别和辨别能力的泛化能力，我们提出了一种双路径特征学习方案，其有效地结合了与对比特征结构的结构相似性。以这种方式，内部级别对齐和级别的均匀性可以很好地平衡，并且导致性能提高。三个流行基准测试的实验表明，当与简单的基于原型的分类器结合起来时，我们的方法仍然可以在电感或转换推理设置中的标准和广义的几次射击问题达到有希望的结果。

对图像分类任务的对比学习成功的鼓励，我们为3D手姿势估计的结构化回归任务提出了一种新的自我监督方法。对比学习利用未标记的数据来通过损失制定来使用未标记的数据，以鼓励学习的特征表示在任何图像转换下都是不变的。对于3D手姿势估计，它也希望具有不变性地与诸如颜色抖动的外观变换。但是，该任务需要在仿射和转换之类的转换下的标准性。为了解决这个问题，我们提出了一种对比的对比目标，并在3D手姿势估计的背景下展示其有效性。我们通过实验研究了不变性和对比的对比目标的影响，并表明学习的等待特征导致3D手姿势估计的任务的更好表示。此外，我们显示具有足够深度的标准Evenet，在额外的未标记数据上培训，在弗雷手中获得高达14.5％的提高，因此在没有任何任务的专用架构的情况下实现最先进的性能。 https://ait.ethz.ch/projects/2021/peclr/使用代码和模型

尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

良好的培训数据是开发有用的ML应用程序的先决条件。但是，在许多域中，现有数据集不能由于隐私法规（例如，从医学研究）而被共享。这项工作调查了一种简单而非规范的方法，可以匿名数据综合来使第三方能够受益于此类私人数据。我们探讨了从不切实际，任务相关的刺激中隐含地学习的可行性，这通过激发训练有素的深神经网络（DNN）的神经元来合成。因此，神经元励磁用作伪生成模型。刺激数据用于培训新的分类模型。此外，我们将此框架扩展以抑制与特定个人相关的表示。我们使用开放和大型闭合临床研究的睡眠监测数据，并评估（1）最终用户是否可以创建和成功使用定制分类模型进行睡眠呼吸暂停检测，并且（2）研究中参与者的身份受到保护。广泛的比较实证研究表明，在刺激上培训的不同算法能够在与原始模型相同的任务上成功概括。然而，新和原始模型之间的架构和算法相似性在性能方面发挥着重要作用。对于类似的架构，性能接近使用真实数据（例如，精度差为0.56 \％，Kappa系数差为0.03-0.04）。进一步的实验表明，刺激可以在很大程度上成功地匿名匿名研究临床研究的参与者。