张量分解是降低维数和特征多维数据（例如信号）的功能解释的强大工具。现有的张量分解目标（例如Frobenius Norm）旨在根据统计假设拟合原始数据，这可能与下游分类任务不符。在实践中，原始输入张量可以包含无关的信息，而数据增强技术可用于平滑样品中的类近差噪声。本文通过提出增强张量分解（ATD）来解决上述挑战，该张力分解（ATD）有效地纳入了数据增强和自欺欺人的学习（SSL）以增强下游分类。为了解决新的增强目标的非凸度，我们开发了一种迭代方法，使优化能够遵循交替的最小二乘（ALS）时尚。我们在多个数据集上评估了我们的ATD。与基于张量的基准相比，它可以实现0.8％-2.5％的准确性增益。此外，我们的ATD模型在自我监督和自动编码器基准的情况下显示出可比或更好的性能（例如，准确性高达15％），同时使用这些基线模型的少于5％的可学习参数

目的：在本文中，我们旨在从大量未标记的脑电图（EEG）信号中学习强大的向量表示，以使学习的表示（1）表现得足以替代睡眠分期任务中的原始信号； （2）在较少的标签和嘈杂样本的情况下，提供了比监督模型更好的预测性能。材料和方法：我们提出了一个自我监督的模型，称为与世界表示形式（Contrawr）相比，用于EEG信号表示学习，该模型使用数据集中的全局统计信息来区分与不同睡眠阶段相关的信号。在包括在家中的三个现实世界EEG数据集上评估了Contrawr模型，这些模型既包括在家中录制设置。结果：Contrawr在三个数据集中的睡眠登台任务上，Moco，Simclr，Byol，Simsiam胜过最新的自我监督学习方法。当可用的培训标签较少时，Contrawr还会击败受监督的学习（例如，标记不到2％的数据时，精度提高了4％）。此外，该模型在2D投影中提供了信息表示。讨论：建议的模型可以推广到其他无监督的生理信号学习任务。未来的方向包括探索特定于任务的数据增强，并将自我监督与监督方法结合起来，这是基于本文自我监督学习的最初成功。结论：我们表明，Contrawr对噪声是强大的，并且可以为下游预测任务提供高质量的EEG表示。在低标签场景（例如，只有2％的数据具有标签），Contrawr的预测能力（例如，睡眠分期准确性提高了4％）比监督的基线要好得多。

我们提出了Parse，这是一种新颖的半监督结构，用于学习强大的脑电图表现以进行情感识别。为了减少大量未标记数据与标记数据有限的潜在分布不匹配，Parse使用成对表示对准。首先，我们的模型执行数据增强，然后标签猜测大量原始和增强的未标记数据。然后将其锐化的标签和标记数据的凸组合锐化。最后，进行表示对准和情感分类。为了严格测试我们的模型，我们将解析与我们实施并适应脑电图学习的几种最先进的半监督方法进行了比较。我们对四个基于公共EEG的情绪识别数据集，种子，种子IV，种子V和Amigos（价和唤醒）进行这些实验。该实验表明，我们提出的框架在种子，种子-IV和Amigos（Valence）中的标记样品有限的情况下，取得了总体最佳效果，同时接近种子V和Amigos中的总体最佳结果（达到第二好） （唤醒）。分析表明，我们的成对表示对齐方式通过减少未标记数据和标记数据之间的分布比对来大大提高性能，尤其是当每类仅1个样本被标记时。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

由于其无监督的性质和下游任务的信息性特征表示，实例歧视自我监督的代表学习受到了受到关注的。在实践中，它通常使用比监督类的数量更多的负样本。然而，现有分析存在不一致;从理论上讲，大量的负样本在下游监督任务上降低了分类性能，同时凭经验，它们提高了性能。我们提供了一种新颖的框架，用于使用优惠券收集器的问题分析关于负样本的经验结果。我们的界限可以通过增加负样本的数量来隐立地纳入自我监督损失中的下游任务的监督损失。我们确认我们的拟议分析持有现实世界基准数据集。

在时间序列上进行预训练会带来独特的挑战，这是由于预训练和目标域之间的潜在不匹配，例如时间动力学的变化，快速变化的趋势以及远距离循环效应和短期循环效应，这会导致下游差的差表现。尽管域适应方法可以减轻这些偏移，但大多数方法都需要直接从目标域中进行示例，从而使其次优于预训练。为了应对这一挑战，方法需要适应具有不同时间动力学的目标域，并且能够在预训练期间看到任何目标示例。相对于其他方式，在时间序列中，我们期望同一示例的基于时间和频率的表示形式靠近时间频率。为此，我们认为时间频一致性（TF-C）（将特定示例的基于时间的社区嵌入到其基于频率的邻居和后背）是可取的。由TF-C激发，我们定义了一个可分解的预训练模型，其中自我监督信号由时间和频率分量之间的距离提供，每个信号通过对比度估计单独训练。我们在八个数据集上评估了新方法，包括电诊断测试，人类活动识别，机械故障检测和身体状态监测。针对八种最先进方法的实验表明，在一对一的设置中，TF-C平均比基准平均超过15.4％（F1分数）（例如，在EMG数据上对EEG预测的模型进行微调）和在具有挑战性的一对一环境中，最多可达8.4％（F1得分），这反映了现实世界应用中出现的场景广度。源代码和数据集可在https：//anonymon.4open.science/r/tfc-pretraining-6b07上找到。

对比学习在各种自我监督的学习任务中取得了最先进的表现，甚至优于其监督的对应物。尽管其经验成功，但对为什么对比学习作品的理论认识仍然有限。在本文中，（i）我们证明，对比学习胜过AutoEncoder，一种经典无监督的学习方法，适用于特征恢复和下游任务;（ii）我们还说明标记数据在监督对比度学习中的作用。这为最近的发现提供了理论支持，即对标签对比学习的结果提高了域名下游任务中学识表的表现，但它可能会损害转移学习的性能。我们通过数值实验验证了我们的理论。

在这项工作中，我们使用功能磁共振成像（fMRI）专注于具有挑战性的任务，神经疾病分类。在基于人群的疾病分析中，图卷积神经网络（GCN）取得了显着的成功。但是，这些成就与丰富的标记数据密不可分，对虚假信号敏感。为了改善在标签有效的设置下的fMRI表示学习和分类，我们建议在GCN上使用新颖的，理论驱动的自我监督学习（SSL）框架，即在FMRI分析门上用于时间自我监督学习的CCA。具体而言，要求设计合适有效的SSL策略来提取fMRI的形成和鲁棒特征。为此，我们研究了FMRI动态功能连接（FC）的几种新的图表增强策略，用于SSL培训。此外，我们利用规范相关分析（CCA）在不同的时间嵌入中，并呈现理论含义。因此，这产生了一个新颖的两步GCN学习程序，该过程包括在未标记的fMRI人群图上的（i）SSL组成，并且（ii）在小标记的fMRI数据集上进行了微调，以进行分类任务。我们的方法在两个独立的fMRI数据集上进行了测试，这表明自闭症和痴呆症诊断方面表现出色。

学习时间序列表示只有未标记的数据或几个标签样本可用时，可能是一项具有挑战性的任务。最近，通过对比，通过对比的不同数据观点从未标记的数据中提取有用的表示形式方面，对对比的自我监督学习表现出了很大的改进。在这项工作中，我们通过时间和上下文对比（TS-TCC）提出了一个新颖的时间序列表示学习框架，该框架从未标记的数据中学习了具有对比性学习的无标记数据的表示。具体而言，我们建议时间序列特定的弱和强大的增强，并利用他们的观点在拟议的时间对比模块中学习稳健的时间关系，除了通过我们提出的上下文对比模块学习判别性表示。此外，我们对时间序列数据增强选择进行系统研究，这是对比度学习的关键部分。我们还将TS-TCC扩展到了半监督的学习设置，并提出了一种类感知的TS-TCC（CA-TCC），从可用的少数标​​记数据中受益，以进一步改善TS-TCC学到的表示。具体而言，我们利用TS-TCC生成的强大伪标签来实现班级感知的对比损失。广泛的实验表明，对我们提议的框架所学的功能的线性评估与完全监督的培训相当。此外，我们的框架在少数标记的数据和转移学习方案中显示出高效率。该代码可在\ url {https://github.com/emadeldeen24/ts-tcc}上公开获得。

我们提出了一种结合时间序列表示学习的专家知识的方法。我们的方法采用专家功能来代替以前的对比学习方法中常用的数据转换。我们这样做是因为时间序列数据经常源于工业或医疗领域，这些工业或医学领域通常可以从域专家那里获得专家功能，而转换通常难以捉摸，对于时间序列数据。我们首先提出了有用的时间序列表示应实现的两个属性，并表明当前的表示学习方法不能确保这些属性。因此，我们设计了Expclr，这是一种基于目标的目标，它利用专家功能来鼓励两种属性来实现学习的代表。最后，我们在三个现实世界中的数据集上演示了ExpCLR超过了无监督和半监督的表示学习的几种最新方法。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

我们从统计依赖性角度接近自我监督的图像表示学习，提出与希尔伯特 - 施密特独立性标准（SSL-HSIC）自我监督的学习。 SSL-HSIC最大化图像和图像标识的变换表示之间的依赖性，同时最小化这些表示的核化方差。该框架产生了对Infonce的新了解，在不同转换之间的相互信息（MI）上的变分下限。虽然已知MI本身具有可能导致学习无意义的表示的病理学，但其绑定表现得更好：我们表明它隐含地近似于SSL-HSIC（具有略微不同的规范器）。我们的方法还向我们深入了解Byol，一种无与伦比的SSL方法，因为SSL-HSIC类似地了解了当地的样本邻居。 SSL-HSIC允许我们在批量大小中直接在时间线性上直接优化统计依赖性，而无需限制数据假设或间接相互信息估计。 SSL-HSIC培训或没有目标网络，SSL-HSIC与Imagenet的标准线性评估相匹配，半监督学习和转移到其他分类和视觉任务，如语义分割，深度估计和对象识别等。代码可在https://github.com/deepmind/ssl_hsic提供。

With the progress of sensor technology in wearables, the collection and analysis of PPG signals are gaining more interest. Using Machine Learning, the cardiac rhythm corresponding to PPG signals can be used to predict different tasks such as activity recognition, sleep stage detection, or more general health status. However, supervised learning is often limited by the amount of available labeled data, which is typically expensive to obtain. To address this problem, we propose a Self-Supervised Learning (SSL) method with a pretext task of signal reconstruction to learn an informative generalized PPG representation. The performance of the proposed SSL framework is compared with two fully supervised baselines. The results show that in a very limited label data setting (10 samples per class or less), using SSL is beneficial, and a simple classifier trained on SSL-learned representations outperforms fully supervised deep neural networks. However, the results reveal that the SSL-learned representations are too focused on encoding the subjects. Unfortunately, there is high inter-subject variability in the SSL-learned representations, which makes working with this data more challenging when labeled data is scarce. The high inter-subject variability suggests that there is still room for improvements in learning representations. In general, the results suggest that SSL may pave the way for the broader use of machine learning models on PPG data in label-scarce regimes.

基于对比度学习（CL）以成对的方式学习视觉表示。尽管流行的CL模型取得了长足的进步，但在本文中，我们发现了一种不断被忽视的现象：当CL模型接受完整图像训练时，以完整图像测试的性能要比前景区域的表现更好。当CL模型接受前景区域训练时，以完整图像测试的性能要比前景区域差。该观察结果表明，图像中的背景可能会干扰模型学习语义信息及其影响尚未完全消除。为了解决这个问题，我们建立了一个结构性因果模型（SCM），以建模背景作为混杂因素。我们提出了一种基于后门调整的正则化方法，即用元语义正常器（ICL-MSR）进行介入的对比度学习，以对所提出的SCM进行因果干预。可以将ICL-MSR纳入任何现有的CL方法中，以减轻代表学习的背景干扰。从理论上讲，我们证明ICL-MSR达到了更严格的误差。从经验上讲，我们在多个基准数据集上的实验表明，ICL-MSR能够改善不同最先进的CL方法的性能。

自我监督的表示学习解决辅助预测任务（称为借口任务），而不需要标记数据以学习有用的语义表示。这些借口任务仅使用输入特征，例如预测缺失的图像修补程序，从上下文中恢复图像的颜色通道，或者预测文本中的缺失单词;然而，预测该\ Texit {已知}信息有助于学习对下游预测任务的学习陈述。我们提供利用某些{\ EM重建}借口任务之间的统计连接的机制，以保证学习良好代表性。正式地，我们量化了借口任务的组件之间的近似独立性（标签和潜在变量的条件）允许我们学习可以通过训练在学习表示的顶部的线性层来解决下游任务的表示。我们证明了线性层即使对于复杂的地面真理函数类，也会产生小的近似误差，并且将急剧减少标记的样本复杂性。接下来，我们展示了我们方法的简单修改，导致非线性CCA，类似于流行的Simsiam算法，并显示了非线性CCA的类似保证。

图神经网络的自我监督学习（SSL）正在成为利用未标记数据的有前途的方式。当前，大多数方法基于从图像域改编的对比度学习，该学习需要视图生成和足够数量的负样本。相比之下，现有的预测模型不需要负面抽样，但缺乏关于借口训练任务设计的理论指导。在这项工作中，我们提出了lagraph，这是基于潜在图预测的理论基础的预测SSL框架。 lagraph的学习目标被推导为自我监督的上限，以预测未观察到的潜在图。除了改进的性能外，Lagraph还为包括基于不变性目标的预测模型的最新成功提供了解释。我们提供了比较毛发与不同领域中相关方法的理论分析。我们的实验结果表明，劳拉在性能方面的优势和鲁棒性对于训练样本量减少了图形级别和节点级任务。

张量分解是学习多通道结构和来自高维数据的异质特征的有效工具，例如多视图图像和多通道脑电图（EEG）信号，通常由张量表示。但是，大多数张量分解方法是线性特征提取技术，它们无法在高维数据中揭示非线性结构。为了解决此类问题，已经提出了许多算法，以同时执行线性和非线性特征提取。代表性算法是用于图像群集的图形正则非负矩阵分解（GNMF）。但是，正常的2阶图只能模拟对象的成对相似性，该对象无法充分利用样品的复杂结构。因此，我们提出了一种新型方法，称为HyperGraph Narodarized非负张量分解（HyperNTF），该方法利用超图来编码样品之间的复杂连接，并采用了与最终的典型多形（CP）分解模式相对应的因子矩阵，为低维度表示。关于合成歧管，现实世界图像数据集和脑电图信号的广泛实验，表明HyperNTF在降低，聚类和分类方面优于最先进的方法。

最近的对比方法显着改善了几个域的自我监督学习。特别地，对比方法是最有效的，其中数据增强可以容易地构造。在计算机愿景中。但是，在没有建立的数据变换（如时间序列数据）的情况下，它们在域中不太成功。在本文中，我们提出了一种新颖的自我监督学习框架，将对比学习与神经过程结合起来。它依赖于神经过程的最近进步来执行时间序列预测。这允许通过采用一组各种采样功能来生成增强版本的数据，并且因此避免手动设计增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以便在自我监督设置中学习时序序列表示。因此，与以前的自我监督方法不同，我们的增强管道是任务不可行的，使我们的方法能够在各种应用程序中执行良好。特别是，具有使用我们的方法训练的线性分类器的RESET能够跨越工业，医疗和音频数据集的最先进的技术，从而提高ECG定期数据的精度超过10％。我们进一步证明，我们的自我监督的表示在潜在的空间中更有效，改善了多种聚类指标，并且在10％的标签上进行微调我们的方法实现了完全监督的竞争竞争。

半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。