收集大量人生成的健康数据（可穿戴性），但注释给机器学习模型的注释过程是不切实际的。本文讨论了使用以前应用于视觉域的自我监督损失的自我监督方法，例如以前应用于视觉域，可以应用于跨越睡眠，心脏和心脏的下游分类任务的高维健康信号。代谢条件。为此，我们适应数据增强步骤和整体架构，以满足数据（可穿戴迹线）的时间性，并通过比较其他最先进的方法（包括监督学习）和对抗的无监督来评估5个下游任务。代表学习方法。我们表明SIMCLR在大多数下游评估任务中表明了对抗性方法和完全监督的方法，并且所有自我监督方法都优于完全监督的方法。这项工作为应用于可穿戴时间级域的对比方法提供了全面的基准，显示了下游临床结果的任务不可知论见的承诺。
translated by 谷歌翻译
有监督的深度学习算法具有自动化筛查，监视和分级的医学图像的巨大潜力。但是，培训表现模型通常需要大量的标记数据，这在医疗领域几乎无法获得。自我监督的对比框架通过首先从未标记的图像中学习来放松这种依赖性。在这项工作中，我们表明使用两种对比方法进行了预处理，即SIMCLR和BYOL，就与年龄相关的黄斑变性（AMD）的临床评估有关深度学习的实用性。在实验中，使用两个大型临床数据集，其中包含7,912名患者的170,427个光学相干断层扫描（OCT）图像，我们评估了从AMD阶段和类型分类到功能性终点的七个下游任务，从七个下游任务进行预处理，从在标签较少的七个任务中，六个任务中有六个显着增加。但是，标准的对比框架具有两个已知的弱点，这些弱点不利于医疗领域的预处理。用于创建正面对比对的几种图像转换不适用于灰度医学扫描。此外，医学图像通常描绘了相同的解剖区域和疾病的严重程度，从而导致许多误导性负面对。为了解决这些问题，我们开发了一种新颖的元数据增强方法，该方法利用了丰富的固有可用患者信息集。为此，我们采用了患者身份，眼睛位置（即左或右）和时间序列数据的记录，以指示典型的不可知的对比关系。通过利用这种经常被忽视的信息，我们元数据增强的对比预处理可带来进一步的好处，并且在下游七个任务中有五个任务中的五个中的五分之一。
translated by 谷歌翻译
临床12-铅心电图（ECG）是遇到的最广泛的生物信息之一。尽管公共ECG数据集的可用性增加，但标签稀缺仍然是该领域的中央挑战。自我监督的学习代表了缓解这个问题的有希望的方式。在这项工作中，我们提出了从临床12引导ECG数据的自我监督代表学习的第一次全面评估。为此，我们基于对ECG域的实例辨别和潜在预测来适应最先进的自我监督方法。在第一步中，我们基于最近成立，全面的临床ECG分类任务的线性评估性能来学习对比表征并评估其质量。在第二步中，与纯粹监督性能相比，我们分析了自我监督预先训练对Fineetuned ECG分类器的影响。对于最佳性能的方法，对比预测性编码的适应性，我们发现线性评估性能下降低于监督性能的0.5％。对于FineTuned模型，与监督性能，标签效率以及对生理噪声的鲁棒性相比，我们发现下游性能大约1％的下游性能。这项工作明确建立了通过自我监督的学习和众多优势来提取从心电图数据提取歧视性表现的可行性，与纯粹的监督培训相比，在下游任务上的这种代表性上进行了多种优势。作为对其在公开可用的数据集的ECG域中进行的第一次全面评估，我们希望在生物资料中快速发展的代表学习领域建立一个可重复进展的第一步。
translated by 谷歌翻译
最近的对比方法显着改善了几个域的自我监督学习。特别地，对比方法是最有效的，其中数据增强可以容易地构造。在计算机愿景中。但是，在没有建立的数据变换（如时间序列数据）的情况下，它们在域中不太成功。在本文中，我们提出了一种新颖的自我监督学习框架，将对比学习与神经过程结合起来。它依赖于神经过程的最近进步来执行时间序列预测。这允许通过采用一组各种采样功能来生成增强版本的数据，并且因此避免手动设计增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以便在自我监督设置中学习时序序列表示。因此，与以前的自我监督方法不同，我们的增强管道是任务不可行的，使我们的方法能够在各种应用程序中执行良好。特别是，具有使用我们的方法训练的线性分类器的RESET能够跨越工业，医疗和音频数据集的最先进的技术，从而提高ECG定期数据的精度超过10％。我们进一步证明，我们的自我监督的表示在潜在的空间中更有效，改善了多种聚类指标，并且在10％的标签上进行微调我们的方法实现了完全监督的竞争竞争。
translated by 谷歌翻译
学习时间序列表示只有未标记的数据或几个标签样本可用时，可能是一项具有挑战性的任务。最近，通过对比，通过对比的不同数据观点从未标记的数据中提取有用的表示形式方面，对对比的自我监督学习表现出了很大的改进。在这项工作中，我们通过时间和上下文对比（TS-TCC）提出了一个新颖的时间序列表示学习框架，该框架从未标记的数据中学习了具有对比性学习的无标记数据的表示。具体而言，我们建议时间序列特定的弱和强大的增强，并利用他们的观点在拟议的时间对比模块中学习稳健的时间关系，除了通过我们提出的上下文对比模块学习判别性表示。此外，我们对时间序列数据增强选择进行系统研究，这是对比度学习的关键部分。我们还将TS-TCC扩展到了半监督的学习设置，并提出了一种类感知的TS-TCC（CA-TCC），从可用的少数标记数据中受益，以进一步改善TS-TCC学到的表示。具体而言，我们利用TS-TCC生成的强大伪标签来实现班级感知的对比损失。广泛的实验表明，对我们提议的框架所学的功能的线性评估与完全监督的培训相当。此外，我们的框架在少数标记的数据和转移学习方案中显示出高效率。该代码可在\ url {https://github.com/emadeldeen24/ts-tcc}上公开获得。
translated by 谷歌翻译
对于图像表示的自我监督学习最近对线性评估和微调评估有很多突破。这些方法依赖于巧妙制作的损失函数和培训设置，以避免特征崩溃问题。在本文中，我们改进了最近提出的VICREG纸，这引入了一个不依赖于专业训练环的损失函数，以收敛到有用的陈述。我们的方法改进了Vicrog中提出的协方差术语，另外我们通过极大地加速模型收敛的纤维镜层增强了架构的头部。我们的模型在UCR时间序列分类归档和PTB-XL ECG数据集的子集上实现了卓越的性能和对LINEAR评估和微调评估。
translated by 谷歌翻译
胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。
translated by 谷歌翻译
石油和天然气行业中的相似性学习问题旨在构建一个模型，该模型估算以记录数据的间隔测量之间的相似性。以前的尝试主要基于经验规则，因此我们的目标是自动化此过程并排除昂贵且耗时的专家标签。相似性学习的方法之一是自学学习（SSL）。与监督范式相反，该数据几乎不需要标签。因此，即使缺乏或稀缺，我们也可以学习此类模型。如今，大多数SSL方法都是对比和非对抗性的。但是，由于可能对正和负样本进行错误的标记，对比度方法的扩展并不能很好地扩展到对象的数量。非对比度方法不依赖负样本。这种方法在计算机视觉中积极使用。我们为时间序列数据引入了非对比度SSL。特别是，我们建立在Byol和Barlow双胞胎方法的基础上，这些方法避免使用负对，仅专注于匹配正对。这些方法的关键部分是增强策略。存在时间序列的不同增强，而它们对性能的影响可能是正面的和负面的。我们对BYOL和BARLOW双胞胎的增强策略和适应性，使我们能够比其他自我监督的方法（仅ARI $ = 0.34 $）实现更高的质量（ARI $ = 0.49 $），证明了拟议中的非对比性自我的有用性间隔相似性问题和时间序列表示总体学习的监督方法。
translated by 谷歌翻译
We introduce Bootstrap Your Own Latent (BYOL), a new approach to selfsupervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected. 3
translated by 谷歌翻译
We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.
translated by 谷歌翻译
最近无监督的表示学习方法已经通过学习表示不变的数据增强，例如随机裁剪和彩色抖动等数据增强来生效。然而，如果依赖于数据增强的特征，例如，位置或色敏，则这种不变性可能对下游任务有害。这不是一个不监督学习的问题;我们发现即使在监督学习中也会发生这种情况，因为它还学会预测实例所有增强样本的相同标签。为避免此类失败并获得更广泛的表示，我们建议优化辅助自我监督损失，创建的AGESELF，了解两个随机增强样本之间的增强参数（例如，裁剪位置，颜色调整强度）的差异。我们的直觉是，Augelf鼓励在学习的陈述中保留增强信息，这可能有利于其可转让性。此外，Augself可以很容易地纳入最近的最先进的表示学习方法，其额外的培训成本可忽略不计。广泛的实验表明，我们的简单想法一直在各种转移学习情景中始终如一地提高了由监督和无监督方法所学到的表示的可转移性。代码可在https://github.com/hankook/augsfir。
translated by 谷歌翻译
自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。
translated by 谷歌翻译
相比之下，图像域中的对比学习，锚定样品被迫具有尽可能近的表示。但是，强迫两个样本具有相同的表示可能会产生误导，因为数据增强技术使两个样本不同。在本文中，我们介绍了一种新的表示，分区的表示，可以在对比学习中学习锚定和正面样本的共同和独特特征。分区表示由两个部分组成：内容部分和样式部分。内容零件代表类的共同特征，样式部分代表每个样本的自己的特征，这可以导致表示数据增强方法的表示。我们可以通过将对比度学习的损失函数分别分别为两个单独的表示形式，仅将对比度学习的损失函数分解为两个术语，从而实现分区的表示形式。为了通过两个部分评估我们的表示形式，我们采用了两个框架模型：变异自动编码器（VAE）和Bootstrapyour自身潜在（BYOL）以显示内容和样式的可分离性，并分别确认分类中的概括能力。基于实验，我们表明我们的方法可以在VAE框架中分离两种类型的信息，并在线性可分离性中优于常规BYOL，并且是下游任务的一些射击学习任务。
translated by 谷歌翻译
通过最大化示例的不同转换“视图”之间的相似性来构建自我监督学习（SSL）构建表示的最先进的方法。然而，在用于创建视图的转换中没有足够的多样性，难以克服数据中的滋扰变量并构建丰富的表示。这激励了数据集本身来查找类似但不同的样本，以彼此的视图。在本文中，我们介绍了我自己的观点（MISOW），一种新的自我监督学习方法，在数据集中定义预测的不同目标。我们的方法背后的想法是主动挖掘观点，发现在网络的表示空间中的邻居中的样本，然后从一个样本的潜在表示，附近样本的表示。在展示计算机愿景中使用的基准测试中，我们突出了在神经科学的新应用中突出了这个想法的力量，其中SSL尚未应用。在测试多单元神经记录时，我们发现Myow在所有示例中表现出其他自我监督的方法（在某些情况下超过10％），并且经常超越监督的基线。通过MOSO，我们表明可以利用数据的多样性来构建丰富的观点，并在增强的新域中利用自我监督，其中包括有限或未知。
translated by 谷歌翻译
新的天文任务通常与已经收集的标签的早期任务有关。我们将对比度框架BYOL调整为利用这些标签作为预处理的任务，同时还可以增强不变性。对于大规模预处理，我们介绍了GZ-EVO V0.1，这是552K星系图像的9650万志愿者响应，再加上另外134万个可比较的未标记星系。206 GZ-EVO答案中的大多数对于任何给定的星系都不为人所知，因此我们的预读任务使用了自然处理未知答案的差异损失。在有或没有混合学习的情况下，GZ-EVO预训练即使有很多下游标签（44K标签的精度为+4％）也可以改善直接训练。我们的混合预处理/对比方法进一步提高了下游准确性，而对比度学习或对比度学习，尤其是在低标签转移方案中（具有750个标签的6％精度）。
translated by 谷歌翻译
最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点
translated by 谷歌翻译
最近，深度学习方法已成功地用于解决数字病理领域的众多挑战。但是，其中许多方法都是完全监督的，需要带注释的图像。对组织学的注释图像对于即使是高技能病理学家来说也是一个耗时且乏味的过程，因此，大多数组织学数据集缺乏利益区域的注释，并且标记弱。在本文中，我们介绍了Historoperm，这是一种旨在提高弱监督环境中组织学图像的表示技术的性能的视图生成方法。在组织培训中，我们列出了从整体组织学图像产生的斑块的增强视图，以提高分类精度。这些排列的视图属于相同的原始幻灯片级别，但是由不同的贴片实例产生的。我们在两个公共组织学数据集和肾细胞癌的两个公共组织学数据集上测试了BYOL和SIMCLR添加组织培训。对于两个数据集，我们发现与标准BYOL和SIMCLR方法相比，在准确性，F1得分和AUC方面的性能都得到了改善。特别是，在线性评估构型中，HistoPerm将BYOL的腹腔疾病数据集的分类精度提高了8％，SIMCLR的分类精度增加了3％。同样，在组织培训的情况下，BYOL的分类精度增加了2％，而SIMCLR在肾细胞癌数据集上的精度增加了0.25％。可以在共同表示学习框架中采用拟议的基于置换的视图生成方法，以捕获弱监督的设置中的组织病理学特征，并可能导致整个斜面分类结果接近甚至比完全监督的方法接近甚至更好。
translated by 谷歌翻译
受到计算机视觉的自我监督学习的最新进展的启发，在本文中，我们介绍了Delores，这是一种新的通用音频表示方法。我们的主要目标是使我们的网络学习在资源受限的设置（数据和计算）中，可以很好地跨越各种下游任务。受Barlow Twins目标功能的启发，我们建议学习对输入音频样本失真不变的嵌入，同时确保它们包含有关样本的非冗余信息。为此，我们测量了两个相同的网络的输出之间的互相关矩阵，该网络用从音频文件采样的音频段的变形版本中，使其尽可能接近身份矩阵。我们将大规模音频集数据集和FSD50K的一小部分组合用于自学学习，并且与最先进的算法相比，参数的一半不到一半。为了进行评估，我们将这些学习的表示形式转移到9个下游分类任务，包括语音，音乐和动物声音，并在不同的评估设置下显示竞争结果。除了简单明了，我们的预训练算法还可以通过其固有的构造本质来计算，并且不需要仔细的实施细节以避免琐碎或退化的解决方案。此外，我们对结果进行消融研究，并使我们的所有代码和预培训模型公开可用https://github.com/speech-lab-iitm/delores。
translated by 谷歌翻译
自从几十年前的频谱分析开创性工作以来，已经研究了提取音频和语音特征的方法。最近的努力以开发通用音频表示的雄心为指导。例如，如果深度神经网络在大型音频数据集上进行了培训，则可以提取最佳的嵌入。这项工作扩展了基于自我监督的学习，通过引导，提出各种编码器体系结构，并探索使用不同的预训练数据集的效果。最后，我们提出了一个新颖的培训框架，以提出一个混合音频表示，该框架结合了手工制作和数据驱动的学习音频功能。在HEAR NEURIPS 2021挑战中，对听觉场景分类和时间戳检测任务进行了评估。我们的结果表明，在大多数听到挑战任务中，带有卷积变压器的混合模型都会产生卓越的性能。
translated by 谷歌翻译
最近在无监督学习框架中为多元时间表制定代表性的努力。这种表示可以证明在活动识别，健康监测和异常检测等任务中有益。在本文中，我们考虑了一个设置，在该设置中，我们在动态图中观察到每个节点处的时间序列。我们提出了一个名为GraphTNC的框架，用于无监督的图表和时间序列的联合表示。我们的方法采用了对比度学习策略。基于一个假设，即时间序和图演进动力学是平滑的，我们确定了信号表现出近似平稳性的本地时间窗口。然后，我们训练一个编码，该编码允许在社区内分布非邻居信号的分布。我们首先使用合成数据证明了我们提出的框架的性能，随后我们证明它可以证明对使用现实世界数据集的分类任务有益。
translated by 谷歌翻译