新的天文任务通常与已经收集的标签的早期任务有关。我们将对比度框架BYOL调整为利用这些标签作为预处理的任务，同时还可以增强不变性。对于大规模预处理，我们介绍了GZ-EVO V0.1，这是552K星系图像的9650万志愿者响应，再加上另外134万个可比较的未标记星系。206 GZ-EVO答案中的大多数对于任何给定的星系都不为人所知，因此我们的预读任务使用了自然处理未知答案的差异损失。在有或没有混合学习的情况下，GZ-EVO预训练即使有很多下游标签（44K标签的精度为+4％）也可以改善直接训练。我们的混合预处理/对比方法进一步提高了下游准确性，而对比度学习或对比度学习，尤其是在低标签转移方案中（具有750个标签的6％精度）。
translated by 谷歌翻译
天文学家通常已经着手通过从头开始创建自己的表示来解决监督的机器学习问题。我们表明，经过训练的深度学习模型，可以回答每个星系动物园贴花问题问题，即学习星系的有意义的语义表示，这些语义表示对于从未训练过的新任务很有用。我们利用这些表示形式优于最近对研究大型星系样本至关重要的实际任务的方法。第一个任务是识别与查询星系相似的形态的星系。给定一个星系为人类分配了一个免费文本标签（例如“ #diffuse”），我们可以找到与大多数标签匹配该标签的星系。第二个任务是确定特定研究人员最有趣的异常。我们的方法在识别最有趣的100个异常（由Galaxy Zoo 2志愿者判断）方面是100％准确的。第三个任务是调整模型来仅使用少数新标记的星系解决新任务。与从陆地图像（ImageNet）或从头开始训练的模型相比，从我们的表示形式进行微调的模型可以更好地识别环形星系。我们用很少的新标签解决每个任务；一个（用于相似性搜索）或数百个（用于异常检测或微调）。这挑战了长期以来的观点，即深度监督方法需要新的大型标签数据集，以便在天文学中实际使用。为了帮助社区受益于我们验证的模型，我们发布了我们的微调代码Zoobot。没有先前经验的研究人员可以访问Zoobot。
translated by 谷歌翻译
收集大量人生成的健康数据（可穿戴性），但注释给机器学习模型的注释过程是不切实际的。本文讨论了使用以前应用于视觉域的自我监督损失的自我监督方法，例如以前应用于视觉域，可以应用于跨越睡眠，心脏和心脏的下游分类任务的高维健康信号。代谢条件。为此，我们适应数据增强步骤和整体架构，以满足数据（可穿戴迹线）的时间性，并通过比较其他最先进的方法（包括监督学习）和对抗的无监督来评估5个下游任务。代表学习方法。我们表明SIMCLR在大多数下游评估任务中表明了对抗性方法和完全监督的方法，并且所有自我监督方法都优于完全监督的方法。这项工作为应用于可穿戴时间级域的对比方法提供了全面的基准，显示了下游临床结果的任务不可知论见的承诺。
translated by 谷歌翻译
我们介绍了Galaxy动物园贴花：SDSS DR8占地面积的星系中的黑色能量相机传统调查图像的详细视觉形态学分类。更深的贴花图像（R = 23.6与SDSS的r = 22.2）显示螺旋臂，弱杆和在SDSS成像中未见的潮汐功能。为了最佳利用较大的贴花图像，志愿者从一套新的答案中选择，旨在提高对合并和酒吧的敏感性。 Galaxy动物园志愿者提供750万个单独的分类超过314,000个星系。 140,000个星系收到至少30分类，足以准确测量像条状的详细的形态，其余的收到约5.所有分类都用于培训贝叶斯卷积神经网络的集合（一种最先进的深度学习方法）预测所有314,000个星系的详细形态的后海外。当衡量自信的志愿者分类时，每个问题的网络大约有99％。形态学是每个星系的基本特征;我们的人机和机器分类是理解星系如何发展的准确和详细资源。
translated by 谷歌翻译
有监督的深度学习算法具有自动化筛查，监视和分级的医学图像的巨大潜力。但是，培训表现模型通常需要大量的标记数据，这在医疗领域几乎无法获得。自我监督的对比框架通过首先从未标记的图像中学习来放松这种依赖性。在这项工作中，我们表明使用两种对比方法进行了预处理，即SIMCLR和BYOL，就与年龄相关的黄斑变性（AMD）的临床评估有关深度学习的实用性。在实验中，使用两个大型临床数据集，其中包含7,912名患者的170,427个光学相干断层扫描（OCT）图像，我们评估了从AMD阶段和类型分类到功能性终点的七个下游任务，从七个下游任务进行预处理，从在标签较少的七个任务中，六个任务中有六个显着增加。但是，标准的对比框架具有两个已知的弱点，这些弱点不利于医疗领域的预处理。用于创建正面对比对的几种图像转换不适用于灰度医学扫描。此外，医学图像通常描绘了相同的解剖区域和疾病的严重程度，从而导致许多误导性负面对。为了解决这些问题，我们开发了一种新颖的元数据增强方法，该方法利用了丰富的固有可用患者信息集。为此，我们采用了患者身份，眼睛位置（即左或右）和时间序列数据的记录，以指示典型的不可知的对比关系。通过利用这种经常被忽视的信息，我们元数据增强的对比预处理可带来进一步的好处，并且在下游七个任务中有五个任务中的五个中的五分之一。
translated by 谷歌翻译
对比度学习已在许多应用程序中有限的许多应用中有用。缺乏注释数据在医学图像分割中尤其有问题，因为很难让临床专家手动注释大量数据，例如心脏超声图像中的心脏结构。在本文中，我们认为对比训练是否有助于超声心动图图像中左心室的分割。此外，我们研究了对比预处理对两个众所周知的分割网络UNET和DEEPLABV3的影响。我们的结果表明，对比预处理有助于改善左心室分割的性能，尤其是当带注释的数据稀缺时。我们展示了如何以自我监督的方式训练模型时，与最先进的完全监督算法获得可比的结果，然后仅对5％的数据进行微调。我们表明，我们的解决方案优于当前在大型公共数据集（Echonet-Dynemic）上达到的骰子分数为0.9211的内容。我们还将解决方案在另一个较小的数据集（CAMUS）上的性能进行比较，以证明我们提出的解决方案的普遍性。该代码可在（https://github.com/biomedia-mbzuai/contrastive-echo）上获得。
translated by 谷歌翻译
We introduce Bootstrap Your Own Latent (BYOL), a new approach to selfsupervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected. 3
translated by 谷歌翻译
我们采用自我监督的代表性学习来从深色能源仪器遗产成像调查的数据释放9中从7600万个星系图像中提取信息9.针对新的强力引力镜头候选者的识别，我们首先创建了快速的相似性搜索工具，以发现新的搜索工具强镜仅给出一个单个标记的示例。然后，我们展示如何在自我监督的表示上训练简单的线性分类器，仅需几分钟即可在CPU上进行几分钟，可以自动以极高的效率对强镜进行分类。我们提出了1192个新的强镜候选者，我们通过简短的视觉标识活动确定，并释放一种基于Web的相似性搜索工具和顶级网络预测，以促进众包快速发现额外的强力镜头和其他稀有物体：HTTPS：https：//github.com/georgestein/ssl-legacysurvey。
translated by 谷歌翻译
尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。
translated by 谷歌翻译
相比之下，图像域中的对比学习，锚定样品被迫具有尽可能近的表示。但是，强迫两个样本具有相同的表示可能会产生误导，因为数据增强技术使两个样本不同。在本文中，我们介绍了一种新的表示，分区的表示，可以在对比学习中学习锚定和正面样本的共同和独特特征。分区表示由两个部分组成：内容部分和样式部分。内容零件代表类的共同特征，样式部分代表每个样本的自己的特征，这可以导致表示数据增强方法的表示。我们可以通过将对比度学习的损失函数分别分别为两个单独的表示形式，仅将对比度学习的损失函数分解为两个术语，从而实现分区的表示形式。为了通过两个部分评估我们的表示形式，我们采用了两个框架模型：变异自动编码器（VAE）和Bootstrapyour自身潜在（BYOL）以显示内容和样式的可分离性，并分别确认分类中的概括能力。基于实验，我们表明我们的方法可以在VAE框架中分离两种类型的信息，并在线性可分离性中优于常规BYOL，并且是下游任务的一些射击学习任务。
translated by 谷歌翻译
自从几十年前的频谱分析开创性工作以来，已经研究了提取音频和语音特征的方法。最近的努力以开发通用音频表示的雄心为指导。例如，如果深度神经网络在大型音频数据集上进行了培训，则可以提取最佳的嵌入。这项工作扩展了基于自我监督的学习，通过引导，提出各种编码器体系结构，并探索使用不同的预训练数据集的效果。最后，我们提出了一个新颖的培训框架，以提出一个混合音频表示，该框架结合了手工制作和数据驱动的学习音频功能。在HEAR NEURIPS 2021挑战中，对听觉场景分类和时间戳检测任务进行了评估。我们的结果表明，在大多数听到挑战任务中，带有卷积变压器的混合模型都会产生卓越的性能。
translated by 谷歌翻译
我们提出了一项新的自我监督的预测变压器预测，以进行密集的预测任务。它基于将像素级表示与全局图像表示形式进行比较的对比损失。该策略可产生更好的本地功能，适用于密集的预测任务，而不是基于全球图像表示的对比预训练。此外，我们的方法不会遭受批次大小的减小，因为对比度损失所需的负面示例数量是局部特征数量的顺序。我们证明了训练策略对两个密集预测任务的有效性：语义分割和单眼深度估计。
translated by 谷歌翻译
医学图像分析的申请遭受了医学专家正确注释的大量数据的急性短缺。监督的学习算法需要大量平衡数据才能学习稳健的表示。经常有监督的学习算法需要各种技术来处理不平衡的数据。另一方面，自我监督的学习算法在数据中是强大的，并且能够学习强大的表示。在这项工作中，我们使用梯度积累技术训练3D BYOL自制模型，以处理自我监督算法中通常需要的批处理中的大量样品。据我们所知，这项工作是该领域中第一个此类工作之一。我们比较了通过当代自我监督预训练的预训练方法以及用动力学400预训练的预训练的RESNET3D-18比较通过实验在ACL泪受损伤检测的下游任务中获得的结果。从下游任务实验中，很明显，所提出的框架优于现有基线。
translated by 谷歌翻译
最近无监督的表示学习方法已经通过学习表示不变的数据增强，例如随机裁剪和彩色抖动等数据增强来生效。然而，如果依赖于数据增强的特征，例如，位置或色敏，则这种不变性可能对下游任务有害。这不是一个不监督学习的问题;我们发现即使在监督学习中也会发生这种情况，因为它还学会预测实例所有增强样本的相同标签。为避免此类失败并获得更广泛的表示，我们建议优化辅助自我监督损失，创建的AGESELF，了解两个随机增强样本之间的增强参数（例如，裁剪位置，颜色调整强度）的差异。我们的直觉是，Augelf鼓励在学习的陈述中保留增强信息，这可能有利于其可转让性。此外，Augself可以很容易地纳入最近的最先进的表示学习方法，其额外的培训成本可忽略不计。广泛的实验表明，我们的简单想法一直在各种转移学习情景中始终如一地提高了由监督和无监督方法所学到的表示的可转移性。代码可在https://github.com/hankook/augsfir。
translated by 谷歌翻译
临床12-铅心电图（ECG）是遇到的最广泛的生物信息之一。尽管公共ECG数据集的可用性增加，但标签稀缺仍然是该领域的中央挑战。自我监督的学习代表了缓解这个问题的有希望的方式。在这项工作中，我们提出了从临床12引导ECG数据的自我监督代表学习的第一次全面评估。为此，我们基于对ECG域的实例辨别和潜在预测来适应最先进的自我监督方法。在第一步中，我们基于最近成立，全面的临床ECG分类任务的线性评估性能来学习对比表征并评估其质量。在第二步中，与纯粹监督性能相比，我们分析了自我监督预先训练对Fineetuned ECG分类器的影响。对于最佳性能的方法，对比预测性编码的适应性，我们发现线性评估性能下降低于监督性能的0.5％。对于FineTuned模型，与监督性能，标签效率以及对生理噪声的鲁棒性相比，我们发现下游性能大约1％的下游性能。这项工作明确建立了通过自我监督的学习和众多优势来提取从心电图数据提取歧视性表现的可行性，与纯粹的监督培训相比，在下游任务上的这种代表性上进行了多种优势。作为对其在公开可用的数据集的ECG域中进行的第一次全面评估，我们希望在生物资料中快速发展的代表学习领域建立一个可重复进展的第一步。
translated by 谷歌翻译
数据增强模块用于对比学习将给定的数据示例转换为两个视图，这被认为是必不可少的且不可替代的。但是，多个数据增强的预定组成带来了两个缺点。首先，增强类型的人工选择为模型带来了特定的代表性不变，它们对不同的下游任务具有不同程度的积极和负面影响。在培训期间，平等处理每种类型的增强性，使该模型学习了各种下游任务的非最佳表示，并限制了事先选择增强类型的灵活性。其次，在经典的对比度学习方法中使用的强大数据增强可能会在某些情况下带来太多的不变性，而对于某些下游任务至关重要的细粒度可能会丢失。本文提出了一种通用方法，以考虑在一般的对比学习框架中考虑在何处以及与什么对比来减轻这两个问题。我们首先建议根据每个数据增强的重要性，在模型的不同深度学习不同的增强不变，而不是在骨干中均匀学习代表性不变。然后，我们建议用增强嵌入扩展对比内容，以减少强大数据增强的误导效果。基于几种基线方法的实验表明，我们在分类，检测和分割下游任务上学习更好的各种基准。
translated by 谷歌翻译
最近，电子学习平台已经发展为学生可以发表疑问（用智能手机拍摄的快照）并在几分钟内解决的地方。但是，这些平台的质量差异很大的学生寄出疑问的数量显着增加，这不仅给教师导航解决方案带来了挑战，还增加了每个疑问的分辨率时间。两者都是不可接受的，因为高度怀疑的时间阻碍了学生学习进度的学习。这需要方法来自动识别存储库中是否存在类似的疑问，然后将其作为验证和与学生沟通的合理解决方案。监督的学习技术（如暹罗建筑）需要标签来识别比赛，这是不可行的，因为标签稀缺且昂贵。因此，在这项工作中，我们基于通过自我监督技术学到的表示形式开发了符合范式的标签不足的疑问。在BYOL的先前理论见解（Bootstrap您自己的潜在空间）的基础上，我们提出了Custom Byol，将特定于域特异性的增强与对比目标结合在一起，而不是各种适当构建的数据视图。结果强调，与BYOL和监督学习实例相比，Custom Byol分别将TOP-1匹配精度提高了大约6 \％和5 \％。我们进一步表明，基于BYOL的学习实例在标准杆上的性能比人类标签更好。
translated by 谷歌翻译
学习概括不见于没有人类监督的有效视觉表现是一个基本问题，以便将机器学习施加到各种各样的任务。最近，分别是SIMCLR和BYOL的两个自我监督方法，对比学习和潜在自动启动的家庭取得了重大进展。在这项工作中，我们假设向这些算法添加显式信息压缩产生更好，更强大的表示。我们通过开发与条件熵瓶颈（CEB）目标兼容的SIMCLR和BYOL配方来验证这一点，允许我们衡量并控制学习的表示中的压缩量，并观察它们对下游任务的影响。此外，我们探讨了Lipschitz连续性和压缩之间的关系，显示了我们学习的编码器的嘴唇峰常数上的易触摸下限。由于Lipschitz连续性与稳健性密切相关，这为什么压缩模型更加强大提供了新的解释。我们的实验证实，向SIMCLR和BYOL添加压缩显着提高了线性评估精度和模型鲁棒性，跨各种域移位。特别是，Byol的压缩版本与Reset-50的ImageNet上的76.0％的线性评估精度达到了76.0％的直线评价精度，并使用Reset-50 2x的78.8％。
translated by 谷歌翻译
自我监督学习（SSL）已取得了有希望的下游表现。但是，当面临现实世界应用程序中的各种资源预算时，将一一一个尺寸的多个网络预算到多个网络的巨大计算负担。在本文中，我们提出了基于歧视性SSL的可靠预处理网络（DSPNET），可以立即训练，然后缩小到各种大小的多个子网络，每个尺寸都可以忠实地学习良好的表示，并可以作为良好的初始化，以良好的初始化。具有各种资源预算的下游任务。具体而言，我们通过优雅地集成SSL和知识蒸馏，将微小网络的思想扩展到判别性SSL范式。我们在图像网上与网络与线性评估和半监督评估方案的一个单独预处理的网络表现出可比性或改进的性能，同时降低了较大的培训成本。预处理的模型还可以很好地推广到下游检测和分割任务。代码将公开。
translated by 谷歌翻译
自我监督的代表学习使对比学习的进步推动了显着的跨利赛，这旨在学习嵌入附近积极投入对的转变，同时推动负对的对。虽然可以可靠地生成正对（例如，作为相同图像的不同视图），但是难以准确地建立负对对，定义为来自不同图像的样本，而不管它们的语义内容或视觉功能如何。对比学习中的一个基本问题正在减轻假底片的影响。对比假否定引起了两个代表学习的关键问题：丢弃语义信息和缓慢的收敛。在本文中，我们提出了识别错误否定的新方法，以及减轻其效果的两种策略，即虚假的消极消除和吸引力，同时系统地执行严格的评估，详细阐述了这个问题。我们的方法表现出对基于对比学习的方法的一致性改进。没有标签，我们在想象中的1000个语义课程中识别出具有40％的精度，并且在使用1％标签的FINETUNING时，在先前最先进的最先进的前1个精度的绝对提高5.8％的绝对提高。我们的代码可在https://github.com/gogle-research/fnc上获得。
translated by 谷歌翻译