自欺欺人的学习（SSL）由于能够学习任务不足的表示而没有人类注释的能力，因此对遥感和地球观察引起了极大的兴趣。尽管大多数现有的SSL在遥感中起作用，利用Convnet骨架并专注于单个模态，但我们探索了视觉变压器（VIT）的潜在，用于关节SAR-OCTICATION学习。基于Dino，一种最先进的SSL算法，它从输入图像的两个增强视图中提取知识，我们通过将所有通道串联到统一输入来结合SAR和光学图像。随后，我们随机掩盖了一种模式作为数据增强策略的通道。在训练期间，该模型将被喂养仅光学，仅SAR-SAR-SAR-SAR-OFICATION图像对学习内部和模式内表示。使用BigeArthnet-MM数据集的实验结果证明了VIT骨架和拟议的多模式SSL算法Dino-MM的好处。
translated by 谷歌翻译
在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。
translated by 谷歌翻译
自我监督的学习（SSL）已成为几个领域分类和分割任务中的新最先进。其中，SSL中的一个流行类别是蒸馏网络，例如BYOL。这项工作提出了RSDNET，该RSDNET在遥感（RS）域中应用蒸馏网络（BYOL），其中数据与天然RGB图像无关。由于多光谱（MS）和合成孔径雷达（SAR）传感器提供各种光谱和空间分辨率信息，因此我们将它们用作隐式增强，以学习不变特征嵌入。为了通过SSL学习基于RS的不变功能，我们通过两种方式训练了RSDNET，即单频道功能学习和三个通道功能学习。与使用三个或更多频段的常见概念相比，这项工作探讨了从随机MS和SAR频段学习的单个通道特征学习的有用性。在我们的线性评估中，这些单个通道功能在EuroSat分类任务上达到了0.92 F1分数，对于某些单个频段，DFC分割任务上达到了59.6 MIOU。我们还将我们的结果与成像网的重量进行了比较，并表明基于RS的SSL模型的表现优于基于有监督的Imagenet模型。我们进一步探讨了多模式数据与单个模态数据相比的实用性，并且表明，使用MS和SAR数据比仅利用MS数据更好地学习不变表示。
translated by 谷歌翻译
translated by 谷歌翻译
在亲自重新识别（REID）中，最近的研究已经验证了未标记的人图像上的模型的预训练要比ImageNet上要好得多。但是，这些研究直接应用了为图像分类设计的现有自我监督学习（SSL）方法，用于REID，而无需在框架中进行任何适应。这些SSL方法将本地视图的输出（例如红色T恤，蓝色短裤）与同时的全球视图相匹配，从而丢失了很多细节。在本文中，我们提出了一种特定于REID的预训练方法，部分意识的自我监督预训练（PASS），该方法可以生成零件级别的功能以提供细粒度的信息，并且更适合REID。通行证将图像分为几个局部区域，每个区域随机裁剪的本地视图都有特定的可学习[部分]令牌。另一方面，所有地方区域的[部分]也附加到全球视图中。通行证学习以匹配同一[部分]上本地视图的输出和全局视图。也就是说，从本地区域获得的本地视图的[部分]仅与从全球视图中学到的相应[部分]相匹配。结果，每个[部分]可以专注于图像的特定局部区域，并提取该区域的细粒度信息。实验显示通行证在Market1501和MSMT17上的新最先进的表演以及各种REID任务（例如Vanilla vit-s/16）通过Pass Achieves 92.2 \％/90.2 \％/88.5 \％地图准确性，例如Vanilla vit-s/16在Market1501上进行监督/UDA/USL REID。我们的代码可在https://github.com/casia-iva-lab/pass-reid上找到。
translated by 谷歌翻译
半监督的学习技术由于其有效的建筑模型能力，即使有稀缺的标记数据可用，它们也在受欢迎程度。在本文中，我们提出了一个框架和特定任务，用于\ textit {multichannel}模型的自我监督预处理，例如多光谱和合成孔径雷达图像的融合。我们表明，拟议的自我监督方法非常有效地学习与土地覆盖分类标签相关的特征。这是通过预处理任务的明确设计来实现的，该任务促进了感应方式之间的差距和利用输入的光谱特征。在半监督的环境中，如果有限的标签可用，则使用拟议的自我监督预审议，然后使用SAR和多光谱数据进行监督的填充，以进行土地覆盖分类，以优于纯粹监督的学习，例如纯监督的学习，来自Imagenet和ImageNet和Imagenet和Imagenet和Imagenet和Imagenet和ImageNet培训的初始化其他最近的自我监督方法。
translated by 谷歌翻译
通过自学学习的视觉表示是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下筛选出相关模式。这是通过大量数据增强，大规模数据集和过量量的计算来实现的。视频自我监督学习（SSL）面临着额外的挑战：视频数据集通常不如图像数据集那么大，计算是一个数量级，并且优化器所必须通过的伪造模式数量乘以几倍。因此，直接从视频数据中学习自我监督的表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个以自我或语言监督为基础的强大模型，并在不依赖视频标记的数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\ textit {subsume}基于图像模型的语义内容，该模型在通用域上训练。所提出的算法被证明可以更有效地学习（即在较小的时期和较小的批次中），并在单模式SSL方法中对标准下游任务进行了新的最新性能。
translated by 谷歌翻译
农民常规施用氮气（N）肥料以增加作物产量。目前，农民经常在某些位置或时间点上过度应用N肥料，因为它们没有高分辨率作物N状态数据。 N用效率可以很低，剩下的N损失环境，导致生产成本高，环境污染。准确和及时估计作物中的N状况至关重要，从而提高种植系统的经济和环境可持续性。基于组织分析的常规方法在实验室中估算植物中的N个状态是耗时和破坏性的。遥感和机器学习的最新进展表明了以非破坏性方式解决上述挑战的承诺。我们提出了一种新的深度学习框架：一种基于频道空间关注的视觉变压器（CSVT），用于估计从麦田中从UAV收集的大图像的作物N状态。与现有的作品不同，所提出的CSVT引入了通道注意力块（CAB）和空间交互块（SIB），其允许捕获来自UAV数字空中图像的空间和通道功能的非线性特性，以获得准确的N状态预测在小麦作物。此外，由于获得标记的数据是耗时且昂贵的，因此引入了本地到全局自我监督的学习，以预先培训CSVT，具有广泛的未标记数据。建议的CSVT与最先进的模型进行了比较，在测试和独立数据集上进行测试和验证。该方法实现了高精度（0.96），具有良好的普遍性和对小麦N状况估算的再现性。
translated by 谷歌翻译
自我监督的学习（SSL）为更好的利用未标记的数据开辟了巨大的机会。对于缺乏注释，通常已知的医学图像分析至关重要。然而，当我们尝试在SSL中使用尽可能多的未标记的医学图像时，打破维度屏障（即，使得可以共同使用2D和3D图像）成为必须的。在本文中，我们提出了一个基于学生教师范式的普遍的自我监督变压器（USST）框架，旨在利用大量未标记的医疗数据，以多种维度来学习丰富的代表。为此，我们将金字塔变压器U-NET（PTU）设计为骨干，由可切换贴片嵌入（SPE）层和变压器层组成。 SPE层根据输入维度切换到2D或3D贴片嵌入。之后，无论其原始尺寸如何，图像都被转换为序列。然后，变压器层以序列到序列方式模拟长期依赖性，从而使您能够学习来自2D和3D图像的表示。与当前维度特定的SSL相比，USST有两个明显的优点：（1）\ TextBF {更有效} - 可以从越来越多的数据中学习表示; （2）\ textBF {更多功能} - 可以传输到各种下游任务。结果表明，USST在六个2D / 3D医学图像分类和分割任务中提供了有希望的结果，表现出大量监督的想象式预训练和高级SSL对应。
translated by 谷歌翻译
自我监督的预制是自然语言处理模型的首选方法，在许多愿景任务中迅速获得普及。最近，自我监督的预借鉴已经显示出胜过许多下游视觉应用的预测，标志着该地区的里程碑。这种优越性归因于传达多个概念的训练图像的不完全标记的负面影响，而是使用单个主要类标签进行注释。虽然自我监督的学习（SSL）原则上没有这种限制，但促进SSL的借口任务的选择是通过向单个概念输出驱动学习过程来实现这种缺点。本研究旨在调查在不使用标签的情况下建模图像中存在的所有概念的可能性。在这方面，所提出的SSL帧工作MC-SSL0.0是迈向多概念自我监督学习（MC-SSL）的步骤，其超出了在图像中建模的单一主导标签，以有效地利用来自所有概念的所有概念在里面。 MC-SSL0.0由两个核心设计概念，组屏蔽模型学习和学习伪概念，用于使用势头（教师学生）框架的数据令牌。多标签和多类图像分类下游任务的实验结果表明，MC-SSL0.0不仅超越了现有的SSL方法，而且超越了监督转移学习。源代码将公开可供社区培训更大的语料库。
translated by 谷歌翻译
自我监督的方法在计算机视野领域表现出巨大的成功，包括在遥感和医学成像中的应用。最流行的基于损坏的方法，例如SIMCLR，MOCO，MOCO-V2，通过在图像上应用人为的增强来创建正对并将其与负面示例进行对比，从而使用同一图像的多个视图。尽管这些技术运行良好，但大多数这些技术都在ImageNet（以及类似的计算机视觉数据集）上进行了调整。尽管有一些尝试捕获积极样本中更丰富的变形集，但在这项工作中，我们探索了一种有希望的替代方法，可以在对比度学习框架内为遥感数据生成积极的示例。可以将来自同一位置的不同传感器捕获的图像可以被认为是同一场景的强烈增强实例，从而消除了探索和调整一套手工制作的强大增强的需求。在本文中，我们提出了一个简单的双编码框架，该框架已在Sentinel-1和Sentinel-2图像对的大型未标记数据集（〜1m）上进行了预训练。我们测试了两个遥感下游任务的嵌入：洪水分割和土地覆盖映射，并从经验上表明，从该技术中学到的嵌入优于通过积极的数据增强来收集积极示例的传统技术。
translated by 谷歌翻译
由于其最近在减少监督学习的差距方面取得了成功，自我监督的学习方法正在增加计算机愿景的牵引力。在自然语言处理（NLP）中，自我监督的学习和变形金刚已经是选择的方法。最近的文献表明，变压器也在计算机愿景中越来越受欢迎。到目前为止，当使用大规模监督数据或某种共同监督时，视觉变压器已被证明可以很好地工作。在教师网络方面。这些监督的普试视觉变压器在下游任务中实现了非常好的变化，变化最小。在这项工作中，我们调查自我监督学习的预用图像/视觉变压器，然后使用它们进行下游分类任务的优点。我们提出了自我监督的视觉变压器（坐在）并讨论了几种自我监督的培训机制，以获得借口模型。静坐的架构灵活性允许我们将其用作自动统计器，并无缝地使用多个自我监控任务。我们表明，可以在小规模数据集上进行预训练，以便在小型数据集上进行下游分类任务，包括几千个图像而不是数百万的图像。使用公共协议对所提出的方法进行评估标准数据集。结果展示了变压器的强度及其对自我监督学习的适用性。我们通过大边缘表现出现有的自我监督学习方法。我们还观察到坐着很好，很少有镜头学习，并且还表明它通过简单地训练从坐的学到的学习功能的线性分类器来学习有用的表示。预先训练，FineTuning和评估代码将在以下：https://github.com/sara-ahmed/sit。
translated by 谷歌翻译
2021-06-17
本文研究了两种技术，用于开发有效的自我监督视觉变压器（ESVIT）进行视觉表示学习。首先，我们通过一项全面的实证研究表明，具有稀疏自我生产的多阶段体系结构可以显着降低建模的复杂性，但具有失去捕获图像区域之间细粒度对应关系的能力的成本。其次，我们提出了一项新的区域匹配训练任务，该任务使模型可以捕获细粒的区域依赖性，因此显着提高了学习视觉表示的质量。我们的结果表明，ESVIT在ImageNet线性探针评估上结合两种技术，在ImageNet线性探针评估中获得了81.3％的TOP-1，优于先前的艺术，其较高吞吐量的顺序幅度约为较高。当转移到下游线性分类任务时，ESVIT在18个数据集中的17个中优于其受监督的对方。代码和模型可公开可用：https：//github.com/microsoft/esvit
translated by 谷歌翻译
现有的少量学习（FSL）方法依赖于具有大型标记数据集的培训，从而阻止它们利用丰富的未标记数据。从信息理论的角度来看，我们提出了一种有效的无监督的FSL方法，并以自学意义进行学习表示。遵循信息原理，我们的方法通过捕获数据的内在结构来学习全面的表示。具体而言，我们以低偏置的MI估计量来最大化实例及其表示的相互信息（MI），以执行自我监督的预训练。我们的自我监督模型对所见类别的可区分特征的监督预训练没有针对可见的阶级的偏见，从而对看不见的类别进行了更好的概括。我们解释说，受监督的预训练和自我监督的预训练实际上正在最大化不同的MI目标。进一步进行了广泛的实验，以通过各种训练环境分析其FSL性能。令人惊讶的是，结果表明，在适当条件下，自我监管的预训练可以优于监督预训练。与最先进的FSL方法相比，我们的方法在没有基本类别的任何标签的情况下，在广泛使用的FSL基准上实现了可比的性能。
translated by 谷歌翻译
最近在自我监督学习中的最先进的框架最近表明，与传统的CNN型号相比，基于变压器的模型可以导致性能提升。繁荣以最大化图像的两个视图的相互信息，现有的作品对最终陈述具有对比损失。在我们的工作中，我们通过通过对比损失允许中间表示从最终层学习来进一步利用这一点，这可以最大化原始目标的上限和两层之间的相互信息。我们的方法，自蒸馏自我监督学习（SDSSL），胜过竞争基础（SIMCLR，BYOL和MOCO V3）使用各种任务和数据集。在线性评估和K-NN协议中，SDSSL不仅导致最终层的性能优异，而且在大多数下层中也是如此。此外，正负对准用于解释如何更有效地形成表示。代码将可用。
translated by 谷歌翻译
We present Masked Audio-Video Learners (MAViL) to train audio-visual representations. Our approach learns with three complementary forms of self-supervision: (1) reconstruction of masked audio and video input data, (2) intra- and inter-modal contrastive learning with masking, and (3) self-training by reconstructing joint audio-video contextualized features learned from the first two objectives. Pre-training with MAViL not only enables the model to perform well in audio-visual classification and retrieval tasks but also improves representations of each modality in isolation, without using information from the other modality for fine-tuning or inference. Empirically, MAViL sets a new state-of-the-art on AudioSet (53.1 mAP) and VGGSound (67.1% accuracy). For the first time, a self-supervised audio-visual model outperforms ones that use external supervision on these benchmarks. Code will be available soon.
translated by 谷歌翻译
特征回归是将大型神经网络模型蒸馏到较小的功能回归。我们表明，随着网络架构的简单变化，回归可能会优于自我监督模型的知识蒸馏更复杂的最先进方法。令人惊讶的是，即使仅在蒸馏过程中仅使用并且在下游任务中丢弃时，将多层的Perceptron头部添加到CNN骨架上是有益的。因此，更深的非线性投影可以使用在不改变推理架构和时间的情况下准确地模仿老师。此外，我们利用独立的投影头来同时蒸馏多个教师网络。我们还发现，使用与教师和学生网络的输入相同的弱增强图像辅助蒸馏。Imagenet DataSet上的实验证明了各种自我监督蒸馏环境中提出的变化的功效。
translated by 谷歌翻译
在本文中，我们向使用未标记的视频数据提出了用于视频变压器的自我监督培训。从给定的视频，我们创建了不同的空间尺寸和帧速率的本地和全球时空视图。我们的自我监督目标旨在匹配这些不同视图的特征，代表相同的视频，以不变于动作的时空变化。据我们所知，所提出的方法是第一个缓解对自我监督视频变压器（SVT）中的负样本或专用内存库的依赖。此外，由于变压器模型的灵活性，SVT使用动态调整的位置编码在单个架构内支持慢速视频处理，并支持沿着时空尺寸的长期关系建模。我们的方法在四个动作识别基准（动力学-400，UCF-101，HMDB-51和SSV2）上执行良好，并通过小批量尺寸更快地收敛。代码：https://git.io/j1juj.
translated by 谷歌翻译
监督的深度学习模型取决于大量标记的数据。不幸的是，收集和注释包含所需更改的零花态样本是耗时和劳动密集型的。从预训练模型中转移学习可有效减轻遥感（RS）变化检测（CD）中标签不足。我们探索在预训练期间使用语义信息的使用。不同于传统的监督预训练，该预训练从图像到标签，我们将语义监督纳入了自我监督的学习（SSL）框架中。通常，多个感兴趣的对象（例如，建筑物）以未经切割的RS图像分布在各个位置。我们没有通过全局池操纵图像级表示，而是在每个像素嵌入式上引入点级监督以学习空间敏感的特征，从而使下游密集的CD受益。为了实现这一目标，我们通过使用语义掩码在视图之间的重叠区域上通过类平衡的采样获得了多个点。我们学会了一个嵌入式空间，将背景和前景点分开，并将视图之间的空间对齐点齐聚在一起。我们的直觉是导致的语义歧视性表示与无关的变化不变（照明和无关紧要的土地覆盖）可能有助于改变识别。我们在RS社区中免费提供大规模的图像面罩，用于预训练。在三个CD数据集上进行的大量实验验证了我们方法的有效性。我们的表现明显优于Imagenet预训练，内域监督和几种SSL方法。经验结果表明我们的预训练提高了CD模型的概括和数据效率。值得注意的是，我们使用20％的培训数据获得了比基线（随机初始化）使用100％数据获得竞争结果。我们的代码可用。
translated by 谷歌翻译
自我监督方法的下游精度与在训练过程中解决的代理任务以及从中提取的梯度的质量紧密相关。更丰富，更有意义的梯度更新是允许自我监督的方法以更有效的方式学习的关键。在典型的自我验证框架中，两个增强图像的表示在全球层面是连贯的。尽管如此，将本地线索纳入代理任务可能是有益的，并提高了下游任务的模型准确性。这导致了一个双重目标，一方面，全球代表之间的连贯性是强大的，另一方面，在本地代表之间的一致性得到了强大的一致性。不幸的是，两组局部代表之间的确切对应映射并不存在，这使得将局部代表从一个增强到另一个不平凡的任务匹配。我们建议利用输入图像中的空间信息获得几何匹配，并根据基于相似性匹配的几何方法与以前的方法进行比较。我们的研究表明，不仅1）几何匹配的表现优于低数据表格中的基于相似性的匹配，而且还有2）与没有局部自我验证的香草基线相比，基于相似性的匹配在低数据方面受到了极大的伤害。该代码将在接受后发布。
translated by 谷歌翻译