自我监督的方法在计算机视野领域表现出巨大的成功，包括在遥感和医学成像中的应用。最流行的基于损坏的方法，例如SIMCLR，MOCO，MOCO-V2，通过在图像上应用人为的增强来创建正对并将其与负面示例进行对比，从而使用同一图像的多个视图。尽管这些技术运行良好，但大多数这些技术都在ImageNet（以及类似的计算机视觉数据集）上进行了调整。尽管有一些尝试捕获积极样本中更丰富的变形集，但在这项工作中，我们探索了一种有希望的替代方法，可以在对比度学习框架内为遥感数据生成积极的示例。可以将来自同一位置的不同传感器捕获的图像可以被认为是同一场景的强烈增强实例，从而消除了探索和调整一套手工制作的强大增强的需求。在本文中，我们提出了一个简单的双编码框架，该框架已在Sentinel-1和Sentinel-2图像对的大型未标记数据集（〜1m）上进行了预训练。我们测试了两个遥感下游任务的嵌入：洪水分割和土地覆盖映射，并从经验上表明，从该技术中学到的嵌入优于通过积极的数据增强来收集积极示例的传统技术。

我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

自我监督的学习（SSL）已成为几个领域分类和分割任务中的新最先进。其中，SSL中的一个流行类别是蒸馏网络，例如BYOL。这项工作提出了RSDNET，该RSDNET在遥感（RS）域中应用蒸馏网络（BYOL），其中数据与天然RGB图像无关。由于多光谱（MS）和合成孔径雷达（SAR）传感器提供各种光谱和空间分辨率信息，因此我们将它们用作隐式增强，以学习不变特征嵌入。为了通过SSL学习基于RS的不变功能，我们通过两种方式训练了RSDNET，即单频道功能学习和三个通道功能学习。与使用三个或更多频段的常见概念相比，这项工作探讨了从随机MS和SAR频段学习的单个通道特征学习的有用性。在我们的线性评估中，这些单个通道功能在EuroSat分类任务上达到了0.92 F1分数，对于某些单个频段，DFC分割任务上达到了59.6 MIOU。我们还将我们的结果与成像网的重量进行了比较，并表明基于RS的SSL模型的表现优于基于有监督的Imagenet模型。我们进一步探讨了多模式数据与单个模态数据相比的实用性，并且表明，使用MS和SAR数据比仅利用MS数据更好地学习不变表示。

大型视力模型的无监督预训练方法已显示出可以提高下游监督任务的性能。为卫星图像开发类似的技术带来了重要的机会，因为未标记的数据很丰富，并且固有的时间和多光谱结构提供了途径，以进一步改善现有的训练策略。在本文中，我们提出了Satmae，这是基于蒙面自动编码器（MAE）的时间或多光谱卫星图像的预训练框架。为了利用时间信息，我们包括一个时间嵌入以及跨时间独立掩盖图像贴片。此外，我们证明将多光谱数据编码为具有不同光谱位置编码的频段组是有益的。我们的方法在基准数据集（最高$ \ uparrow $ 7 \％）上的监督学习绩效方面都对先前最先前的技术产生了强大的改进，以及在下游遥感任务（包括土地）上的转移学习绩效封面分类（最多$ \ uparrow $ 14 \％）和语义细分。

自我监督的学习旨在学习图像特征表示，而无需使用手动注释的标签。它通常用作前体步骤，以获得有用的初始网络权重，这些权重有助于更快的收敛性和下游任务的卓越性能。虽然自我监督允许一个人在没有使用标签的情况下降低监督和无监督学习之间的领域差距，但自我监督目标仍然需要强烈的归纳偏见到下游任务，以便有效转移学习。在这项工作中，我们介绍了我们的材料和纹理的自我监督方法，命名为物质（材料和纹理表示学习），这是由古典材料和纹理方法的启发。材料和质地可以有效地描述任何表面，包括其触觉性质，颜色和镜面。通过延伸，材料和纹理的有效表示可以描述与所述材料和纹理密切相关的其他语义类。物质利用多时间，空间对齐的遥感图像，通过不变的区域来学习与实现材料和纹理表示的一致性的照明和视角的不变性。我们表明，我们的自我监督预训练方法可允许持续高估和微调的设置增加24.22％和6.33％，更快的收敛速度高达76％，更改检测，土地覆盖分类和语义细分任务。

半监督的学习技术由于其有效的建筑模型能力，即使有稀缺的标记数据可用，它们也在受欢迎程度。在本文中，我们提出了一个框架和特定任务，用于\ textit {multichannel}模型的自我监督预处理，例如多光谱和合成孔径雷达图像的融合。我们表明，拟议的自我监督方法非常有效地学习与土地覆盖分类标签相关的特征。这是通过预处理任务的明确设计来实现的，该任务促进了感应方式之间的差距和利用输入的光谱特征。在半监督的环境中，如果有限的标签可用，则使用拟议的自我监督预审议，然后使用SAR和多光谱数据进行监督的填充，以进行土地覆盖分类，以优于纯粹监督的学习，例如纯监督的学习，来自Imagenet和ImageNet和Imagenet和Imagenet和Imagenet和Imagenet和ImageNet培训的初始化其他最近的自我监督方法。

监督的深度学习模型取决于大量标记的数据。不幸的是，收集和注释包含所需更改的零花态样本是耗时和劳动密集型的。从预训练模型中转移学习可有效减轻遥感（RS）变化检测（CD）中标签不足。我们探索在预训练期间使用语义信息的使用。不同于传统的监督预训练，该预训练从图像到标签，我们将语义监督纳入了自我监督的学习（SSL）框架中。通常，多个感兴趣的对象（例如，建筑物）以未经切割的RS图像分布在各个位置。我们没有通过全局池操纵图像级表示，而是在每个像素嵌入式上引入点级监督以学习空间敏感的特征，从而使下游密集的CD受益。为了实现这一目标，我们通过使用语义掩码在视图之间的重叠区域上通过类平衡的采样获得了多个点。我们学会了一个嵌入式空间，将背景和前景点分开，并将视图之间的空间对齐点齐聚在一起。我们的直觉是导致的语义歧视性表示与无关的变化不变（照明和无关紧要的土地覆盖）可能有助于改变识别。我们在RS社区中免费提供大规模的图像面罩，用于预训练。在三个CD数据集上进行的大量实验验证了我们方法的有效性。我们的表现明显优于Imagenet预训练，内域监督和几种SSL方法。经验结果表明我们的预训练提高了CD模型的概括和数据效率。值得注意的是，我们使用20％的培训数据获得了比基线（随机初始化）使用100％数据获得竞争结果。我们的代码可用。

我们开发了一个基于深度学习的卷积回归模型，该模型估计了土壤顶部〜5 cm中的体积土壤水分含量。输入预测因子包括Sentinel-1（活动雷达），Sentinel-2（光学图像）和SMAP（被动雷达），以及来自GLDAS的土壤格林和建模土壤水分领域的地球物理变量。该模型在2015年至2021年期间对全球约1300个原位传感器的数据进行了训练和评估，并获得了0.727的平均每传感器相关性为0.727，UBRMSE为0.054，可用于在名义上生产土壤水分图。320m分辨率。这些结果是针对不同位置的其他13个土壤水分厂进行基准测试的，并使用消融研究来识别重要的预测因子。

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

We present a self-supervised Contrastive Video Representation Learning (CVRL) method to learn spatiotemporal visual representations from unlabeled videos. Our representations are learned using a contrastive loss, where two augmented clips from the same short video are pulled together in the embedding space, while clips from different videos are pushed away. We study what makes for good data augmentations for video self-supervised learning and find that both spatial and temporal information are crucial. We carefully design data augmentations involving spatial and temporal cues. Concretely, we propose a temporally consistent spatial augmentation method to impose strong spatial augmentations on each frame of the video while maintaining the temporal consistency across frames. We also propose a sampling-based temporal augmentation method to avoid overly enforcing invariance on clips that are distant in time. On Kinetics-600, a linear classifier trained on the representations learned by CVRL achieves 70.4% top-1 accuracy with a 3D-ResNet-50 (R3D-50) backbone, outperforming ImageNet supervised pre-training by 15.7% and SimCLR unsupervised pre-training by 18.8% using the same inflated R3D-50. The performance of CVRL can be further improved to 72.9% with a larger R3D-152 (2× filters) backbone, significantly closing the gap between unsupervised and supervised video representation learning. Our code and models will be available at https://github.com/tensorflow/models/tree/master/official/.

机器学习的最新进展表明，通过自我监督的学习获得的预训练表示形式可以通过小型培训数据实现高精度。与视觉和自然语言处理域不同，基于IMU的应用程序的预培训是具有挑战性的，因为只有少数公开可用的数据集具有足够的规模和多样性来学习可推广的表示。为了克服这个问题，我们提出了IMG2IMU，这是一种新颖的方法，可以适应从大规模图像到不同弹药的IMU感应任务的预训练表示。我们将传感器数据转换为可解释的频谱图，以便模型利用从视觉中获得的知识。此外，我们将对比度学习应用于我们旨在学习用于解释传感器数据的表示形式。我们对五个IMU感应任务的广泛评估表明，IMG2IMU始终优于基准，这说明视力知识可以纳入一些用于IMU感应任务的学习环境中。

我们介绍了一种对比视频表示方法，它使用课程学习在对比度培训中施加动态抽样策略。更具体地说，Concur以易于正面样本（在时间上和语义上相似的剪辑上）开始对比度训练，并且随着训练的进行，它会有效地提高时间跨度，从而有效地采样了硬质阳性（时间为时间和语义上不同）。为了学习更好的上下文感知表示形式，我们还提出了一个辅助任务，以预测积极剪辑之间的时间距离。我们对两个流行的动作识别数据集进行了广泛的实验，即UCF101和HMDB51，我们提出的方法在两项视频动作识别和视频检索的基准任务上实现了最新的性能。我们通过使用R（2+1）D和C3D编码器以及对Kinetics-400和Kinetics-200200数据集的R（2+1）D和C3D编码器以及预训练的影响来探讨编码器骨架和预训练策略的影响。此外，一项详细的消融研究显示了我们提出的方法的每个组成部分的有效性。

远程感知的地理空间数据对于包括精确农业，城市规划，灾害监测和反应以及气候变化研究等应用至关重要。对于在类似的计算机视觉任务中的深度神经网络的成功和可用的远程感测图像的纯粹体积的情况下，深入学习方法尤为前接受了许多遥感任务。然而，数据收集方法的方差和地理空间元数据的处理使得深度学习方法的应用成为远程感测的数据不动性。例如，卫星图像通常包括超出红色，绿色和蓝色的额外光谱频带，并且必须连接到可以具有不同坐标系，界限和分辨率的其他地理空间数据源。为了帮助实现遥感应用的深度学习的潜力，我们介绍了一个Pythono库的Torchgeo，用于将地理空间数据集成到Pytorch深度学习生态系统中。 Torchgeo为各种基准数据集，用于通用地理空间数据源的可组合数据集，用于地理空间数据的采样器以及使用多光谱图像的转换的数据加载器。 Torchgeo也是第一个为多光谱卫星图像提供预先训练的模型的库（例如，使用Sentinel 2卫星的所有频段的模型），允许在下游遥感任务上传输学习，其中包含有限的标记数据。我们使用Torchgeo在现有数据集上创建可重复的基准结果，并将我们的建议方法用于直通预处理地理空间图像。 Torchgeo是开源的，可在GitHub上提供：https://github.com/microsoft/torchgeo。

自欺欺人的学习（SSL）由于能够学习任务不足的表示而没有人类注释的能力，因此对遥感和地球观察引起了极大的兴趣。尽管大多数现有的SSL在遥感中起作用，利用Convnet骨架并专注于单个模态，但我们探索了视觉变压器（VIT）的潜在，用于关节SAR-OCTICATION学习。基于Dino，一种最先进的SSL算法，它从输入图像的两个增强视图中提取知识，我们通过将所有通道串联到统一输入来结合SAR和光学图像。随后，我们随机掩盖了一种模式作为数据增强策略的通道。在训练期间，该模型将被喂养仅光学，仅SAR-SAR-SAR-SAR-OFICATION图像对学习内部和模式内表示。使用BigeArthnet-MM数据集的实验结果证明了VIT骨架和拟议的多模式SSL算法Dino-MM的好处。

我们使用无卷积的变压器架构提出了一种从未标记数据学习多式式表示的框架。具体而言，我们的视频音频文本变压器（Vatt）将原始信号作为输入提取，提取丰富的多式化表示，以使各种下游任务受益。我们使用多模式对比损失从头划线训练Vatt端到端，并通过视频动作识别，音频事件分类，图像分类和文本到视频检索的下游任务评估其性能。此外，我们通过共享三种方式之间的重量来研究模型 - 无话的单骨架变压器。我们表明，无卷积VATT优于下游任务中的最先进的Convnet架构。特别是，Vatt的视觉变压器在动力学-400上实现82.1％的高精度82.1％，在动力学-600，72.7％的动力学-700上的72.7％，以及时间的时间，新的记录，在避免受监督的预训练时，新的记录。通过从头划伤训练相同的变压器，转移到图像分类导致图像分类导致78.7％的ImageNet精度为64.7％，尽管视频和图像之间的域间差距，我们的模型概括了我们的模型。 Vatt的音雅音频变压器还通过在没有任何监督的预训练的情况下在Audioset上实现39.4％的地图来设置基于波形的音频事件识别的新记录。 Vatt的源代码是公开的。

Arguably one of the top success stories of deep learning is transfer learning. The finding that pre-training a network on a rich source set (e.g., ImageNet) can help boost performance once fine-tuned on a usually much smaller target set, has been instrumental to many applications in language and vision. Yet, very little is known about its usefulness in 3D point cloud understanding. We see this as an opportunity considering the effort required for annotating data in 3D. In this work, we aim at facilitating research on 3D representation learning. Different from previous works, we focus on high-level scene understanding tasks. To this end, we select a suite of diverse datasets and tasks to measure the effect of unsupervised pre-training on a large source set of 3D scenes. Our findings are extremely encouraging: using a unified triplet of architecture, source dataset, and contrastive loss for pre-training, we achieve improvement over recent best results in segmentation and detection across 6 different benchmarks for indoor and outdoor, real and synthetic datasets -demonstrating that the learned representation can generalize across domains. Furthermore, the improvement was similar to supervised pre-training, suggesting that future efforts should favor scaling data collection over more detailed annotation. We hope these findings will encourage more research on unsupervised pretext task design for 3D deep learning. Our code is publicly available at https://github.com/facebookresearch/PointContrast

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

Remote sensing images are useful for a wide variety of environmental and earth monitoring tasks, including tracking deforestation, illegal fishing, urban expansion, and natural disasters. The earth is extremely diverse -- the amount of potential tasks in remote sensing images is massive, and the sizes of features range from several kilometers to just tens of centimeters. However, creating generalizable computer vision methods is a challenge in part due to the lack of a large-scale dataset that captures these diverse features for many tasks. In this paper, we present Satlas, a remote sensing dataset and benchmark that is large in both breadth, featuring all of the aforementioned applications and more, as well as scale, comprising 290M labels under 137 categories and seven label modalities. We evaluate eight baselines and a proposed method on Satlas, and find that there is substantial room for improvement in addressing research challenges specific to remote sensing, including processing image time series that consist of images from very different types of sensors, and taking advantage of long-range spatial context. We also find that pre-training on Satlas substantially improves performance on downstream tasks with few labeled examples, increasing average accuracy by 16% over ImageNet and 5% over the next best baseline.

对比自我监督的学习已经超越了许多下游任务的监督预测，如分割和物体检测。但是，当前的方法仍然主要应用于像想象成的策划数据集。在本文中，我们首先研究数据集中的偏差如何影响现有方法。我们的研究结果表明，目前的对比方法令人惊讶地工作：（i）对象与场景为中心，（ii）统一与长尾和（iii）一般与域特定的数据集。其次，鉴于这种方法的一般性，我们尝试通过微小的修改来实现进一步的收益。我们展示了学习额外的修正 - 通过使用多尺度裁剪，更强的增强和最近的邻居 - 改善了表示。最后，我们观察Moco在用多作物策略训练时学习空间结构化表示。表示可以用于语义段检索和视频实例分段，而不会FineTuning。此外，结果与专门模型相提并论。我们希望这项工作将成为其他研究人员的有用研究。代码和模型可在https://github.com/wvanganebleke/revisiting-contrastive-ssl上获得。