Remote sensing imagery provides comprehensive views of the Earth, where different sensors collect complementary data at different spatial scales. Large, pretrained models are commonly finetuned with imagery that is heavily augmented to mimic different conditions and scales, with the resulting models used for various tasks with imagery from a range of spatial scales. Such models overlook scale-specific information in the data. In this paper, we present Scale-MAE, a pretraining method that explicitly learns relationships between data at different, known scales throughout the pretraining process. Scale-MAE pretrains a network by masking an input image at a known input scale, where the area of the Earth covered by the image determines the scale of the ViT positional encoding, not the image resolution. Scale-MAE encodes the masked image with a standard ViT backbone, and then decodes the masked image through a bandpass filter to reconstruct low/high frequency images at lower/higher scales. We find that tasking the network with reconstructing both low/high frequency images leads to robust multiscale representations for remote sensing imagery. Scale-MAE achieves an average of a $5.0\%$ non-parametric kNN classification improvement across eight remote sensing datasets compared to current state-of-the-art and obtains a $0.9$ mIoU to $3.8$ mIoU improvement on the SpaceNet building segmentation transfer task for a range of evaluation scales.

大型视力模型的无监督预训练方法已显示出可以提高下游监督任务的性能。为卫星图像开发类似的技术带来了重要的机会，因为未标记的数据很丰富，并且固有的时间和多光谱结构提供了途径，以进一步改善现有的训练策略。在本文中，我们提出了Satmae，这是基于蒙面自动编码器（MAE）的时间或多光谱卫星图像的预训练框架。为了利用时间信息，我们包括一个时间嵌入以及跨时间独立掩盖图像贴片。此外，我们证明将多光谱数据编码为具有不同光谱位置编码的频段组是有益的。我们的方法在基准数据集（最高$ \ uparrow $ 7 \％）上的监督学习绩效方面都对先前最先前的技术产生了强大的改进，以及在下游遥感任务（包括土地）上的转移学习绩效封面分类（最多$ \ uparrow $ 14 \％）和语义细分。

在过去的十年中，基于深度学习的算法在遥感图像分析的不同领域中广泛流行。最近，最初在自然语言处理中引入的基于变形金刚的体系结构遍布计算机视觉领域，在该字段中，自我发挥的机制已被用作替代流行的卷积操作员来捕获长期依赖性。受到计算机视觉的最新进展的启发，遥感社区还见证了对各种任务的视觉变压器的探索。尽管许多调查都集中在计算机视觉中的变压器上，但据我们所知，我们是第一个对基于遥感中变压器的最新进展进行系统评价的人。我们的调查涵盖了60多种基于变形金刚的60多种方法，用于遥感子方面的不同遥感问题：非常高分辨率（VHR），高光谱（HSI）和合成孔径雷达（SAR）图像。我们通过讨论遥感中变压器的不同挑战和开放问题来结束调查。此外，我们打算在遥感论文中频繁更新和维护最新的变压器，及其各自的代码：https：//github.com/virobo-15/transformer-in-in-remote-sensing

对计算机视觉的自我监督学习取得了巨大的进步，并改善了许多下游视觉任务，例如图像分类，语义细分和对象检测。其中，诸如MAE和Beit之类的生成性自我监督的视力学习方法显示出令人鼓舞的表现。但是，它们的全球掩盖重建机制在计算上是要求的。为了解决这个问题，我们提出了本地蒙版重建（LOMAR），这是一种简单而有效的方法，在一个简单的变压器编码器上的7 $ \ times $ 7补丁中执行蒙版重建，从而提高了效率和准确性之间的权衡。在整个图像上全局掩盖重建。广泛的实验表明，Lomar在Imagenet-1K分类方面达到了84.1％的TOP-1准确性，优于MAE的MAE比0.5％。在以384 $ \ times $ 384的图像为审计的LOMAR进行了预审经后，它可以达到85.4％的TOP-1准确性，超过MAE的0.6％。在MS Coco上，Lomar在0.5 $ \ text {ap}^\ text {box} $上以0.5 $ \ text {ap}^\ text {box} $的优势在对象检测上和0.5 $ \ text {ap}^\ text^\ text {bask} $上的实例段上。 Lomar在预处理的高分辨率图像上特别有效，例如，它比MAE快3.1 $ \ times $，分类准确性为448 $ \ times $ 448 $ 448。这种本地掩盖的重建学习机制可以轻松地集成到任何其他生成的自我监督学习方法中。我们的代码可在https://github.com/junchen14/lomar中公开获得。

Though semantic segmentation has been heavily explored in vision literature, unique challenges remain in the remote sensing domain. One such challenge is how to handle resolution mismatch between overhead imagery and ground-truth label sources, due to differences in ground sample distance. To illustrate this problem, we introduce a new dataset and use it to showcase weaknesses inherent in existing strategies that naively upsample the target label to match the image resolution. Instead, we present a method that is supervised using low-resolution labels (without upsampling), but takes advantage of an exemplar set of high-resolution labels to guide the learning process. Our method incorporates region aggregation, adversarial learning, and self-supervised pretraining to generate fine-grained predictions, without requiring high-resolution annotations. Extensive experiments demonstrate the real-world applicability of our approach.

在过去的几年中，基于自我注意力的变压器模型一直在主导许多计算机视觉任务。它们的出色模型质量在很大程度上取决于标记过多的图像数据集。为了减少对大型标记数据集的依赖，基于重建的掩盖自动编码器正在获得流行，这些自动编码器从未标记的图像中学习了高质量的可转移表示形式。出于同样的目的，最近弱监督的图像预处理方法探索了图像随附的文本字幕的语言监督。在这项工作中，我们提出了对语言辅助代表的预读图像，称为米兰。我们的预处理目标不是预测原始像素或低级别的特征，而是用使用字幕监督获得的大量语义信号来重建图像特征。此外，为了适应我们的重建目标，我们提出了更有效的促使解码器体系结构和语义意识到的掩码采样机制，从而进一步推进了预告片模型的传输性能。实验结果表明，米兰的精度比以前的工作更高。当掩盖的自动编码器在ImagEnet-1K数据集上进行了预估计并以224x224的输入分辨率进行了填充时，米兰在VITB/16上的前1位准确性达到了85.4％，使以前的先前最先前的艺术品达到1％。在下游的语义分割任务中，米兰在ADE20K数据集上使用VIT-B/16骨架达到52.7 MIOU，表现优于先前的蒙版预读结果4分。

尽管应用于自然图像的大量成功的超分辨率重建（SRR）模型，但它们在遥感图像中的应用往往会产生差的结果。遥感图像通常比自然图像更复杂，并且具有较低分辨率的特殊性，它包含噪音，并且通常描绘了大质感表面。结果，将非专业的SRR模型应用于遥感图像，从而导致人工制品和不良的重建。为了解决这些问题，本文提出了一种受到先前研究工作启发的体系结构，引入了一种新的方法来迫使SRR模型输出现实的遥感图像：而不是依靠功能空间相似性作为感知损失，而是将其视为Pixel-从图像的归一化数字表面模型（NDSM）推断出的级别信息。该策略允许在训练模型期间应用更具信息的更新，该模型从任务（高程图推理）源中源，该模型与遥感密切相关。但是，在生产过程中不需要NDSM辅助信息，因此该模型除了其低分辨率对以外没有任何其他数据，因此该模型还没有任何其他数据。我们在两个远程感知的不同空间分辨率的数据集上评估了我们的模型，这些数据集也包含图像的DSM对：DFC2018数据集和包含卢森堡国家激光雷达飞行的数据集。根据视觉检查，推断的超分辨率图像表现出特别优越的质量。特别是，高分辨率DFC2018数据集的结果是现实的，几乎与地面真相图像没有区别。

高分辨率遥感图像用于广泛的任务，包括对象的检测和分类。然而，高分辨率图像昂贵，而较低的分辨率图像通常是可自由的可用的，并且可以由公众用于社会良好应用范围。为此，我们使用从Spacenet 7挑战的PlanetsCope图像策划多个频谱多图像超分辨率数据集作为高分辨率参考和与低分辨率图像相同的图像的多个Sentinel-2重新定位。我们介绍了将多图像超分辨率（MISR）应用于多光谱遥感图像的第一个结果。此外，我们还将辐射级一致性模块引入MISR模型，以保持哨声-2传感器的高辐射分辨率。我们表明MISR优于一系列图像保真度指标的单图像超分辨率和其他基线。此外，我们对建筑描绘的多图像超分辨率的效用进行了第一次评估，显示利用多个图像导致这些下游任务中的更好的性能。

本文显示屏蔽的自动化器（MAE）是可扩展的自我监督学习者，用于计算机愿景。我们的MAE方法很简单：我们掩盖输入图像的随机补丁并重建缺失像素。它基于两个核心设计。首先，我们开发一个不对称的编码器解码器架构，其中编码器仅在掩码的可见子集（没有掩码令牌）上，以及重量解码器，该重量解码器从潜像和掩码令牌重建原始图像。其次，我们发现掩蔽了高比例的输入图像，例如，75％，产生非凡和有意义的自我监督任务。耦合这两种设计使我们能够有效且有效地培训大型模型：我们加速培训（3倍或更多）并提高准确性。我们可扩展的方法允许学习概括的高容量模型：例如，Vanilla Vit-Maxim模型在使用Imagenet-1K数据的方法中实现最佳准确性（87.8％）。下游任务中的转移性能优于监督预培训并显示有前途的缩放行为。

大型视觉基础模型在自然图像上的视觉任务上取得了重大进展，在这种情况下，视觉变压器是其良好可扩展性和表示能力的主要选择。但是，在现有模型仍处于小规模的情况下，遥感社区（RS）社区中大型模型的利用仍然不足，从而限制了性能。在本文中，我们使用约1亿个参数求助于普通视觉变压器，并首次尝试提出针对RS任务定制的大型视觉模型，并探索如此大型模型的性能。具体而言，要处理RS图像中各种取向的较大图像大小和对象，我们提出了一个新的旋转型尺寸的窗户注意力，以替代变形金刚中的原始关注，这可以大大降低计算成本和内存足迹，同时学习更好的对象通过从生成的不同窗口中提取丰富上下文来表示。关于检测任务的实验证明了我们模型的优越性，超过了所有最新模型，在DOTA-V1.0数据集上实现了81.16 \％地图。与现有的高级方法相比，我们在下游分类和细分任务上的模型结果也证明了竞争性能。进一步的实验显示了我们模型对计算复杂性和几乎没有学习的优势。代码和模型将在https://github.com/vitae-transformer/remote-sensing-rvsa上发布

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

在这项研究中，我们提出了混合图像建模（MixMim），这是一种适用于各种分层视觉变压器的简单但有效的MIM方法。现有的MIM方法用特殊的掩码符号替换输入令牌的随机子集，并旨在从损坏的图像中重建原始图像令牌。但是，我们发现，由于较大的掩蔽率（例如，Beit中的40％），使用蒙版符号会大大减慢训练并引起训练 - 不一致的不一致。相比之下，我们用另一个图像的可见令牌（即创建混合图像）代替一个图像的蒙版令牌。然后，我们进行双重重建以从混合输入中重建原始的两个图像，从而显着提高效率。虽然MixMim可以应用于各种体系结构，但本文探讨了更简单但更强的层次变压器，并使用MixMim -B，-L和-H缩放。经验结果表明，混合mim可以有效地学习高质量的视觉表示。值得注意的是，具有88M参数的MixMIM-B通过预处理600个时期的Imagenet-1k上的TOP-1精度达到了85.1％的TOP-1精度，在MIM方法中为具有可比模型尺寸（例如VIT-B）的神经网络创造了新的记录。此外，其在其他6个数据集上的传输性能显示MixMim比以前的MIM方法更好。代码可从https://github.com/sense-x/mixmim获得。

由于具有强大的代表性，变形金刚在包括自然语言处理（NLP），计算机视觉和语音识别在内的广泛应用中越来越受欢迎。但是，利用这种代表性的能力有效地需要大量的数据，强大的正则化或两者兼而有之以减轻过度拟合。最近，基于掩盖的自动编码器的自我监督预处理策略已解锁了变压器的功能，这些策略依赖于直接或从未掩盖的内容对比的掩蔽输入进行重建。这种预训练的策略已在NLP中的BERT模型，Speak2VEC模型中使用，最近在Vision中的MAE模型中，该模型迫使该模型使用自动编码相关的目标来了解输入不同部分中的内容之间的关系。在本文中，我们提出了一种小说但令人惊讶的简单替代内容，以预测内容的位置，而无需为其提供位置信息。这样做需要变压器仅凭内容就可以理解输入不同部分之间的位置关系。这相当于有效的实现，其中借口任务是每个输入令牌所有可能位置之间的分类问题。我们在视觉和语音基准上进行了实验，我们的方法对强有力的监督训练基准进行了改进，并且与现代的无监督/自我监督预审方法相媲美。我们的方法还可以使经过训练的变压器在没有位置嵌入的情况下胜过训练有完整位置信息的训练的变压器。

蒙面自动编码在图像和语言领域的自我监督学习方面取得了巨大的成功。但是，基于面具的预处理尚未显示出对点云理解的好处，这可能是由于PointNet（PointNet）无法正确处理训练的标准骨架，而不是通过训练期间掩盖引入的测试分配不匹配。在本文中，我们通过提出一个判别性掩码式变压器框架，maskPoint}来弥合这一差距。我们的关键想法是将点云表示为离散的占用值（1如果点云的一部分；如果不是的，则为0），并在蒙版对象点和采样噪声点之间执行简单的二进制分类作为代理任务。这样，我们的方法是对点云中的点采样差异的强大，并促进了学习丰富的表示。我们在几个下游任务中评估了验证的模型，包括3D形状分类，分割和现实词对象检测，并展示了最新的结果，同时获得了明显的预读速度（例如，扫描仪上的4.1倍）先前的最新变压器基线。代码可在https://github.com/haotian-liu/maskpoint上找到。

我们提出了引导蒙面的自动编码器（bootmae），这是一种新的视觉BERT预训练方法。 Bootmae用两个核心设计改进了原始的蒙版自动编码器（MAE）：1）动量编码器，该动量编码器可作为额外的BERT预测目标提供在线功能； 2）试图降低编码器的压力以记住目标特定信息的靶向解码器。第一个设计的动机是通过观察到的，即使用预定的MAE提取特征，因为掩盖令牌的BERT预测目标可以实现更好的预训练性能。因此，我们与原始的MAE编码器并行添加了一个动量编码器，该编码器通过将其自己的表示作为BERT预测目标来引导预处理性能。在第二个设计中，我们将特定于目标的信息（例如，未掩盖贴片的像素值）直接传达到解码器中，以减少记住目标特定信息的编码器的压力。因此，编码器专注于语义建模，这是BERT预训练的目的，并且不需要浪费其在记住与预测目标相关的未掩盖令牌的信息时的能力。通过广泛的实验，我们的Bootmae在ImageNet-1k上获得了$ 84.2 \％$ $ $ $+0.8 \％$在同一预训练时期。 Bootmae还获得了$+1.0 $ MIOU在ADE20K上的语义细分和$+1.3 $ box ap，$+1.4 $+1.4 $ bask ap改进对象检测和可可数据集上的细分。代码在https://github.com/lightdxy/bootmae上发布。

半监督的学习技术由于其有效的建筑模型能力，即使有稀缺的标记数据可用，它们也在受欢迎程度。在本文中，我们提出了一个框架和特定任务，用于\ textit {multichannel}模型的自我监督预处理，例如多光谱和合成孔径雷达图像的融合。我们表明，拟议的自我监督方法非常有效地学习与土地覆盖分类标签相关的特征。这是通过预处理任务的明确设计来实现的，该任务促进了感应方式之间的差距和利用输入的光谱特征。在半监督的环境中，如果有限的标签可用，则使用拟议的自我监督预审议，然后使用SAR和多光谱数据进行监督的填充，以进行土地覆盖分类，以优于纯粹监督的学习，例如纯监督的学习，来自Imagenet和ImageNet和Imagenet和Imagenet和Imagenet和Imagenet和ImageNet培训的初始化其他最近的自我监督方法。

General perception systems such as Perceivers can process arbitrary modalities in any combination and are able to handle up to a few hundred thousand inputs. They achieve this generality by using exclusively global attention operations. This however hinders them from scaling up to the inputs sizes required to process raw high-resolution images or video. In this paper, we show that some degree of locality can be introduced back into these models, greatly improving their efficiency while preserving their generality. To scale them further, we introduce a self-supervised approach that enables learning dense low-dimensional positional embeddings for very large signals. We call the resulting model a Hierarchical Perceiver (HiP). In sum our contributions are: 1) scaling Perceiver-type models to raw high-resolution images and audio+video, 2) showing the feasibility of learning 1M+ positional embeddings from scratch using masked auto-encoding, 3) demonstrating competitive performance on raw data from ImageNet, AudioSet, PASCAL VOC, ModelNet40 and Kinetics datasets with the same exact, unchanged model and without specialized preprocessing or any tokenization.

Convolutional neural networks have recently demonstrated high-quality reconstruction for single-image superresolution. In this paper, we propose the Laplacian Pyramid Super-Resolution Network (LapSRN) to progressively reconstruct the sub-band residuals of high-resolution images. At each pyramid level, our model takes coarse-resolution feature maps as input, predicts the high-frequency residuals, and uses transposed convolutions for upsampling to the finer level. Our method does not require the bicubic interpolation as the pre-processing step and thus dramatically reduces the computational complexity. We train the proposed LapSRN with deep supervision using a robust Charbonnier loss function and achieve high-quality reconstruction. Furthermore, our network generates multi-scale predictions in one feed-forward pass through the progressive reconstruction, thereby facilitates resource-aware applications. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of speed and accuracy.

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

我们提出蒙版频率建模（MFM），这是一种基于统一的基于频域的方法，用于自我监督的视觉模型预训练。在本文中，我们将视角转移到了频域中，而不是将蒙版令牌随机插入到空间域中的输入嵌入。具体而言，MFM首先掩盖了输入图像的一部分频率分量，然后预测频谱上的缺失频率。我们的关键见解是，由于沉重的空间冗余，预测频域中的屏蔽组件更理想地揭示了基础图像模式，而不是预测空间域中的掩盖斑块。我们的发现表明，通过对蒙版和预测策略的正确配置，高频组件中的结构信息和低频对应物中的低级统计信息都有用。 MFM首次证明，对于VIT和CNN，即使没有使用以下内容，简单的非叙事框架也可以学习有意义的表示形式：（i）额外的数据，（ii）额外的模型，（iii）蒙版令牌。与最近的蒙版图像建模方法相比，对成像网和几个鲁棒性基准的实验结果表明，MFM的竞争性能和高级鲁棒性。此外，我们还全面研究了从统一的频率角度来表示经典图像恢复任务对表示学习的有效性，并揭示了他们与MFM方法的有趣关系。项目页面：https：//www.mmlab-ntu.com/project/mfm/index.html。