自我监督的学习是一个强大的范例，用于在未标记的图像上学习。基于实例匹配的大量有效的新方法依赖于数据增强来推动学习，这些方法达成了优化流行识别基准的增强方案的粗略协议。但是，有强有力的理由可疑计算机视觉中的不同任务需要对不同（IN）差异进行编码的功能，因此可能需要不同的增强策略。在本文中，我们衡量了对比方法学到的修正学知识，并确认他们确实学会了与使用的增强的不变性，进一步表明，这一不变性大大转移到与姿势和照明的相关真实变化的变化很大程度上转移。我们展示了学习的InorRARCES强烈影响下游任务性能，并确认不同的下游任务从极性相反（IN）差异中受益，导致使用标准增强策略时的性能损失。最后，我们证明，具有互补的修正条件的表现简单融合可确保对所考虑的所有不同下游任务进行广泛的可转换性。

Self-supervised visual representation learning has seen huge progress recently, but no large scale evaluation has compared the many models now available. We evaluate the transfer performance of 13 top self-supervised models on 40 downstream tasks, including many-shot and few-shot recognition, object detection, and dense prediction. We compare their performance to a supervised baseline and show that on most tasks the best self-supervised models outperform supervision, confirming the recently observed trend in the literature. We find ImageNet Top-1 accuracy to be highly correlated with transfer to many-shot recognition, but increasingly less so for few-shot, object detection and dense prediction. No single self-supervised method dominates overall, suggesting that universal pre-training is still unsolved. Our analysis of features suggests that top self-supervised learners fail to preserve colour information as well as supervised alternatives, but tend to induce better classifier calibration, and less attentive overfitting than supervised learners.

为了在看不见的看不见和潜在的超出分布样品上，希望机器学习模型具有关于影响输入变化因子的变换的可预测响应。在这里，我们研究了几种类型的归纳偏见对这种可预测行为的相对重要性：数据的选择，他们的增强和模型架构。通过手工工程数据增强通常实现不变性，但是进行标准数据增强地址转换，用于解释实际数据的变化？虽然事先工作专注于合成数据，但我们在此尝试表征真实数据集，想象成的变化因素，并研究标准残余网络的不变性以及最近提出的视觉变压器关于这些因素的变化。我们展示了标准的增强依赖于平移和规模的精确组合，在翻译回顾大部分性能改进 - 尽管在卷积架构（如剩余网络）中建立的（近似）翻译不变性。事实上，我们发现规模和翻译不变性在剩余网络和视觉变压器模型中类似于它们显着不同的架构感应偏差。我们显示培训数据本身是不变性的主要来源，数据增强只会进一步增加所学到的InorRARCE。值得注意的是，在训练期间学习的修正因与我们发现的想象成分对齐。最后，我们发现想象成的变化的主要因素主要与外观有关，并且特定于每个班级。

在给定的学习任务中提供不向导会传达出一个关键的归纳偏见，如果正确指定，可以导致样本效率学习和良好的概括。但是，对于许多感兴趣的问题来说，理想的不变性通常是未知的，这既导致了工程知识，又试图为不变性学习提供框架。但是，不变性学习是昂贵的，并且对于流行的神经体系结构而言是密集的。我们介绍了摊销不变性学习的概念。在前期学习阶段，我们学习了跨越不变性的特征提取器的低维流形，该曲线跨越了不变性，可以使用超网络进行不同的转换。然后，对于任何感兴趣的问题，模型和不变性学习都可以通过拟合低维不变性描述符和输出头的速度快速有效。从经验上讲，该框架可以在不同的下游任务中识别适当的不向导，并与常规方法相比，导致可比或更好的测试性能。我们的Hyper Invariance框架在理论上也很吸引人，因为它可以实现概括性结合，从而在模型拟合和复杂性之间的权衡中提供了一个有趣的新工作点。

跨图像建立视觉对应是一项具有挑战性且必不可少的任务。最近，已经提出了大量的自我监督方法，以更好地学习视觉对应的表示。但是，我们发现这些方法通常无法利用语义信息，并且在低级功能的匹配方面过度融合。相反，人类的视觉能够将不同的物体区分为跟踪的借口。受此范式的启发，我们建议学习语义意识的细粒对应关系。首先，我们证明语义对应是通过一组丰富的图像级别自我监督方法隐式获得的。我们进一步设计了一个像素级的自我监督学习目标，该目标专门针对细粒的对应关系。对于下游任务，我们将这两种互补的对应表示形式融合在一起，表明它们是协同增强性能的。我们的方法超过了先前的最先进的自我监督方法，使用卷积网络在各种视觉通信任务上，包括视频对象分割，人姿势跟踪和人类部分跟踪。

The goal of self-supervised learning from images is to construct image representations that are semantically meaningful via pretext tasks that do not require semantic annotations. Many pretext tasks lead to representations that are covariant with image transformations. We argue that, instead, semantic representations ought to be invariant under such transformations. Specifically, we develop Pretext-Invariant Representation Learning (PIRL, pronounced as "pearl") that learns invariant representations based on pretext tasks. We use PIRL with a commonly used pretext task that involves solving jigsaw puzzles. We find that PIRL substantially improves the semantic quality of the learned image representations. Our approach sets a new stateof-the-art in self-supervised learning from images on several popular benchmarks for self-supervised learning. Despite being unsupervised, PIRL outperforms supervised pre-training in learning image representations for object detection. Altogether, our results demonstrate the potential of self-supervised representations with good invariance properties.

对图像分类任务的对比学习成功的鼓励，我们为3D手姿势估计的结构化回归任务提出了一种新的自我监督方法。对比学习利用未标记的数据来通过损失制定来使用未标记的数据，以鼓励学习的特征表示在任何图像转换下都是不变的。对于3D手姿势估计，它也希望具有不变性地与诸如颜色抖动的外观变换。但是，该任务需要在仿射和转换之类的转换下的标准性。为了解决这个问题，我们提出了一种对比的对比目标，并在3D手姿势估计的背景下展示其有效性。我们通过实验研究了不变性和对比的对比目标的影响，并表明学习的等待特征导致3D手姿势估计的任务的更好表示。此外，我们显示具有足够深度的标准Evenet，在额外的未标记数据上培训，在弗雷手中获得高达14.5％的提高，因此在没有任何任务的专用架构的情况下实现最先进的性能。 https://ait.ethz.ch/projects/2021/peclr/使用代码和模型

最近无监督的表示学习方法已经通过学习表示不变的数据增强，例如随机裁剪和彩色抖动等数据增强来生效。然而，如果依赖于数据增强的特征，例如，位置或色敏，则这种不变性可能对下游任务有害。这不是一个不监督学习的问题;我们发现即使在监督学习中也会发生这种情况，因为它还学会预测实例所有增强样本的相同标签。为避免此类失败并获得更广泛的表示，我们建议优化辅助自我监督损失，创建的AGESELF，了解两个随机增强样本之间的增强参数（例如，裁剪位置，颜色调整强度）的差异。我们的直觉是，Augelf鼓励在学习的陈述中保留增强信息，这可能有利于其可转让性。此外，Augself可以很容易地纳入最近的最先进的表示学习方法，其额外的培训成本可忽略不计。广泛的实验表明，我们的简单想法一直在各种转移学习情景中始终如一地提高了由监督和无监督方法所学到的表示的可转移性。代码可在https://github.com/hankook/augsfir。

Multiview self-supervised representation learning roots in exploring semantic consistency across data of complex intra-class variation. Such variation is not directly accessible and therefore simulated by data augmentations. However, commonly adopted augmentations are handcrafted and limited to simple geometrical and color changes, which are unable to cover the abundant intra-class variation. In this paper, we propose to extract the underlying data variation from datasets and construct a novel augmentation operator, named local manifold augmentation (LMA). LMA is achieved by training an instance-conditioned generator to fit the distribution on the local manifold of data and sampling multiview data using it. LMA shows the ability to create an infinite number of data views, preserve semantics, and simulate complicated variations in object pose, viewpoint, lighting condition, background etc. Experiments show that with LMA integrated, self-supervised learning methods such as MoCov2 and SimSiam gain consistent improvement on prevalent benchmarks including CIFAR10, CIFAR100, STL10, ImageNet100, and ImageNet. Furthermore, LMA leads to representations that obtain more significant invariance to the viewpoint, object pose, and illumination changes and stronger robustness to various real distribution shifts reflected by ImageNet-V2, ImageNet-R, ImageNet Sketch etc.

由于监督模型无法学习可以在具有有限标签的域中概括的域名，因此自我监督学习（SSL）已成为计算机视觉中的理想范式。 SSL的最新流行导致了几种模型的开发，这些模型利用了不同的培训策略，架构和数据扩展政策，而没有现有的统一框架来研究或评估其在转移学习中的有效性。我们提出了一个数据驱动的几何策略，可以使用每个局部诱导的特征空间中的局部邻域分析不同的SSL模型。与考虑参数，单个组件或优化领域的数学近似的现有方法不同，我们的工作旨在探索SSL模型所学的表示歧管的几何特性。我们提出的歧管图指标（MGM）提供了有关可用SSL模型之间的几何相似性和差异的见解，它们在特定的增强方面的不变以及它们在转移学习任务方面的表现。我们的关键发现是两个方面：（i）与普遍的看法相反，SSL模型的几何形状与其训练范式（对比度，无对比性和基于群集）无关； （ii）我们可以根据其语义和增强歧管的几何特性来预测特定模型的传输学习能力。

监督的深度学习模型取决于大量标记的数据。不幸的是，收集和注释包含所需更改的零花态样本是耗时和劳动密集型的。从预训练模型中转移学习可有效减轻遥感（RS）变化检测（CD）中标签不足。我们探索在预训练期间使用语义信息的使用。不同于传统的监督预训练，该预训练从图像到标签，我们将语义监督纳入了自我监督的学习（SSL）框架中。通常，多个感兴趣的对象（例如，建筑物）以未经切割的RS图像分布在各个位置。我们没有通过全局池操纵图像级表示，而是在每个像素嵌入式上引入点级监督以学习空间敏感的特征，从而使下游密集的CD受益。为了实现这一目标，我们通过使用语义掩码在视图之间的重叠区域上通过类平衡的采样获得了多个点。我们学会了一个嵌入式空间，将背景和前景点分开，并将视图之间的空间对齐点齐聚在一起。我们的直觉是导致的语义歧视性表示与无关的变化不变（照明和无关紧要的土地覆盖）可能有助于改变识别。我们在RS社区中免费提供大规模的图像面罩，用于预训练。在三个CD数据集上进行的大量实验验证了我们方法的有效性。我们的表现明显优于Imagenet预训练，内域监督和几种SSL方法。经验结果表明我们的预训练提高了CD模型的概括和数据效率。值得注意的是，我们使用20％的培训数据获得了比基线（随机初始化）使用100％数据获得竞争结果。我们的代码可用。

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

在过去几年中，无监督的学习取得了很大的进展，特别是通过对比的自我监督学习。用于基准测试自我监督学习的主导数据集已经想象，最近的方法正在接近通过完全监督培训实现的性能。然而，ImageNet DataSet在很大程度上是以对象为中心的，并且目前尚不清楚这些方法的广泛不同的数据集和任务，这些方法是非以对象为中心的，例如数字病理学。虽然自我监督的学习已经开始在这个领域探讨了令人鼓舞的结果，但有理由看起来更接近这个环境与自然图像和想象成的不同。在本文中，我们对组织病理学进行了对比学学习的深入分析，引脚指向对比物镜的表现如何不同，由于组织病理学数据的特征。我们提出了一些考虑因素，例如对比目标和超参数调整的观点。在大量的实验中，我们分析了组织分类的下游性能如何受到这些考虑因素的影响。结果指出了对比学习如何减少数字病理中的注释工作，但需要考虑特定的数据集特征。为了充分利用对比学习目标，需要不同的视野和超参数校准。我们的结果为实现组织病理学应用的自我监督学习的全部潜力铺平了道路。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

机器学习的最新进展表明，通过自我监督的学习获得的预训练表示形式可以通过小型培训数据实现高精度。与视觉和自然语言处理域不同，基于IMU的应用程序的预培训是具有挑战性的，因为只有少数公开可用的数据集具有足够的规模和多样性来学习可推广的表示。为了克服这个问题，我们提出了IMG2IMU，这是一种新颖的方法，可以适应从大规模图像到不同弹药的IMU感应任务的预训练表示。我们将传感器数据转换为可解释的频谱图，以便模型利用从视觉中获得的知识。此外，我们将对比度学习应用于我们旨在学习用于解释传感器数据的表示形式。我们对五个IMU感应任务的广泛评估表明，IMG2IMU始终优于基准，这说明视力知识可以纳入一些用于IMU感应任务的学习环境中。

尽管视频自我监督的学习模型最近取得了成功，但关于它们的概括能力仍然有很多了解。在本文中，我们研究了敏感的视频自我监督学习对当前常规基准的方式以及方法是否超出规范评估设置的概括。我们在敏感性的四个不同因素上做到这一点：域，样本，动作和任务。我们的研究包括7个视频数据集，9种自学方法和6种视频理解任务的500多个实验，揭示了视频自我监督学习中的当前基准测试不是沿这些敏感性因素的概括指标。此外，我们发现自我监督的方法在香草的监督前训练后落后，尤其是当域移动较大并且可用下游样品的量很低时。从我们的分析中，我们将严重的基准测试（实验的一个子集）提炼出来，并讨论其对评估现有和未来自我监督视频学习方法获得的表示的普遍性的意义。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。

视觉异常检测通常用于工业质量检查。在本文中，我们提出了一个新的数据集以及一种新的自我监督学习方法，用于ImageNet预训练，以改善1级和2级和2级5/10/高光训练设置的异常检测和细分。我们释放视觉异常（Visa）数据集，该数据集由10,821个高分辨率颜色图像（9,621个正常和1200个异常样品）组成，涵盖了3个域中的12个对象，使其成为迄今为止最大的工业异常检测数据集。提供了图像和像素级标签。我们还提出了一个新的自我监督框架 - 斑点差异（SPD），该框架可以使对比度的自我监督预训练（例如Simsiam，Moco和Simc​​lr）更适合异常检测任务。我们在Visa和MVTEC-AD数据集上进行的实验表明，SPD始终改善这些对比的训练前基准，甚至是受监督的预训练。例如，SPD在Precision-Recall曲线（AU-PR）下改善了SIMSIAM比SIMSIAM的异常分割的面积，分别为6.8％，并分别监督了2级高弹药机制的预训练。我们通过http://github.com/amazon-research/spot-diff开放项目。

近年来，预先培训的表述的出现是计算机视觉，自然语言和语音中AI应用的强大抽象。但是，控制策略学习仍然由Tabula-Rasa学习范式主导，而Visuo-Motor策略经常使用部署环境中的数据进行培训。在这种情况下，我们重新审视并研究了预训练的视觉表示对控制的作用，以及在大规模计算机视觉数据集中训练的特定表示。通过对不同控制域（栖息地，深态控制，Adroit，Franka Kitchen）的广泛经验评估，我们隔离和研究了不同表示培训方法，数据增强和功能层次结构的重要性。总体而言，我们发现，预先训练的视觉表示可以比培训控制政策的基本真实状态表示能力更具竞争力甚至更好。尽管仅使用来自标准视觉数据集中的室外数据，但这是没有部署环境中的任何域内数据。源代码以及更多信息，请访问https://sites.google.com/view/pvr-control。