我们将神经激活编码（NAC）作为一种学习从未标记数据的深度表示的新方法，用于下游应用。我们认为深度编码器应在下游预测器的数据上最大化其非线性表征，以充分利用其代表性。为此，NAC通过嘈杂的通信信道通过嘈杂的通信信道最大化编码器的激活模式和数据之间的相互信息。我们表明，用于稳健激活码的学习增加了Relu编码器的不同线性区域的数量，因此是最大的非线性表达性。 NAC更有意义地了解数据的连续和离散表示，我们分别在两个下游任务中评估：（i）Cifar-10和Imagenet-1k和（ii）在CiFar-10和Flickr-25k上的最近邻检索的线性分类。经验结果表明，NAC在最近的基本链上获得了更好或相当的性能，包括SIMCLR和Distillhash。此外，NAC预押出了对深度生成模型的培训提供了显着的好处。我们的代码可在https://github.com/yookoon/nac提供。

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that bridges contrastive learning with clustering. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it encodes semantic structures discovered by clustering into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

Contrastive representation learning has proven to be an effective self-supervised learning method for images and videos. Most successful approaches are based on Noise Contrastive Estimation (NCE) and use different views of an instance as positives that should be contrasted with other instances, called negatives, that are considered as noise. However, several instances in a dataset are drawn from the same distribution and share underlying semantic information. A good data representation should contain relations between the instances, or semantic similarity and dissimilarity, that contrastive learning harms by considering all negatives as noise. To circumvent this issue, we propose a novel formulation of contrastive learning using semantic similarity between instances called Similarity Contrastive Estimation (SCE). Our training objective is a soft contrastive one that brings the positives closer and estimates a continuous distribution to push or pull negative instances based on their learned similarities. We validate empirically our approach on both image and video representation learning. We show that SCE performs competitively with the state of the art on the ImageNet linear evaluation protocol for fewer pretraining epochs and that it generalizes to several downstream image tasks. We also show that SCE reaches state-of-the-art results for pretraining video representation and that the learned representation can generalize to video downstream tasks.

对比表示学习旨在通过估计数据的多个视图之间的共享信息来获得有用的表示形式。在这里，数据增强的选择对学会表示的质量很敏感：随着更难的应用，数据增加了，视图共享更多与任务相关的信息，但也可以妨碍表示代表的概括能力。在此激励的基础上，我们提出了一种新的强大的对比度学习计划，即r \'enyicl，可以通过利用r \'enyi差异来有效地管理更艰难的增强。我们的方法建立在r \'enyi差异的变异下限基础上，但是由于差异很大，对变异方法的使用是不切实际的。要应对这一挑战，我们提出了一个新颖的对比目标，该目标是进行变异估计的新型对比目标偏斜r \'enyi的分歧，并提供理论保证，以确保偏差差异如何导致稳定训练。我们表明，r \'enyi对比度学习目标执行先天的硬性负面样本和易于选择的阳性抽样学习有用的功能并忽略滋扰功能。通过在Imagenet上进行实验，我们表明，r \'enyi对比度学习具有更强的增强性能优于其他自我监督的方法，而无需额外的正则化或计算上的开销。图形和表格，显示了与其他对比方法相比的经验增益。

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

Contrastive representation learning has been outstandingly successful in practice. In this work, we identify two key properties related to the contrastive loss: (1) alignment (closeness) of features from positive pairs, and (2) uniformity of the induced distribution of the (normalized) features on the hypersphere. We prove that, asymptotically, the contrastive loss optimizes these properties, and analyze their positive effects on downstream tasks. Empirically, we introduce an optimizable metric to quantify each property. Extensive experiments on standard vision and language datasets confirm the strong agreement between both metrics and downstream task performance. Directly optimizing for these two metrics leads to representations with comparable or better performance at downstream tasks than contrastive learning. Project

This work investigates unsupervised learning of representations by maximizing mutual information between an input and the output of a deep neural network encoder. Importantly, we show that structure matters: incorporating knowledge about locality in the input into the objective can significantly improve a representation's suitability for downstream tasks. We further control characteristics of the representation by matching to a prior distribution adversarially. Our method, which we call Deep InfoMax (DIM), outperforms a number of popular unsupervised learning methods and compares favorably with fully-supervised learning on several classification tasks in with some standard architectures. DIM opens new avenues for unsupervised learning of representations and is an important step towards flexible formulations of representation learning objectives for specific end-goals.

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

我们介绍了代表学习（CARL）的一致分配，通过组合来自自我监督对比学习和深层聚类的思路来学习视觉表现的无监督学习方法。通过从聚类角度来看对比学习，Carl通过学习一组一般原型来学习无监督的表示，该原型用作能量锚来强制执行给定图像的不同视图被分配给相同的原型。与与深层聚类的对比学习的当代工作不同，Carl建议以在线方式学习一组一般原型，使用梯度下降，而无需使用非可微分算法或k手段来解决群集分配问题。卡尔在许多代表性学习基准中超越了竞争对手，包括线性评估，半监督学习和转移学习。

最近无监督的表示学习方法已经通过学习表示不变的数据增强，例如随机裁剪和彩色抖动等数据增强来生效。然而，如果依赖于数据增强的特征，例如，位置或色敏，则这种不变性可能对下游任务有害。这不是一个不监督学习的问题;我们发现即使在监督学习中也会发生这种情况，因为它还学会预测实例所有增强样本的相同标签。为避免此类失败并获得更广泛的表示，我们建议优化辅助自我监督损失，创建的AGESELF，了解两个随机增强样本之间的增强参数（例如，裁剪位置，颜色调整强度）的差异。我们的直觉是，Augelf鼓励在学习的陈述中保留增强信息，这可能有利于其可转让性。此外，Augself可以很容易地纳入最近的最先进的表示学习方法，其额外的培训成本可忽略不计。广泛的实验表明，我们的简单想法一直在各种转移学习情景中始终如一地提高了由监督和无监督方法所学到的表示的可转移性。代码可在https://github.com/hankook/augsfir。

在本文中，我们采用了最大化的互信息（MI）方法来解决无监督的二进制哈希代码的问题，以实现高效的跨模型检索。我们提出了一种新颖的方法，被称为跨模型信息最大散列（CMIMH）。首先，要学习可以保留模跨和跨间相似性的信息的信息，我们利用最近估计MI的变分的进步，以最大化二进制表示和输入特征之间的MI以及不同方式的二进制表示之间的MI。通过在假设由多变量Bernoulli分布模型的假设下联合最大化这些MIM，我们可以学习二进制表示，该二进制表示，其可以在梯度下降中有效地以微量批量方式有效地保留帧内和模态的相似性。此外，我们发现尝试通过学习与来自不同模式的相同实例的类似二进制表示来最小化模态差距，这可能导致更少的信息性表示。因此，在减少模态间隙和失去模态 - 私人信息之间平衡对跨模型检索任务很重要。标准基准数据集上的定量评估表明，该方法始终如一地优于其他最先进的跨模型检索方法。

Humans view the world through many sensory channels, e.g., the long-wavelength light channel, viewed by the left eye, or the high-frequency vibrations channel, heard by the right ear. Each view is noisy and incomplete, but important factors, such as physics, geometry, and semantics, tend to be shared between all views (e.g., a "dog" can be seen, heard, and felt). We investigate the classic hypothesis that a powerful representation is one that models view-invariant factors. We study this hypothesis under the framework of multiview contrastive learning, where we learn a representation that aims to maximize mutual information between different views of the same scene but is otherwise compact. Our approach scales to any number of views, and is viewagnostic. We analyze key properties of the approach that make it work, finding that the contrastive loss outperforms a popular alternative based on cross-view prediction, and that the more views we learn from, the better the resulting representation captures underlying scene semantics. Our approach achieves state-of-the-art results on image and video unsupervised learning benchmarks.

最近先进的无监督学习方法使用暹罗样框架来比较来自同一图像的两个“视图”以进行学习表示。使两个视图独特是一种保证无监督方法可以学习有意义的信息的核心。但是，如果使用用于生成两个视图的增强不足够强度，此类框架有时会易碎过度装备，导致培训数据上的过度自信的问题。此缺点会阻碍模型，从学习微妙方差和细粒度信息。为了解决这个问题，在这项工作中，我们的目标是涉及在无监督的学习中的标签空间上的距离概念，并让模型通过混合输入数据空间来了解正面或负对对之间的柔和程度，以便协同工作输入和损耗空间。尽管其概念性简单，我们凭借解决的解决方案 - 无监督图像混合（UN-MIX），我们可以从转换的输入和相应的新标签空间中学习Subtler，更强大和广义表示。广泛的实验在CiFar-10，CiFar-100，STL-10，微小的想象和标准想象中进行了流行的无人监督方法SIMCLR，BYOL，MOCO V1和V2，SWAV等。我们所提出的图像混合物和标签分配策略可以获得一致的改进在完全相同的超参数和基础方法的培训程序之后1〜3％。代码在https://github.com/szq0214/un-mix上公开提供。

Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or "views") of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a "swapped" prediction mechanism where we predict the code of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks.

标准的对比学习方法通常需要大量的否定否定有效的无监督学习，并且往往表现出缓慢的收敛性。我们怀疑这种行为是由于用于提供与积极鲜明对比的否定的廉价选择。我们通过从支持向量机（SVM）的灵感来呈现最大值保证金对比学习（MMCL）来抵消这种困难。我们的方法选择否定作为通过二次优化问题获得的稀疏支持向量，通过最大化决策余量来强制执行对比度。由于SVM优化可以计算要求，特别是在端到端设置中，我们提出了缓解计算负担的简化。我们验证了我们对标准视觉基准数据集的方法，展示了在无监督的代表上学习最先进的表现，同时具有更好的经验收敛性。

变异自动编码器（VAE）遭受后塌陷的苦难，其中用于建模和推理的强大神经网络在没有有意义使用潜在表示的情况下优化了目标。我们引入了推理评论家，通过需要潜在变量和观测值之间的对应关系来检测和激励后塌陷。通过将批评家的目标与自我监督的对比表示学习中的文献联系起来，我们从理论和经验上展示了优化推论批评家在观察和潜伏期之间增加相互信息，从而减轻后验崩溃。这种方法可以直接实施，并且需要比以前的方法要少得多的培训时间，但在三个已建立的数据集中获得了竞争结果。总体而言，该方法奠定了基础，以弥合先前与各种自动编码器的对比度学习和概率建模的框架，从而强调了两个社区在其交叉点上可能会发现的好处。

对比学习（CL）是自我监督学习（SSL）最成功的范式之一。它以原则上的方式考虑了两个增强的“视图”，同一图像是正面的，将其拉近，所有其他图像都是负面的。但是，在基于CL的技术的令人印象深刻的成功之后，它们的配方通常依赖于重型设置，包括大型样品批次，广泛的培训时代等。因此，我们有动力解决这些问题并建立一个简单，高效但有竞争力的问题对比学习的基线。具体而言，我们从理论和实证研究中鉴定出对广泛使用的Infonce损失的显着负阳性耦合（NPC）效应，从而导致有关批处理大小的不合适的学习效率。通过消除NPC效应，我们提出了脱钩的对比度学习（DCL）损失，该损失从分母中删除了积极的术语，并显着提高了学习效率。 DCL对竞争性表现具有较小的对亚最佳超参数的敏感性，既不需要SIMCLR中的大批量，Moco中的动量编码或大型时代。我们以各种基准来证明，同时表现出对次优的超参数敏感的鲁棒性。值得注意的是，具有DCL的SIMCLR在200个时期内使用批次尺寸256实现68.2％的Imagenet-1K TOP-1精度，在预训练中的表现优于其SIMCLR基线6.4％。此外，DCL可以与SOTA对比度学习方法NNCLR结合使用，以达到72.3％的Imagenet-1k Top-1精度，在400个时期的512批次大小中，这代表了对比学习中的新SOTA。我们认为DCL为将来的对比SSL研究提供了宝贵的基准。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。