Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

混音是一种有效的数据增强方法，它通过各自的原始数据点和标签的凸组合生成其他样品。尽管理论上依赖于数据属性，但据报道，混合效果很好地作为正规器和校准器，可以促进可靠的鲁棒性和对神经网络训练的概括。在本文中，灵感来自于使用课外样本来协助目标任务的Universum学习的启发，我们从很大程度上探索的视角进行了调查 - 生成不属于目标类别的内域样本的潜力，也就是说，大学。我们发现，在受监督的对比学习的框架内，Universum风格的混音产生了令人惊讶的高质量的艰苦负面负面因素，极大地缓解了对比度学习中对大批量大小的需求。有了这些发现，我们提出了以Universum为灵感的对比学习（UNICON），该学习结合了混合策略，以生成Unikeum数据作为G-阴性，并将其与目标类别的锚定样品分开。我们的方法不仅可以改善与硬标签的混合，而且还创新了一种新的措施来生成Universum数据。通过学习表示的线性分类器，我们的方法在CIFAR-100上实现了81.68％的TOP-1准确性，超过5％的明显差距为5％，批量较小，通常为256，在Unicon vs. 1024中，在SUPCON中使用Resnet-50。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

深度神经网络在严重的类不平衡数据集上的表现不佳。鉴于对比度学习的有希望的表现，我们提出了重新平衡的暹罗对比度采矿（RESCOM）来应对不平衡的识别。基于数学分析和仿真结果，我们声称监督的对比学习在原始批次和暹罗批次水平上都遭受双重失衡问题，这比长尾分类学习更为严重。在本文中，在原始批处理水平上，我们引入了级别平衡的监督对比损失，以分配不同类别的自适应权重。在暹罗批次级别，我们提出了一个级别平衡的队列，该队列维持所有类的键相同。此外，我们注意到，相对于对比度逻辑的不平衡对比损失梯度可以将其分解为阳性和负面因素，易于阳性和易于负面因素将使对比度梯度消失。我们建议有监督的正面和负面对挖掘，以获取信息对的对比度计算并改善表示形式学习。最后，为了大致最大程度地提高两种观点之间的相互信息，我们提出了暹罗平衡的软性软件，并与一阶段训练的对比损失结合。广泛的实验表明，在多个长尾识别基准上，RESCON优于先前的方法。我们的代码和模型可公开可用：https：//github.com/dvlab-research/rescom。

Many datasets are biased, namely they contain easy-to-learn features that are highly correlated with the target class only in the dataset but not in the true underlying distribution of the data. For this reason, learning unbiased models from biased data has become a very relevant research topic in the last years. In this work, we tackle the problem of learning representations that are robust to biases. We first present a margin-based theoretical framework that allows us to clarify why recent contrastive losses (InfoNCE, SupCon, etc.) can fail when dealing with biased data. Based on that, we derive a novel formulation of the supervised contrastive loss (epsilon-SupInfoNCE), providing more accurate control of the minimal distance between positive and negative samples. Furthermore, thanks to our theoretical framework, we also propose FairKL, a new debiasing regularization loss, that works well even with extremely biased data. We validate the proposed losses on standard vision datasets including CIFAR10, CIFAR100, and ImageNet, and we assess the debiasing capability of FairKL with epsilon-SupInfoNCE, reaching state-of-the-art performance on a number of biased datasets, including real instances of biases in the wild.

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies, either at the image or the feature level, improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e. the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing memory requirements, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection, and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.Project page: https://europe.naverlabs.com/mochi 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

Cross entropy loss has served as the main objective function for classification-based tasks. Widely deployed for learning neural network classifiers, it shows both effectiveness and a probabilistic interpretation. Recently, after the success of self supervised contrastive representation learning methods, supervised contrastive methods have been proposed to learn representations and have shown superior and more robust performance, compared to solely training with cross entropy loss. However, cross entropy loss is still needed to train the final classification layer. In this work, we investigate the possibility of learning both the representation and the classifier using one objective function that combines the robustness of contrastive learning and the probabilistic interpretation of cross entropy loss. First, we revisit a previously proposed contrastive-based objective function that approximates cross entropy loss and present a simple extension to learn the classifier jointly. Second, we propose a new version of the supervised contrastive training that learns jointly the parameters of the classifier and the backbone of the network. We empirically show that our proposed objective functions show a significant improvement over the standard cross entropy loss with more training stability and robustness in various challenging settings.

尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。

对比自我监督学习（CSL）已设法匹配或超过图像和视频分类中监督学习的表现。但是，仍然未知两个学习范式引起的表示的性质是否相似。我们在对抗性鲁棒性的角度下对此进行了研究。我们对该问题的分析治疗揭示了CSL对监督学习的内在更高灵敏度。它将数据表示形式在CSL表示空间中的单位过球上的统一分布是这种现象的关键因素。我们确定这会增加模型对输入扰动的敏感性，而在培训数据中存在假阴性的情况下。我们的发现得到了对对抗性扰动和其他输入损坏的图像和视频分类的广泛实验的支持。在洞察力的基础上，我们制定了简单但有效地通过CSL培训改善模型鲁棒性的策略。我们证明，对抗攻击的CSL及其受监督的对手之间的性能差距最高可下降68％。最后，我们通过将我们的发现纳入对抗性的自我监督学习中，为强大的CSL范式做出了贡献。我们证明，在该域中的两种不同的最新方法中，平均增益约为5％。

Humans view the world through many sensory channels, e.g., the long-wavelength light channel, viewed by the left eye, or the high-frequency vibrations channel, heard by the right ear. Each view is noisy and incomplete, but important factors, such as physics, geometry, and semantics, tend to be shared between all views (e.g., a "dog" can be seen, heard, and felt). We investigate the classic hypothesis that a powerful representation is one that models view-invariant factors. We study this hypothesis under the framework of multiview contrastive learning, where we learn a representation that aims to maximize mutual information between different views of the same scene but is otherwise compact. Our approach scales to any number of views, and is viewagnostic. We analyze key properties of the approach that make it work, finding that the contrastive loss outperforms a popular alternative based on cross-view prediction, and that the more views we learn from, the better the resulting representation captures underlying scene semantics. Our approach achieves state-of-the-art results on image and video unsupervised learning benchmarks.

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

在本文中，我们提出了广义参数对比度学习（GPACO/PACO），该学习在不平衡和平衡数据上都很好地工作。基于理论分析，我们观察到，受监督的对比损失倾向于偏向高频类别，从而增加了学习不平衡的学习难度。我们从优化的角度介绍了一组参数班的可学习中心，以重新平衡。此外，我们在平衡的环境下分析了GPACO/PACO损失。我们的分析表明，GPACO/PACO可以适应地增强同一等级样品的强度，因为将更多的样品与相应的中心一起拉在一起并有益于艰难的示例学习。长尾基准测试的实验表明了长尾识别的新最先进。在完整的Imagenet上，与MAE模型相比，从CNN到接受GPACO损失训练的视觉变压器的模型显示出更好的泛化性能和更强的鲁棒性。此外，GPACO可以应用于语义分割任务，并在4个最受欢迎的基准测试中观察到明显的改进。我们的代码可在https://github.com/dvlab-research/parametric-contrastive-learning上找到。

对比表现学习已被证明是一种有效的自我监督学习方法。大多数成功的方法都是基于噪声对比估计（NCE）范式，并将实例视图的视图视为阳性和其他情况，作为阳性应与其对比的噪声。但是，数据集中的所有实例都是从相同的分布和共享底层语义信息中汲取，这些语义信息不应被视为噪声。我们认为，良好的数据表示包含实例之间的关系或语义相似性。对比学习隐含地学习关系，但认为负面的噪音是对学习关系质量有害的噪音，因此是象征性的质量。为了规避这个问题，我们提出了一种使用称为相似性对比估计（SCE）之间的情况之间的语义相似性的对比学习的新颖性。我们的培训目标可以被视为柔和的对比学习。我们提出了持续分配以基于其语义相似性推动或拉动实例的持续分配。目标相似性分布从弱增强的情况计算并锐化以消除无关的关系。每个弱增强实例都与一个强大的增强实例配对，该实例对比其积极的同时保持目标相似性分布。实验结果表明，我们所提出的SCE在各种数据集中优于其基线MoCov2和RESSL，并对ImageNet线性评估协议上的最先进的算法具有竞争力。

对比学习导致学习嵌入式嵌入式的质量的大量改进，以获得图像分类等任务。然而，现有对比增强方法的关键缺陷是它们可能导致图像内容的修改，其可以产生不希望的其语义的改变。这可能会影响模型对下游任务的性能。因此，在本文中，我们询问我们是否可以在对比学学习中增强图像数据，使得保留图像的任务相关的语义内容。为此目的，我们建议利用基于显着性的解释方法来创建用于对比学习的内容保留掩蔽增强。我们的小说解释驱动的监督对比学习（Excon）方法批判性地满足了鼓励附近图像嵌入的双重目标，以具有类似的内容和解释。为了量化Excon的影响，我们对CiFar-100和微小的想象特数据集进行实验。我们证明，在分类转移的背景下，Excon优于对分类，解释质量，对抗性的鲁棒性以及模型的概率预测的校准来监督对比学习。

自我监督的代表学习使对比学习的进步推动了显着的跨利赛，这旨在学习嵌入附近积极投入对的转变，同时推动负对的对。虽然可以可靠地生成正对（例如，作为相同图像的不同视图），但是难以准确地建立负对对，定义为来自不同图像的样本，而不管它们的语义内容或视觉功能如何。对比学习中的一个基本问题正在减轻假底片的影响。对比假否定引起了两个代表学习的关键问题：丢弃语义信息和缓慢的收敛。在本文中，我们提出了识别错误否定的新方法，以及减轻其效果的两种策略，即虚假的消极消除和吸引力，同时系统地执行严格的评估，详细阐述了这个问题。我们的方法表现出对基于对比学习的方法的一致性改进。没有标签，我们在想象中的1000个语义课程中识别出具有40％的精度，并且在使用1％标签的FINETUNING时，在先前最先进的最先进的前1个精度的绝对提高5.8％的绝对提高。我们的代码可在https://github.com/gogle-research/fnc上获得。

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。

在对比学习中，最近的进步表现出了出色的表现。但是，绝大多数方法仅限于封闭世界的环境。在本文中，我们通过挖掘开放世界的环境来丰富表示学习的景观，其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距，我们引入了一个新的学习框架，开放世界的对比学习（Opencon）。Opencon应对已知和新颖阶级学习紧凑的表现的挑战，并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上，Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法，分别胜过11.9％和7.4％。我们希望我们的工作能为未来的工作打开新的大门，以解决这一重要问题。

对比学习（CL）是自我监督学习（SSL）最成功的范式之一。它以原则上的方式考虑了两个增强的“视图”，同一图像是正面的，将其拉近，所有其他图像都是负面的。但是，在基于CL的技术的令人印象深刻的成功之后，它们的配方通常依赖于重型设置，包括大型样品批次，广泛的培训时代等。因此，我们有动力解决这些问题并建立一个简单，高效但有竞争力的问题对比学习的基线。具体而言，我们从理论和实证研究中鉴定出对广泛使用的Infonce损失的显着负阳性耦合（NPC）效应，从而导致有关批处理大小的不合适的学习效率。通过消除NPC效应，我们提出了脱钩的对比度学习（DCL）损失，该损失从分母中删除了积极的术语，并显着提高了学习效率。 DCL对竞争性表现具有较小的对亚最佳超参数的敏感性，既不需要SIMCLR中的大批量，Moco中的动量编码或大型时代。我们以各种基准来证明，同时表现出对次优的超参数敏感的鲁棒性。值得注意的是，具有DCL的SIMCLR在200个时期内使用批次尺寸256实现68.2％的Imagenet-1K TOP-1精度，在预训练中的表现优于其SIMCLR基线6.4％。此外，DCL可以与SOTA对比度学习方法NNCLR结合使用，以达到72.3％的Imagenet-1k Top-1精度，在400个时期的512批次大小中，这代表了对比学习中的新SOTA。我们认为DCL为将来的对比SSL研究提供了宝贵的基准。

对比表示学习旨在通过估计数据的多个视图之间的共享信息来获得有用的表示形式。在这里，数据增强的选择对学会表示的质量很敏感：随着更难的应用，数据增加了，视图共享更多与任务相关的信息，但也可以妨碍表示代表的概括能力。在此激励的基础上，我们提出了一种新的强大的对比度学习计划，即r \'enyicl，可以通过利用r \'enyi差异来有效地管理更艰难的增强。我们的方法建立在r \'enyi差异的变异下限基础上，但是由于差异很大，对变异方法的使用是不切实际的。要应对这一挑战，我们提出了一个新颖的对比目标，该目标是进行变异估计的新型对比目标偏斜r \'enyi的分歧，并提供理论保证，以确保偏差差异如何导致稳定训练。我们表明，r \'enyi对比度学习目标执行先天的硬性负面样本和易于选择的阳性抽样学习有用的功能并忽略滋扰功能。通过在Imagenet上进行实验，我们表明，r \'enyi对比度学习具有更强的增强性能优于其他自我监督的方法，而无需额外的正则化或计算上的开销。图形和表格，显示了与其他对比方法相比的经验增益。