Many datasets are biased, namely they contain easy-to-learn features that are highly correlated with the target class only in the dataset but not in the true underlying distribution of the data. For this reason, learning unbiased models from biased data has become a very relevant research topic in the last years. In this work, we tackle the problem of learning representations that are robust to biases. We first present a margin-based theoretical framework that allows us to clarify why recent contrastive losses (InfoNCE, SupCon, etc.) can fail when dealing with biased data. Based on that, we derive a novel formulation of the supervised contrastive loss (epsilon-SupInfoNCE), providing more accurate control of the minimal distance between positive and negative samples. Furthermore, thanks to our theoretical framework, we also propose FairKL, a new debiasing regularization loss, that works well even with extremely biased data. We validate the proposed losses on standard vision datasets including CIFAR10, CIFAR100, and ImageNet, and we assess the debiasing capability of FairKL with epsilon-SupInfoNCE, reaching state-of-the-art performance on a number of biased datasets, including real instances of biases in the wild.

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

噪声对比度估计的最新研究表明，从经验上讲，从理论上讲，尽管在对比度损失中拥有更多的“负样本”，但最初在阈值中提高了下游分类的性能，但由于“碰撞覆盖“贸易”，它都会损害下游性能-离开。但是，对比度学习中固有的现象是如此吗？我们在一个简单的理论环境中显示，通过从基础潜在类采样（由Saunshi等人引入（ICML 2019）），产生正对，表明表示（人口）对比度损失的下游性能实际上确实确实确实如此。不会随着负样本的数量降低。一路上，我们在框架中给出了最佳表示形式的结构表征，以进行噪声对比估计。我们还为CIFAR-10和CIFAR-100数据集的理论结果提供了经验支持。

Cross entropy loss has served as the main objective function for classification-based tasks. Widely deployed for learning neural network classifiers, it shows both effectiveness and a probabilistic interpretation. Recently, after the success of self supervised contrastive representation learning methods, supervised contrastive methods have been proposed to learn representations and have shown superior and more robust performance, compared to solely training with cross entropy loss. However, cross entropy loss is still needed to train the final classification layer. In this work, we investigate the possibility of learning both the representation and the classifier using one objective function that combines the robustness of contrastive learning and the probabilistic interpretation of cross entropy loss. First, we revisit a previously proposed contrastive-based objective function that approximates cross entropy loss and present a simple extension to learn the classifier jointly. Second, we propose a new version of the supervised contrastive training that learns jointly the parameters of the classifier and the backbone of the network. We empirically show that our proposed objective functions show a significant improvement over the standard cross entropy loss with more training stability and robustness in various challenging settings.

深度神经网络令人惊奇地遭受数据集偏见，这对模型鲁棒性，泛化和公平性有害。在这项工作中，我们提出了一个两级的脱扎方案，以防止顽固的未知偏差。通过分析有偏置模型的存在的因素，我们设计了一种小说学习目标，通过依赖单独的偏见，无法达到。具体而言，使用所提出的梯度对准（GA）实现了脱叠模型，该梯度对准（GA）动态地平衡了偏置对齐和偏见冲突的样本的贡献（在整个整个训练过程中，在整个训练过程中，强制执行模型以利用内部提示进行公平的决定。虽然在真实世界的情景中，潜在的偏差非常难以发现并对手动标记昂贵。我们进一步提出了通过对等挑选和培训集合来提出自动偏见冲突的样本挖掘方法，而无需先前了解偏见信息。各种数据中的多个数据集进行的实验表明了我们拟议计划的有效性和稳健性，该计划成功减轻了未知偏差的负面影响，实现了最先进的性能。

混音是一种有效的数据增强方法，它通过各自的原始数据点和标签的凸组合生成其他样品。尽管理论上依赖于数据属性，但据报道，混合效果很好地作为正规器和校准器，可以促进可靠的鲁棒性和对神经网络训练的概括。在本文中，灵感来自于使用课外样本来协助目标任务的Universum学习的启发，我们从很大程度上探索的视角进行了调查 - 生成不属于目标类别的内域样本的潜力，也就是说，大学。我们发现，在受监督的对比学习的框架内，Universum风格的混音产生了令人惊讶的高质量的艰苦负面负面因素，极大地缓解了对比度学习中对大批量大小的需求。有了这些发现，我们提出了以Universum为灵感的对比学习（UNICON），该学习结合了混合策略，以生成Unikeum数据作为G-阴性，并将其与目标类别的锚定样品分开。我们的方法不仅可以改善与硬标签的混合，而且还创新了一种新的措施来生成Universum数据。通过学习表示的线性分类器，我们的方法在CIFAR-100上实现了81.68％的TOP-1准确性，超过5％的明显差距为5％，批量较小，通常为256，在Unicon vs. 1024中，在SUPCON中使用Resnet-50。

基于深度学习的分类中特征表示的主要挑战之一是设计表现出强大歧视力的适当损失功能。经典的SoftMax损失并不能明确鼓励对特征的歧视性学习。研究的一个流行方向是将边缘纳入良好的损失中，以实施额外的课内紧凑性和阶层间的可分离性，但是，这是通过启发式手段而不是严格的数学原则来开发的。在这项工作中，我们试图通过将原则优化目标提出为最大的利润率来解决这一限制。具体而言，我们首先将类别的边缘定义为级别间的可分离性的度量，而样品边缘是级别的紧凑性的度量。因此，为了鼓励特征的歧视性表示，损失函数应促进类和样品的最大可能边缘。此外，我们得出了广义的保证金软损失，以得出现有基于边缘的损失的一般结论。这个原则性的框架不仅提供了新的观点来理解和解释现有的基于保证金的损失，而且还提供了新的见解，可以指导新工具的设计，包括样本保证金正则化和最大的平衡案例的最大保证金损失，和零中心的正则化案例。实验结果证明了我们的策略对各种任务的有效性，包括视觉分类，分类不平衡，重新识别和面部验证。

Contrastive representation learning has proven to be an effective self-supervised learning method for images and videos. Most successful approaches are based on Noise Contrastive Estimation (NCE) and use different views of an instance as positives that should be contrasted with other instances, called negatives, that are considered as noise. However, several instances in a dataset are drawn from the same distribution and share underlying semantic information. A good data representation should contain relations between the instances, or semantic similarity and dissimilarity, that contrastive learning harms by considering all negatives as noise. To circumvent this issue, we propose a novel formulation of contrastive learning using semantic similarity between instances called Similarity Contrastive Estimation (SCE). Our training objective is a soft contrastive one that brings the positives closer and estimates a continuous distribution to push or pull negative instances based on their learned similarities. We validate empirically our approach on both image and video representation learning. We show that SCE performs competitively with the state of the art on the ImageNet linear evaluation protocol for fewer pretraining epochs and that it generalizes to several downstream image tasks. We also show that SCE reaches state-of-the-art results for pretraining video representation and that the learned representation can generalize to video downstream tasks.

深度神经网络的成功在很大程度上取决于大量高质量注释的数据的可用性，但是这些数据很难或昂贵。由此产生的标签可能是类别不平衡，嘈杂或人类偏见。从不完美注释的数据集中学习无偏分类模型是一项挑战，我们通常会遭受过度拟合或不足的折磨。在这项工作中，我们彻底研究了流行的软马克斯损失和基于保证金的损失，并提供了一种可行的方法来加强通过最大化最小样本余量来限制的概括误差。我们为此目的进一步得出了最佳条件，该条件指示了类原型应锚定的方式。通过理论分析的激励，我们提出了一种简单但有效的方法，即原型锚定学习（PAL），可以轻松地将其纳入各种基于学习的分类方案中以处理不完美的注释。我们通过对合成和现实世界数据集进行广泛的实验来验证PAL对班级不平衡学习和降低噪声学习的有效性。

对比表示学习旨在通过估计数据的多个视图之间的共享信息来获得有用的表示形式。在这里，数据增强的选择对学会表示的质量很敏感：随着更难的应用，数据增加了，视图共享更多与任务相关的信息，但也可以妨碍表示代表的概括能力。在此激励的基础上，我们提出了一种新的强大的对比度学习计划，即r \'enyicl，可以通过利用r \'enyi差异来有效地管理更艰难的增强。我们的方法建立在r \'enyi差异的变异下限基础上，但是由于差异很大，对变异方法的使用是不切实际的。要应对这一挑战，我们提出了一个新颖的对比目标，该目标是进行变异估计的新型对比目标偏斜r \'enyi的分歧，并提供理论保证，以确保偏差差异如何导致稳定训练。我们表明，r \'enyi对比度学习目标执行先天的硬性负面样本和易于选择的阳性抽样学习有用的功能并忽略滋扰功能。通过在Imagenet上进行实验，我们表明，r \'enyi对比度学习具有更强的增强性能优于其他自我监督的方法，而无需额外的正则化或计算上的开销。图形和表格，显示了与其他对比方法相比的经验增益。

现实世界中的数据通常遵循长尾巴的分布，其中一些多数类别占据了大多数数据，而大多数少数族裔类别都包含有限数量的样本。分类模型最小化跨凝结的努力来代表和分类尾部类别。尽管已经对学习无偏分类器的学习问题进行了充分的研究，但代表不平衡数据的方法却没有探索。在本文中，我们专注于表示不平衡数据的表示。最近，受到监督的对比学习最近在平衡数据上表现出了有希望的表现。但是，通过我们的理论分析，我们发现对于长尾数据，它未能形成常规的单纯形，这是代表学习的理想几何配置。为了纠正SCL的优化行为并进一步改善了长尾视觉识别的性能，我们提出了平衡对比度学习（BCL）的新型损失。与SCL相比，我们在BCL：类平均水平方面有两个改进，可以平衡负类的梯度贡献。课堂组合，允许所有类都出现在每个迷你批次中。提出的平衡对比度学习（BCL）方法满足形成常规单纯形的条件并有助于跨透明拷贝的优化。配备了BCL，提出的两分支框架可以获得更强的特征表示，并在诸如CIFAR-10-LT，CIFAR-100-LT，Imagenet-LT和Inaturalist2018之类的长尾基准数据集上实现竞争性能。我们的代码可在\ href {https://github.com/flamiezhu/bcl} {this url}中获得。

尽管能够与过度能力网络概括，但深神经网络通常会学会滥用数据中的虚假偏见而不是使用实际的任务相关信息。由于此类快捷方式仅在收集的数据集中有效，因此由此产生的偏置模型在现实世界的投入上表现不佳，或导致意外的社交影响，例如性别歧视。为了抵消偏差的影响，现有方法可以利用辅助信息，这在实践中很少可获得，或者在训练数据中的无偏见样本中筛选，希望能够充分存在清洁样品。但是，这些关于数据的推定并不总是保证。在本文中，我们提出了通过生成偏差变换〜（CDVG）对比下展，该〜（CDVG）能够在现有的方法中经营，其中现有方法由于未偏置的偏差样品而不足的预设而下降。通过我们的观察，不仅如前所述的鉴别模型，而且生成模型倾向于关注偏差，CDVG使用翻译模型来将样本中的偏置转换为另一种偏差模式，同时保留任务相关信息。 。通过对比学习，我们将转化的偏见视图与另一个学习偏见，学习偏见不变的表示。综合和现实世界数据集的实验结果表明，我们的框架优于目前的最先进，并且有效地阻止模型即使在无偏差样本极为稀缺时也会被偏置。

A prominent technique for self-supervised representation learning has been to contrast semantically similar and dissimilar pairs of samples. Without access to labels, dissimilar (negative) points are typically taken to be randomly sampled datapoints, implicitly accepting that these points may, in reality, actually have the same label. Perhaps unsurprisingly, we observe that sampling negative examples from truly different labels improves performance, in a synthetic setting where labels are available. Motivated by this observation, we develop a debiased contrastive objective that corrects for the sampling of same-label datapoints, even without knowledge of the true labels. Empirically, the proposed objective consistently outperforms the state-of-the-art for representation learning in vision, language, and reinforcement learning benchmarks. Theoretically, we establish generalization bounds for the downstream classification task.

机器学习系统经常在培训和测试之间遇到分发转变。在本文中，我们介绍了一个简单的变分目标，其OptiCa正好成为所有表现形式的集合，在那种情况下，保证风险最小化者对保留贝叶斯预测因子的任何分配换档，例如协变量。我们的目标有两个组成部分。首先，表示必须保持对任务的判别，即，一些预测指标必须能够同时最小化来源和目标风险。其次，代表性的边际支持需要跨源头和目标相同。我们通过设计自我监督的学习方法来实现这一实用，只使用未标记的数据和增强来培训强大的陈述。我们的目标在域底实现最先进的结果，并对最近的方法（如剪辑）的稳健性提供洞察力。

由于其无监督的性质和下游任务的信息性特征表示，实例歧视自我监督的代表学习受到了受到关注的。在实践中，它通常使用比监督类的数量更多的负样本。然而，现有分析存在不一致;从理论上讲，大量的负样本在下游监督任务上降低了分类性能，同时凭经验，它们提高了性能。我们提供了一种新颖的框架，用于使用优惠券收集器的问题分析关于负样本的经验结果。我们的界限可以通过增加负样本的数量来隐立地纳入自我监督损失中的下游任务的监督损失。我们确认我们的拟议分析持有现实世界基准数据集。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

对比表现学习已被证明是一种有效的自我监督学习方法。大多数成功的方法都是基于噪声对比估计（NCE）范式，并将实例视图的视图视为阳性和其他情况，作为阳性应与其对比的噪声。但是，数据集中的所有实例都是从相同的分布和共享底层语义信息中汲取，这些语义信息不应被视为噪声。我们认为，良好的数据表示包含实例之间的关系或语义相似性。对比学习隐含地学习关系，但认为负面的噪音是对学习关系质量有害的噪音，因此是象征性的质量。为了规避这个问题，我们提出了一种使用称为相似性对比估计（SCE）之间的情况之间的语义相似性的对比学习的新颖性。我们的培训目标可以被视为柔和的对比学习。我们提出了持续分配以基于其语义相似性推动或拉动实例的持续分配。目标相似性分布从弱增强的情况计算并锐化以消除无关的关系。每个弱增强实例都与一个强大的增强实例配对，该实例对比其积极的同时保持目标相似性分布。实验结果表明，我们所提出的SCE在各种数据集中优于其基线MoCov2和RESSL，并对ImageNet线性评估协议上的最先进的算法具有竞争力。

Neural networks trained with ERM (empirical risk minimization) sometimes learn unintended decision rules, in particular when their training data is biased, i.e., when training labels are strongly correlated with undesirable features. To prevent a network from learning such features, recent methods augment training data such that examples displaying spurious correlations (i.e., bias-aligned examples) become a minority, whereas the other, bias-conflicting examples become prevalent. However, these approaches are sometimes difficult to train and scale to real-world data because they rely on generative models or disentangled representations. We propose an alternative based on mixup, a popular augmentation that creates convex combinations of training examples. Our method, coined SelecMix, applies mixup to contradicting pairs of examples, defined as showing either (i) the same label but dissimilar biased features, or (ii) different labels but similar biased features. Identifying such pairs requires comparing examples with respect to unknown biased features. For this, we utilize an auxiliary contrastive model with the popular heuristic that biased features are learned preferentially during training. Experiments on standard benchmarks demonstrate the effectiveness of the method, in particular when label noise complicates the identification of bias-conflicting examples.

对比学习（CL）是自我监督学习（SSL）最成功的范式之一。它以原则上的方式考虑了两个增强的“视图”，同一图像是正面的，将其拉近，所有其他图像都是负面的。但是，在基于CL的技术的令人印象深刻的成功之后，它们的配方通常依赖于重型设置，包括大型样品批次，广泛的培训时代等。因此，我们有动力解决这些问题并建立一个简单，高效但有竞争力的问题对比学习的基线。具体而言，我们从理论和实证研究中鉴定出对广泛使用的Infonce损失的显着负阳性耦合（NPC）效应，从而导致有关批处理大小的不合适的学习效率。通过消除NPC效应，我们提出了脱钩的对比度学习（DCL）损失，该损失从分母中删除了积极的术语，并显着提高了学习效率。 DCL对竞争性表现具有较小的对亚最佳超参数的敏感性，既不需要SIMCLR中的大批量，Moco中的动量编码或大型时代。我们以各种基准来证明，同时表现出对次优的超参数敏感的鲁棒性。值得注意的是，具有DCL的SIMCLR在200个时期内使用批次尺寸256实现68.2％的Imagenet-1K TOP-1精度，在预训练中的表现优于其SIMCLR基线6.4％。此外，DCL可以与SOTA对比度学习方法NNCLR结合使用，以达到72.3％的Imagenet-1k Top-1精度，在400个时期的512批次大小中，这代表了对比学习中的新SOTA。我们认为DCL为将来的对比SSL研究提供了宝贵的基准。