从积极和未标记的（PU）数据中学习是一种设置，学习者只能访问正面和未标记的样本，而没有关于负面示例的信息。这种PU环境在各种任务中非常重要，例如医学诊断，社交网络分析，金融市场分析和知识基础完成，这些任务也往往本质上是不平衡的，即大多数示例实际上是负面的。但是，大多数现有的PU学习方法仅考虑人工平衡的数据集，目前尚不清楚它们在不平衡和长尾数据分布的现实情况下的表现如何。本文提议通过强大而有效的自我监督预处理来应对这一挑战。但是，培训传统的自我监督学习方法使用高度不平衡的PU分布需要更好的重新重新制定。在本文中，我们提出\ textit {Impulses}，这是\ usewanced {im}平衡\下划线{p} osive \ unesive \ usepline {u} nlabeLed \ underline {l}的统一表示的学习框架{p}。 \下划线{s}削弱了debiase预训练。 Impulses使用大规模无监督学习的通用组合以及对比度损失和额外重新持续的PU损失的一般组合。我们在多个数据集上进行了不同的实验，以表明Impuls能够使先前最新的错误率减半，即使与先前给出的真实先验的方法相比。此外，即使在无关的数据集上进行了预处理，我们的方法也表现出对事先错误指定和卓越性能的鲁棒性。我们预计，这种稳健性和效率将使从业者更容易在其他感兴趣的PU数据集上获得出色的结果。源代码可在\ url {https://github.com/jschweisthal/impulses}中获得

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。

对比度学习是视觉表示学习最成功的方法之一，可以通过在学习的表示上共同执行聚类来进一步提高其性能。但是，现有的联合聚类和对比度学习的方法在长尾数据分布上表现不佳，因为多数班级压倒了少数群体的损失，从而阻止了学习有意义的表示形式。由此激励，我们通过适应偏见的对比损失，以避免群集中的少数群体类别的不平衡数据集来开发一种新颖的联合聚类和对比度学习框架。我们表明，我们提出的修改后的对比损失和分歧聚类损失可改善多个数据集和学习任务的性能。源代码可从https://anonymon.4open.science/r/ssl-debiased-clustering获得

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

A prominent technique for self-supervised representation learning has been to contrast semantically similar and dissimilar pairs of samples. Without access to labels, dissimilar (negative) points are typically taken to be randomly sampled datapoints, implicitly accepting that these points may, in reality, actually have the same label. Perhaps unsurprisingly, we observe that sampling negative examples from truly different labels improves performance, in a synthetic setting where labels are available. Motivated by this observation, we develop a debiased contrastive objective that corrects for the sampling of same-label datapoints, even without knowledge of the true labels. Empirically, the proposed objective consistently outperforms the state-of-the-art for representation learning in vision, language, and reinforcement learning benchmarks. Theoretically, we establish generalization bounds for the downstream classification task.

积极的未标记（PU）学习旨在仅从积极和未标记的培训数据中学习二进制分类器。最近的方法通过发展无偏的损失功能通过对成本敏感的学习解决了这一问题，后来通过迭代伪标记解决方案改善了其性能。但是，这样的两步程序容易受到错误估计的伪标签的影响，因为在以后的错误预测训练新模型时，在以后的迭代中传播了错误。为了防止这种确认偏见，我们提出PUUPL是PU学习的新型损失不足的训练程序，该程序将认知不确定性纳入伪标签选择中。通过使用基于低确定性预测的神经网络的合奏并分配伪标记，我们表明PUUPL提高了伪标签的可靠性，提高了我们方法的预测性能，并导致了新的最先进的结果在自我训练中进行PU学习。通过广泛的实验，我们显示了方法对不同数据集，模式和学习任务的有效性，以及改进的校准，对先前拼写错误的稳健性，偏见的正数据和不平衡数据集。

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

标准的对比学习方法通常需要大量的否定否定有效的无监督学习，并且往往表现出缓慢的收敛性。我们怀疑这种行为是由于用于提供与积极鲜明对比的否定的廉价选择。我们通过从支持向量机（SVM）的灵感来呈现最大值保证金对比学习（MMCL）来抵消这种困难。我们的方法选择否定作为通过二次优化问题获得的稀疏支持向量，通过最大化决策余量来强制执行对比度。由于SVM优化可以计算要求，特别是在端到端设置中，我们提出了缓解计算负担的简化。我们验证了我们对标准视觉基准数据集的方法，展示了在无监督的代表上学习最先进的表现，同时具有更好的经验收敛性。

现实世界中的数据通常遵循长尾巴的分布，其中一些多数类别占据了大多数数据，而大多数少数族裔类别都包含有限数量的样本。分类模型最小化跨凝结的努力来代表和分类尾部类别。尽管已经对学习无偏分类器的学习问题进行了充分的研究，但代表不平衡数据的方法却没有探索。在本文中，我们专注于表示不平衡数据的表示。最近，受到监督的对比学习最近在平衡数据上表现出了有希望的表现。但是，通过我们的理论分析，我们发现对于长尾数据，它未能形成常规的单纯形，这是代表学习的理想几何配置。为了纠正SCL的优化行为并进一步改善了长尾视觉识别的性能，我们提出了平衡对比度学习（BCL）的新型损失。与SCL相比，我们在BCL：类平均水平方面有两个改进，可以平衡负类的梯度贡献。课堂组合，允许所有类都出现在每个迷你批次中。提出的平衡对比度学习（BCL）方法满足形成常规单纯形的条件并有助于跨透明拷贝的优化。配备了BCL，提出的两分支框架可以获得更强的特征表示，并在诸如CIFAR-10-LT，CIFAR-100-LT，Imagenet-LT和Inaturalist2018之类的长尾基准数据集上实现竞争性能。我们的代码可在\ href {https://github.com/flamiezhu/bcl} {this url}中获得。

对比度学习（CL）方法有效地学习数据表示，而无需标记监督，在该方法中，编码器通过单VS-MONY SOFTMAX跨透镜损失将每个正样本在多个负样本上对比。通过利用大量未标记的图像数据，在Imagenet上预先训练时，最近的CL方法获得了有希望的结果，这是一个具有均衡图像类的曲制曲线曲线集。但是，当对野外图像进行预训练时，它们往往会产生较差的性能。在本文中，为了进一步提高CL的性能并增强其对未经保育数据集的鲁棒性，我们提出了一种双重的CL策略，该策略将其内部查询的正（负）样本对比，然后才能决定多么强烈地拉动（推）。我们通过对比度吸引力和对比度排斥（CACR）意识到这一策略，这使得查询不仅发挥了更大的力量来吸引更遥远的正样本，而且可以驱除更接近的负面样本。理论分析表明，CACR通过考虑正/阴性样品的分布之间的差异来概括CL的行为，而正/负样品的分布通常与查询独立进行采样，并且它们的真实条件分布给出了查询。我们证明了这种独特的阳性吸引力和阴性排斥机制，这有助于消除在数据集的策划较低时尤其有益于数据及其潜在表示的统一先验分布的需求。对许多标准视觉任务进行的大规模大规模实验表明，CACR不仅在表示学习中的基准数据集上始终优于现有的CL方法，而且在对不平衡图像数据集进行预训练时，还表现出更好的鲁棒性。

在对比学习中，最近的进步表现出了出色的表现。但是，绝大多数方法仅限于封闭世界的环境。在本文中，我们通过挖掘开放世界的环境来丰富表示学习的景观，其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距，我们引入了一个新的学习框架，开放世界的对比学习（Opencon）。Opencon应对已知和新颖阶级学习紧凑的表现的挑战，并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上，Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法，分别胜过11.9％和7.4％。我们希望我们的工作能为未来的工作打开新的大门，以解决这一重要问题。

由于其无监督的性质和下游任务的信息性特征表示，实例歧视自我监督的代表学习受到了受到关注的。在实践中，它通常使用比监督类的数量更多的负样本。然而，现有分析存在不一致;从理论上讲，大量的负样本在下游监督任务上降低了分类性能，同时凭经验，它们提高了性能。我们提供了一种新颖的框架，用于使用优惠券收集器的问题分析关于负样本的经验结果。我们的界限可以通过增加负样本的数量来隐立地纳入自我监督损失中的下游任务的监督损失。我们确认我们的拟议分析持有现实世界基准数据集。

This paper presents a novel positive and negative set selection strategy for contrastive learning of medical images based on labels that can be extracted from clinical data. In the medical field, there exists a variety of labels for data that serve different purposes at different stages of a diagnostic and treatment process. Clinical labels and biomarker labels are two examples. In general, clinical labels are easier to obtain in larger quantities because they are regularly collected during routine clinical care, while biomarker labels require expert analysis and interpretation to obtain. Within the field of ophthalmology, previous work has shown that clinical values exhibit correlations with biomarker structures that manifest within optical coherence tomography (OCT) scans. We exploit this relationship between clinical and biomarker data to improve performance for biomarker classification. This is accomplished by leveraging the larger amount of clinical data as pseudo-labels for our data without biomarker labels in order to choose positive and negative instances for training a backbone network with a supervised contrastive loss. In this way, a backbone network learns a representation space that aligns with the clinical data distribution available. Afterwards, we fine-tune the network trained in this manner with the smaller amount of biomarker labeled data with a cross-entropy loss in order to classify these key indicators of disease directly from OCT scans. Our method is shown to outperform state of the art self-supervised methods by as much as 5% in terms of accuracy on individual biomarker detection.

在监督的学习中，获得大量全标记的培训数据很昂贵。我们表明，我们并不总是需要关于每个培训示例的完整标签信息来培训合格的分类器。具体而言，受统计原则的启发，我们提出了完全标记的培训集的统计量（摘要），该培训集几乎捕获了分类的所有相关信息，但同时更容易直接获得。我们称此统计数据为“足够标记的数据”，并证明其足够的和效率可以找到最佳的隐藏表示形式，可以在其中使用少量随机选择的单个随机选择的全标签示例，可以在其中训练有效的分类器头。可以直接从注释者获得足够标记的数据，而无需首先收集完全标记的数据。我们证明，与获得完全标记的数据相比，直接获得足够标记的数据要容易得多。此外，足够标记的数据自然更加安全，因为它存储了相对而不是绝对的信息。提供广泛的实验结果以支持我们的理论。

对比表示学习旨在通过估计数据的多个视图之间的共享信息来获得有用的表示形式。在这里，数据增强的选择对学会表示的质量很敏感：随着更难的应用，数据增加了，视图共享更多与任务相关的信息，但也可以妨碍表示代表的概括能力。在此激励的基础上，我们提出了一种新的强大的对比度学习计划，即r \'enyicl，可以通过利用r \'enyi差异来有效地管理更艰难的增强。我们的方法建立在r \'enyi差异的变异下限基础上，但是由于差异很大，对变异方法的使用是不切实际的。要应对这一挑战，我们提出了一个新颖的对比目标，该目标是进行变异估计的新型对比目标偏斜r \'enyi的分歧，并提供理论保证，以确保偏差差异如何导致稳定训练。我们表明，r \'enyi对比度学习目标执行先天的硬性负面样本和易于选择的阳性抽样学习有用的功能并忽略滋扰功能。通过在Imagenet上进行实验，我们表明，r \'enyi对比度学习具有更强的增强性能优于其他自我监督的方法，而无需额外的正则化或计算上的开销。图形和表格，显示了与其他对比方法相比的经验增益。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

学习时间序列表示只有未标记的数据或几个标签样本可用时，可能是一项具有挑战性的任务。最近，通过对比，通过对比的不同数据观点从未标记的数据中提取有用的表示形式方面，对对比的自我监督学习表现出了很大的改进。在这项工作中，我们通过时间和上下文对比（TS-TCC）提出了一个新颖的时间序列表示学习框架，该框架从未标记的数据中学习了具有对比性学习的无标记数据的表示。具体而言，我们建议时间序列特定的弱和强大的增强，并利用他们的观点在拟议的时间对比模块中学习稳健的时间关系，除了通过我们提出的上下文对比模块学习判别性表示。此外，我们对时间序列数据增强选择进行系统研究，这是对比度学习的关键部分。我们还将TS-TCC扩展到了半监督的学习设置，并提出了一种类感知的TS-TCC（CA-TCC），从可用的少数标​​记数据中受益，以进一步改善TS-TCC学到的表示。具体而言，我们利用TS-TCC生成的强大伪标签来实现班级感知的对比损失。广泛的实验表明，对我们提议的框架所学的功能的线性评估与完全监督的培训相当。此外，我们的框架在少数标记的数据和转移学习方案中显示出高效率。该代码可在\ url {https://github.com/emadeldeen24/ts-tcc}上公开获得。

我们提出了一个新颖的半监督学习框架，该框架巧妙地利用了模型的预测，从两个强烈的图像观点中的预测之间的一致性正则化，并由伪标签的信心加权，称为conmatch。虽然最新的半监督学习方法使用图像的弱和强烈的观点来定义方向的一致性损失，但如何为两个强大的观点之间的一致性定义定义这种方向仍然没有探索。为了解决这个问题，我们通过弱小的观点作为非参数和参数方法中的锚点来提出从强大的观点中对伪标签的新颖置信度度量。特别是，在参数方法中，我们首次介绍了伪标签在网络中的信心，该网络的信心是以端到端方式通过骨干模型学习的。此外，我们还提出了阶段训练，以提高培训的融合。当纳入现有的半监督学习者中时，并始终提高表现。我们进行实验，以证明我们对最新方法的有效性并提供广泛的消融研究。代码已在https://github.com/jiwoncocoder/conmatch上公开提供。

异常检测（AD），将异常与正常数据分开，从安全性到医疗保健都有许多范围内的应用程序。尽管大多数以前的作品都被证明对具有完全或部分标记数据的案例有效，但由于标记对此任务特别乏味，因此设置在实践中较不常见。在本文中，我们专注于完全无监督的AD，其中包含正常样本和异常样本的整个培训数据集未标记。为了有效地解决这个问题，我们建议通过使用数据改进过程来提高接受自我监督表示的一类分类的鲁棒性。我们提出的数据完善方法基于单级分类器（OCCS）的集合，每个分类器均经过培训的训练数据子集。随着数据改进的改进，通过自我监督学习学到的表示的表示。我们在具有图像和表格数据的各种无监督的AD任务上演示了我们的方法。 CIFAR-10图像数据的异常比率为10％ /甲状腺表格数据的2.5％异常比率，该方法的表现优于最先进的单级分类器，高于6.3 AUC和12.5平均精度 / 22.9 F1评分。 。

Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies, either at the image or the feature level, improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e. the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing memory requirements, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection, and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.Project page: https://europe.naverlabs.com/mochi 34th Conference on Neural Information Processing Systems (NeurIPS 2020),