作为自我监督的代表学习中的一个精美工具，近年来对比学习越来越关注。从本质上讲，对比学习旨在利用用于代表学习的正面和负样本对，这与利用特征空间中的邻居信息涉及利用邻居信息。通过调查对比学习和邻里分量分析（NCA）之间的联系，我们提供了一种对比学习的新型随机最近邻近的观点，并随后提出了一系列优于现有的对比损失。在我们拟议的框架下，我们展示了一种新的方法来设计集成的对比损失，可以同时实现下游任务的良好准确性和鲁棒性。凭借综合框架，我们对标准准确性的高达6 \％改进，提高了对普通准确性的17％。

最近提出的对抗自我监督的学习方法通常需要大批和长期训练时期提取强大的功能，在实际应用中是不友好的。在本文中，我们提出了一种新的对抗动力对比学习方法，它利用两个存储体来跟踪不同迷你批次的不变特征。这些存储体可以有效地结合到每次迭代中，并帮助网络学习具有较小批次的更强大的特征表示，并且较少的时期。此外，在对分类任务进行微调后，所提出的方法可以满足或超过现实世界数据集上一些最先进的监督基线的性能。我们的代码可用于\ url {https:/github.com/mtandhj/amoc}。

对比自我监督学习（CSL）已设法匹配或超过图像和视频分类中监督学习的表现。但是，仍然未知两个学习范式引起的表示的性质是否相似。我们在对抗性鲁棒性的角度下对此进行了研究。我们对该问题的分析治疗揭示了CSL对监督学习的内在更高灵敏度。它将数据表示形式在CSL表示空间中的单位过球上的统一分布是这种现象的关键因素。我们确定这会增加模型对输入扰动的敏感性，而在培训数据中存在假阴性的情况下。我们的发现得到了对对抗性扰动和其他输入损坏的图像和视频分类的广泛实验的支持。在洞察力的基础上，我们制定了简单但有效地通过CSL培训改善模型鲁棒性的策略。我们证明，对抗攻击的CSL及其受监督的对手之间的性能差距最高可下降68％。最后，我们通过将我们的发现纳入对抗性的自我监督学习中，为强大的CSL范式做出了贡献。我们证明，在该域中的两种不同的最新方法中，平均增益约为5％。

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

对比度学习（CL）最近已应用于对抗性学习任务。这种实践将对抗样本视为实例的其他积极观点，并且通过彼此达成最大的协议，可以产生更好的对抗性鲁棒性。但是，由于对抗性扰动可能会导致实例级别的身份混乱，因此这种机制可能存在缺陷，这可能会通过用单独的身份将不同的实例聚集在一起来阻碍CL性能。为了解决这个问题，我们建议在形成鲜明对比时不平等地对待对抗样本，与不对称的Infonce目标（$ a-Infonce $）允许区分对抗样本的考虑。具体而言，对手被视为降低的阳性，会引起较弱的学习信号，或者是与其他负面样本形成较高对比的艰难负面因素。以不对称的方式，可以有效地减轻CL和对抗性学习之间相互冲突目标的不利影响。实验表明，我们的方法始终超过不同鉴定方案的现有对抗性CL方法，而无需额外的计算成本。提出的A-INFONCE也是一种通用形式，可以很容易地扩展到其他CL方法。代码可从https://github.com/yqy2001/a-infonce获得。

对比度学习是图表学习中的有效无监督方法，对比度学习的关键组成部分在于构建正和负样本。以前的方法通常利用图中节点的接近度作为原理。最近，基于数据增强的对比度学习方法已进步以显示视觉域中的强大力量，一些作品将此方法从图像扩展到图形。但是，与图像上的数据扩展不同，图上的数据扩展远不那么直观，而且很难提供高质量的对比样品，这为改进留出了很大的空间。在这项工作中，通过引入一个对抗性图视图以进行数据增强，我们提出了一种简单但有效的方法，对抗图对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。我们开发了一种称为稳定训练的信息正则化的新技术，并使用子图抽样以进行可伸缩。我们通过将每个图形实例视为超级节点，从节点级对比度学习到图级。 Ariel始终优于在现实世界数据集上的节点级别和图形级分类任务的当前图对比度学习方法。我们进一步证明，面对对抗性攻击，Ariel更加强大。

在本文中，我们引入了一个新型的神经网络训练框架，该框架增加了模型对对抗性攻击的对抗性鲁棒性，同时通过将对比度学习（CL）与对抗性训练（AT）结合在一起，以保持高清洁精度。我们建议通过学习在数据增强和对抗性扰动下保持一致的特征表示来提高对对抗性攻击的模型鲁棒性。我们利用对比的学习来通过将对抗性示例视为另一个积极的例子来提高对抗性的鲁棒性，并旨在最大化数据样本的随机增强及其对抗性示例之间的相似性，同时不断更新分类头，以避免在认知解离之间分类头和嵌入空间。这种分离是由于CL将网络更新到嵌入空间的事实引起的，同时冻结用于生成新的积极对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗性特征（CLAF）的对比度学习，在该数据集上，它在替代监督和自我监督的对抗学习方法上均优于强大的精度和清洁精度。

对比度学习（CL）可以通过在其顶部的线性分类器上学习更广泛的特征表示并实现下游任务的最先进的性能。然而，由于对抗性稳健性在图像分类中变得至关重要，但仍然不清楚CL是否能够为下游任务保留鲁棒性。主要挑战是，在自我监督的预押率+监督的FineTuning范式中，由于学习任务不匹配从预先追溯到Fineetuning，对抗性鲁棒性很容易被遗忘。我们称之为挑战“跨任务稳健性转移性”。为了解决上述问题，在本文中，我们通过稳健性增强的镜头重新审视并提前CL原理。我们展示了（1）对比视图的设计事项：图像的高频分量有利于提高模型鲁棒性; （2）使用伪监督刺激（例如，诉诸特征聚类）增强CL，有助于保持稳健性而不会忘记。配备了我们的新设计，我们提出了一种新的对抗对比预制框架的advcl。我们表明Advcl能够增强跨任务稳健性转移性，而不会损失模型精度和芬降效率。通过彻底的实验研究，我们展示了Advcl优于跨多个数据集（CiFar-10，CiFar-100和STL-10）和FineTuning方案的最先进的自我监督的自我监督学习方法（线性评估和满模型fineetuning）。

尽管基于3D点云表示的基于自我监督的对比度学习模型最近取得了成功，但此类预训练模型的对抗性鲁棒性引起了人们的关注。对抗性对比学习（ACL）被认为是改善预训练模型的鲁棒性的有效方法。相比之下，投影仪被认为是在对比度预处理过程中删除不必要的特征信息的有效组成部分，并且大多数ACL作品还使用对比度损失，与预测的功能表示形式相比损失，在预处理中产生对抗性示例，而“未转移”的功能表征用于发电的对抗性输入。在推理期间。由于投影和“未投影”功能之间的分布差距，其模型受到限制，以获取下游任务的可靠特征表示。我们介绍了一种新方法，通过利用虚拟对抗性损失在对比度学习框架中使用“未重新注射”功能表示，以生成高质量的3D对抗示例，以进行对抗训练。我们介绍了强大的意识损失功能，以对抗自我监督对比度学习框架。此外，我们发现选择具有正常操作员（DON）操作员差异的高差异作为对抗性自学对比度学习的附加输入，可以显着提高预训练模型的对抗性鲁棒性。我们在下游任务上验证我们的方法，包括3D分类和使用多个数据集的3D分割。它在最先进的对抗性学习方法上获得了可比的鲁棒精度。

自我监督的学习方法，如对比学习，在自然语言处理中非常重视。它使用对培训数据增强对具有良好表示能力的编码器构建分类任务。然而，在对比学习的学习成对的构建在NLP任务中更难。以前的作品生成单词级更改以形成对，但小变换可能会导致句子含义的显着变化作为自然语言的离散和稀疏性质。在本文中，对对抗的训练在NLP的嵌入空间中产生了挑战性和更难的学习对抗性示例作为学习对。使用对比学学习提高了对抗性培训的泛化能力，因为对比损失可以使样品分布均匀。同时，对抗性培训也提高了对比学习的稳健性。提出了两种小说框架，监督对比对抗学习（SCAS）和无监督的SCAS（USCAL），通过利用对比学习的对抗性培训来产生学习成对。利用基于标签的监督任务丢失，以产生对抗性示例，而无监督的任务会带来对比损失。为了验证所提出的框架的有效性，我们将其雇用到基于变换器的模型，用于自然语言理解，句子语义文本相似性和对抗学习任务。胶水基准任务的实验结果表明，我们的微调监督方法优于BERT $ _ {基础} $超过1.75 \％。我们还评估我们对语义文本相似性（STS）任务的无监督方法，并且我们的方法获得77.29 \％with bert $ _ {base} $。我们方法的稳健性在NLI任务的多个对抗性数据集下进行最先进的结果。

对比表示学习旨在通过估计数据的多个视图之间的共享信息来获得有用的表示形式。在这里，数据增强的选择对学会表示的质量很敏感：随着更难的应用，数据增加了，视图共享更多与任务相关的信息，但也可以妨碍表示代表的概括能力。在此激励的基础上，我们提出了一种新的强大的对比度学习计划，即r \'enyicl，可以通过利用r \'enyi差异来有效地管理更艰难的增强。我们的方法建立在r \'enyi差异的变异下限基础上，但是由于差异很大，对变异方法的使用是不切实际的。要应对这一挑战，我们提出了一个新颖的对比目标，该目标是进行变异估计的新型对比目标偏斜r \'enyi的分歧，并提供理论保证，以确保偏差差异如何导致稳定训练。我们表明，r \'enyi对比度学习目标执行先天的硬性负面样本和易于选择的阳性抽样学习有用的功能并忽略滋扰功能。通过在Imagenet上进行实验，我们表明，r \'enyi对比度学习具有更强的增强性能优于其他自我监督的方法，而无需额外的正则化或计算上的开销。图形和表格，显示了与其他对比方法相比的经验增益。

通过对比学习学到的表示的概括依赖于提取数据的特征。然而，我们观察到，对比损失并不总是充分引导提取的特征，可以通过无意中抑制重要预测特征来对下游任务对下游任务的性能产生负面影响的行为。我们发现特征提取受到所谓的实例歧视任务的难度的影响（即，鉴别不同分数的相似点的任务）。虽然更难以改善一些特征的表示，但改进是以抑制先前良好的特征的成本。作为响应，我们提出了隐含的特征修改（IFM），一种改变正和阴性样本的方法，以便引导对比模型来捕获更广泛的预测特征。凭经验，我们观察到IFM减少了特征抑制，结果提高了视觉和医学成像任务的性能。代码可在：\ url {https://github.com/joshr17/ifm}可用。

最近，对抗性训练已被纳入自我监督的对比预训练中，以增强标签效率，并具有令人兴奋的对抗性鲁棒性。但是，鲁棒性是经过昂贵的对抗训练的代价。在本文中，我们表明了一个令人惊讶的事实，即对比的预训练与稳健性具有有趣而隐含的联系，并且在经过训练的代表中如此自然的鲁棒性使我们能够设计出一种强大的鲁棒算法，以防止对抗性攻击，Rush，将标准组合在一起。对比的预训练和随机平滑。它提高了标准准确性和强大的精度，并且与对抗训练相比，培训成本大大降低了。我们使用广泛的经验研究表明，拟议中的Rush在一阶攻击下的共同基准（CIFAR-10，CIFAR-100和STL-10）的大幅度优于对抗性训练的强大分类器。特别是，在$ \ ell _ {\ infty} $下 - 大小为8/255 PGD攻击CIFAR-10的标准扰动，我们使用RESNET-18作为骨架达到77.8％的型号达到77.8％稳健精度和87.9％的标准精度。与最先进的工作相比，我们的工作的鲁棒精度提高了15％以上，标准准确性略有提高。

本文研究了深度神经网络训练期间的语义对齐功能如何增加网络鲁棒性。最近的作品观察到对抗性训练导致强大的模型，其学众的特征似乎与人类感知相关。通过这种联系的启发，从鲁棒性到语义，我们研究了互补的连接：从语义到鲁棒性。为此，我们为基于距离的分类模型（基于群集的分类器）提供了一种稳健性证书。此外，我们表明该证书紧张，我们利用它提出植入攻击（鲁棒性培训），是一种基于集群和对抗的培训框架来学习强大的模型。有趣的是，\ Textit {Clustr}在强大的PGD攻击下优于普遍训练的网络，高达4 \％$ 4 \％。

对比度学习重要的是什么？我们认为，对比度学习在很大程度上取决于信息丰富的特征或“硬”（正面或负面）特征。早期作品包括通过应用复杂的数据增强和较大的批量尺寸或内存库以及最近的作品设计精心设计的采样方法来探索信息丰富的功能，包括更有信息的功能。探索此类功能的关键挑战是，通过应用随机数据增强来生成源多视图数据，这使得始终在增强数据中添加有用的信息是不可行的。因此，从这种增强数据中学到的功能的信息有限。作为回应，我们建议直接增强潜在空间中的特征，从而在没有大量输入数据的情况下学习判别性表示。我们执行一种元学习技术来构建通过考虑编码器的性能来更新其网络参数的增强生成器。但是，输入数据不足可能会导致编码器学习折叠功能，从而导致增强发生器故障。在目标函数中进一步添加了新的注入边缘的正则化，以避免编码器学习退化映射。为了对比一个梯度背部传播步骤中的所有特征，我们采用了提出的优化驱动的统一对比损失，而不是常规的对比损失。从经验上讲，我们的方法在几个基准数据集上实现了最新的结果。

标准的对比学习方法通常需要大量的否定否定有效的无监督学习，并且往往表现出缓慢的收敛性。我们怀疑这种行为是由于用于提供与积极鲜明对比的否定的廉价选择。我们通过从支持向量机（SVM）的灵感来呈现最大值保证金对比学习（MMCL）来抵消这种困难。我们的方法选择否定作为通过二次优化问题获得的稀疏支持向量，通过最大化决策余量来强制执行对比度。由于SVM优化可以计算要求，特别是在端到端设置中，我们提出了缓解计算负担的简化。我们验证了我们对标准视觉基准数据集的方法，展示了在无监督的代表上学习最先进的表现，同时具有更好的经验收敛性。

对比度学习是图表学习中有效的无监督方法。最近，基于数据增强的对比度学习方法已从图像扩展到图形。但是，大多数先前的作品都直接根据为图像设计的模型进行了调整。与图像上的数据增强不同，图表上的数据扩展远不那么直观，而且很难提供高质量的对比样本，这是对比度学习模型的性能的关键。这为改进现有图形对比学习框架留出了很多空间。在这项工作中，通过引入对抗图视图和信息正常化程序，我们提出了一种简单但有效的方法，即对逆向对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。它始终优于各种现实世界数据集的节点分类任务中当前的图形对比度学习方法，并进一步提高了图对比度学习的鲁棒性。

尽管对神经网络进行了监督学习的巨大进展，但在获得高质量，大规模和准确标记的数据集中存在重大挑战。在这种情况下，在本文中，我们在存在标签噪声的情况下解决分类问题，更具体地，既有闭合和开放式标签噪声，就是样本的真实标签或可能不属于时给定标签的集合。在我们的方法中，方法是一种样本选择机制，其依赖于样本的注释标签与其邻域中标签的分布之间的一致性;依赖于分类器跨后续迭代的置信机制的依赖标签机制;以及培训编码器的培训策略，同时通过单独的选择样本上的跨熵丢失和分类器编码器培训。没有钟声和口哨，如共同训练，以便减少自我确认偏差，并且对其少数超参数的环境具有鲁棒性，我们的方法显着超越了与人工噪声和真实的CIFAR10 / CIFAR100上的先前方法-world噪声数据集如webvision和动物-10n。

混音是一种有效的数据增强方法，它通过各自的原始数据点和标签的凸组合生成其他样品。尽管理论上依赖于数据属性，但据报道，混合效果很好地作为正规器和校准器，可以促进可靠的鲁棒性和对神经网络训练的概括。在本文中，灵感来自于使用课外样本来协助目标任务的Universum学习的启发，我们从很大程度上探索的视角进行了调查 - 生成不属于目标类别的内域样本的潜力，也就是说，大学。我们发现，在受监督的对比学习的框架内，Universum风格的混音产生了令人惊讶的高质量的艰苦负面负面因素，极大地缓解了对比度学习中对大批量大小的需求。有了这些发现，我们提出了以Universum为灵感的对比学习（UNICON），该学习结合了混合策略，以生成Unikeum数据作为G-阴性，并将其与目标类别的锚定样品分开。我们的方法不仅可以改善与硬标签的混合，而且还创新了一种新的措施来生成Universum数据。通过学习表示的线性分类器，我们的方法在CIFAR-100上实现了81.68％的TOP-1准确性，超过5％的明显差距为5％，批量较小，通常为256，在Unicon vs. 1024中，在SUPCON中使用Resnet-50。