对比学习被出现为强大的代表学习方法，促进各种下游任务，特别是当监督数据有限时。如何通过数据增强构建有效的对比样本是其成功的关键。与视觉任务不同，语言任务中尚未对对比学习进行对比学习的数据增强方法。在本文中，我们提出了一种使用文本摘要构建语言任务的对比样本的新方法。我们使用这些样本进行监督的对比学习，以获得更好的文本表示，这极大地利用了具有有限注释的文本分类任务。为了进一步改进该方法，除了交叉熵损失之外，我们将从不同类中的样本混合并添加一个名为MIXSUM的额外正则化。真实世界文本分类数据集（Amazon-5，Yelp-5，AG新闻和IMDB）的实验展示了基于摘要的数据增强和MIXSUM正规化的提议对比学习框架的有效性。

最近，已证明有监督的对比度学习（SCL）在大多数分类任务中都能取得出色的表现。在SCL中，对神经网络进行了训练，可以优化两个目标：在嵌入空间中将锚定和阳性样品一起拉在一起，并将锚点推开。但是，这两个不同的目标可能需要冲突，需要在优化期间之间进行权衡。在这项工作中，我们将SCL问题作为Roberta语言模型的微调阶段的多目标优化问题。使用两种方法来解决优化问题：（i）线性标量（LS）方法，该方法可最大程度地减少持久性损失的加权线性组合； （ii）确切的帕累托最佳（EPO）方法，该方法找到了帕累托正面与给定优先矢量的相交。我们在不使用数据增强，内存库或生成对抗性示例的情况下评估了几个胶合基准任务的方法。经验结果表明，提出的学习策略大大优于强大的竞争性学习基线

学习高质量的对话表示对于解决各种面向对话的任务至关重要，尤其是考虑到对话系统通常会遇到数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，它学习有效的对话表示，适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单，但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务，这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明，DSE的表现要优于基线。例如，它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13％的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。

本文提出了一种简单但有效的基于插值的数据增强方法，称为Doublemix，以改善模型在文本分类中的鲁棒性。 Doublemix首先利用几个简单的增强操作来为每个培训数据生成几个扰动的样本，然后使用扰动的数据和原始数据在神经模型的隐藏空间中进行两步插值。具体而言，它首先将扰动的数据混合到合成样本中，然后混合原始数据和合成的扰动数据。 Doublemix通过学习隐藏空间中的“转移”功能来增强模型的鲁棒性。在六个文本分类基准数据集上，我们的方法优于几种流行的文本增强方法，包括令牌级别，句子级别和隐藏级数据增强技术。此外，低资源设置中的实验表明，当培训数据稀缺时，我们的方法一致地改善了模型的性能。广泛的消融研究和案例研究证实，我们方法的每个组成部分都有助于最终表现，并表明我们的方法在具有挑战性的反例中表现出卓越的表现。此外，视觉分析表明，我们方法生成的文本特征是高度可解释的。我们的本文代码可以在https://github.com/declare-lab/doublemix.git上找到。

The effective application of contrastive learning technology in natural language processing tasks shows the superiority of contrastive learning in text analysis tasks. How to construct positive and negative samples correctly and reasonably is the core challenge of contrastive learning. Since it is difficult to construct contrastive objects in multi-label multi-classification tasks, there are few contrastive losses for multi-label multi-classification text classification. In this paper, we propose five contrastive losses for multi-label multi-classification tasks. They are Strict Contrastive Loss (SCL), Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL), and Jaccard Similarity Probability Contrastive Loss (JSPCL) and Stepwise Label Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning for multi-label multi-classification tasks under different strategies, and provide a set of baseline methods for contrastive learning techniques on multi-label classification tasks. We also perform an interpretability analysis of our approach to show how different contrastive learning methods play their roles. The experimental results in this paper demonstrate that our proposed contrastive losses can bring some improvement for multi-label multi-classification tasks. Our work reveal how to "appropriately" change the contrastive way of contrastive learning is the key idea to improve the adaptability of contrastive learning in multi-label multi-classification tasks.

存在预训练模型在各种文本分类任务上取得了最先进的性能。这些模型已被证明可用于学习普遍语言表示。然而，通过先进的预训练模型无法有效地区分类似文本之间的语义差异，这对难以区分类的性能产生了很大的影响。为了解决这个问题，我们在这项工作中提出了一种与标签距离（CLLD）的新型对比学习。灵感来自最近对比学习的进步，我们专门设计了一种具有标签距离的分类方法，用于学习对比类。 CLLD可确保在导致不同标签分配的细微差别中的灵活性，并为同时具有相似性的每个类生成不同的表示。关于公共基准和内部数据集的广泛实验表明，我们的方法提高了预先训练模型在分类任务上的性能。重要的是，我们的实验表明，学习的标签距离减轻了细胞的对抗性质。

自我监督的学习方法，如对比学习，在自然语言处理中非常重视。它使用对培训数据增强对具有良好表示能力的编码器构建分类任务。然而，在对比学习的学习成对的构建在NLP任务中更难。以前的作品生成单词级更改以形成对，但小变换可能会导致句子含义的显着变化作为自然语言的离散和稀疏性质。在本文中，对对抗的训练在NLP的嵌入空间中产生了挑战性和更难的学习对抗性示例作为学习对。使用对比学学习提高了对抗性培训的泛化能力，因为对比损失可以使样品分布均匀。同时，对抗性培训也提高了对比学习的稳健性。提出了两种小说框架，监督对比对抗学习（SCAS）和无监督的SCAS（USCAL），通过利用对比学习的对抗性培训来产生学习成对。利用基于标签的监督任务丢失，以产生对抗性示例，而无监督的任务会带来对比损失。为了验证所提出的框架的有效性，我们将其雇用到基于变换器的模型，用于自然语言理解，句子语义文本相似性和对抗学习任务。胶水基准任务的实验结果表明，我们的微调监督方法优于BERT $ _ {基础} $超过1.75 \％。我们还评估我们对语义文本相似性（STS）任务的无监督方法，并且我们的方法获得77.29 \％with bert $ _ {base} $。我们方法的稳健性在NLI任务的多个对抗性数据集下进行最先进的结果。

自动医疗问题摘要可以极大地帮助系统了解消费者健康问题并检索正确的答案。基于最大似然估计（MLE）的SEQ2SEQ模型已在此任务中应用，这面临两个一般问题：该模型无法捕获良好的问题，并且传统的MLE策略缺乏理解句子级语义的能力。为了减轻这些问题，我们提出了一个新颖的问题焦点驱动的对比学习框架（QFCL）。特别是，我们提出了一种简单有效的方法来基于问题的重点生成硬性样本，并利用编码器和解码器的对比度学习以获得更好的句子级别表示。在三个医疗基准数据集上，我们提出的模型可实现新的最新结果，并在三个数据集的基线BART模型上获得了5.33、12.85和3.81点的性能增益。进一步的人类判断和详细的分析证明，我们的QFCL模型可以学习更好的句子表示，具有区分不同句子含义的能力，并通过捕获问题重点来产生高质量的摘要。

跨域情绪分析旨在使用在源域上训练的模型来预测目标域中文本的情感，以应对标记数据的稀缺性。先前的研究主要是针对任务的基于跨透明的方法，这些方法受到不稳定性和泛化不良的方式。在本文中，我们探讨了有关跨域情绪分析任务的对比度学习。我们提出了一个经过修改的对比度目标，其中包括隔离式负面样本，以便将同一类的句子表示将被推开，而来自不同类别的句子表示在潜在空间中进一步分开。在两个广泛使用的数据集上进行的实验表明，我们的模型可以在跨域和多域情绪分析任务中实现最先进的性能。同时，可视化证明了在源域中学习的知识转移到目标域的有效性，并且对抗性测试验证了我们模型的鲁棒性。

无监督的对比度学习（UCL）是一种自我监督的学习技术，旨在通过将正面样本彼此接近，同时将负面样本推到嵌入空间中远处，以学习有用的表示功能。为了提高UCL的性能，几项作品引入了旨在选择“硬”阴性样本与UCL中使用的随机采样策略相比，旨在选择“硬”阴性样本的硬性阴性对比度学习（H-UCL）。在另一种方法中，在假设标签信息可用的假设下，有监督的对比学习（SCL）最近通过将UCL扩展到完全监督的环境来开发。在本文中，由于硬性采样策略在H-UCL中的有效性以及标签信息在SCL中的有用性的启发性，我们提出了一个称为硬性负责监督的对比度学习（H-SCL）的对比学习框架。我们的数值结果证明了H-SCL在几个图像数据集上对SCL和H-UCL的有效性。另外，从理论上讲，在某些条件下，H-SCL的目标函数可以受H-UCL的目标函数的界定，而不是由UCL的目标函数界定。因此，将H-UCL损失最小化可以作为最小化H-SCL损失的代理，而最小化UCL损失不能。正如我们数值表明H-SCL优于其他对比学习方法时，我们的理论结果（通过H-UCL损失界限H-SCL损失）有助于解释为什么H-UCL在实践中优于UCL。

对比学习模型在无监督的视觉表示学习中取得了巨大成功，这使得相同图像的不同视图的特征表示之间的相似性最大化，同时最小化不同图像的视图的特征表示之间的相似性。在文本摘要中，输出摘要是输入文档的较短形式，它们具有类似的含义。在本文中，我们提出了对监督抽象文本摘要的对比学习模型，在那里我们查看文档，它的金摘要及其模型生成的摘要，与相同的平均表示的不同视图，并在培训期间最大化它们之间的相似性。我们在三个不同的摘要数据集上改进了一个强序列到序列文本生成模型（即，BART）。人类评估还表明，与其对应物相比，我们的模型达到了更好的忠实性评级，没有对比的目标。

长期以来，半监督学习（SSL）已被证明是一种有限的标签模型的有效技术。在现有的文献中，基于一致性的基于正则化的方法，这些方法迫使扰动样本具有类似的预测，而原始的样本则引起了极大的关注。但是，我们观察到，当标签变得极为有限时，例如，每个类别的2或3标签时，此类方法的性能会大大降低。我们的实证研究发现，主要问题在于语义信息在数据增强过程中的漂移。当提供足够的监督时，可以缓解问题。但是，如果几乎没有指导，错误的正则化将误导网络并破坏算法的性能。为了解决该问题，我们（1）提出了一种基于插值的方法来构建更可靠的正样品对； （2）设计一种新颖的对比损失，以指导学习网络的嵌入以在样品之间进行线性更改，从而通过扩大保证金决策边界来提高网络的歧视能力。由于未引入破坏性正则化，因此我们提出的算法的性能在很大程度上得到了改善。具体而言，所提出的算法的表现优于第二好算法（COMATT），而当CIFAR-10数据集中的每个类只有两个标签可用时，可以实现88.73％的分类精度，占5.3％。此外，我们通过通过我们提出的策略大大改善现有最新算法的性能，进一步证明了所提出的方法的普遍性。

Machine-Generated Text (MGT) detection, a task that discriminates MGT from Human-Written Text (HWT), plays a crucial role in preventing misuse of text generative models, which excel in mimicking human writing style recently. Latest proposed detectors usually take coarse text sequence as input and output some good results by fine-tune pretrained models with standard cross-entropy loss. However, these methods fail to consider the linguistic aspect of text (e.g., coherence) and sentence-level structures. Moreover, they lack the ability to handle the low-resource problem which could often happen in practice considering the enormous amount of textual data online. In this paper, we present a coherence-based contrastive learning model named CoCo to detect the possible MGT under low-resource scenario. Inspired by the distinctiveness and permanence properties of linguistic feature, we represent text as a coherence graph to capture its entity consistency, which is further encoded by the pretrained model and graph neural network. To tackle the challenges of data limitations, we employ a contrastive learning framework and propose an improved contrastive loss for making full use of hard negative samples in training stage. The experiment results on two public datasets prove our approach outperforms the state-of-art methods significantly.

放射学报告是非结构化的，并包含由放射科医生转录的成像发现和相应的诊断，包括临床事实和否定和/或不确定的陈述。从放射学报告中提取病理发现和诊断对于质量控制，人口健康和监测疾病进展至关重要。现有的作品，主要依赖于基于规则的系统或基于变压器的预训练模型微调，但不能考虑事实和不确定的信息，因此产生假阳性输出。在这项工作中，我们介绍了三种宗旨的增强技术，在产生了对比学习的增强时保留了事实和关键信息。我们介绍了Radbert-Cl，通过自我监督的对比损失将这些信息融入蓝莓。我们对MIMIC-CXR的实验显示了RADBERT-CL在多级多标签报告分类的微调上的卓越性能。我们说明，当有很少有标记的数据时，Radbert-Cl以常规的SOTA变压器（BERT / Bluebert）优于更大的边缘（6-11％）。我们还表明，Radbert-CL学习的表示可以在潜伏空间中捕获关键的医疗信息。

我们介绍了一种新的损失函数TriplePropy，提高微调普通知识的分类性能，基于交叉熵和软损失。这种损失功能可以通过跨熵损失改善强大的罗伯拉基线模型，大约（0.02％ - 2.29％）。对流行数据集的彻底测试表示稳定增益。训练数据集中的样品越小，增益越高，对于小型数据集而言，其为0.78％，用于中等大小 - 0.86％，大约0.20％，超大0.04％。

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

数据增强是通过转换为机器学习的人工创建数据的人工创建，是一个跨机器学习学科的研究领域。尽管它对于增加模型的概括功能很有用，但它还可以解决许多其他挑战和问题，从克服有限的培训数据到正规化目标到限制用于保护隐私的数据的数量。基于对数据扩展的目标和应用的精确描述以及现有作品的分类法，该调查涉及用于文本分类的数据增强方法，并旨在为研究人员和从业者提供简洁而全面的概述。我们将100多种方法划分为12种不同的分组，并提供最先进的参考文献来阐述哪种方法可以通过将它们相互关联，从而阐述了哪种方法。最后，提供可能构成未来工作的基础的研究观点。

Cross entropy loss has served as the main objective function for classification-based tasks. Widely deployed for learning neural network classifiers, it shows both effectiveness and a probabilistic interpretation. Recently, after the success of self supervised contrastive representation learning methods, supervised contrastive methods have been proposed to learn representations and have shown superior and more robust performance, compared to solely training with cross entropy loss. However, cross entropy loss is still needed to train the final classification layer. In this work, we investigate the possibility of learning both the representation and the classifier using one objective function that combines the robustness of contrastive learning and the probabilistic interpretation of cross entropy loss. First, we revisit a previously proposed contrastive-based objective function that approximates cross entropy loss and present a simple extension to learn the classifier jointly. Second, we propose a new version of the supervised contrastive training that learns jointly the parameters of the classifier and the backbone of the network. We empirically show that our proposed objective functions show a significant improvement over the standard cross entropy loss with more training stability and robustness in various challenging settings.

卷积神经网络（CNN）通过使用大型数据集在图像分类方面取得了重大成功。但是，在小规模数据集上从头开始学习，有效地有效地学习，这仍然是巨大的挑战。借助有限的培训数据集，类别的概念将是模棱两可的，因为过度参数化的CNN倾向于简单地记住数据集，从而导致概括能力差。因此，研究如何在避免过度拟合的同时学习更多的判别性表示至关重要。由于类别的概念往往是模棱两可的，因此获取更多个人信息很重要。因此，我们提出了一个新框架，称为“吸引和修复”，由对比度正规化（CR）组成以丰富特征表示形式，对称交叉熵（SCE），以平衡不同类别的拟合和平均教师以校准标签信息。具体而言，SCE和CR学习歧视性表示，同时通过班级信息（吸引）和实例（拒绝）之间的适应性权衡缓解过度构成。之后，平均教师通过校准更准确的软伪标签来进一步提高性能。足够的实验验证了吸引和修复框架的有效性。加上其他策略，例如积极的数据增强，tencrop推断和模型结合，我们在ICCV 2021 vipriors图像分类挑战中获得了第二名。

Prompt tuning is a new few-shot transfer learning technique that only tunes the learnable prompt for pre-trained vision and language models such as CLIP. However, existing prompt tuning methods tend to learn spurious or entangled representations, which leads to poor generalization to unseen concepts. Towards non-spurious and efficient prompt learning from limited examples, this paper presents a novel \underline{\textbf{C}}ounterfactual \underline{\textbf{P}}rompt \underline{\textbf{L}}earning (CPL) method for vision and language models, which simultaneously employs counterfactual generation and contrastive learning in a joint optimization framework. Particularly, CPL constructs counterfactual by identifying minimal non-spurious feature change between semantically-similar positive and negative samples that causes concept change, and learns more generalizable prompt representation from both factual and counterfactual examples via contrastive learning. Extensive experiments demonstrate that CPL can obtain superior few-shot performance on different vision and language tasks than previous prompt tuning methods on CLIP. On image classification, we achieve 3.55\% average relative improvement on unseen classes across seven datasets; on image-text retrieval and visual question answering, we gain up to 4.09\% and 25.08\% relative improvements across three few-shot scenarios on unseen test sets respectively.