The effective application of contrastive learning technology in natural language processing tasks shows the superiority of contrastive learning in text analysis tasks. How to construct positive and negative samples correctly and reasonably is the core challenge of contrastive learning. Since it is difficult to construct contrastive objects in multi-label multi-classification tasks, there are few contrastive losses for multi-label multi-classification text classification. In this paper, we propose five contrastive losses for multi-label multi-classification tasks. They are Strict Contrastive Loss (SCL), Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL), and Jaccard Similarity Probability Contrastive Loss (JSPCL) and Stepwise Label Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning for multi-label multi-classification tasks under different strategies, and provide a set of baseline methods for contrastive learning techniques on multi-label classification tasks. We also perform an interpretability analysis of our approach to show how different contrastive learning methods play their roles. The experimental results in this paper demonstrate that our proposed contrastive losses can bring some improvement for multi-label multi-classification tasks. Our work reveal how to "appropriately" change the contrastive way of contrastive learning is the key idea to improve the adaptability of contrastive learning in multi-label multi-classification tasks.

对比度学习（CL）在任何监督的多级分类或无监督的学习中显示出令人印象深刻的图像表示学习进步。但是，这些CL方法无法直接适应多标签图像分类，因为难以定义正面和负面实例以对比多标签场景中给定的锚图像对比给定的锚图像，让标签单独丢失，这意味着借用了借用的标签通常，从对比度多级学习来定义它们的常用方式将产生许多不利的虚假负面实例。在本文中，通过引入标签校正机制来识别缺失的标签，我们首先优雅地产生了锚映像的单个语义标签的阳性和负面因素，然后定义了带有缺少标签的多标签图像分类的独特对比度损失（CLML） ），损失能够准确地使图像接近其真实的正面图像和虚假的负面图像，远离其真实的负面图像。与现有的多标签CL损失不同，CLML还保留了潜在表示空间中的低排名全球和局部标签依赖关系，在这些空间中，已证明此类依赖性有助于处理缺失的标签。据我们所知，这是在缺失标签方案中的第一个一般多标签CL损失，因此可以通过单个超参数与任何现有多标签学习方法的损失无缝配对。已提出的策略已被证明可以在三个标准数据集（MSCOCO，VOC和NUS范围内）提高RESNET101模型的分类性能，分别为1.2％，1.6％和1.3％。代码可在https://github.com/chuangua/contrastivelossmlml上找到。

作为自然语言处理领域（NLP）领域的广泛研究，基于方面的情感分析（ABSA）是预测文本中相对于相应方面所表达的情感的任务。不幸的是，大多数语言缺乏足够的注释资源，因此越来越多的研究人员专注于跨语义方面的情感分析（XABSA）。但是，最近的研究仅集中于跨语性数据对准而不是模型对齐。为此，我们提出了一个新颖的框架CL-XABSA：基于跨语言的情感分析的对比度学习。基于对比度学习，我们在不同的语义空间中关闭具有相同标签的样品之间的距离，从而实现了不同语言的语义空间的收敛。具体而言，我们设计了两种对比策略，即代币嵌入（TL-CTE）和情感水平的对比度学习，对代币嵌入（SL-CTE）的对比度学习，以使源语言和目标语言的语义空间正规化，以使其更加统一。由于我们的框架可以在培训期间以多种语言接收数据集，因此我们的框架不仅可以适应XABSA任务，而且可以针对基于多语言的情感分析（MABSA）进行调整。为了进一步提高模型的性能，我们执行知识蒸馏技术利用未标记的目标语言的数据。在蒸馏XABSA任务中，我们进一步探讨了不同数据（源数据集，翻译数据集和代码切换数据集）的比较有效性。结果表明，所提出的方法在XABSA，蒸馏XABSA和MABSA的三个任务中具有一定的改进。为了获得可重复性，我们的本文代码可在https://github.com/gklmip/cl-xabsa上获得。

存在预训练模型在各种文本分类任务上取得了最先进的性能。这些模型已被证明可用于学习普遍语言表示。然而，通过先进的预训练模型无法有效地区分类似文本之间的语义差异，这对难以区分类的性能产生了很大的影响。为了解决这个问题，我们在这项工作中提出了一种与标签距离（CLLD）的新型对比学习。灵感来自最近对比学习的进步，我们专门设计了一种具有标签距离的分类方法，用于学习对比类。 CLLD可确保在导致不同标签分配的细微差别中的灵活性，并为同时具有相似性的每个类生成不同的表示。关于公共基准和内部数据集的广泛实验表明，我们的方法提高了预先训练模型在分类任务上的性能。重要的是，我们的实验表明，学习的标签距离减轻了细胞的对抗性质。

对比学习被出现为强大的代表学习方法，促进各种下游任务，特别是当监督数据有限时。如何通过数据增强构建有效的对比样本是其成功的关键。与视觉任务不同，语言任务中尚未对对比学习进行对比学习的数据增强方法。在本文中，我们提出了一种使用文本摘要构建语言任务的对比样本的新方法。我们使用这些样本进行监督的对比学习，以获得更好的文本表示，这极大地利用了具有有限注释的文本分类任务。为了进一步改进该方法，除了交叉熵损失之外，我们将从不同类中的样本混合并添加一个名为MIXSUM的额外正则化。真实世界文本分类数据集（Amazon-5，Yelp-5，AG新闻和IMDB）的实验展示了基于摘要的数据增强和MIXSUM正规化的提议对比学习框架的有效性。

与单峰数据相比，多模式数据可以提供更多功能来帮助模型分析数据的情感。先前的研究作品很少考虑令牌级的功能融合，很少有工作探索学习与多模式数据中情感相关的共同特征，以帮助模型融合多模式功能。在本文中，我们提出了一种对比度学习和多层融合（CLMLF）方法，用于多模式情感检测。具体来说，我们首先编码文本和图像以获取隐藏的表示形式，然后使用多层融合模块来对齐和融合文本和图像的令牌级特征。除了情感分析任务外，我们还设计了两个对比学习任务，基于标签的对比度学习和基于数据的对比学习任务，这将帮助该模型学习与多模式数据中情感相关的共同特征。与现有方法相比，对三个公开多模式数据集进行的广泛实验证明了我们对多模式情感检测的有效性。这些代码可在https://github.com/link-li/clmlf上使用

Prompt learning recently become an effective linguistic tool to motivate the PLMs' knowledge on few-shot-setting tasks. However, studies have shown the lack of robustness still exists in prompt learning, since suitable initialization of continuous prompt and expert-first manual prompt are essential in fine-tuning process. What is more, human also utilize their comparative ability to motivate their existing knowledge for distinguishing different examples. Motivated by this, we explore how to use contrastive samples to strengthen prompt learning. In detail, we first propose our model ConsPrompt combining with prompt encoding network, contrastive sampling module, and contrastive scoring module. Subsequently, two sampling strategies, similarity-based and label-based strategies, are introduced to realize differential contrastive learning. The effectiveness of proposed ConsPrompt is demonstrated in five different few-shot learning tasks and shown the similarity-based sampling strategy is more effective than label-based in combining contrastive learning. Our results also exhibits the state-of-the-art performance and robustness in different few-shot settings, which proves that the ConsPrompt could be assumed as a better knowledge probe to motivate PLMs.

对比的学习技术已广泛用于计算机视野中作为增强数据集的手段。在本文中，我们将这些对比学习嵌入的使用扩展到情绪分析任务，并证明了对这些嵌入的微调在基于BERT的嵌入物上的微调方面提供了改进，以在评估时实现更高的基准。在Dynasent DataSet上。我们还探讨了我们的微调模型在跨域基准数据集上执行的。此外，我们探索了ups采样技术，以实现更平衡的班级分发，以进一步改进我们的基准任务。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开

Modality representation learning is an important problem for multimodal sentiment analysis (MSA), since the highly distinguishable representations can contribute to improving the analysis effect. Previous works of MSA have usually focused on multimodal fusion strategies, and the deep study of modal representation learning was given less attention. Recently, contrastive learning has been confirmed effective at endowing the learned representation with stronger discriminate ability. Inspired by this, we explore the improvement approaches of modality representation with contrastive learning in this study. To this end, we devise a three-stages framework with multi-view contrastive learning to refine representations for the specific objectives. At the first stage, for the improvement of unimodal representations, we employ the supervised contrastive learning to pull samples within the same class together while the other samples are pushed apart. At the second stage, a self-supervised contrastive learning is designed for the improvement of the distilled unimodal representations after cross-modal interaction. At last, we leverage again the supervised contrastive learning to enhance the fused multimodal representation. After all the contrast trainings, we next achieve the classification task based on frozen representations. We conduct experiments on three open datasets, and results show the advance of our model.

无监督的对比度学习（UCL）是一种自我监督的学习技术，旨在通过将正面样本彼此接近，同时将负面样本推到嵌入空间中远处，以学习有用的表示功能。为了提高UCL的性能，几项作品引入了旨在选择“硬”阴性样本与UCL中使用的随机采样策略相比，旨在选择“硬”阴性样本的硬性阴性对比度学习（H-UCL）。在另一种方法中，在假设标签信息可用的假设下，有监督的对比学习（SCL）最近通过将UCL扩展到完全监督的环境来开发。在本文中，由于硬性采样策略在H-UCL中的有效性以及标签信息在SCL中的有用性的启发性，我们提出了一个称为硬性负责监督的对比度学习（H-SCL）的对比学习框架。我们的数值结果证明了H-SCL在几个图像数据集上对SCL和H-UCL的有效性。另外，从理论上讲，在某些条件下，H-SCL的目标函数可以受H-UCL的目标函数的界定，而不是由UCL的目标函数界定。因此，将H-UCL损失最小化可以作为最小化H-SCL损失的代理，而最小化UCL损失不能。正如我们数值表明H-SCL优于其他对比学习方法时，我们的理论结果（通过H-UCL损失界限H-SCL损失）有助于解释为什么H-UCL在实践中优于UCL。

学习高质量的对话表示对于解决各种面向对话的任务至关重要，尤其是考虑到对话系统通常会遇到数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，它学习有效的对话表示，适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单，但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务，这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明，DSE的表现要优于基线。例如，它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13％的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。

在对话系统中，具有类似语义的话语可能在不同的环境下具有独特的情绪。因此，与扬声器依赖关系建模的远程语境情绪关系在对话情绪识别中起重要作用。同时，区分不同的情绪类别是非微不足道的，因为它们通常具有语义上类似的情绪。为此，我们采取监督对比学习，使不同的情绪相互排斥，以更好地识别类似的情绪。同时，我们利用辅助响应生成任务来增强模型处理上下文信息的能力，从而强迫模型在不同的环境中识别与类似语义的情绪。为了实现这些目标，我们使用预先训练的编码器 - 解码器模型架作为我们的骨干模型，因为它非常适合理解和生成任务。四个数据集的实验表明，我们所提出的模型在对话情绪认可中获得比最先进的模型更有利的结果。消融研究进一步展示了监督对比损失和生成损失的有效性。

Multi-view representation learning has developed rapidly over the past decades and has been applied in many fields. However, most previous works assumed that each view is complete and aligned. This leads to an inevitable deterioration in their performance when encountering practical problems such as missing or unaligned views. To address the challenge of representation learning on partially aligned multi-view data, we propose a new cross-view graph contrastive learning framework, which integrates multi-view information to align data and learn latent representations. Compared with current approaches, the proposed method has the following merits: (1) our model is an end-to-end framework that simultaneously performs view-specific representation learning via view-specific autoencoders and cluster-level data aligning by combining multi-view information with the cross-view graph contrastive learning; (2) it is easy to apply our model to explore information from three or more modalities/sources as the cross-view graph contrastive learning is devised. Extensive experiments conducted on several real datasets demonstrate the effectiveness of the proposed method on the clustering and classification tasks.

情绪识别涉及几个现实世界应用。随着可用方式的增加，对情绪的自动理解正在更准确地进行。多模式情感识别（MER）的成功主要依赖于监督的学习范式。但是，数据注释昂贵，耗时，并且由于情绪表达和感知取决于几个因素（例如，年龄，性别，文化），获得具有高可靠性的标签很难。由这些动机，我们专注于MER的无监督功能学习。我们考虑使用离散的情绪，并用作模式文本，音频和视觉。我们的方法是基于成对方式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法具有几种差异（和优势）：i）无监督，因此学习缺乏数据标记成本； ii）它不需要数据空间增强，模态对准，大量批量大小或时期； iii）它仅在推理时应用数据融合； iv）它不需要对情绪识别任务进行预训练的骨干。基准数据集上的实验表明，我们的方法优于MER中应用的几种基线方法和无监督的学习方法。特别是，它甚至超过了一些有监督的MER最先进的。

跨域情绪分析旨在使用在源域上训练的模型来预测目标域中文本的情感，以应对标记数据的稀缺性。先前的研究主要是针对任务的基于跨透明的方法，这些方法受到不稳定性和泛化不良的方式。在本文中，我们探讨了有关跨域情绪分析任务的对比度学习。我们提出了一个经过修改的对比度目标，其中包括隔离式负面样本，以便将同一类的句子表示将被推开，而来自不同类别的句子表示在潜在空间中进一步分开。在两个广泛使用的数据集上进行的实验表明，我们的模型可以在跨域和多域情绪分析任务中实现最先进的性能。同时，可视化证明了在源域中学习的知识转移到目标域的有效性，并且对抗性测试验证了我们模型的鲁棒性。

自我监督的学习方法，如对比学习，在自然语言处理中非常重视。它使用对培训数据增强对具有良好表示能力的编码器构建分类任务。然而，在对比学习的学习成对的构建在NLP任务中更难。以前的作品生成单词级更改以形成对，但小变换可能会导致句子含义的显着变化作为自然语言的离散和稀疏性质。在本文中，对对抗的训练在NLP的嵌入空间中产生了挑战性和更难的学习对抗性示例作为学习对。使用对比学学习提高了对抗性培训的泛化能力，因为对比损失可以使样品分布均匀。同时，对抗性培训也提高了对比学习的稳健性。提出了两种小说框架，监督对比对抗学习（SCAS）和无监督的SCAS（USCAL），通过利用对比学习的对抗性培训来产生学习成对。利用基于标签的监督任务丢失，以产生对抗性示例，而无监督的任务会带来对比损失。为了验证所提出的框架的有效性，我们将其雇用到基于变换器的模型，用于自然语言理解，句子语义文本相似性和对抗学习任务。胶水基准任务的实验结果表明，我们的微调监督方法优于BERT $ _ {基础} $超过1.75 \％。我们还评估我们对语义文本相似性（STS）任务的无监督方法，并且我们的方法获得77.29 \％with bert $ _ {base} $。我们方法的稳健性在NLI任务的多个对抗性数据集下进行最先进的结果。

无监督的图形表示学习是图形数据的非琐碎主题。在结构化数据的无监督代表学习中对比学习和自我监督学习的成功激发了图表上的类似尝试。使用对比损耗的当前无监督的图形表示学习和预培训主要基于手工增强图数据之间的对比度。但是，由于不可预测的不变性，图数据增强仍然没有很好地探索。在本文中，我们提出了一种新颖的协作图形神经网络对比学习框架（CGCL），它使用多个图形编码器来观察图形。不同视图观察的特征充当了图形编码器之间对比学习的图表增强，避免了任何扰动以保证不变性。 CGCL能够处理图形级和节点级表示学习。广泛的实验表明CGCL在无监督的图表表示学习中的优势以及图形表示学习的手工数据增强组合的非必要性。