以前的无监督句子嵌入研究集中在数据增强方法上，例如辍学和基于规则的句子转换方法。但是，这些方法限制了控制句子增强观点的细粒语义。这导致监督信号不足以捕获类似句子的语义相似性。在这项工作中，我们发现使用邻居句子可以捕获相似句子之间更准确的语义相似性。基于这一发现，我们提出了RankEncoder，该发现使用了输入句子和语料库中的句子之间的关系来训练无监督的句子编码器。我们从三个角度评估rankencoder：1）语义文本相似性性能，2）相似句子对的功效，以及3）rankencoder的普遍性。实验结果表明，与先前的最新性能相比，Rankencoder达到80.07 \％Spearman的相关性，绝​​对提高了1.1％。在类似的句子对上，改进更加显着，改善了1.73％。另外，我们证明了RankEncoder普遍适用于现有的无监督句子编码器。

对比学习一直吸引着学习无监督的句子嵌入。当前的最新无监督方法是无监督的SIMCSE（UNSUP-SIMCSE）。 Unsup-Simcse将辍学作为最小数据增强方法，并将相同的输入句子传递给预训练的变压器编码器（带有掉落的掉落）两次，以获取两个相应的嵌入式以构建正对。由于句子的长度信息通常会由于使用嵌入变压器中的位置嵌入而编码到句子嵌入中，因此Unsup-Simcse中的每个正对实际上包含相同的长度信息。因此，接受这些正面对训练的Unsup-Simcse可能是有偏见的，这往往会考虑到语义上相同长度或相似长度的句子更相似。通过统计观察，我们发现Unsup-Simcse确实存在这样的问题。为了减轻它，我们应用了一个简单的重复操作来修改输入句子，然后分别将输入句子及其修改后的对应物传递给预训练的变压器编码器，以获取阳性对。此外，我们从计算机视觉社区中汲取灵感，并引入动量对比度，从而扩大了负面对的数量，而没有其他计算。提出的两种修改分别应用于正和负对，并构建一种新的句子嵌入方法，称为增强的Unsup-Simcse（ESIMCSE）。我们在几个基准数据集W.R.T上评估了所提出的ESIMCSE，语义文本相似性（STS）任务。实验结果表明，ESIMCSE的表现优于最先进的undup-Simcse，而Bert基碱的平均长矛相关性为2.02％。

已经研究了对比学习，以提高学习句嵌入的表现。当前的最先进的方法是SIMCSE，它将丢失作为数据增强方法，并馈送预训练的变压器编码器两次相同的输入句。相应的输出，两个句子嵌入来自不同丢弃掩码的相同句子，可用于构建正对。使用丢弃掩模应用的网络可以被视为ITSEF的子网，其预期比例由差动率决定。在本文中，我们推动具有不同预期尺度的子网，了解相同句子的类似嵌入。 SIMCSE未能这样做，因为它们将丢失率修复到调谐的超参数。我们通过从分布蚀刻前进过程中采样辍学率来实现这一目标。由于这种方法可能使优化更加困难，我们还提出了一种简单的句子掩模策略来采样更多子网。我们在几个流行的语义文本相似性数据集中评估了所提出的S-SIMCSE。实验结果表明，S-SIMCSE优于最先进的SIMCSE超过$ 1 \％$ ON BERT $ _ {base} $

对比度学习已逐渐应用于学习高质量的无监督句子嵌入。据我们所知，在以前的无监督方法中，最新的最新方法是无监督的SIMCSE（Unsup-Simcse）。 Unsup-Simcse在训练阶段使用Infonce1Loss功能，通过将语义上相似的句子拉在一起并分开不相似。从理论上讲，我们希望在Unsup-Simcse中使用较大的批次，以在样本中进行更充分的比较并避免过度拟合。但是，增加批量的大小并不总是会导致改进，而是在批处理大小超过阈值时会导致性能降解。通过统计观察，我们发现这可能是由于在批量生产大小后引入了低信心负对。为了减轻这个问题，我们在Infonce损失函数上引入了一种简单的平滑策略，称为Gaussian平滑infonce（GS-Infonce）。特别是，我们将随机的高斯噪声向量添加为负样品，它们的负面样品空间的平滑性。简单，提出的平滑策略为Unsup-Simcse带来了重大改进。我们评估GS-INFONCEON标准语义文本相似性（STS）任务。 GS-Infonce的平均长矛人相关性优于最先进的Unsup-Simcse，在Bert-Base，Bert-Large，Roberta-Base的基础上，长矛人的相关性为1.38％，0.72％，1.17％和0.28％和罗伯塔·洛尔格（Roberta-Large）。

This paper presents SimCSE, a simple contrastive learning framework that greatly advances state-of-the-art sentence embeddings. We first describe an unsupervised approach, which takes an input sentence and predicts itself in a contrastive objective, with only standard dropout used as noise. This simple method works surprisingly well, performing on par with previous supervised counterparts. We find that dropout acts as minimal data augmentation, and removing it leads to a representation collapse. Then, we propose a supervised approach, which incorporates annotated pairs from natural language inference datasets into our contrastive learning framework by using "entailment" pairs as positives and "contradiction" pairs as hard negatives. We evaluate SimCSE on standard semantic textual similarity (STS) tasks, and our unsupervised and supervised models using BERT base achieve an average of 76.3% and 81.6% Spearman's correlation respectively, a 4.2% and 2.2% improvement compared to the previous best results. We also show-both theoretically and empirically-that the contrastive learning objective regularizes pre-trained embeddings' anisotropic space to be more uniform, and it better aligns positive pairs when supervised signals are available. 1 2 We randomly sample 10 6 sentences from English Wikipedia and fine-tune BERTbase with learning rate = 3e-5, N = 64. In all our experiments, no STS training sets are used.

We present Relational Sentence Embedding (RSE), a new paradigm to further discover the potential of sentence embeddings. Prior work mainly models the similarity between sentences based on their embedding distance. Because of the complex semantic meanings conveyed, sentence pairs can have various relation types, including but not limited to entailment, paraphrasing, and question-answer. It poses challenges to existing embedding methods to capture such relational information. We handle the problem by learning associated relational embeddings. Specifically, a relation-wise translation operation is applied to the source sentence to infer the corresponding target sentence with a pre-trained Siamese-based encoder. The fine-grained relational similarity scores can be computed from learned embeddings. We benchmark our method on 19 datasets covering a wide range of tasks, including semantic textual similarity, transfer, and domain-specific tasks. Experimental results show that our method is effective and flexible in modeling sentence relations and outperforms a series of state-of-the-art sentence embedding methods. https://github.com/BinWang28/RSE

无监督的句子嵌入学习最近由对比度学习方法（例如SIMCSE）主导，该方法保持积极对相似，并将负面对拆开。对比操作旨在通过在积极实例之间最大化相互信息来保持尽可能多的信息，从而导致句子嵌入中的冗余信息。为了解决这个问题，我们提出了一个基于信息最小化的对比度学习（Informin-CL）模型，以保留有用的信息并通过最大化相互信息并最大程度地减少无监督句子表示学习的正面实例之间的信息熵，从而丢弃冗余信息。具体而言，我们发现信息最小化可以通过简单的对比度和重建目标来实现。重建操作通过另一个正实例重构积极实例，以最大程度地减少正实例之间的信息熵。我们在下游任务中评估了我们的模型，包括受监督和无监督的（语义文本相似性）任务。广泛的实验结果表明，我们的Informin-CL获得了最先进的性能。

Contrastive learning has become a new paradigm for unsupervised sentence embeddings. Previous studies focus on instance-wise contrastive learning, attempting to construct positive pairs with textual data augmentation. In this paper, we propose a novel Contrastive learning method with Prompt-derived Virtual semantic Prototypes (ConPVP). Specifically, with the help of prompts, we construct virtual semantic prototypes to each instance, and derive negative prototypes by using the negative form of the prompts. Using a prototypical contrastive loss, we enforce the anchor sentence embedding to be close to its corresponding semantic prototypes, and far apart from the negative prototypes as well as the prototypes of other sentences. Extensive experimental results on semantic textual similarity, transfer, and clustering tasks demonstrate the effectiveness of our proposed model compared to strong baselines. Code is available at https://github.com/lemon0830/promptCSE.

Incorporating contrastive learning objectives in sentence representation learning (SRL) has yielded significant improvements on many sentence-level NLP tasks. However, It is not well understood why contrastive learning works for learning sentence-level semantics. In this paper, we take a closer look at contrastive sentence representation learning through the lens of isotropy and learning dynamics. We interpret its success stories through the geometry of the representation shifts. We show that contrastive learning brings isotropy, and surprisingly learns to converge tokens to similar positions in the semantic space if given the signal that they are in the same sentence. Also, what we formalize as "spurious contextualization" is mitigated for semantically meaningful tokens, while augmented for functional ones. The embedding space is pushed toward the origin during training, with more areas now better defined. We ablate these findings by observing the learning dynamic with different training temperatures, batch sizes and pooling methods. With these findings, we aim to shed light on future designs of sentence representation learning methods.

学习高质量的对话表示对于解决各种面向对话的任务至关重要，尤其是考虑到对话系统通常会遇到数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，它学习有效的对话表示，适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单，但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务，这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明，DSE的表现要优于基线。例如，它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13％的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。

在NLP中，大量的任务涉及两种序列之间的成对比较（例如句子相似性和解释识别）。主要是，两种配方用于句子 - 对任务：双编码器和交叉编码器。双编码器产生固定尺寸句子表示，并且在计算上有效，但是，它们通常是跨编码器的表现不佳。交叉编码器可以利用他们的注意力头来利用句子间交互以获得更好的性能，但它们需要任务微调，并且计算更昂贵。在本文中，我们提出了一个完全无监督的句子表示模型被称为跨编码器，它将两个学习范例结合到迭代联合框架中，以同时学习增强的双和交叉编码器。具体而言，在预先接受训练的语言模型（PLM）的顶部，我们首先将其转换为无监督的双编码器，然后在双编码器任务配方之间交替。在每次交替中，一个任务制定将产生伪标签，该伪标签用作其他任务制定的学习信号。然后，我们提出了一种平行于多个PLMS在多个PLM上进行这种自蒸馏方法的延伸，并使用其伪标签的平均值进行互蒸馏。 Trans-encoder据我们所知，创建了第一个完全无监督的跨编码器以及用于句子相似性的最先进的无人监督的双编码器。跨编码器的双编码器和交叉编码器配方均最近提出了最先进的无监督句子编码器，例如镜像相似基准在句子相似基准上最多5％的镜像 - BERT和SIMCSE。

基于检索的对话响应选择旨在为给定多转中下文找到候选集的正确响应。基于预先训练的语言模型（PLMS）的方法对此任务产生了显着的改进。序列表示在对话背景和响应之间的匹配程度中扮演关键作用。然而，我们观察到相同上下文共享的不同的上下文响应对始终在由PLM计算的序列表示中具有更大的相似性，这使得难以区分来自负面的正响应。由此激励，我们提出了一种基于PLMS的响应选择任务的新颖\ TextBF {f} ine- \ textbf {g}下载\ textbf {g} unfrstive（fgc）学习方法。该FGC学习策略有助于PLMS在细粒中产生每个对话的更可区分的匹配表示，并进一步提高选择正反应的预测。两个基准数据集的实证研究表明，所提出的FGC学习方法一般可以提高现有PLM匹配模型的模型性能。

变量名称对于传达预期的程序行为至关重要。基于机器学习的程序分析方法使用变量名称表示广泛的任务，例如建议新的变量名称和错误检测。理想情况下，这些方法可以捕获句法相似性的名称之间的语义关系，例如，名称平均和均值的事实是相似的。不幸的是，以前的工作发现，即使是先前的最佳的表示方法主要是捕获相关性（是否有两个变量始终链接），而不是相似性（是否具有相同的含义）。我们提出了VarCLR，一种用于学习变量名称的语义表示的新方法，这些方法有效地捕获了这种更严格的意义上的可变相似性。我们观察到这个问题是对比学习的优秀契合，旨在最小化明确类似的输入之间的距离，同时最大化不同输入之间的距离。这需要标记的培训数据，因此我们构建了一种新颖的弱监督的变量重命名数据集，从GitHub编辑开采。我们表明VarCLR能够有效地应用BERT等复杂的通用语言模型，以变为变量名称表示，因此也是与变量名称相似性搜索或拼写校正等相关的下游任务。 varclr产生模型，显着越优于idbench的最先进的现有基准，明确地捕获可变相似度（与相关性不同）。最后，我们贡献了所有数据，代码和预先训练模型的版本，旨在为现有或未来程序分析中使用的可变表示提供的可变表示的替代品。

预训练的语言模型（PLM）在自然语言理解中的许多下游任务中取得了显着的性能增长。已提出了各种中文PLM，以学习更好的中文表示。但是，大多数当前模型都使用中文字符作为输入，并且无法编码中文单词中包含的语义信息。虽然最近的预训练模型同时融合了单词和字符，但它们通常会遭受不足的语义互动，并且无法捕获单词和字符之间的语义关系。为了解决上述问题，我们提出了一个简单而有效的PLM小扣手，该小扣子采用了对单词和性格表示的对比度学习。特别是，Clower通过对多透明信息的对比学习将粗粒的信息（即单词）隐式编码为细粒度表示（即字符）。在现实的情况下，小电动器具有很大的价值，因为它可以轻松地将其纳入任何现有的基于细粒的PLM中而无需修改生产管道。在一系列下游任务上进行的扩展实验表明，小动物的卓越性能超过了几个最先进的实验 - 艺术基线。

在基于变压器的模型中通常观察到令牌均匀性，在经过变压器中经过堆叠的多个自我发场层后，不同的令牌共享大量相似信息。在本文中，我们建议使用每个变压器层的输出的奇异值的分布来表征令牌均匀性的现象，并从经验上说明，偏斜的奇异值分布可以减轻“令牌均匀性”问题。基于我们的观察结果，我们定义了奇异值分布的几种理想特性，并提出了一种新的转换函数，以更新奇异值。我们表明，除了减轻令牌均匀性外，转换功能还应保留原始嵌入空间中的当地邻域结构。我们提出的奇异价值变换函数应用于伯特，阿尔伯特，罗伯塔和德文尔特等一系列基于变压器的语言模型，并且在语义文本相似性评估和一系列胶水任务中观察到了改善的性能。我们的源代码可在https://github.com/hanqi-qi/tokenuni.git上找到。

自我监督的学习方法，如对比学习，在自然语言处理中非常重视。它使用对培训数据增强对具有良好表示能力的编码器构建分类任务。然而，在对比学习的学习成对的构建在NLP任务中更难。以前的作品生成单词级更改以形成对，但小变换可能会导致句子含义的显着变化作为自然语言的离散和稀疏性质。在本文中，对对抗的训练在NLP的嵌入空间中产生了挑战性和更难的学习对抗性示例作为学习对。使用对比学学习提高了对抗性培训的泛化能力，因为对比损失可以使样品分布均匀。同时，对抗性培训也提高了对比学习的稳健性。提出了两种小说框架，监督对比对抗学习（SCAS）和无监督的SCAS（USCAL），通过利用对比学习的对抗性培训来产生学习成对。利用基于标签的监督任务丢失，以产生对抗性示例，而无监督的任务会带来对比损失。为了验证所提出的框架的有效性，我们将其雇用到基于变换器的模型，用于自然语言理解，句子语义文本相似性和对抗学习任务。胶水基准任务的实验结果表明，我们的微调监督方法优于BERT $ _ {基础} $超过1.75 \％。我们还评估我们对语义文本相似性（STS）任务的无监督方法，并且我们的方法获得77.29 \％with bert $ _ {base} $。我们方法的稳健性在NLI任务的多个对抗性数据集下进行最先进的结果。

在以前的作品中广泛讨论了句子语义相似性的原始伯特的表现不佳。我们发现不满意的性能主要是由于静态令牌嵌入偏差和无效的伯特层，而不是姓氏的高余弦相似性。为此，我们提出了一个迅速的句子嵌入方法，可以减少令牌嵌入偏差，使原始伯特层更有效。通过将句子嵌入式任务重新塑造为填充空白问题，我们的方法显着提高了原始伯特的性能。我们讨论了两个提示符，表示基于及时的句子嵌入的三个提示搜索方法。此外，我们提出了一种通过模板去噪技术的新型无监督培训目标，这大大缩短了监督和无人监督的环境之间的性能差距。对于实验，我们评估我们在非微调和微调的设置上的方法。即使是非微调方法也可以优于STS任务上的无监督服务器等微调的方法。我们的微调方法在无监督和监督设置中优于最先进的方法SIMCSE。与SIMCSE相比，我们分别在无监督环境下实现了2.29和2.58点的伯特和罗伯塔的改进。

Universal cross-lingual sentence embeddings map semantically similar cross-lingual sentences into a shared embedding space. Aligning cross-lingual sentence embeddings usually requires supervised cross-lingual parallel sentences. In this work, we propose mSimCSE, which extends SimCSE to multilingual settings and reveal that contrastive learning on English data can surprisingly learn high-quality universal cross-lingual sentence embeddings without any parallel data. In unsupervised and weakly supervised settings, mSimCSE significantly improves previous sentence embedding methods on cross-lingual retrieval and multilingual STS tasks. The performance of unsupervised mSimCSE is comparable to fully supervised methods in retrieving low-resource languages and multilingual STS. The performance can be further enhanced when cross-lingual NLI data is available. Our code is publicly available at https://github.com/yaushian/mSimCSE.

虽然对比学习大大提升了句子嵌入的表示，但它仍然受到现有句子数据集的大小的限制。在本文中，我们向Transaug（转换为增强），它提供了利用翻译句子对作为文本的数据增强的第一次探索，并介绍了两级范例，以提高最先进的句子嵌入。我们不是采用以其他语言设置培训的编码器，我们首先从SIMCSE编码器（以英语预先预先预订）蒸发蒸馏出一个汉语编码器，以便它们的嵌入在语义空间中靠近，这可以被后悔作为隐式数据增强。然后，我们只通过交叉语言对比学习更新英语编码器并将蒸馏的中文编码器冷冻。我们的方法在标准语义文本相似度（STS）上实现了一种新的最先进的，表现出SIMCSE和句子T5，以及由Senteval评估的传输任务的相应轨道中的最佳性能。

BERT (Devlin et al., 2018) and RoBERTa has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS). However, it requires that both sentences are fed into the network, which causes a massive computational overhead: Finding the most similar pair in a collection of 10,000 sentences requires about 50 million inference computations (~65 hours) with BERT. The construction of BERT makes it unsuitable for semantic similarity search as well as for unsupervised tasks like clustering.In this publication, we present Sentence-BERT (SBERT), a modification of the pretrained BERT network that use siamese and triplet network structures to derive semantically meaningful sentence embeddings that can be compared using cosine-similarity. This reduces the effort for finding the most similar pair from 65 hours with BERT / RoBERTa to about 5 seconds with SBERT, while maintaining the accuracy from BERT.We evaluate SBERT and SRoBERTa on common STS tasks and transfer learning tasks, where it outperforms other state-of-the-art sentence embeddings methods. 1