产品匹配是全球对电子商务消费者行为的理解的基本步骤。实际上，产品匹配是指确定来自不同数据源（例如零售商）是否提供两个产品的任务。标准管道使用以前的阶段，称为阻止，其中给定产品提供了一组潜在的匹配候选者，以相似的特征（例如相同的品牌，类别，风味等）检索。从这些类似的候选产品中，那些不匹配的产品可以被视为艰难的负面因素。我们提出了Block-SCL，该策略使用阻止输出来充分利用监督的对比度学习（SCL）。具体而言，块-SCL使用在阻塞阶段获得的硬性样本来构建丰富的批处理。这些批次提供了一个强大的训练信号，导致该模型了解产品匹配的更有意义的句子嵌入。几个公共数据集中的实验结果表明，尽管仅将短产品标题作为输入，没有数据增强和更轻的变压器主链比竞争方法，但Block-SCL仍取得了最新的结果。

Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies, either at the image or the feature level, improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e. the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing memory requirements, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection, and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.Project page: https://europe.naverlabs.com/mochi 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

学习高质量的对话表示对于解决各种面向对话的任务至关重要，尤其是考虑到对话系统通常会遇到数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，它学习有效的对话表示，适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单，但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务，这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明，DSE的表现要优于基线。例如，它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13％的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。

我们提供了从文本到文本变换器（T5）的第一次探索句子嵌入式。句子嵌入式广泛适用于语言处理任务。虽然T5在作为序列到序列映射问题的语言任务上实现令人印象深刻的性能，但目前尚不清楚如何从编码器解码器模型生成陈列嵌入的句子。我们调查三种方法提取T5句子嵌入方法：两个仅利用T5编码器，一个使用全T5编码器解码器模型。为了支持我们的调查，我们建立了一个新的句子代表转移基准，SentGlue，它将Senteval Toolkit扩展到粘合基准的九个任务。我们的编码器的型号优于Senteval和SentGlue传输任务的句子 - BERT和SIMCSE句子嵌入，包括语义文本相似性（STS）。发现从数百万到数十亿参数的缩放T5产生一致的进一步改进。最后，我们的编码器 - 解码器方法在使用句子嵌入时在STS上实现了新的最先进的。我们的模型在https://tfhub.dev/google/collections/sentence-t5/1发布。

This paper presents E5, a family of state-of-the-art text embeddings that transfer well to a wide range of tasks. The model is trained in a contrastive manner with weak supervision signals from our curated large-scale text pair dataset (called CCPairs). E5 can be readily used as a general-purpose embedding model for any tasks requiring a single-vector representation of texts such as retrieval, clustering, and classification, achieving strong performance in both zero-shot and fine-tuned settings. We conduct extensive evaluations on 56 datasets from the BEIR and MTEB benchmarks. For zero-shot settings, E5 is the first model that outperforms the strong BM25 baseline on the BEIR retrieval benchmark without using any labeled data. When fine-tuned, E5 obtains the best results on the MTEB benchmark, beating existing embedding models with 40x more parameters.

我们介绍了一种对比视频表示方法，它使用课程学习在对比度培训中施加动态抽样策略。更具体地说，Concur以易于正面样本（在时间上和语义上相似的剪辑上）开始对比度训练，并且随着训练的进行，它会有效地提高时间跨度，从而有效地采样了硬质阳性（时间为时间和语义上不同）。为了学习更好的上下文感知表示形式，我们还提出了一个辅助任务，以预测积极剪辑之间的时间距离。我们对两个流行的动作识别数据集进行了广泛的实验，即UCF101和HMDB51，我们提出的方法在两项视频动作识别和视频检索的基准任务上实现了最新的性能。我们通过使用R（2+1）D和C3D编码器以及对Kinetics-400和Kinetics-200200数据集的R（2+1）D和C3D编码器以及预训练的影响来探讨编码器骨架和预训练策略的影响。此外，一项详细的消融研究显示了我们提出的方法的每个组成部分的有效性。

We present Relational Sentence Embedding (RSE), a new paradigm to further discover the potential of sentence embeddings. Prior work mainly models the similarity between sentences based on their embedding distance. Because of the complex semantic meanings conveyed, sentence pairs can have various relation types, including but not limited to entailment, paraphrasing, and question-answer. It poses challenges to existing embedding methods to capture such relational information. We handle the problem by learning associated relational embeddings. Specifically, a relation-wise translation operation is applied to the source sentence to infer the corresponding target sentence with a pre-trained Siamese-based encoder. The fine-grained relational similarity scores can be computed from learned embeddings. We benchmark our method on 19 datasets covering a wide range of tasks, including semantic textual similarity, transfer, and domain-specific tasks. Experimental results show that our method is effective and flexible in modeling sentence relations and outperforms a series of state-of-the-art sentence embedding methods. https://github.com/BinWang28/RSE

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

变量名称对于传达预期的程序行为至关重要。基于机器学习的程序分析方法使用变量名称表示广泛的任务，例如建议新的变量名称和错误检测。理想情况下，这些方法可以捕获句法相似性的名称之间的语义关系，例如，名称平均和均值的事实是相似的。不幸的是，以前的工作发现，即使是先前的最佳的表示方法主要是捕获相关性（是否有两个变量始终链接），而不是相似性（是否具有相同的含义）。我们提出了VarCLR，一种用于学习变量名称的语义表示的新方法，这些方法有效地捕获了这种更严格的意义上的可变相似性。我们观察到这个问题是对比学习的优秀契合，旨在最小化明确类似的输入之间的距离，同时最大化不同输入之间的距离。这需要标记的培训数据，因此我们构建了一种新颖的弱监督的变量重命名数据集，从GitHub编辑开采。我们表明VarCLR能够有效地应用BERT等复杂的通用语言模型，以变为变量名称表示，因此也是与变量名称相似性搜索或拼写校正等相关的下游任务。 varclr产生模型，显着越优于idbench的最先进的现有基准，明确地捕获可变相似度（与相关性不同）。最后，我们贡献了所有数据，代码和预先训练模型的版本，旨在为现有或未来程序分析中使用的可变表示提供的可变表示的替代品。

对比的学习技术已广泛用于计算机视野中作为增强数据集的手段。在本文中，我们将这些对比学习嵌入的使用扩展到情绪分析任务，并证明了对这些嵌入的微调在基于BERT的嵌入物上的微调方面提供了改进，以在评估时实现更高的基准。在Dynasent DataSet上。我们还探讨了我们的微调模型在跨域基准数据集上执行的。此外，我们探索了ups采样技术，以实现更平衡的班级分发，以进一步改进我们的基准任务。

极端多标签文本分类（XMC）问题问题是从大型标签集查找输入文本实例的大多数相关标签。但是，XMC设置面临两个挑战：（1）不允许在动态环境中预测看不见的标签，（2）它需要大量监督（实例，标签）对，这可能难以获得新兴域名。最近，已经研究了广义零拍XMC（GZ-XMC）设置，并相应地提出了Zestxml以处理未经调整的标签，这仍需要大量注释（实例，标签）对。在本文中，我们考虑了一个更实际的场景，称为极端零拍摄XMC（EZ-XMC），其中不需要监督，并且只能访问实例的原始文本和标签。少量XMC（FS-XMC），还调查了具有有限监督的EZ-XMC的扩展。要学习实例的语义嵌入和标签与原始文本，我们建议预先列车基于变压器的编码器，具有自我监督的对比损失。具体而言，我们开发了一种预训练方法MACLR，它彻底利用了使用多尺度自适应聚类，标签正则化和具有伪正对的自我训练的技术的原始文本。四个公共EZ-XMC数据集的实验结果表明，与所有其他领先的基线方法相比，MaclR达到了卓越的性能，特别是平均精度和召回的预测约为5-10％。此外，我们还表明，当在训练中存在有限数量的地面真相阳性对时，我们的预训练编码器可以进一步提高FS-XMC。通过在这样的几滴子集中进行微调，Maclr仍然显着优于其他极端分类器。

了解产品内容的视觉和语言表示对于电子商务中的搜索和推荐应用程序至关重要。作为在线购物平台的骨干，受到代表学习研究的最新成功的启发，我们提出了一个对比度学习框架，该框架使用未标记的原始产品文本和图像来对齐语言和视觉模型。我们介绍了我们用来培训大规模代表性学习模型的技术，并共享解决特定领域挑战的解决方案。我们使用预先训练的模型作为多种下游任务的骨干进行研究，包括类别分类，属性提取，产品匹配，产品聚类和成人产品识别。实验结果表明，我们所提出的方法在每个下游任务中均优于单个模态和多种方式的基线。

最近，已证明有监督的对比度学习（SCL）在大多数分类任务中都能取得出色的表现。在SCL中，对神经网络进行了训练，可以优化两个目标：在嵌入空间中将锚定和阳性样品一起拉在一起，并将锚点推开。但是，这两个不同的目标可能需要冲突，需要在优化期间之间进行权衡。在这项工作中，我们将SCL问题作为Roberta语言模型的微调阶段的多目标优化问题。使用两种方法来解决优化问题：（i）线性标量（LS）方法，该方法可最大程度地减少持久性损失的加权线性组合； （ii）确切的帕累托最佳（EPO）方法，该方法找到了帕累托正面与给定优先矢量的相交。我们在不使用数据增强，内存库或生成对抗性示例的情况下评估了几个胶合基准任务的方法。经验结果表明，提出的学习策略大大优于强大的竞争性学习基线

标准的对比学习方法通常需要大量的否定否定有效的无监督学习，并且往往表现出缓慢的收敛性。我们怀疑这种行为是由于用于提供与积极鲜明对比的否定的廉价选择。我们通过从支持向量机（SVM）的灵感来呈现最大值保证金对比学习（MMCL）来抵消这种困难。我们的方法选择否定作为通过二次优化问题获得的稀疏支持向量，通过最大化决策余量来强制执行对比度。由于SVM优化可以计算要求，特别是在端到端设置中，我们提出了缓解计算负担的简化。我们验证了我们对标准视觉基准数据集的方法，展示了在无监督的代表上学习最先进的表现，同时具有更好的经验收敛性。

信息检索是自然语言处理中的重要组成部分，用于知识密集型任务，如问题应答和事实检查。最近，信息检索已经看到基于神经网络的密集检索器的出现，作为基于术语频率的典型稀疏方法的替代方案。这些模型在数据集和任务中获得了最先进的结果，其中提供了大型训练集。但是，它们不会很好地转移到没有培训数据的新域或应用程序，并且通常因未经监督的术语 - 频率方法（例如BM25）的术语频率方法而言。因此，自然问题是如果没有监督，是否有可能训练密集的索取。在这项工作中，我们探讨了对比学习的限制，作为培训无人监督的密集检索的一种方式，并表明它导致强烈的检索性能。更确切地说，我们在15个数据集中出现了我们的模型胜过BM25的Beir基准测试。此外，当有几千例的示例可用时，我们显示微调我们的模型，与BM25相比，这些模型导致强大的改进。最后，当在MS-Marco数据集上微调之前用作预训练时，我们的技术在Beir基准上获得最先进的结果。

口语理解（SLU）是机器理解人类语音以进行更好互动的必不可少的任务。但是，自动语音识别器（ASR）的错误通常会损害理解表现。实际上，对于目标方案，ASR系统可能不容易调整。因此，本文着重于学习使用对比目标对ASR错误进行鲁棒性的学习话语表示，并通过结合监督的对比度学习和自我验证在模型微调中进一步增强概括能力。三个基准数据集的实验证明了我们提出的方法的有效性。

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

当前现有的视觉和语言预训练（VLP）方法的大多数主要集中在如何提取和调整视觉和文本功能上。与主流VLP方法相反，我们强调指出，在训练预训练期间的两个常规应用步骤对预训练模型的性能至关重要：图像介绍（ITM）的内部硬性负面采样（ITM）并分配大型掩盖掩盖语言建模（MLM）的概率。在经验显示上述两个步骤的意外有效性之后，我们系统地设计了砂粒vlp，该砂粒可适应小型批次，以更有效地为ITM挖掘硬性阴性样品，同时维持预训练的计算成本。我们的方法由三个组成部分组成：1）分组的迷你批次采样（砂砾）策略，该策略在迷你批次中收集了类似的示例，2）ITC一致性损失以提高采矿能力，3）MLM的扩大掩蔽概率。因此，我们显示了我们的砂粒vlp在各种下游任务上实现了新的最新性能，计算成本要少得多。此外，我们证明了我们的模型基本上与以前的最先进的ALBEF相提并论，只有三分之一的训练时代在相同的培训数据上。代码可在https://github.com/jaeseokbyun/grit-vlp上找到。

This paper presents SimCSE, a simple contrastive learning framework that greatly advances state-of-the-art sentence embeddings. We first describe an unsupervised approach, which takes an input sentence and predicts itself in a contrastive objective, with only standard dropout used as noise. This simple method works surprisingly well, performing on par with previous supervised counterparts. We find that dropout acts as minimal data augmentation, and removing it leads to a representation collapse. Then, we propose a supervised approach, which incorporates annotated pairs from natural language inference datasets into our contrastive learning framework by using "entailment" pairs as positives and "contradiction" pairs as hard negatives. We evaluate SimCSE on standard semantic textual similarity (STS) tasks, and our unsupervised and supervised models using BERT base achieve an average of 76.3% and 81.6% Spearman's correlation respectively, a 4.2% and 2.2% improvement compared to the previous best results. We also show-both theoretically and empirically-that the contrastive learning objective regularizes pre-trained embeddings' anisotropic space to be more uniform, and it better aligns positive pairs when supervised signals are available. 1 2 We randomly sample 10 6 sentences from English Wikipedia and fine-tune BERTbase with learning rate = 3e-5, N = 64. In all our experiments, no STS training sets are used.

我们从第一批原则提供了一个理论分析，该原则在预训练和微调性能的关系归纳偏差之间建立了新的联系，同时提供了一般预训练模型的延长视图。我们进一步探讨了现有的预训练方法如何强加相关的归纳偏差，发现绝大多数现有方法几乎专注于以帧内方式建模的关系，而不是每种样本方式。我们建立了这些调查结果，这些发现与跨越3个数据模式和10个下游任务的标准基准测试。这些调查验证了我们的理论分析，并提供了一种方法，以产生新的预训练方法，该方法与现有的方法符合用户指定的关系图。