电子商务搜索的关键是如何最好地利用大型但嘈杂的日志数据。在本文中，我们在Instacart介绍了基于嵌入的杂货搜索模型。该系统通过基于两个塔式变压器的编码器体系结构学习查询和产品表示。为了解决冷门问题，我们专注于基于内容的功能。为了在嘈杂的数据上有效地培训模型，我们提出了一种自我分歧学习方法和级联培训方法。Accon是一个离线人类评估数据集，我们在召回@20方面取得了10％的相对改善，对于在线A/B测试，我们每次搜索（CAPS）获得4.1％的Cart-Addds（CAPS）和1.5％的总商品价值（GMV）改进。我们描述了如何训练和部署基于嵌入的搜索模型，并对我们方法的有效性进行详细分析。

搜索会话中的上下文信息对于捕获用户的搜索意图很重要。已经提出了各种方法来对用户行为序列进行建模，以改善会话中的文档排名。通常，（搜索上下文，文档）对的训练样本在每个训练时期随机采样。实际上，了解用户的搜索意图和判断文档的相关性的困难从一个搜索上下文到另一个搜索上下文有很大差异。混合不同困难的训练样本可能会使模型的优化过程感到困惑。在这项工作中，我们为上下文感知文档排名提出了一个课程学习框架，其中排名模型以易于恐惧的方式学习搜索上下文和候选文档之间的匹配信号。这样一来，我们旨在将模型逐渐指向全球最佳。为了利用正面和负面示例，设计了两个课程。两个真实查询日志数据集的实验表明，我们提出的框架可以显着提高几种现有方法的性能，从而证明课程学习对上下文感知文档排名的有效性。

了解产品内容的视觉和语言表示对于电子商务中的搜索和推荐应用程序至关重要。作为在线购物平台的骨干，受到代表学习研究的最新成功的启发，我们提出了一个对比度学习框架，该框架使用未标记的原始产品文本和图像来对齐语言和视觉模型。我们介绍了我们用来培训大规模代表性学习模型的技术，并共享解决特定领域挑战的解决方案。我们使用预先训练的模型作为多种下游任务的骨干进行研究，包括类别分类，属性提取，产品匹配，产品聚类和成人产品识别。实验结果表明，我们所提出的方法在每个下游任务中均优于单个模态和多种方式的基线。

如今在电子商务平台上，产品呈现给客户提供多种方式。这些多种方式对于检索系统非常重要，同时为客户提供吸引产品。因此，如何同时考虑这些多种模式以提高检索性能至关重要。由于以下原因，此问题是对我们的巨大挑战：（1）用预先训练的图像模型（例如，基于CNN的模型）提取补丁功能的方式具有多大的电感偏差。很难从电子商务中的产品图像中捕获有效信息。 （2）多式联数据的异质性使其具有挑战性地构建常用子空间中的查询文本和产品的表示，包括标题和图像。我们提出了一种新的对抗性交叉模态增强杆（ACE-BERT），用于有效的电子商务检索。详细地，ACE-BERT利用补丁特征和像素特征作为图像表示。因此，变压器架构可以直接应用于原始图像序列。通过预先训练的增强件作为骨干网络，ACE-BERT通过添加域分类器来进一步采用对冲学习，以确保不同模态表示的分布一致性，以缩小查询和产品之间的表示差距。实验结果表明，ACE-BERT优于检索任务的最先进的方法。 ace-bert已经在我们的电子商务的搜索引擎中部署了ACE-BERT，导致收入增加1.46％。

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

在过去的几年中，短视频在淘宝等电子商务平台上见证了迅速的增长。为了确保内容的新鲜感，平台需要每天发布大量新视频，从而使传统的点击率（CTR）预测方法遇到了该项目冷启动问题。在本文中，我们提出了一种有效的图形引导功能传输系统的礼物，以完全利用加热视频的丰富信息，以补偿冷启动的视频。具体而言，我们建立了一个异质图，其中包含物理和语义链接，以指导从热视频到冷启动视频的功能传输过程。物理链接代表明确的关系，而语义链接衡量了两个视频的多模式表示的接近性。我们精心设计功能传输功能，以使图表上不同Metapaths的不同类型的转移功能（例如，ID表示和历史统计）。我们在大型现实世界数据集上进行了广泛的实验，结果表明，我们的礼品系统的表现明显优于SOTA方法，并在TAOBAO APP的主页上为CTR带来了6.82％的提升。

当前的密集文本检索模型面临两个典型的挑战。首先，他们采用暹罗双重编码架构来独立编码查询和文档，以快速索引和搜索，同时忽略了较细粒度的术语互动。这导致了次优的召回表现。其次，他们的模型培训高度依赖于负面抽样技术，以在其对比损失中构建负面文档。为了应对这些挑战，我们提出了对抗猎犬速率（AR2），它由双重编码猎犬加上跨编码器等级组成。这两种模型是根据最小群体对手的共同优化的：检索员学会了检索负面文件以欺骗排名者，而排名者学会了对包括地面和检索的候选人进行排名，并提供渐进的直接反馈对双编码器检索器。通过这款对抗性游戏，猎犬逐渐生产出更难的负面文件来训练更好的排名者，而跨编码器排名者提供了渐进式反馈以改善检索器。我们在三个基准测试基准上评估AR2。实验结果表明，AR2始终如一地胜过现有的致密回收者方法，并在所有这些方法上实现了新的最新结果。这包括对自然问题的改进R@5％至77.9％（+2.1％），Triviaqa R@5％至78.2％（+1.4）和MS-Marco MRR@10％至39.5％（+1.3％）。代码和型号可在https://github.com/microsoft/ar2上找到。

Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art performance on recommender system benchmarks. However, making these methods practical and scalable to web-scale recommendation tasks with billions of items and hundreds of millions of users remains a challenge.Here we describe a large-scale deep recommendation engine that we developed and deployed at Pinterest. We develop a dataefficient Graph Convolutional Network (GCN) algorithm PinSage, which combines efficient random walks and graph convolutions to generate embeddings of nodes (i.e., items) that incorporate both graph structure as well as node feature information. Compared to prior GCN approaches, we develop a novel method based on highly efficient random walks to structure the convolutions and design a novel training strategy that relies on harder-and-harder training examples to improve robustness and convergence of the model.We deploy PinSage at Pinterest and train it on 7.5 billion examples on a graph with 3 billion nodes representing pins and boards, and 18 billion edges. According to offline metrics, user studies and A/B tests, PinSage generates higher-quality recommendations than comparable deep learning and graph-based alternatives. To our knowledge, this is the largest application of deep graph embeddings to date and paves the way for a new generation of web-scale recommender systems based on graph convolutional architectures.

最近的趋势表明，一般的模型，例如BERT，GPT-3，剪辑，在规模上广泛的数据训练，已经显示出具有单一学习架构的各种功能。在这项工作中，我们通过在大尺度上培训通用用户编码器来探讨通用用户表示学习的可能性。我们展示了扩展法在用户建模区域中持有，其中训练错误将作为幂律规模的幂级，具有计算量。我们的对比学习用户编码器（CLUE），优​​化任务 - 不可知目标，并且所产生的用户嵌入式延伸我们对各种下游任务中的可能做些什么。 Clue还向其他域和系统展示了巨大的可转移性，因为在线实验上的性能显示在线点击率（CTR）的显着改进。此外，我们还调查了如何根据扩展因子，即模型容量，序列长度和批量尺寸来改变性能如何变化。最后，我们讨论了线索的更广泛影响。

近年来，在应用预训练的语言模型（例如Bert）上，取得了巨大进展，以获取信息检索（IR）任务。在网页中通常使用的超链接已被利用用于设计预训练目标。例如，超链接的锚文本已用于模拟查询，从而构建了巨大的查询文档对以进行预训练。但是，作为跨越两个网页的桥梁，尚未完全探索超链接的潜力。在这项工作中，我们专注于建模通过超链接连接的两个文档之间的关系，并为临时检索设计一个新的预训练目标。具体而言，我们将文档之间的关系分为四组：无链接，单向链接，对称链接和最相关的对称链接。通过比较从相邻组采样的两个文档，该模型可以逐渐提高其捕获匹配信号的能力。我们提出了一个渐进的超链接预测（{php}）框架，以探索预训练中超链接的利用。对两个大规模临时检索数据集和六个提问数据集的实验结果证明了其优于现有的预训练方法。

提高搜索结果的质量可以显着增强用户的体验和与搜索引擎的交战。尽管机器学习和数据挖掘领域的最新进展，但正确对特定用户搜索查询的项目进行了分类一直是一个长期的挑战，这仍然有很大的改进空间。本文介绍了“购物查询数据集”，这是一个很大的亚马逊搜索查询和结果的大型数据集，以促进研究以提高搜索结果的质量，以促进研究。该数据集包含大约1.3万个独特的查询和260万手动标记（查询，产品）相关性判断。该数据集具有多语言，其中包括英语，日语和西班牙语的查询。购物查询数据集用于KDDCUP'22挑战之一。在本文中，我们描述了数据集并介绍了三个评估任务以及基线结果：（i）对结果列表进行排名，（ii）将产品结果分类为相关性类别，以及（iii）确定给定查询的替代产品。我们预计这些数据将成为产品搜索主题的未来研究的黄金标准。

在本文中，我们提出了一个新的密集检索模型，该模型通过深度查询相互作用学习了各种文档表示。我们的模型使用一组生成的伪Queries编码每个文档，以获取查询信息的多视文档表示。它不仅具有较高的推理效率，例如《香草双编码模型》，而且还可以在文档编码中启用深度查询文档的交互，并提供多方面的表示形式，以更好地匹配不同的查询。几个基准的实验证明了所提出的方法的有效性，表现出色的双重编码基准。

产品匹配是全球对电子商务消费者行为的理解的基本步骤。实际上，产品匹配是指确定来自不同数据源（例如零售商）是否提供两个产品的任务。标准管道使用以前的阶段，称为阻止，其中给定产品提供了一组潜在的匹配候选者，以相似的特征（例如相同的品牌，类别，风味等）检索。从这些类似的候选产品中，那些不匹配的产品可以被视为艰难的负面因素。我们提出了Block-SCL，该策略使用阻止输出来充分利用监督的对比度学习（SCL）。具体而言，块-SCL使用在阻塞阶段获得的硬性样本来构建丰富的批处理。这些批次提供了一个强大的训练信号，导致该模型了解产品匹配的更有意义的句子嵌入。几个公共数据集中的实验结果表明，尽管仅将短产品标题作为输入，没有数据增强和更轻的变压器主链比竞争方法，但Block-SCL仍取得了最新的结果。

Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，由于其高计算需求，在这种情况下，诸如BERT的预先培训的语言变压器型号难以使用。我们向文档排名问题提供了利用基于BERT的暹罗建筑的实时方法。该模型已经部署在商业搜索引擎中，它将生产性能提高3％以上。为了进一步研究和评估，我们释放Dareczech，一个独特的数据集，一个160万捷克用户查询文档对，手动分配相关性级别。我们还释放了小型电子捷克语，这是一个在大型捷克语中预先培训的电动小语言模型。我们认为，此数据将支持努力，搜索相关性和多语言集中的研究社区。

跨域冷启动推荐是推荐系统越来越新兴的问题。现有的作品主要专注于解决跨域用户推荐或冷启动内容推荐。但是，当新域在早期发展时，它具有类似于源域的潜在用户，但互动较少。从源域中学习用户的偏好并将其转移到目标域中是至关重要的，特别是在具有有限用户反馈的新到达内容上。为了弥合这一差距，我们提出了一个自训练的跨域用户偏好学习（夫妻）框架，针对具有各种语义标签的冷启动推荐，例如视频的项目或视频类型。更具体地，我们考虑三个级别的偏好，包括用户历史，用户内容和用户组提供可靠的推荐。利用由域感知顺序模型表示的用户历史，将频率编码器应用于用于用户内容偏好学习的底层标记。然后，建议具有正交节点表示的分层存储器树以进一步概括域域的用户组偏好。整个框架以一种对比的方式更新，以先进先出（FIFO）队列获得更具独特的表示。两个数据集的广泛实验展示了用户和内容冷启动情况的夫妇效率。通过部署在线A / B一周测试，我们表明夫妇的点击率（CTR）优于淘宝应用程序的其他基线。现在该方法在线为跨域冷微视频推荐服务。

在基于检索的聊天机器人中，对候选人检索的语义搜索是一个重要但被忽视的问题，该聊天机器人的目的是从大型池中有效地选择一堆候选反应。现有的瓶颈是确保模型体系结构具有两个点：1）查询和响应之间的丰富交互作用，以产生与查询相关的响应； 2）将查询和响应分别投影到潜在空间中的能力，可以在线推断期间有效地应用语义搜索。为了解决这个问题，我们提出了一种新颖的方法，称为候选检索，称为基于多任务的语义搜索神经网络（MSSNN），该方法通过多任务完成了查询 - 响应相互作用。该方法采用SEQ2SEQ建模任务来学习一个良好的查询编码器，然后执行单词预测任务以构建响应嵌入，最后执行一个简单的匹配模型来形成点产品得分手。实验研究表明了所提出的方法的潜力。

将用户搜索查询与广告商实时竞标相关的关键字匹配是赞助搜索中的一个至关重要问题。在文献中，已经探索了两种广泛的方法来解决此问题：（i）在共享空间中学习查询和出价关键字的密集检索（DR），以及（ii）自然语言生成（NLG） - 学会直接生成给定查询的投标关键字。在这项工作中，我们首先对这两种方法进行了实证研究，并表明它们提供了添加剂的补充优势。特别是，从NLG检索到的很大一部分的关键字尚未由DR和反之亦然。然后，我们证明有可能将这两种方法的优势有效地结合在一个模型中。具体而言，我们提出了心脏：一种新型的多任务融合框架，在该框架中，我们共同优化共享编码器以同时执行DR和非自动性NLG。通过对30多个跨越20多种语言的搜索查询进行的广泛实验，我们表明，与使用相同的GPU计算的基线方法相比，心脏检索高质量的出价关键字40.3％。我们还证明，在单个心脏模型上推断与在两种不同的DR和NLG基线模型上推断为2倍计算一样好。此外，我们表明，接受心脏目标训练的DR模型要比接受标准对比度损失功能的训练的模型要好得多。最后，我们表明我们的心目标可以用于除赞助搜索并实现显着绩效提高以外的短文本检索任务。

We present Hybrid Infused Reranking for Passages Retrieval (HYRR), a framework for training rerankers based on a hybrid of BM25 and neural retrieval models. Retrievers based on hybrid models have been shown to outperform both BM25 and neural models alone. Our approach exploits this improved performance when training a reranker, leading to a robust reranking model. The reranker, a cross-attention neural model, is shown to be robust to different first-stage retrieval systems, achieving better performance than rerankers simply trained upon the first-stage retrievers in the multi-stage systems. We present evaluations on a supervised passage retrieval task using MS MARCO and zero-shot retrieval tasks using BEIR. The empirical results show strong performance on both evaluations.

Embedding based product recommendations have gained popularity in recent years due to its ability to easily integrate to large-scale systems and allowing nearest neighbor searches in real-time. The bulk of studies in this area has predominantly been focused on similar item recommendations. Research on complementary item recommendations, on the other hand, still remains considerably under-explored. We define similar items as items that are interchangeable in terms of their utility and complementary items as items that serve different purposes, yet are compatible when used with one another. In this paper, we apply a novel approach to finding complementary items by leveraging dual embedding representations for products. We demonstrate that the notion of relatedness discovered in NLP for skip-gram negative sampling (SGNS) models translates effectively to the concept of complementarity when training item representations using co-purchase data. Since sparsity of purchase data is a major challenge in real-world scenarios, we further augment the model using synthetic samples to extend coverage. This allows the model to provide complementary recommendations for items that do not share co-purchase data by leveraging other abundantly available data modalities such as images, text, clicks etc. We establish the effectiveness of our approach in improving both coverage and quality of recommendations on real world data for a major online retail company. We further show the importance of task specific hyperparameter tuning in training SGNS. Our model is effective yet simple to implement, making it a great candidate for generating complementary item recommendations at any e-commerce website.

用户嵌入（用户的矢量化表示）对于推荐系统至关重要。已经提出了许多方法来为用户构建代表性，以找到用于检索任务的类似项目，并且已被证明在工业推荐系统中也有效。最近，人们发现使用多个嵌入式代表用户的能力，希望每个嵌入代表用户对某个主题的兴趣。通过多息表示，重要的是要对用户对不同主题的喜好进行建模以及偏好如何随时间变化。但是，现有方法要么无法估算用户对每个利息的亲和力，要么不合理地假设每个用户的每一个利息随时间而逐渐消失，从而损害了候选人检索的召回。在本文中，我们提出了多功能偏好（MIP）模型，这种方法不仅可以通过更有效地使用用户的顺序参与来为用户产生多种利益因此，可以按比例地从每个利息中检索候选人。在各种工业规模的数据集上进行了广泛的实验，以证明我们方法的有效性。