将用户搜索查询与广告商实时竞标相关的关键字匹配是赞助搜索中的一个至关重要问题。在文献中，已经探索了两种广泛的方法来解决此问题：（i）在共享空间中学习查询和出价关键字的密集检索（DR），以及（ii）自然语言生成（NLG） - 学会直接生成给定查询的投标关键字。在这项工作中，我们首先对这两种方法进行了实证研究，并表明它们提供了添加剂的补充优势。特别是，从NLG检索到的很大一部分的关键字尚未由DR和反之亦然。然后，我们证明有可能将这两种方法的优势有效地结合在一个模型中。具体而言，我们提出了心脏：一种新型的多任务融合框架，在该框架中，我们共同优化共享编码器以同时执行DR和非自动性NLG。通过对30多个跨越20多种语言的搜索查询进行的广泛实验，我们表明，与使用相同的GPU计算的基线方法相比，心脏检索高质量的出价关键字40.3％。我们还证明，在单个心脏模型上推断与在两种不同的DR和NLG基线模型上推断为2倍计算一样好。此外，我们表明，接受心脏目标训练的DR模型要比接受标准对比度损失功能的训练的模型要好得多。最后，我们表明我们的心目标可以用于除赞助搜索并实现显着绩效提高以外的短文本检索任务。

极端分类（XC）试图用最大的标签集中标记标签的子集标记数据点。通过使用稀疏，手工制作的功能的XC方法优越，用密集，学习的数据来进行深度XC，以数据点和标签的形式吸引了很多关注。负挖掘技术已成为所有深XC方法的关键组成部分，使它们可以扩展到数百万个标签。然而，尽管最近进步，但培训具有大型编码器体系结构（例如变形金刚）的深入XC模型仍然具有挑战性。本文确定，流行负面挖掘技术的内存通常迫使小型批量尺寸保持小且缓慢的训练。作为回应，本文介绍了Ngame，这是一种轻巧的迷你批次创建技术，可证明可证明准确的内部负面样品。这使得与现有负面采样技术相比，具有更大的迷你批次培训，提供更快的收敛性和更高的精度。发现Ngame的准确性比各种基准数据集的最先进方法要高16％，以进行极端分类，并且在回答搜索引擎查询以响应用户网页时检索搜索引擎查询更准确3％显示个性化广告。在流行搜索引擎的实时A/B测试中，Ngame在点击率率中的收益最高可达23％。

可扩展性和准确性在深度极端多标签学习中得到了很好的认可挑战，其中目标是培训架构，以便自动注释具有来自极大的标签集的最相关标签子集的数据点。本文通过将深度极端多标签任务分解为四个更简单的子任务，开发了解决这些挑战的DeepXML框架，每个挑战可以准确且有效地培训。为四个子任务选择不同的组件允许DeepXML生成一个算法系列，在准确性和可扩展性之间产生不同的权衡。特别是，DeepXML产生了ASTEC算法，可以比公开可用的短文本数据集上的领先深度极端分类器更准确，5-30倍更快地进行5-30倍。 ASTEC还可以有效地在Bing短文本数据集上培训，该数据集包含多达6200万个标签，同时在商品硬件上进行数十亿用户和数据点的预测。这允许ASTEC部署在Bing搜索引擎上，以获取许多短文本应用程序，范围从匹配用户查询到广告商出价短语，以显示个性化广告，其中它在点击率，覆盖范围，收入和其他在线指标中产生了显着的收益目前在生产中的最先进技术。 Deepxml的代码可在https://github.com/extreme-classification/deepxml上获得

Open-domain question answering relies on efficient passage retrieval to select candidate contexts, where traditional sparse vector space models, such as TF-IDF or BM25, are the de facto method. In this work, we show that retrieval can be practically implemented using dense representations alone, where embeddings are learned from a small number of questions and passages by a simple dualencoder framework. When evaluated on a wide range of open-domain QA datasets, our dense retriever outperforms a strong Lucene-BM25 system greatly by 9%-19% absolute in terms of top-20 passage retrieval accuracy, and helps our end-to-end QA system establish new state-of-the-art on multiple open-domain QA benchmarks. 1 * Equal contribution 1 The code and trained models have been released at https://github.com/facebookresearch/DPR.

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

Using a single model across various tasks is beneficial for training and applying deep neural sequence models. We address the problem of developing generalist representations of text that can be used to perform a range of different tasks rather than being specialised to a single application. We focus on processing short questions and developing an embedding for these questions that is useful on a diverse set of problems, such as question topic classification, equivalent question recognition, and question answering. This paper introduces QBERT, a generalist model for processing questions. With QBERT, we demonstrate how we can train a multi-task network that performs all question-related tasks and has achieved similar performance compared to its corresponding single-task models.

我们提出了Drboost，一个受升压启发的密集检索合奏。Drboost在阶段接受培训：通过仅关注当前合奏制作的检索错误来依次学习和专注于每个组件模型。最终的表示是所有组件模型的输出矢量的串联，使其成为测试时间标准密集检索器的替代品。与标准密集检索模型相比，Drboost享有几个优点。它产生的表示是4x更紧凑，同时提供可比的检索结果。它还在具有粗量化的近似搜索下进行令人惊讶的良好，从而减少另一个4x的延迟和带宽需求。在实践中，这可以在从内存中服务索引之间的服务指数之间的区别，为更便宜的部署铺平道路。

最近，几种密集的检索（DR）模型已经证明了在搜索系统中无处不在的基于术语的检索的竞争性能。与基于术语的匹配相反，DR将查询和文档投影到密集的矢量空间中，并通过（大约）最近的邻居搜索检索结果。部署新系统（例如DR）不可避免地涉及其性能方面的权衡。通常，建立的检索系统按照效率和成本（例如查询延迟，索引吞吐量或存储要求）对其进行了良好的理解。在这项工作中，我们提出了一个具有一组标准的框架，这些框架超出了简单的有效性措施，可以彻底比较两个检索系统，并明确目标是评估一个系统的准备就绪，以取代另一个系统。这包括有效性和各种成本因素之间的仔细权衡考虑。此外，我们描述了护栏标准，因为即使是平均而言更好的系统，也可能会对少数查询产生系统性故障。护栏检查某些查询特性和新型故障类型的故障，这些故障仅在密集检索系统中才有可能。我们在网络排名方案上演示了我们的决策框架。在这种情况下，最先进的DR模型的结果令人惊讶，不仅是平均表现，而且通过一系列广泛的护栏测试，表现出不同的查询特性，词汇匹配，概括和回归次数的稳健性。无法预测将来博士是否会变得无处不在，但是这是一种可能的方法是通过重复应用决策过程（例如此处介绍的过程）。

电子商务搜索的关键是如何最好地利用大型但嘈杂的日志数据。在本文中，我们在Instacart介绍了基于嵌入的杂货搜索模型。该系统通过基于两个塔式变压器的编码器体系结构学习查询和产品表示。为了解决冷门问题，我们专注于基于内容的功能。为了在嘈杂的数据上有效地培训模型，我们提出了一种自我分歧学习方法和级联培训方法。Accon是一个离线人类评估数据集，我们在召回@20方面取得了10％的相对改善，对于在线A/B测试，我们每次搜索（CAPS）获得4.1％的Cart-Addds（CAPS）和1.5％的总商品价值（GMV）改进。我们描述了如何训练和部署基于嵌入的搜索模型，并对我们方法的有效性进行详细分析。

极端多标签文本分类（XMC）问题问题是从大型标签集查找输入文本实例的大多数相关标签。但是，XMC设置面临两个挑战：（1）不允许在动态环境中预测看不见的标签，（2）它需要大量监督（实例，标签）对，这可能难以获得新兴域名。最近，已经研究了广义零拍XMC（GZ-XMC）设置，并相应地提出了Zestxml以处理未经调整的标签，这仍需要大量注释（实例，标签）对。在本文中，我们考虑了一个更实际的场景，称为极端零拍摄XMC（EZ-XMC），其中不需要监督，并且只能访问实例的原始文本和标签。少量XMC（FS-XMC），还调查了具有有限监督的EZ-XMC的扩展。要学习实例的语义嵌入和标签与原始文本，我们建议预先列车基于变压器的编码器，具有自我监督的对比损失。具体而言，我们开发了一种预训练方法MACLR，它彻底利用了使用多尺度自适应聚类，标签正则化和具有伪正对的自我训练的技术的原始文本。四个公共EZ-XMC数据集的实验结果表明，与所有其他领先的基线方法相比，MaclR达到了卓越的性能，特别是平均精度和召回的预测约为5-10％。此外，我们还表明，当在训练中存在有限数量的地面真相阳性对时，我们的预训练编码器可以进一步提高FS-XMC。通过在这样的几滴子集中进行微调，Maclr仍然显着优于其他极端分类器。

大型语言模型在各种任务上显示出令人印象深刻的几次结果。但是，当知识是此类结果的关键时，就像问题回答和事实检查之类的任务一样，似乎需要存储知识的大量参数计数。众所周知，检索增强模型可以在不需要多个参数的情况下在知识密集的任务上表现出色，但是目前尚不清楚它们是否在几个弹药设置中工作。在这项工作中，我们介绍了地图集，这是一个经过精心设计和预先训练的增强语言模型，能够通过很少的培训示例学习知识密集型任务。我们对包括MMLU，苏格兰短裙和归类等各种任务进行评估，并研究文档索引内容的影响，表明它可以很容易地进行更新。值得注意的是，在自然问题上仅使用64个示例在自然问题上达到超过42 \％的准确性，尽管参数少了50倍，但比540B参数模型的表现优于540b参数模型。

Transfer learning, where a model is first pre-trained on a data-rich task before being finetuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a diversity of approaches, methodology, and practice. In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format. Our systematic study compares pre-training objectives, architectures, unlabeled data sets, transfer approaches, and other factors on dozens of language understanding tasks. By combining the insights from our exploration with scale and our new "Colossal Clean Crawled Corpus", we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our data set, pre-trained models, and code.

预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。

在这份技术报告中，我们介绍了数字写作助手（高效且智能编辑），该助手通过使用人工智能（AI）技术来促进用户更有效地编写更高质量的文本。以前的写作助理通常提供错误检查的功能（以检测和纠正拼写和语法错误）和有限的文本练习功能。随着大型神经语言模型的出现，一些系统支持自动完成句子或段落。在Effidit中，我们通过提供五个类别的功能来显着扩展写作助手的能力：文本完成，错误检查，文本抛光，关键字到句子（K2S）和云输入方法（Cloud IME）。在文本完成类别中，Effidit支持基于生成的句子完成，基于检索的句子完成和短语完成。相比之下，到目前为止，许多其他写作助理仅提供三个功能中的一两个。对于文本抛光，我们具有三个函数：（上下文感知）短语抛光，句子释义和句子扩展，而其他许多写作助手通常会在此类别中支持一两个功能。本报告的主要内容包括象征的主要模块，实施这些模块的方法以及一些关键方法的评估结果。

本文介绍了学习迭代查询细化的元策略的设计代理的首先成功步骤。我们的方法使用机器读取来指导从聚合搜索结果中选择细化项。然后，使用简单但有效的搜索操作员能够赋予代理，以对查询和搜索结果发挥细粒度和透明控制。我们开发一种新颖的方式来发电综合搜索会话，它通过（自我）监督学习来利用基于变压器的语言模型的力量。我们还提出了一种强化学习代理，具有动态约束的动作，从划痕中了解互动搜索策略。我们使用传统的基于术语的BM25排名函数获得与最近神经方法相当的检索和回答质量性能。我们对搜索政策进行了深入的分析。

Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，由于其高计算需求，在这种情况下，诸如BERT的预先培训的语言变压器型号难以使用。我们向文档排名问题提供了利用基于BERT的暹罗建筑的实时方法。该模型已经部署在商业搜索引擎中，它将生产性能提高3％以上。为了进一步研究和评估，我们释放Dareczech，一个独特的数据集，一个160万捷克用户查询文档对，手动分配相关性级别。我们还释放了小型电子捷克语，这是一个在大型捷克语中预先培训的电动小语言模型。我们认为，此数据将支持努力，搜索相关性和多语言集中的研究社区。

在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。

Recently, contrastive learning attracts increasing interests in neural text generation as a new solution to alleviate the exposure bias problem. It introduces a sequence-level training signal which is crucial to generation tasks that always rely on auto-regressive decoding. However, previous methods using contrastive learning in neural text generation usually lead to inferior performance. In this paper, we analyse the underlying reasons and propose a new Contrastive Neural Text generation framework, CoNT. CoNT addresses bottlenecks that prevent contrastive learning from being widely adopted in generation tasks from three aspects -- the construction of contrastive examples, the choice of the contrastive loss, and the strategy in decoding. We validate CoNT on five generation tasks with ten benchmarks, including machine translation, summarization, code comment generation, data-to-text generation and commonsense generation. Experimental results show that CoNT clearly outperforms the conventional training framework on all the ten benchmarks with a convincing margin. Especially, CoNT surpasses previous the most competitive contrastive learning method for text generation, by 1.50 BLEU on machine translation and 1.77 ROUGE-1 on summarization, respectively. It achieves new state-of-the-art on summarization, code comment generation (without external data) and data-to-text generation.

知识密集型语言任务（苏格兰信）通常需要大量信息来提供正确的答案。解决此问题的一种流行范式是将搜索系统与机器读取器相结合，前者检索支持证据，后者检查它们以产生答案。最近，读者组成部分在大规模预培养的生成模型的帮助下见证了重大进展。同时，搜索组件中的大多数现有解决方案都依赖于传统的``索引 - retrieve-then-Rank''管道，该管道遭受了巨大的内存足迹和端到端优化的困难。受到最新构建基于模型的IR模型的努力的启发，我们建议用新颖的单步生成模型替换传统的多步搜索管道，该模型可以极大地简化搜索过程并以端到端的方式进行优化。我们表明，可以通过一组经过适当设计的预训练任务来学习强大的生成检索模型，并被采用以通过进一步的微调来改善各种下游苏格兰短裙任务。我们将预训练的生成检索模型命名为Copusbrain，因为有关该语料库的所有信息均以其参数进行编码，而无需构造其他索引。经验结果表明，在苏格兰语基准上的检索任务并建立了新的最新性能，Copusbrain可以极大地超过强大的基准。我们还表明，在零农源和低资源设置下，科体班运行良好。

深度神经语言模型的最新进展与大规模数据集的能力相结合，加速了自然语言生成系统的发展，这些系统在多种任务和应用程序上下文中产生流利和连贯的文本（在各种成功程度上）。但是，为所需的用户控制这些模型的输出仍然是一个开放的挑战。这不仅对于自定义生成语言的内容和样式至关重要，而且对于他们在现实世界中的安全可靠部署至关重要。我们提出了一项关于受约束神经语言生成的新兴主题的广泛调查，在该主题中，我们通过区分条件和约束（后者是在输出文本上而不是输入的可检验条件），正式定义和分类自然语言生成问题，目前是可检验的）约束文本生成任务，并查看受限文本生成的现有方法和评估指标。我们的目的是强调这个新兴领域的最新进展和趋势，以告知最有希望的方向和局限性，以推动受约束神经语言生成研究的最新作品。