最近引入的基于变压器的文章编码器（TAES）旨在为相关的科学文章生成类似的矢量表示，已在基准数据集上表现出强烈的性能，以供科学文章建议。但是，现有的基准数据集主要集中在单个域上，在某些情况下，在小型候选池中包含易于负面因素。评估此类基准测试的表示可能会掩盖TAE在候选池中成千上万篇文章的设置中的现实性能。在这项工作中，我们评估了具有更具挑战性候选池的大型基准的TAE。我们将TAE的性能与词汇检索基线模型BM25进行了比较，该模型在引文建议的任务中进行了比较，该模型在给定输入文章中产生了引用的建议列表。我们发现，BM25仍然与最先进的神经检索器具有非常有竞争力的竞争，这一发现令人惊讶，鉴于TAE在小型基准上的强劲表现。作为对现有基准测试的局限性的补救措施，我们提出了一个新的基准数据集来评估科学文章表示：多域引文建议数据集（MDCR），该数据集（MDCR）涵盖了不同的科学领域，并包含具有挑战性的候选池。

例如，查询是一个众所周知的信息检索任务，其中由用户选择文档作为搜索查询，目标是从大集合中检索相关文档。但是，文档通常涵盖主题的多个方面。要解决此方案，我们将通过示例介绍面位查询的任务，其中用户还可以指定除输入查询文档之外的更精细的粗体方面。我们专注于在科学文献搜索中的应用。我们设想能够沿着专门选择的修辞结构元素作为对此问题的一种解决方案来检索类似于查询科学纸的科学论文。在这项工作中，我们称之为方面的修辞结构元素，表明了科学论文的目标，方法或结果。我们介绍并描述了一个专家注释的测试集合，以评估培训的型号以执行此任务。我们的测试收集包括一个不同的50套英文查询文件，从计算语言学和机器学习场所绘制。我们仔细遵循TREC用于深度-K池（k = 100或250）使用的注释指南，结果数据收集包括具有高注释协议的分级相关性分数。在我们的数据集中评估的最先进模型显示出进一步的工作中的显着差距。可以在此处访问我们的数据集：https://github.com/iesl/csfcube

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

本地引文建议的目标是推荐从本地引文上下文中缺少的参考，也可以从全球背景下选择。为了在大规模纸质数据库的背景下平衡引文建议的速度和准确性之间的权衡，一种可行的方法是使用有效的排名方法来预先取代有限数量的相关文件，然后使用更多复杂的模型。在那种静脉中，BM25已被发现是一种艰难的预取方法，这就是为什么最近的工作主要集中在重新登记的步骤中。即便如此，我们探讨了由分层注意网络构造的文本嵌入的最近邻南搜索的预取。当耦合与速度regered在本地引文推荐任务上进行微调时，我们的分层关注编码器（Hatten）实现了高预备回忆，以便重新登记给定数量的候选候选者。因此，我们的Reranker需要重新命名更少的预取候选者，但仍然在各种本地引文推荐数据集上实现最先进的性能，例如ACL-200，FullTextPeerread，Refse和Arxiv。

We study the problem of retrieval with instructions, where users of a retrieval system explicitly describe their intent along with their queries. We aim to develop a general-purpose task-aware retrieval system using multi-task instruction tuning, which can follow human-written instructions to find the best documents for a given query. We introduce the first large-scale collection of approximately 40 retrieval datasets with instructions, BERRI, and present TART, a multi-task retrieval system trained on BERRI with instructions. TART shows strong capabilities to adapt to a new retrieval task via instructions and advances the state of the art on two zero-shot retrieval benchmarks, BEIR and LOTTE, outperforming models up to three times larger. We further introduce a new evaluation setup, X^2-Retrieval to better reflect real-world scenarios, where diverse domains and tasks are pooled and a system needs to find documents aligning users' intents. In this setup, TART significantly outperforms competitive baselines, further demonstrating the effectiveness of guiding retrieval with instructions.

在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。

我们为最近发布的TripClick Health Ad-Hoc检索集收集提供了强大的变压器的重新排名和密集的检索基线。我们完善了 - 最初的训练数据，具有简单的负面抽样政策。在TripClick的重新排名任务中，我们在重新排名任务中获得了大幅提升，这是用原始基线实现的。此外，我们研究不同域特定的预训练模型在TripClick上的影响。最后，我们表明密集检索优于BM25，即使是简单的训练程序。

我们渴望基于匹配的细粒度方面的新的科学文档相似模式。我们的模型采用了将相关论文方面描述为一种新颖的文本监督形式的共同引用上下文培训。我们使用多向量文档表示，最近在设置中探讨了短查询文本，但在具有挑战性的文档文件设置中探索。我们呈现了一种快速方法，涉及仅匹配单句对，以及一种具有最佳传输的稀疏多匹配的方法。我们的模型在四个数据集中提高了文档相似任务的性能。此外，我们的快速单匹赛方法实现了竞争力的结果，开辟了将细粒度的文档相似性模型应用于大型科学集团的可能性。

密集的检索方法可以克服词汇差距并导致显着改善的搜索结果。但是，它们需要大量的培训数据，这些数据不适用于大多数域。如前面的工作所示（Thakur等，2021b），密集检索的性能在域移位下严重降低。这限制了密集检索方法的使用，只有几个具有大型训练数据集的域。在本文中，我们提出了一种新颖的无监督域适配方法生成伪标签（GPL），其将查询发生器与来自跨编码器的伪标记相结合。在六种代表性域专用数据集中，我们发现所提出的GPL可以优于箱子外的最先进的密集检索方法，最高可达8.9点NDCG @ 10。 GPL需要来自目标域的少（未标记）数据，并且在其培训中比以前的方法更强大。我们进一步调查了六种最近训练方法在检索任务的域改编方案中的作用，其中只有三种可能会产生改善的结果。最好的方法，Tsdae（Wang等，2021）可以与GPL结合，在六个任务中产生了1.0点NDCG @ 10的另一个平均改善。

信息检索是自然语言处理中的重要组成部分，用于知识密集型任务，如问题应答和事实检查。最近，信息检索已经看到基于神经网络的密集检索器的出现，作为基于术语频率的典型稀疏方法的替代方案。这些模型在数据集和任务中获得了最先进的结果，其中提供了大型训练集。但是，它们不会很好地转移到没有培训数据的新域或应用程序，并且通常因未经监督的术语 - 频率方法（例如BM25）的术语频率方法而言。因此，自然问题是如果没有监督，是否有可能训练密集的索取。在这项工作中，我们探讨了对比学习的限制，作为培训无人监督的密集检索的一种方式，并表明它导致强烈的检索性能。更确切地说，我们在15个数据集中出现了我们的模型胜过BM25的Beir基准测试。此外，当有几千例的示例可用时，我们显示微调我们的模型，与BM25相比，这些模型导致强大的改进。最后，当在MS-Marco数据集上微调之前用作预训练时，我们的技术在Beir基准上获得最先进的结果。

Multi-document summarization (MDS) has traditionally been studied assuming a set of ground-truth topic-related input documents is provided. In practice, the input document set is unlikely to be available a priori and would need to be retrieved based on an information need, a setting we call open-domain MDS. We experiment with current state-of-the-art retrieval and summarization models on several popular MDS datasets extended to the open-domain setting. We find that existing summarizers suffer large reductions in performance when applied as-is to this more realistic task, though training summarizers with retrieved inputs can reduce their sensitivity retrieval errors. To further probe these findings, we conduct perturbation experiments on summarizer inputs to study the impact of different types of document retrieval errors. Based on our results, we provide practical guidelines to help facilitate a shift to open-domain MDS. We release our code and experimental results alongside all data or model artifacts created during our investigation.

我们研究了检查问题的事实，旨在识别给定索赔的真实性。具体而言，我们专注于事实提取和验证（发烧）及其伴随数据集的任务。该任务包括从维基百科检索相关文件（和句子）并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要，可以是假新闻检测和医疗索赔验证等应用程序块。在本文中，我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果，描述了所提出的方法，这是最熟悉的和正式结构化的数据集，就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明，采样负句对于提高性能并降低计算复杂性很重要。最后，我们描述了开放的问题和未来的挑战，我们激励了未来的任务研究。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

Dense retrievers have made significant strides in obtaining state-of-the-art results on text retrieval and open-domain question answering (ODQA). Yet most of these achievements were made possible with the help of large annotated datasets, unsupervised learning for dense retrieval models remains an open problem. In this work, we explore two categories of methods for creating pseudo query-document pairs, named query extraction (QExt) and transferred query generation (TQGen), to augment the retriever training in an annotation-free and scalable manner. Specifically, QExt extracts pseudo queries by document structures or selecting salient random spans, and TQGen utilizes generation models trained for other NLP tasks (e.g., summarization) to produce pseudo queries. Extensive experiments show that dense retrievers trained with individual augmentation methods can perform comparably well with multiple strong baselines, and combining them leads to further improvements, achieving state-of-the-art performance of unsupervised dense retrieval on both BEIR and ODQA datasets.

Multiple choice questions (MCQs) are widely used in digital learning systems, as they allow for automating the assessment process. However, due to the increased digital literacy of students and the advent of social media platforms, MCQ tests are widely shared online, and teachers are continuously challenged to create new questions, which is an expensive and time-consuming task. A particularly sensitive aspect of MCQ creation is to devise relevant distractors, i.e., wrong answers that are not easily identifiable as being wrong. This paper studies how a large existing set of manually created answers and distractors for questions over a variety of domains, subjects, and languages can be leveraged to help teachers in creating new MCQs, by the smart reuse of existing distractors. We built several data-driven models based on context-aware question and distractor representations, and compared them with static feature-based models. The proposed models are evaluated with automated metrics and in a realistic user test with teachers. Both automatic and human evaluations indicate that context-aware models consistently outperform a static feature-based approach. For our best-performing context-aware model, on average 3 distractors out of the 10 shown to teachers were rated as high-quality distractors. We create a performance benchmark, and make it public, to enable comparison between different approaches and to introduce a more standardized evaluation of the task. The benchmark contains a test of 298 educational questions covering multiple subjects & languages and a 77k multilingual pool of distractor vocabulary for future research.

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

神经信息检索（IR）具有极大的搜索和其他知识密集型语言任务。虽然许多神经IR方法将查询和文档编码为单载表示，但后期交互模型在每个令牌的粒度下产生多向量表示，并将相关性建模分解为可伸缩的令牌级计算。这种分解已被证明可以使迟到的交互更有效，但它以幅度的数量级膨胀这些模型的空间占地面积。在这项工作中，我们介绍了Colbertv2，这是一种猎犬，其与去噪的监督策略相结合的侵略性的残余压缩机制，同时提高晚期互动的质量和空间足迹。我们在各种基准中评估COLBertv2，在培训域内和外部建立最先进的质量，同时减少了晚期互动模型的空间足迹5-8 $ \ times $。

识别跨语言抄袭是挑战性的，特别是对于遥远的语言对和感知翻译。我们介绍了这项任务的新型多语言检索模型跨语言本体论（CL \ nobreakdash-osa）。 CL-OSA表示从开放知识图Wikidata获得的实体向量的文档。反对其他方法，Cl \ nobreakdash-osa不需要计算昂贵的机器翻译，也不需要使用可比较或平行语料库进行预培训。它可靠地歧义同音异义和缩放，以允许其应用于Web级文档集合。我们展示了CL-OSA优于从五个大局部多样化的测试语料中检索候选文档的最先进的方法，包括日语英语等遥控语言对。为了识别在角色级别的跨语言抄袭，CL-OSA主要改善了感觉识别翻译的检测。对于这些挑战性案例，CL-OSA在良好的Plagdet得分方面的表现超过了最佳竞争对手的比例超过两种。我们研究的代码和数据公开可用。

这项研究涉及越南法律文本的信息检索问题（IR）。尽管对多种语言进行了很好的研究，但信息检索仍未受到越南研究界的关注。对于很难处理的法律文件，尤其如此。这项研究提出了一种使用句子转换器的越南法律文件的信息检索的新方法。此外，还进行了各种实验，以对不同的变压器模型，排名得分，音节级别和单词级训练进行比较。实验结果表明，所提出的模型优于当前有关越南文档信息检索的研究模型。