自动问题回答是电子商务中的一个重要但具有挑战性的任务，因为用户发布了有兴趣购买的产品的数百万个问题。因此，对使用有关产品的相关信息提供快速响应的自动答案生成系统存在很大的需求。他们有三种知识来源可用于接听用户发布查询，它们是评论，重复或类似的问题和规范。有效利用这些信息来源将极大地帮助我们回答复杂问题。然而，利用这些来源存在两个主要挑战：（i）存在无关信息和（ii）的存在评论和类似问题的情绪模糊。通过这项工作，我们提出了一种新的管道（MSQAP），其通过在生成响应之前分别执行相关性和歧义预测来利用上述来源中存在的丰富信息。实验结果表明，与硼基基线相比，我们的相关性预测模型（BERT-QA）优于所有其他变体，并且在F1分数中提高了12.36％。我们的生成模型（T5-QA）优于所有内容保存度量的基线，如Bleu，Rouge，并且在Bleu中的平均提高35.02％，与最高表现为基线（HSSC-Q）相比，BLEU中的198.75％。人为评估我们的管道向我们展示了我们的方法在生成模型（T5-QA）上的准确性提高了30.7％，导致我们的全部管道的方法（MSQAP）提供更准确的答案。据我们所知，这是电子商务域中的第一个工作，它自动生成自然语言答案，将目前的信息与规格，类似问题和评论数据相结合。

查询聚焦的文本摘要（QFTS）任务旨在构建基于给定查询的文本文档摘要的构建系统。解决此任务的关键挑战是缺乏培训摘要模型的大量标记数据。在本文中，我们通过探索一系列域适应技术来解决这一挑战。鉴于最近在广泛的自然语言处理任务中进行预先接受的变压器模型的成功，我们利用此类模型为单文档和多文件方案的QFTS任务产生抽象摘要。对于域适应，我们使用预先训练的变压器的摘要模型应用了各种技术，包括转移学习，弱监督学习和远程监督。六个数据集的广泛实验表明，我们所提出的方法非常有效地为QFTS任务产生抽象摘要，同时在一组自动和人类评估指标上设置新的最先进的结果。

问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。

最近，电子商务平台上的产品问题应答（PQA）引起了越来越幅度的关注，因为它可以作为智能的在线购物助理和改善客户购物体验。它的关键功能，自动回答的产品相关问题的生成，通过旨在在与问题相关的答案时产生内容保存。然而，现有方法忽略了PQA，即个性化的重要特征。提供相同的“完全总结”回答所有客户的回答不足，因为许多客户更愿意通过考虑自己的偏好对产品方面或信息需求的偏好来看待具有定制信息的个性化答案。为了解决这一挑战，我们提出了一种新颖的个性化答复生成方法（页面），具有多视角偏好建模，探讨了历史用户生成的内容，以模拟用户偏好，以在PQA中生成个性化答案。具体而言，我们首先将问题相关的用户历史作为外部知识作为模拟知识级用户偏好。然后我们利用高斯SoftMax分布模型来捕获潜在的方面级别用户偏好。最后，我们通过利用个人用户偏好和动态用户词汇表，开发一个角色感知指针网络以在内容和样式方面生成个性化答案。实验结果对现实世界电子商务QA数据集表明，所提出的方法通过生成信息和定制答案来表明现有方法，并显示电子商务中的答案可以从个性化中受益。

Large pre-trained language models have recently enabled open-ended generation frameworks (e.g., prompt-to-text NLG) to tackle a variety of tasks going beyond the traditional data-to-text generation. While this framework is more general, it is under-specified and often leads to a lack of controllability restricting their real-world usage. We propose a new grounded keys-to-text generation task: the task is to generate a factual description about an entity given a set of guiding keys, and grounding passages. To address this task, we introduce a new dataset, called EntDeGen. Inspired by recent QA-based evaluation measures, we propose an automatic metric, MAFE, for factual correctness of generated descriptions. Our EntDescriptor model is equipped with strong rankers to fetch helpful passages and generate entity descriptions. Experimental result shows a good correlation (60.14) between our proposed metric and human judgments of factuality. Our rankers significantly improved the factual correctness of generated descriptions (15.95% and 34.51% relative gains in recall and precision). Finally, our ablation study highlights the benefit of combining keys and groundings.

虽然考试风格的问题是一家提供各种目的的基本型教育工具，但有问题的手动构建是一个复杂的过程，需要培训，经验和资源。为减少与人工建设相关的开支并满足不需要持续供应新问题，可以使用自动问题（QG）技术。但是，与自动问题应答（QA）相比，QG是一个更具挑战性的任务。在这项工作中，我们在QA，QG的多任务设置中微调多语言T5（MT5）变压器，并使用土耳其QA DataSet回答提取任务。据我们所知，这是第一个尝试从土耳其语文本执行自动文本到文本问题的学术工作。评估结果表明，拟议的多任务设置达到了最先进的土耳其语问题应答和问题绩效，而不是TQuadv1，TQuadv2数据集和XQuad土耳其分裂。源代码和预先训练的模型可在https://github.com/obss/turkish-question-generation中获得。

This paper presents a new UNIfied pre-trained Language Model (UNILM) that can be fine-tuned for both natural language understanding and generation tasks. The model is pre-trained using three types of language modeling tasks: unidirectional, bidirectional, and sequence-to-sequence prediction. The unified modeling is achieved by employing a shared Transformer network and utilizing specific self-attention masks to control what context the prediction conditions on. UNILM compares favorably with BERT on the GLUE benchmark, and the SQuAD 2.0 and CoQA question answering tasks. Moreover, UNILM achieves new state-ofthe-art results on five natural language generation datasets, including improving the CNN/DailyMail abstractive summarization ROUGE-L to 40.51 (2.04 absolute improvement), the Gigaword abstractive summarization ROUGE-L to 35.75 (0.86 absolute improvement), the CoQA generative question answering F1 score to 82.5 (37.1 absolute improvement), the SQuAD question generation BLEU-4 to 22.12 (3.75 absolute improvement), and the DSTC7 document-grounded dialog response generation NIST-4 to 2.67 (human performance is 2.65). The code and pre-trained models are available at https://github.com/microsoft/unilm. * Equal contribution. † Contact person.

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

问题应答系统这些天通常使用基于模板的语言生成。虽然足够适用于特定于域的任务，但这些系统对于域无关的系统来说太限性和预定义。本文提出了一个输出全长答案的系统给出一个问题和提取的事实答案（如命名实体等短跨度）作为输入。我们的系统使用选区和依赖性解析问题的树木。基于变压器的语法纠错模型Gector（2020）用作后处理步骤，以便更好流畅。我们将系统与（i）修改的指针生成器（SOTA）和（ii）微调对话框进行了比较。我们还通过更好的结果测试我们的方法（是 - 否）问题的方法。我们的模型比最先进的（SOTA）方法产生准确和流畅的答案。评估是在NewsQA和Squad数据集上完成的，分别增加0.4和0.9个百分点的速度分数。与SOTA相比，推理时间也减少了85 \％。用于我们评估的改进数据集将作为研究贡献的一部分发布。

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

传达相关和忠实信息的能力对于有条件生成的许多任务至关重要，但对于神经SEQ-seq seq模型仍然难以捉摸，这些模型的输出通常显示出幻觉，并且无法正确涵盖重要细节。在这项工作中，我们主张规划作为有用的中间表示，以使有条件的一代减少不透明和扎根。我们的作品提出了将文本计划作为一系列提问（QA）对的新概念化。我们用QA蓝图作为内容选择（即〜说什么）和计划（即〜按什么顺序）来增强现有数据集（例如，用于摘要）。我们通过利用最先进的问题生成技术并将输入输出对自动获取蓝图，并将其转换为输入 - 蓝图输出输出元组。我们开发了基于变压器的模型，每个模型都在它们如何将蓝图合并到生成的输出中（例如，作为全局计划或迭代）。跨指标和数据集的评估表明，蓝图模型比不采取计划并允许对生成输出进行更严格控制的替代方案更为事实。

Open-Domain Generative Question Answering has achieved impressive performance in English by combining document-level retrieval with answer generation. These approaches, which we refer to as GenQA, can generate complete sentences, effectively answering both factoid and non-factoid questions. In this paper, we extend GenQA to the multilingual and cross-lingual settings. For this purpose, we first introduce GenTyDiQA, an extension of the TyDiQA dataset with well-formed and complete answers for Arabic, Bengali, English, Japanese, and Russian. Based on GenTyDiQA, we design a cross-lingual generative model that produces full-sentence answers by exploiting passages written in multiple languages, including languages different from the question. Our cross-lingual generative system outperforms answer sentence selection baselines for all 5 languages and monolingual generative pipelines for three out of five languages studied.

使用来自表格（TableQA）的信息回答自然语言问题是最近的兴趣。在许多应用程序中，表未孤立，但嵌入到非结构化文本中。通常，通过将其部分与表格单元格内容或非结构化文本跨度匹配，并从任一源中提取答案来最佳地回答问题。这导致了HybridQA数据集引入的TextableQA问题的新空间。现有的表格表示对基于变换器的阅读理解（RC）架构的适应性未通过单个系统解决两个表示的不同模式。培训此类系统因对遥远监督的需求而进一步挑战。为了降低认知负担，培训实例通常包括问题和答案，后者匹配多个表行和文本段。这导致嘈杂的多实例培训制度不仅涉及表的行，而且涵盖了链接文本的跨度。我们通过提出Mitqa来回应这些挑战，这是一个新的TextableQA系统，明确地模拟了表行选择和文本跨度选择的不同但密切相关的概率空间。与最近的基线相比，我们的实验表明了我们的方法的优越性。该方法目前在HybridQA排行榜的顶部，并进行了一个试验集，在以前公布的结果上实现了对em和f1的21％的绝对改善。

Using a single model across various tasks is beneficial for training and applying deep neural sequence models. We address the problem of developing generalist representations of text that can be used to perform a range of different tasks rather than being specialised to a single application. We focus on processing short questions and developing an embedding for these questions that is useful on a diverse set of problems, such as question topic classification, equivalent question recognition, and question answering. This paper introduces QBERT, a generalist model for processing questions. With QBERT, we demonstrate how we can train a multi-task network that performs all question-related tasks and has achieved similar performance compared to its corresponding single-task models.

过去十年互联网上可用的信息和信息量增加。该数字化导致自动应答系统需要从冗余和过渡知识源中提取富有成效的信息。这些系统旨在利用自然语言理解（NLU）从此巨型知识源到用户查询中最突出的答案，从而取决于问题答案（QA）字段。问题答案涉及但不限于用户问题映射的步骤，以获取相关查询，检索相关信息，从检索到的信息等找到最佳合适的答案等。当前对深度学习模型的当前改进估计所有这些任务的令人信服的性能改进。在本综述工作中，根据问题的类型，答案类型，证据答案来源和建模方法进行分析QA场的研究方向。此细节随后是自动问题生成，相似性检测和语言的低资源可用性等领域的开放挑战。最后，提出了对可用数据集和评估措施的调查。

人类在对话中提出的问题通常包含上下文依赖性，即对先前对话转弯的明确或隐式引用。这些依赖性采用核心发挥的形式（例如，通过代词使用）或椭圆形，并且可以使自动化系统的理解难以理解。促进对问题的理解和后续治疗方法的一种方法是将其重写为不受欢迎的形式，即可以理解的形式而没有对话性上下文。我们提出了Coqar，Coqar是一种语料库，其中包含$ 4.5 $ k的对话中的对话询问数据集COQA，总计$ 53 $ K的后续提问 - 答案对。每个原始问题都在至少2个脱离台面重写中手动注释。 COQAR可用于监督三个任务的监督：问题释义，问题重写和会话问题回答。为了评估Coqar重写的质量，我们进行了几项实验，包括培训和评估这三个任务的模型。我们的结果支持以下想法：问题重写可以用作问题回答模型的预处理步骤，从而提高其性能。

Often clickbait articles have a title that is phrased as a question or vague teaser that entices the user to click on the link and read the article to find the explanation. We developed a system that will automatically find the answer or explanation of the clickbait hook from the website text so that the user does not need to read through the text themselves. We fine-tune an extractive question and answering model (RoBERTa) and an abstractive one (T5), using data scraped from the 'StopClickbait' Facebook pages and Reddit's 'SavedYouAClick' subforum. We find that both extractive and abstractive models improve significantly after finetuning. We find that the extractive model performs slightly better according to ROUGE scores, while the abstractive one has a slight edge in terms of BERTscores.

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

在这项工作中，我们的目标是提供自然语言的结构化答案，以便复杂的信息需求。特别是，我们从数据到文本生成的角度来设想使用生成模型。我们建议使用内容选择和规划管道，该管道旨在通过生成中间计划来构建答案。使用TREC复杂答案检索（CAR）数据集进行实验评估。我们评估生成的答案及其相应的结构，并显示了与文本到文本模型相比的基于规划的模型的有效性。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。