对话摘要已被广泛研究和应用，其中，先前的作品主要集中在探索卓越的模型结构方面，以对准输入对话和输出摘要。然而，对于专业对话（例如，法律辩论和医学诊断），语义/统计对齐可能几乎不会填补输入对话话语话语和外部知识的摘要输出之间的逻辑/事实差距。在本文中，我们主要研究了非预介绍和预用环境下对话检验摘要（DIS）的事实不一致问题。创新的端到端对话摘要生成框架是有两个辅助任务：预期事实方面正规化（EFAR）和缺少事实实体歧视（MFED）。综合实验表明，该模型可以以准确的事实方面的覆盖率来产生更可读的总结，以及通知用户从输入对话中检测到的潜在缺失事实以获得进一步的人为干预。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

在本文中，我们建议利用对话的独特特征，共享参与者的常识性知识，以解决总结它们的困难。我们提出了病态的框架，该框架使用常识推论作为其他背景。与以前仅依赖于输入对话的工作相比，Sick使用外部知识模型来生成丰富的常识推断，并选择具有基于相似性选择方法的最可能的推理。基于生病的，病人++的理解为监督，在总结多任务学习环境中的对话时，添加了产生常识推断的任务。实验结果表明，通过注入常识性知识，我们的框架比现有方法产生更多信息和一致的摘要。

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

心理治疗干预技术是治疗师和患者之间的多方面对话。与一般的临床讨论不同，心理治疗的核心成分（即症状）很难区分，因此成为以后要总结的复杂问题。结构化的咨询对话可能包含有关症状，心理健康问题病史或发现患者行为的讨论。它还可能包含与临床摘要无关的讨论填充单词。我们将结构化心理治疗的这些要素称为咨询组成部分。在本文中，目的是心理健康咨询的摘要，以基于领域知识并帮助临床医生快速收集意义。在注释咨询组件的12.9k话语和每次对话的参考摘要之后，我们创建了一个新的数据集。此外，我们建议消费是一种新颖的咨询组件指导摘要模型。消费经历三个独立模块。首先，为了评估抑郁症状的存在，它使用患者健康问卷（PHQ-9）过滤了话语，而第二和第三模块旨在对咨询组件进行分类。最后，我们提出了针对特定问题的心理健康信息捕获（MHIC）评估指标，用于咨询摘要。我们的比较研究表明，我们改善了性能并产生凝聚力，语义和连贯的摘要。我们全面分析了生成的摘要，以研究心理治疗元素的捕获。摘要的人类和临床评估表明，消费会产生质量摘要。此外，心理健康专家验证了消费的临床可接受性。最后，我们讨论了现实世界中心理健康咨询摘要的独特性，并在Mathic.ai的支持下显示了其在线应用程序上的部署的证据

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

上下文化的单词嵌入会导致自然语言理解中最新的表演。最近，诸如BERT之类的预先训练的深层上下文化的文本编码器显示了其在改善包括抽象性摘要在内的自然语言任务方面的潜力。对话摘要中的现有方法着重于将大型语言模型纳入摘要任务，该任务是在大规模语料库中培训的，这些任务由新闻文章组成，而不是多个演讲者的对话。在本文中，我们介绍了自我监督的方法，以补偿培训对话摘要模型的缺点。我们的原则是使用借口对话文本检测不一致的信息流，以增强伯特对对话文本表示形式的上下文能力。我们使用增强的BERT在共享的编码器架构上构建并微调一个抽象的对话摘要模型。我们通过Samsum语料库（Samsum copus）进行了验证评估我们的抽象对话摘要，这是一个最近介绍的带有抽象性对话摘要的数据集。我们所有的方法都为在胭脂分数中测得的抽象摘要做出了改进。通过一项广泛的消融研究，我们还向关键模型超参数，切换话语和掩盖对话者的概率提出了灵敏度分析。

有几种原因，抽象对话摘要是一项有挑战性的任务。首先，谈话中的大多数重要信息通过与不同纹理样式的多方交互来跨越话语。其次，对话通常是非正式结构，其中不同的个人表达个人观点，与文本摘要不同，通常针对新闻文章等正式文件的任务。为解决这些问题，我们专注于来自各个扬声器和独特的句法结构之间的话语之间的关联。扬声器具有唯一的文本方式，可以包含语言信息，例如声音。因此，我们通过利用语言信息（即POS标记）来构建语法感知模型，这通过自然区分从各个扬声器发出的句子来减轻上述问题。我们采用了多任务学习的语法感知信息和对话摘要。据我们所知，我们的方法是第一种将多任务学习应用于对话摘要任务的方法。 Samsum语料库（大规模对话摘要语料库）的实验表明，我们的方法改善了香草模型。我们进一步分析了我们对基线模型的方法的成本和益处。

Information overloading requires the need for summarizers to extract salient information from the text. Currently, there is an overload of dialogue data due to the rise of virtual communication platforms. The rise of Covid-19 has led people to rely on online communication platforms like Zoom, Slack, Microsoft Teams, Discord, etc. to conduct their company meetings. Instead of going through the entire meeting transcripts, people can use meeting summarizers to select useful data. Nevertheless, there is a lack of comprehensive surveys in the field of meeting summarizers. In this survey, we aim to cover recent meeting summarization techniques. Our survey offers a general overview of text summarization along with datasets and evaluation metrics for meeting summarization. We also provide the performance of each summarizer on a leaderboard. We conclude our survey with different challenges in this domain and potential research opportunities for future researchers.

生成摘要中的事实不一致严重限制了抽象对话摘要的实际应用。尽管通过使用预先训练的模型实现了显着进展，但在人类评估期间发现了大量的幻觉含量。预先接受的模型最常见的是微调文本摘要的跨熵损失，这可能不是最佳策略。在这项工作中，我们为带注释数据提供了事实错误的类型，以突出显示错误的类型并远离对事实的二进制了解。我们进一步提出了一种培训策略，通过新颖的对比微调，改善了摘要的事实一致性和整体素质。基于我们的语言信息的错误类型，我们设计了各个目标的不同模块化目标。具体而言，我们利用硬阴性样本具有误差，以减少事实不一致的产生。为了捕获扬声器之间的关键信息，我们还设计了特定于对话的损失。使用人类评估和自动忠实度量指标，我们表明我们的模型在对话摘要，Samsum语料库中大大降低了各种事实错误。此外，我们的模型可以推广到会议概述，AMI语料库，它产生的分数明显高于两个数据集关于单词 - 重叠度量标准的基线。

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

Dialogue summarization has recently garnered significant attention due to its wide range of applications. However, existing methods for summarizing dialogues are suboptimal because they do not take into account the inherent structure of dialogue and rely heavily on labeled data, which can lead to poor performance in new domains. In this work, we propose DIONYSUS (dynamic input optimization in pre-training for dialogue summarization), a pre-trained encoder-decoder model for summarizing dialogues in any new domain. To pre-train DIONYSUS, we create two pseudo summaries for each dialogue example: one is produced by a fine-tuned summarization model, and the other is a collection of dialogue turns that convey important information. We then choose one of these pseudo summaries based on the difference in information distribution across different types of dialogues. This selected pseudo summary serves as the objective for pre-training DIONYSUS using a self-supervised approach on a large dialogue corpus. Our experiments show that DIONYSUS outperforms existing methods on six datasets, as demonstrated by its ROUGE scores in zero-shot and few-shot settings.

深度学习的最新进展，尤其是编码器架构的发明，已大大改善了抽象性摘要系统的性能。尽管大多数研究都集中在书面文件上，但我们观察到过去几年对对话和多方对话的总结越来越兴趣。一个可以可靠地将人类对话的音频或笔录转换为删节版本的系统，该版本在讨论中最重要的一点上可以在各种现实世界中，从商务会议到医疗咨询再到客户都有价值服务电话。本文着重于多党会议的抽象性摘要，对与此任务相关的挑战，数据集和系统进行了调查，并讨论了未来研究的有希望的方向。

尽管最近的抽象性摘要在自动评估指标上取得了成功，但生成的摘要仍然与源文档呈现事实不一致。在本文中，我们专注于实体级别的事实不一致，即减少生成的摘要与源文档之间的不匹配实体。因此，我们提出了一种基于实体的新型跨度机制，并通过全球相关成分探索其扩展。四个摘要数据集的实验结果表明，跨度可以有效地改善实体级别的事实一致性，而单词级别和实体级别的显着性基本上没有变化。该代码可在https://github.com/wendy-xiao/entity基于基础上找到

We introduce extreme summarization, a new single-document summarization task which does not favor extractive strategies and calls for an abstractive modeling approach. The idea is to create a short, one-sentence news summary answering the question "What is the article about?". We collect a real-world, large scale dataset for this task by harvesting online articles from the British Broadcasting Corporation (BBC). We propose a novel abstractive model which is conditioned on the article's topics and based entirely on convolutional neural networks. We demonstrate experimentally that this architecture captures longrange dependencies in a document and recognizes pertinent content, outperforming an oracle extractive system and state-of-the-art abstractive approaches when evaluated automatically and by humans. 1

这些日子，自动会议总结变得越来越受欢迎。能够自动总结会议和提取关键信息的能力可以大大提高我们工作和生活的效率。在本文中，我们试验不同的方法来提高基于查询的会议概述的性能。我们从HMNET \ CITE {HMNET}开始了一个分层网络，该网络采用单词级变压器和转动级变压器，作为基线。我们探讨使用大型新闻摘要数据集进行预培训模型的有效性。我们调查将查询的嵌入品作为输入向量的一部分添加为基于查询的摘要。此外，我们使用中间聚类步骤扩展了QMSUM \ CITE {QMSUM}的定位 - 然后总结方法。最后，我们将基线模型与BART进行比较，这是一个有效的总结的最先进的语言模型。我们通过将查询嵌入物添加到模型的输入，通过使用BART作为替代语言模型来实现改进的性能，并且通过使用聚类方法在将文本送入摘要模型之前在话语级别提取关键信息。

输出长度对于对话摘要系统至关重要。对话摘要长度由多个因素决定，包括对话复杂性，摘要目标和个人偏好。在这项工作中，我们从三个角度来对话摘要长度。首先，我们分析了现有模型的输出与相应的人类参考之间的长度差异，并发现摘要模型由于其预训练的目标而倾向于产生更多的详细摘要。其次，我们通过比较不同的模型设置来确定摘要长度预测的显着特征。第三，我们尝试使用长度意识的摘要，并在现有模型上显示出显着改进，如果汇总长度可以很好地整合。分析和实验是在流行的对话和Samsum数据集中进行的，以验证我们的发现。

对话是人类沟通与合作的重要组成部分。现有研究主要关注一对一时尚的短对话情景。然而，现实世界中的多人互动，例如会议或访谈，经常超过几千个字。仍然缺乏相应的研究和强大的工具来了解和处理这么长的对话。因此，在这项工作中，我们为长时间对话理解和总结提供了预先培训框架。考虑到长期交谈的性质，我们提出了一种基于窗口的去噪方法，用于生成预训练。对于对话框，它损坏了一个带有对话激发灵感噪声的文本窗口，并指导模型基于剩余对话的内容来重建此窗口。此外，为了更长的输入，我们增加了稀疏关注模型，这些模型以混合方式与传统的关注相结合。我们在长对话的五个数据集进行广泛的实验，涵盖对话摘要的任务，抽象问题回答和主题分割。实验，我们表明，我们的预先训练的模型DialogLM显着超越了数据集和任务的最先进的模型。我们的GitHub存储库（HTTPS:/github.com/microsoft/dialoglm上有源代码和所有预先训练的型号。

Bidirectional Encoder Representations from Transformers (BERT; Devlin et al. 2019) represents the latest incarnation of pretrained language models which have recently advanced a wide range of natural language processing tasks. In this paper, we showcase how BERT can be usefully applied in text summarization and propose a general framework for both extractive and abstractive models. We introduce a novel document-level encoder based on BERT which is able to express the semantics of a document and obtain representations for its sentences. Our extractive model is built on top of this encoder by stacking several intersentence Transformer layers. For abstractive summarization, we propose a new fine-tuning schedule which adopts different optimizers for the encoder and the decoder as a means of alleviating the mismatch between the two (the former is pretrained while the latter is not). We also demonstrate that a two-staged fine-tuning approach can further boost the quality of the generated summaries. Experiments on three datasets show that our model achieves stateof-the-art results across the board in both extractive and abstractive settings. 1