Information overloading requires the need for summarizers to extract salient information from the text. Currently, there is an overload of dialogue data due to the rise of virtual communication platforms. The rise of Covid-19 has led people to rely on online communication platforms like Zoom, Slack, Microsoft Teams, Discord, etc. to conduct their company meetings. Instead of going through the entire meeting transcripts, people can use meeting summarizers to select useful data. Nevertheless, there is a lack of comprehensive surveys in the field of meeting summarizers. In this survey, we aim to cover recent meeting summarization techniques. Our survey offers a general overview of text summarization along with datasets and evaluation metrics for meeting summarization. We also provide the performance of each summarizer on a leaderboard. We conclude our survey with different challenges in this domain and potential research opportunities for future researchers.

深度学习的最新进展，尤其是编码器架构的发明，已大大改善了抽象性摘要系统的性能。尽管大多数研究都集中在书面文件上，但我们观察到过去几年对对话和多方对话的总结越来越兴趣。一个可以可靠地将人类对话的音频或笔录转换为删节版本的系统，该版本在讨论中最重要的一点上可以在各种现实世界中，从商务会议到医疗咨询再到客户都有价值服务电话。本文着重于多党会议的抽象性摘要，对与此任务相关的挑战，数据集和系统进行了调查，并讨论了未来研究的有希望的方向。

这些日子，自动会议总结变得越来越受欢迎。能够自动总结会议和提取关键信息的能力可以大大提高我们工作和生活的效率。在本文中，我们试验不同的方法来提高基于查询的会议概述的性能。我们从HMNET \ CITE {HMNET}开始了一个分层网络，该网络采用单词级变压器和转动级变压器，作为基线。我们探讨使用大型新闻摘要数据集进行预培训模型的有效性。我们调查将查询的嵌入品作为输入向量的一部分添加为基于查询的摘要。此外，我们使用中间聚类步骤扩展了QMSUM \ CITE {QMSUM}的定位 - 然后总结方法。最后，我们将基线模型与BART进行比较，这是一个有效的总结的最先进的语言模型。我们通过将查询嵌入物添加到模型的输入，通过使用BART作为替代语言模型来实现改进的性能，并且通过使用聚类方法在将文本送入摘要模型之前在话语级别提取关键信息。

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

对话是人类沟通与合作的重要组成部分。现有研究主要关注一对一时尚的短对话情景。然而，现实世界中的多人互动，例如会议或访谈，经常超过几千个字。仍然缺乏相应的研究和强大的工具来了解和处理这么长的对话。因此，在这项工作中，我们为长时间对话理解和总结提供了预先培训框架。考虑到长期交谈的性质，我们提出了一种基于窗口的去噪方法，用于生成预训练。对于对话框，它损坏了一个带有对话激发灵感噪声的文本窗口，并指导模型基于剩余对话的内容来重建此窗口。此外，为了更长的输入，我们增加了稀疏关注模型，这些模型以混合方式与传统的关注相结合。我们在长对话的五个数据集进行广泛的实验，涵盖对话摘要的任务，抽象问题回答和主题分割。实验，我们表明，我们的预先训练的模型DialogLM显着超越了数据集和任务的最先进的模型。我们的GitHub存储库（HTTPS:/github.com/microsoft/dialoglm上有源代码和所有预先训练的型号。

有几种原因，抽象对话摘要是一项有挑战性的任务。首先，谈话中的大多数重要信息通过与不同纹理样式的多方交互来跨越话语。其次，对话通常是非正式结构，其中不同的个人表达个人观点，与文本摘要不同，通常针对新闻文章等正式文件的任务。为解决这些问题，我们专注于来自各个扬声器和独特的句法结构之间的话语之间的关联。扬声器具有唯一的文本方式，可以包含语言信息，例如声音。因此，我们通过利用语言信息（即POS标记）来构建语法感知模型，这通过自然区分从各个扬声器发出的句子来减轻上述问题。我们采用了多任务学习的语法感知信息和对话摘要。据我们所知，我们的方法是第一种将多任务学习应用于对话摘要任务的方法。 Samsum语料库（大规模对话摘要语料库）的实验表明，我们的方法改善了香草模型。我们进一步分析了我们对基线模型的方法的成本和益处。

以查询为中心的摘要（QFS）旨在产生应答感兴趣的特定问题的摘要，从而实现更大的用户控制和个性化。虽然最近发布的数据集如QMSUM或Aquamuse，促进QFS中的研究工作，但该领域缺乏对适用建模方法的广泛空间的全面研究。在本文中，考虑到两种普遍的方法，我们对QFS进行了系统探索，探讨了QFS：两阶段的采掘解决方案和端到端模型。在这些类别中，我们调查现有方法，并呈现了在QMSUM数据集上实现最先进的性能的两个模型扩展，其边缘高达3.38 Rouge-1，3.72 Rouge-2和3.28 Rouge-L。通过定量实验，我们突出了不同模型配置之间的权衡，并探讨了摘要任务之间的转移能力。代码和检查点公开可用：https：//github.com/salesforce/query-focused-sum。

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

在本文中，我们建议利用对话的独特特征，共享参与者的常识性知识，以解决总结它们的困难。我们提出了病态的框架，该框架使用常识推论作为其他背景。与以前仅依赖于输入对话的工作相比，Sick使用外部知识模型来生成丰富的常识推断，并选择具有基于相似性选择方法的最可能的推理。基于生病的，病人++的理解为监督，在总结多任务学习环境中的对话时，添加了产生常识推断的任务。实验结果表明，通过注入常识性知识，我们的框架比现有方法产生更多信息和一致的摘要。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

The internet has had a dramatic effect on the healthcare industry, allowing documents to be saved, shared, and managed digitally. This has made it easier to locate and share important data, improving patient care and providing more opportunities for medical studies. As there is so much data accessible to doctors and patients alike, summarizing it has become increasingly necessary - this has been supported through the introduction of deep learning and transformer-based networks, which have boosted the sector significantly in recent years. This paper gives a comprehensive survey of the current techniques and trends in medical summarization

心理治疗干预技术是治疗师和患者之间的多方面对话。与一般的临床讨论不同，心理治疗的核心成分（即症状）很难区分，因此成为以后要总结的复杂问题。结构化的咨询对话可能包含有关症状，心理健康问题病史或发现患者行为的讨论。它还可能包含与临床摘要无关的讨论填充单词。我们将结构化心理治疗的这些要素称为咨询组成部分。在本文中，目的是心理健康咨询的摘要，以基于领域知识并帮助临床医生快速收集意义。在注释咨询组件的12.9k话语和每次对话的参考摘要之后，我们创建了一个新的数据集。此外，我们建议消费是一种新颖的咨询组件指导摘要模型。消费经历三个独立模块。首先，为了评估抑郁症状的存在，它使用患者健康问卷（PHQ-9）过滤了话语，而第二和第三模块旨在对咨询组件进行分类。最后，我们提出了针对特定问题的心理健康信息捕获（MHIC）评估指标，用于咨询摘要。我们的比较研究表明，我们改善了性能并产生凝聚力，语义和连贯的摘要。我们全面分析了生成的摘要，以研究心理治疗元素的捕获。摘要的人类和临床评估表明，消费会产生质量摘要。此外，心理健康专家验证了消费的临床可接受性。最后，我们讨论了现实世界中心理健康咨询摘要的独特性，并在Mathic.ai的支持下显示了其在线应用程序上的部署的证据

生成摘要中的事实不一致严重限制了抽象对话摘要的实际应用。尽管通过使用预先训练的模型实现了显着进展，但在人类评估期间发现了大量的幻觉含量。预先接受的模型最常见的是微调文本摘要的跨熵损失，这可能不是最佳策略。在这项工作中，我们为带注释数据提供了事实错误的类型，以突出显示错误的类型并远离对事实的二进制了解。我们进一步提出了一种培训策略，通过新颖的对比微调，改善了摘要的事实一致性和整体素质。基于我们的语言信息的错误类型，我们设计了各个目标的不同模块化目标。具体而言，我们利用硬阴性样本具有误差，以减少事实不一致的产生。为了捕获扬声器之间的关键信息，我们还设计了特定于对话的损失。使用人类评估和自动忠实度量指标，我们表明我们的模型在对话摘要，Samsum语料库中大大降低了各种事实错误。此外，我们的模型可以推广到会议概述，AMI语料库，它产生的分数明显高于两个数据集关于单词 - 重叠度量标准的基线。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

在本文中，我们提出了一种新颖的架构，用于直接提取语音到语音摘要Essumm，它是一个无监督的模型，而无需依赖中间转录的文本。与以前的文本演示方法不同，我们旨在直接从语音中生成摘要，而无需转录。首先，根据语音信号的声学特征提取一组较小的语音段。对于每个候选语音段，为潜在的语音表示度度量设计了基于距离的汇总置信度评分。具体来说，我们利用现成的自我监督卷积神经网络来提取RAW Audio的深层语音功能。我们的方法会自动预测具有目标摘要长度的关键信息的最佳语音段序列。两个著名的会议数据集（AMI和ICSI语料库）的广泛结果表明，我们基于语音的直接方法通过未转录的数据提高汇总质量的有效性。我们还观察到，我们的无监督语音方法甚至在需要额外的语音识别的情况下以近期基于成绩单的摘要方法进行表现。

Text summarization is a user-preference based task, i.e., for one document, users often have different priorities for summary. As a key aspect of customization in summarization, granularity is used to measure the semantic coverage between the summary and source document. However, developing systems that can generate summaries with customizable semantic coverage is still an under-explored topic. In this paper, we propose the first unsupervised multi-granularity summarization framework, GranuSum. We take events as the basic semantic units of the source documents and propose to rank these events by their salience. We also develop a model to summarize input documents with given events as anchors and hints. By inputting different numbers of events, GranuSum is capable of producing multi-granular summaries in an unsupervised manner. Meanwhile, we annotate a new benchmark GranuDUC that contains multiple summaries at different granularities for each document cluster. Experimental results confirm the substantial superiority of GranuSum on multi-granularity summarization over strong baselines. Further, by exploiting the event information, GranuSum also exhibits state-of-the-art performance under the conventional unsupervised abstractive setting. Dataset for this paper can be found at: https://github.com/maszhongming/GranuDUC

Dialogue summarization has recently garnered significant attention due to its wide range of applications. However, existing methods for summarizing dialogues are suboptimal because they do not take into account the inherent structure of dialogue and rely heavily on labeled data, which can lead to poor performance in new domains. In this work, we propose DIONYSUS (dynamic input optimization in pre-training for dialogue summarization), a pre-trained encoder-decoder model for summarizing dialogues in any new domain. To pre-train DIONYSUS, we create two pseudo summaries for each dialogue example: one is produced by a fine-tuned summarization model, and the other is a collection of dialogue turns that convey important information. We then choose one of these pseudo summaries based on the difference in information distribution across different types of dialogues. This selected pseudo summary serves as the objective for pre-training DIONYSUS using a self-supervised approach on a large dialogue corpus. Our experiments show that DIONYSUS outperforms existing methods on six datasets, as demonstrated by its ROUGE scores in zero-shot and few-shot settings.

在过去的几十年中，知识感知的方法增强了一系列自然语言处理应用。随着收集的动力，最近在文档摘要中引起了知识，这是自然语言处理应用之一。先前的作品报告说，知识包裹的文档摘要在产生卓越的消化方面表现出色，尤其是在信息性，连贯性和事实一致性方面。本文追求对将知识嵌入文档摘要的最先进方法论进行的首次系统调查。特别是，我们提出了新的分类法，以概括文档摘要观点下的知识和知识嵌入。我们进一步探讨了如何在嵌入文档摘要模型的学习体系结构时，尤其是深度学习模型的学习架构。最后，我们讨论了这个主题和未来方向的挑战。

对话摘要已被广泛研究和应用，其中，先前的作品主要集中在探索卓越的模型结构方面，以对准输入对话和输出摘要。然而，对于专业对话（例如，法律辩论和医学诊断），语义/统计对齐可能几乎不会填补输入对话话语话语和外部知识的摘要输出之间的逻辑/事实差距。在本文中，我们主要研究了非预介绍和预用环境下对话检验摘要（DIS）的事实不一致问题。创新的端到端对话摘要生成框架是有两个辅助任务：预期事实方面正规化（EFAR）和缺少事实实体歧视（MFED）。综合实验表明，该模型可以以准确的事实方面的覆盖率来产生更可读的总结，以及通知用户从输入对话中检测到的潜在缺失事实以获得进一步的人为干预。