作为自然语言生成的基本任务，文件摘要旨在为特定文件产生短期和连贯的摘要。可控摘要，特别是长度，是一些实际应用的重要问题，特别是如何折衷长度约束和信息完整性。在本文中，我们提出了一个\ textbf {a} daptive \ textbf {l} ength \ textbf {c} Ontrolling \ textbf {o} ptization（\ textbf {alco}）方法，通过增强学习利用两阶段抽象摘要模型。 Alco将长度约束结合到句子提取阶段，以惩罚副主提取的句子。同时，旨在使显着性估计机制旨在保留所生成的句子中的突出信息。已经在普通使用的基准数据集\ TEXTIT {CNN /每日邮件}上进行了一系列实验。结果表明，在长度可控性和内容保存方面，ALCO比流行的基线更好。

文档摘要将长期文档融入了一个简短的版本，具有突出的信息和准确的语义描述。主要问题是如何使输出摘要用输入文档进行语义一致。为了达到这一目标，最近，研究人员专注于监督的端到端混合方法，其中包含提取器模块和摘录器模块。其中，提取器识别来自输入文档的突出句子，摘录器从突出句子生成摘要。该模型通过各种策略（例如，强化学习）成功地保持了所生成的摘要和参考摘要之间的一致性。训练混合模型时有两个语义间隙（一个是文档和提取的句子之间，另一个是在提取的句子和摘要之间）。然而，它们在现有方法中未明确考虑它们，这通常会导致摘要的语义偏见。为了减轻上述问题，本文提出了一个新的\ textBF {r}光纤S \ TextBF {e} Mantic-\ TextBF {SY} MMetry Learning \ TextBF {M} odel为文档摘要（\ TextBF {Resym}） ）。 Resym在提取器中引入了语义 - 一致性奖励，以弥合第一个间隙。语义双奖励旨在弥合摘录者中的第二个间隙。通过用混合奖励机制（结合上述两个奖励）来实现整个文件摘要过程。此外，呈现了全面的句子表示学习方法以充分捕获来自原始文档的信息。已经在两个疯狂的基准数据集CNN /日邮件和BigPatent上进行了一系列实验。通过将其与各种评估度量的最新的基线进行比较，结果表明了参数的优越性。

文件摘要提供了一种更快地了解文本文档的集合并具有几个现实生活应用程序的仪器。随着在线文本数据的增长，最近提出了许多摘要模型。基于序列的序列（SEQ2Seq）的神经摘要模型是由于其高性能而在摘要领域中最广泛使用的。这是因为在编码时，文本中的语义信息和结构信息被充分考虑。然而，现有的提取摘要模型几乎没有注意并使用中央主题信息来协助生成摘要，这导致模型不确保在主要主题下的生成摘要。冗长的文档可以跨越多个主题，单个摘要无法对所有主题进行正义。因此，生成高质量摘要的关键是基于它的核心主题和构建摘要，特别是对于长文档来说。我们提出了一个主题感知编码，用于处理此问题的文档摘要。该模型有效地结合了句法级和主题级信息来构建一个综合句子表示。具体地，在神经基句子级表示中添加了神经主题模型，学习以充分考虑用于捕获原始文档中的关键内容的中心主题信息。三个公共数据集的实验结果表明，我们的模型优于最先进的模型。

Current state-of-the-art summarization models are trained with either maximum likelihood estimation (MLE) or reinforcement learning (RL). In this study, we investigate the third training paradigm and argue that inverse reinforcement learning (IRL) may be more suitable for text summarization. IRL focuses on estimating the reward function of an agent, given a set of observations of that agent's behavior. Generally, IRL provides advantages in situations where the reward function is not explicitly known or where it is difficult to define or interact with the environment directly. These situations are exactly what we observe in summarization. Thus, we introduce inverse reinforcement learning into text summarization and define a suite of sub-rewards that are important for summarization optimization. By simultaneously estimating the reward function and optimizing the summarization agent with expert demonstrations, we show that the model trained with IRL produces summaries that closely follow human behavior, in terms of better ROUGE, coverage, novelty, compression ratio and factuality when compared to the baselines trained with MLE and RL.

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

法律文本的自动摘要是一个重要的且仍然是一个具有挑战性的任务，因为法律文件往往是长期的，并且具有不寻常的结构和风格。深层模型的最近进步培训结束于终端以可分辨率的损失总结自然文本，但在适用于合法领域时，它们会显示有限的结果。在本文中，我们建议使用强化学习来培养当前的深度摘要模型，以提高其对法律领域的表现。为此，我们采用了近端政策优化方法，并引入了新的奖励函数，鼓励一代满足词汇和语义标准的候选摘要。我们将我们的方法应用于培训不同的摘要骨架，并在3个公共法律数据集中遵守一致而显着的性能增益。

传统上，文本聚类方法包含在多文件摘要（MDS）中作为一种用于应对相当大的信息重复的手段。集群被利用以表明信息显着性并避免冗余。这些方法集中在聚类句子上，即使密切相关的句子也通常包含非对齐信息。在这项工作中，我们重新审视聚类方法，将命题分组为更精确的信息对齐。具体而言，我们的方法检测到突出的命题，将它们聚集到释义集群中，并通过融合其命题来为每个集群生成代表性句子。我们的摘要方法在自动胭脂评分和人类偏好中，通过了在DUC 2004和TAC 2011数据集中的先前最先进的MDS方法。

文本摘要的重写方法结合了提取性和抽象的方法，使用抽象模型提高了提取性摘要的简洁性和可读性。退出重写系统将每个提取性句子作为唯一的输入，它相对集中，但可能会失去必要的背景知识和话语上下文。在本文中，我们调查了上下文化的重写，该重写消耗了整个文档并考虑了摘要上下文。我们将上下文重写正式化为具有组标签对齐的SEQ2SEQ，将组标签引入了模拟对齐方式的解决方案，并通过基于内容的地址来识别提取句子。结果表明，我们的方法显着优于非上下文重写系统，而无需加强学习，从而在多个提取器上实现了胭脂分数的强烈改进。

有效地探索巨大的数据，以做出决定，类似于回答复杂的问题，是挑战许多现实世界应用场景。在这种情况下，自动摘要具有重要的重要性，因为它将为大数据分析提供基础。传统的摘要方法优化系统以产生短暂的静态摘要，适合所有不考虑概述主观性方面的用户，即对不同用户认为有价值的用户，使这些方法在现实世界使用情况下不切实际。本文提出了一种基于互动概念的摘要模型，称为自适应摘要，可帮助用户制作所需的摘要，而不是产生单一的不灵活的摘要。系统通过在迭代循环中提供反馈来逐渐从用户提供信息，同时与系统交互。用户可以选择拒绝或接受概述中包含概念的操作，以从用户的透视和反馈的置信界面的重要性。所提出的方法可以保证交互式速度，以防止用户从事该过程。此外，它消除了对参考摘要的需求，这对于总结任务来说是一个具有挑战性的问题。评估表明，自适应摘要可帮助用户通过最大化所生成的摘要中的用户期望的内容来基于它们的偏好来使高质量的摘要。

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

We introduce extreme summarization, a new single-document summarization task which does not favor extractive strategies and calls for an abstractive modeling approach. The idea is to create a short, one-sentence news summary answering the question "What is the article about?". We collect a real-world, large scale dataset for this task by harvesting online articles from the British Broadcasting Corporation (BBC). We propose a novel abstractive model which is conditioned on the article's topics and based entirely on convolutional neural networks. We demonstrate experimentally that this architecture captures longrange dependencies in a document and recognizes pertinent content, outperforming an oracle extractive system and state-of-the-art abstractive approaches when evaluated automatically and by humans. 1

Text summarization is a user-preference based task, i.e., for one document, users often have different priorities for summary. As a key aspect of customization in summarization, granularity is used to measure the semantic coverage between the summary and source document. However, developing systems that can generate summaries with customizable semantic coverage is still an under-explored topic. In this paper, we propose the first unsupervised multi-granularity summarization framework, GranuSum. We take events as the basic semantic units of the source documents and propose to rank these events by their salience. We also develop a model to summarize input documents with given events as anchors and hints. By inputting different numbers of events, GranuSum is capable of producing multi-granular summaries in an unsupervised manner. Meanwhile, we annotate a new benchmark GranuDUC that contains multiple summaries at different granularities for each document cluster. Experimental results confirm the substantial superiority of GranuSum on multi-granularity summarization over strong baselines. Further, by exploiting the event information, GranuSum also exhibits state-of-the-art performance under the conventional unsupervised abstractive setting. Dataset for this paper can be found at: https://github.com/maszhongming/GranuDUC

Bidirectional Encoder Representations from Transformers (BERT; Devlin et al. 2019) represents the latest incarnation of pretrained language models which have recently advanced a wide range of natural language processing tasks. In this paper, we showcase how BERT can be usefully applied in text summarization and propose a general framework for both extractive and abstractive models. We introduce a novel document-level encoder based on BERT which is able to express the semantics of a document and obtain representations for its sentences. Our extractive model is built on top of this encoder by stacking several intersentence Transformer layers. For abstractive summarization, we propose a new fine-tuning schedule which adopts different optimizers for the encoder and the decoder as a means of alleviating the mismatch between the two (the former is pretrained while the latter is not). We also demonstrate that a two-staged fine-tuning approach can further boost the quality of the generated summaries. Experiments on three datasets show that our model achieves stateof-the-art results across the board in both extractive and abstractive settings. 1

尽管最近的抽象性摘要在自动评估指标上取得了成功，但生成的摘要仍然与源文档呈现事实不一致。在本文中，我们专注于实体级别的事实不一致，即减少生成的摘要与源文档之间的不匹配实体。因此，我们提出了一种基于实体的新型跨度机制，并通过全球相关成分探索其扩展。四个摘要数据集的实验结果表明，跨度可以有效地改善实体级别的事实一致性，而单词级别和实体级别的显着性基本上没有变化。该代码可在https://github.com/wendy-xiao/entity基于基础上找到

（源）代码摘要旨在以自然语言的形式自动为给定代码段生成摘要/注释。此类摘要在帮助开发人员理解和维护源代码方面起着关键作用。现有的代码摘要技术可以分类为提取方法和抽象方法。提取方法使用检索技术从代码段中提取重要语句和关键字的子集，并生成一个摘要，该摘要保留了重要语句和关键字中的事实详细信息。但是，这样的子集可能会错过标识符或实体命名，因此，产生的摘要的自然性通常很差。抽象方法可以生成类似人写的摘要，从而利用神经机器翻译域的编码器模型。然而，生成的摘要通常会错过重要的事实细节。为了通过保留的事实细节生成类似人写的摘要，我们提出了一个新颖的提取和吸收框架。框架中的提取模块执行了提取代码摘要的任务，该任务列入了代码段，并预测包含关键事实细节的重要陈述。框架中的抽象模块执行了抽象代码摘要的任务，该任务是在整个代码段和并行的重要陈述中进行的，并生成了简洁而人工写的类似的自然语言摘要。我们通过在涉及六种编程语言的三个数据集上进行广泛的实验来评估称为EACS的有效性。实验结果表明，在所有三种广泛使用的指标（包括BLEU，流星和Rough-l）方面，EACS明显优于最先进的技术。

Sentence summarization shortens given texts while maintaining core contents of the texts. Unsupervised approaches have been studied to summarize texts without human-written summaries. However, recent unsupervised models are extractive, which remove words from texts and thus they are less flexible than abstractive summarization. In this work, we devise an abstractive model based on reinforcement learning without ground-truth summaries. We formulate the unsupervised summarization based on the Markov decision process with rewards representing the summary quality. To further enhance the summary quality, we develop a multi-summary learning mechanism that generates multiple summaries with varying lengths for a given text, while making the summaries mutually enhance each other. Experimental results show that the proposed model substantially outperforms both abstractive and extractive models, yet frequently generating new words not contained in input texts.

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

长文件摘要是自然语言处理领域的重要且艰巨的任务。良好的长文件摘要表现揭示了模型对人类语言的理解。目前，大多数研究侧重于如何修改变压器的注意机制，实现更高的胭脂分数。数据预处理和后处理的研究相对较少。在本文中，我们使用两个预处理方法和后处理方法，并分析了这些方法对各种长文件摘要模型的影响。

文本AutoEncoders的最新进展显着提高了潜在空间的质量，这使得模型能够从聚合的潜伏向量生成语法和一致的文本。作为此属性的成功应用程序，无监督的意见摘要模型通过解码输入的聚合潜伏向量来生成摘要。更具体地，它们通过简单的平均值执行聚合。然而，关于矢量聚合步骤如何影响生成质量的知之甚少。在这项研究中，我们通过检查潜在空间和生成的摘要来重新审视常用的简单平均方法。我们发现，由于汇总潜在向量中的意外$ L_2 $ -NORM收缩，我们将倾向于从简单的潜在潜在的潜在潜伏的潜伏向量产生过度通用的摘要。为了克服这个问题，我们开发了一个框架COOP，它使用输入输出字重叠搜索潜在向量聚合的输入组合。实验结果表明，COC成功减轻了摘要载体退化问题，并在两个意见摘要基准上建立了新的最先进的表现。代码可用于\ url {https://github.com/megagonlabs/coop}。

与单案摘要相比，抽象性多文件摘要（MDS）对其冗长和链接的来源的表示和覆盖范围提出了挑战。这项研究开发了一个平行的层次变压器（PHT），具有MDS的注意对齐。通过合并单词和段落级的多头注意，PHT的层次结构可以更好地处理令牌和文档级别的依赖项。为了指导解码到更好的源文档覆盖范围，然后将注意力调整机制引入以校准光束搜索，并预测的最佳注意力分布。根据Wikisum数据，进行了全面的评估，以测试拟议的体系结构对MD的改进。通过更好地处理内部和跨文档的信息，结果胭脂和人类评估都表明，我们的分层模型以相对较低的计算成本生成较高质量的摘要。