大型和超大语言模型的开发，例如GPT-3，T5，Switch Transformer，Ernie等，已经显着改善了文本生成的性能。该领域的重要研究方向之一是产生具有争论的文本。该问题的解决方案可以用于商务会议，政治辩论，对话系统，以准备学生论文。这些应用的主要领域之一是经济领域。俄罗斯语言的论证文本生成的关键问题是缺乏注释的论证语料库。在本文中，我们将论证的微观版，说服力论文和UKP句子语料库的翻译版本用于微调Rubert模型。此外，该模型用于通过论证注释经济新闻的语料库。然后使用带注释的语料库微调Rugpt-3模型，该模型生成参数文本。结果表明，与原始RUGPT-3模型相比，这种方法将论点生成的准确性提高了20个百分点（63.2％对42.5％）。

The research on text summarization for low-resource Indian languages has been limited due to the availability of relevant datasets. This paper presents a summary of various deep-learning approaches used for the ILSUM 2022 Indic language summarization datasets. The ISUM 2022 dataset consists of news articles written in Indian English, Hindi, and Gujarati respectively, and their ground-truth summarizations. In our work, we explore different pre-trained seq2seq models and fine-tune those with the ILSUM 2022 datasets. In our case, the fine-tuned SoTA PEGASUS model worked the best for English, the fine-tuned IndicBART model with augmented data for Hindi, and again fine-tuned PEGASUS model along with a translation mapping-based approach for Gujarati. Our scores on the obtained inferences were evaluated using ROUGE-1, ROUGE-2, and ROUGE-4 as the evaluation metrics.

文本生成的广泛使用的评估指标要么与更长的文本效果不错，要么无法评估文本质量的所有方面。在本文中，我们引入了一个名为SMART的新指标，以减轻此类限制。具体而言，我们将句子视为匹配的基本单位，而不是代币，并使用句子匹配函数来匹配匹配候选和参考句子。还将候选句子与源文件中的句子进行了比较，以允许接地（例如，事实）评估。我们的结果表明，我们提出的指标与基于模型的匹配函数的系统级相关性优于萨姆瓦尔摘要元评估数据集上的所有竞争指标指标。后者不使用任何神经模型，这在模型开发阶段很有用，在这些阶段，资源可以受到限制且需要快速评估。最后，我们还进行了广泛的分析，表明我们提出的指标与较长的摘要很好地运行，并且对特定模型的偏见较小。

由于免费的在线百科全书具有大量内容，因此Wikipedia和Wikidata是许多自然语言处理（NLP）任务的关键，例如信息检索，知识基础构建，机器翻译，文本分类和文本摘要。在本文中，我们介绍了Wikides，这是一个新颖的数据集，用于为文本摘要问题提供Wikipedia文章的简短描述。该数据集由6987个主题上的80K英语样本组成。我们设置了一种两阶段的摘要方法 - 描述生成（I阶段）和候选排名（II阶段）作为一种依赖于转移和对比学习的强大方法。对于描述生成，与其他小规模的预训练模型相比，T5和BART表现出了优越性。通过将对比度学习与Beam Search的不同输入一起应用，基于度量的排名模型优于直接描述生成模型，在主题独立拆分和独立于主题的独立拆分中，最高可达22个胭脂。此外，第II期中的结果描述得到了人类评估的支持，其中45.33％以上，而I阶段的23.66％则支持针对黄金描述。在情感分析方面，生成的描述无法有效地从段落中捕获所有情感极性，同时从黄金描述中更好地完成此任务。自动产生的新描述减少了人类为创建它们的努力，并丰富了基于Wikidata的知识图。我们的论文对Wikipedia和Wikidata产生了实际影响，因为有成千上万的描述。最后，我们预计Wikides将成为从短段落中捕获显着信息的相关作品的有用数据集。策划的数据集可公开可用：https：//github.com/declare-lab/wikides。

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

预先训练的语言模型已经建立了有关各种自然语言处理任务的最新技术，包括对话摘要，这使读者可以在会议，访谈或电话中的长时间对话中快速访问关键信息。但是，这种对话仍然很难使用当前的模型来处理，因为语言的自发性涉及在用于预先培训语言模型的语料库中很少存在的表达式。此外，在这一领域完成的绝大多数工作都集中在英语上。在这项工作中，我们介绍了一项研究，使用几种特定语言的预培训模型：Barthez和Belgpt-2以及多语言预培训的模型：MBART，MBARTHEZ和MT5。实验是在Decoda（呼叫中心）对话语料库上进行的，其任务是根据情况在呼叫中心与一个或几个代理之间的呼叫中心对话中产生抽象介绍。结果表明，Barthez型号的性能最佳，远远超过了Decoda先前的最新性能。我们进一步讨论了此类预训练模型的局限性以及总结自发对话所需的挑战。

自动摘要评估对于机器生成和人为生产的摘要都有用。自动评估给定文档的摘要文本启用，例如，摘要生成系统开发和检测不适当的摘要。摘要评估可以以多种模式进行：排名摘要生成系统；对特定文档的排名摘要；并在绝对规模上估算文档 - 苏格尔对的质量。带有注释的现有数据集用于摘要评估，通常基于新闻摘要数据集，例如CNN/DailyMail或XSUM。在这项工作中，我们描述了一个新的数据集，即播客摘要评估语料库，这是由TREC2020的人类专家评估的播客摘要集。与现有的摘要评估数据相比，该数据集具有两个独特的方面：（i）基于语音播客的长输入，文档； （ii）有机会在播客语料库中检测不适当的参考摘要。首先，我们检查了现有的评估方法，包括无模型和基于模型的方法，并为此长输入摘要评估数据集提供基准结果。其次，为了过滤参考参考文献配对以进行培训，我们采用摘要评估进行数据选择。这两个方面的实验结果为摘要评估和发电任务提供了有趣的见解。播客摘要评估数据可用。

维基百科是可理解知识的重要自由来源。尽管如此，巴西葡萄牙维基百科仍然缺乏对许多科目的描述。为了扩大巴西维基百科，我们贡献了Plsum，这是一种从多个描述性网站生成类似的Wiki的抽象摘要的框架。该框架具有提取阶段，然后是抽象。特别是，对于抽象阶段，我们微调并比较了变压器神经网络，PTT5和啰覆的最近最近的变化。为了微调和评估模型，我们创建了一个具有数千个示例的数据集，将参考网站链接到维基百科。我们的结果表明，可以从巴西葡萄牙语网上内容生成有意义的抽象摘要。

Bidirectional Encoder Representations from Transformers (BERT; Devlin et al. 2019) represents the latest incarnation of pretrained language models which have recently advanced a wide range of natural language processing tasks. In this paper, we showcase how BERT can be usefully applied in text summarization and propose a general framework for both extractive and abstractive models. We introduce a novel document-level encoder based on BERT which is able to express the semantics of a document and obtain representations for its sentences. Our extractive model is built on top of this encoder by stacking several intersentence Transformer layers. For abstractive summarization, we propose a new fine-tuning schedule which adopts different optimizers for the encoder and the decoder as a means of alleviating the mismatch between the two (the former is pretrained while the latter is not). We also demonstrate that a two-staged fine-tuning approach can further boost the quality of the generated summaries. Experiments on three datasets show that our model achieves stateof-the-art results across the board in both extractive and abstractive settings. 1

寻求健康信息的寻求使网络与消费者的健康相关问题淹没了。通常，消费者使用过度描述性和外围信息来表达其医疗状况或其他医疗保健需求，从而有助于自然语言理解的挑战。解决这一挑战的一种方法是总结问题并提取原始问题的关键信息。为了解决此问题，我们介绍了一个新的数据集CHQ-SUMM，其中包含1507个域 - 专家注释的消费者健康问题和相应的摘要。该数据集源自社区提问论坛，因此为了解社交媒体上与消费者健康相关的帖子提供了宝贵的资源。我们在多个最先进的摘要模型上基准测试数据集，以显示数据集的有效性。

文本摘要模型通常经过培训，以产生满足人类质量要求的摘要。但是，现有的摘要文本评估指标只是摘要质量的粗略代理，与人类评分和抑制摘要多样性的相关性低。为了解决这些问题，我们提出了SummScore，这是基于CrossCoder的摘要质量评估的综合指标。首先，通过采用原始的苏格拉外测量模式并比较原始文本的语义，SummScore摆脱了抑制摘要多样性的抑制。借助文本匹配的预训练交叉编码器，SummScore可以有效地捕获摘要语义之间的细微差异。其次，为了提高全面性和解释性，SummScore由四个细粒子模型组成，它们分别测量连贯性，一致性，流利性和相关性。我们使用半监督的多轮训练来提高模型在极有限的注释数据上的性能。广泛的实验表明，与人类评分相关的上述四个维度中，SummScore在上述四个维度中的现有评估指标显着优于现有的评估指标。我们还为16个主流摘要模型提供了SummScore的质量评估结果，以供以后研究。

长文件摘要是自然语言处理领域的重要且艰巨的任务。良好的长文件摘要表现揭示了模型对人类语言的理解。目前，大多数研究侧重于如何修改变压器的注意机制，实现更高的胭脂分数。数据预处理和后处理的研究相对较少。在本文中，我们使用两个预处理方法和后处理方法，并分析了这些方法对各种长文件摘要模型的影响。

传统上，文本简化被视为单语翻译任务，其中源文本及其简化的对应物之间的句子是对齐的。但是，尤其是对于更长的输入文档，总结文本（或完全删除相关内容）在简化过程中起重要作用，目前在现有数据集中尚未反映出该过程。同时，非英语语言的资源通常很少，并且对于培训新解决方案而言是过分的。为了解决这个问题，我们对可以共同总结和简化长源文档的系统提出了核心要求。我们进一步描述了基于德国Wikipedia和德国儿童词典“ Klexikon”的新数据集的创建，用于简化和摘要，包括近2900个文档。我们发布了一个与文档一致的版本，特别突出了摘要方面，并提供了统计证据，表明此资源也非常适合简化。代码和数据可在GitHub上找到：https：//github.com/dennlinger/klexikon

Cross-Lingual Summarization (CLS) aims at generating summaries in one language for the given documents in another language. CLS has attracted wide research attention due to its practical significance in the multi-lingual world. Though great contributions have been made, existing CLS works typically focus on short documents, such as news articles, short dialogues and guides. Different from these short texts, long documents such as academic articles and business reports usually discuss complicated subjects and consist of thousands of words, making them non-trivial to process and summarize. To promote CLS research on long documents, we construct Perseus, the first long-document CLS dataset which collects about 94K Chinese scientific documents paired with English summaries. The average length of documents in Perseus is more than two thousand tokens. As a preliminary study on long-document CLS, we build and evaluate various CLS baselines, including pipeline and end-to-end methods. Experimental results on Perseus show the superiority of the end-to-end baseline, outperforming the strong pipeline models equipped with sophisticated machine translation systems. Furthermore, to provide a deeper understanding, we manually analyze the model outputs and discuss specific challenges faced by current approaches. We hope that our work could benchmark long-document CLS and benefit future studies.

缺乏创造力的抽象方法在自动文本摘要中尤其是一个问题。模型产生的摘要主要是从源文章中提取的。该问题的主要原因之一是缺乏抽象性的数据集，尤其是对于中文而言。为了解决这个问题，我们用CLT中的参考摘要解释，中国长文本摘要数据集，正确的事实不一致的错误，并提出了第一个中国长文本摘要数据集，其中包含高度的clts+，其中包含超过更多的中文。 180k文章 - 苏格尔对，可在线购买。此外，我们引入了一个基于共发生词的固有度量，以评估我们构建的数据集。我们对CLTS+摘要中使用的提取策略进行了针对其他数据集的提取策略，以量化我们的新数据的抽象性和难度，并在CLTS+上训练多个基线，以验证IT的实用性以提高模型的创造力。

大型审慎的语言模型最近征服了自然语言处理领域。作为BERT中引入的主要掩盖语言建模的替代方案，T5模型引入了更通用的训练目标，即序列转换的顺序，其中包括蒙版语言模型，但自然地适合文本生成任务，例如机器翻译，摘要，开放 - 开放 - 域问题回答，文本简化，对话系统等。T5模型的单语变体仅限于资源良好的语言，而大量的多语言T5模型则支持101种语言。相比之下，我们训练了两个不同尺寸的T5型序列，以使用较少的资源并分析其行为的形态丰富的斯洛文尼语的序列模型。关于分类任务，SLOT5模型主要落后于单语Slovene Sloberta模型，但应考虑生成任务。

This preprint describes work in progress on LR-Sum, a new permissively-licensed dataset created with the goal of enabling further research in automatic summarization for less-resourced languages. LR-Sum contains human-written summaries for 40 languages, many of which are less-resourced. We describe our process for extracting and filtering the dataset from the Multilingual Open Text corpus (Palen-Michel et al., 2022). The source data is public domain newswire collected from from Voice of America websites, and LR-Sum is released under a Creative Commons license (CC BY 4.0), making it one of the most openly-licensed multilingual summarization datasets. We describe how we plan to use the data for modeling experiments and discuss limitations of the dataset.

键形对于搜索和系统化学术文档至关重要。大多数用于键形提取的方法是针对文本中最重要的单词的提取。但是实际上，密钥拼列表通常包含明确出现在文本中的单词。在这种情况下，键形列表表示源文本的抽象摘要。在本文中，我们使用基于流行的变压器的模型进行试验，以使用四个基准数据集进行键形式提取，以进行抽象文本摘要。我们将获得的结果与常见的无监督和监督方法的结果进行了比较。我们的评估表明，按照全匹配的F1分数和BertScore的术语，汇总模型在生成钥匙串方面非常有效。但是，它们产生的许多单词在作者的键形列表中没有，这使得摘要模型在Rouge-1方面无效。我们还研究了几种订购策略来连接靶标键形。结果表明，策略的选择会影响键形生成的性能。

Text summarization is a user-preference based task, i.e., for one document, users often have different priorities for summary. As a key aspect of customization in summarization, granularity is used to measure the semantic coverage between the summary and source document. However, developing systems that can generate summaries with customizable semantic coverage is still an under-explored topic. In this paper, we propose the first unsupervised multi-granularity summarization framework, GranuSum. We take events as the basic semantic units of the source documents and propose to rank these events by their salience. We also develop a model to summarize input documents with given events as anchors and hints. By inputting different numbers of events, GranuSum is capable of producing multi-granular summaries in an unsupervised manner. Meanwhile, we annotate a new benchmark GranuDUC that contains multiple summaries at different granularities for each document cluster. Experimental results confirm the substantial superiority of GranuSum on multi-granularity summarization over strong baselines. Further, by exploiting the event information, GranuSum also exhibits state-of-the-art performance under the conventional unsupervised abstractive setting. Dataset for this paper can be found at: https://github.com/maszhongming/GranuDUC

健康素养被出现为制定适当的健康决策和确保治疗结果的关键因素。然而，医学术语和该领域的专业语言的复杂结构使健康信息尤为难以解释。因此，迫切需要对自动化方法来提高生物医学文献的可访问性，以提高一般人群。这个问题可以作为医疗保健专业人员语言与公众的语言之间的翻译问题。在本文中，我们介绍了自动化生物医学科学评论的制定语言摘要的新任务，建设了一个数据集，以支持自动化方法的开发和评估，以提高生物医学文献的可访问性。我们对解决这项任务的各种挑战进行了分析，包括不仅对关键要点的总结，而且还概述了对背景知识和专业语言的简化的解释。我们试验最先进的摘要模型以及多种数据增强技术，并使用自动指标和人工评估评估其性能。结果表明，与专家专家专门开发的参考摘要相比，使用当代神经架构产生的自动产生的摘要可以实现有希望的质量和可读性（最佳Rouge-L为50.24和Flesch-Kincaid可读性得分为13.30）。我们还讨论了目前尝试的局限性，为未来工作提供了洞察和方向。