文档级别的情感分析（DSA）由于含糊的语义链接并使情感信息复杂化，因此更具挑战性。最近的工作专门用于利用文本摘要，并取得了令人鼓舞的结果。但是，这些基于摘要的方法没有充分利用摘要，包括忽略摘要和文档之间的固有交互。结果，他们将代表限制在文档中表达主要点，这高度表明了关键情绪。在本文中，我们研究了如何有效地产生具有明确的主题模式和情感环境的歧视性表示。提出了一个分层互动网络（HIN），以探索多个粒度的摘要和文档之间的双向交互，并学习以主题为导向的文档表示情感分类。此外，我们通过使用情感标签信息来完善HIN来学习基于情感的重新思考机制（SR），以学习更感知的文档表示。我们在三个公共数据集上广泛评估了我们提出的模型。实验结果始终证明了我们提出的模型的有效性，并表明HIN-SR优于各种最新方法。

We propose a hierarchical attention network for document classification. Our model has two distinctive characteristics: (i) it has a hierarchical structure that mirrors the hierarchical structure of documents; (ii) it has two levels of attention mechanisms applied at the wordand sentence-level, enabling it to attend differentially to more and less important content when constructing the document representation. Experiments conducted on six large scale text classification tasks demonstrate that the proposed architecture outperform previous methods by a substantial margin. Visualization of the attention layers illustrates that the model selects qualitatively informative words and sentences.

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

近年来，人们对开发自然语言处理（NLP）中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能，例如对于模型预测而言重要的单词或短语。然而，在NLP中开发的神经模型通常以层次结构的方式构成单词语义，文本分类需要层次建模来汇总本地信息，以便处理主题和标签更有效地转移。因此，单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器，称为提示，该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别，而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明，我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果，并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。

名人认可是品牌交流中最重要的策略之一。如今，越来越多的公司试图为自己建立生动的特征。因此，他们的品牌身份交流应符合人类和法规的某些特征。但是，以前的作品主要是通过假设停止的，而不是提出一种特定的品牌和名人之间匹配的方式。在本文中，我们建议基于自然语言处理（NLP）技术的品牌名人匹配模型（BCM）。鉴于品牌和名人，我们首先从互联网上获得了一些描述性文档，然后总结了这些文档，最后计算品牌和名人之间的匹配程度，以确定它们是否匹配。根据实验结果，我们提出的模型以0.362 F1得分和精度的6.3％优于最佳基线，这表明我们模型在现实世界中的有效性和应用值。更重要的是，据我们所知，拟议的BCM模型是使用NLP解决认可问题的第一项工作，因此它可以为以下工作提供一些新颖的研究思想和方法。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

基于方面的情绪分析（ABSA）是一种文本分析方法，其定义了与特定目标相关的某些方面的意见的极性。 ABSA的大部分研究都是英文，阿拉伯语有少量的工作。最先前的阿拉伯语研究依赖于深度学习模型，主要依赖于独立于上下文的单词嵌入（例如，e.g.word2vec），其中每个单词都有一个独立于其上下文的固定表示。本文探讨了从预先培训的语言模型（如BERT）的上下文嵌入的建模功能，例如BERT，以及在阿拉伯语方面情感极度分类任务中使用句子对输入。特别是，我们开发一个简单但有效的基于伯特的神经基线来处理这项任务。根据三种不同阿拉伯语数据集的实验结果，我们的BERT架构与简单的线性分类层超出了最先进的作品。在Arabic Hotel评论数据库中实现了89.51％的准确性，73％的人类注册书评论数据集和阿拉伯新闻数据集的85.73％。

Bidirectional Encoder Representations from Transformers (BERT; Devlin et al. 2019) represents the latest incarnation of pretrained language models which have recently advanced a wide range of natural language processing tasks. In this paper, we showcase how BERT can be usefully applied in text summarization and propose a general framework for both extractive and abstractive models. We introduce a novel document-level encoder based on BERT which is able to express the semantics of a document and obtain representations for its sentences. Our extractive model is built on top of this encoder by stacking several intersentence Transformer layers. For abstractive summarization, we propose a new fine-tuning schedule which adopts different optimizers for the encoder and the decoder as a means of alleviating the mismatch between the two (the former is pretrained while the latter is not). We also demonstrate that a two-staged fine-tuning approach can further boost the quality of the generated summaries. Experiments on three datasets show that our model achieves stateof-the-art results across the board in both extractive and abstractive settings. 1

最近，神经主题模型（NTMS）已纳入预训练的语言模型（PLM）中，以捕获用于文本摘要的全局语义信息。但是，在这些方法中，它们捕获和整合全局语义信息的方式仍然存在局限性。在本文中，我们提出了一个新颖的模型，即图形对比主题增强语言模型（GRETEL），该模型将图形对比主题模型与预训练的语言模型结合在一起，以充分利用长文档提取的全球和本地上下文语义摘要。为了更好地捕获并将全局语义信息纳入PLM，图形对比主题模型集成了层次变压器编码器和图形对比度学习，以从全局文档上下文和金摘要中融合语义信息。为此，Gretel鼓励该模型有效提取与黄金摘要有关的显着句子，而不是涵盖亚最佳主题的多余句子。对通用域和生物医学数据集的实验结果表明，我们所提出的方法优于SOTA方法。

排名模型是信息检索系统的主要组成部分。排名的几种方法是基于传统的机器学习算法，使用一组手工制作的功能。最近，研究人员在信息检索中利用了深度学习模型。这些模型的培训结束于结束，以提取来自RAW数据的特征来排序任务，因此它们克服了手工制作功能的局限性。已经提出了各种深度学习模型，每个模型都呈现了一组神经网络组件，以提取用于排名的特征。在本文中，我们在不同方面比较文献中提出的模型，以了解每个模型的主要贡献和限制。在我们对文献的讨论中，我们分析了有前途的神经元件，并提出了未来的研究方向。我们还显示文档检索和其他检索任务之间的类比，其中排名的项目是结构化文档，答案，图像和视频。

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

最近，由于其广泛的商业价值，从视觉丰富的文档（例如门票和简历）中自动提取信息已成为一个热门而重要的研究主题。大多数现有方法将此任务分为两个小节：用于从原始文档图像中获取纯文本的文本阅读部分以及用于提取密钥内容的信息提取部分。这些方法主要集中于改进第二个方法，同时忽略了这两个部分高度相关。本文提出了一个统一的端到端信息提取框架，从视觉上富含文档中提出，文本阅读和信息提取可以通过精心设计的多模式上下文块相互加强。具体而言，文本阅读部分提供了多模式功能，例如视觉，文本和布局功能。开发了多模式上下文块，以融合生成的多模式特征，甚至是从预训练的语言模型中获得的先验知识，以提供更好的语义表示。信息提取部分负责使用融合上下文功能生成密钥内容。该框架可以以端到端的可训练方式进行培训，从而实现全球优化。更重要的是，我们将视觉丰富的文档定义为跨两个维度的四个类别，即布局和文本类型。对于每个文档类别，我们提供或推荐相应的基准，实验设置和强大的基准，以弥补该研究领域缺乏统一评估标准的问题。报告了对四种基准测试的广泛实验（从固定布局到可变布局，从完整的文本到半未结构化的文本），证明了所提出的方法的有效性。数据，源代码和模型可用。

在视觉上丰富的文件（VRD）上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性，结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾：实体标记和实体链接，这需要整体地了解令牌和段级别的文档的上下文。但是，很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架，它对于处理两个子任务是灵活的，有效的。具体地，基于变压器，我们引入了一个段令牌对齐的编码器，以处理不同粒度水平的实体标记和实体链接任务。此外，我们设计了一种具有三个自我监督任务的新型预训练策略，以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务，以跨文本，图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法，并表明它优于最先进的同行，在Funsd，Srie和Ephoie数据集中具有显着优越的性能。

新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型，但它们主要以静态方式捕获文件级上的用户新交互。然而，在现实世界的情景中，新闻可以很复杂和多样化，盲目地将所有内容挤压到嵌入式矢量中，在提取与用户的个性化偏好兼容的信息中可以不太有效。此外，新闻推荐方案中的用户偏好可以是高度动态的，并且应该设计定制的动态机制以获得更好的推荐性能。在本文中，我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容，我们利用注意机制分别代表了从句子，元素和文档级别的消息。为了捕获用户的动态偏好，连续时间信息无缝地结合到关注权重的计算中。更具体地，我们设计了一个分层关注网络，其中下层学习不同句子和元素的重要性，并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符，我们首先通过结合绝对和相对时间信息来增强传统的关注机制，然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验，以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。

来自文本的采矿因果关系是一种复杂的和至关重要的自然语言理解任务，对应于人类认知。其解决方案的现有研究可以分为两种主要类别：基于特征工程和基于神经模型的方法。在本文中，我们发现前者具有不完整的覆盖范围和固有的错误，但提供了先验知识;虽然后者利用上下文信息，但其因果推断不足。为了处理限制，我们提出了一个名为MCDN的新型因果关系检测模型，明确地模拟因果关系，而且，利用两种方法的优势。具体而言，我们采用多头自我关注在Word级别获得语义特征，并在段级别推断出来的SCRN。据我们所知，关于因果关系任务，这是第一次应用关系网络。实验结果表明：1）该方法对因果区检测进行了突出的性能; 2）进一步分析表现出MCDN的有效性和稳健性。

多文件科学摘要（MDSS）旨在为与主题相关的科学论文群生成连贯和简洁的摘要。此任务需要精确理解纸张内容以及对交叉纸关系的准确建模。知识图为文档传达了紧凑且可解释的结构化信息，这使其非常适合内容建模和关系建模。在本文中，我们提出了KGSUM，这是一个MDSS模型，以编码和解码过程中的知识图为中心。具体而言，在编码过程中，提出了两个基于图的模块，以将知识图信息纳入纸张编码，而在解码过程中，我们通过以描述性句子的形式首先生成摘要的知识图，提出了一个两阶段解码器。 ，然后生成最终摘要。经验结果表明，所提出的体系结构对多XSCIENCE数据集的基准进行了实质性改进。

文档摘要将长期文档融入了一个简短的版本，具有突出的信息和准确的语义描述。主要问题是如何使输出摘要用输入文档进行语义一致。为了达到这一目标，最近，研究人员专注于监督的端到端混合方法，其中包含提取器模块和摘录器模块。其中，提取器识别来自输入文档的突出句子，摘录器从突出句子生成摘要。该模型通过各种策略（例如，强化学习）成功地保持了所生成的摘要和参考摘要之间的一致性。训练混合模型时有两个语义间隙（一个是文档和提取的句子之间，另一个是在提取的句子和摘要之间）。然而，它们在现有方法中未明确考虑它们，这通常会导致摘要的语义偏见。为了减轻上述问题，本文提出了一个新的\ textBF {r}光纤S \ TextBF {e} Mantic-\ TextBF {SY} MMetry Learning \ TextBF {M} odel为文档摘要（\ TextBF {Resym}） ）。 Resym在提取器中引入了语义 - 一致性奖励，以弥合第一个间隙。语义双奖励旨在弥合摘录者中的第二个间隙。通过用混合奖励机制（结合上述两个奖励）来实现整个文件摘要过程。此外，呈现了全面的句子表示学习方法以充分捕获来自原始文档的信息。已经在两个疯狂的基准数据集CNN /日邮件和BigPatent上进行了一系列实验。通过将其与各种评估度量的最新的基线进行比较，结果表明了参数的优越性。

基于宽高的情绪分析（ABSA）是一种细粒度的情绪分析任务。为了更好地理解长期复杂的句子，并获得准确的方面的信息，这项任务通常需要语言和致辞知识。然而，大多数方法采用复杂和低效的方法来结合外部知识，例如，直接搜索图形节点。此外，尚未彻底研究外部知识和语言信息之间的互补性。为此，我们提出了一个知识图形增强网络（kgan），该网络（kgan）旨在有效地将外部知识与明确的句法和上下文信息纳入。特别是，kgan从多个不同的角度来看，即基于上下文，语法和知识的情绪表示。首先，kgan通过并行地了解上下文和句法表示，以完全提取语义功能。然后，KGAN将知识图形集成到嵌入空间中，基于该嵌入空间，基于该嵌入空间，通过注意机制进一步获得了方面特异性知识表示。最后，我们提出了一个分层融合模块，以便以本地到全局方式补充这些多视图表示。关于三个流行的ABSA基准测试的广泛实验证明了我们康复的效果和坚固性。值得注意的是，在罗伯塔的预用模型的帮助下，Kggan实现了最先进的性能的新记录。

Short text classification is a crucial and challenging aspect of Natural Language Processing. For this reason, there are numerous highly specialized short text classifiers. However, in recent short text research, State of the Art (SOTA) methods for traditional text classification, particularly the pure use of Transformers, have been unexploited. In this work, we examine the performance of a variety of short text classifiers as well as the top performing traditional text classifier. We further investigate the effects on two new real-world short text datasets in an effort to address the issue of becoming overly dependent on benchmark datasets with a limited number of characteristics. Our experiments unambiguously demonstrate that Transformers achieve SOTA accuracy on short text classification tasks, raising the question of whether specialized short text techniques are necessary.