User and product information associated with a review is useful for sentiment polarity prediction. Typical approaches incorporating such information focus on modeling users and products as implicitly learned representation vectors. Most do not exploit the potential of historical reviews, or those that currently do require unnecessary modifications to model architecture or do not make full use of user/product associations. The contribution of this work is twofold: i) a method to explicitly employ historical reviews belonging to the same user/product to initialize representations, and ii) efficient incorporation of textual associations between users and products via a user-product cross-context module. Experiments on IMDb, Yelp-2013 and Yelp-2014 benchmarks show that our approach substantially outperforms previous state-of-the-art. Since we employ BERT-base as the encoder, we additionally provide experiments in which our approach performs well with Span-BERT and Longformer. Furthermore, experiments where the reviews of each user/product in the training data are downsampled demonstrate the effectiveness of our approach under a low-resource setting.

变形金刚是文本理解的强大模型。然而，由于其二次复杂性对输入序列长度的二次复杂性效率低下。虽然有很多关于变压器加速的方法，但它们仍然效率低于长序列或不够有效。在本文中，我们提出了FastFormer，即基于添加剂关注的高效变压器模型。在FastFormer中，我们首先使用添加剂注意机制来模拟全局上下文，而不是在令牌之间建模的成对相互建模，而不是建模。然后，基于与全局上下文表示的交互，进一步转换每个令牌表示。以这种方式，FastFormer可以实现具有线性复杂性的有效上下文建模。关于五个数据集的广泛实验表明，FastFormer比许多现有的变压器模型更有效，同时可以实现可比或甚至更好的长文本建模性能。

文档级别的情感分析（DSA）由于含糊的语义链接并使情感信息复杂化，因此更具挑战性。最近的工作专门用于利用文本摘要，并取得了令人鼓舞的结果。但是，这些基于摘要的方法没有充分利用摘要，包括忽略摘要和文档之间的固有交互。结果，他们将代表限制在文档中表达主要点，这高度表明了关键情绪。在本文中，我们研究了如何有效地产生具有明确的主题模式和情感环境的歧视性表示。提出了一个分层互动网络（HIN），以探索多个粒度的摘要和文档之间的双向交互，并学习以主题为导向的文档表示情感分类。此外，我们通过使用情感标签信息来完善HIN来学习基于情感的重新思考机制（SR），以学习更感知的文档表示。我们在三个公共数据集上广泛评估了我们提出的模型。实验结果始终证明了我们提出的模型的有效性，并表明HIN-SR优于各种最新方法。

Bert在文本分类任务中取得了显着的结果，但尚未完全利用它，因为仅将最后一层用作下游分类器的表示输出。关于伯特学到的语言特征性质的最新研究表明，不同的层集中在不同种类的语言特征上。我们提出了一个CNN增强的变压器编码器模型，该模型在固定的bert $ [cls] $顶部进行了训练，来自所有层的表示，采用卷积神经网络来生成变压器编码器内的QKV功能映射，而不是线性的输入投影，进入嵌入空间。 CNN-Trans-enc相对较小，因为下游分类器，并且不需要对Bert进行任何微调，因为它可以确保从所有层中的$ [CLS] $表示的最佳使用，从而利用具有更有意义，更有意义，更有意义，更有意义的语言功能和输入的可推广QKV表示。将BERT与CNN-Trans-enc一起使用$ 98.9 \％$和$ 94.8 \％\％$ $ $ $ $ -5，$ 82.23 $（$ 8.9 \％$改善），在亚马逊极性上，$ 0.98 \％$（$ 0.2 \％$改进）（来自两个数据集的100万个样本子集的K倍交叉验证）。在AG新闻数据集中，CNN-Trans-enc在当前最新的$ 99.94 \％$中，并在DBPEDIA-14上获得了新的最高绩效，平均准确性为99.51美元\％$。索引术语：文本分类，自然语言处理，卷积神经网络，变压器，伯特

As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1

将电子健康记录（EHR）自动分为诊断代码对NLP社区的挑战。最先进的方法将此问题视为多标签分类问题，并提出了各种架构来对此问题进行建模。但是，这些系统并未利用验证的语言模型的出色性能，这在自然语言理解任务上实现了出色的性能。先前的工作表明，经常使用的填充方案在此任务上表现不佳。因此，本文旨在分析表现不佳的原因，并通过验证的语言模型为自动编码开发一个框架。我们通过实验发现了三个主要问题：1）大标签空间，2）长输入序列和3）域预读和微调之间的域不匹配。我们提出了PLMICD，该框架通过各种策略来应对挑战。实验结果表明，我们提出的框架可以在基准模拟数据上以多个指标来克服挑战和实现最新性能。源代码可从https://github.com/miulab/plm-icd获得

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

基于方面的情感分析（ABSA）旨在预测对给定方面表达的情感极性（SC）或提取意见跨度（OE）。 ABSA的先前工作主要依赖于相当复杂的特定方面特征诱导。最近，审计的语言模型（PLM），例如伯特（Bert）已被用作上下文建模层，以简化特征感应结构并实现最新性能。但是，这种基于PLM的上下文建模可能不是特定于方面的。因此，一个关键问题的探索还不足：如何通过PLM更好地建模特定方面的上下文？为了回答这个问题，我们试图以非侵入性的方式通过PLM增强特定方面的上下文建模。我们提出了三个特定于方面的输入转换，即伴侣，方面提示和方面标记。通过这些转变，可以实现非侵入性方面的PLM，以促进PLM，以便更多地关注句子中特定方面的环境。此外，我们为ABSA（ADVABSA）制定了对抗性基准，以查看特定于方面的建模如何影响模型的鲁棒性。 SC和OE的标准和对抗性基准的广泛实验结果证明了该方法的有效性和鲁棒性，从而在OE上产生了新的最新性能和SC上的竞争性能。

Short text classification is a crucial and challenging aspect of Natural Language Processing. For this reason, there are numerous highly specialized short text classifiers. However, in recent short text research, State of the Art (SOTA) methods for traditional text classification, particularly the pure use of Transformers, have been unexploited. In this work, we examine the performance of a variety of short text classifiers as well as the top performing traditional text classifier. We further investigate the effects on two new real-world short text datasets in an effort to address the issue of becoming overly dependent on benchmark datasets with a limited number of characteristics. Our experiments unambiguously demonstrate that Transformers achieve SOTA accuracy on short text classification tasks, raising the question of whether specialized short text techniques are necessary.

基于方面的情绪分析旨在确定产品评论中特定方面的情感极性。我们注意到，大约30％的评论不包含明显的观点词，但仍然可以传达清晰的人类感知情绪取向，称为隐含情绪。然而，最近的基于神经网络的方法几乎没有关注隐性情绪，这一审查有所关注。为了克服这个问题，我们通过域名语言资源检索的大规模情绪注释的Corpora采用监督对比培训。通过将隐式情感表达式的表示对准与具有相同情绪标签的人，预培训过程可以更好地捕获隐含和明确的情绪方向，以便在评论中的方面。实验结果表明，我们的方法在Semeval2014基准上实现了最先进的性能，综合分析验证了其对学习隐含情绪的有效性。

客户评论通常包含有关一个人在线购物体验的大量信息。尽管积极的评论对商店有益，但负面评论将在很大程度上影响消费者的决定，并可能导致销售下降。因此，仔细和有说服力地回答每个负面评论并最大程度地减少其不利影响至关重要。最近的研究考虑利用生成模型来帮助卖家做出回应。但是，此问题并不深入，因为评论可能包含问题的多个方面，这些方面应相应和有说服力地解决。在这项工作中，我们为有说服力的响应生成提出了一个多源多相关生成模型。提出的模型适当地获得和利用了各种信息来源，以产生更有信息和有说服力的响应。提出了一个多方面的细心网络，以自动参与审查中的不同方面，并确保解决大多数问题。在两个现实世界数据集上进行的广泛实验表明，我们的方法优于最先进的方法和在线测试，这证明我们的部署系统大大提高了商店处理负面评论的效率。

近年来，人们对开发自然语言处理（NLP）中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能，例如对于模型预测而言重要的单词或短语。然而，在NLP中开发的神经模型通常以层次结构的方式构成单词语义，文本分类需要层次建模来汇总本地信息，以便处理主题和标签更有效地转移。因此，单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器，称为提示，该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别，而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明，我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果，并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。

We propose a hierarchical attention network for document classification. Our model has two distinctive characteristics: (i) it has a hierarchical structure that mirrors the hierarchical structure of documents; (ii) it has two levels of attention mechanisms applied at the wordand sentence-level, enabling it to attend differentially to more and less important content when constructing the document representation. Experiments conducted on six large scale text classification tasks demonstrate that the proposed architecture outperform previous methods by a substantial margin. Visualization of the attention layers illustrates that the model selects qualitatively informative words and sentences.

由于其有效的模型架构以及大规模未标记的扫描/数字出生的文件的优势，在各种视觉上丰富的文档理解任务中已经证明了文本和布局的预先培训。我们提出了具有新的预培训任务的Layoutlmv2架构，以在单个多模态框架中模拟文本，布局和图像之间的交互。具体地，对于双流多模态变压器编码器，LayOutLMV2不仅使用现有屏蔽的视觉语言建模任务，还使用新的文本图像对齐和文本图像匹配任务，这使得它更好地捕获跨模块交互在预训练阶段。同时，它还将空间感知的自我注意机制集成到变压器架构中，以便模型可以完全理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMV2优于大幅度的LayOutlm，并在大量下游的下游富有的文件理解任务中实现了新的最先进的结果，包括Funsd（0.7895 $ \至0.8420美元），电源线（0.9493 $ \至0.9601美元），Srie（0.9524 $ \至0.9781美元），Kleister-NDA（0.8340 $ \ 0.8520美元），RVL-CDIP（0.9443 $ \至0.9564美元），DOCVQA（0.7295 $ \至0.8672美元） 。我们使我们的模型和代码公开可用于\ url {https://aka.ms/layoutlmv2}。

这些年来跨域情绪分类一直是一个热点，旨在使用来自源域的标记数据来学习可靠的分类器，并在目标域上进行评估。在此静脉中，大多数方法利用域适应，将数据从不同域映射到共同的特征空间。为了进一步提高模型性能，提出了针对挖掘域特定信息的几种方法。但是，其中大多数仅利用有限的域特定信息。在这项研究中，我们首先通过基于主题信息制定一种提取特定域的单词的方法。然后，我们提出了一个主题驱动的自适应网络（TDAN），用于跨域情绪分类。该网络由两个子网络组成：语义注意网络和域特定的单词注意网络，其结构基于变压器。这些子网采用不同的输入形式，并且它们的输出被融合为特征向量。实验验证了我们TDAN对跨域情绪分类的有效性。

使用个性化解释来支持建议，以增加信任和感知质量。但是，为了实际获取更好的建议，需要一种用户通过与解释进行交互来修改推荐标准的手段。我们介绍了一种新颖的技术，使用方面标记，学会从审查文本生成关于建议的个性化解释，并且我们表明人类用户明显更喜欢通过最先进技术产生的解释这些解释。我们的工作最重要的创新是它允许用户通过批评文本解释来对推荐作出反应：删除（对称添加）它们不喜欢的某些方面或不再相关（对称地是感兴趣的）。系统根据批评更新其用户模型和产生的建议。这是基于一种具有文本解释的单一和多步批判的新型无监督批评方法。两个现实世界数据集的实验表明，我们的系统是第一个在适应多步批评中表达的偏好方面实现良好性能的实验。

近年来，预制语言模型彻底改变了NLP世界，同时在各种下游任务中实现了最先进的性能。但是，在许多情况下，当标记数据稀缺时，这些模型不会表现良好，并且预计模型将在零或几秒钟内执行。最近，有几项工作表明，与下游任务更好地对准的预先预测或执行第二阶段，可以导致改进的结果，尤其是在稀缺数据设置中。在此，我们建议利用携带的情绪话语标记来产生大规模的弱标记数据，这又可以用于适应语言模型进行情感分析。广泛的实验结果显示了我们在各种基准数据集中的方法的价值，包括金融域。在https://github.com/ibm/tslm-discourse-markers上提供代码，模型和数据。

本文介绍了关于剧透筛选的研究。在这种用例中，我们描述了微调和组织基于文本的模型任务的方法，并具有最新的深度学习成果和技术来解释模型的结果。到目前为止，文献中的剧透研究很少描述。我们在带有带注释的扰流板（ROC AUC以上的TV Tropes Point DataSet上超过81 \％的Roc Auc以上的Roc Auc上超过81 \％）的转移学习方法和不同的最新变压器架构。我们还收集了数据并使用细粒度注释组装了新数据集。为此，我们采用了可解释技术和措施来评估模型的可靠性并解释其结果。