基于方面的情感分析(ABSA)是一项精细的情感分析任务,旨在使特定方面的情感极性推断对齐方面和相应的情感。这是具有挑战性的,因为句子可能包含多个方面或复杂(例如,有条件,协调或逆境)的关系。最近,使用图神经网络利用依赖性语法信息是最受欢迎的趋势。尽管取得了成功,但在很大程度上依赖依赖树的方法在准确地建模方面的对准及其单词方面构成了挑战,因为依赖树可能会提供无关的关联的嘈杂信号(例如,“ conj”之间的关系“ conj”之间的关系。图2中的“伟大”和“可怕”。在本文中,为了减轻这个问题,我们提出了一个双轴法意识到的图形注意网络(BISYN-GAT+)。具体而言,bisyn-gat+完全利用句子组成树的语法信息(例如,短语分割和层次结构),以建模每个方面的情感感知环境(称为内在文章)和跨方面的情感关系(称为跨性别的情感)称为Inter-Contept)学习。四个基准数据集的实验表明,BISYN-GAT+的表现始终超过最新方法。
translated by 谷歌翻译
基于宽高的情绪分析(ABSA)是一种细粒度的情绪分析任务。为了更好地理解长期复杂的句子,并获得准确的方面的信息,这项任务通常需要语言和致辞知识。然而,大多数方法采用复杂和低效的方法来结合外部知识,例如,直接搜索图形节点。此外,尚未彻底研究外部知识和语言信息之间的互补性。为此,我们提出了一个知识图形增强网络(kgan),该网络(kgan)旨在有效地将外部知识与明确的句法和上下文信息纳入。特别是,kgan从多个不同的角度来看,即基于上下文,语法和知识的情绪表示。首先,kgan通过并行地了解上下文和句法表示,以完全提取语义功能。然后,KGAN将知识图形集成到嵌入空间中,基于该嵌入空间,基于该嵌入空间,通过注意机制进一步获得了方面特异性知识表示。最后,我们提出了一个分层融合模块,以便以本地到全局方式补充这些多视图表示。关于三个流行的ABSA基准测试的广泛实验证明了我们康复的效果和坚固性。值得注意的是,在罗伯塔的预用模型的帮助下,Kggan实现了最先进的性能的新记录。
translated by 谷歌翻译
Open Information Extraction (OpenIE) aims to extract relational tuples from open-domain sentences. Traditional rule-based or statistical models have been developed based on syntactic structures of sentences, identified by syntactic parsers. However, previous neural OpenIE models under-explore the useful syntactic information. In this paper, we model both constituency and dependency trees into word-level graphs, and enable neural OpenIE to learn from the syntactic structures. To better fuse heterogeneous information from both graphs, we adopt multi-view learning to capture multiple relationships from them. Finally, the finetuned constituency and dependency representations are aggregated with sentential semantic representations for tuple generation. Experiments show that both constituency and dependency information, and the multi-view learning are effective.
translated by 谷歌翻译
在方面情绪分类(ASC)中,最先进的模型编码语法图形或关系图以捕获本地语法信息或全局关系信息。尽管语法和关系图的优点,但它们具有忽略的缺点,这限制了图形建模过程中的表示功率。为了解决他们的局限性,我们设计了一种新的本地 - 全局交互图,它通过互动边缘缝合两个图来结合它们的优势。为了模拟本地全局交互图形,我们提出了一个新的神经网络被称为Dignet,其核心模块是执行两个进程的堆叠本地 - 全局交互(LGI)层:图中媒体消息传递和跨图形消息传递。通过这种方式,可以在理解方面的情绪方面整体和解局部句法和全局关系信息。具体而言,我们设计了具有不同种类的交互边缘和LGI层的三种变体的局部全局交互图的两种变体。我们对几个公共基准数据集进行实验,结果表明,在LAP14,Res14和Res15数据集的宏F1方面,我们以前的3 \%,2.32 \%和6.33 \%以3 \%,2.32 \%和6.33 \%。拟议的本地 - 全球互动图和赤霞珠的效力与优越性。
translated by 谷歌翻译
基于方面的情感分析(ABSA)涉及审查句子对给定方面的情感极性的识别。 RNN,LSTM和GRU等深度学习顺序模型是推断情感极性的当前最新方法。这些方法可以很好地捕获评论句子的单词之间的上下文关系。但是,这些方法在捕获长期依赖性方面微不足道。注意机制仅专注于句子的最关键部分,从而发挥着重要作用。在ABSA的情况下,方面位置起着至关重要的作用。在确定对该方面的情绪的同时,近乎方面的单词会做出更多的贡献。因此,我们提出了一种使用依赖解析树捕获基于位置信息的方法,并有助于注意机制。使用这种类型的位置信息通过简单的基于单词距离的位置增强了深度学习模型的性能。我们对Semeval'14数据集进行了实验,以证明基于ABSA的基于ABS的依赖关系的效果。
translated by 谷歌翻译
Aspect Sentiment Triplet Extraction (ASTE) has become an emerging task in sentiment analysis research, aiming to extract triplets of the aspect term, its corresponding opinion term, and its associated sentiment polarity from a given sentence. Recently, many neural networks based models with different tagging schemes have been proposed, but almost all of them have their limitations: heavily relying on 1) prior assumption that each word is only associated with a single role (e.g., aspect term, or opinion term, etc. ) and 2) word-level interactions and treating each opinion/aspect as a set of independent words. Hence, they perform poorly on the complex ASTE task, such as a word associated with multiple roles or an aspect/opinion term with multiple words. Hence, we propose a novel approach, Span TAgging and Greedy infErence (STAGE), to extract sentiment triplets in span-level, where each span may consist of multiple words and play different roles simultaneously. To this end, this paper formulates the ASTE task as a multi-class span classification problem. Specifically, STAGE generates more accurate aspect sentiment triplet extractions via exploring span-level information and constraints, which consists of two components, namely, span tagging scheme and greedy inference strategy. The former tag all possible candidate spans based on a newly-defined tagging set. The latter retrieves the aspect/opinion term with the maximum length from the candidate sentiment snippet to output sentiment triplets. Furthermore, we propose a simple but effective model based on the STAGE, which outperforms the state-of-the-arts by a large margin on four widely-used datasets. Moreover, our STAGE can be easily generalized to other pair/triplet extraction tasks, which also demonstrates the superiority of the proposed scheme STAGE.
translated by 谷歌翻译
As an important fine-grained sentiment analysis problem, aspect-based sentiment analysis (ABSA), aiming to analyze and understand people's opinions at the aspect level, has been attracting considerable interest in the last decade. To handle ABSA in different scenarios, various tasks are introduced for analyzing different sentiment elements and their relations, including the aspect term, aspect category, opinion term, and sentiment polarity. Unlike early ABSA works focusing on a single sentiment element, many compound ABSA tasks involving multiple elements have been studied in recent years for capturing more complete aspect-level sentiment information. However, a systematic review of various ABSA tasks and their corresponding solutions is still lacking, which we aim to fill in this survey. More specifically, we provide a new taxonomy for ABSA which organizes existing studies from the axes of concerned sentiment elements, with an emphasis on recent advances of compound ABSA tasks. From the perspective of solutions, we summarize the utilization of pre-trained language models for ABSA, which improved the performance of ABSA to a new stage. Besides, techniques for building more practical ABSA systems in cross-domain/lingual scenarios are discussed. Finally, we review some emerging topics and discuss some open challenges to outlook potential future directions of ABSA.
translated by 谷歌翻译
最近的知名作品表明,基于方面的情感分类(ABSC)令人鼓舞,而隐性方面情感建模仍然是必须解决的问题。我们的初步研究表明,隐式方面的情感通常取决于相邻方面的情感,这表明我们可以通过局部情感依赖性建模提取隐式情感。我们根据经验情感模式(SP)制定了局部情感聚合范式(LSA),以解决情感依赖性建模。与现有方法相比,LSA是一种有效的方法,它可以在局部情感聚合窗口中学习隐性情感,该窗口解决了效率问题并避免了基于语法的方法的令牌节点对齐问题。此外,我们根据梯度下降来完善一种差分加权方法,该方法指导了情感聚合窗口的构建。根据实验结果,LSA对所有客观的ABSC模型都有有效,可以在三个公共数据集上获得最先进的性能。 LSA是一种自适应范式,准备适应现有模型,我们发布代码以提供洞察力以改善现有的ABSC模型。
translated by 谷歌翻译
基于方面的情绪分析(ABSA)任务由三个典型的子特点组成:术语术语提取,意见术语提取和情感极性分类。这三个子组织通常是共同执行的,以节省资源并减少管道中的错误传播。但是,大多数现有联合模型只关注编码器共享的福利在子任务之间共享,但忽略差异。因此,我们提出了一个关节ABSA模型,它不仅享有编码器共享的好处,而且还专注于提高模型效率的差异。详细地,我们介绍了双编码器设计,其中一对编码器特别侧重于候选方识对分类,并且原始编码器对序列标记进行注意。经验结果表明,我们的拟议模型显示了鲁棒性,并显着优于前一个基准数据集的先前最先进。
translated by 谷歌翻译
文本情绪分析(也称为意见挖掘)是对实体表达的人们观点,评估,态度和情感的计算的研究。文本情绪分析可以分为文本级别的情感分析,森林级别的情感分析和方面级别的情感分析。基于方面的情感分析(ABSA)是情感分析领域中的精细任务,该任务旨在预测各个方面的极性。训练前神经模型的研究显着改善了许多自然语言处理任务的性能。近年来,培训模型(PTM)已在ABSA中应用。因此,有一个问题,即PTM是否包含ABSA的足够的句法信息。在本文中,我们探讨了最近的Deberta模型(解码增强的BERT,并引起注意),以解决基于方面的情感分析问题。 Deberta是一种基于Transformer的神经语言模型,它使用自我监督的学习来预先培训大量原始文本语料库。基于局部环境重点(LCF)机制,通过整合Deberta模型,我们为基于方面的情感分析的多任务学习模型。该实验导致了Semeval-2014最常用的笔记本电脑和餐厅数据集,而ACL Twitter数据集则表明,具有Deberta的LCF机制具有显着改善。
translated by 谷歌翻译
语法纠错(GEC)是检测和纠正句子中语法错误的任务。最近,神经机翻译系统已成为这项任务的流行方法。然而,这些方法缺乏使用句法知识,这在语法错误的校正中起着重要作用。在这项工作中,我们提出了一种语法引导的GEC模型(SG-GEC),它采用图表注意机制来利用依赖树的句法知识。考虑到语法不正确的源句子的依赖性树可以提供不正确的语法知识,我们提出了一个依赖树修正任务来处理它。结合数据增强方法,我们的模型在不使用任何大型预先训练模型的情况下实现了强大的性能。我们评估我们在GEC任务的公共基准上的模型,实现了竞争结果。
translated by 谷歌翻译
方面情感三胞胎提取(ASTE)旨在提取方面,意见及其情感关系作为情感三胞胎的跨度。现有的作品通常将跨度检测作为1D令牌标记问题制定,并使用令牌对的2D标记矩阵对情感识别进行建模。此外,通过利用诸如伯特(Bert)之类的审计语言编码器(PLES)的代表形式,它们可以实现更好的性能。但是,他们只是利用将功能提取器作为提取器来构建其模块,但从未深入了解特定知识所包含的内容。在本文中,我们争辩说,与其进一步设计模块以捕获ASTE的电感偏见,不如包含“足够”的“足够”功能,用于1D和2D标记:(1)令牌表示包含令牌本身的上下文含义,因此此级别,因此此级别功能带有必要的信息以进行1D标记。 (2)不同PLE层的注意力矩阵可以进一步捕获令牌对中存在的多层次语言知识,从而使2D标记受益。 (3)此外,对于简单的转换,这两个功能也可以很容易地转换为2D标记矩阵和1D标记序列。这将进一步提高标签结果。通过这样做,PLE可以是自然的标记框架并实现新的最新状态,通过广泛的实验和深入分析来验证。
translated by 谷歌翻译
基于方面的情感分析(ABSA)旨在预测对给定方面表达的情感极性(SC)或提取意见跨度(OE)。 ABSA的先前工作主要依赖于相当复杂的特定方面特征诱导。最近,审计的语言模型(PLM),例如伯特(Bert)已被用作上下文建模层,以简化特征感应结构并实现最新性能。但是,这种基于PLM的上下文建模可能不是特定于方面的。因此,一个关键问题的探索还不足:如何通过PLM更好地建模特定方面的上下文?为了回答这个问题,我们试图以非侵入性的方式通过PLM增强特定方面的上下文建模。我们提出了三个特定于方面的输入转换,即伴侣,方面提示和方面标记。通过这些转变,可以实现非侵入性方面的PLM,以促进PLM,以便更多地关注句子中特定方面的环境。此外,我们为ABSA(ADVABSA)制定了对抗性基准,以查看特定于方面的建模如何影响模型的鲁棒性。 SC和OE的标准和对抗性基准的广泛实验结果证明了该方法的有效性和鲁棒性,从而在OE上产生了新的最新性能和SC上的竞争性能。
translated by 谷歌翻译
谣言在社交媒体的时代猖獗。谈话结构提供有价值的线索,以区分真实和假声明。然而,现有的谣言检测方法限制为用户响应的严格关系或过度简化对话结构。在这项研究中,为了减轻不相关的帖子施加的负面影响,基本上加强了用户意见的相互作用,首先将谈话线作为无向相互作用图。然后,我们提出了一种用于谣言分类的主导分层图注意网络,其提高了考虑整个社会环境的响应帖子的表示学习,并参加可以在语义上推断目标索赔的帖子。三个Twitter数据集的广泛实验表明,我们的谣言检测方法比最先进的方法实现了更好的性能,并且展示了在早期阶段检测谣言的优异容量。
translated by 谷歌翻译
多尺度特征层次结构已在计算机视觉区域的成功中得到了见证。这进一步激发了研究人员设计自然语言处理的多尺度变压器,主要是基于自我发项机制。例如,限制跨头部的接收场或通过卷积提取局部细粒度特征。但是,大多数现有作品都直接建模了本地功能,但忽略了单词边界信息。这导致了缺乏解释性的多余和模棱两可的注意力分布。在这项工作中,我们在不同的语言单元中定义了这些量表,包括子字,单词和短语。我们通过基于单词边界信息和短语级别的先验知识之间建立量表之间的关系来构建多尺度变压器模型。提出的\ textbf {u} niversal \ textbf {m} ulti \ textbf {s} cale \ textbf {t} ransformer,即在两个序列生成任务上评估。值得注意的是,它在几个测试组上的强大基线上产生了一致的性能,而无需牺牲效率。
translated by 谷歌翻译
最近,图形神经网络(GNN)已被广泛用于文档分类。但是,大多数现有方法都基于没有句子级信息的静态词共同发生图,它构成了三个挑战:(1)字歧义,(2)字同义词和(3)动态上下文依赖性。为解决这些挑战,我们提出了一种用于归纳文档分类的新型GNN的稀疏结构学习模型。具体地,文档级图最初由句子级字共有图的不相交联盟生成。我们的模型收集了一系列连接句子之间的脱节单词的可训练边,并采用结构学习稀疏地选择具有动态上下文依赖性的边缘。具有稀疏结构的图形可以通过GNN共同利用文档中的本地和全局上下文信息。对于归纳学习,精致的文档图进一步馈入以端到端的方式的图形级分类和优化的一般读出函数。在几个现实世界数据集上的广泛实验表明,所提出的模型优于最先进的结果,并揭示了学习每个文档的稀疏结构的必要性。
translated by 谷歌翻译
文档级关系提取(DRE)旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成,这可能是有问题的,因为库鲁弗提到对特定关系没有同样有贡献。此外,事先努力主要关注实体级的推理,而不是捕获实体对之间的全局相互作用。在本文中,我们提出了两种新颖的技术,上下文指导的集成和交互推理(CGM2IR),以改善DRE。而不是简单地应用平均池,而是利用上下文来指导在加权和方式中的经验提升的集成。另外,对实体对图的相互作用推理在实体对图上执行迭代算法,以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型,即Docred,CDR和GDA。实验结果表明,我们的模型优于以前的最先进的模型。
translated by 谷歌翻译
来自文本的采矿因果关系是一种复杂的和至关重要的自然语言理解任务,对应于人类认知。其解决方案的现有研究可以分为两种主要类别:基于特征工程和基于神经模型的方法。在本文中,我们发现前者具有不完整的覆盖范围和固有的错误,但提供了先验知识;虽然后者利用上下文信息,但其因果推断不足。为了处理限制,我们提出了一个名为MCDN的新型因果关系检测模型,明确地模拟因果关系,而且,利用两种方法的优势。具体而言,我们采用多头自我关注在Word级别获得语义特征,并在段级别推断出来的SCRN。据我们所知,关于因果关系任务,这是第一次应用关系网络。实验结果表明:1)该方法对因果区检测进行了突出的性能; 2)进一步分析表现出MCDN的有效性和稳健性。
translated by 谷歌翻译
AMR到文本是NLP社区中旨在从抽象含义表示(AMR)图生成句子的关键技术之一。自2013年提出AMR以来,有关AMR到文本的研究越来越普遍,因为AMR作为自然语言的高级语义描述,由于AMR具有独特的优势,因此作为结构化数据的重要分支变得越来越普遍。在本文中,我们简要介绍了AMR到文本。首先,我们介绍了此技术的当前情况,并指出了它的困难。其次,根据先前研究中使用的方法,我们根据它们各自的机制将它们大致分为五个类别和预先训练的语言模型(PLM)。特别是,我们详细介绍了基于神经网络的方法,并介绍了AMR到文本的最新进展,该方法指的是AMR重建,解码器优化等。此外,我们介绍了AMR-TOXT的基准和评估方法。最终,我们提供了当前技术和未来研究的前景的摘要。
translated by 谷歌翻译
近年来,人们对开发自然语言处理(NLP)中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能,例如对于模型预测而言重要的单词或短语。然而,在NLP中开发的神经模型通常以层次结构的方式构成单词语义,文本分类需要层次建模来汇总本地信息,以便处理主题和标签更有效地转移。因此,单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器,称为提示,该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别,而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明,我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果,并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。
translated by 谷歌翻译