情绪分析的主要方法是基于规则的方法和MA-CHINE学习,特别是具有伯特架构的跨前架构的深神经网络模型,包括伯特。神经网络模型在情感分析任务中的性能优于基于规则的方法的性能。由于深度神经网络模型的可辨运性差,这种情况的原因仍不明确。理解两种方法之间的基本差异的主要键之一是在神经网络模型中考虑情绪词典的分析。为此,我们研究了俄语rubert模型的注意力矩阵。我们在情感文本语料库上进行微调rubert,并比较注意力和中性词典的注意力分布。事实证明,与中性的相比,平均而言,各种模型Var-IANTS的3/4的头部统计上会更加关注情绪词典。
translated by 谷歌翻译
近年来,情感分析方法的表现大大增加。这是由于基于变压器架构的各种模型,特别是伯特。然而,深度神经网络模型难以训练和可解释不佳。一种替代方法是使用情绪词典的基于规则的方法。它们快速,不需要培训,并被解释得很好。但最近,由于深入学习的广泛使用,基于词汇的方法已经退出了背景。本文的目的是研究SO-CAL和Sentistrength Lexicon的方法,适用于俄语。我们已经测试了这些方法,以及rubert神经网络模型,16个文本语料库,并分析了他们的结果。Rubert平均优于基于词汇的方法,但So-Cal超过了16个Corea的Rubert超过16。
translated by 谷歌翻译
[目的]要理解句子的含义,人类可以专注于句子中的重要单词,这反映了我们的眼睛在不同的凝视时间或时间保持在每个单词上。因此,一些研究利用眼睛跟踪值来优化深度学习模型中的注意力机制。但是这些研究缺乏解释这种方法的合理性。需要探索注意力机制是否具有人类阅读的这一特征。 [设计/方法/方法]我们进行了有关情感分类任务的实验。首先,我们从两个开源的眼睛追踪语料库中获得了令人眼前一亮的值,以描述人类阅读的特征。然后,从情感分类模型中学到了每个句子的机器注意值。最后,进行了比较以分析机器注意值和眼睛跟踪值。 [发现]通过实验,我们发现注意机制可以集中在重要词,例如形容词,副词和情感词,这些单词对于判断情感分类任务的句子情感很有价值。它具有人类阅读的特征,重点是阅读时的句子中的重要单词。由于注意力机制的学习不足,有些单词被错误地集中了。眼睛跟踪值可以帮助注意机制纠正此错误并改善模型性能。 [原创性/价值]我们的研究不仅为使用眼睛追踪值的研究提供了合理的解释来优化注意力机制,而且还为注意力机制的解释性提供了新的灵感。
translated by 谷歌翻译
通讯和社交网络可以从分析师和公众提供公司提供的产品和/或服务的角度来反映市场和特定股票的意见。因此,这些文本的情感分析可以提供有用的信息,以帮助投资者在市场上进行贸易。在本文中,建议通过预测-1和+1之间的范围内的分数(数据类型Rime)来确定与公司和股票相关的情绪。具体而言,我们精细调整了罗伯塔模型来处理头条和微博,并将其与其他变压器层组合,以处理与情绪词典的句子分析,以改善情绪分析。我们在Semeval-2017任务5发布的财务数据上进行了评估,我们的命题优于Semeval-2017任务5和强基线的最佳系统。实际上,与财务和一般情绪词典的上下文句子分析的组合为我们的模型提供了有用的信息,并允许它产生更可靠的情感分数。
translated by 谷歌翻译
基于方面的情绪分析(ABSA)是一种文本分析方法,其定义了与特定目标相关的某些方面的意见的极性。 ABSA的大部分研究都是英文,阿拉伯语有少量的工作。最先前的阿拉伯语研究依赖于深度学习模型,主要依赖于独立于上下文的单词嵌入(例如,e.g.word2vec),其中每个单词都有一个独立于其上下文的固定表示。本文探讨了从预先培训的语言模型(如BERT)的上下文嵌入的建模功能,例如BERT,以及在阿拉伯语方面情感极度分类任务中使用句子对输入。特别是,我们开发一个简单但有效的基于伯特的神经基线来处理这项任务。根据三种不同阿拉伯语数据集的实验结果,我们的BERT架构与简单的线性分类层超出了最先进的作品。在Arabic Hotel评论数据库中实现了89.51%的准确性,73%的人类注册书评论数据集和阿拉伯新闻数据集的85.73%。
translated by 谷歌翻译
传统上,无监督的情感分析是通过计算存储在情感词典中的文本中的这些词,然后根据注册正面和否定词的比例分配标签的文字来执行的。尽管这些“计数”方法被认为是有益的,因为它们确定性地对文本进行评分,但当分析的文本简短或词汇与词典认为默认值的情况不同时,它们的分类率降低。本文提出的称为LEX2SENT的模型是一种无监督的情感分析方法,用于改善情感词典方法的分类。为此,对DOC2VEC模型进行了训练,以确定嵌入文档嵌入与情感词典正面和负部分的嵌入之间的距离。然后对这些距离进行评估,以在重新采样文档上多次执行DOC2VEC,并进行平均以执行分类任务。对于本文考虑的三个基准数据集,拟议的LEX2SENT优于每个评估的词典,包括Vader等最先进的词典或分类率的意见词典。
translated by 谷歌翻译
社交媒体在现代社会中尤其是在西方世界中的政策制定方面已经变得极其影响力(例如,48%的欧洲人每天或几乎每天都使用社交媒体)。 Twitter之类的平台使用户可以关注政客,从而使公民更多地参与政治讨论。同样,政客们使用Twitter来表达他们的观点,在当前主题上进行辩论,并促进其政治议程,以影响选民行为。先前的研究表明,传达负面情绪的推文可能会更频繁地转发。在本文中,我们试图分析来自不同国家的政客的推文,并探索他们的推文是否遵循相同的趋势。利用最先进的预训练的语言模型,我们对从希腊,西班牙和英国的成千上万的推文进行了情感分析,包括权威的行政部门。我们通过系统地探索和分析有影响力和不流行的推文之间的差异来实现这一目标。我们的分析表明,政治家的负面推文更广泛地传播,尤其是在最近的时代,并突出了情感和受欢迎程度相交的有趣趋势。
translated by 谷歌翻译
这项研究提供了对僧伽罗文本分类的预训练语言模型的性能的首次全面分析。我们测试了一组不同的Sinhala文本分类任务,我们的分析表明,在包括Sinhala(XLM-R,Labse和Laser)的预训练的多语言模型中,XLM-R是迄今为止Sinhala文本的最佳模型分类。我们还预先培训了两种基于罗伯塔的单语僧伽罗模型,它们远远优于僧伽罗的现有预训练的语言模型。我们表明,在微调时,这些预训练的语言模型为僧伽罗文本分类树立了非常强大的基线,并且在标记数据不足以进行微调的情况下非常强大。我们进一步提供了一组建议,用于使用预训练的模型进行Sinhala文本分类。我们还介绍了新的注释数据集,可用于僧伽罗文本分类的未来研究,并公开发布我们的预培训模型。
translated by 谷歌翻译
BERT,ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是,当应用于特定域时,这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况,Twitter是一种不断变化的信息流,以非正式和复杂的语言编写的信息流,鉴于人类的重要作用,每个信息都需要仔细评估,即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下,特定语言的细微差别用来迷失翻译。为了面对这些挑战,我们提出了\ textbf {bertuit},这是迄今为止针对西班牙语提出的较大变压器,使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源,以更好地了解西班牙Twitter,并用于专注于该社交网络的应用程序,特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估,并与M-Bert,XLM-Roberta和XLM-T进行了比较,该任务非常具有竞争性的多语言变压器。在这种情况下,使用应用程序显示了我们方法的实用性:一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播,这意味着在英语说话之外转移时,变形金刚的性能可能会受到影响。
translated by 谷歌翻译
从文本数据中推断出具有政治收费的信息是文本和作者级别的自然语言处理(NLP)的流行研究主题。近年来,对这种研究的研究是在伯特等变形金刚的代表性的帮助下进行的。尽管取得了很大的成功,但我们可能会询问是否通过将基于转换的模型与其他知识表示形式相结合,是否可以进一步改善结果。为了阐明这个问题,本工作描述了一系列实验,以比较英语和葡萄牙语中文本的政治推断的替代模型配置。结果表明,某些文本表示形式 - 特别是,BERT预训练的语言模型与句法依赖模型的联合使用可能胜过多个实验环境的替代方案,这是进一步研究异质文本表示的潜在强大案例在这些以及可能的其他NLP任务中。
translated by 谷歌翻译
情绪感知智能系统对于广泛的应用是必不可少的。这些系统由语言模型驱动,这主要落入两个范式:基于词汇和上下文。虽然最近的上下文模型越来越占主导地位,但由于它们的可解释性和易用性,我们仍然可以看到基于词汇的模型的需求。例如,基于词汇的模型允许研究人员容易地确定哪些单词和短语对测量情绪的变化有贡献。任何基于词汇的方法的挑战是,词典需要通过新的单词和表达进行常规扩展。在这里,我们提出了两个用于自动词典扩展的模型。我们的第一个模型建立了一种基线,采用简单而浅的神经网络,使用非上下文方法初始化了预先训练的单词嵌入。我们的第二种模式改进了我们的基线,具有深度变压器的网络,它带来了估计其词汇极性的单词定义。我们的评估表明,两种模型都能够以与亚马逊机械土耳其人的评论者相似的准确度,但是在成本的一小部分中,可以获得类似的准确性。
translated by 谷歌翻译
我们将拓扑分析的方法应用于注意力图,该方法是根据BERT模型的注意力头(ARXIV:1810.04805V2)计算的。我们的研究表明,基于训练有素的神经网络的基本持久拓扑特征(即Betti数字)构建的分类器可以与常规分类方法达到分类结果。我们在三个文本分类基准上展示了此类拓扑文本表示形式的相关性。据我们所知,这是分析基于注意力的神经网络拓扑的首次尝试,该网络广泛用于自然语言处理。
translated by 谷歌翻译
已知自然语言推断(NLI)模型从训练数据内的偏见和人工制品中学习,影响他们概括到其他看不见的数据集。现有的去偏置方法侧重于防止模型学习这些偏差,这可能导致限制模型和较低的性能。相反,我们调查教学模型如何将人类接近NLI任务,以便学习将更好地概括到以前看不见的特征。使用自然语言解释,我们监督模型的注意力,以鼓励更多地关注解释中存在的词语,显着提高模型性能。我们的实验表明,这种方法的分布式改进也伴随着分发的改进,监督模型从概括到其他NLI数据集的功能。该模型的分析表明,人类解释鼓励增加对重要词语的关注,在前提下的单词和较少关注标点符号和止扰言论的关注。
translated by 谷歌翻译
Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.
translated by 谷歌翻译
由于BERT出现,变压器语言模型和转移学习已成为自然语言理解任务的最先进。最近,一些作品适用于特定领域的预训练,专制模型,例如科学论文,医疗文件等。在这项工作中,我们呈现RoberTuito,用于西班牙语中的用户生成内容的预先训练的语言模型。我们在西班牙语中培训了罗伯特托5亿推文。关于涉及用户生成文本的4个任务的基准测试显示,罗伯特托多于西班牙语的其他预先接受的语言模型。为了帮助进一步研究,我们将罗伯特多公开可在HuggingFace Model Hub上提供。
translated by 谷歌翻译
Text classification is a natural language processing (NLP) task relevant to many commercial applications, like e-commerce and customer service. Naturally, classifying such excerpts accurately often represents a challenge, due to intrinsic language aspects, like irony and nuance. To accomplish this task, one must provide a robust numerical representation for documents, a process known as embedding. Embedding represents a key NLP field nowadays, having faced a significant advance in the last decade, especially after the introduction of the word-to-vector concept and the popularization of Deep Learning models for solving NLP tasks, including Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), and Transformer-based Language Models (TLMs). Despite the impressive achievements in this field, the literature coverage regarding generating embeddings for Brazilian Portuguese texts is scarce, especially when considering commercial user reviews. Therefore, this work aims to provide a comprehensive experimental study of embedding approaches targeting a binary sentiment classification of user reviews in Brazilian Portuguese. This study includes from classical (Bag-of-Words) to state-of-the-art (Transformer-based) NLP models. The methods are evaluated with five open-source databases with pre-defined data partitions made available in an open digital repository to encourage reproducibility. The Fine-tuned TLMs achieved the best results for all cases, being followed by the Feature-based TLM, LSTM, and CNN, with alternate ranks, depending on the database under analysis.
translated by 谷歌翻译
我们使用了应用于新闻和用户评论数据集的无监督和监督模型的令牌 - 方向和文档方面的情感分析。我们的令牌观点分析发现了两组(两组非常大的态度之间的情绪差异,我们的文献监督的情绪分析发现情绪没有显着差异。
translated by 谷歌翻译
NLP是与计算机或机器理解和解释人类语言的能力有关的人工智能和机器学习的一种形式。语言模型在文本分析和NLP中至关重要,因为它们允许计算机解释定性输入并将其转换为可以在其他任务中使用的定量数据。从本质上讲,在转移学习的背景下,语言模型通常在大型通用语料库上进行培训,称为预训练阶段,然后对特定的基本任务进行微调。结果,预训练的语言模型主要用作基线模型,该模型包含了对上下文的广泛掌握,并且可以进一步定制以在新的NLP任务中使用。大多数预训练的模型都经过来自Twitter,Newswire,Wikipedia和Web等通用领域的Corpora培训。在一般文本中训练的现成的NLP模型可能在专业领域效率低下且不准确。在本文中,我们提出了一个名为Securebert的网络安全语言模型,该模型能够捕获网络安全域中的文本含义,因此可以进一步用于自动化,用于许多重要的网络安全任务,否则这些任务将依靠人类的专业知识和繁琐的手动努力。 Securebert受到了我们从网络安全和一般计算域的各种来源收集和预处理的大量网络安全文本培训。使用我们提出的令牌化和模型权重调整的方法,Securebert不仅能够保留对一般英语的理解,因为大多数预训练的语言模型都可以做到,而且在应用于具有网络安全含义的文本时也有效。
translated by 谷歌翻译
我们介绍了一种新的金融语言代表模型,称为财务嵌入性嵌入分析(Fineas)。在金融市场,新闻和投资者情绪是安全价格的重要驱动力。因此,利用现代NLP的财务情感分析方法的能力是识别可用于市场参与者和监管机构的模式和趋势的重要组成部分。近年来,使用从BERT等大型变压器的语言模型使用转移学习的方法已经实现了文本分类任务的最先进的结果,包括使用标记数据集的情感分析。研究人员迅速采用了这些方法的财务文本,但该领域的最佳实践不是很好的。在这项工作中,我们提出了一种基于标准BERT模型的监督微调句子嵌入的金融情绪分析的新模式。我们展示了我们的方法与Vanilla Bert,LSTM和Finbert,一项金融领域特定的伯爵相比实现了显着的改进。
translated by 谷歌翻译
在本文中,我们对亚马逊的产品评论和彻底分析模型解释性进行了句子级别情绪分析。对于情感分析任务,我们使用Bilstm模型与注意机制。对于对解释性的研究,我们认为单句子的注意力分布和主要方面术语的注意力。该模型的准确性高达0.96。我们发现,这些方面术语具有比句子中的感伤词相同或更具更多的注意力。
translated by 谷歌翻译