转移学习已通过深度审慎的语言模型广泛用于自然语言处理，例如来自变形金刚和通用句子编码器的双向编码器表示。尽管取得了巨大的成功，但语言模型应用于小型数据集时会过多地适合，并且很容易忘记与分类器进行微调时。为了解决这个忘记将深入的语言模型从一个域转移到另一个领域的问题，现有的努力探索了微调方法，以减少忘记。我们建议DeepeMotex是一种有效的顺序转移学习方法，以检测文本中的情绪。为了避免忘记问题，通过从Twitter收集的大量情绪标记的数据来仪器进行微调步骤。我们使用策划的Twitter数据集和基准数据集进行了一项实验研究。 DeepeMotex模型在测试数据集上实现多级情绪分类的精度超过91％。我们评估了微调DeepeMotex模型在分类Emoint和刺激基准数据集中的情绪时的性能。这些模型在基准数据集中的73％的实例中正确分类了情绪。所提出的DeepeMotex-Bert模型优于BI-LSTM在基准数据集上的BI-LSTM增长23％。我们还研究了微调数据集的大小对模型准确性的影响。我们的评估结果表明，通过大量情绪标记的数据进行微调提高了最终目标任务模型的鲁棒性和有效性。

In recent years, there has been increased interest in building predictive models that harness natural language processing and machine learning techniques to detect emotions from various text sources, including social media posts, micro-blogs or news articles. Yet, deployment of such models in real-world sentiment and emotion applications faces challenges, in particular poor out-of-domain generalizability. This is likely due to domain-specific differences (e.g., topics, communicative goals, and annotation schemes) that make transfer between different models of emotion recognition difficult. In this work we propose approaches for text-based emotion detection that leverage transformer models (BERT and RoBERTa) in combination with Bidirectional Long Short-Term Memory (BiLSTM) networks trained on a comprehensive set of psycholinguistic features. First, we evaluate the performance of our models within-domain on two benchmark datasets: GoEmotion and ISEAR. Second, we conduct transfer learning experiments on six datasets from the Unified Emotion Dataset to evaluate their out-of-domain robustness. We find that the proposed hybrid models improve the ability to generalize to out-of-distribution data compared to a standard transformer-based approach. Moreover, we observe that these models perform competitively on in-domain data.

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1

在网络和社交媒体上生成的大量数据增加了检测在线仇恨言论的需求。检测仇恨言论将减少它们对他人的负面影响和影响。在自然语言处理（NLP）域中的许多努力旨在宣传仇恨言论或检测特定的仇恨言论，如宗教，种族，性别或性取向。讨厌的社区倾向于使用缩写，故意拼写错误和他们的沟通中的编码词来逃避检测，增加了讨厌语音检测任务的更多挑战。因此，词表示将在检测仇恨言论中发挥越来越关的作用。本文研究了利用基于双向LSTM的深度模型中嵌入的域特定词语的可行性，以自动检测/分类仇恨语音。此外，我们调查转移学习语言模型（BERT）对仇恨语音问题作为二进制分类任务。实验表明，与双向LSTM基于LSTM的深层模型嵌入的域特异性词嵌入了93％的F1分数，而BERT在可用仇恨语音数据集中的组合平衡数据集上达到了高达96％的F1分数。

人们的行为和反应是由他们的情绪驱动的。在线社交媒体正在成为以书面形式表达情感的绝佳工具。注意上下文和整个句子，帮助我们从文本中检测到情感。但是，这种观点抑制了我们注意文本中的一些情感单词或短语，尤其是当单词隐含地而不是明确地表达情感时。另一方面，仅关注单词并忽略上下文会导致对句子含义和感觉的扭曲理解。在本文中，我们提出了一个框架，该框架分析句子和单词级别的文本。我们将其命名为CEFER（情感识别的上下文和情感嵌入式框架）。我们的四个方法是通过同时考虑整个句子和每个单词以及隐式和明确的情绪来提取数据。从这些数据中获得的知识不仅减轻了前面方法中缺陷的影响，而且还可以增强特征向量。我们使用BERT家族评估几个功能空间，并根据其设计CEFER。 CEFER将每个单词的情感向量（包括明确和隐性情绪）与基于上下文的每个单词的特征向量相结合。 CEFER的表现比Bert家族更好。实验结果表明，识别隐性情绪比检测明确的情绪更具挑战性。 CEFER，提高了隐性情绪识别的准确性。根据结果​​，CEFER在识别明确的情绪和隐性中的3％方面的表现要比BERT家族好5％。

随着社交媒体平台上的开放文本数据的最新扩散，在过去几年中，文本的情感检测（ED）受到了更多关注。它有许多应用程序，特别是对于企业和在线服务提供商，情感检测技术可以通过分析客户/用户对产品和服务的感受来帮助他们做出明智的商业决策。在这项研究中，我们介绍了Armanemo，这是一个标记为七个类别的7000多个波斯句子的人类标记的情感数据集。该数据集是从不同资源中收集的，包括Twitter，Instagram和Digikala（伊朗电子商务公司）的评论。标签是基于埃克曼（Ekman）的六种基本情感（愤怒，恐惧，幸福，仇恨，悲伤，奇迹）和另一个类别（其他），以考虑Ekman模型中未包含的任何其他情绪。除数据集外，我们还提供了几种基线模型，用于情绪分类，重点是最新的基于变压器的语言模型。我们的最佳模型在我们的测试数据集中达到了75.39％的宏观平均得分。此外，我们还进行了转移学习实验，以将我们提出的数据集的概括与其他波斯情绪数据集进行比较。这些实验的结果表明，我们的数据集在现有的波斯情绪数据集中具有较高的概括性。 Armanemo可在https://github.com/arman-rayan-sharif/arman-text-emotion上公开使用。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

The health mention classification (HMC) task is the process of identifying and classifying mentions of health-related concepts in text. This can be useful for identifying and tracking the spread of diseases through social media posts. However, this is a non-trivial task. Here we build on recent studies suggesting that using emotional information may improve upon this task. Our study results in a framework for health mention classification that incorporates affective features. We present two methods, an intermediate task fine-tuning approach (implicit) and a multi-feature fusion approach (explicit) to incorporate emotions into our target task of HMC. We evaluated our approach on 5 HMC-related datasets from different social media platforms including three from Twitter, one from Reddit and another from a combination of social media sources. Extensive experiments demonstrate that our approach results in statistically significant performance gains on HMC tasks. By using the multi-feature fusion approach, we achieve at least a 3% improvement in F1 score over BERT baselines across all datasets. We also show that considering only negative emotions does not significantly affect performance on the HMC task. Additionally, our results indicate that HMC models infused with emotional knowledge are an effective alternative, especially when other HMC datasets are unavailable for domain-specific fine-tuning. The source code for our models is freely available at https://github.com/tahirlanre/Emotion_PHM.

近年来，已经出现了许多巨魔帐户来操纵社交媒体的意见。对于社交网络平台而言，检测和消除巨魔是一个关键问题，因为企业，滥用者和民族国家赞助的巨魔农场使用虚假和自动化的帐户。 NLP技术用于从社交网络文本中提取数据，例如Twitter推文。在许多文本处理应用程序中，诸如BERT之类的单词嵌入表示方法的执行效果要好于先前的NLP技术，从而为各种任务提供了新颖的突破，以精确理解和分类社交网络工作信息。本文实施并比较了九个基于深度学习的巨魔推文检测体系结构，每个bert，elmo和手套词嵌入模型的三个模型。精度，召回，F1分数，AUC和分类精度用于评估每个体系结构。从实验结果中，大多数使用BERT模型的架构改进了巨魔推文检测。具有GRU分类器的基于自定义的基于ELMO的体系结构具有检测巨魔消息的最高AUC。所提出的体系结构可以由各种基于社会的系统用于未来检测巨魔消息。

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

预期观众对某些文本的反应是社会的几个方面不可或缺的，包括政治，研究和商业行业。情感分析（SA）是一种有用的自然语言处理（NLP）技术，它利用词汇/统计和深度学习方法来确定不同尺寸的文本是否表现出正面，负面或中立的情绪。但是，目前缺乏工具来分析独立文本的组并从整体中提取主要情感。因此，当前的论文提出了一种新型算法，称为多层推文分析仪（MLTA），该算法使用多层网络（MLN）以图形方式对社交媒体文本进行了图形方式，以便更好地编码跨越独立的推文集的关系。与其他表示方法相比，图结构能够捕获复杂生态系统中有意义的关系。最先进的图形神经网络（GNN）用于从Tweet-MLN中提取信息，并根据提取的图形特征进行预测。结果表明，与标准的正面，负或中性相比，MLTA不仅可以从更大的可能情绪中预测，从而提供了更准确的情感，还允许对Twitter数据进行准确的组级预测。

文本情绪分析（也称为意见挖掘）是对实体表达的人们观点，评估，态度和情感的计算的研究。文本情绪分析可以分为文本级别的情感分析，森林级别的情感分析和方面级别的情感分析。基于方面的情感分析（ABSA）是情感分析领域中的精细任务，该任务旨在预测各个方面的极性。训练前神经模型的研究显着改善了许多自然语言处理任务的性能。近年来，培训模型（PTM）已在ABSA中应用。因此，有一个问题，即PTM是否包含ABSA的足够的句法信息。在本文中，我们探讨了最近的Deberta模型（解码增强的BERT，并引起注意），以解决基于方面的情感分析问题。 Deberta是一种基于Transformer的神经语言模型，它使用自我监督的学习来预先培训大量原始文本语料库。基于局部环境重点（LCF）机制，通过整合Deberta模型，我们为基于方面的情感分析的多任务学习模型。该实验导致了Semeval-2014最常用的笔记本电脑和餐厅数据集，而ACL Twitter数据集则表明，具有Deberta的LCF机制具有显着改善。

Obtaining labelled data in a particular context could be expensive and time consuming. Although different algorithms, including unsupervised learning, semi-supervised learning, self-learning have been adopted, the performance of text classification varies with context. Given the lack of labelled dataset, we proposed a novel and simple unsupervised text classification model to classify cargo content in international shipping industry using the Standard International Trade Classification (SITC) codes. Our method stems from representing words using pretrained Glove Word Embeddings and finding the most likely label using Cosine Similarity. To compare unsupervised text classification model with supervised classification, we also applied several Transformer models to classify cargo content. Due to lack of training data, the SITC numerical codes and the corresponding textual descriptions were used as training data. A small number of manually labelled cargo content data was used to evaluate the classification performances of the unsupervised classification and the Transformer based supervised classification. The comparison reveals that unsupervised classification significantly outperforms Transformer based supervised classification even after increasing the size of the training dataset by 30%. Lacking training data is a key bottleneck that prohibits deep learning models (such as Transformers) from successful practical applications. Unsupervised classification can provide an alternative efficient and effective method to classify text when there is scarce training data.

语言模型是使用大量通用数据（如Book Copus，Common Crawl和Wikipedia）进行预训练的，这对于模型了解语言的语言特征至关重要。新的研究建议将域自适应预训练（DAPT）和任务自适应预训练（TAPT）作为最终填充任务之前的中间步骤。此步骤有助于涵盖目标域词汇，并改善下游任务的模型性能。在这项工作中，我们仅研究训练在TAPT和特定于任务的填充过程中嵌入层对模型性能的影响。基于我们的研究，我们提出了一种简单的方法，以通过对BERT层进行选择性预训练，使基于BERT的模型的中间步骤更有效。我们表明，在TAPT期间仅训练BERT嵌入层足以适应目标域的词汇并实现可比的性能。我们的方法在计算上是有效的，在TAPT期间训练了78％的参数。所提出的嵌入层列式方法也可以是一种有效的域适应技术。

Inductive transfer learning has greatly impacted computer vision, but existing approaches in NLP still require task-specific modifications and training from scratch. We propose Universal Language Model Fine-tuning (ULMFiT), an effective transfer learning method that can be applied to any task in NLP, and introduce techniques that are key for fine-tuning a language model. Our method significantly outperforms the state-of-the-art on six text classification tasks, reducing the error by 18-24% on the majority of datasets. Furthermore, with only 100 labeled examples, it matches the performance of training from scratch on 100× more data. We opensource our pretrained models and code 1 .

由于BERT出现，变压器语言模型和转移学习已成为自然语言理解任务的最先进。最近，一些作品适用于特定领域的预训练，专制模型，例如科学论文，医疗文件等。在这项工作中，我们呈现RoberTuito，用于西班牙语中的用户生成内容的预先训练的语言模型。我们在西班牙语中培训了罗伯特托5亿推文。关于涉及用户生成文本的4个任务的基准测试显示，罗伯特托多于西班牙语的其他预先接受的语言模型。为了帮助进一步研究，我们将罗伯特多公开可在HuggingFace Model Hub上提供。

Understanding customer feedback is becoming a necessity for companies to identify problems and improve their products and services. Text classification and sentiment analysis can play a major role in analyzing this data by using a variety of machine and deep learning approaches. In this work, different transformer-based models are utilized to explore how efficient these models are when working with a German customer feedback dataset. In addition, these pre-trained models are further analyzed to determine if adapting them to a specific domain using unlabeled data can yield better results than off-the-shelf pre-trained models. To evaluate the models, two downstream tasks from the GermEval 2017 are considered. The experimental results show that transformer-based models can reach significant improvements compared to a fastText baseline and outperform the published scores and previous models. For the subtask Relevance Classification, the best models achieve a micro-averaged $F1$-Score of 96.1 % on the first test set and 95.9 % on the second one, and a score of 85.1 % and 85.3 % for the subtask Polarity Classification.

GPT-2和BERT展示了在各种自然语言处理任务上使用预训练的语言模型（LMS）的有效性。但是，在应用于资源丰富的任务时，LM微调通常会遭受灾难性的遗忘。在这项工作中，我们引入了一个协同的培训框架（CTNMT），该框架是将预训练的LMS集成到神经机器翻译（NMT）的关键。我们提出的CTNMT包括三种技术：a）渐近蒸馏，以确保NMT模型可以保留先前的预训练知识； b）动态的开关门，以避免灾难性忘记预训练的知识； c）根据计划的政策调整学习步伐的策略。我们在机器翻译中的实验表明，WMT14英语 - 德语对的CTNMT获得了最高3个BLEU得分，甚至超过了先前的最先进的预培训辅助NMT NMT的NMT。尽管对于大型WMT14英语法国任务，有400万句话，但我们的基本模型仍然可以显着改善最先进的变压器大型模型，超过1个BLEU得分。代码和模型可以从https://github.com/bytedance/neurst/tree/Master/Master/examples/ctnmt下载。

仇恨言论的大规模传播，针对特定群体的仇恨内容，是一个批评社会重要性的问题。仇恨语音检测的自动化方法通常采用最先进的深度学习（DL）的文本分类器 - 非常大的预训练的神经语言模型超过1亿个参数，将这些模型适应仇恨语音检测的任务相关标记的数据集。不幸的是，只有许多标记的数据集有限的尺寸可用于此目的。我们为推进这种事态的高潜力进行了几项贡献。我们呈现HyperNetworks用于仇恨语音检测，这是一种特殊的DL网络，其权重由小型辅助网络调节。这些架构在字符级运行，而不是字级，并且与流行的DL分类器相比，几个较小的顺序大小。我们进一步表明，在命名为IT数据增强的过程中使用大量自动生成的示例的培训讨厌检测分类器通常是有益的，但这种做法尤其提高了所提出的HyperNetworks的性能。事实上，我们实现了比艺术最新的语言模型相当或更好的性能，这些模型是使用这种方法的预先训练的和数量级，与使用五个公共仇恨语音数据集进行评估。

识别和理解文本中的潜在情绪或情绪是多种自然语言处理应用程序的关键组成部分。虽然简单的极性情感分析是一个良好研究的主题，但在识别使用文本数据的更复杂，更精细的情绪方面取得了更少的进步。在本文中，我们介绍了一种基于变压器的模型，具有适配器层的融合，它利用更简单的情绪分析任务来改善大规模数据集（例如CMU-MOSEI）上的情绪检测任务，仅使用文本方式。结果表明，我们的建议方法与其他方法具有竞争力。即使使用仅使用文本方式，我们也能为CMU-MOSEI的情感识别获得最先进的结果。