仇恨言语分类一直是自然语言处理中的一个长期问题。但是，即使有许多仇恨言论检测方法，它们通常忽略了许多仇恨言论，因为它们在自然界中是隐含的。开发数据集以协助隐性仇恨言语分类的任务伴随着自己的挑战；困难是语言上的细微差别，改变了构成仇恨言论的定义以及劳动密集型的注释过程。这导致了可用于训练和测试此类系统的数据稀缺，当使用基于参数的变压器模型来解决该问题时，这会引起较高的差异问题。在本文中，我们探讨了各种优化和正则化技术，并开发了一种基于罗伯塔的新型模型，可实现最先进的性能。

转移学习已通过深度审慎的语言模型广泛用于自然语言处理，例如来自变形金刚和通用句子编码器的双向编码器表示。尽管取得了巨大的成功，但语言模型应用于小型数据集时会过多地适合，并且很容易忘记与分类器进行微调时。为了解决这个忘记将深入的语言模型从一个域转移到另一个领域的问题，现有的努力探索了微调方法，以减少忘记。我们建议DeepeMotex是一种有效的顺序转移学习方法，以检测文本中的情绪。为了避免忘记问题，通过从Twitter收集的大量情绪标记的数据来仪器进行微调步骤。我们使用策划的Twitter数据集和基准数据集进行了一项实验研究。 DeepeMotex模型在测试数据集上实现多级情绪分类的精度超过91％。我们评估了微调DeepeMotex模型在分类Emoint和刺激基准数据集中的情绪时的性能。这些模型在基准数据集中的73％的实例中正确分类了情绪。所提出的DeepeMotex-Bert模型优于BI-LSTM在基准数据集上的BI-LSTM增长23％。我们还研究了微调数据集的大小对模型准确性的影响。我们的评估结果表明，通过大量情绪标记的数据进行微调提高了最终目标任务模型的鲁棒性和有效性。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

对人类法官和现有的NLP系统，受人尊敬和屈尊的语言（PCL）具有巨大的有害影响，很难检测到。在Semeval-2022任务4中，我们提出了一个基于变压器的新型模型及其合奏，以准确了解PCL检测的这种语言上下文。为了促进对PCL的微妙和主观性质的理解，采用两种微调策略来捕获不同语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显着的结果，包括子任务中的1和第5位。

仇恨言论被认为是目前轰炸在线社交媒体的主要问题之一。已经显示重复和重复的仇恨言论，为目标用户创造生理效应。因此，应在这些平台上解决其所有形式的仇恨言论，以保持健康。在本文中，我们探讨了在火灾2021的英语和印度 - 雅典语言中检测仇恨语音和冒犯内容的几个基于变压器的机器学习模型。我们探索了MBBERT，XLMR-LARG，XLMR-Base等多种型号“超级马里奥”。我们的型号在Code-Mixed数据集（宏F1：0.7107）中进行了第二个位置，在印地语两班分类（宏F1：0.7797）中，英语四类四级别（宏F1：0.8006）和英语中的第4位两级类别（宏F1：0.6447）。

In recent years, there has been increased interest in building predictive models that harness natural language processing and machine learning techniques to detect emotions from various text sources, including social media posts, micro-blogs or news articles. Yet, deployment of such models in real-world sentiment and emotion applications faces challenges, in particular poor out-of-domain generalizability. This is likely due to domain-specific differences (e.g., topics, communicative goals, and annotation schemes) that make transfer between different models of emotion recognition difficult. In this work we propose approaches for text-based emotion detection that leverage transformer models (BERT and RoBERTa) in combination with Bidirectional Long Short-Term Memory (BiLSTM) networks trained on a comprehensive set of psycholinguistic features. First, we evaluate the performance of our models within-domain on two benchmark datasets: GoEmotion and ISEAR. Second, we conduct transfer learning experiments on six datasets from the Unified Emotion Dataset to evaluate their out-of-domain robustness. We find that the proposed hybrid models improve the ability to generalize to out-of-distribution data compared to a standard transformer-based approach. Moreover, we observe that these models perform competitively on in-domain data.

在交叉语言设置中讨厌语音检测代表所有中型和大型在线平台的最重要的感兴趣区域。未能在全球范围内妥善解决这个问题已经过时地导致了道德上可疑的现实生活事件，人类死亡和仇恨本身的永久。本文说明了微调改变的多语言变压器模型（Mbert，XLM-Roberta）关于这一重要的社会数据科学任务，与英语到法语，反之亦然和每种语言的交叉思考，包括关于迭代改进和比较误差分析的部分。

仇恨语音在线的检测已成为一项重要的任务，因为伤害，淫秽和侮辱性内容等冒犯性语言可能会危害边缘化的人或团体。本文介绍了Indo-European语言中的仇恨语音和冒犯内容识别的共同任务任务1A和1B的任务1A和1B的实验和结果。在整个竞争中，对各种子特派团评估了不同的自然语言处理模型的成功。我们通过竞争对手基于单词和字符级别的复发神经网络测试了不同的模型，并通过竞争对手基于提供的数据集进行了学习方法。在已经用于实验的测试模型中，基于转移学习的模型在两个子任务中获得了最佳结果。

Understanding customer feedback is becoming a necessity for companies to identify problems and improve their products and services. Text classification and sentiment analysis can play a major role in analyzing this data by using a variety of machine and deep learning approaches. In this work, different transformer-based models are utilized to explore how efficient these models are when working with a German customer feedback dataset. In addition, these pre-trained models are further analyzed to determine if adapting them to a specific domain using unlabeled data can yield better results than off-the-shelf pre-trained models. To evaluate the models, two downstream tasks from the GermEval 2017 are considered. The experimental results show that transformer-based models can reach significant improvements compared to a fastText baseline and outperform the published scores and previous models. For the subtask Relevance Classification, the best models achieve a micro-averaged $F1$-Score of 96.1 % on the first test set and 95.9 % on the second one, and a score of 85.1 % and 85.3 % for the subtask Polarity Classification.

由于BERT出现，变压器语言模型和转移学习已成为自然语言理解任务的最先进。最近，一些作品适用于特定领域的预训练，专制模型，例如科学论文，医疗文件等。在这项工作中，我们呈现RoberTuito，用于西班牙语中的用户生成内容的预先训练的语言模型。我们在西班牙语中培训了罗伯特托5亿推文。关于涉及用户生成文本的4个任务的基准测试显示，罗伯特托多于西班牙语的其他预先接受的语言模型。为了帮助进一步研究，我们将罗伯特多公开可在HuggingFace Model Hub上提供。

在大量人员中，在线社交媒体（OSMS）消费的广泛上升构成了遏制这些平台上仇恨内容的传播的关键问题。随着多种语言的效果越来越多，检测和表征仇恨的任务变得更加复杂。代码混合文本的微妙变化以及切换脚本仅增加了复杂性。本文介绍了哈索克2021多语种推特仇恨语音检测挑战的解决方案，由Team Precog IIIT Hyderabad。我们采用基于多语言变压器的方法，并为所有6个子任务描述了我们的架构作为挑战的一部分。在参加所有子特设券的6支球队中，我们的提交总体排名第3。

仇恨言论是一种在线骚扰的形式，涉及使用滥用语言，并且在社交媒体帖子中通常可以看到。这种骚扰主要集中在诸如宗教，性别，种族等的特定群体特征上，如今它既有社会和经济后果。文本文章中对滥用语言的自动检测一直是一项艰巨的任务，但最近它从科学界获得了很多兴趣。本文解决了在社交媒体中辨别仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络体系结构的现有方法的扩展，我们在短文中适当地增强和微调以检测某些形式的仇恨语言，例如种族主义或性别歧视。最重要的增强是转换为由复发性神经网络（RNN）分类器组成的两阶段方案。将第一阶段的所有一Vs式分类器（OVR）分类器的输出组合在一起，并用于训练第二阶段分类器，最终决定了骚扰的类型。我们的研究包括对在16K推文的公共语料库中评估的第二阶段提出的几种替代方法的性能比较，然后对另一个数据集进行了概括研究。报道的结果表明，与当前的最新技术相比，在仇恨言论检测任务中，所提出的方案的分类质量出色。

在目前的互联网时代，社交媒体平台容易抵达每个人，由于与演员，信条，性别，宗教甚至接受，人们往往必须应对威胁，身份攻击，仇恨和欺凌或拒绝概念。仇恨语音检测中的现有工作主要关注各个评论分类作为序列标签任务，并且经常无法考虑对话的上下文。在确定作者的意图和发布后的情绪时，谈话的上下文通常在促进推文背后的情绪时发挥着重要作用。本文介绍了哈索克 - IIITD团队 - IIITD的系统提出的系统，该系统是第一个共享任务，专注于检测来自推特上的HINDI英语代码混合对话的仇恨语音。我们使用神经网络接近此问题，利用变压器的交叉逻辑嵌入，并进一步向他们提供低资源仇恨语音分类，以便在音译后的印度文本中进行低资源仇恨语音分类。我们最好的表演系统，一项艰难的投票集合，XLM-Roberta和多语言伯特，实现了0.7253的宏F1得分，首先在整个排行榜榜上放置我们。

基于变压器的大型语言模型在自然语言处理中表现出色。通过考虑这些模型在一个领域中获得的知识的可传递性，以及自然语言与高级编程语言（例如C/C ++）的亲密关系，这项工作研究了如何利用（大）基于变压器语言模型检测软件漏洞以及这些模型在漏洞检测任务方面的良好程度。在这方面，首先提出了一个系统的（凝聚）框架，详细介绍了源代码翻译，模型准备和推理。然后，使用具有多个漏洞的C/C ++源代码的软件漏洞数据集进行经验分析，该数据集对应于库功能调用，指针使用，数组使用情况和算术表达式。我们的经验结果证明了语言模型在脆弱性检测中的良好性能。此外，这些语言模型具有比当代模型更好的性能指标，例如F1得分，即双向长期记忆和双向封闭式复发单元。由于计算资源，平台，库和依赖项的要求，对语言模型进行实验始终是具有挑战性的。因此，本文还分析了流行的平台，以有效地微调这些模型并在选择平台时提出建议。

仇恨言论的大规模传播，针对特定群体的仇恨内容，是一个批评社会重要性的问题。仇恨语音检测的自动化方法通常采用最先进的深度学习（DL）的文本分类器 - 非常大的预训练的神经语言模型超过1亿个参数，将这些模型适应仇恨语音检测的任务相关标记的数据集。不幸的是，只有许多标记的数据集有限的尺寸可用于此目的。我们为推进这种事态的高潜力进行了几项贡献。我们呈现HyperNetworks用于仇恨语音检测，这是一种特殊的DL网络，其权重由小型辅助网络调节。这些架构在字符级运行，而不是字级，并且与流行的DL分类器相比，几个较小的顺序大小。我们进一步表明，在命名为IT数据增强的过程中使用大量自动生成的示例的培训讨厌检测分类器通常是有益的，但这种做法尤其提高了所提出的HyperNetworks的性能。事实上，我们实现了比艺术最新的语言模型相当或更好的性能，这些模型是使用这种方法的预先训练的和数量级，与使用五个公共仇恨语音数据集进行评估。

Numerous machine learning (ML) and deep learning (DL)-based approaches have been proposed to utilize textual data from social media for anti-social behavior analysis like cyberbullying, fake news detection, and identification of hate speech mainly for highly-resourced languages such as English. However, despite having a lot of diversity and millions of native speakers, some languages like Bengali are under-resourced, which is due to a lack of computational resources for natural language processing (NLP). Similar to other languages, Bengali social media contents also include images along with texts (e.g., multimodal memes are posted by embedding short texts into images on Facebook). Therefore, only the textual data is not enough to judge them since images might give extra context to make a proper judgement. This paper is about hate speech detection from multimodal Bengali memes and texts. We prepared the only multimodal hate speech dataset for-a-kind of problem for Bengali, which we use to train state-of-the-art neural architectures (e.g., Bi-LSTM/Conv-LSTM with word embeddings, ConvNets + pre-trained language models, e.g., monolingual Bangla BERT, multilingual BERT-cased/uncased, and XLM-RoBERTa) to jointly analyze textual and visual information for hate speech detection. Conv-LSTM and XLM-RoBERTa models performed best for texts, yielding F1 scores of 0.78 and 0.82, respectively. As of memes, ResNet-152 and DenseNet-161 models yield F1 scores of 0.78 and 0.79, respectively. As for multimodal fusion, XLM-RoBERTa + DenseNet-161 performed the best, yielding an F1 score of 0.83. Our study suggests that text modality is most useful for hate speech detection, while memes are moderately useful.

Covid-19已遍布全球，已经开发了几种疫苗来应对其激增。为了确定与社交媒体帖子中与疫苗相关的正确情感，我们在与Covid-19疫苗相关的推文上微调了各种最新的预训练的变压器模型。具体而言，我们使用最近引入的最先进的预训练的变压器模型Roberta，XLNet和Bert，以及在CoVID-19的推文中预先训练的域特异性变压器模型CT-Bert和Bertweet。我们通过使用基于语言模型的过采样技术（LMOTE）过采样来进一步探索文本扩展的选项，以改善这些模型的准确性，特别是对于小样本数据集，在正面，负面和中性情感类别之间存在不平衡的类别分布。我们的结果总结了我们关于用于微调最先进的预训练的变压器模型的不平衡小样本数据集的文本过采样的适用性，以及针对分类任务的域特异性变压器模型的实用性。

了解用户对话中的毒性无疑是一个重要问题。正如在以前的工作中所说的那样，解决“隐秘”或隐含毒性案件特别困难，需要上下文。以前很少有研究已经分析了会话语境在人类感知或自动检测模型中的影响。我们深入探讨这两个方向。我们首先分析现有的上下文数据集，并得出结论，人类的毒性标记一般受到对话结构，极性和主题的影响。然后，我们建议通过引入（a）神经架构来将这些发现带入计算检测模型中，以了解会话结构的语境毒性检测，以及（b）可以帮助模拟语境毒性检测的数据增强策略。我们的结果表明了了解谈话结构的神经架构的令人鼓舞的潜力。我们还表明，这些模型可以从合成数据中受益，尤其是在社交媒体领域。

自然语言处理的进步（NLP）正在通过实际应用和学术利益的形式传播各个域。本质上，法律域包含大量数据以文本格式。因此，它需要将NLP应用于迎合对域的分析要求苛刻的需求。识别法律案例中的重要句子，事实和论点是法律专业人员这么繁琐的任务。在本研究中，我们探讨了句子嵌入的使用，以确定法律案件中的重要句子，在案件中的主要缔约方的角度。此外，定义了特定于任务的丢失功能，以提高通过分类交叉熵损失的直接使用限制的准确性。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。