仇恨言论被认为是目前轰炸在线社交媒体的主要问题之一。已经显示重复和重复的仇恨言论，为目标用户创造生理效应。因此，应在这些平台上解决其所有形式的仇恨言论，以保持健康。在本文中，我们探讨了在火灾2021的英语和印度 - 雅典语言中检测仇恨语音和冒犯内容的几个基于变压器的机器学习模型。我们探索了MBBERT，XLMR-LARG，XLMR-Base等多种型号“超级马里奥”。我们的型号在Code-Mixed数据集（宏F1：0.7107）中进行了第二个位置，在印地语两班分类（宏F1：0.7797）中，英语四类四级别（宏F1：0.8006）和英语中的第4位两级类别（宏F1：0.6447）。

在线仇恨是许多社交媒体平台的日益关注。为解决此问题，不同的社交媒体平台为此类内容引入了审核策略。他们还聘请了可以检查职位违反审议政策的职位并采取适当行动。辱骂语言研究领域的院士也进行各种研究以更好地检测此类内容。虽然在英语中有广泛的辱骂语言检测，但在这场火灾中，在印度，乌尔都语等低资源语言中有一个滥用语言检测的空格。在URDU中提出滥用语言检测数据集以及威胁性语言检测。在本文中，我们探索了XGBoost，LGBM，基于M-BERT的M-BERT模型的多种机器学习模型，用于基于共享任务的URDU滥用和威胁的内容检测。我们观察了在阿拉伯语中滥用语言数据集的变压器模型有助于获得最佳性能。我们的模型首先是滥用和威胁性的内容检测，分别使用0.88和0.54的F1Scoreof。

仇恨语音在线的检测已成为一项重要的任务，因为伤害，淫秽和侮辱性内容等冒犯性语言可能会危害边缘化的人或团体。本文介绍了Indo-European语言中的仇恨语音和冒犯内容识别的共同任务任务1A和1B的任务1A和1B的实验和结果。在整个竞争中，对各种子特派团评估了不同的自然语言处理模型的成功。我们通过竞争对手基于单词和字符级别的复发神经网络测试了不同的模型，并通过竞争对手基于提供的数据集进行了学习方法。在已经用于实验的测试模型中，基于转移学习的模型在两个子任务中获得了最佳结果。

在大量人员中，在线社交媒体（OSMS）消费的广泛上升构成了遏制这些平台上仇恨内容的传播的关键问题。随着多种语言的效果越来越多，检测和表征仇恨的任务变得更加复杂。代码混合文本的微妙变化以及切换脚本仅增加了复杂性。本文介绍了哈索克2021多语种推特仇恨语音检测挑战的解决方案，由Team Precog IIIT Hyderabad。我们采用基于多语言变压器的方法，并为所有6个子任务描述了我们的架构作为挑战的一部分。在参加所有子特设券的6支球队中，我们的提交总体排名第3。

情绪分析是最基本的NLP任务，用于确定文本数据的极性。在多语言文本领域也有很多工作。仍然讨厌和令人反感的语音检测面临着挑战，这是由于数据的可用性不足，特别是印度和马拉地赛等印度语言。在这项工作中，我们考虑了印地语和马拉地养文本的仇恨和令人反感的语音检测。使用艺术的深度学习方法的状态制定了该问题作为文本分类任务。我们探讨了CNN，LSTM等不同的深度学习架构，以及多语言伯爵，烟草和单晶罗伯塔等伯特的变化。基于CNN和LSTM的基本模型将使用快文文本嵌入式增强。我们使用HASOC 2021 HINDI和MARATHI讨论语音数据集来比较这些算法。 Marathi DataSet由二进制标签和后印度数据集组成，包括二进制和更精细的粗糙标签。我们表明，基于变压器的模型表现了最佳甚至基本型号以及FastText Embeddings的基本模型具有竞争性能。此外，通过普通的超参数调谐，基本模型比细粒度的Hindi数据集上的基于BERT的模型更好。

随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。

在最近的过去，社交媒体平台帮助人们连接和沟通到更广泛的受众。但这也导致了网络欺凌的激烈增加。要检测和遏制仇恨言论，以保持社交媒体平台的理智。此外，在这些平台上经常使用包含多种语言的代码混合文本。因此，我们提出了从刮擦Twitter的代码混合文本中的仇恨语音检测自动化技术。我们专注于代码混合英语 - 印地文文本和基于变压器的方法。虽然常规方法独立分析了文本，但我们还以父推文的形式使用内容文本。我们尝试在单编码器和双编码器设置中评估多语言BERT和ANDIP-BERT的性能。第一种方法是使用分隔符令牌连接目标文本和上下文文本，并从BERT模型获取单个表示。第二种方法独立地使用双BERT编码器独立地编码两个文本，并且对应的表示平均。我们表明使用独立表示的双编码器方法产生更好的性能。我们还采用了简单的集合方法来进一步提高性能。使用这些方法，我们在HASOC 2021CCL代码混合数据集上报告了最佳F1分数为73.07％。

为了解决检测到令人反感的评论/帖子的难题，这些评论/帖子具有很多非正式的，非结构化，错误的和码混合，我们在本研究论文中介绍了两种发明方法。社交媒体平台上的攻击性评论/帖子，可以影响个人，团体或未成年人。为了对两个受欢迎的Dravidian语言，泰米尔和马拉雅拉姆分类，作为哈索克的一部分 - Dravidiancodemix Fire 2021共享任务，我们采用了两个基于变压器的原型，该原型成功地站在前8名以获得所有任务。可以查看和使用我们方法的代码。

仇恨言论等攻击性内容的广泛构成了越来越多的社会问题。 AI工具是支持在线平台的审核过程所必需的。为了评估这些识别工具，需要与不同语言的数据集进行连续实验。 HASOC轨道（仇恨语音和冒犯性内容识别）专用于为此目的开发基准数据。本文介绍了英语，印地语和马拉地赛的Hasoc Subtrack。数据集由Twitter组装。此子系统有两个子任务。任务A是为所有三种语言提供的二进制分类问题（仇恨而非冒犯）。任务B是三个课程（仇恨）仇恨言论，令人攻击和亵渎为英语和印地语提供的细粒度分类问题。总体而言，652名队伍提交了652次。任务A最佳分类算法的性能分别为Marathi，印地语和英语的0.91,0.78和0.83尺寸。此概述介绍了任务和数据开发以及详细结果。提交竞争的系统应用了各种技术。最好的表演算法主要是变压器架构的变种。

在目前的互联网时代，社交媒体平台容易抵达每个人，由于与演员，信条，性别，宗教甚至接受，人们往往必须应对威胁，身份攻击，仇恨和欺凌或拒绝概念。仇恨语音检测中的现有工作主要关注各个评论分类作为序列标签任务，并且经常无法考虑对话的上下文。在确定作者的意图和发布后的情绪时，谈话的上下文通常在促进推文背后的情绪时发挥着重要作用。本文介绍了哈索克 - IIITD团队 - IIITD的系统提出的系统，该系统是第一个共享任务，专注于检测来自推特上的HINDI英语代码混合对话的仇恨语音。我们使用神经网络接近此问题，利用变压器的交叉逻辑嵌入，并进一步向他们提供低资源仇恨语音分类，以便在音译后的印度文本中进行低资源仇恨语音分类。我们最好的表演系统，一项艰难的投票集合，XLM-Roberta和多语言伯特，实现了0.7253的宏F1得分，首先在整个排行榜榜上放置我们。

随着移动计算和网络技术的快速增长，令人反感的语言在社交网络平台上变得更加普遍。由于本地语言的令人反感语言识别对于中等社交媒体内容至关重要，因此在本文中，我们使用三种Dravidian语言，即Malayalam，Tamil和Kannada，这些语言遭到资源。我们在EACL 2021的Fire 2020- Hasoc-DravidiancodeMix和Dravidianlangtech提供了一个评估任务，旨在提供一个比较不同方法对此问题的框架。本文介绍了数据创建，定义任务，列出参与系统，并讨论各种方法。

The widespread of offensive content online, such as hate speech and cyber-bullying, is a global phenomenon. This has sparked interest in the artificial intelligence (AI) and natural language processing (NLP) communities, motivating the development of various systems trained to detect potentially harmful content automatically. These systems require annotated datasets to train the machine learning (ML) models. However, with a few notable exceptions, most datasets on this topic have dealt with English and a few other high-resource languages. As a result, the research in offensive language identification has been limited to these languages. This paper addresses this gap by tackling offensive language identification in Sinhala, a low-resource Indo-Aryan language spoken by over 17 million people in Sri Lanka. We introduce the Sinhala Offensive Language Dataset (SOLD) and present multiple experiments on this dataset. SOLD is a manually annotated dataset containing 10,000 posts from Twitter annotated as offensive and not offensive at both sentence-level and token-level, improving the explainability of the ML models. SOLD is the first large publicly available offensive language dataset compiled for Sinhala. We also introduce SemiSOLD, a larger dataset containing more than 145,000 Sinhala tweets, annotated following a semi-supervised approach.

在过去的十年中，我们看到了社交媒体平台推动的在线内容中的指数增长。该规模的数据生成具有难以克服的攻击内容的警告。通过多种方式（图像，语言等），代码混合语言等，通过使用识别冒犯内容的复杂性加剧了。此外，即使我们仔细采样和注释令人反感的内容，也将始终存在攻击性VS非冒犯内容的显着类别不平衡。在本文中，我们介绍了一种基于新的Code-Mixing指数（CMI）的焦点损失，其避免了两个挑战（1）代码混合语言（2）类别不平衡问题，用于Dravidian语言冒犯检测。我们还通过基于余弦的分类器更换传统的小点产品类分类器，这导致性能提升。此外，我们使用多语言模型，帮助传输特征在跨语言中学到的，以有效地使用低资源语言。同样重要的是要注意我们的模型处理混合脚本的实例（例如，说拉丁和Dravidian - 泰米尔脚本脚本的使用）也是如此。我们的模型可以在低资源，类别不平衡，多语言和代码混合设置中处理令人反感的语言检测。

社交媒体和数字技术的广泛使用促进了有关事件和活动的各种新闻和信息。尽管分享了积极的信息误导和虚假信息，但社交媒体也正在传播。在确定人类专家和自动工具手动的这种误导性信息方面，已经做出了努力。由于包含事实主张的大量信息正在网上出现，手动努力并不能很好地扩展。因此，自动确定值得支票的主张对于人类专家来说非常有用。在这项研究中，我们描述了我们参与子任务-1a：checkthat的推文（英语，荷兰语和西班牙语）的值得检查！在CLEF 2022的实验室。我们执行了标准的预处理步骤，并应用了不同的模型来确定给定文本是否值得事实检查。我们使用过度采样技术来平衡数据集和应用SVM和随机森林（RF）和TF-IDF表示。我们还将BERT多语言（BERT-M）和XLM-ROBERTA-BASE预培训模型用于实验。我们将BERT-M用于官方提交，我们的系统分别在西班牙语，荷兰语和英语中分别排名第三，第五和第十二。在进一步的实验中，我们的评估表明，变压器模型（Bert-M和XLM-Roberta-bas）在荷兰语和英语语言中优于SVM和RF，在荷兰语和英语中，对于西班牙来说，观察到不同的情况。

Hope is characterized as openness of spirit toward the future, a desire, expectation, and wish for something to happen or to be true that remarkably affects human's state of mind, emotions, behaviors, and decisions. Hope is usually associated with concepts of desired expectations and possibility/probability concerning the future. Despite its importance, hope has rarely been studied as a social media analysis task. This paper presents a hope speech dataset that classifies each tweet first into "Hope" and "Not Hope", then into three fine-grained hope categories: "Generalized Hope", "Realistic Hope", and "Unrealistic Hope" (along with "Not Hope"). English tweets in the first half of 2022 were collected to build this dataset. Furthermore, we describe our annotation process and guidelines in detail and discuss the challenges of classifying hope and the limitations of the existing hope speech detection corpora. In addition, we reported several baselines based on different learning approaches, such as traditional machine learning, deep learning, and transformers, to benchmark our dataset. We evaluated our baselines using weighted-averaged and macro-averaged F1-scores. Observations show that a strict process for annotator selection and detailed annotation guidelines enhanced the dataset's quality. This strict annotation process resulted in promising performance for simple machine learning classifiers with only bi-grams; however, binary and multiclass hope speech detection results reveal that contextual embedding models have higher performance in this dataset.

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

Pre-training large neural language models, such as BERT, has led to impressive gains on many natural language processing (NLP) tasks. Although this method has proven to be effective for many domains, it might not always provide desirable benefits. In this paper, we study the effects of hateful pre-training on low-resource hate speech classification tasks. While previous studies on the English language have emphasized its importance, we aim to augment their observations with some non-obvious insights. We evaluate different variations of tweet-based BERT models pre-trained on hateful, non-hateful, and mixed subsets of a 40M tweet dataset. This evaluation is carried out for the Indian languages Hindi and Marathi. This paper is empirical evidence that hateful pre-training is not the best pre-training option for hate speech detection. We show that pre-training on non-hateful text from the target domain provides similar or better results. Further, we introduce HindTweetBERT and MahaTweetBERT, the first publicly available BERT models pre-trained on Hindi and Marathi tweets, respectively. We show that they provide state-of-the-art performance on hate speech classification tasks. We also release hateful BERT for the two languages and a gold hate speech evaluation benchmark HateEval-Hi and HateEval-Mr consisting of manually labeled 2000 tweets each. The models and data are available at https://github.com/l3cube-pune/MarathiNLP .

已经开发了许多方法，以通过消除社交媒体平台的庸俗，令人反感和激烈的评论来监测现代岁月中的消极性传播。然而，存在相对较少的研究，这些研究会收敛于拥抱积极性，加强在线论坛中的支持性和放心内容。因此，我们建议创建英国kannada希望语音数据集，Kanhope并比较几个实验来基准数据集。 DataSet由6,176个用户生成的评论组成，代码混合kannada从YouTube刮擦并手动注释为轴承希望语音或不希望的演讲。此外，我们介绍了DC-BERT4HOPE，一种使用Kanhope的英语翻译进行额外培训的双通道模型，以促进希望语音检测。该方法实现了0.756的加权F1分数，更好的其他模型。从此，卡霍普旨在促进坎卡达的研究，同时促进研究人员，以鼓励，积极和支持的在线内容中务实的方法。

在当代世界中，自动检测假新闻是一项非常重要的任务。这项研究报告了第二项共享任务，称为Urdufake@fire2021，以识别乌尔都语中的假新闻检测。共同任务的目的是激励社区提出解决这一至关重要问题的有效方法，尤其是对于乌尔都语。该任务被视为二进制分类问题，将给定的新闻文章标记为真实或假新闻文章。组织者提供了一个数据集，其中包括五个领域的新闻：（i）健康，（ii）体育，（iii）Showbiz，（iv）技术和（v）业务，分为培训和测试集。该培训集包含1300篇注释的新闻文章 - 750个真实新闻，550个假新闻，而测试集包含300篇新闻文章 - 200个真实，100个假新闻。来自7个不同国家（中国，埃及，以色列，印度，墨西哥，巴基斯坦和阿联酋）的34个团队注册参加了Urdufake@Fire2021共享任务。在这些情况下，有18个团队提交了实验结果，其中11个提交了技术报告，与2020年的Urdufake共享任务相比，这一报告要高得多，当时只有6个团队提交了技术报告。参与者提交的技术报告展示了不同的数据表示技术，从基于计数的弓形功能到单词矢量嵌入以及使用众多的机器学习算法，从传统的SVM到各种神经网络体系结构，包括伯特和罗伯塔等变形金刚。在今年的比赛中，表现最佳的系统获得了0.679的F1-MACRO得分，低于过去一年的0.907 F1-MaCro的最佳结果。诚然，尽管过去和当前几年的培训集在很大程度上重叠，但如果今年完全不同，则测试集。

仇恨言语检测模型的性能取决于对模型的训练数据集。现有的数据集大部分是由有限数量的实例或定义仇恨主题的仇恨域准备的。这阻碍了关于仇恨领域的大规模分析和转移学习。在这项研究中，我们构建了大规模的推文数据集，以用英语和低资源语言（土耳其语）进行仇恨言论检测，每个人都由每个标签的100k推文组成。我们的数据集设计为在五个域上分布的推文数量相等。统计测试支持的实验结果表明，基于变压器的语言模型的表现优于传统词袋和神经模型的英语至少5％，而土耳其语则优于大规模仇恨言语检测。该性能也可扩展到不同的训练规模，在使用20％的培训实例时，将回收98％的英语表现和土耳其语的97％。我们进一步研究了仇恨领域之间跨域转移的概括能力。我们表明，其他英语域平均有96％的目标域性能恢复，而土耳其语为92％。性别和宗教更成功地概括到其他领域，而体育运动最大。