本文介绍了Dravidian-Codemix-Hasoc2021的系统：Dravidian语言中的仇恨语音和攻击性语言识别（泰米尔英语和Malayalam-English）。此任务旨在识别从社交媒体收集的Dravidian语言中的代码混合评论/帖子中的冒犯内容。我们的方法利用汇集了最后一层普雷克雷雷变换器多语言BERT为这项任务，帮助我们在排行榜上获得排名九个在Subtask B中的泰米尔英语数据集的加权平均得分为0.61。在任务截止日期之后，我们采样了数据集统一并使用Muril净化模型，这帮助我们实现了0.67的加权平均分数，排行榜的顶部得分。此外，我们利用预磨料模型的方法有助于将模型重用与不同的数据集相同的任务。我们的代码和模型可在https://github.com/seanhenhur/tanglish-offience-language- identification

由于社交媒体的指数增加，重要的是关注其消极方面，因为它可能会划分社会，并将人们煽动暴力。在本文中，我们展示了我们在共享任务逗号@图标上的工作的描述，在那里我们必须对句子进行分类，如果句子是性别偏见或公共偏见的话。这三个可能是在社会中造成重大问题的主要原因。作为团队巨大，我们提出了一种用不同的预磨模的方法，具有注意力和均值的汇集方法。我们能够在孟加拉的0.223实例F1分数获得等级3，在多语言集中排名2，在多语言集中进行0.322个实例F1分数，在MEITEI上排名4，在MEITEI上进行0.129个实例F1分数，并在印地语中进行0.336实例F1分数。这里可以在此处找到源代码和预磨损的模型。

为了解决检测到令人反感的评论/帖子的难题，这些评论/帖子具有很多非正式的，非结构化，错误的和码混合，我们在本研究论文中介绍了两种发明方法。社交媒体平台上的攻击性评论/帖子，可以影响个人，团体或未成年人。为了对两个受欢迎的Dravidian语言，泰米尔和马拉雅拉姆分类，作为哈索克的一部分 - Dravidiancodemix Fire 2021共享任务，我们采用了两个基于变压器的原型，该原型成功地站在前8名以获得所有任务。可以查看和使用我们方法的代码。

随着移动计算和网络技术的快速增长，令人反感的语言在社交网络平台上变得更加普遍。由于本地语言的令人反感语言识别对于中等社交媒体内容至关重要，因此在本文中，我们使用三种Dravidian语言，即Malayalam，Tamil和Kannada，这些语言遭到资源。我们在EACL 2021的Fire 2020- Hasoc-DravidiancodeMix和Dravidianlangtech提供了一个评估任务，旨在提供一个比较不同方法对此问题的框架。本文介绍了数据创建，定义任务，列出参与系统，并讨论各种方法。

社交媒体职位的情感分析和各种营销和情感目的的评论正在获得认可。随着各种母语中的代码混合含量的增加，需要康复研究来产生有前途的结果。这篇研究论文以广泛的Dravidian语言kannada，泰米尔和马拉雅拉姆的语义混合社交媒体评论的情感分析，对这项研究赋予了这项研究。它描述了Dravidian-Codemix在Fire 2021通过使用预先训练的模型如Ulmfit和Multi语言BERT在代码混合数据集，音译（TRAAI）上的训练型模型，英文翻译（TRAA）的培训模型来描述TRAI数据和所有三个的结合。结果记录在本研究论文中，最佳型号分别在泰米尔，克南纳和马拉雅拉姆任务中站在4号，第5和第10位。

已经开发了许多方法，以通过消除社交媒体平台的庸俗，令人反感和激烈的评论来监测现代岁月中的消极性传播。然而，存在相对较少的研究，这些研究会收敛于拥抱积极性，加强在线论坛中的支持性和放心内容。因此，我们建议创建英国kannada希望语音数据集，Kanhope并比较几个实验来基准数据集。 DataSet由6,176个用户生成的评论组成，代码混合kannada从YouTube刮擦并手动注释为轴承希望语音或不希望的演讲。此外，我们介绍了DC-BERT4HOPE，一种使用Kanhope的英语翻译进行额外培训的双通道模型，以促进希望语音检测。该方法实现了0.756的加权F1分数，更好的其他模型。从此，卡霍普旨在促进坎卡达的研究，同时促进研究人员，以鼓励，积极和支持的在线内容中务实的方法。

文本分类是具有各种有趣应用程序的典型自然语言处理或计算语言学任务。随着社交媒体平台上的用户数量的增加，数据加速促进了有关社交媒体文本分类（SMTC）或社交媒体文本挖掘的新兴研究。与英语相比，越南人是低资源语言之一，仍然没有集中精力并彻底利用。受胶水成功的启发，我们介绍了社交媒体文本分类评估（SMTCE）基准，作为各种SMTC任务的数据集和模型的集合。借助拟议的基准，我们实施和分析了各种基于BERT的模型（Mbert，XLM-R和Distilmbert）和基于单语的BERT模型（Phobert，Vibert，Vibert，Velectra和Vibert4news）的有效性SMTCE基准。单语模型优于多语言模型，并实现所有文本分类任务的最新结果。它提供了基于基准的多语言和单语言模型的客观评估，该模型将使越南语言中有关贝尔特兰的未来研究有利。

我们介绍了在Fire 2021举行的Dravidian-Codemix共享任务的结果，是代码混合文本中的Dravidian语言的情绪分析轨道。我们描述了任务，其组织和提交的系统。这种共享任务是去年的Dravidian-Codemix共享任务的延续，在火灾2020举行。今年的任务包括在令牌内部和令互相互补级别的代码混合。此外，除了泰米尔和马拉雅拉姆，还介绍。我们收到了22种Tamil-English，15个用于Malayalam-English系统的系统和15个用于Kannada-English。Tamil-English，Malayalam-English和Kannada-English的顶级系统分别获得加权平均F1分，分别为0.711,0.804和0.630分。总之，提交的质量和数量表明，在这种域中的代码混合设置和最先进状态下对Dravidian语言有很大的兴趣仍然需要更多的改进。

预先训练的上下文化文本表示模型学习自然语言的有效表示，以使IT机器可以理解。在注意机制的突破之后，已经提出了新一代预磨模的模型，以便自变压器引入以来实现了良好的性能。来自变压器（BERT）的双向编码器表示已成为语言理解的最先进的模型。尽管取得了成功，但大多数可用的型号已经在印度欧洲语言中培训，但是对代表性的语言和方言的类似研究仍然稀疏。在本文中，我们调查了培训基于单语言变换器的语言模型的可行性，以获得代表语言的特定重点是突尼斯方言。我们评估了我们的语言模型对情感分析任务，方言识别任务和阅读理解问答任务。我们表明使用嘈杂的Web爬网数据而不是结构化数据（维基百科，文章等）更方便这些非标准化语言。此外，结果表明，相对小的Web爬网数据集导致与使用较大数据集获得的那些表现相同的性能。最后，我们在所有三个下游任务中达到或改善了最先进的Tunbert模型。我们释放出Tunbert净化模型和用于微调的数据集。

有毒内容是今天社交媒体平台最关键的问题之一。仅在2020年的印度拥有51800万社交媒体用户。为了为内容创造者及其观众提供良好的体验，这对销售毒性评论和发布的用户至关重要。但由于存在多个相同文本的多个表示，大挑战是识别低资源目录语言中的毒性。此外，社交媒体的职位/评论不遵守特定格式，语法或句子结构;这使得滥用检测的任务更具挑战性的多语种社交媒体平台。本文介绍了使用ShareChat / MoJ提供的数据提出的Team'Moj Masti'提出的系统，以\ emph {iiit-d多语言滥用评论识别}挑战。我们专注于我们如何利用基于多语言变压器的预训练和微调模型来接近代码混合/代码切换的分类任务。我们最好的表演系统是XLM-Roberta和Muril的集合，在测试数据/排行榜上实现了0.9的平均f-1分数。我们还通过添加音译数据观察到性能的增加。此外，使用弱元数据，合奏和一些后处理技术提升了我们的系统的性能，从而将我们1在排行榜上放置。

在目前的互联网时代，社交媒体平台容易抵达每个人，由于与演员，信条，性别，宗教甚至接受，人们往往必须应对威胁，身份攻击，仇恨和欺凌或拒绝概念。仇恨语音检测中的现有工作主要关注各个评论分类作为序列标签任务，并且经常无法考虑对话的上下文。在确定作者的意图和发布后的情绪时，谈话的上下文通常在促进推文背后的情绪时发挥着重要作用。本文介绍了哈索克 - IIITD团队 - IIITD的系统提出的系统，该系统是第一个共享任务，专注于检测来自推特上的HINDI英语代码混合对话的仇恨语音。我们使用神经网络接近此问题，利用变压器的交叉逻辑嵌入，并进一步向他们提供低资源仇恨语音分类，以便在音译后的印度文本中进行低资源仇恨语音分类。我们最好的表演系统，一项艰难的投票集合，XLM-Roberta和多语言伯特，实现了0.7253的宏F1得分，首先在整个排行榜榜上放置我们。

仇恨言论被认为是目前轰炸在线社交媒体的主要问题之一。已经显示重复和重复的仇恨言论，为目标用户创造生理效应。因此，应在这些平台上解决其所有形式的仇恨言论，以保持健康。在本文中，我们探讨了在火灾2021的英语和印度 - 雅典语言中检测仇恨语音和冒犯内容的几个基于变压器的机器学习模型。我们探索了MBBERT，XLMR-LARG，XLMR-Base等多种型号“超级马里奥”。我们的型号在Code-Mixed数据集（宏F1：0.7107）中进行了第二个位置，在印地语两班分类（宏F1：0.7797）中，英语四类四级别（宏F1：0.8006）和英语中的第4位两级类别（宏F1：0.6447）。

随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。

在大量人员中，在线社交媒体（OSMS）消费的广泛上升构成了遏制这些平台上仇恨内容的传播的关键问题。随着多种语言的效果越来越多，检测和表征仇恨的任务变得更加复杂。代码混合文本的微妙变化以及切换脚本仅增加了复杂性。本文介绍了哈索克2021多语种推特仇恨语音检测挑战的解决方案，由Team Precog IIIT Hyderabad。我们采用基于多语言变压器的方法，并为所有6个子任务描述了我们的架构作为挑战的一部分。在参加所有子特设券的6支球队中，我们的提交总体排名第3。

社交媒体的普及创造了仇恨言论和性别歧视等问题。社交媒体中性别歧视的识别和分类是非常相关的任务，因为它们允许建立更健康的社会环境。尽管如此，这些任务很挑战。这项工作提出了一种使用多语种和单晶的BERT和数据点转换和与英语和西班牙语分类的策略的系统来使用多语种和单语的BERT和数据点转换和集合策略。它在社交网络中的性别歧视的背景下进行了2021年（存在2021年）任务，由Iberian语言评估论坛（Iberlef）提出。描述了所提出的系统及其主要组件，并进行深入的超公数分析。观察到的主要结果是：（i）该系统比基线模型获得了更好的结果（多语种伯爵）; （ii）集合模型比单声道模型获得了更好的结果; （iii）考虑所有单独模型和最佳标准化值的集合模型获得了两个任务的最佳精度和F1分数。这项工作在两个任务中获得的第一名，最高的精度（任务1和任务2的0.658.780）和F1分数（对于任务1的任务1和F1-宏为0.780的F1二进制）。

在过去的十年中，我们看到了社交媒体平台推动的在线内容中的指数增长。该规模的数据生成具有难以克服的攻击内容的警告。通过多种方式（图像，语言等），代码混合语言等，通过使用识别冒犯内容的复杂性加剧了。此外，即使我们仔细采样和注释令人反感的内容，也将始终存在攻击性VS非冒犯内容的显着类别不平衡。在本文中，我们介绍了一种基于新的Code-Mixing指数（CMI）的焦点损失，其避免了两个挑战（1）代码混合语言（2）类别不平衡问题，用于Dravidian语言冒犯检测。我们还通过基于余弦的分类器更换传统的小点产品类分类器，这导致性能提升。此外，我们使用多语言模型，帮助传输特征在跨语言中学到的，以有效地使用低资源语言。同样重要的是要注意我们的模型处理混合脚本的实例（例如，说拉丁和Dravidian - 泰米尔脚本脚本的使用）也是如此。我们的模型可以在低资源，类别不平衡，多语言和代码混合设置中处理令人反感的语言检测。

The widespread of offensive content online, such as hate speech and cyber-bullying, is a global phenomenon. This has sparked interest in the artificial intelligence (AI) and natural language processing (NLP) communities, motivating the development of various systems trained to detect potentially harmful content automatically. These systems require annotated datasets to train the machine learning (ML) models. However, with a few notable exceptions, most datasets on this topic have dealt with English and a few other high-resource languages. As a result, the research in offensive language identification has been limited to these languages. This paper addresses this gap by tackling offensive language identification in Sinhala, a low-resource Indo-Aryan language spoken by over 17 million people in Sri Lanka. We introduce the Sinhala Offensive Language Dataset (SOLD) and present multiple experiments on this dataset. SOLD is a manually annotated dataset containing 10,000 posts from Twitter annotated as offensive and not offensive at both sentence-level and token-level, improving the explainability of the ML models. SOLD is the first large publicly available offensive language dataset compiled for Sinhala. We also introduce SemiSOLD, a larger dataset containing more than 145,000 Sinhala tweets, annotated following a semi-supervised approach.

文本分类是许多自然语言处理任务的组成部分，例如讽刺检测，情感分析和更多此类应用。许多电子商务网站，社交媒体/娱乐平台都使用此类模型来增强用户体验以产生流量，从而在其平台上获得收入。在本文中，我们将在Sharechat提供的印度视频共享社交网络服务MOJ上介绍了多语言滥用评论标识问题。该问题涉及在MOJ平台上的视频上使用13种区域性指示语言（例如印地语，泰卢固语，卡纳达语等）中检测滥用评论的问题。我们的解决方案利用了新颖的Muboost，这是印度语言模型（Muril）模型的Catboost分类器模型和多语言表示的合奏，以在指示文本分类任务上产生SOTA性能。我们能够在测试数据上达到平均F1分数为89.286，这比基线Muril模型的改进，F1分数为87.48。

情绪分析是最基本的NLP任务，用于确定文本数据的极性。在多语言文本领域也有很多工作。仍然讨厌和令人反感的语音检测面临着挑战，这是由于数据的可用性不足，特别是印度和马拉地赛等印度语言。在这项工作中，我们考虑了印地语和马拉地养文本的仇恨和令人反感的语音检测。使用艺术的深度学习方法的状态制定了该问题作为文本分类任务。我们探讨了CNN，LSTM等不同的深度学习架构，以及多语言伯爵，烟草和单晶罗伯塔等伯特的变化。基于CNN和LSTM的基本模型将使用快文文本嵌入式增强。我们使用HASOC 2021 HINDI和MARATHI讨论语音数据集来比较这些算法。 Marathi DataSet由二进制标签和后印度数据集组成，包括二进制和更精细的粗糙标签。我们表明，基于变压器的模型表现了最佳甚至基本型号以及FastText Embeddings的基本模型具有竞争性能。此外，通过普通的超参数调谐，基本模型比细粒度的Hindi数据集上的基于BERT的模型更好。

在最近的过去，社交媒体平台帮助人们连接和沟通到更广泛的受众。但这也导致了网络欺凌的激烈增加。要检测和遏制仇恨言论，以保持社交媒体平台的理智。此外，在这些平台上经常使用包含多种语言的代码混合文本。因此，我们提出了从刮擦Twitter的代码混合文本中的仇恨语音检测自动化技术。我们专注于代码混合英语 - 印地文文本和基于变压器的方法。虽然常规方法独立分析了文本，但我们还以父推文的形式使用内容文本。我们尝试在单编码器和双编码器设置中评估多语言BERT和ANDIP-BERT的性能。第一种方法是使用分隔符令牌连接目标文本和上下文文本，并从BERT模型获取单个表示。第二种方法独立地使用双BERT编码器独立地编码两个文本，并且对应的表示平均。我们表明使用独立表示的双编码器方法产生更好的性能。我们还采用了简单的集合方法来进一步提高性能。使用这些方法，我们在HASOC 2021CCL代码混合数据集上报告了最佳F1分数为73.07％。