This paper presents work on detecting misogyny in the comments of a large Austrian German language newspaper forum. We describe the creation of a corpus of 6600 comments which were annotated with 5 levels of misogyny. The forum moderators were involved as experts in the creation of the annotation guidelines and the annotation of the comments. We also describe the results of training transformer-based classification models for both binarized and original label classification of that corpus.

Hope is characterized as openness of spirit toward the future, a desire, expectation, and wish for something to happen or to be true that remarkably affects human's state of mind, emotions, behaviors, and decisions. Hope is usually associated with concepts of desired expectations and possibility/probability concerning the future. Despite its importance, hope has rarely been studied as a social media analysis task. This paper presents a hope speech dataset that classifies each tweet first into "Hope" and "Not Hope", then into three fine-grained hope categories: "Generalized Hope", "Realistic Hope", and "Unrealistic Hope" (along with "Not Hope"). English tweets in the first half of 2022 were collected to build this dataset. Furthermore, we describe our annotation process and guidelines in detail and discuss the challenges of classifying hope and the limitations of the existing hope speech detection corpora. In addition, we reported several baselines based on different learning approaches, such as traditional machine learning, deep learning, and transformers, to benchmark our dataset. We evaluated our baselines using weighted-averaged and macro-averaged F1-scores. Observations show that a strict process for annotator selection and detailed annotation guidelines enhanced the dataset's quality. This strict annotation process resulted in promising performance for simple machine learning classifiers with only bi-grams; however, binary and multiclass hope speech detection results reveal that contextual embedding models have higher performance in this dataset.

The shift of public debate to the digital sphere has been accompanied by a rise in online hate speech. While many promising approaches for hate speech classification have been proposed, studies often focus only on a single language, usually English, and do not address three key concerns: post-deployment performance, classifier maintenance and infrastructural limitations. In this paper, we introduce a new human-in-the-loop BERT-based hate speech classification pipeline and trace its development from initial data collection and annotation all the way to post-deployment. Our classifier, trained using data from our original corpus of over 422k examples, is specifically developed for the inherently multilingual setting of Switzerland and outperforms with its F1 score of 80.5 the currently best-performing BERT-based multilingual classifier by 5.8 F1 points in German and 3.6 F1 points in French. Our systematic evaluations over a 12-month period further highlight the vital importance of continuous, human-in-the-loop classifier maintenance to ensure robust hate speech classification post-deployment.

由于传统的社交媒体平台继续禁止演员传播仇恨言论或其他形式的滥用语言（称为令人作为令人作为的过程），因此这些演员迁移到不适中用户内容的替代平台。一个流行的平台与德国Hater社区相关，是迄今为止已经有限的研究工作的电报。本研究旨在开发一个广泛的框架，包括（i）用于德国电报消息的滥用语言分类模型和（ii）电报频道仇恨性的分类模型。对于第一部分，我们使用包含来自其他平台的帖子的现有滥用语言数据集来开发我们的分类模型。对于信道分类模型，我们开发了一种方法，该方法将从主题模型中收集的信道特定内容信息与社会图组合以预测频道的仇恨性。此外，我们补充了这两种仇恨语音检测方法，并在德国电报上的呼吸群落演变。我们还提出了对仇恨语音研究界进行可扩展网络分析的方法。作为本研究的额外输出，我们提供了包含1,149个注释电报消息的注释滥用语言数据集。

社交媒体平台上的滥用内容的增长增加对在线用户的负面影响。对女同性恋，同性恋者，跨性别或双性恋者的恐惧，不喜欢，不适或不疑虑被定义为同性恋/转铁症。同性恋/翻译语音是一种令人反感的语言，可以总结为针对LGBT +人的仇恨语音，近年来越来越受到兴趣。在线同性恋恐惧症/ Transphobobia是一个严重的社会问题，可以使网上平台与LGBT +人有毒和不受欢迎，同时还试图消除平等，多样性和包容性。我们为在线同性恋和转鸟以及专家标记的数据集提供了新的分类分类，这将允许自动识别出具有同种异体/传递内容的数据集。我们受过教育的注释器并以综合的注释规则向他们提供，因为这是一个敏感的问题，我们以前发现未受训练的众包注释者因文化和其他偏见而诊断倡导性的群体。数据集包含15,141个注释的多语言评论。本文介绍了构建数据集，数据的定性分析和注册间协议的过程。此外，我们为数据集创建基线模型。据我们所知，我们的数据集是第一个已创建的数据集。警告：本文含有明确的同性恋，转基因症，刻板印象的明确陈述，这可能对某些读者令人痛苦。

仇恨言论等攻击性内容的广泛构成了越来越多的社会问题。 AI工具是支持在线平台的审核过程所必需的。为了评估这些识别工具，需要与不同语言的数据集进行连续实验。 HASOC轨道（仇恨语音和冒犯性内容识别）专用于为此目的开发基准数据。本文介绍了英语，印地语和马拉地赛的Hasoc Subtrack。数据集由Twitter组装。此子系统有两个子任务。任务A是为所有三种语言提供的二进制分类问题（仇恨而非冒犯）。任务B是三个课程（仇恨）仇恨言论，令人攻击和亵渎为英语和印地语提供的细粒度分类问题。总体而言，652名队伍提交了652次。任务A最佳分类算法的性能分别为Marathi，印地语和英语的0.91,0.78和0.83尺寸。此概述介绍了任务和数据开发以及详细结果。提交竞争的系统应用了各种技术。最好的表演算法主要是变压器架构的变种。

Due to the severity of the social media offensive and hateful comments in Brazil, and the lack of research in Portuguese, this paper provides the first large-scale expert annotated corpus of Brazilian Instagram comments for hate speech and offensive language detection. The HateBR corpus was collected from the comment section of Brazilian politicians' accounts on Instagram and manually annotated by specialists, reaching a high inter-annotator agreement. The corpus consists of 7,000 documents annotated according to three different layers: a binary classification (offensive versus non-offensive comments), offensiveness-level classification (highly, moderately, and slightly offensive), and nine hate speech groups (xenophobia, racism, homophobia, sexism, religious intolerance, partyism, apology for the dictatorship, antisemitism, and fatphobia). We also implemented baseline experiments for offensive language and hate speech detection and compared them with a literature baseline. Results show that the baseline experiments on our corpus outperform the current state-of-the-art for the Portuguese language.

我们介绍了仇恨言论推文的Hateval语料库（Basile等，2019年）的丰富，旨在促进自动化的反叙事一代。与以前的工作相比（Chung etal。2019），手动书面反叙事与推文有关。但是，仅此信息似乎不足以获得反叙事生成的令人满意的语言模型。这就是为什么我们还根据Wagemanns（2016）提供了带有争论性信息的注释推文，我们认为可以帮助建立令人信服和有效的反叙事，以针对特定群体进行仇恨言论。我们讨论了这种注释过程的充分和困难，并提出了几个基线以自动检测带注释的元素。初步结果表明，自动注释者会靠近人类注释者来检测论证的某些方面，而其他人仅达到低或中等水平的通知者一致性。

社交媒体平台主持了有关每天出现的各种主题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理此问题的一种常见方法是依靠主题建模，但是使用此技术发现的主题很难解释，并且从语料库到语料库可能会有所不同。在本文中，我们提出了基于推文主题分类的新任务，并发布两个相关的数据集。鉴于涵盖社交媒体中最重要的讨论点的广泛主题，我们提供了最近时间段的培训和测试数据，可用于评估推文分类模型。此外，我们在任务上对当前的通用和领域特定语言模型进行定量评估和分析，这为任务的挑战和性质提供了更多见解。

作为在线话语的一部分，科学主题，主张和资源越来越多地辩论，其中的重要例子包括与19岁或气候变化有关的话语。这既导致了重大的社会影响，又增加了对来自各个学科的科学在线话语的兴趣。例如，沟通研究旨在更深入地了解科学信息的偏见，质量或传播模式，而计算方法已提出使用NLP和IR技术提取，分类或验证科学主张。但是，目前跨学科的研究既缺乏对科学相关性的各种形式的强大定义，也缺乏适当的基础真理数据来区分它们。在这项工作中，我们为（a）贡献了一个注释框架和针对推文中在线话语不同形式的科学相关性的相应定义，（b）通过我们的标签框架获得的1261个推文的专家注释的数据集，达到了平均的fleiss kappa $ \ \ \\ Kappa $为0.63，（c）对我们的数据进行培训的多标签分类器，能够以89％的F1检测与科学相关性，并且还能够检测出不同形式的科学知识（主张，参考文献）。通过这项工作，我们旨在为开发和评估可靠的方法以分析科学作为大规模在线话语的一部分而奠定基础。

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

Social media platforms allow users to freely share their opinions about issues or anything they feel like. However, they also make it easier to spread hate and abusive content. The Fulani ethnic group has been the victim of this unfortunate phenomenon. This paper introduces the HERDPhobia - the first annotated hate speech dataset on Fulani herders in Nigeria - in three languages: English, Nigerian-Pidgin, and Hausa. We present a benchmark experiment using pre-trained languages models to classify the tweets as either hateful or non-hateful. Our experiment shows that the XML-T model provides better performance with 99.83% weighted F1. We released the dataset at https://github.com/hausanlp/HERDPhobia for further research.

Recent directions for offensive language detection are hierarchical modeling, identifying the type and the target of offensive language, and interpretability with offensive span annotation and prediction. These improvements are focused on English and do not transfer well to other languages because of cultural and linguistic differences. In this paper, we present the Korean Offensive Language Dataset (KOLD) comprising 40,429 comments, which are annotated hierarchically with the type and the target of offensive language, accompanied by annotations of the corresponding text spans. We collect the comments from NAVER news and YouTube platform and provide the titles of the articles and videos as the context information for the annotation process. We use these annotated comments as training data for Korean BERT and RoBERTa models and find that they are effective at offensiveness detection, target classification, and target span detection while having room for improvement for target group classification and offensive span detection. We discover that the target group distribution differs drastically from the existing English datasets, and observe that providing the context information improves the model performance in offensiveness detection (+0.3), target classification (+1.5), and target group classification (+13.1). We publicly release the dataset and baseline models.

本文介绍了一个新的培训数据集，用于自动类型识别Ginco，基于1,125个爬行的斯洛文尼亚文档，由650万字组成。每个文档都是手动注释的，用于具有在现有模式上构建的新注释模式，主要是标签和注册间协议的主要明确。数据集包括与基于Web的数据相关的各种挑战，例如机器翻译内容，编码错误，在一个文件中呈现的多个内容等，使得能够评估现实条件中的分类器。 DataSet上的初始机器学习实验表明（1）预变压器模型的巨大程度较低，能够模拟现象，宏观F1度量范围约为0.22，而基于变压器的模型达到约0.58的分数，而且（2）多语言变压器模型以及任务的工作以及先前被证明是优于标准NLP任务的多语言模型的单格式模型。

对仇恨言论和冒犯性语言（HOF）的认可通常是作为一项分类任务，以决定文本是否包含HOF。我们研究HOF检测是否可以通过考虑HOF和类似概念之间的关系来获利：（a）HOF与情感分析有关，因为仇恨言论通常是负面陈述并表达了负面意见； （b）这与情绪分析有关，因为表达的仇恨指向作者经历（或假装体验）愤怒的同时经历（或旨在体验）恐惧。 （c）最后，HOF的一个构成要素是提及目标人或群体。在此基础上，我们假设HOF检测在与这些概念共同建模时，在多任务学习设置中进行了改进。我们将实验基于这些概念的现有数据集（情感，情感，HOF的目标），并在Hasoc Fire 2021英语子任务1A中评估我们的模型作为参与者（作为IMS-Sinai团队）。基于模型选择实验，我们考虑了多个可用的资源和共享任务的提交，我们发现人群情绪语料库，Semeval 2016年情感语料库和犯罪2019年目标检测数据的组合导致F1 =。 79在基于BERT的多任务多任务学习模型中，与Plain Bert的.7895相比。在HASOC 2019测试数据上，该结果更为巨大，而F1中的增加2pp和召回大幅增加。在两个数据集（2019，2021）中，HOF类的召回量尤其增加（2019年数据的6pp和2021数据的3pp），表明MTL具有情感，情感和目标识别是适合的方法可能部署在社交媒体平台中的预警系统。

自动识别仇恨和虐待内容对于打击有害在线内容及其破坏性影响的传播至关重要。大多数现有作品通过检查仇恨语音数据集中的火车测试拆分上的概括错误来评估模型。这些数据集通常在其定义和标记标准上有所不同，从而在预测新的域和数据集时会导致模型性能差。在这项工作中，我们提出了一种新的多任务学习（MTL）管道，该管道利用MTL在多个仇恨语音数据集中同时训练，以构建一个更包含的分类模型。我们通过采用保留的方案来模拟对新的未见数据集的评估，在该方案中，我们从培训中省略了目标数据集并在其他数据集中共同培训。我们的结果始终优于现有工作的大量样本。当在预测以前看不见的数据集时，在检查火车测试拆分中的概括误差和实质性改进时，我们会表现出强烈的结果。此外，我们组装了一个新颖的数据集，称为Pubfigs，重点是美国公共政治人物的问题。我们在PubFigs的305,235美元推文中自动发现有问题的语音，并发现了对公众人物的发布行为的见解。

已经开发了许多方法，以通过消除社交媒体平台的庸俗，令人反感和激烈的评论来监测现代岁月中的消极性传播。然而，存在相对较少的研究，这些研究会收敛于拥抱积极性，加强在线论坛中的支持性和放心内容。因此，我们建议创建英国kannada希望语音数据集，Kanhope并比较几个实验来基准数据集。 DataSet由6,176个用户生成的评论组成，代码混合kannada从YouTube刮擦并手动注释为轴承希望语音或不希望的演讲。此外，我们介绍了DC-BERT4HOPE，一种使用Kanhope的英语翻译进行额外培训的双通道模型，以促进希望语音检测。该方法实现了0.756的加权F1分数，更好的其他模型。从此，卡霍普旨在促进坎卡达的研究，同时促进研究人员，以鼓励，积极和支持的在线内容中务实的方法。

在线仇恨言语检测已随着数字设备的增长而变得重要，但是英语以外的其他语言资源非常有限。我们介绍了K-MHAS，这是一种新的多标签数据集，用于仇恨言语检测，可有效处理韩国语言模式。该数据集由新闻评论中的109k话语组成，并提供了从1到4个标签的多标签分类，并处理主观性和相交性。我们评估了K-MHAS上强的基线。Kr-Bert带有子字符的代币器优于表现，在每个仇恨言论类中都认识到分解的角色。

The widespread of offensive content online, such as hate speech and cyber-bullying, is a global phenomenon. This has sparked interest in the artificial intelligence (AI) and natural language processing (NLP) communities, motivating the development of various systems trained to detect potentially harmful content automatically. These systems require annotated datasets to train the machine learning (ML) models. However, with a few notable exceptions, most datasets on this topic have dealt with English and a few other high-resource languages. As a result, the research in offensive language identification has been limited to these languages. This paper addresses this gap by tackling offensive language identification in Sinhala, a low-resource Indo-Aryan language spoken by over 17 million people in Sri Lanka. We introduce the Sinhala Offensive Language Dataset (SOLD) and present multiple experiments on this dataset. SOLD is a manually annotated dataset containing 10,000 posts from Twitter annotated as offensive and not offensive at both sentence-level and token-level, improving the explainability of the ML models. SOLD is the first large publicly available offensive language dataset compiled for Sinhala. We also introduce SemiSOLD, a larger dataset containing more than 145,000 Sinhala tweets, annotated following a semi-supervised approach.

在线仇恨言论的扩散需要创建可以检测毒性的算法。过去的大多数研究都集中在这一发现作为分类任务上，但是分配绝对毒性标签通常很棘手。因此，过去很少有作品将相同的任务转变为回归。本文显示了拼图的最近发布的毒性严重性测量数据集上对不同变压器和传统机器学习模型的比较评估。我们进一步使用解释性分析来证明模型预测的问题。