文本分类器以一小中的全解决方案的形式进行规模应用。然而，许多研究表明，分类器对不同的语言和方言有偏见。在测量和发现这些偏见时，会出现一些差距，应解决。首先，``语言，方言和局部内容在地理区域之间是否有所不同吗？''，其次``如果各个区域之间存在差异，它们会影响模型性能吗？''。我们介绍了一个名为Geoolid的新型数据集，其中有15个地理和人口统计学上的城市中有14,000多个示例来解决这些问题。我们对与地理有关的内容进行全面分析及其对进攻语言检测模型的性能差异的影响。总体而言，我们发现当前的模型不会在各个位置概括。同样，我们表明，尽管进攻性语言模型对非裔美国人英语产生误报，但模型表现与每个城市的少数族裔人口比例无关。警告：本文包含令人反感的语言。

Objective. Chemical named entity recognition (NER) models have the potential to impact a wide range of downstream tasks, from identifying adverse drug reactions to general pharmacoepidemiology. However, it is unknown whether these models work the same for everyone. Performance disparities can potentially cause harm rather than the intended good. Hence, in this paper, we measure gender-related performance disparities of chemical NER systems. Materials and Methods. We develop a framework to measure gender bias in chemical NER models using synthetic data and a newly annotated dataset of over 92,405 words with self-identified gender information from Reddit. We applied and evaluated state-of-the-art biomedical NER models. Results. Our findings indicate that chemical NER models are biased. The results of the bias tests on the synthetic dataset and the real-world data multiple fairness issues. For example, for synthetic data, we find that female-related names are generally classified as chemicals, particularly in datasets containing many brand names rather than standard ones. For both datasets, we find consistent fairness issues resulting in substantial performance disparities between female- and male-related data. Discussion. Our study highlights the issue of biases in chemical NER models. For example, we find that many systems cannot detect contraceptives (e.g., birth control). Conclusion. Chemical NER models are biased and can be harmful to female-related groups. Therefore, practitioners should carefully consider the potential biases of these models and take steps to mitigate them.

We investigate how annotators' insensitivity to differences in dialect can lead to racial bias in automatic hate speech detection models, potentially amplifying harm against minority populations. We first uncover unexpected correlations between surface markers of African American English (AAE) and ratings of toxicity in several widely-used hate speech datasets. Then, we show that models trained on these corpora acquire and propagate these biases, such that AAE tweets and tweets by self-identified African Americans are up to two times more likely to be labelled as offensive compared to others. Finally, we propose dialect and race priming as ways to reduce the racial bias in annotation, showing that when annotators are made explicitly aware of an AAE tweet's dialect they are significantly less likely to label the tweet as offensive.

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

The shift of public debate to the digital sphere has been accompanied by a rise in online hate speech. While many promising approaches for hate speech classification have been proposed, studies often focus only on a single language, usually English, and do not address three key concerns: post-deployment performance, classifier maintenance and infrastructural limitations. In this paper, we introduce a new human-in-the-loop BERT-based hate speech classification pipeline and trace its development from initial data collection and annotation all the way to post-deployment. Our classifier, trained using data from our original corpus of over 422k examples, is specifically developed for the inherently multilingual setting of Switzerland and outperforms with its F1 score of 80.5 the currently best-performing BERT-based multilingual classifier by 5.8 F1 points in German and 3.6 F1 points in French. Our systematic evaluations over a 12-month period further highlight the vital importance of continuous, human-in-the-loop classifier maintenance to ensure robust hate speech classification post-deployment.

自2020年初以来，Covid-19-19造成了全球重大影响。这给社会带来了很多困惑，尤其是由于错误信息通过社交媒体传播。尽管已经有几项与在社交媒体数据中发现错误信息有关的研究，但大多数研究都集中在英语数据集上。印度尼西亚的COVID-19错误信息检测的研究仍然很少。因此，通过这项研究，我们收集和注释印尼语的数据集，并通过考虑该推文的相关性来构建用于检测COVID-19错误信息的预测模型。数据集构造是由一组注释者进行的，他们标记了推文数据的相关性和错误信息。在这项研究中，我们使用印度培训预培训的语言模型提出了两阶段分类器模型，以进行推文错误信息检测任务。我们还尝试了其他几种基线模型进行文本分类。实验结果表明，对于相关性预测，BERT序列分类器的组合和用于错误信息检测的BI-LSTM的组合优于其他机器学习模型，精度为87.02％。总体而言，BERT利用率有助于大多数预测模型的更高性能。我们发布了高质量的Covid-19错误信息推文语料库，用高通道一致性表示。

对仇恨言论和冒犯性语言（HOF）的认可通常是作为一项分类任务，以决定文本是否包含HOF。我们研究HOF检测是否可以通过考虑HOF和类似概念之间的关系来获利：（a）HOF与情感分析有关，因为仇恨言论通常是负面陈述并表达了负面意见； （b）这与情绪分析有关，因为表达的仇恨指向作者经历（或假装体验）愤怒的同时经历（或旨在体验）恐惧。 （c）最后，HOF的一个构成要素是提及目标人或群体。在此基础上，我们假设HOF检测在与这些概念共同建模时，在多任务学习设置中进行了改进。我们将实验基于这些概念的现有数据集（情感，情感，HOF的目标），并在Hasoc Fire 2021英语子任务1A中评估我们的模型作为参与者（作为IMS-Sinai团队）。基于模型选择实验，我们考虑了多个可用的资源和共享任务的提交，我们发现人群情绪语料库，Semeval 2016年情感语料库和犯罪2019年目标检测数据的组合导致F1 =。 79在基于BERT的多任务多任务学习模型中，与Plain Bert的.7895相比。在HASOC 2019测试数据上，该结果更为巨大，而F1中的增加2pp和召回大幅增加。在两个数据集（2019，2021）中，HOF类的召回量尤其增加（2019年数据的6pp和2021数据的3pp），表明MTL具有情感，情感和目标识别是适合的方法可能部署在社交媒体平台中的预警系统。

仇恨言论等攻击性内容的广泛构成了越来越多的社会问题。 AI工具是支持在线平台的审核过程所必需的。为了评估这些识别工具，需要与不同语言的数据集进行连续实验。 HASOC轨道（仇恨语音和冒犯性内容识别）专用于为此目的开发基准数据。本文介绍了英语，印地语和马拉地赛的Hasoc Subtrack。数据集由Twitter组装。此子系统有两个子任务。任务A是为所有三种语言提供的二进制分类问题（仇恨而非冒犯）。任务B是三个课程（仇恨）仇恨言论，令人攻击和亵渎为英语和印地语提供的细粒度分类问题。总体而言，652名队伍提交了652次。任务A最佳分类算法的性能分别为Marathi，印地语和英语的0.91,0.78和0.83尺寸。此概述介绍了任务和数据开发以及详细结果。提交竞争的系统应用了各种技术。最好的表演算法主要是变压器架构的变种。

由于传统的社交媒体平台继续禁止演员传播仇恨言论或其他形式的滥用语言（称为令人作为令人作为的过程），因此这些演员迁移到不适中用户内容的替代平台。一个流行的平台与德国Hater社区相关，是迄今为止已经有限的研究工作的电报。本研究旨在开发一个广泛的框架，包括（i）用于德国电报消息的滥用语言分类模型和（ii）电报频道仇恨性的分类模型。对于第一部分，我们使用包含来自其他平台的帖子的现有滥用语言数据集来开发我们的分类模型。对于信道分类模型，我们开发了一种方法，该方法将从主题模型中收集的信道特定内容信息与社会图组合以预测频道的仇恨性。此外，我们补充了这两种仇恨语音检测方法，并在德国电报上的呼吸群落演变。我们还提出了对仇恨语音研究界进行可扩展网络分析的方法。作为本研究的额外输出，我们提供了包含1,149个注释电报消息的注释滥用语言数据集。

Hope is characterized as openness of spirit toward the future, a desire, expectation, and wish for something to happen or to be true that remarkably affects human's state of mind, emotions, behaviors, and decisions. Hope is usually associated with concepts of desired expectations and possibility/probability concerning the future. Despite its importance, hope has rarely been studied as a social media analysis task. This paper presents a hope speech dataset that classifies each tweet first into "Hope" and "Not Hope", then into three fine-grained hope categories: "Generalized Hope", "Realistic Hope", and "Unrealistic Hope" (along with "Not Hope"). English tweets in the first half of 2022 were collected to build this dataset. Furthermore, we describe our annotation process and guidelines in detail and discuss the challenges of classifying hope and the limitations of the existing hope speech detection corpora. In addition, we reported several baselines based on different learning approaches, such as traditional machine learning, deep learning, and transformers, to benchmark our dataset. We evaluated our baselines using weighted-averaged and macro-averaged F1-scores. Observations show that a strict process for annotator selection and detailed annotation guidelines enhanced the dataset's quality. This strict annotation process resulted in promising performance for simple machine learning classifiers with only bi-grams; however, binary and multiclass hope speech detection results reveal that contextual embedding models have higher performance in this dataset.

The widespread of offensive content online, such as hate speech and cyber-bullying, is a global phenomenon. This has sparked interest in the artificial intelligence (AI) and natural language processing (NLP) communities, motivating the development of various systems trained to detect potentially harmful content automatically. These systems require annotated datasets to train the machine learning (ML) models. However, with a few notable exceptions, most datasets on this topic have dealt with English and a few other high-resource languages. As a result, the research in offensive language identification has been limited to these languages. This paper addresses this gap by tackling offensive language identification in Sinhala, a low-resource Indo-Aryan language spoken by over 17 million people in Sri Lanka. We introduce the Sinhala Offensive Language Dataset (SOLD) and present multiple experiments on this dataset. SOLD is a manually annotated dataset containing 10,000 posts from Twitter annotated as offensive and not offensive at both sentence-level and token-level, improving the explainability of the ML models. SOLD is the first large publicly available offensive language dataset compiled for Sinhala. We also introduce SemiSOLD, a larger dataset containing more than 145,000 Sinhala tweets, annotated following a semi-supervised approach.

社交媒体平台上的滥用内容的增长增加对在线用户的负面影响。对女同性恋，同性恋者，跨性别或双性恋者的恐惧，不喜欢，不适或不疑虑被定义为同性恋/转铁症。同性恋/翻译语音是一种令人反感的语言，可以总结为针对LGBT +人的仇恨语音，近年来越来越受到兴趣。在线同性恋恐惧症/ Transphobobia是一个严重的社会问题，可以使网上平台与LGBT +人有毒和不受欢迎，同时还试图消除平等，多样性和包容性。我们为在线同性恋和转鸟以及专家标记的数据集提供了新的分类分类，这将允许自动识别出具有同种异体/传递内容的数据集。我们受过教育的注释器并以综合的注释规则向他们提供，因为这是一个敏感的问题，我们以前发现未受训练的众包注释者因文化和其他偏见而诊断倡导性的群体。数据集包含15,141个注释的多语言评论。本文介绍了构建数据集，数据的定性分析和注册间协议的过程。此外，我们为数据集创建基线模型。据我们所知，我们的数据集是第一个已创建的数据集。警告：本文含有明确的同性恋，转基因症，刻板印象的明确陈述，这可能对某些读者令人痛苦。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

社交媒体平台主持了有关每天出现的各种主题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理此问题的一种常见方法是依靠主题建模，但是使用此技术发现的主题很难解释，并且从语料库到语料库可能会有所不同。在本文中，我们提出了基于推文主题分类的新任务，并发布两个相关的数据集。鉴于涵盖社交媒体中最重要的讨论点的广泛主题，我们提供了最近时间段的培训和测试数据，可用于评估推文分类模型。此外，我们在任务上对当前的通用和领域特定语言模型进行定量评估和分析，这为任务的挑战和性质提供了更多见解。

通过摩尔维亚岛与罗马尼亚语方言识别的机器学习模型的看似高精度水平和对这一主题的越来越多的研究兴趣，我们提供了摩尔维亚的跟进与罗马尼亚语交叉方言主题识别（MRC）的Vartial共享任务2019年评估运动。共享任务包括两个子任务类型：一个组成，其中包括摩尔维亚和罗马尼亚语方言的区分，其中一个由罗马尼亚语两条方言进行主题分类文件。参与者实现了令人印象深刻的分数，例如，摩尔维亚州的顶级型号与罗马尼亚语方言识别获得了0.895的宏F1得分。我们对人类注释者进行了主观评估，显示人类与机器学习（ML）模型相比，人类可以获得更低的精度率。因此，还不清楚为什么参与者提出的方法达到这种高精度率的方法。我们的目标是理解（i）为什么所提出的方法如此良好地工作（通过可视化鉴别特征）和（ii）这些方法可以在多大程度上保持其高精度水平，例如，这些方法可以保持高精度水平。当我们将文本样本缩短到单个句子时或我们在推理时间使用推文时。我们工作的二级目标是使用集合学习提出改进的ML模型。我们的实验表明，ML模型可以准确地识别方言，即使在句子水平和不同的域中（新闻文章与推文）。我们还分析了最佳性能模型的最辨别特征，在这些模型所采取的决策背后提供了一些解释。有趣的是，我们学习我们以前未知的新的辩证模式或我们的人为注册者。此外，我们进行实验，表明可以通过基于堆叠的集合来改善MRC共享任务的机器学习性能。

贬值表达的使用可以是良性或积极赋予能力的。当滥用检测模型将这些表达式错误分类为贬义时，它们无意中审查了边缘化群体进行的生产性对话。参与非主导观点的一种方法是添加围绕对话的上下文。先前的研究利用了用户和线程级别的功能，但它经常忽略了发生生产性对话的空间。我们的论文强调了社区环境如何改善滥用语言检测的分类结果。我们为此做出了两个主要贡献。首先，我们证明，在线社区以他们对虐待受害者的支持的性质聚集。其次，我们确定社区环境如何提高准确性并降低最先进的滥用语言分类器的假阳性率。这些发现暗示了在滥用语言研究中的上下文感知模型的有希望的方向。

In this paper, we present a study of regret and its expression on social media platforms. Specifically, we present a novel dataset of Reddit texts that have been classified into three classes: Regret by Action, Regret by Inaction, and No Regret. We then use this dataset to investigate the language used to express regret on Reddit and to identify the domains of text that are most commonly associated with regret. Our findings show that Reddit users are most likely to express regret for past actions, particularly in the domain of relationships. We also found that deep learning models using GloVe embedding outperformed other models in all experiments, indicating the effectiveness of GloVe for representing the meaning and context of words in the domain of regret. Overall, our study provides valuable insights into the nature and prevalence of regret on social media, as well as the potential of deep learning and word embeddings for analyzing and understanding emotional language in online text. These findings have implications for the development of natural language processing algorithms and the design of social media platforms that support emotional expression and communication.

仇恨言论是一种在线骚扰的形式，涉及使用滥用语言，并且在社交媒体帖子中通常可以看到。这种骚扰主要集中在诸如宗教，性别，种族等的特定群体特征上，如今它既有社会和经济后果。文本文章中对滥用语言的自动检测一直是一项艰巨的任务，但最近它从科学界获得了很多兴趣。本文解决了在社交媒体中辨别仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络体系结构的现有方法的扩展，我们在短文中适当地增强和微调以检测某些形式的仇恨语言，例如种族主义或性别歧视。最重要的增强是转换为由复发性神经网络（RNN）分类器组成的两阶段方案。将第一阶段的所有一Vs式分类器（OVR）分类器的输出组合在一起，并用于训练第二阶段分类器，最终决定了骚扰的类型。我们的研究包括对在16K推文的公共语料库中评估的第二阶段提出的几种替代方法的性能比较，然后对另一个数据集进行了概括研究。报道的结果表明，与当前的最新技术相比，在仇恨言论检测任务中，所提出的方案的分类质量出色。

我们使用不同的语言支持特征预处理方法研究特征密度（FD）的有效性，以估计数据集复杂性，这又用于比较估计任何训练之前机器学习（ML）分类器的潜在性能。我们假设估计数据集复杂性允许减少所需实验迭代的数量。这样我们可以优化ML模型的资源密集型培训，这是由于可用数据集大小的增加以及基于深神经网络（DNN）的模型的不断增加的普及而成为一个严重问题。由于训练大规模ML模型引起的令人惊叹的二氧化碳排放量，不断增加对更强大的计算资源需求的问题也在影响环境。该研究是在多个数据集中进行的，包括流行的数据集，例如用于培训典型情感分析模型的Yelp业务审查数据集，以及最近的数据集尝试解决网络欺凌问题，这是一个严重的社会问题，也是一个严重的社会问题一个更复杂的问题，形成了语言代表的观点。我们使用收集多种语言的网络欺凌数据集，即英语，日语和波兰语。数据集的语言复杂性的差异允许我们另外讨论语言备份的单词预处理的功效。

*内容警告：此工作显示明确和强烈令人反感的语言的示例。 Covid-19大流行引起了抗亚洲仇外心理和偏见的激增。许多人已经向社交媒体表达了这些负面情绪，需要开发可靠的系统来检测仇恨言论，往往是代表性的人口统计。在本文中，我们使用2种实验方法创建和注释推特推文的语料库，以探讨较好的粒度的反亚洲滥用和仇恨言论。使用具有较少偏置注释的数据集，我们部署多种模型，并检查其他相关的语料库的适用性来完成这些多任务分类。除了展示有希望的结果外，我们的实验还提供了对文化和后勤因素的差别，以了解不同人口统计学的讨厌讲话。我们的分析旨在促进对仇恨语音检测领域的理解，特别是对低资源群体。