感知毒性取决于会话上下文的用户帖子在目前的毒性检测数据集中是罕见的。因此,在现有数据集上培训的毒性探测器也将倾向于忽略上下文,在发生这种情况时使上下文敏感毒性更加困难。我们构建和公开发布10,000个帖子的数据集,其中有两种毒性标签:(i)注释者认为每个帖子作为上下文; (ii)注释者没有其他背景。基于此,我们介绍了一个新的任务,上下文敏感性估计,旨在识别如果也考虑上下文(前一篇文章),则识别感知毒性变化的帖子。然后,我们在此任务上评估机器学习系统,显示可以开发实际质量的分类器,我们表明,具有知识蒸馏的数据增强可以进一步提高性能。这些系统可用于增强具有更多上下文依赖的帖子的毒性检测数据集,或者建议当主持人应考虑父柱时,这通常可能是不必要的,否则可能会引入显着的额外成本。
translated by 谷歌翻译
构建用于仇恨语音检测的基准数据集具有各种挑战。首先,因为仇恨的言论相对少见,随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题,先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而,将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意,而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索(IR)中的相关性。此连接表明,可以有效地应用创建IR测试集合的良好方法,以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文,我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值,我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集,其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时,我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明,而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。
translated by 谷歌翻译
了解用户对话中的毒性无疑是一个重要问题。正如在以前的工作中所说的那样,解决“隐秘”或隐含毒性案件特别困难,需要上下文。以前很少有研究已经分析了会话语境在人类感知或自动检测模型中的影响。我们深入探讨这两个方向。我们首先分析现有的上下文数据集,并得出结论,人类的毒性标记一般受到对话结构,极性和主题的影响。然后,我们建议通过引入(a)神经架构来将这些发现带入计算检测模型中,以了解会话结构的语境毒性检测,以及(b)可以帮助模拟语境毒性检测的数据增强策略。我们的结果表明了了解谈话结构的神经架构的令人鼓舞的潜力。我们还表明,这些模型可以从合成数据中受益,尤其是在社交媒体领域。
translated by 谷歌翻译
The widespread of offensive content online, such as hate speech and cyber-bullying, is a global phenomenon. This has sparked interest in the artificial intelligence (AI) and natural language processing (NLP) communities, motivating the development of various systems trained to detect potentially harmful content automatically. These systems require annotated datasets to train the machine learning (ML) models. However, with a few notable exceptions, most datasets on this topic have dealt with English and a few other high-resource languages. As a result, the research in offensive language identification has been limited to these languages. This paper addresses this gap by tackling offensive language identification in Sinhala, a low-resource Indo-Aryan language spoken by over 17 million people in Sri Lanka. We introduce the Sinhala Offensive Language Dataset (SOLD) and present multiple experiments on this dataset. SOLD is a manually annotated dataset containing 10,000 posts from Twitter annotated as offensive and not offensive at both sentence-level and token-level, improving the explainability of the ML models. SOLD is the first large publicly available offensive language dataset compiled for Sinhala. We also introduce SemiSOLD, a larger dataset containing more than 145,000 Sinhala tweets, annotated following a semi-supervised approach.
translated by 谷歌翻译
道德框架和情感会影响各种在线和离线行为,包括捐赠,亲环境行动,政治参与,甚至参与暴力抗议活动。自然语言处理中的各种计算方法(NLP)已被用来从文本数据中检测道德情绪,但是为了在此类主观任务中取得更好的性能,需要大量的手工注销训练数据。事实证明,以前对道德情绪注释的语料库已被证明是有价值的,并且在NLP和整个社会科学中都产生了新的见解,但仅限于Twitter。为了促进我们对道德修辞的作用的理解,我们介绍了道德基础Reddit语料库,收集了16,123个reddit评论,这些评论已从12个不同的子雷迪维特策划,由至少三个训练有素的注释者手工注释,用于8种道德情绪(即护理,相称性,平等,纯洁,权威,忠诚,瘦道,隐含/明确的道德)基于更新的道德基础理论(MFT)框架。我们使用一系列方法来为这种新的语料库(例如跨域分类和知识转移)提供基线道德句子分类结果。
translated by 谷歌翻译
仇恨言论与用户生成的内容一起困扰网络空间。本文调查了对话环境在在线仇恨和反语音的注释和检测中的作用,其中将上下文定义为对话线程中的前面评论。我们创建了一个上下文感知的数据集,用于在Reddit评论上进行三向分类任务:仇恨言语,反语音或中立。我们的分析表明,上下文对于识别仇恨和反语音至关重要:大多数评论的人类判断都会根据我们是否向注释者展示上下文而改变。语言分析吸引了人们用来表达仇恨和反语言的语言的见解。实验结果表明,如果考虑到上下文,神经网络将获得明显更好的结果。我们还提出了定性错误分析,将灯光放到(a)何时以及为什么有益的情况下以及(b)考虑到上下文时我们最佳模型造成的其余错误。
translated by 谷歌翻译
讽刺可以被定义为说或写讽刺与一个人真正想表达的相反,通常是为了侮辱,刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂,因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年,但最近已经取得了一些重大进步,包括在多模式环境中采用了无监督的预训练的预训练的变压器,并整合了环境以识别讽刺。在这项研究中,我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集,方法,趋势,问题,挑战和任务,这些数据集,趋势,问题,挑战和任务是无法检测到的。我们的研究提供了讽刺数据集,讽刺特征及其提取方法以及各种方法的性能分析,这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。
translated by 谷歌翻译
社交媒体平台上的滥用内容的增长增加对在线用户的负面影响。对女同性恋,同性恋者,跨性别或双性恋者的恐惧,不喜欢,不适或不疑虑被定义为同性恋/转铁症。同性恋/翻译语音是一种令人反感的语言,可以总结为针对LGBT +人的仇恨语音,近年来越来越受到兴趣。在线同性恋恐惧症/ Transphobobia是一个严重的社会问题,可以使网上平台与LGBT +人有毒和不受欢迎,同时还试图消除平等,多样性和包容性。我们为在线同性恋和转鸟以及专家标记的数据集提供了新的分类分类,这将允许自动识别出具有同种异体/传递内容的数据集。我们受过教育的注释器并以综合的注释规则向他们提供,因为这是一个敏感的问题,我们以前发现未受训练的众包注释者因文化和其他偏见而诊断倡导性的群体。数据集包含15,141个注释的多语言评论。本文介绍了构建数据集,数据的定性分析和注册间协议的过程。此外,我们为数据集创建基线模型。据我们所知,我们的数据集是第一个已创建的数据集。警告:本文含有明确的同性恋,转基因症,刻板印象的明确陈述,这可能对某些读者令人痛苦。
translated by 谷歌翻译
自杀是主要的公共卫生危机。每年有超过20,000,000多次自杀企图,对自杀意图的早期发现有可能挽救数十万生命。传统的心理健康筛查方法是耗时的,昂贵的,而且弱势群体通常无法获得;使用机器学习对自杀意图的在线检测提供了可行的替代方法。在这里,我们介绍了迄今为止最大的非关键字生成的自杀语料库Robin,包括超过110万个在线论坛发布。除了其前所未有的规模外,罗宾还专门构建了各种自杀文本,例如自杀丧亲和轻率的参考文献,更好地促进了对罗宾进行培训的模型,以学习表达自杀构思的文本细微差别。实验结果通过传统方法(例如逻辑回归(F1 = 0.85))以及大规模的预训练的语言模型(例如BERT)(F1 = 0.92),实现了自杀文本分类的最新性能。 。最后,我们公开发布Robin数据集作为机器学习资源,有可能推动下一代自杀情绪研究。
translated by 谷歌翻译
自2020年初以来,Covid-19-19造成了全球重大影响。这给社会带来了很多困惑,尤其是由于错误信息通过社交媒体传播。尽管已经有几项与在社交媒体数据中发现错误信息有关的研究,但大多数研究都集中在英语数据集上。印度尼西亚的COVID-19错误信息检测的研究仍然很少。因此,通过这项研究,我们收集和注释印尼语的数据集,并通过考虑该推文的相关性来构建用于检测COVID-19错误信息的预测模型。数据集构造是由一组注释者进行的,他们标记了推文数据的相关性和错误信息。在这项研究中,我们使用印度培训预培训的语言模型提出了两阶段分类器模型,以进行推文错误信息检测任务。我们还尝试了其他几种基线模型进行文本分类。实验结果表明,对于相关性预测,BERT序列分类器的组合和用于错误信息检测的BI-LSTM的组合优于其他机器学习模型,精度为87.02%。总体而言,BERT利用率有助于大多数预测模型的更高性能。我们发布了高质量的Covid-19错误信息推文语料库,用高通道一致性表示。
translated by 谷歌翻译
社交媒体在我们与朋友和家人的沟通以及信息和娱乐的消费中起着越来越多的作用。因此,为了在社交媒体上设计有效的排名功能,预测对帖子的情感响应将是有用的(例如,用户是否有可能幽默,启发,激怒,知情)。类似于情感识别的工作(侧重于发行者的影响),识别情感反应的传统方法将涉及培训数据的人类注释的昂贵投资。我们介绍了护理$ _ {db} $,这是一个使用常见情感响应表达式(CARE)方法根据7个情感响应注释的230k社交媒体帖子的数据集。护理方法是利用响应帖子发布的评论中存在的信号的手段,提供了有关读者对帖子而没有人类注释的情感反应的高精度证据。与人类注释不同,我们在这里描述的注释过程可以迭代以扩大方法的覆盖范围,尤其是对于新的情感反应。我们提出的实验表明,护理注释与人群的注释相比有利。最后,我们使用Care $ _ {db} $来训练基于竞争性BERT的模型来预测情感响应和情感检测,并证明了数据集用于相关任务的实用性。
translated by 谷歌翻译
在线巨魔增加了社会成本,并对个人造成心理损害。随着自动化帐户利用机器人进行拖钓的扩散,目标个人用户很难在定量和定性上处理这种情况。为了解决这个问题,我们专注于自动化对抗巨魔的方法,因为对战斗巨魔的反应鼓励社区用户在不损害言论自由的情况下保持持续的讨论。为此,我们为自动反响应生成提出了一个新颖的数据集。特别是,我们构建了一个配对数据集,其中包括巨魔评论和使用标记的响应策略的反响应,该策略使我们的数据集中的模型可以通过根据指定策略改变反响应来生成响应。我们执行了三个任务来评估数据集的有效性,并通过自动和人类评估评估结果。在人类评估中,我们证明了数据集中微调的模型显示出策略控制的句子生成的性能有了显着改善。
translated by 谷歌翻译
了解文本中表达的态度,也称为姿态检测,在旨在在线检测虚假信息的系统中起重要作用,无论是错误信息(无意的假)或虚假信息(故意错误地蔓延,恶意意图)。姿态检测已经以不同的方式在文献中框架,包括(a)作为事实检查,谣言检测和检测先前的事实检查的权利要求,或(b)作为其自己的任务的组件;在这里,我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测,但诸如论证挖掘和情绪分析之类的其他相关任务,但没有调查姿态检测和错误和缺陷检测之间的关系。在这里,我们的目标是弥合这个差距。特别是,我们在焦点中审查和分析了该领域的现有工作,焦点中的错误和不忠实,然后我们讨论了汲取的经验教训和未来的挑战。
translated by 谷歌翻译
本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片(Sota)。它填补了空白,因为现有的调查文章在其范围内或被约会。我们包括两个重要方面,目前正在挖掘和建模社交媒体的重要性:动态和网络。社会动态对于了解影响影响或疾病的传播,友谊的形成,友谊的形成等,另一方面,可以捕获各种复杂关系,提供额外的洞察力和识别否则将不会被注意的重要模式。
translated by 谷歌翻译
社交媒体的自杀意图检测是一种不断发展的研究,挑战了巨大的挑战。许多有自杀倾向的人通过社交媒体平台分享他们的思想和意见。作为许多研究的一部分,观察到社交媒体的公开职位包含有价值的标准,以有效地检测有自杀思想的个人。防止自杀的最困难的部分是检测和理解可能导致自杀的复杂风险因素和警告标志。这可以通过自动识别用户行为的突然变化来实现。自然语言处理技术可用于收集社交媒体交互的行为和文本特征,这些功能可以传递给特殊设计的框架,以检测人类交互中的异常,这是自杀意图指标。我们可以使用深度学习和/或基于机器学习的分类方法来实现快速检测自杀式思想。出于这种目的,我们可以采用LSTM和CNN模型的组合来检测来自用户的帖子的这种情绪。为了提高准确性,一些方法可以使用更多数据进行培训,使用注意模型提高现有模型等的效率。本文提出了一种LSTM-Incription-CNN组合模型,用于分析社交媒体提交,以检测任何潜在的自杀意图。在评估期间,所提出的模型的准确性为90.3%,F1分数为92.6%,其大于基线模型。
translated by 谷歌翻译
假新闻的迅速增加,这对社会造成重大损害,触发了许多假新闻相关研究,包括开发假新闻检测和事实验证技术。这些研究的资源主要是从Web数据中获取的公共数据集。我们通过三个观点调查了与假新闻研究相关的118个数据集:(1)假新闻检测,(2)事实验证,(3)其他任务;例如,假新闻和讽刺检测分析。我们还详细描述了他们的利用任务及其特征。最后,我们突出了假新闻数据集建设中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集来促进假新闻研究,而无需重新发明轮子,从而提高了深度的假新闻研究。
translated by 谷歌翻译
写作时,一个人可能需要从听众那里预测问题,但是不同的社会团体可能会提出非常不同的问题。如果有人要解决他们想解决的问题,那么域专家会问什么样的后续问题,作者可以通过重写其原始帖子来更好地满足专家的信息需求?在本文中,我们探讨了社会意识到的问题产生的任务。我们从社交媒体中收集了一系列问题和帖子,包括有关问答者社交群体的背景信息。我们发现,专家和新手等不同的社会群体始终提出不同类型的问题。我们训练几种结合社会信息的文本生成模型,我们发现当不同的社交群体彼此提出高度不同的问题时,离散的社会代表模型优于仅文本模型。我们的工作为开发文本生成模型提供了一个框架,可以帮助作家预测高度不同的社会群体的信息期望。
translated by 谷歌翻译
The shift of public debate to the digital sphere has been accompanied by a rise in online hate speech. While many promising approaches for hate speech classification have been proposed, studies often focus only on a single language, usually English, and do not address three key concerns: post-deployment performance, classifier maintenance and infrastructural limitations. In this paper, we introduce a new human-in-the-loop BERT-based hate speech classification pipeline and trace its development from initial data collection and annotation all the way to post-deployment. Our classifier, trained using data from our original corpus of over 422k examples, is specifically developed for the inherently multilingual setting of Switzerland and outperforms with its F1 score of 80.5 the currently best-performing BERT-based multilingual classifier by 5.8 F1 points in German and 3.6 F1 points in French. Our systematic evaluations over a 12-month period further highlight the vital importance of continuous, human-in-the-loop classifier maintenance to ensure robust hate speech classification post-deployment.
translated by 谷歌翻译
研究界在发现心理健康问题及其与社交媒体分析的相关原因方面见证了大幅增长。我们介绍了一个新的数据集,用于在社交媒体帖子(CAM)中对心理健康问题的因果分析。我们对因果分析的贡献是两方面:因果解释和因果分类。我们为这项因果分析任务引入了注释模式。我们证明了模式在两个不同数据集上的功效:(i)爬行和注释3155个Reddit帖子和(ii)重新通知了1896年实例的公开可用的SDCNL数据集,以进行可解释的因果分析。我们进一步将它们组合到CAMS数据集中,并将此资源与关联的源代码公开可用:https://github.com/drmuskangarg/cams。我们提出了从CAMS数据集中学到的模型的实验结果,并证明了经典的逻辑回归模型以4.9 \%的精度优于下一个最佳(CNN-LSTM)模型。
translated by 谷歌翻译
今天,参加在线论坛上的讨论非常普遍,这些讨论已经开始对在线用户的整体意见产生强大的影响。 Naturally, twisting the flow of the argument can have a strong impact on the minds of naive users, which in the long run might have socio-political ramifications, for example, winning an election or spreading targeted misinformation.因此,这些平台可能非常容易受到恶意玩家的影响,他们可能会单独采取行动,也可能是繁殖谬误的争论,并动机促进公众舆论。 AD HOMINEM论点是此类谬论中最有效的形式之一。尽管是一个简单的谬论,但它足够有效,可以在离线世界中进行公开辩论,并且可以用作阻止诽谤反对派声音的先驱。在这项工作中,我们迈出了第一步,以阐明野外Ad Hominem谬论的使用。首先,我们建立了一个具有很高准确性的强大AD HOMINEM探测器(F1超过83%,对先前的工作显示出显着改善),即使对于注释的实例构成很小一部分的数据集也是如此。然后,我们在从在线辩论论坛中收集的265k参数(创建者)中使用了我们的检测器。我们的众包调查验证了我们对创建ebate数据的野外预测(94%与手动注释相匹配)。我们的分析表明,令人惊讶的31.23%的创建ebate内容包含AD HOMINEM谬论,并且一群高度活跃的用户的同类发表了更大的AD AD本人,以抑制相反的观点。然后,我们的时间分析表明,自2016年美国总统大选以来,AD HOMINEM论点的使用量显着增加,不仅是政治等主题,而且对于科学和法律。最后,我们讨论了我们的工作的重要意义,以检测和防御AD HOMINEM谬论。
translated by 谷歌翻译