While much attention has been paid to identifying explicit hate speech, implicit hateful expressions that are disguised in coded or indirect language are pervasive and remain a major challenge for existing hate speech detection systems. This paper presents the first attempt to apply Entity Linking (EL) techniques to both explicit and implicit hate speech detection, where we show that such real world knowledge about entity mentions in a text does help models better detect hate speech, and the benefit of adding it into the model is more pronounced when explicit entity triggers (e.g., rally, KKK) are present. We also discuss cases where real world knowledge does not add value to hate speech detection, which provides more insights into understanding and modeling the subtleties of hate speech.

了解文本中表达的态度，也称为姿态检测，在旨在在线检测虚假信息的系统中起重要作用，无论是错误信息（无意的假）或虚假信息（故意错误地蔓延，恶意意图）。姿态检测已经以不同的方式在文献中框架，包括（a）作为事实检查，谣言检测和检测先前的事实检查的权利要求，或（b）作为其自己的任务的组件;在这里，我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测，但诸如论证挖掘和情绪分析之类的其他相关任务，但没有调查姿态检测和错误和缺陷检测之间的关系。在这里，我们的目标是弥合这个差距。特别是，我们在焦点中审查和分析了该领域的现有工作，焦点中的错误和不忠实，然后我们讨论了汲取的经验教训和未来的挑战。

研究表明，与自杀相关的新闻媒体内容的暴露与自杀率相关，具有一些内容特征可能具有有害和其他可能的保护作用。虽然有一些选定的特征存在良好的证据，但是一般缺少系统的大规模调查，特别是社交媒体数据。我们应用机器学习方法以自动标记大量的Twitter数据。我们开发了一种新的注释计划，将与自杀相关的推文分类为不同的消息类型和问题，以解决方案为中心的视角。然后，我们培训了包括多数分类器的机器学习模型的基准，这是一种基于词频率的方法（具有线性SVM的TF-IDF）和两个最先进的深层学习模型（BERT，XLNET）。这两个深入学习模型在两个分类任务中实现了最佳性能：首先，我们分类了六个主要内容类别，包括个人故事，包括自杀意图和尝试或应对，呼吁采取措施传播问题意识或预防相关信息，自杀病例的报告以及其他与自杀相关和偏离主题推文的报告。深度学习模型平均达到73％以上的准确度，遍布六个类别，F1分数为69％和85％，除了自杀意念和尝试类别（55％）。其次，在分离帖子中，在偏离主题推文中指的是实际自杀题，他们正确标记了大约88％的推文，双方达到了F1分数为93％和74％。这些分类性能与类似任务的最先进的性能相当。通过使数据标签更有效，这项工作能够对各种社交媒体内容的有害和保护作用进行自杀率和寻求帮助行为的有害和保护作用。

在网络和社交媒体上生成的大量数据增加了检测在线仇恨言论的需求。检测仇恨言论将减少它们对他人的负面影响和影响。在自然语言处理（NLP）域中的许多努力旨在宣传仇恨言论或检测特定的仇恨言论，如宗教，种族，性别或性取向。讨厌的社区倾向于使用缩写，故意拼写错误和他们的沟通中的编码词来逃避检测，增加了讨厌语音检测任务的更多挑战。因此，词表示将在检测仇恨言论中发挥越来越关的作用。本文研究了利用基于双向LSTM的深度模型中嵌入的域特定词语的可行性，以自动检测/分类仇恨语音。此外，我们调查转移学习语言模型（BERT）对仇恨语音问题作为二进制分类任务。实验表明，与双向LSTM基于LSTM的深层模型嵌入的域特异性词嵌入了93％的F1分数，而BERT在可用仇恨语音数据集中的组合平衡数据集上达到了高达96％的F1分数。

社交媒体平台上的滥用内容的增长增加对在线用户的负面影响。对女同性恋，同性恋者，跨性别或双性恋者的恐惧，不喜欢，不适或不疑虑被定义为同性恋/转铁症。同性恋/翻译语音是一种令人反感的语言，可以总结为针对LGBT +人的仇恨语音，近年来越来越受到兴趣。在线同性恋恐惧症/ Transphobobia是一个严重的社会问题，可以使网上平台与LGBT +人有毒和不受欢迎，同时还试图消除平等，多样性和包容性。我们为在线同性恋和转鸟以及专家标记的数据集提供了新的分类分类，这将允许自动识别出具有同种异体/传递内容的数据集。我们受过教育的注释器并以综合的注释规则向他们提供，因为这是一个敏感的问题，我们以前发现未受训练的众包注释者因文化和其他偏见而诊断倡导性的群体。数据集包含15,141个注释的多语言评论。本文介绍了构建数据集，数据的定性分析和注册间协议的过程。此外，我们为数据集创建基线模型。据我们所知，我们的数据集是第一个已创建的数据集。警告：本文含有明确的同性恋，转基因症，刻板印象的明确陈述，这可能对某些读者令人痛苦。

道德框架和情感会影响各种在线和离线行为，包括捐赠，亲环境行动，政治参与，甚至参与暴力抗议活动。自然语言处理中的各种计算方法（NLP）已被用来从文本数据中检测道德情绪，但是为了在此类主观任务中取得更好的性能，需要大量的手工注销训练数据。事实证明，以前对道德情绪注释的语料库已被证明是有价值的，并且在NLP和整个社会科学中都产生了新的见解，但仅限于Twitter。为了促进我们对道德修辞的作用的理解，我们介绍了道德基础Reddit语料库，收集了16,123个reddit评论，这些评论已从12个不同的子雷迪维特策划，由至少三个训练有素的注释者手工注释，用于8种道德情绪（即护理，相称性，平等，纯洁，权威，忠诚，瘦道，隐含/明确的道德）基于更新的道德基础理论（MFT）框架。我们使用一系列方法来为这种新的语料库（例如跨域分类和知识转移）提供基线道德句子分类结果。

对仇恨言论和冒犯性语言（HOF）的认可通常是作为一项分类任务，以决定文本是否包含HOF。我们研究HOF检测是否可以通过考虑HOF和类似概念之间的关系来获利：（a）HOF与情感分析有关，因为仇恨言论通常是负面陈述并表达了负面意见； （b）这与情绪分析有关，因为表达的仇恨指向作者经历（或假装体验）愤怒的同时经历（或旨在体验）恐惧。 （c）最后，HOF的一个构成要素是提及目标人或群体。在此基础上，我们假设HOF检测在与这些概念共同建模时，在多任务学习设置中进行了改进。我们将实验基于这些概念的现有数据集（情感，情感，HOF的目标），并在Hasoc Fire 2021英语子任务1A中评估我们的模型作为参与者（作为IMS-Sinai团队）。基于模型选择实验，我们考虑了多个可用的资源和共享任务的提交，我们发现人群情绪语料库，Semeval 2016年情感语料库和犯罪2019年目标检测数据的组合导致F1 =。 79在基于BERT的多任务多任务学习模型中，与Plain Bert的.7895相比。在HASOC 2019测试数据上，该结果更为巨大，而F1中的增加2pp和召回大幅增加。在两个数据集（2019，2021）中，HOF类的召回量尤其增加（2019年数据的6pp和2021数据的3pp），表明MTL具有情感，情感和目标识别是适合的方法可能部署在社交媒体平台中的预警系统。

文本分类器以一小中的全解决方案的形式进行规模应用。然而，许多研究表明，分类器对不同的语言和方言有偏见。在测量和发现这些偏见时，会出现一些差距，应解决。首先，``语言，方言和局部内容在地理区域之间是否有所不同吗？''，其次``如果各个区域之间存在差异，它们会影响模型性能吗？''。我们介绍了一个名为Geoolid的新型数据集，其中有15个地理和人口统计学上的城市中有14,000多个示例来解决这些问题。我们对与地理有关的内容进行全面分析及其对进攻语言检测模型的性能差异的影响。总体而言，我们发现当前的模型不会在各个位置概括。同样，我们表明，尽管进攻性语言模型对非裔美国人英语产生误报，但模型表现与每个城市的少数族裔人口比例无关。警告：本文包含令人反感的语言。

Covid-19的传播引发了针对亚洲社区的社交媒体的种族主义和仇恨。然而，关于种族仇恨在大流行期间的差异和柜台垂直在减轻这种蔓延的角色时，很少见过。在这项工作中，我们研究了通过推特镜头的反亚洲仇恨演讲的演变和传播。我们创建了Covid-讨厌，这是一个跨越14个月的反亚洲仇恨和柜台的最大数据集，含有超过2.06亿推文，以及超过1.27亿节节点的社交网络。通过创建一个新的手工标记数据集，3,355推文，我们培训文本分类器以识别仇恨和柜台jeech推文，以实现0.832的平均宏F1得分。使用此数据集，我们对推文和用户进行纵向分析。社交网络的分析揭示了可恨和柜台的用户互相互动，彼此广泛地互动，而不是生活在孤立的极化社区中。我们发现在暴露于仇恨内容后，节点很可能变得仇恨。值得注意的是，柜台椎间目可能会阻止用户转向仇恨，可能暗示在Web和社交媒体平台上遏制讨厌的解决方案。数据和代码是在http://claws.cc.gatech.edu/covid。

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

A key challenge for automatic hate-speech detection on social media is the separation of hate speech from other instances of offensive language. Lexical detection methods tend to have low precision because they classify all messages containing particular terms as hate speech and previous work using supervised learning has failed to distinguish between the two categories. We used a crowd-sourced hate speech lexicon to collect tweets containing hate speech keywords. We use crowd-sourcing to label a sample of these tweets into three categories: those containing hate speech, only offensive language, and those with neither. We train a multi-class classifier to distinguish between these different categories. Close analysis of the predictions and the errors shows when we can reliably separate hate speech from other offensive language and when this differentiation is more difficult. We find that racist and homophobic tweets are more likely to be classified as hate speech but that sexist tweets are generally classified as offensive. Tweets without explicit hate keywords are also more difficult to classify.

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

随着人工智能系统变得越来越强大和普遍，人们对机器的道德或缺乏道德的关注变得越来越关注。然而，向机器讲授道德是一项艰巨的任务，因为道德仍然是人类中最激烈的争论问题之一，更不用说AI了。但是，部署到数百万用户的现有AI系统已经在做出充满道德影响的决策，这构成了一个看似不可能的挑战：教学机器的道德意义，而人类继续努力努力。为了探索这一挑战，我们介绍了Delphi，这是一个基于深层神经网络的实验框架，直接训练了描述性道德判断，例如，“帮助朋友”通常是不错的，而“帮助朋友传播假新闻”不是。经验结果提供了对机器伦理的承诺和局限性的新见解。面对新的道德情况，德尔菲（Delphi）表现出强大的概括能力，而现成的神经网络模型表现出明显差的判断，包括不公正的偏见，证实了对明确教学机器的道德意义的必要性。然而，德尔菲并不完美，表现出对普遍性偏见和不一致的敏感性。尽管如此，我们还是展示了不完美的Delphi的积极用例，包括在其他不完美的AI系统中将其用作组件模型。重要的是，我们根据著名的道德理论来解释Delphi的运营化，这使我们提出了重要的未来研究问题。

Warning: this paper contains content that may be offensive or upsetting. In the current context where online platforms have been effectively weaponized in a variety of geo-political events and social issues, Internet memes make fair content moderation at scale even more difficult. Existing work on meme classification and tracking has focused on black-box methods that do not explicitly consider the semantics of the memes or the context of their creation. In this paper, we pursue a modular and explainable architecture for Internet meme understanding. We design and implement multimodal classification methods that perform example- and prototype-based reasoning over training cases, while leveraging both textual and visual SOTA models to represent the individual cases. We study the relevance of our modular and explainable models in detecting harmful memes on two existing tasks: Hate Speech Detection and Misogyny Classification. We compare the performance between example- and prototype-based methods, and between text, vision, and multimodal models, across different categories of harmfulness (e.g., stereotype and objectification). We devise a user-friendly interface that facilitates the comparative analysis of examples retrieved by all of our models for any given meme, informing the community about the strengths and limitations of these explainable methods.

实体消除歧义（ED）是实体链接（EL）的最后一步，当候选实体根据它们出现的上下文重新登录。所有数据集，用于培训和评估EL的模型，包括方便样本，如新闻文章和推文，将实体分布的现有概率偏置传播到更频繁发生的实体。前面表明，在这种数据集上的EL系统的性能高估，因为可以通过仅仅在学习之前获得更高的精度分数。为了提供更具足够的评估基准，我们介绍了ShadowLink数据集，其中包括16K短文本代码段，其中包含实体提出。我们评估并报告在Shadowlink基准上的流行EL系统的表现。结果表明，在评估中所有EL系统的越来越少的常见实体之间的准确性差异相当差异，证明了现有概率偏差和实体的效果。

Early detection of relevant locations in a piece of news is especially important in extreme events such as environmental disasters, war conflicts, disease outbreaks, or political turmoils. Additionally, this detection also helps recommender systems to promote relevant news based on user locations. Note that, when the relevant locations are not mentioned explicitly in the text, state-of-the-art methods typically fail to recognize them because these methods rely on syntactic recognition. In contrast, by incorporating a knowledge base and connecting entities with their locations, our system successfully infers the relevant locations even when they are not mentioned explicitly in the text. To evaluate the effectiveness of our approach, and due to the lack of datasets in this area, we also contribute to the research community with a gold-standard multilingual news-location dataset, NewsLOC. It contains the annotation of the relevant locations (and their WikiData IDs) of 600+ Wikinews articles in five different languages: English, French, German, Italian, and Spanish. Through experimental evaluations, we show that our proposed system outperforms the baselines and the fine-tuned version of the model using semi-supervised data that increases the classification rate. The source code and the NewsLOC dataset are publicly available for being used by the research community at https://github.com/vsuarezpaniagua/NewsLocation.

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

由于细微偏见，主观性和难以在规模上获得良好质量的数据集，尤其考虑到社会偏见和社会的不断变化本质，检测文本中的社会偏见是挑战。为了解决这些挑战，我们提出了一些基于指令的基于指令的方法，以提示预先接受预先接受的语言模型（LMS）。我们从最接近查询的小型支持存储库中选择一些标签平衡的示例，以便在嵌入空间中标记。然后，我们向LM提供由标记示例的此子集的指令，查询文本被分类，偏差定义，并提示它做出决定。我们证明了几次上下文中使用的大型LMS可以检测不同类型的细粒度偏差，具有与微调模型的相似且有时卓越的精度。我们观察到，与较小模型相比，最大的530B参数模型在检测社会偏差方面明显更有效（与其他模型相比，在AUC度量上实现至少20％）。它还在几张拍摄设置中保持高AUC（掉落小于5％），其中标记的存储库减少到100个样本的少量。因此，大型预制语言模型使得更容易且更快地建立新的偏置探测器。

非结构化的文本中存在大量的位置信息，例如社交媒体帖子，新闻报道，科学文章，网页，旅行博客和历史档案。地理学是指识别文本中的位置参考并识别其地理空间表示的过程。虽然地理标准可以使许多领域受益，但仍缺少特定应用程序的摘要。此外，缺乏对位置参考识别方法的现有方法的全面审查和比较，这是地理验证的第一个和核心步骤。为了填补这些研究空白，这篇综述首先总结了七个典型的地理应用程序域：地理信息检索，灾难管理，疾病监视，交通管理，空间人文，旅游管理和犯罪管理。然后，我们通过将这些方法分类为四个组，以基于规则的基于规则，基于统计学学习的基于统计学学习和混合方法将这些方法分类为四个组，从而回顾了现有的方法参考识别方法。接下来，我们彻底评估了27种最广泛使用的方法的正确性和计算效率，该方法基于26个公共数据集，其中包含不同类型的文本（例如，社交媒体帖子和新闻报道），包含39,736个位置参考。这项彻底评估的结果可以帮助未来的方法论发展以获取位置参考识别，并可以根据应用需求指导选择适当方法的选择。