社交媒体平台主持了有关每天出现的各种主题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理此问题的一种常见方法是依靠主题建模，但是使用此技术发现的主题很难解释，并且从语料库到语料库可能会有所不同。在本文中，我们提出了基于推文主题分类的新任务，并发布两个相关的数据集。鉴于涵盖社交媒体中最重要的讨论点的广泛主题，我们提供了最近时间段的培训和测试数据，可用于评估推文分类模型。此外，我们在任务上对当前的通用和领域特定语言模型进行定量评估和分析，这为任务的挑战和性质提供了更多见解。

社交媒体在现代社会中尤其是在西方世界中的政策制定方面已经变得极其影响力（例如，48％的欧洲人每天或几乎每天都使用社交媒体）。 Twitter之类的平台使用户可以关注政客，从而使公民更多地参与政治讨论。同样，政客们使用Twitter来表达他们的观点，在当前主题上进行辩论，并促进其政治议程，以影响选民行为。先前的研究表明，传达负面情绪的推文可能会更频繁地转发。在本文中，我们试图分析来自不同国家的政客的推文，并探索他们的推文是否遵循相同的趋势。利用最先进的预训练的语言模型，我们对从希腊，西班牙和英国的成千上万的推文进行了情感分析，包括权威的行政部门。我们通过系统地探索和分析有影响力和不流行的推文之间的差异来实现这一目标。我们的分析表明，政治家的负面推文更广泛地传播，尤其是在最近的时代，并突出了情感和受欢迎程度相交的有趣趋势。

自2020年初以来，Covid-19-19造成了全球重大影响。这给社会带来了很多困惑，尤其是由于错误信息通过社交媒体传播。尽管已经有几项与在社交媒体数据中发现错误信息有关的研究，但大多数研究都集中在英语数据集上。印度尼西亚的COVID-19错误信息检测的研究仍然很少。因此，通过这项研究，我们收集和注释印尼语的数据集，并通过考虑该推文的相关性来构建用于检测COVID-19错误信息的预测模型。数据集构造是由一组注释者进行的，他们标记了推文数据的相关性和错误信息。在这项研究中，我们使用印度培训预培训的语言模型提出了两阶段分类器模型，以进行推文错误信息检测任务。我们还尝试了其他几种基线模型进行文本分类。实验结果表明，对于相关性预测，BERT序列分类器的组合和用于错误信息检测的BI-LSTM的组合优于其他机器学习模型，精度为87.02％。总体而言，BERT利用率有助于大多数预测模型的更高性能。我们发布了高质量的Covid-19错误信息推文语料库，用高通道一致性表示。

自Covid-19大流行病开始以来，疫苗一直是公共话语中的重要话题。疫苗周围的讨论被两极分化，因为有些人认为它们是结束大流行的重要措施，而另一些人则犹豫不决或发现它们有害。这项研究调查了与Twitter上的Covid-19疫苗有关的帖子，并着重于对疫苗有负姿态的帖子。收集了与COVID-19疫苗相关的16,713,238个英文推文的数据集，收集了涵盖从2020年3月1日至2021年7月31日的该期间。我们使用Scikit-Learn Python库来应用支持向量机（SVM）分类器针对Covid-19疫苗的推文具有负姿态。总共使用了5,163个推文来训练分类器，其中有2,484个推文由我们手动注释并公开提供。我们使用Berttopic模型来提取和调查负推文中讨论的主题以及它们如何随时间变化。我们表明，随着疫苗的推出，对COVID-19疫苗的负面影响随时间而下降。我们确定了37个讨论主题，并随着时间的推移介绍了各自的重要性。我们表明，流行的主题包括阴谋讨论，例如5G塔和微芯片，但还涉及涉及疫苗接种安全性和副作用以及对政策的担忧。我们的研究表明，即使是不受欢迎的观点或阴谋论，与广受欢迎的讨论主题（例如Covid-19疫苗）配对时，也会变得广泛。了解问题和讨论的主题以及它们如何随着时间的变化对于政策制定者和公共卫生当局提供更好和时间的信息和政策，以促进未来类似危机的人口接种。

Convincing people to get vaccinated against COVID-19 is a key societal challenge in the present times. As a first step towards this goal, many prior works have relied on social media analysis to understand the specific concerns that people have towards these vaccines, such as potential side-effects, ineffectiveness, political factors, and so on. Though there are datasets that broadly classify social media posts into Anti-vax and Pro-Vax labels, there is no dataset (to our knowledge) that labels social media posts according to the specific anti-vaccine concerns mentioned in the posts. In this paper, we have curated CAVES, the first large-scale dataset containing about 10k COVID-19 anti-vaccine tweets labelled into various specific anti-vaccine concerns in a multi-label setting. This is also the first multi-label classification dataset that provides explanations for each of the labels. Additionally, the dataset also provides class-wise summaries of all the tweets. We also perform preliminary experiments on the dataset and show that this is a very challenging dataset for multi-label explainable classification and tweet summarization, as is evident by the moderate scores achieved by some state-of-the-art models. Our dataset and codes are available at: https://github.com/sohampoddar26/caves-data

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

Following the outbreak of a global pandemic, online content is filled with hate speech. Donald Trump's ''Chinese Virus'' tweet shifted the blame for the spread of the Covid-19 virus to China and the Chinese people, which triggered a new round of anti-China hate both online and offline. This research intends to examine China-related hate speech on Twitter during the two years following the burst of the pandemic (2020 and 2021). Through Twitter's API, in total 2,172,333 tweets hashtagged #china posted during the time were collected. By employing multiple state-of-the-art pretrained language models for hate speech detection, we identify a wide range of hate of various types, resulting in an automatically labeled anti-China hate speech dataset. We identify a hateful rate in #china tweets of 2.5% in 2020 and 1.9% in 2021. This is well above the average rate of online hate speech on Twitter at 0.6% identified in Gao et al., 2017. We further analyzed the longitudinal development of #china tweets and those identified as hateful in 2020 and 2021 through visualizing the daily number and hate rate over the two years. Our keyword analysis of hate speech in #china tweets reveals the most frequently mentioned terms in the hateful #china tweets, which can be used for further social science studies.

在本文中，我们提出了一个手动注释的10,000名推文载有五个Covid-19事件的公开报告，包括积极和消极的测试，死亡，拒绝获得测试，索赔治愈和预防。我们为每种事件类型设计了插槽填充问题，并注释了总共31个细粒度的插槽，例如事件的位置，最近的旅行和密切联系人。我们表明我们的语料库可以支持微调基于伯特的分类器，以自动提取公共报告的事件，并帮助跟踪新疾病的传播。我们还证明，通过从数百万推文中提取的事件汇总，我们在回答复杂的查询时达到令人惊讶的高精度，例如“哪些组织在费城在费城测试的员工？”我们将释放我们的语料库（使用用户信息被删除），自动提取模型以及研究社区的相应知识库。

语言随着时间的流逝而演变，单词含义会发生相应的变化。在社交媒体中尤其如此，因为它的动态性质会导致语义转移的速度更快，这使得NLP模型在处理新内容和趋势方面具有挑战性。但是，专门解决这些社交平台动态性质的数据集和模型的数量很少。为了弥合这一差距，我们提出了Tempowic，这是一种新的基准，尤其是旨在加快基于社交媒体的含义转变的研究。我们的结果表明，即使对于最近发行的专门从事社交媒体的语言模型，Tempowic是一个具有挑战性的基准。

尽管政府的信息运动和谁努力，但Covid-19疫苗犹豫不决是广泛的。其背后的原因之一是疫苗虚假信息在社交媒体中广泛传播。特别是，最近的调查确定，疫苗的虚假信息正在影响COVID-19-19疫苗接种的负面信任。同时，由于大规模的社交媒体，事实检查者正在努力检测和跟踪疫苗虚假信息。为了帮助事实检查员在线监视疫苗叙事，本文研究了一项新的疫苗叙事分类任务，该任务将Covid-19疫苗主张的疫苗索赔分为七个类别之一。遵循数据增强方法，我们首先为这项新的分类任务构建了一个新颖的数据集，重点是少数群体。我们还利用事实检查器注释的数据。该论文还提出了神经疫苗叙事分类器，在交叉验证下达到84％的精度。分类器可公开用于研究人员和记者。

研究表明，与自杀相关的新闻媒体内容的暴露与自杀率相关，具有一些内容特征可能具有有害和其他可能的保护作用。虽然有一些选定的特征存在良好的证据，但是一般缺少系统的大规模调查，特别是社交媒体数据。我们应用机器学习方法以自动标记大量的Twitter数据。我们开发了一种新的注释计划，将与自杀相关的推文分类为不同的消息类型和问题，以解决方案为中心的视角。然后，我们培训了包括多数分类器的机器学习模型的基准，这是一种基于词频率的方法（具有线性SVM的TF-IDF）和两个最先进的深层学习模型（BERT，XLNET）。这两个深入学习模型在两个分类任务中实现了最佳性能：首先，我们分类了六个主要内容类别，包括个人故事，包括自杀意图和尝试或应对，呼吁采取措施传播问题意识或预防相关信息，自杀病例的报告以及其他与自杀相关和偏离主题推文的报告。深度学习模型平均达到73％以上的准确度，遍布六个类别，F1分数为69％和85％，除了自杀意念和尝试类别（55％）。其次，在分离帖子中，在偏离主题推文中指的是实际自杀题，他们正确标记了大约88％的推文，双方达到了F1分数为93％和74％。这些分类性能与类似任务的最先进的性能相当。通过使数据标签更有效，这项工作能够对各种社交媒体内容的有害和保护作用进行自杀率和寻求帮助行为的有害和保护作用。

由于传统的社交媒体平台继续禁止演员传播仇恨言论或其他形式的滥用语言（称为令人作为令人作为的过程），因此这些演员迁移到不适中用户内容的替代平台。一个流行的平台与德国Hater社区相关，是迄今为止已经有限的研究工作的电报。本研究旨在开发一个广泛的框架，包括（i）用于德国电报消息的滥用语言分类模型和（ii）电报频道仇恨性的分类模型。对于第一部分，我们使用包含来自其他平台的帖子的现有滥用语言数据集来开发我们的分类模型。对于信道分类模型，我们开发了一种方法，该方法将从主题模型中收集的信道特定内容信息与社会图组合以预测频道的仇恨性。此外，我们补充了这两种仇恨语音检测方法，并在德国电报上的呼吸群落演变。我们还提出了对仇恨语音研究界进行可扩展网络分析的方法。作为本研究的额外输出，我们提供了包含1,149个注释电报消息的注释滥用语言数据集。

自动识别仇恨和虐待内容对于打击有害在线内容及其破坏性影响的传播至关重要。大多数现有作品通过检查仇恨语音数据集中的火车测试拆分上的概括错误来评估模型。这些数据集通常在其定义和标记标准上有所不同，从而在预测新的域和数据集时会导致模型性能差。在这项工作中，我们提出了一种新的多任务学习（MTL）管道，该管道利用MTL在多个仇恨语音数据集中同时训练，以构建一个更包含的分类模型。我们通过采用保留的方案来模拟对新的未见数据集的评估，在该方案中，我们从培训中省略了目标数据集并在其他数据集中共同培训。我们的结果始终优于现有工作的大量样本。当在预测以前看不见的数据集时，在检查火车测试拆分中的概括误差和实质性改进时，我们会表现出强烈的结果。此外，我们组装了一个新颖的数据集，称为Pubfigs，重点是美国公共政治人物的问题。我们在PubFigs的305,235美元推文中自动发现有问题的语音，并发现了对公众人物的发布行为的见解。

Covid-19-Pandemic继续在社交媒体上提出各种讨论或辩论的主题。为了探索大流行对人们生活的影响，了解公众对与大流行有关的实体（例如药物，疫苗）对社交媒体的关注和态度至关重要。但是，对现有命名实体识别（NER）或目标情感分析（TSA）数据集培训的模型具有有限的理解与COVID相关的社交媒体文本的能力有限，因为这些数据集并未从医学角度设计或注释。本文释放了Mets-COV，这是一种包含医疗实体的数据集和与COVID相关的推文中的目标情感。 Mets-COV包含10,000条带有7种实体的推文，包括4种医疗实体类型（疾病，药物，症状和疫苗）和3种通用实体类型（人，位置和组织）。为了进一步调查推文用户对特定实体的态度，选择了4种类型的实体（人，组织，药物和疫苗），并用用户情感注释，从而产生了具有9,101个实体（5,278个推文）的目标情感数据集。据我们所知，METS-COV是第一个收集与COVID相关推文的医疗实体和相应情感的数据集。我们通过广泛的实验对经典机器学习模型和最先进的深度学习模型进行基准测试。结果表明，该数据集在NER和TSA任务方面都有大量改进的空间。 METS-COV是开发更好的医学社交媒体工具并促进计算社会科学研究的重要资源，尤其是在流行病学方面。我们的数据，注释准则，基准模型和源代码公开可用（https://github.com/ylab-open/mets-cov），以确保可重复性。

Hope is characterized as openness of spirit toward the future, a desire, expectation, and wish for something to happen or to be true that remarkably affects human's state of mind, emotions, behaviors, and decisions. Hope is usually associated with concepts of desired expectations and possibility/probability concerning the future. Despite its importance, hope has rarely been studied as a social media analysis task. This paper presents a hope speech dataset that classifies each tweet first into "Hope" and "Not Hope", then into three fine-grained hope categories: "Generalized Hope", "Realistic Hope", and "Unrealistic Hope" (along with "Not Hope"). English tweets in the first half of 2022 were collected to build this dataset. Furthermore, we describe our annotation process and guidelines in detail and discuss the challenges of classifying hope and the limitations of the existing hope speech detection corpora. In addition, we reported several baselines based on different learning approaches, such as traditional machine learning, deep learning, and transformers, to benchmark our dataset. We evaluated our baselines using weighted-averaged and macro-averaged F1-scores. Observations show that a strict process for annotator selection and detailed annotation guidelines enhanced the dataset's quality. This strict annotation process resulted in promising performance for simple machine learning classifiers with only bi-grams; however, binary and multiclass hope speech detection results reveal that contextual embedding models have higher performance in this dataset.

We present a human-in-the-loop evaluation framework for fact-checking novel misinformation claims and identifying social media messages that violate relevant policies. Our approach extracts structured representations of check-worthy claims, which are aggregated and ranked for review. Stance classifiers are then used to identify tweets supporting novel misinformation claims, which are further reviewed to determine whether they violate relevant policies. To demonstrate the feasibility of our approach, we develop a baseline system based on modern NLP methods for human-in-the-loop fact-checking in the domain of COVID-19 treatments. Using our baseline system, we show that human fact-checkers can identify 124 tweets per hour that violate Twitter's policies on COVID-19 misinformation. We will make our code, data, and detailed annotation guidelines available to support the evaluation of human-in-the-loop systems that identify novel misinformation directly from raw user-generated content.

超越种族主义文本的二元分类，我们的研究从社会科学理论中获取线索，以开发一种用于种族主义检测的多维模型，即污名化，进攻性，责备和排斥。在BERT和主题建模的帮助下，这种分类检测可以洞悉Covid-19期间数字平台上种族主义讨论的基本细节。我们的研究有助于丰富有关社交媒体上种族主义行为的学术讨论。首先，采用阶段分析来捕捉在Covid-19的早期阶段的主题变化的动态，该阶段从国内流行病转变为国际公共卫生紧急情况，后来转变为全球大流行。此外，映射这一趋势可以更准确地预测有关离线世界中种族主义的公众舆论发展，同时，制定了规定的干预策略，以打击像Covid-19这样的全球公共卫生危机期间的种族主义兴起。此外，这项跨学科研究还指出了关于社交网络分析和采矿的未来研究的方向。将社会科学观点整合到计算方法的发展中，为更准确的数据检测和分析提供了见解。

Migraine is a high-prevalence and disabling neurological disorder. However, information migraine management in real-world settings could be limited to traditional health information sources. In this paper, we (i) verify that there is substantial migraine-related chatter available on social media (Twitter and Reddit), self-reported by migraine sufferers; (ii) develop a platform-independent text classification system for automatically detecting self-reported migraine-related posts, and (iii) conduct analyses of the self-reported posts to assess the utility of social media for studying this problem. We manually annotated 5750 Twitter posts and 302 Reddit posts. Our system achieved an F1 score of 0.90 on Twitter and 0.93 on Reddit. Analysis of information posted by our 'migraine cohort' revealed the presence of a plethora of relevant information about migraine therapies and patient sentiments associated with them. Our study forms the foundation for conducting an in-depth analysis of migraine-related information using social media data.

在文本分类模型由于数据变化而随着时间的变化而下降的情况下，其持续时间持续时间的模型的开发很重要。预测模型随着时间的推移能力的能力可以帮助设计模型，这些模型可以在更长的时间内有效使用。在本文中，我们通过评估各种语言模型和分类算法随着时间的推移持续存在的能力，以及数据集特性如何帮助预测不同模型的时间稳定性，从而研究了这个问题。我们在跨越6到19年的三个数据集上执行纵向分类实验，并涉及各种任务和类型的数据。我们发现，人们可以根据（i）模型在限制时间段内的性能及其外推到更长的时间段，以及（ii）数据集的语言特征，以及（ii）数据集的语言特征，如何估算模型如何在时间上保持其性能。例如不同年份的子集之间的熟悉程度。这些实验的发现对文本分类模型的设计具有重要意义，目的是保留随着时间的推移性能。

在本文中，我们介绍了TweetNLP，这是社交媒体中自然语言处理（NLP）的集成平台。TweetNLP支持一套多样化的NLP任务，包括诸如情感分析和命名实体识别的通用重点领域，以及社交媒体特定的任务，例如表情符号预测和进攻性语言识别。特定于任务的系统由专门用于社交媒体文本的合理大小的基于变压器的语言模型（尤其是Twitter）提供动力，无需专用硬件或云服务即可运行。TweetNLP的主要贡献是：（1）使用适合社会领域的各种特定于任务的模型，用于支持社交媒体分析的现代工具包的集成python库；（2）使用我们的模型进行无编码实验的交互式在线演示；（3）涵盖各种典型社交媒体应用的教程。