社交媒体平台已成为反社会元素的新战场，错误信息是首选的武器。事实核对组织试图在忠于其新闻流程的同时揭露尽可能多的主张，但不能应付其快速传播。我们认为，解决方案在于对事实检查生命周期的部分自动化，从而节省了需要高认知的任务的人类时间。我们提出了一个新的工作流程，以有效地检测到以前的事实检查的主张，该主张使用抽象性摘要来产生清晰的查询。然后可以在与以前事实检查的索赔集合相关的通用检索系统上执行这些查询。我们策划了一个抽象的文本摘要数据集，其中包括Twitter及其黄金摘要的嘈杂主张。结果表明，与逐字查询相比，通过使用流行的开箱即用摘要模型，通过使用流行的开箱即用摘要模型来改善2倍和3倍。我们的方法召回@5和35％和0.3的MRR，而基线值分别为10％和0.1。我们的数据集，代码和模型可公开使用：https：//github.com/varadhbhatnagar/fc-claim-det/

社交媒体平台上的假新闻，误导和无法验证的事实宣传了不和谐，影响社会，特别是在处理像Covid-19这样的流行病时。假新闻检测的任务旨在通过将新闻项目分类为假或真实的新闻项目来解决这种错误信息的影响。在本文中，我们提出了一种新的方法，通过自动收集每个索赔的证据来改善目前的自动自动假新闻检测方法。我们的方法从Web艺术品中提取支持证据，然后选择待视为证据组的适当文本。我们在这些证据组上使用预先训练的摘要，然后使用提取的摘要作为支持证据来帮助分类任务。我们的实验，使用机器学习和基于深度学习的方法，有助于对我们的方法进行广泛的评估。结果表明，我们的方法优于假新闻检测中的最先进方法，以在为约束-2021共享任务提供的数据集中实现99.25的F1分数。我们还释放了任何进一步研究的增强数据集，我们的代码和模型。

假新闻的迅速增加，这对社会造成重大损害，触发了许多假新闻相关研究，包括开发假新闻检测和事实验证技术。这些研究的资源主要是从Web数据中获取的公共数据集。我们通过三个观点调查了与假新闻研究相关的118个数据集：（1）假新闻检测，（2）事实验证，（3）其他任务;例如，假新闻和讽刺检测分析。我们还详细描述了他们的利用任务及其特征。最后，我们突出了假新闻数据集建设中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集来促进假新闻研究，而无需重新发明轮子，从而提高了深度的假新闻研究。

了解文本中表达的态度，也称为姿态检测，在旨在在线检测虚假信息的系统中起重要作用，无论是错误信息（无意的假）或虚假信息（故意错误地蔓延，恶意意图）。姿态检测已经以不同的方式在文献中框架，包括（a）作为事实检查，谣言检测和检测先前的事实检查的权利要求，或（b）作为其自己的任务的组件;在这里，我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测，但诸如论证挖掘和情绪分析之类的其他相关任务，但没有调查姿态检测和错误和缺陷检测之间的关系。在这里，我们的目标是弥合这个差距。特别是，我们在焦点中审查和分析了该领域的现有工作，焦点中的错误和不忠实，然后我们讨论了汲取的经验教训和未来的挑战。

我们研究了检查问题的事实，旨在识别给定索赔的真实性。具体而言，我们专注于事实提取和验证（发烧）及其伴随数据集的任务。该任务包括从维基百科检索相关文件（和句子）并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要，可以是假新闻检测和医疗索赔验证等应用程序块。在本文中，我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果，描述了所提出的方法，这是最熟悉的和正式结构化的数据集，就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明，采样负句对于提高性能并降低计算复杂性很重要。最后，我们描述了开放的问题和未来的挑战，我们激励了未来的任务研究。

由于信息和错误信息都可以在现代媒体生态系统中传播的速度，事实检查变得越来越重要。因此，研究人员一直在探索如何自动检查，使用基于自然语言处理，机器学习，知识表示以及数据库来自动检查的技术，以自动预测所称的索赔的真实性。在本文中，我们从自然语言处理中调查了自动检查源，并讨论其与相关任务和学科的联系。在此过程中，我们概述了现有数据集和模型，旨在统一给出的各种定义和识别共同概念。最后，我们突出了未来研究的挑战。

关于社交媒体的虚假医疗信息对人们的健康构成伤害。尽管近年来已经认识到对生物医学事实检查的需求，但用户生成的医疗内容受到了相当少的关注。同时，其他文本类型的模型可能不可重复使用，因为他们接受过培训的说法大不相同。例如，Scifact数据集中的主张是简短而专注的：“与抗抑郁药相关的副作用会增加中风的风险”。相比之下，社交媒体持有自然存在的主张，经常嵌入其他背景下：``如果您服用像SSRI这样的抗抑郁药，您可能会有一种称为5-羟色胺综合征'5-羟色胺'5-羟色胺'的风险。2010年几乎杀死了我。和癫痫发作。”这展示了现实世界中医学主张与现有事实检查系统所期望的输入之间的不匹配。为了使用户生成的内容可通过现有模型来检查，我们建议以这样的方式对社交媒体的输入进行重新重新制定，以使所产生的索赔模仿已建立的数据集中的索赔特征。为此，我们的方法借助关系实体信息将主张凝结，并将索赔从实体关联 - 实体三重汇编中汇编，或者提取包含这些元素的最短短语。我们表明，重新计算的输入改善了各种事实检查模型的性能，而不是整体检查推文文本。

我们介绍了微博观点摘要（MOS）的任务，并共享3100个金标准意见摘要的数据集，以促进该领域的研究。该数据集包含跨越2年期的推文的摘要，并且涵盖了比任何其他公共Twitter摘要数据集更多的主题。摘要本质上是抽象的，是由熟练的记者创建的，这些记者在将事实信息（主要故事）与作者观点分开的模板之后，总结了新闻文章。我们的方法不同于以前在社交媒体中生成金标准摘要的工作，这些摘要通常涉及选择代表性帖子，从而有利于提取性摘要模型。为了展示数据集的实用性和挑战，我们基准了一系列抽象性和提取性的最先进的摘要模型，并实现良好的性能，前者的表现优于后者。我们还表明，微调对于提高性能和研究使用不同样本量的好处是必要的。

新闻事实检查的一个重要挑战是对现有事实核对的有效传播。反过来，这需要可靠的方法来检测先前事实检查的主张。在本文中，我们专注于自动寻找在社交媒体帖子（推文）中提出的索赔的现有事实检查。我们使用多语言变压器模型（例如XLM-Roberta和多语言嵌入者，例如Labse and Sbert）进行单语（仅英语），多语言（西班牙语，葡萄牙语）和跨语性（印度英语）设置进行分类和检索实验。我们提供了四个语言对的“匹配”分类（平均准确性86％）的有希望的结果。我们还发现，在单语实验中，BM25基线的表现胜过或与最先进的多语言嵌入模型相提并论。我们在以不同的语言来解决此问题的同时，强调和讨论NLP挑战，并介绍了一个新颖的事实检查数据集和相应的推文，以供将来的研究。

虽然最近的自动化事实检查的工作主要集中在验证和解释索赔中，但是，索赔清单易于获得，识别文本中的检验值得索赔句仍然具有挑战性。当前索赔识别型号依赖于文本中的每个句子的手动注释，这是一个昂贵的任务，并在多个域频繁地进行挑战。本文探讨了识别假​​新闻文章的识别检验值得索赔句的方法，无论领域如何，都没有明确的句子级注释。我们利用两个内部监控信号 - 标题和抽象摘要 - 基于语义相似性对句子进行排名。我们假设这一排名直接与句子的计数器相关联。为了评估这一假设的有效性，我们构建了利用基于标题或抽象摘要来排名句子的管道。排名排名句子用于证据检索的下游事实检查任务以及管道的物品的准确性预测。我们的研究结果表明，前三名句子包含足够的信息，以获取基于证据的事实检查假新闻文章。我们还表明，虽然标题与事实上检查网站如何写入索赔，但基于摘要的管道对端到端的事实检查系统最有前途的同性。

自2020年初以来，Covid-19-19造成了全球重大影响。这给社会带来了很多困惑，尤其是由于错误信息通过社交媒体传播。尽管已经有几项与在社交媒体数据中发现错误信息有关的研究，但大多数研究都集中在英语数据集上。印度尼西亚的COVID-19错误信息检测的研究仍然很少。因此，通过这项研究，我们收集和注释印尼语的数据集，并通过考虑该推文的相关性来构建用于检测COVID-19错误信息的预测模型。数据集构造是由一组注释者进行的，他们标记了推文数据的相关性和错误信息。在这项研究中，我们使用印度培训预培训的语言模型提出了两阶段分类器模型，以进行推文错误信息检测任务。我们还尝试了其他几种基线模型进行文本分类。实验结果表明，对于相关性预测，BERT序列分类器的组合和用于错误信息检测的BI-LSTM的组合优于其他机器学习模型，精度为87.02％。总体而言，BERT利用率有助于大多数预测模型的更高性能。我们发布了高质量的Covid-19错误信息推文语料库，用高通道一致性表示。

事实核对是打击在线错误信息方面的有效解决方案之一。但是，传统的事实检查是一个需要稀缺专家人力资源的过程，因此由于要检查新内容的持续流动，因此在社交媒体上并不能很好地扩展。已经提出了基于众包的方法来应对这一挑战，因为它们可以以较小的成本进行扩展，但是尽管它们证明是可行的，但一直在受控环境中进行研究。在这项工作中，我们研究了在BirdWatch计划的Twitter启动的，在实践中部署的众包事实检查的第一个大规模努力。我们的分析表明，在某些情况下，众包可能是一种有效的事实检查策略，甚至可以与人类专家获得的结果相媲美，但不会导致其他人的一致，可行的结果。我们处理了BirdWatch计划验证的11.9k推文，并报告了i）人群和专家如何选择内容的内容的差异，ii）ii）人群和专家如何将不同的资源检索到事实检查，以及III ）与专家检查员相比，人群在事实检查可伸缩性和效率方面所显示的优势。

We present a human-in-the-loop evaluation framework for fact-checking novel misinformation claims and identifying social media messages that violate relevant policies. Our approach extracts structured representations of check-worthy claims, which are aggregated and ranked for review. Stance classifiers are then used to identify tweets supporting novel misinformation claims, which are further reviewed to determine whether they violate relevant policies. To demonstrate the feasibility of our approach, we develop a baseline system based on modern NLP methods for human-in-the-loop fact-checking in the domain of COVID-19 treatments. Using our baseline system, we show that human fact-checkers can identify 124 tweets per hour that violate Twitter's policies on COVID-19 misinformation. We will make our code, data, and detailed annotation guidelines available to support the evaluation of human-in-the-loop systems that identify novel misinformation directly from raw user-generated content.

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

寻求健康信息的寻求使网络与消费者的健康相关问题淹没了。通常，消费者使用过度描述性和外围信息来表达其医疗状况或其他医疗保健需求，从而有助于自然语言理解的挑战。解决这一挑战的一种方法是总结问题并提取原始问题的关键信息。为了解决此问题，我们介绍了一个新的数据集CHQ-SUMM，其中包含1507个域 - 专家注释的消费者健康问题和相应的摘要。该数据集源自社区提问论坛，因此为了解社交媒体上与消费者健康相关的帖子提供了宝贵的资源。我们在多个最先进的摘要模型上基准测试数据集，以显示数据集的有效性。

在社交媒体上的工作谣言验证利用了帖子，传播和所涉及的用户的信号。基于Wikipedia的信息或值得信赖的新闻文章而无需考虑社交媒体环境，其他工作目标是识别和核实事实检查的主张。但是，缺乏将社交媒体的信息与更广泛网络的外部证据相结合的工作。为了促进这个方向的研究，我们发布了一个新颖的数据集Phemeplus，Phemeplus是Pheme基准的扩展，该数据集包含社交媒体对话以及每个谣言的相关外部证据。我们证明了将这种证据纳入改进谣言验证模型的有效性。此外，作为证据收集的一部分，我们评估了各种查询公式的方法，以识别最有效的方法。

由于免费的在线百科全书具有大量内容，因此Wikipedia和Wikidata是许多自然语言处理（NLP）任务的关键，例如信息检索，知识基础构建，机器翻译，文本分类和文本摘要。在本文中，我们介绍了Wikides，这是一个新颖的数据集，用于为文本摘要问题提供Wikipedia文章的简短描述。该数据集由6987个主题上的80K英语样本组成。我们设置了一种两阶段的摘要方法 - 描述生成（I阶段）和候选排名（II阶段）作为一种依赖于转移和对比学习的强大方法。对于描述生成，与其他小规模的预训练模型相比，T5和BART表现出了优越性。通过将对比度学习与Beam Search的不同输入一起应用，基于度量的排名模型优于直接描述生成模型，在主题独立拆分和独立于主题的独立拆分中，最高可达22个胭脂。此外，第II期中的结果描述得到了人类评估的支持，其中45.33％以上，而I阶段的23.66％则支持针对黄金描述。在情感分析方面，生成的描述无法有效地从段落中捕获所有情感极性，同时从黄金描述中更好地完成此任务。自动产生的新描述减少了人类为创建它们的努力，并丰富了基于Wikidata的知识图。我们的论文对Wikipedia和Wikidata产生了实际影响，因为有成千上万的描述。最后，我们预计Wikides将成为从短段落中捕获显着信息的相关作品的有用数据集。策划的数据集可公开可用：https：//github.com/declare-lab/wikides。

在过去十年中，假新闻和错误信息变成了一个主要问题，影响了我们生活的不同方面，包括政治和公共卫生。灵感来自自然人类行为，我们提出了一种自动检测假新闻的方法。自然人行为是通过可靠的来源交叉检查新信息。我们使用自然语言处理（NLP）并构建机器学习（ML）模型，可自动执行与一组预定义的可靠源进行交叉检查新信息的过程。我们为Twitter实施了此功能，并构建标记假推送的模型。具体而言，对于给定的推文，我们使用其文本来查找来自可靠的新闻机构的相关新闻。然后，我们培训一个随机森林模型，检查推文的文本内容是否与可信新闻对齐。如果不是，则推文被归类为假。这种方法通常可以应用于任何类型的信息，并且不限于特定的新闻故事或信息类别。我们的实施此方法提供了70美元的$ 70 \％$准确性，这优于其他通用假新闻分类模型。这些结果为假新闻检测提供了更明智和自然的方法。

Convincing people to get vaccinated against COVID-19 is a key societal challenge in the present times. As a first step towards this goal, many prior works have relied on social media analysis to understand the specific concerns that people have towards these vaccines, such as potential side-effects, ineffectiveness, political factors, and so on. Though there are datasets that broadly classify social media posts into Anti-vax and Pro-Vax labels, there is no dataset (to our knowledge) that labels social media posts according to the specific anti-vaccine concerns mentioned in the posts. In this paper, we have curated CAVES, the first large-scale dataset containing about 10k COVID-19 anti-vaccine tweets labelled into various specific anti-vaccine concerns in a multi-label setting. This is also the first multi-label classification dataset that provides explanations for each of the labels. Additionally, the dataset also provides class-wise summaries of all the tweets. We also perform preliminary experiments on the dataset and show that this is a very challenging dataset for multi-label explainable classification and tweet summarization, as is evident by the moderate scores achieved by some state-of-the-art models. Our dataset and codes are available at: https://github.com/sohampoddar26/caves-data

社交媒体平台主持了有关每天出现的各种主题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理此问题的一种常见方法是依靠主题建模，但是使用此技术发现的主题很难解释，并且从语料库到语料库可能会有所不同。在本文中，我们提出了基于推文主题分类的新任务，并发布两个相关的数据集。鉴于涵盖社交媒体中最重要的讨论点的广泛主题，我们提供了最近时间段的培训和测试数据，可用于评估推文分类模型。此外，我们在任务上对当前的通用和领域特定语言模型进行定量评估和分析，这为任务的挑战和性质提供了更多见解。