关于社交媒体的虚假医疗信息对人们的健康构成伤害。尽管近年来已经认识到对生物医学事实检查的需求，但用户生成的医疗内容受到了相当少的关注。同时，其他文本类型的模型可能不可重复使用，因为他们接受过培训的说法大不相同。例如，Scifact数据集中的主张是简短而专注的：“与抗抑郁药相关的副作用会增加中风的风险”。相比之下，社交媒体持有自然存在的主张，经常嵌入其他背景下：``如果您服用像SSRI这样的抗抑郁药，您可能会有一种称为5-羟色胺综合征'5-羟色胺'5-羟色胺'的风险。2010年几乎杀死了我。和癫痫发作。”这展示了现实世界中医学主张与现有事实检查系统所期望的输入之间的不匹配。为了使用户生成的内容可通过现有模型来检查，我们建议以这样的方式对社交媒体的输入进行重新重新制定，以使所产生的索赔模仿已建立的数据集中的索赔特征。为此，我们的方法借助关系实体信息将主张凝结，并将索赔从实体关联 - 实体三重汇编中汇编，或者提取包含这些元素的最短短语。我们表明，重新计算的输入改善了各种事实检查模型的性能，而不是整体检查推文文本。

假新闻的迅速增加，这对社会造成重大损害，触发了许多假新闻相关研究，包括开发假新闻检测和事实验证技术。这些研究的资源主要是从Web数据中获取的公共数据集。我们通过三个观点调查了与假新闻研究相关的118个数据集：（1）假新闻检测，（2）事实验证，（3）其他任务;例如，假新闻和讽刺检测分析。我们还详细描述了他们的利用任务及其特征。最后，我们突出了假新闻数据集建设中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集来促进假新闻研究，而无需重新发明轮子，从而提高了深度的假新闻研究。

我们介绍了用于科学索赔核查的龙头克切者系统。鉴于科学索赔和含证据的研究摘要，Longchecker预测了一种可靠的标签，并根据索赔和摘要的共享编码，以多任务方式识别支持的基本原理。我们在SCIFact DataSet上执行实验，并发现Longchecker实现了最先进的性能。我们进行分析以了解这种改进的来源，并发现识别声明与报告科学发现之间的关系往往需要了解出现理由的背景。通过根据所有可用上下文进行标记决策，Longchecker在需要这种类型理解的情况下实现更好的性能。此外，我们表明LongChecker能够利用弱域内数据来利用弱势域数据，以方便为科学索赔核查的少量域适应。

由于信息和错误信息都可以在现代媒体生态系统中传播的速度，事实检查变得越来越重要。因此，研究人员一直在探索如何自动检查，使用基于自然语言处理，机器学习，知识表示以及数据库来自动检查的技术，以自动预测所称的索赔的真实性。在本文中，我们从自然语言处理中调查了自动检查源，并讨论其与相关任务和学科的联系。在此过程中，我们概述了现有数据集和模型，旨在统一给出的各种定义和识别共同概念。最后，我们突出了未来研究的挑战。

了解文本中表达的态度，也称为姿态检测，在旨在在线检测虚假信息的系统中起重要作用，无论是错误信息（无意的假）或虚假信息（故意错误地蔓延，恶意意图）。姿态检测已经以不同的方式在文献中框架，包括（a）作为事实检查，谣言检测和检测先前的事实检查的权利要求，或（b）作为其自己的任务的组件;在这里，我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测，但诸如论证挖掘和情绪分析之类的其他相关任务，但没有调查姿态检测和错误和缺陷检测之间的关系。在这里，我们的目标是弥合这个差距。特别是，我们在焦点中审查和分析了该领域的现有工作，焦点中的错误和不忠实，然后我们讨论了汲取的经验教训和未来的挑战。

我们研究了检查问题的事实，旨在识别给定索赔的真实性。具体而言，我们专注于事实提取和验证（发烧）及其伴随数据集的任务。该任务包括从维基百科检索相关文件（和句子）并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要，可以是假新闻检测和医疗索赔验证等应用程序块。在本文中，我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果，描述了所提出的方法，这是最熟悉的和正式结构化的数据集，就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明，采样负句对于提高性能并降低计算复杂性很重要。最后，我们描述了开放的问题和未来的挑战，我们激励了未来的任务研究。

索赔检测和验证对于新闻认识至关重要，并且已成为有前途的技术，以减轻新闻中的错误信息。然而，大多数现有的工作侧重于索赔句子的分析，同时俯瞰关键背景属性，例如索引者，声称对象和连接到索赔的其他知识。在这项工作中，我们提供了新闻本，新的基准，了解新闻领域的知识意识索赔检测。我们重新定义了索赔探测问题，包括提取与索赔相关的附加背景属性，并发布529索赔由103个新闻文章提示。此外，报讯人旨在在新兴场景中索取索赔检测系统，包括不少培训数据的看不见的主题。最后，我们对这款新基准测试提供了对各种零射和及时的基础基准的全面评估。

Social media has been one of the main information consumption sources for the public, allowing people to seek and spread information more quickly and easily. However, the rise of various social media platforms also enables the proliferation of online misinformation. In particular, misinformation in the health domain has significant impacts on our society such as the COVID-19 infodemic. Therefore, health misinformation in social media has become an emerging research direction that attracts increasing attention from researchers of different disciplines. Compared to misinformation in other domains, the key differences of health misinformation include the potential of causing actual harm to humans' bodies and even lives, the hardness to identify for normal people, and the deep connection with medical science. In addition, health misinformation on social media has distinct characteristics from conventional channels such as television on multiple dimensions including the generation, dissemination, and consumption paradigms. Because of the uniqueness and importance of combating health misinformation in social media, we conduct this survey to further facilitate interdisciplinary research on this problem. In this survey, we present a comprehensive review of existing research about online health misinformation in different disciplines. Furthermore, we also systematically organize the related literature from three perspectives: characterization, detection, and intervention. Lastly, we conduct a deep discussion on the pressing open issues of combating health misinformation in social media and provide future directions for multidisciplinary researchers.

事实核对是打击在线错误信息方面的有效解决方案之一。但是，传统的事实检查是一个需要稀缺专家人力资源的过程，因此由于要检查新内容的持续流动，因此在社交媒体上并不能很好地扩展。已经提出了基于众包的方法来应对这一挑战，因为它们可以以较小的成本进行扩展，但是尽管它们证明是可行的，但一直在受控环境中进行研究。在这项工作中，我们研究了在BirdWatch计划的Twitter启动的，在实践中部署的众包事实检查的第一个大规模努力。我们的分析表明，在某些情况下，众包可能是一种有效的事实检查策略，甚至可以与人类专家获得的结果相媲美，但不会导致其他人的一致，可行的结果。我们处理了BirdWatch计划验证的11.9k推文，并报告了i）人群和专家如何选择内容的内容的差异，ii）ii）人群和专家如何将不同的资源检索到事实检查，以及III ）与专家检查员相比，人群在事实检查可伸缩性和效率方面所显示的优势。

作为在线话语的一部分，科学主题，主张和资源越来越多地辩论，其中的重要例子包括与19岁或气候变化有关的话语。这既导致了重大的社会影响，又增加了对来自各个学科的科学在线话语的兴趣。例如，沟通研究旨在更深入地了解科学信息的偏见，质量或传播模式，而计算方法已提出使用NLP和IR技术提取，分类或验证科学主张。但是，目前跨学科的研究既缺乏对科学相关性的各种形式的强大定义，也缺乏适当的基础真理数据来区分它们。在这项工作中，我们为（a）贡献了一个注释框架和针对推文中在线话语不同形式的科学相关性的相应定义，（b）通过我们的标签框架获得的1261个推文的专家注释的数据集，达到了平均的fleiss kappa $ \ \ \\ Kappa $为0.63，（c）对我们的数据进行培训的多标签分类器，能够以89％的F1检测与科学相关性，并且还能够检测出不同形式的科学知识（主张，参考文献）。通过这项工作，我们旨在为开发和评估可靠的方法以分析科学作为大规模在线话语的一部分而奠定基础。

We present a human-in-the-loop evaluation framework for fact-checking novel misinformation claims and identifying social media messages that violate relevant policies. Our approach extracts structured representations of check-worthy claims, which are aggregated and ranked for review. Stance classifiers are then used to identify tweets supporting novel misinformation claims, which are further reviewed to determine whether they violate relevant policies. To demonstrate the feasibility of our approach, we develop a baseline system based on modern NLP methods for human-in-the-loop fact-checking in the domain of COVID-19 treatments. Using our baseline system, we show that human fact-checkers can identify 124 tweets per hour that violate Twitter's policies on COVID-19 misinformation. We will make our code, data, and detailed annotation guidelines available to support the evaluation of human-in-the-loop systems that identify novel misinformation directly from raw user-generated content.

在社交媒体上的工作谣言验证利用了帖子，传播和所涉及的用户的信号。基于Wikipedia的信息或值得信赖的新闻文章而无需考虑社交媒体环境，其他工作目标是识别和核实事实检查的主张。但是，缺乏将社交媒体的信息与更广泛网络的外部证据相结合的工作。为了促进这个方向的研究，我们发布了一个新颖的数据集Phemeplus，Phemeplus是Pheme基准的扩展，该数据集包含社交媒体对话以及每个谣言的相关外部证据。我们证明了将这种证据纳入改进谣言验证模型的有效性。此外，作为证据收集的一部分，我们评估了各种查询公式的方法，以识别最有效的方法。

自动索赔检查是确定在值得信赖的事实知识库中发现的索赔的真实性的任务。虽然以前的工作已经使知识库进行了优化的索赔管道，但我们采取了相反的方法 - 浏览管道，我们探索知识库的选择。我们的第一洞察力是，可以将索赔管道转移到索赔的新域，该索赔具有访问来自新域的知识库。其次，我们找不到“普遍存在最好的”知识库 - 任务数据集的更高域重叠，并且知识库往往会产生更好的标签精度。第三，组合多个知识库不倾向于使用最近域知识库改善超出性能。最后，我们表明，即使在没有地面真理标签的情况下，也可以使用这些索赔管道的选择证据的置信度分数来评估知识库是否会对新的索赔进行良好。

In this paper we introduce a new publicly available dataset for verification against textual sources, FEVER: Fact Extraction and VERification. It consists of 185,445 claims generated by altering sentences extracted from Wikipedia and subsequently verified without knowledge of the sentence they were derived from.The claims are classified as SUPPORTED, RE-FUTED or NOTENOUGHINFO by annotators achieving 0.6841 in Fleiss κ. For the first two classes, the annotators also recorded the sentence(s) forming the necessary evidence for their judgment. To characterize the challenge of the dataset presented, we develop a pipeline approach and compare it to suitably designed oracles. The best accuracy we achieve on labeling a claim accompanied by the correct evidence is 31.87%, while if we ignore the evidence we achieve 50.91%. Thus we believe that FEVER is a challenging testbed that will help stimulate progress on claim verification against textual sources.

社交媒体平台已成为反社会元素的新战场，错误信息是首选的武器。事实核对组织试图在忠于其新闻流程的同时揭露尽可能多的主张，但不能应付其快速传播。我们认为，解决方案在于对事实检查生命周期的部分自动化，从而节省了需要高认知的任务的人类时间。我们提出了一个新的工作流程，以有效地检测到以前的事实检查的主张，该主张使用抽象性摘要来产生清晰的查询。然后可以在与以前事实检查的索赔集合相关的通用检索系统上执行这些查询。我们策划了一个抽象的文本摘要数据集，其中包括Twitter及其黄金摘要的嘈杂主张。结果表明，与逐字查询相比，通过使用流行的开箱即用摘要模型，通过使用流行的开箱即用摘要模型来改善2倍和3倍。我们的方法召回@5和35％和0.3的MRR，而基线值分别为10％和0.1。我们的数据集，代码和模型可公开使用：https：//github.com/varadhbhatnagar/fc-claim-det/

自2020年初以来，Covid-19-19造成了全球重大影响。这给社会带来了很多困惑，尤其是由于错误信息通过社交媒体传播。尽管已经有几项与在社交媒体数据中发现错误信息有关的研究，但大多数研究都集中在英语数据集上。印度尼西亚的COVID-19错误信息检测的研究仍然很少。因此，通过这项研究，我们收集和注释印尼语的数据集，并通过考虑该推文的相关性来构建用于检测COVID-19错误信息的预测模型。数据集构造是由一组注释者进行的，他们标记了推文数据的相关性和错误信息。在这项研究中，我们使用印度培训预培训的语言模型提出了两阶段分类器模型，以进行推文错误信息检测任务。我们还尝试了其他几种基线模型进行文本分类。实验结果表明，对于相关性预测，BERT序列分类器的组合和用于错误信息检测的BI-LSTM的组合优于其他机器学习模型，精度为87.02％。总体而言，BERT利用率有助于大多数预测模型的更高性能。我们发布了高质量的Covid-19错误信息推文语料库，用高通道一致性表示。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

关于比较治疗效果的最佳证据来自临床试验，其结果在非结构化的文章中据报道。医疗专家必须手动提取文章中的信息以告知决策，这是耗时和昂贵的。在这里，我们考虑（a）从描述临床试验（实体识别）的全文物品中提取治疗和结果的端到端任务，（b）推断前者的报告结果（关系萃取）。我们为此任务介绍了新数据，并评估最近在自然语言处理中获得类似任务的最先进结果的模型。然后，我们提出了一种新的方法，激励了通常介绍了如何呈现这些纯粹数据驱动的基线的试验结果。最后，我们对该模型进行了一定的评估，并具有非营利性寻求鉴定可能重新用癌症的现有药物，显示出端到端证据提取系统的潜在效用。

疫苗疗效的巨大希望最近成为对抗Covid-19大流行的成功现实。然而，疫苗犹豫不决，通过暴露于社交媒体错误信息，关于Covid-19疫苗成为一个主要的障碍。因此，必须自动检测关于社交媒体上的Covid-19疫苗的误导，讨论了什么样的错误信息，使得接种干预可以在正确的时间和正确的地方交付，除了设计的干预措施解决疫苗犹豫不决。本文正在解决对Covid-19疫苗犹豫不决的第一步，即自动检测关于Twitter上的疫苗的已知错误信息，社交媒体平台具有最高的Covid-19及其疫苗的对话。我们呈现Covaxlies，推文的新数据集判断与关于Covid-19疫苗的几个错误信息靶标相关，其中开发了一种新的检测错误信息的方法。我们的方法在错误信息知识图中组织了Covaxlies，因为它将错误信息检测作为图形链路预测问题。本文详述的错误信息检测方法利用了多种知识嵌入方法提供的链路评分功能。实验结果表明，与基于分类的方法相比，该方法的优越性，目前广泛使用。

在过去十年中，假新闻和错误信息变成了一个主要问题，影响了我们生活的不同方面，包括政治和公共卫生。灵感来自自然人类行为，我们提出了一种自动检测假新闻的方法。自然人行为是通过可靠的来源交叉检查新信息。我们使用自然语言处理（NLP）并构建机器学习（ML）模型，可自动执行与一组预定义的可靠源进行交叉检查新信息的过程。我们为Twitter实施了此功能，并构建标记假推送的模型。具体而言，对于给定的推文，我们使用其文本来查找来自可靠的新闻机构的相关新闻。然后，我们培训一个随机森林模型，检查推文的文本内容是否与可信新闻对齐。如果不是，则推文被归类为假。这种方法通常可以应用于任何类型的信息，并且不限于特定的新闻故事或信息类别。我们的实施此方法提供了70美元的$ 70 \％$准确性，这优于其他通用假新闻分类模型。这些结果为假新闻检测提供了更明智和自然的方法。