现有的假新闻检测方法旨在将新闻分类为真或错误,并提供真实的解释,从而实现出色的表现。但是,他们经常根据有限的新闻报道和揭穿延误来定制手动事实检查报告的自动解决方案。如果尚未对一段新闻进行事实检查或揭穿事实,通常会在各种媒体上传播一定数量的相关原始报告,其中包含人群的智慧来验证新闻声明并解释其判决。在本文中,我们提出了一个新颖的粗到十五级别的级联证据依据(COFCED)神经网络,以根据此类原始报告来解释假新闻检测,从而减轻了对事实检查的依赖性。具体而言,我们首先使用层次结构编码器来用于Web文本表示,然后开发两个级联的选择器,以粗略至上的方式在所选的Top-K报告之上选择最可解释的句子。此外,我们构建了两个可解释的假新闻数据集,这些数据集可公开使用。实验结果表明,我们的模型显着优于最先进的基线,并从不同的评估角度产生高质量的解释。
translated by 谷歌翻译
事实检查系统已成为验证假冒误导性新闻的重要工具。当人类可读的解释陪真实性标签,这些系统变得更值得信赖。然而,这样的解释人工收集是昂贵的和耗时的。最近的作品帧解释代采掘总结,并提出从专业记者的执政评论(RCS)自动选择最重要的事实有足够的子集,以获得事实查证的解释。然而,这些解释缺乏流畅性和连贯的句子。在这项工作中,我们提出了一个迭代编辑为基础的算法只使用短语级的编辑进行断开驻地协调员监督的后期编辑。为了规范我们的加工算法,我们使用的组件,包括流畅性和语义保留一个计分函数。此外,我们显示我们的方法在完全无人监管环境的适用性。我们有两个标准数据集实验,LIAR-PLUS和PubHealth。我们表明,我们的模型生成的流畅,可读性强,非冗余的解释,并覆盖的事实检查的重要信息。
translated by 谷歌翻译
我们研究了检查问题的事实,旨在识别给定索赔的真实性。具体而言,我们专注于事实提取和验证(发烧)及其伴随数据集的任务。该任务包括从维基百科检索相关文件(和句子)并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要,可以是假新闻检测和医疗索赔验证等应用程序块。在本文中,我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果,描述了所提出的方法,这是最熟悉的和正式结构化的数据集,就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明,采样负句对于提高性能并降低计算复杂性很重要。最后,我们描述了开放的问题和未来的挑战,我们激励了未来的任务研究。
translated by 谷歌翻译
已经过了事实检查的虚假声明仍可在社交媒体上传播。为了缓解他们的持续传播,检测先前的事实检查的索赔是必不可少的。鉴于索赔,现有的工作侧重于提供由BM25检索的重新登录候选事实检查文章(FC-Temericles)进行检测的证据。然而,这些性能可能受到限制,因为它们忽略了FC-asticles的以下特征:(1)通常引用权利要求以描述所检查的事件,除了语义之外提供词法信息; (2)介绍或揭露索赔的句子模板在文章中是常见的,提供模式信息。忽略两个方面的模型仅利用语义相关性,并且可能被描述类似但无关事件的句子误导。在本文中,我们提出了一种新颖的Reranker,MTM(用于匹配的内存增强的变压器)来使用与事件(词汇和语义)和模式信息选择的关键句子进行排序FC-Tressiple。对于活动信息,我们提出了一个胭脂引导的变压器,胭脂了胭脂回归。对于模式信息,我们生成用于与句子匹配的模式向量。通过定影事件和模式信息,我们选择关键句子来表示文章,然后使用索赔,密钥句子和模式检查文章事实是否检查给定的索赔。两个真实数据集的实验表明MTM优于现有方法。人类评估证明,MTM可以捕获用于解释的关键句子。代码和数据集是https://github.com/ictmcg/mtm。
translated by 谷歌翻译
现有以查询为中心的摘要数据集的大小有限,使培训数据驱动的摘要模型提出了挑战。同时,以查询为重点的摘要语料库的手动构造昂贵且耗时。在本文中,我们使用Wikipedia自动收集超过280,000个示例的大型以查询为中心的摘要数据集(名为Wikiref),这可以用作数据增强的手段。我们还开发了一个基于BERT的以查询为重点的摘要模型(Q-bert),以从文档中提取句子作为摘要。为了更好地调整包含数百万个参数的巨大模型,我们仅识别和微调一个稀疏的子网络,这对应于整个模型参数的一小部分。三个DUC基准测试的实验结果表明,在Wikiref中预先培训的模型已经达到了合理的性能。在对特定基准数据集进行了微调后,具有数据增强的模型优于强大比较系统。此外,我们提出的Q-Bert模型和子网微调都进一步改善了模型性能。该数据集可在https://aka.ms/wikiref上公开获取。
translated by 谷歌翻译
Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.
translated by 谷歌翻译
Convincing people to get vaccinated against COVID-19 is a key societal challenge in the present times. As a first step towards this goal, many prior works have relied on social media analysis to understand the specific concerns that people have towards these vaccines, such as potential side-effects, ineffectiveness, political factors, and so on. Though there are datasets that broadly classify social media posts into Anti-vax and Pro-Vax labels, there is no dataset (to our knowledge) that labels social media posts according to the specific anti-vaccine concerns mentioned in the posts. In this paper, we have curated CAVES, the first large-scale dataset containing about 10k COVID-19 anti-vaccine tweets labelled into various specific anti-vaccine concerns in a multi-label setting. This is also the first multi-label classification dataset that provides explanations for each of the labels. Additionally, the dataset also provides class-wise summaries of all the tweets. We also perform preliminary experiments on the dataset and show that this is a very challenging dataset for multi-label explainable classification and tweet summarization, as is evident by the moderate scores achieved by some state-of-the-art models. Our dataset and codes are available at: https://github.com/sohampoddar26/caves-data
translated by 谷歌翻译
学术研究是解决以前从未解决过的问题的探索活动。通过这种性质,每个学术研究工作都需要进行文献审查,以区分其Novelties尚未通过事先作品解决。在自然语言处理中,该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表,自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的,但直到最近,它被认为是作为科学多文件摘要问题的变种。然而,即使在今天,尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中,我们进行了一个元研究,从问题制定,数据集收集,方法方法,绩效评估和未来前景的角度来比较相关工作的现有文献,以便为读者洞察到国家的进步 - 最内容的研究,以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。
translated by 谷歌翻译
虽然最近的自动化事实检查的工作主要集中在验证和解释索赔中,但是,索赔清单易于获得,识别文本中的检验值得索赔句仍然具有挑战性。当前索赔识别型号依赖于文本中的每个句子的手动注释,这是一个昂贵的任务,并在多个域频繁地进行挑战。本文探讨了识别假​​新闻文章的识别检验值得索赔句的方法,无论领域如何,都没有明确的句子级注释。我们利用两个内部监控信号 - 标题和抽象摘要 - 基于语义相似性对句子进行排名。我们假设这一排名直接与句子的计数器相关联。为了评估这一假设的有效性,我们构建了利用基于标题或抽象摘要来排名句子的管道。排名排名句子用于证据检索的下游事实检查任务以及管道的物品的准确性预测。我们的研究结果表明,前三名句子包含足够的信息,以获取基于证据的事实检查假新闻文章。我们还表明,虽然标题与事实上检查网站如何写入索赔,但基于摘要的管道对端到端的事实检查系统最有前途的同性。
translated by 谷歌翻译
多文件摘要(MDS)是信息聚合的有效工具,它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是,首先,系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学,总结神经网络的设计策略,并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后,我们提出了与这个新的和令人兴奋的领域有关的几个方向。
translated by 谷歌翻译
了解文本中表达的态度,也称为姿态检测,在旨在在线检测虚假信息的系统中起重要作用,无论是错误信息(无意的假)或虚假信息(故意错误地蔓延,恶意意图)。姿态检测已经以不同的方式在文献中框架,包括(a)作为事实检查,谣言检测和检测先前的事实检查的权利要求,或(b)作为其自己的任务的组件;在这里,我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测,但诸如论证挖掘和情绪分析之类的其他相关任务,但没有调查姿态检测和错误和缺陷检测之间的关系。在这里,我们的目标是弥合这个差距。特别是,我们在焦点中审查和分析了该领域的现有工作,焦点中的错误和不忠实,然后我们讨论了汲取的经验教训和未来的挑战。
translated by 谷歌翻译
由于信息和错误信息都可以在现代媒体生态系统中传播的速度,事实检查变得越来越重要。因此,研究人员一直在探索如何自动检查,使用基于自然语言处理,机器学习,知识表示以及数据库来自动检查的技术,以自动预测所称的索赔的真实性。在本文中,我们从自然语言处理中调查了自动检查源,并讨论其与相关任务和学科的联系。在此过程中,我们概述了现有数据集和模型,旨在统一给出的各种定义和识别共同概念。最后,我们突出了未来研究的挑战。
translated by 谷歌翻译
诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中,以封装最重要的信息,从而在帮助读者的理解中很重要。最近,随着神经体系结构的出现,已经做出了重大的研究工作,以推动自动文本摘要系统,以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中,我们提供了有关长期文档摘要的研究的全面概述,以及其研究环境的三个主要组成部分的系统评估:基准数据集,汇总模型和评估指标。对于每个组成部分,我们在长期汇总的背景下组织文献,并进行经验分析,以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征,摘要模型的多维分析以及摘要评估指标的综述。根据总体发现,我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。
translated by 谷歌翻译
Text summarization is a user-preference based task, i.e., for one document, users often have different priorities for summary. As a key aspect of customization in summarization, granularity is used to measure the semantic coverage between the summary and source document. However, developing systems that can generate summaries with customizable semantic coverage is still an under-explored topic. In this paper, we propose the first unsupervised multi-granularity summarization framework, GranuSum. We take events as the basic semantic units of the source documents and propose to rank these events by their salience. We also develop a model to summarize input documents with given events as anchors and hints. By inputting different numbers of events, GranuSum is capable of producing multi-granular summaries in an unsupervised manner. Meanwhile, we annotate a new benchmark GranuDUC that contains multiple summaries at different granularities for each document cluster. Experimental results confirm the substantial superiority of GranuSum on multi-granularity summarization over strong baselines. Further, by exploiting the event information, GranuSum also exhibits state-of-the-art performance under the conventional unsupervised abstractive setting. Dataset for this paper can be found at: https://github.com/maszhongming/GranuDUC
translated by 谷歌翻译
假新闻的迅速增加,这对社会造成重大损害,触发了许多假新闻相关研究,包括开发假新闻检测和事实验证技术。这些研究的资源主要是从Web数据中获取的公共数据集。我们通过三个观点调查了与假新闻研究相关的118个数据集:(1)假新闻检测,(2)事实验证,(3)其他任务;例如,假新闻和讽刺检测分析。我们还详细描述了他们的利用任务及其特征。最后,我们突出了假新闻数据集建设中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集来促进假新闻研究,而无需重新发明轮子,从而提高了深度的假新闻研究。
translated by 谷歌翻译
假新闻的检测往往需要复杂的推理技能,例如通过考虑单词级微妙的线索来逻辑地结合信息。在本文中,我们通过更好地反映人类思维的逻辑流程并实现微妙的线索建模,迈向假新闻检测的微粒推理。特别是,我们通过遵循人类信息处理模型提出了一种细粒度的推理框架,引入了一种基于互连的方法,以结合人类了解哪些证据更重要,并设计了一个先知的双通道内核图网络模拟证据之间的微妙差异。广泛的实验表明,我们的模型优于最先进的方法,并展示了我们的方法的解释性。
translated by 谷歌翻译
Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.
translated by 谷歌翻译
虽然维基百科已被用于事实检查和索赔对揭露错误信息和欺骗的核查,但对于改善物质质量并排除嘈杂的文章至关重要。自我矛盾是维基百科的低质量文章类型。在这项工作中,我们提出了一种检测维基百科的自我矛盾物品的任务。基于“自相矛盾”模板,我们为自矛行检测任务创建了一个新型数据集。传统的矛盾检测侧重于比较句子或权利要求的对,但是自矛行检测需要进一步原因是文章的语义,并同时学习来自所有句子对的矛盾感知比较。因此,我们介绍了第一型号,成对矛盾神经网络(PCNN),不仅有效地识别自矛盾物品,而且还突出了最矛盾的矛盾句。 PCNN的主要思想是两倍。首先,为了减轻数据稀缺对自矛盾物品的影响,我们使用SNLI和MNLI基准预先列车成对矛盾学习模块。其次,我们选择具有最高矛盾概率值的Top-K句子对,并模拟它们的相关性,以确定相应的文章是否属于自矛盾。在拟议的Wikicontradictication数据集上进行的实验表明,PCNN可以产生有希望的性能并全面地突出句子对矛盾定位。
translated by 谷歌翻译
社交媒体平台上的假新闻,误导和无法验证的事实宣传了不和谐,影响社会,特别是在处理像Covid-19这样的流行病时。假新闻检测的任务旨在通过将新闻项目分类为假或真实的新闻项目来解决这种错误信息的影响。在本文中,我们提出了一种新的方法,通过自动收集每个索赔的证据来改善目前的自动自动假新闻检测方法。我们的方法从Web艺术品中提取支持证据,然后选择待视为证据组的适当文本。我们在这些证据组上使用预先训练的摘要,然后使用提取的摘要作为支持证据来帮助分类任务。我们的实验,使用机器学习和基于深度学习的方法,有助于对我们的方法进行广泛的评估。结果表明,我们的方法优于假新闻检测中的最先进方法,以在为约束-2021共享任务提供的数据集中实现99.25的F1分数。我们还释放了任何进一步研究的增强数据集,我们的代码和模型。
translated by 谷歌翻译
近年来,人们对开发自然语言处理(NLP)中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能,例如对于模型预测而言重要的单词或短语。然而,在NLP中开发的神经模型通常以层次结构的方式构成单词语义,文本分类需要层次建模来汇总本地信息,以便处理主题和标签更有效地转移。因此,单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器,称为提示,该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别,而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明,我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果,并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。
translated by 谷歌翻译