随着在线错误信息的扩散，假新闻检测在人工智能界中获得了重要性。在本文中，我们提出了一个对抗的基准，测试假新闻探测器对现实世界事实的推理的能力。我们制定针对“了解”的三个方面的对抗性攻击：组成语义，词汇关系和对修饰符的敏感性。我们使用在Liar Arxiv上微调的BERT分类器测试我们的基准测试：ARCH-IVE / 1705648和Kaggle假新闻数据集，并显示两种模型未能响应组成和词汇意义的变化。我们的结果加强了对这些模型的需求与其他事实检查方法一起使用。

假新闻的扩散及其严重的负面社会影响力推动了假新闻检测方法成为网络经理的必要工具。同时，社交媒体的多媒体性质使多模式的假新闻检测因其捕获更多模态特征的能力而受欢迎，而不是单模式检测方法。但是，当前有关多模式检测的文献更有可能追求检测准确性，但忽略了检测器的鲁棒性。为了解决这个问题，我们提出了对多模式假新闻探测器的全面鲁棒性评估。在这项工作中，我们模拟了恶意用户和开发人员的攻击方法，即发布假新闻并注入后门。具体而言，我们使用五种对抗和两种后门攻击方法评估了多模式探测器。实验结果暗示：（1）在对抗攻击下，最先进的检测器的检测性能显着降解，甚至比一般检测器更糟； （2）大多数多模式探测器受到视觉模态的攻击比文本模态更容易受到攻击； （3）当受欢迎的事件的图像在探测器遭受后门攻击时会导致探测器的重大降解； （4）在多模式攻击下这些检测器的性能比在单模式攻击下更糟糕； （5）防御方法将改善多模式探测器的鲁棒性。

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TEXTFOOLER, a simple but strong baseline to generate adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate three advantages of this framework:(1) effective-it outperforms previous attacks by success rate and perturbation rate, (2) utility-preserving-it preserves semantic content, grammaticality, and correct types classified by humans, and (3) efficient-it generates adversarial text with computational complexity linear to the text length. 1

了解文本中表达的态度，也称为姿态检测，在旨在在线检测虚假信息的系统中起重要作用，无论是错误信息（无意的假）或虚假信息（故意错误地蔓延，恶意意图）。姿态检测已经以不同的方式在文献中框架，包括（a）作为事实检查，谣言检测和检测先前的事实检查的权利要求，或（b）作为其自己的任务的组件;在这里，我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测，但诸如论证挖掘和情绪分析之类的其他相关任务，但没有调查姿态检测和错误和缺陷检测之间的关系。在这里，我们的目标是弥合这个差距。特别是，我们在焦点中审查和分析了该领域的现有工作，焦点中的错误和不忠实，然后我们讨论了汲取的经验教训和未来的挑战。

对手示例是对机器学习系统的输入，导致来自该系统的输出不正确。通过这种类型的输入发射的攻击可能导致严重后果：例如，在图像识别领域中，停止信号可以被错误分类为速度限制指示。但是，对抗示例也代表了不同的研究方向的燃料域名和应用程序。在这里，我们概述了如何能够获得有利可图的强大工具，以构建更强大的学习模型，能够更好地攻击，两个关键任务：假新闻和社交机器人检测。

由于在线新闻变得越来越受欢迎和假新闻越来越普遍，审计在线新闻内容的真实性的能力变得比以往任何时候都变得更加重要。这样的任务代表了二进制分类挑战，该挑战是哪些变换器已经实现了最先进的结果。本研究使用公开可用的ISOT和组合的语料库数据集探讨了识别虚假新闻的变形金刚的能力，特别注意，调查具有不同风格，主题和级别分布的看不见的数据集的概念。此外，我们探讨了意见的新闻文章由于其主观性质和经常敏感的语言而无法归类为真实或假的，并提出了一种新颖的两步分类管道，以从模型训练和最终部署的模型训练中删除这些文章推理系统。与基线方法相比，转化概率，转换概率的F1分数增加到4.9％的F1分数增加到4.9％，进一步增加了我们的两步分类管道后进一步增加了10.1％。据我们所知，本研究是第一个调查变压器在这种背景下的概括。

假新闻的迅速增加，这对社会造成重大损害，触发了许多假新闻相关研究，包括开发假新闻检测和事实验证技术。这些研究的资源主要是从Web数据中获取的公共数据集。我们通过三个观点调查了与假新闻研究相关的118个数据集：（1）假新闻检测，（2）事实验证，（3）其他任务;例如，假新闻和讽刺检测分析。我们还详细描述了他们的利用任务及其特征。最后，我们突出了假新闻数据集建设中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集来促进假新闻研究，而无需重新发明轮子，从而提高了深度的假新闻研究。

在过去十年中，假新闻和错误信息变成了一个主要问题，影响了我们生活的不同方面，包括政治和公共卫生。灵感来自自然人类行为，我们提出了一种自动检测假新闻的方法。自然人行为是通过可靠的来源交叉检查新信息。我们使用自然语言处理（NLP）并构建机器学习（ML）模型，可自动执行与一组预定义的可靠源进行交叉检查新信息的过程。我们为Twitter实施了此功能，并构建标记假推送的模型。具体而言，对于给定的推文，我们使用其文本来查找来自可靠的新闻机构的相关新闻。然后，我们培训一个随机森林模型，检查推文的文本内容是否与可信新闻对齐。如果不是，则推文被归类为假。这种方法通常可以应用于任何类型的信息，并且不限于特定的新闻故事或信息类别。我们的实施此方法提供了70美元的$ 70 \％$准确性，这优于其他通用假新闻分类模型。这些结果为假新闻检测提供了更明智和自然的方法。

虽然最近的自动化事实检查的工作主要集中在验证和解释索赔中，但是，索赔清单易于获得，识别文本中的检验值得索赔句仍然具有挑战性。当前索赔识别型号依赖于文本中的每个句子的手动注释，这是一个昂贵的任务，并在多个域频繁地进行挑战。本文探讨了识别假​​新闻文章的识别检验值得索赔句的方法，无论领域如何，都没有明确的句子级注释。我们利用两个内部监控信号 - 标题和抽象摘要 - 基于语义相似性对句子进行排名。我们假设这一排名直接与句子的计数器相关联。为了评估这一假设的有效性，我们构建了利用基于标题或抽象摘要来排名句子的管道。排名排名句子用于证据检索的下游事实检查任务以及管道的物品的准确性预测。我们的研究结果表明，前三名句子包含足够的信息，以获取基于证据的事实检查假新闻文章。我们还表明，虽然标题与事实上检查网站如何写入索赔，但基于摘要的管道对端到端的事实检查系统最有前途的同性。

现在，错误和虚假信息已成为我们安全和安全的全球威胁。为了应对在线错误信息的规模，一个可行的解决方案是通过检索和验证相关证据来自动对索赔进行事实检查。尽管在推动自动事实验证方面取得了最新进展，但仍缺乏对可能针对此类系统的攻击向量的全面评估。特别是，自动化事实验证过程可能容易受到其试图打击的确切虚假信息。在这项工作中，我们假设一个对手可以自动使用在线证据擦洗，以通过伪装相关证据或种植误导性的证据来破坏事实检查模型。我们首先提出了探索性分类法，该分类法涵盖了这两个目标和不同的威胁模型维度。在此指导下，我们设计并提出了几种潜在的攻击方法。我们表明，除了产生多样化和索赔一致的证据之外，还可以在证据中巧妙地修改索赔空位段。结果，我们在分类法的许多不同排列中高度降低了事实检查的表现。这些攻击也对索赔后的事后修改也很强大。我们的分析进一步暗示了在面对矛盾的证据时，模型推断的潜在局限性。我们强调，这些攻击可能会对此类模型的可检查和人类使用情况产生有害的影响，我们通过讨论未来防御的挑战和方向来得出结论。

Adversarial attacks in NLP challenge the way we look at language models. The goal of this kind of adversarial attack is to modify the input text to fool a classifier while maintaining the original meaning of the text. Although most existing adversarial attacks claim to fulfill the constraint of semantics preservation, careful scrutiny shows otherwise. We show that the problem lies in the text encoders used to determine the similarity of adversarial examples, specifically in the way they are trained. Unsupervised training methods make these encoders more susceptible to problems with antonym recognition. To overcome this, we introduce a simple, fully supervised sentence embedding technique called Semantics-Preserving-Encoder (SPE). The results show that our solution minimizes the variation in the meaning of the adversarial examples generated. It also significantly improves the overall quality of adversarial examples, as confirmed by human evaluators. Furthermore, it can be used as a component in any existing attack to speed up its execution while maintaining similar attack success.

近年来，在网上见证了令人反感的内容的泛滥，例如假新闻，宣传，错误信息和虚假信息。虽然最初这主要是关于文本内容，但随着时间的流逝，图像和视频越来越受欢迎，因为它们更容易消费，吸引更多的关注并比文本更广泛地传播。结果，研究人员开始利用不同的方式及其组合来解决在线多模式进攻内容。在这项研究中，我们提供了有关最新的多模式虚假信息检测的调查，该检测涵盖了各种模式组合：文本，图像，语音，视频，社交媒体网络结构和时间信息。此外，尽管有些研究集中于事实，但其他研究调查了内容的有害性。尽管虚假信息定义中的这两个组成部分（i）事实和（ii）有害性同样重要，但通常会孤立地研究它们。因此，我们主张在同一框架中考虑多种方式以及事实和有害性来解决虚假信息检测。最后，我们讨论当前的挑战和未来的研究方向

The spread of misinformation is a prominent problem in today's society, and many researchers in academia and industry are trying to combat it. Due to the vast amount of misinformation that is created every day, it is unrealistic to leave this task to human fact-checkers. Data scientists and researchers have been working on automated misinformation detection for years, and it is still a challenging problem today. The goal of our research is to add a new level to automated misinformation detection; classifying segments of text with persuasive writing techniques in order to produce interpretable reasoning for why an article can be marked as misinformation. To accomplish this, we present a novel annotation scheme containing many common persuasive writing tactics, along with a dataset with human annotations accordingly. For this task, we make use of a RoBERTa model for text classification, due to its high performance in NLP. We develop several language model-based baselines and present the results of our persuasive strategy label predictions as well as the improvements these intermediate labels make in detecting misinformation and producing interpretable results.

大规模的预训练语言模型在广泛的自然语言理解（NLU）任务中取得了巨大的成功，甚至超过人类性能。然而，最近的研究表明，这些模型的稳健性可能受到精心制作的文本对抗例子的挑战。虽然已经提出了几个单独的数据集来评估模型稳健性，但仍缺少原则和全面的基准。在本文中，我们呈现对抗性胶水（AdvGlue），这是一个新的多任务基准，以定量和彻底探索和评估各种对抗攻击下现代大规模语言模型的脆弱性。特别是，我们系统地应用14种文本对抗的攻击方法来构建一个粘合的援助，这是由人类进一步验证的可靠注释。我们的调查结果总结如下。 （i）大多数现有的对抗性攻击算法容易发生无效或暧昧的对手示例，其中大约90％的含量改变原始语义含义或误导性的人的注册人。因此，我们执行仔细的过滤过程来策划高质量的基准。 （ii）我们测试的所有语言模型和强大的培训方法在AdvGlue上表现不佳，差价远远落后于良性准确性。我们希望我们的工作能够激励开发新的对抗攻击，这些攻击更加隐身，更加统一，以及针对复杂的对抗性攻击的新强大语言模型。 Advglue在https://adversarialglue.github.io提供。

媒体报道对公众对事件的看法具有重大影响。尽管如此，媒体媒体经常有偏见。偏见新闻文章的一种方法是改变选择一词。通过单词选择对偏见的自动识别是具有挑战性的，这主要是由于缺乏黄金标准数据集和高环境依赖性。本文介绍了Babe，这是由训练有素的专家创建的强大而多样化的数据集，用于媒体偏见研究。我们还分析了为什么专家标签在该域中至关重要。与现有工作相比，我们的数据集提供了更好的注释质量和更高的通知者协议。它由主题和插座之间平衡的3,700个句子组成，其中包含单词和句子级别上的媒体偏见标签。基于我们的数据，我们还引入了一种自动检测新闻文章中偏见的句子的方法。我们最佳性能基于BERT的模型是在由遥远标签组成的较大语料库中进行预训练的。对我们提出的监督数据集进行微调和评估模型，我们达到了0.804的宏F1得分，表现优于现有方法。

最近的研究表明，预训练的语言模型（LMS）容易受到文本对抗性攻击的影响。但是，现有的攻击方法要么遭受低攻击成功率，要么无法在指数级的扰动空间中有效搜索。我们提出了一个有效有效的框架Semattack，以通过构建不同的语义扰动函数来生成自然的对抗文本。特别是，Semattack优化了对通用语义空间约束的生成的扰动，包括错字空间，知识空间（例如WordNet），上下文化的语义空间（例如，BERT群集的嵌入空间）或这些空间的组合。因此，生成的对抗文本在语义上更接近原始输入。广泛的实验表明，最新的（SOTA）大规模LMS（例如Deberta-V2）和国防策略（例如Freelb）仍然容易受到Semattack的影响。我们进一步证明，Semattack是一般的，并且能够为具有较高攻击成功率的不同语言（例如英语和中文）生成自然的对抗文本。人类评估还证实，我们产生的对抗文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/ai-secure/semattack上公开获取。

自然语言处理的最新进展在文本分析和语言理解模型中产生了许多令人兴奋的发展。但是，这些模型也可以用于跟踪人们，引起严重的隐私问题。在这项工作中，我们调查了个人可以在使用社交媒体平台时避免被这些模型检测到的事情。我们将调查在两项曝光危险任务，立场检测和地理标记中进行。我们探索了各种用于修改文本的简单技术，例如用显着词，​​释义和添加虚拟社交媒体帖子插入错别字。我们的实验表明，基于BERT的模型的性能因错别字而被罚款以进行立场检测，但不受释义的影响。此外，我们发现错别字对最先进的地理参考模型的影响最小，因为它们对社交网络的依赖增加了。但是，我们表明用户可以通过与不同的用户互动来欺骗这些模型，从而将其绩效降低了近50％。

数据增强是通过转换为机器学习的人工创建数据的人工创建，是一个跨机器学习学科的研究领域。尽管它对于增加模型的概括功能很有用，但它还可以解决许多其他挑战和问题，从克服有限的培训数据到正规化目标到限制用于保护隐私的数据的数量。基于对数据扩展的目标和应用的精确描述以及现有作品的分类法，该调查涉及用于文本分类的数据增强方法，并旨在为研究人员和从业者提供简洁而全面的概述。我们将100多种方法划分为12种不同的分组，并提供最先进的参考文献来阐述哪种方法可以通过将它们相互关联，从而阐述了哪种方法。最后，提供可能构成未来工作的基础的研究观点。

我们研究了检查问题的事实，旨在识别给定索赔的真实性。具体而言，我们专注于事实提取和验证（发烧）及其伴随数据集的任务。该任务包括从维基百科检索相关文件（和句子）并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要，可以是假新闻检测和医疗索赔验证等应用程序块。在本文中，我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果，描述了所提出的方法，这是最熟悉的和正式结构化的数据集，就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明，采样负句对于提高性能并降低计算复杂性很重要。最后，我们描述了开放的问题和未来的挑战，我们激励了未来的任务研究。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。