大规模的预训练语言模型在广泛的自然语言理解（NLU）任务中取得了巨大的成功，甚至超过人类性能。然而，最近的研究表明，这些模型的稳健性可能受到精心制作的文本对抗例子的挑战。虽然已经提出了几个单独的数据集来评估模型稳健性，但仍缺少原则和全面的基准。在本文中，我们呈现对抗性胶水（AdvGlue），这是一个新的多任务基准，以定量和彻底探索和评估各种对抗攻击下现代大规模语言模型的脆弱性。特别是，我们系统地应用14种文本对抗的攻击方法来构建一个粘合的援助，这是由人类进一步验证的可靠注释。我们的调查结果总结如下。 （i）大多数现有的对抗性攻击算法容易发生无效或暧昧的对手示例，其中大约90％的含量改变原始语义含义或误导性的人的注册人。因此，我们执行仔细的过滤过程来策划高质量的基准。 （ii）我们测试的所有语言模型和强大的培训方法在AdvGlue上表现不佳，差价远远落后于良性准确性。我们希望我们的工作能够激励开发新的对抗攻击，这些攻击更加隐身，更加统一，以及针对复杂的对抗性攻击的新强大语言模型。 Advglue在https://adversarialglue.github.io提供。

最近的研究表明，预训练的语言模型（LMS）容易受到文本对抗性攻击的影响。但是，现有的攻击方法要么遭受低攻击成功率，要么无法在指数级的扰动空间中有效搜索。我们提出了一个有效有效的框架Semattack，以通过构建不同的语义扰动函数来生成自然的对抗文本。特别是，Semattack优化了对通用语义空间约束的生成的扰动，包括错字空间，知识空间（例如WordNet），上下文化的语义空间（例如，BERT群集的嵌入空间）或这些空间的组合。因此，生成的对抗文本在语义上更接近原始输入。广泛的实验表明，最新的（SOTA）大规模LMS（例如Deberta-V2）和国防策略（例如Freelb）仍然容易受到Semattack的影响。我们进一步证明，Semattack是一般的，并且能够为具有较高攻击成功率的不同语言（例如英语和中文）生成自然的对抗文本。人类评估还证实，我们产生的对抗文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/ai-secure/semattack上公开获取。

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TEXTFOOLER, a simple but strong baseline to generate adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate three advantages of this framework:(1) effective-it outperforms previous attacks by success rate and perturbation rate, (2) utility-preserving-it preserves semantic content, grammaticality, and correct types classified by humans, and (3) efficient-it generates adversarial text with computational complexity linear to the text length. 1

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

Robustness evaluation against adversarial examples has become increasingly important to unveil the trustworthiness of the prevailing deep models in natural language processing (NLP). However, in contrast to the computer vision domain where the first-order projected gradient descent (PGD) is used as the benchmark approach to generate adversarial examples for robustness evaluation, there lacks a principled first-order gradient-based robustness evaluation framework in NLP. The emerging optimization challenges lie in 1) the discrete nature of textual inputs together with the strong coupling between the perturbation location and the actual content, and 2) the additional constraint that the perturbed text should be fluent and achieve a low perplexity under a language model. These challenges make the development of PGD-like NLP attacks difficult. To bridge the gap, we propose TextGrad, a new attack generator using gradient-driven optimization, supporting high-accuracy and high-quality assessment of adversarial robustness in NLP. Specifically, we address the aforementioned challenges in a unified optimization framework. And we develop an effective convex relaxation method to co-optimize the continuously-relaxed site selection and perturbation variables and leverage an effective sampling method to establish an accurate mapping from the continuous optimization variables to the discrete textual perturbations. Moreover, as a first-order attack generation method, TextGrad can be baked into adversarial training to further improve the robustness of NLP models. Extensive experiments are provided to demonstrate the effectiveness of TextGrad not only in attack generation for robustness evaluation but also in adversarial defense.

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

Adversarial attacks in NLP challenge the way we look at language models. The goal of this kind of adversarial attack is to modify the input text to fool a classifier while maintaining the original meaning of the text. Although most existing adversarial attacks claim to fulfill the constraint of semantics preservation, careful scrutiny shows otherwise. We show that the problem lies in the text encoders used to determine the similarity of adversarial examples, specifically in the way they are trained. Unsupervised training methods make these encoders more susceptible to problems with antonym recognition. To overcome this, we introduce a simple, fully supervised sentence embedding technique called Semantics-Preserving-Encoder (SPE). The results show that our solution minimizes the variation in the meaning of the adversarial examples generated. It also significantly improves the overall quality of adversarial examples, as confirmed by human evaluators. Furthermore, it can be used as a component in any existing attack to speed up its execution while maintaining similar attack success.

深度变压器神经网络模型在生物医学域中提高了智能文本处理系统的预测精度。他们在各种各样的生物医学和临床自然语言处理（NLP）基准上获得了最先进的性能分数。然而，到目前为止，这些模型的稳健性和可靠性较小。神经NLP模型可以很容易地被对抗动物样本所欺骗，即输入的次要变化，以保留文本的含义和可理解性，而是强制NLP系统做出错误的决策。这提出了对生物医学NLP系统的安全和信任的严重担忧，特别是当他们旨在部署在现实世界用例中时。我们调查了多种变压器神经语言模型的强大，即Biobert，Scibert，Biomed-Roberta和Bio-Clinicalbert，在各种生物医学和临床文本处理任务中。我们实施了各种对抗的攻击方法来测试不同攻击方案中的NLP系统。实验结果表明，生物医学NLP模型对对抗性样品敏感;它们的性能平均分别平均下降21％和18.9个字符级和字级对抗噪声的绝对百分比。进行广泛的对抗训练实验，我们在清洁样品和对抗性投入的混合物上进行了微调NLP模型。结果表明，对抗性训练是对抗对抗噪声的有效防御机制;模型的稳健性平均提高11.3绝对百分比。此外，清洁数据的模型性能平均增加2.4个绝对存在，表明对抗性训练可以提高生物医学NLP系统的概括能力。

The robustness of Text-to-SQL parsers against adversarial perturbations plays a crucial role in delivering highly reliable applications. Previous studies along this line primarily focused on perturbations in the natural language question side, neglecting the variability of tables. Motivated by this, we propose the Adversarial Table Perturbation (ATP) as a new attacking paradigm to measure the robustness of Text-to-SQL models. Following this proposition, we curate ADVETA, the first robustness evaluation benchmark featuring natural and realistic ATPs. All tested state-of-the-art models experience dramatic performance drops on ADVETA, revealing models' vulnerability in real-world practices. To defend against ATP, we build a systematic adversarial training example generation framework tailored for better contextualization of tabular data. Experiments show that our approach not only brings the best robustness improvement against table-side perturbations but also substantially empowers models against NL-side perturbations. We release our benchmark and code at: https://github.com/microsoft/ContextualSP.

关于NLP模型的最先进攻击缺乏对成功攻击的共享定义。我们将思考从过去的工作蒸馏成统一的框架：一个成功的自然语言对抗性示例是欺骗模型并遵循一些语言限制的扰动。然后，我们分析了两个最先进的同义词替换攻击的产出。我们发现他们的扰动通常不会保留语义，38％引入语法错误。人类调查显示，为了成功保留语义，我们需要大大增加交换词语的嵌入和原始和扰动句子的句子编码之间的最小余弦相似之处。与更好的保留语义和语法性，攻击成功率下降超过70个百分点。

在本文中，我们专注于研究中国问题匹配的鲁棒性评估。以前的大多数关于分析鲁棒性问题的工作专注于只有一种或几种类型的人工对抗例。相反，我们认为有必要制定关于自然文本模型语言能力的综合评估。为此目的，我们创建了一个中国数据集即duqm，其中包含具有语言扰动的自然问题，以评估问题匹配模型的鲁棒性。Duqm包含3个类别和13个子类别，具有32个语言扰动。广泛的实验表明，DUQM具有更好的区分不同模型的能力。重要的是，DuQM中语言现象评估的详细分类有助于我们轻松诊断不同模型的强度和弱点。此外，我们的实验结果表明，人工对抗实例的影响不适用于自然文本。

最近的作品表明了解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键成分。然而，以前的作品通常是解决了两个方面的一个：i）如何提取准确的理由，以便在有利于预测的同时解释; ii）如何使预测模型对不同类型的对抗性攻击稳健。直观地，一种产生有用的解释的模型应该对对抗性攻击更加强大，因为我们无法信任输出解释的模型，而是在小扰动下改变其预测。为此，我们提出了一个名为-BMC的联合分类和理由提取模型。它包括两个关键机制：混合的对手训练（AT）旨在在离散和嵌入空间中使用各种扰动，以改善模型的鲁棒性，边界匹配约束（BMC）有助于利用边界信息的引导来定位理由。基准数据集的性能表明，所提出的AT-BMC优于分类和基本原子的基础，由大边距提取。鲁棒性分析表明，建议的AT-BMC将攻击成功率降低了高达69％。经验结果表明，强大的模型与更好的解释之间存在连接。

We introduce a new large-scale NLI benchmark dataset, collected via an iterative, adversarial human-and-model-in-the-loop procedure. We show that training models on this new dataset leads to state-of-the-art performance on a variety of popular NLI benchmarks, while posing a more difficult challenge with its new test set. Our analysis sheds light on the shortcomings of current state-of-theart models, and shows that non-expert annotators are successful at finding their weaknesses. The data collection method can be applied in a never-ending learning scenario, becoming a moving target for NLU, rather than a static benchmark that will quickly saturate.

现在，错误和虚假信息已成为我们安全和安全的全球威胁。为了应对在线错误信息的规模，一个可行的解决方案是通过检索和验证相关证据来自动对索赔进行事实检查。尽管在推动自动事实验证方面取得了最新进展，但仍缺乏对可能针对此类系统的攻击向量的全面评估。特别是，自动化事实验证过程可能容易受到其试图打击的确切虚假信息。在这项工作中，我们假设一个对手可以自动使用在线证据擦洗，以通过伪装相关证据或种植误导性的证据来破坏事实检查模型。我们首先提出了探索性分类法，该分类法涵盖了这两个目标和不同的威胁模型维度。在此指导下，我们设计并提出了几种潜在的攻击方法。我们表明，除了产生多样化和索赔一致的证据之外，还可以在证据中巧妙地修改索赔空位段。结果，我们在分类法的许多不同排列中高度降低了事实检查的表现。这些攻击也对索赔后的事后修改也很强大。我们的分析进一步暗示了在面对矛盾的证据时，模型推断的潜在局限性。我们强调，这些攻击可能会对此类模型的可检查和人类使用情况产生有害的影响，我们通过讨论未来防御的挑战和方向来得出结论。

对抗性鲁棒性评估了机器学习模型的最坏情况性能方案，以确保其安全性和可靠性。这项研究是第一个研究视觉接地对话模型对文本攻击的鲁棒性的一项。这些攻击代表了最坏的情况，其中输入问题包含一个同义词，该代名词导致先前正确的模型返回错误的答案。使用这种情况，我们首先旨在了解多模式输入组件如何促进模型鲁棒性。我们的结果表明，编码对话框历史记录的模型更强大，并且在对历史记录发动攻击时，模型预测变得更加不确定。这与先前的工作相反，后者发现对话记录在此任务上的模型性能可以忽略不计。我们还评估了如何生成对抗性测试示例，这些测试示例成功地欺骗了模型，但仍未被用户/软件设计人员发现。我们发现文本以及视觉上下文对于生成合理的最坏情况很重要。

尽管在许多机器学习任务方面取得了巨大成功，但深度神经网络仍然易于对抗对抗样本。虽然基于梯度的对抗攻击方法在计算机视野领域探索，但由于文本的离散性质，直接应用于自然语言处理中，这是不切实际的。为了弥合这一差距，我们提出了一般框架，以适应现有的基于梯度的方法来制作文本对抗性样本。在该框架中，将基于梯度的连续扰动添加到嵌入层中，并在前向传播过程中被放大。然后用掩模语言模型头解码最终的扰动潜在表示以获得潜在的对抗性样本。在本文中，我们将我们的框架与\ textbf {t} Extual \ TextBF {P} ROJECTED \ TextBF {G} Radient \ TextBF {D} excent（\ TextBF {TPGD}）进行ronject \ textbf {p}。我们通过在三个基准数据集上执行转移黑匣子攻击来评估我们的框架来评估我们的框架。实验结果表明，与强基线方法相比，我们的方法达到了更好的性能，并产生更精细和语法的对抗性样本。所有代码和数据都将公开。

离散对手攻击是对保留输出标签的语言输入的象征性扰动，但导致预测误差。虽然这种攻击已经广泛探索了评估模型稳健性的目的，但他们的改善稳健性的效用仅限于离线增强。具体地，给定训练有素的模型，攻击用于产生扰动（对抗性）示例，并且模型重新培训一次。在这项工作中，我们解决了这个差距并利用了在线增强的离散攻击，在每个训练步骤中产生了对抗的例子，适应模型的变化性质。我们提出（i）基于最佳搜索的新的离散攻击，以及（ii）与现有工作不同的随机采样攻击不是基于昂贵的搜索过程。令人惊讶的是，我们发现随机抽样导致鲁棒性的令人印象深刻，优于普通使用的离线增强，同时导致训练时间〜10x的加速。此外，在线增强基于搜索的攻击证明了更高的培训成本，显着提高了三个数据集的鲁棒性。最后，我们表明我们的新攻击与先前的方法相比，我们的新攻击显着提高了鲁棒性。

数据增强是通过转换为机器学习的人工创建数据的人工创建，是一个跨机器学习学科的研究领域。尽管它对于增加模型的概括功能很有用，但它还可以解决许多其他挑战和问题，从克服有限的培训数据到正规化目标到限制用于保护隐私的数据的数量。基于对数据扩展的目标和应用的精确描述以及现有作品的分类法，该调查涉及用于文本分类的数据增强方法，并旨在为研究人员和从业者提供简洁而全面的概述。我们将100多种方法划分为12种不同的分组，并提供最先进的参考文献来阐述哪种方法可以通过将它们相互关联，从而阐述了哪种方法。最后，提供可能构成未来工作的基础的研究观点。

众包NLP数据集的反复挑战是，在制作示例时，人类作家通常会依靠重复的模式，从而导致缺乏语言多样性。我们介绍了一种基于工人和AI协作的数据集创建的新方法，该方法汇集了语言模型的生成力量和人类的评估力量。从现有的数据集，自然语言推理（NLI）的Multinli开始，我们的方法使用数据集制图自动识别示例来证明具有挑战性的推理模式，并指示GPT-3撰写具有相似模式的新示例。然后，机器生成的示例会自动过滤，并最终由人类人群工人修订和标记。最终的数据集Wanli由107,885个NLI示例组成，并在现有的NLI数据集上呈现出独特的经验优势。值得注意的是，培训有关Wanli的模型，而不是Multinli（$ 4 $ $倍）可改善我们考虑的七个外域测试集的性能，包括汉斯（Hans）的11％和对抗性NLI的9％。此外，将Multinli与Wanli结合起来比将其与其他NLI增强集相结合更有效。我们的结果表明，自然语言生成技术的潜力是策划增强质量和多样性的NLP数据集。

For natural language understanding (NLU) technology to be maximally useful, it must be able to process language in a way that is not exclusive to a single task, genre, or dataset. In pursuit of this objective, we introduce the General Language Understanding Evaluation (GLUE) benchmark, a collection of tools for evaluating the performance of models across a diverse set of existing NLU tasks. By including tasks with limited training data, GLUE is designed to favor and encourage models that share general linguistic knowledge across tasks. GLUE also includes a hand-crafted diagnostic test suite that enables detailed linguistic analysis of models. We evaluate baselines based on current methods for transfer and representation learning and find that multi-task training on all tasks performs better than training a separate model per task. However, the low absolute performance of our best model indicates the need for improved general NLU systems.