基于深度学习的NLP模型被发现容易受到Word替代扰动的影响。在他们被广泛采用之前，需要解决坚固性的基本问题。沿着这条线，我们提出了一个正式的框架来评估词语级鲁棒性。首先，要研究模型的安全区域，我们引入了稳健的半径，这是模型可以抵抗任何扰动的边界。计算最大鲁棒性半径的计算变硬，我们估计其上限和下限。我们将攻击方法作为寻求上限和设计伪动态编程算法的攻击方法，用于更紧密的上限。然后验证方法用于下限。此外，为了评估在安全半径之外的区域的稳健性，我们从另一个视图中重新征服鲁棒性：量化。引入了具有严格统计保障的鲁棒度量，以测量对抗性示例的定量，这表明该模型对安全半径之外的扰动的敏感性。该度量有助于我们弄清楚为什么伯特这样的最先进的模型可以很容易地被几个单词替换所吸引，但在现实世界的噪音存在下概括很好。

我们将自然语言处理模型的脆弱性归因于以下事实：类似的输入转换为嵌入空间中不同的表示形式，导致输出不一致，我们提出了一种新颖的强大训练方法，称为快速三胞胎度量度量学习（FTML）。具体而言，我们认为原始样本应具有相似的表示及其对手对应物，并将其代表与其他样品区分开，以提高鲁棒性。为此，我们将三胞胎度量学习采用标准培训中，以将单词更接近其正样本（即同义词），并在嵌入空间中推出其负面样本（即非综合样品）。广泛的实验表明，FTML可以显着促进模型的鲁棒性，以针对各种高级对抗攻击，同时保持对原始样品的竞争性分类精度。此外，我们的方法是有效的，因为它只需要调整嵌入方式，并且在标准培训上引入了很少的开销。我们的工作显示出通过稳健的单词嵌入来改善文本鲁棒性的巨大潜力。

在过去几年中，已经提出了各种文字攻击方法来揭示自然语言处理中使用的深度神经网络的脆弱性。通常，这些方法涉及一个重要的优化步骤，以确定原始输入中的每个单词使用的替代。然而，从对问题理解和解决问题的角度来看，对这一步骤的目前的研究仍然是有限的。在本文中，我们通过揭示问题的理论属性并提出有效的本地搜索算法（LS）来解决这些问题来解决这些问题。我们建立了一个关于解决问题的第一个可提供的近似保证。涉及5个NLP任务，8个数据集和26个NLP模型的扩展实验表明，LS可能大大降低了Qualies数量，以实现高攻击成功率。进一步的实验表明，LS制造的对抗例通常具有更高的质量，表现出更好的可转移性，并且可以通过对抗培训为受害者模型带来更高的鲁棒性改善。

离散对手攻击是对保留输出标签的语言输入的象征性扰动，但导致预测误差。虽然这种攻击已经广泛探索了评估模型稳健性的目的，但他们的改善稳健性的效用仅限于离线增强。具体地，给定训练有素的模型，攻击用于产生扰动（对抗性）示例，并且模型重新培训一次。在这项工作中，我们解决了这个差距并利用了在线增强的离散攻击，在每个训练步骤中产生了对抗的例子，适应模型的变化性质。我们提出（i）基于最佳搜索的新的离散攻击，以及（ii）与现有工作不同的随机采样攻击不是基于昂贵的搜索过程。令人惊讶的是，我们发现随机抽样导致鲁棒性的令人印象深刻，优于普通使用的离线增强，同时导致训练时间〜10x的加速。此外，在线增强基于搜索的攻击证明了更高的培训成本，显着提高了三个数据集的鲁棒性。最后，我们表明我们的新攻击与先前的方法相比，我们的新攻击显着提高了鲁棒性。

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

现有的研究表明，对抗性示例可以直接归因于具有高度预测性的非稳态特征的存在，但很容易被对手对愚弄NLP模型进行操纵。在这项研究中，我们探讨了捕获特定于任务的鲁棒特征的可行性，同时使用信息瓶颈理论消除了非舒适的特征。通过广泛的实验，我们表明，通过我们的信息基于瓶颈的方法训练的模型能够在稳健的精度上取得显着提高，超过了所有先前报道的防御方法的性能，而在SST-2上几乎没有遭受清洁准确性的表现下降，Agnews和IMDB数据集。

时间序列数据在许多现实世界中（例如，移动健康）和深神经网络（DNNS）中产生，在解决它们方面已取得了巨大的成功。尽管他们成功了，但对他们对对抗性攻击的稳健性知之甚少。在本文中，我们提出了一个通过统计特征（TSA-STAT）}称为时间序列攻击的新型对抗框架}。为了解决时间序列域的独特挑战，TSA-STAT对时间序列数据的统计特征采取限制来构建对抗性示例。优化的多项式转换用于创建比基于加性扰动的攻击（就成功欺骗DNN而言）更有效的攻击。我们还提供有关构建对抗性示例的统计功能规范的认证界限。我们对各种现实世界基准数据集的实验表明，TSA-STAT在欺骗DNN的时间序列域和改善其稳健性方面的有效性。 TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/time-series-series-attacks-via-statity-features上获得

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TEXTFOOLER, a simple but strong baseline to generate adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate three advantages of this framework:(1) effective-it outperforms previous attacks by success rate and perturbation rate, (2) utility-preserving-it preserves semantic content, grammaticality, and correct types classified by humans, and (3) efficient-it generates adversarial text with computational complexity linear to the text length. 1

在本讨论文件中，我们调查了有关机器学习模型鲁棒性的最新研究。随着学习算法在数据驱动的控制系统中越来越流行，必须确保它们对数据不确定性的稳健性，以维持可靠的安全至关重要的操作。我们首先回顾了这种鲁棒性的共同形式主义，然后继续讨论训练健壮的机器学习模型的流行和最新技术，以及可证明这种鲁棒性的方法。从强大的机器学习的这种统一中，我们识别并讨论了该地区未来研究的迫切方向。

Recent studies on adversarial images have shown that they tend to leave the underlying low-dimensional data manifold, making them significantly more challenging for current models to make correct predictions. This so-called off-manifold conjecture has inspired a novel line of defenses against adversarial attacks on images. In this study, we find a similar phenomenon occurs in the contextualized embedding space induced by pretrained language models, in which adversarial texts tend to have their embeddings diverge from the manifold of natural ones. Based on this finding, we propose Textual Manifold-based Defense (TMD), a defense mechanism that projects text embeddings onto an approximated embedding manifold before classification. It reduces the complexity of potential adversarial examples, which ultimately enhances the robustness of the protected model. Through extensive experiments, our method consistently and significantly outperforms previous defenses under various attack settings without trading off clean accuracy. To the best of our knowledge, this is the first NLP defense that leverages the manifold structure against adversarial attacks. Our code is available at \url{https://github.com/dangne/tmd}.

关于NLP模型的最先进攻击缺乏对成功攻击的共享定义。我们将思考从过去的工作蒸馏成统一的框架：一个成功的自然语言对抗性示例是欺骗模型并遵循一些语言限制的扰动。然后，我们分析了两个最先进的同义词替换攻击的产出。我们发现他们的扰动通常不会保留语义，38％引入语法错误。人类调查显示，为了成功保留语义，我们需要大大增加交换词语的嵌入和原始和扰动句子的句子编码之间的最小余弦相似之处。与更好的保留语义和语法性，攻击成功率下降超过70个百分点。

过去几年的对抗性文本攻击领域已经大大增长，其中常见的目标是加工可以成功欺骗目标模型的对抗性示例。然而，攻击的难以察觉，也是基本目标，通常被以前的研究遗漏。在这项工作中，我们倡导同时考虑两个目标，并提出一种新的多优化方法（被称为水合物转速），具有可提供的绩效保证，以实现高稳定性的成功攻击。我们通过基于分数和决策的设置，展示了HydroText通过广泛实验的效果，涉及五个基于基准数据集的现代NLP模型。与现有的最先进的攻击相比，Hydratext同时实现了更高的成功率，更低的修改率和与原始文本更高的语义相似性。人类评估研究表明，由水分精制成的对抗例保持良好的有效性和自然。最后，这些例子也表现出良好的可转移性，并且可以通过对抗性培训为目标模型带来显着的稳健性。

Robustness evaluation against adversarial examples has become increasingly important to unveil the trustworthiness of the prevailing deep models in natural language processing (NLP). However, in contrast to the computer vision domain where the first-order projected gradient descent (PGD) is used as the benchmark approach to generate adversarial examples for robustness evaluation, there lacks a principled first-order gradient-based robustness evaluation framework in NLP. The emerging optimization challenges lie in 1) the discrete nature of textual inputs together with the strong coupling between the perturbation location and the actual content, and 2) the additional constraint that the perturbed text should be fluent and achieve a low perplexity under a language model. These challenges make the development of PGD-like NLP attacks difficult. To bridge the gap, we propose TextGrad, a new attack generator using gradient-driven optimization, supporting high-accuracy and high-quality assessment of adversarial robustness in NLP. Specifically, we address the aforementioned challenges in a unified optimization framework. And we develop an effective convex relaxation method to co-optimize the continuously-relaxed site selection and perturbation variables and leverage an effective sampling method to establish an accurate mapping from the continuous optimization variables to the discrete textual perturbations. Moreover, as a first-order attack generation method, TextGrad can be baked into adversarial training to further improve the robustness of NLP models. Extensive experiments are provided to demonstrate the effectiveness of TextGrad not only in attack generation for robustness evaluation but also in adversarial defense.

最近的研究表明，预训练的语言模型（LMS）容易受到文本对抗性攻击的影响。但是，现有的攻击方法要么遭受低攻击成功率，要么无法在指数级的扰动空间中有效搜索。我们提出了一个有效有效的框架Semattack，以通过构建不同的语义扰动函数来生成自然的对抗文本。特别是，Semattack优化了对通用语义空间约束的生成的扰动，包括错字空间，知识空间（例如WordNet），上下文化的语义空间（例如，BERT群集的嵌入空间）或这些空间的组合。因此，生成的对抗文本在语义上更接近原始输入。广泛的实验表明，最新的（SOTA）大规模LMS（例如Deberta-V2）和国防策略（例如Freelb）仍然容易受到Semattack的影响。我们进一步证明，Semattack是一般的，并且能够为具有较高攻击成功率的不同语言（例如英语和中文）生成自然的对抗文本。人类评估还证实，我们产生的对抗文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/ai-secure/semattack上公开获取。

现代分类算法易于对抗对抗示例 - 对导致算法产生不期望的行为的输入扰动。在这项工作中，我们寻求理解和扩展跨域的对抗性示例，其中输入是离散的，特别是在新域中，例如计算生物学。作为实现这一目标的步骤，我们正规化了在任何离散设置中应用的同义对手示例的概念，并描述了构建此类示例的简单域 - 不可原谅算法。我们在多个域施用该算法 - 包括情绪分析和DNA序列分类 - 并发现它一直揭示逆势实例。我们从理论上寻求理解他们的普遍性，我们将其存在归因于虚假令牌相关性，这是一个特定于离散空间的统计现象。我们的作品是朝着朝向与连续输入类似的离散对抗的例子的域名侵害治疗的一步。

Adversarial training is widely acknowledged as the most effective defense against adversarial attacks. However, it is also well established that achieving both robustness and generalization in adversarially trained models involves a trade-off. The goal of this work is to provide an in depth comparison of different approaches for adversarial training in language models. Specifically, we study the effect of pre-training data augmentation as well as training time input perturbations vs. embedding space perturbations on the robustness and generalization of BERT-like language models. Our findings suggest that better robustness can be achieved by pre-training data augmentation or by training with input space perturbation. However, training with embedding space perturbation significantly improves generalization. A linguistic correlation analysis of neurons of the learned models reveal that the improved generalization is due to `more specialized' neurons. To the best of our knowledge, this is the first work to carry out a deep qualitative analysis of different methods of generating adversarial examples in adversarial training of language models.

深度神经网络在解决各种现实世界任务中具有广泛的应用，并在计算机视觉，图像分类和自然语言处理等域中实现了令人满意的结果。同时，神经网络的安全性和稳健性成为必要的，因为不同的研究表明了神经网络的脆弱方面。在点的情况下，在自然语言处理任务中，神经网络可以由秘密修改的文本欺骗，这与原始文本具有高相似性。根据以前的研究，大多数研究都集中在图像领域;与图像逆势攻击不同，文本以离散序列表示，传统的图像攻击方法不适用于NLP字段。在本文中，我们提出了一个单词级NLP情绪分类器攻击模型，包括一种基于自我关注机制的词选择方法和用于Word替换的贪婪搜索算法。我们通过在IMDB数据集中攻击GRU和1D-CNN受害者模型进行攻击模型进行实验。实验结果表明，我们的模型达到了更高的攻击成功率，并且比以前的方法更有效，因为由于有效的单词选择算法，并且最小化了单词替代数。此外，我们的模型可转换，可用于具有多种修改的图像域。

Adversarial attacks in NLP challenge the way we look at language models. The goal of this kind of adversarial attack is to modify the input text to fool a classifier while maintaining the original meaning of the text. Although most existing adversarial attacks claim to fulfill the constraint of semantics preservation, careful scrutiny shows otherwise. We show that the problem lies in the text encoders used to determine the similarity of adversarial examples, specifically in the way they are trained. Unsupervised training methods make these encoders more susceptible to problems with antonym recognition. To overcome this, we introduce a simple, fully supervised sentence embedding technique called Semantics-Preserving-Encoder (SPE). The results show that our solution minimizes the variation in the meaning of the adversarial examples generated. It also significantly improves the overall quality of adversarial examples, as confirmed by human evaluators. Furthermore, it can be used as a component in any existing attack to speed up its execution while maintaining similar attack success.

尽管机器学习系统的效率和可扩展性，但最近的研究表明，许多分类方法，尤其是深神经网络（DNN），易受对抗的例子;即，仔细制作欺骗训练有素的分类模型的例子，同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 （2013）和Szegedy等人。（2014年），在这一领域已经完成了很多工作，包括开发攻击方法，以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展，主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码（在Python和R）公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。

大规模的预训练语言模型在广泛的自然语言理解（NLU）任务中取得了巨大的成功，甚至超过人类性能。然而，最近的研究表明，这些模型的稳健性可能受到精心制作的文本对抗例子的挑战。虽然已经提出了几个单独的数据集来评估模型稳健性，但仍缺少原则和全面的基准。在本文中，我们呈现对抗性胶水（AdvGlue），这是一个新的多任务基准，以定量和彻底探索和评估各种对抗攻击下现代大规模语言模型的脆弱性。特别是，我们系统地应用14种文本对抗的攻击方法来构建一个粘合的援助，这是由人类进一步验证的可靠注释。我们的调查结果总结如下。 （i）大多数现有的对抗性攻击算法容易发生无效或暧昧的对手示例，其中大约90％的含量改变原始语义含义或误导性的人的注册人。因此，我们执行仔细的过滤过程来策划高质量的基准。 （ii）我们测试的所有语言模型和强大的培训方法在AdvGlue上表现不佳，差价远远落后于良性准确性。我们希望我们的工作能够激励开发新的对抗攻击，这些攻击更加隐身，更加统一，以及针对复杂的对抗性攻击的新强大语言模型。 Advglue在https://adversarialglue.github.io提供。