在过去几年中，已经提出了各种文字攻击方法来揭示自然语言处理中使用的深度神经网络的脆弱性。通常，这些方法涉及一个重要的优化步骤，以确定原始输入中的每个单词使用的替代。然而，从对问题理解和解决问题的角度来看，对这一步骤的目前的研究仍然是有限的。在本文中，我们通过揭示问题的理论属性并提出有效的本地搜索算法（LS）来解决这些问题来解决这些问题。我们建立了一个关于解决问题的第一个可提供的近似保证。涉及5个NLP任务，8个数据集和26个NLP模型的扩展实验表明，LS可能大大降低了Qualies数量，以实现高攻击成功率。进一步的实验表明，LS制造的对抗例通常具有更高的质量，表现出更好的可转移性，并且可以通过对抗培训为受害者模型带来更高的鲁棒性改善。

过去几年的对抗性文本攻击领域已经大大增长，其中常见的目标是加工可以成功欺骗目标模型的对抗性示例。然而，攻击的难以察觉，也是基本目标，通常被以前的研究遗漏。在这项工作中，我们倡导同时考虑两个目标，并提出一种新的多优化方法（被称为水合物转速），具有可提供的绩效保证，以实现高稳定性的成功攻击。我们通过基于分数和决策的设置，展示了HydroText通过广泛实验的效果，涉及五个基于基准数据集的现代NLP模型。与现有的最先进的攻击相比，Hydratext同时实现了更高的成功率，更低的修改率和与原始文本更高的语义相似性。人类评估研究表明，由水分精制成的对抗例保持良好的有效性和自然。最后，这些例子也表现出良好的可转移性，并且可以通过对抗性培训为目标模型带来显着的稳健性。

Robustness evaluation against adversarial examples has become increasingly important to unveil the trustworthiness of the prevailing deep models in natural language processing (NLP). However, in contrast to the computer vision domain where the first-order projected gradient descent (PGD) is used as the benchmark approach to generate adversarial examples for robustness evaluation, there lacks a principled first-order gradient-based robustness evaluation framework in NLP. The emerging optimization challenges lie in 1) the discrete nature of textual inputs together with the strong coupling between the perturbation location and the actual content, and 2) the additional constraint that the perturbed text should be fluent and achieve a low perplexity under a language model. These challenges make the development of PGD-like NLP attacks difficult. To bridge the gap, we propose TextGrad, a new attack generator using gradient-driven optimization, supporting high-accuracy and high-quality assessment of adversarial robustness in NLP. Specifically, we address the aforementioned challenges in a unified optimization framework. And we develop an effective convex relaxation method to co-optimize the continuously-relaxed site selection and perturbation variables and leverage an effective sampling method to establish an accurate mapping from the continuous optimization variables to the discrete textual perturbations. Moreover, as a first-order attack generation method, TextGrad can be baked into adversarial training to further improve the robustness of NLP models. Extensive experiments are provided to demonstrate the effectiveness of TextGrad not only in attack generation for robustness evaluation but also in adversarial defense.

尽管在许多机器学习任务方面取得了巨大成功，但深度神经网络仍然易于对抗对抗样本。虽然基于梯度的对抗攻击方法在计算机视野领域探索，但由于文本的离散性质，直接应用于自然语言处理中，这是不切实际的。为了弥合这一差距，我们提出了一般框架，以适应现有的基于梯度的方法来制作文本对抗性样本。在该框架中，将基于梯度的连续扰动添加到嵌入层中，并在前向传播过程中被放大。然后用掩模语言模型头解码最终的扰动潜在表示以获得潜在的对抗性样本。在本文中，我们将我们的框架与\ textbf {t} Extual \ TextBF {P} ROJECTED \ TextBF {G} Radient \ TextBF {D} excent（\ TextBF {TPGD}）进行ronject \ textbf {p}。我们通过在三个基准数据集上执行转移黑匣子攻击来评估我们的框架来评估我们的框架。实验结果表明，与强基线方法相比，我们的方法达到了更好的性能，并产生更精细和语法的对抗性样本。所有代码和数据都将公开。

基于深度学习的NLP模型被发现容易受到Word替代扰动的影响。在他们被广泛采用之前，需要解决坚固性的基本问题。沿着这条线，我们提出了一个正式的框架来评估词语级鲁棒性。首先，要研究模型的安全区域，我们引入了稳健的半径，这是模型可以抵抗任何扰动的边界。计算最大鲁棒性半径的计算变硬，我们估计其上限和下限。我们将攻击方法作为寻求上限和设计伪动态编程算法的攻击方法，用于更紧密的上限。然后验证方法用于下限。此外，为了评估在安全半径之外的区域的稳健性，我们从另一个视图中重新征服鲁棒性：量化。引入了具有严格统计保障的鲁棒度量，以测量对抗性示例的定量，这表明该模型对安全半径之外的扰动的敏感性。该度量有助于我们弄清楚为什么伯特这样的最先进的模型可以很容易地被几个单词替换所吸引，但在现实世界的噪音存在下概括很好。

我们专注于在黑框设置中对模型的对抗性攻击的问题，攻击者旨在制作对受害者模型的查询访问有限的对抗性示例。现有的黑框攻击主要基于贪婪的算法，使用预先计算的关键位置来扰动，从而严重限制了搜索空间，并可能导致次优的解决方案。为此，我们提出了使用贝叶斯优化的查询有效的黑盒攻击，该贝叶斯优化使用自动相关性确定（ARD）分类内核动态计算重要位置。我们引入了块分解和历史次采样技术，以提高输入序列长时间时贝叶斯优化的可伸缩性。此外，我们开发了一种优化后算法，该算法找到了具有较小扰动大小的对抗示例。关于自然语言和蛋白质分类任务的实验表明，与先前的最新方法相比，我们的方法始终达到更高的攻击成功率，查询计数和修改率的显着降低。

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TEXTFOOLER, a simple but strong baseline to generate adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate three advantages of this framework:(1) effective-it outperforms previous attacks by success rate and perturbation rate, (2) utility-preserving-it preserves semantic content, grammaticality, and correct types classified by humans, and (3) efficient-it generates adversarial text with computational complexity linear to the text length. 1

深度神经网络在解决各种现实世界任务中具有广泛的应用，并在计算机视觉，图像分类和自然语言处理等域中实现了令人满意的结果。同时，神经网络的安全性和稳健性成为必要的，因为不同的研究表明了神经网络的脆弱方面。在点的情况下，在自然语言处理任务中，神经网络可以由秘密修改的文本欺骗，这与原始文本具有高相似性。根据以前的研究，大多数研究都集中在图像领域;与图像逆势攻击不同，文本以离散序列表示，传统的图像攻击方法不适用于NLP字段。在本文中，我们提出了一个单词级NLP情绪分类器攻击模型，包括一种基于自我关注机制的词选择方法和用于Word替换的贪婪搜索算法。我们通过在IMDB数据集中攻击GRU和1D-CNN受害者模型进行攻击模型进行实验。实验结果表明，我们的模型达到了更高的攻击成功率，并且比以前的方法更有效，因为由于有效的单词选择算法，并且最小化了单词替代数。此外，我们的模型可转换，可用于具有多种修改的图像域。

离散对手攻击是对保留输出标签的语言输入的象征性扰动，但导致预测误差。虽然这种攻击已经广泛探索了评估模型稳健性的目的，但他们的改善稳健性的效用仅限于离线增强。具体地，给定训练有素的模型，攻击用于产生扰动（对抗性）示例，并且模型重新培训一次。在这项工作中，我们解决了这个差距并利用了在线增强的离散攻击，在每个训练步骤中产生了对抗的例子，适应模型的变化性质。我们提出（i）基于最佳搜索的新的离散攻击，以及（ii）与现有工作不同的随机采样攻击不是基于昂贵的搜索过程。令人惊讶的是，我们发现随机抽样导致鲁棒性的令人印象深刻，优于普通使用的离线增强，同时导致训练时间〜10x的加速。此外，在线增强基于搜索的攻击证明了更高的培训成本，显着提高了三个数据集的鲁棒性。最后，我们表明我们的新攻击与先前的方法相比，我们的新攻击显着提高了鲁棒性。

最近的研究表明，预训练的语言模型（LMS）容易受到文本对抗性攻击的影响。但是，现有的攻击方法要么遭受低攻击成功率，要么无法在指数级的扰动空间中有效搜索。我们提出了一个有效有效的框架Semattack，以通过构建不同的语义扰动函数来生成自然的对抗文本。特别是，Semattack优化了对通用语义空间约束的生成的扰动，包括错字空间，知识空间（例如WordNet），上下文化的语义空间（例如，BERT群集的嵌入空间）或这些空间的组合。因此，生成的对抗文本在语义上更接近原始输入。广泛的实验表明，最新的（SOTA）大规模LMS（例如Deberta-V2）和国防策略（例如Freelb）仍然容易受到Semattack的影响。我们进一步证明，Semattack是一般的，并且能够为具有较高攻击成功率的不同语言（例如英语和中文）生成自然的对抗文本。人类评估还证实，我们产生的对抗文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/ai-secure/semattack上公开获取。

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

关于NLP模型的最先进攻击缺乏对成功攻击的共享定义。我们将思考从过去的工作蒸馏成统一的框架：一个成功的自然语言对抗性示例是欺骗模型并遵循一些语言限制的扰动。然后，我们分析了两个最先进的同义词替换攻击的产出。我们发现他们的扰动通常不会保留语义，38％引入语法错误。人类调查显示，为了成功保留语义，我们需要大大增加交换词语的嵌入和原始和扰动句子的句子编码之间的最小余弦相似之处。与更好的保留语义和语法性，攻击成功率下降超过70个百分点。

Recently it has been shown that state-of-the-art NLP models are vulnerable to adversarial attacks, where the predictions of a model can be drastically altered by slight modifications to the input (such as synonym substitutions). While several defense techniques have been proposed, and adapted, to the discrete nature of text adversarial attacks, the benefits of general-purpose regularization methods such as label smoothing for language models, have not been studied. In this paper, we study the adversarial robustness provided by various label smoothing strategies in foundational models for diverse NLP tasks in both in-domain and out-of-domain settings. Our experiments show that label smoothing significantly improves adversarial robustness in pre-trained models like BERT, against various popular attacks. We also analyze the relationship between prediction confidence and robustness, showing that label smoothing reduces over-confident errors on adversarial examples.

现代分类算法易于对抗对抗示例 - 对导致算法产生不期望的行为的输入扰动。在这项工作中，我们寻求理解和扩展跨域的对抗性示例，其中输入是离散的，特别是在新域中，例如计算生物学。作为实现这一目标的步骤，我们正规化了在任何离散设置中应用的同义对手示例的概念，并描述了构建此类示例的简单域 - 不可原谅算法。我们在多个域施用该算法 - 包括情绪分析和DNA序列分类 - 并发现它一直揭示逆势实例。我们从理论上寻求理解他们的普遍性，我们将其存在归因于虚假令牌相关性，这是一个特定于离散空间的统计现象。我们的作品是朝着朝向与连续输入类似的离散对抗的例子的域名侵害治疗的一步。

我们将自然语言处理模型的脆弱性归因于以下事实：类似的输入转换为嵌入空间中不同的表示形式，导致输出不一致，我们提出了一种新颖的强大训练方法，称为快速三胞胎度量度量学习（FTML）。具体而言，我们认为原始样本应具有相似的表示及其对手对应物，并将其代表与其他样品区分开，以提高鲁棒性。为此，我们将三胞胎度量学习采用标准培训中，以将单词更接近其正样本（即同义词），并在嵌入空间中推出其负面样本（即非综合样品）。广泛的实验表明，FTML可以显着促进模型的鲁棒性，以针对各种高级对抗攻击，同时保持对原始样品的竞争性分类精度。此外，我们的方法是有效的，因为它只需要调整嵌入方式，并且在标准培训上引入了很少的开销。我们的工作显示出通过稳健的单词嵌入来改善文本鲁棒性的巨大潜力。

Our work targets at searching feasible adversarial perturbation to attack a classifier with high-dimensional categorical inputs in a domain-agnostic setting. This is intrinsically an NP-hard knapsack problem where the exploration space becomes explosively larger as the feature dimension increases. Without the help of domain knowledge, solving this problem via heuristic method, such as Branch-and-Bound, suffers from exponential complexity, yet can bring arbitrarily bad attack results. We address the challenge via the lens of multi-armed bandit based combinatorial search. Our proposed method, namely FEAT, treats modifying each categorical feature as pulling an arm in multi-armed bandit programming. Our objective is to achieve highly efficient and effective attack using an Orthogonal Matching Pursuit (OMP)-enhanced Upper Confidence Bound (UCB) exploration strategy. Our theoretical analysis bounding the regret gap of FEAT guarantees its practical attack performance. In empirical analysis, we compare FEAT with other state-of-the-art domain-agnostic attack methods over various real-world categorical data sets of different applications. Substantial experimental observations confirm the expected efficiency and attack effectiveness of FEAT applied in different application scenarios. Our work further hints the applicability of FEAT for assessing the adversarial vulnerability of classification systems with high-dimensional categorical inputs.

时间序列数据在许多现实世界中（例如，移动健康）和深神经网络（DNNS）中产生，在解决它们方面已取得了巨大的成功。尽管他们成功了，但对他们对对抗性攻击的稳健性知之甚少。在本文中，我们提出了一个通过统计特征（TSA-STAT）}称为时间序列攻击的新型对抗框架}。为了解决时间序列域的独特挑战，TSA-STAT对时间序列数据的统计特征采取限制来构建对抗性示例。优化的多项式转换用于创建比基于加性扰动的攻击（就成功欺骗DNN而言）更有效的攻击。我们还提供有关构建对抗性示例的统计功能规范的认证界限。我们对各种现实世界基准数据集的实验表明，TSA-STAT在欺骗DNN的时间序列域和改善其稳健性方面的有效性。 TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/time-series-series-attacks-via-statity-features上获得

几年的研究表明，在理论和实践中，机器学习系统容易受到对抗的例子。到目前为止，这种攻击主要有针对性的视觉模型，利用人类和机器感知之间的差距。虽然基于文本的模型也被对抗例子遭到攻击，但这种攻击努力保持语义意义和无法区分。在本文中，我们探讨了大类的对抗示例，可用于在黑盒设置中攻击基于文本的模型，而不会对输入进行任何人类可知的视觉修改。我们使用对人眼不可察觉的编码特异性扰动来操纵从神经计算机翻译管道到网络搜索引擎的各种自然语言处理（NLP）系统的输出。我们发现，通过单一的难以察觉的编码注射 - 代表一个无形的字符，同型角色，重新排序或删除 - 攻击者可以显着降低易受伤害的模型的性能，并且三次注射大多数型号可以在功能上打破。除了由Facebook，IBM和HuggingFace发布的开源模型之外，我们攻击目前部署的商业系统这一新颖的一系列攻击对许多语言处理系统提供了重大威胁：攻击者可以以目标方式影响系统而没有任何关于底层模型的假设。我们得出结论，基于文本的NLP系统需要仔细的输入消毒，就像传统应用程序一样，并且考虑到这样的系统现在正在迅速地部署，需要建筑师和运营商的紧急注意。

大规模的预训练语言模型在广泛的自然语言理解（NLU）任务中取得了巨大的成功，甚至超过人类性能。然而，最近的研究表明，这些模型的稳健性可能受到精心制作的文本对抗例子的挑战。虽然已经提出了几个单独的数据集来评估模型稳健性，但仍缺少原则和全面的基准。在本文中，我们呈现对抗性胶水（AdvGlue），这是一个新的多任务基准，以定量和彻底探索和评估各种对抗攻击下现代大规模语言模型的脆弱性。特别是，我们系统地应用14种文本对抗的攻击方法来构建一个粘合的援助，这是由人类进一步验证的可靠注释。我们的调查结果总结如下。 （i）大多数现有的对抗性攻击算法容易发生无效或暧昧的对手示例，其中大约90％的含量改变原始语义含义或误导性的人的注册人。因此，我们执行仔细的过滤过程来策划高质量的基准。 （ii）我们测试的所有语言模型和强大的培训方法在AdvGlue上表现不佳，差价远远落后于良性准确性。我们希望我们的工作能够激励开发新的对抗攻击，这些攻击更加隐身，更加统一，以及针对复杂的对抗性攻击的新强大语言模型。 Advglue在https://adversarialglue.github.io提供。

Neural networks provide state-of-the-art results for most machine learning tasks. Unfortunately, neural networks are vulnerable to adversarial examples: given an input x and any target classification t, it is possible to find a new input x that is similar to x but classified as t. This makes it difficult to apply neural networks in security-critical areas. Defensive distillation is a recently proposed approach that can take an arbitrary neural network, and increase its robustness, reducing the success rate of current attacks' ability to find adversarial examples from 95% to 0.5%.In this paper, we demonstrate that defensive distillation does not significantly increase the robustness of neural networks by introducing three new attack algorithms that are successful on both distilled and undistilled neural networks with 100% probability. Our attacks are tailored to three distance metrics used previously in the literature, and when compared to previous adversarial example generation algorithms, our attacks are often much more effective (and never worse). Furthermore, we propose using high-confidence adversarial examples in a simple transferability test we show can also be used to break defensive distillation. We hope our attacks will be used as a benchmark in future defense attempts to create neural networks that resist adversarial examples.