我们专注于在黑框设置中对模型的对抗性攻击的问题，攻击者旨在制作对受害者模型的查询访问有限的对抗性示例。现有的黑框攻击主要基于贪婪的算法，使用预先计算的关键位置来扰动，从而严重限制了搜索空间，并可能导致次优的解决方案。为此，我们提出了使用贝叶斯优化的查询有效的黑盒攻击，该贝叶斯优化使用自动相关性确定（ARD）分类内核动态计算重要位置。我们引入了块分解和历史次采样技术，以提高输入序列长时间时贝叶斯优化的可伸缩性。此外，我们开发了一种优化后算法，该算法找到了具有较小扰动大小的对抗示例。关于自然语言和蛋白质分类任务的实验表明，与先前的最新方法相比，我们的方法始终达到更高的攻击成功率，查询计数和修改率的显着降低。

Robustness evaluation against adversarial examples has become increasingly important to unveil the trustworthiness of the prevailing deep models in natural language processing (NLP). However, in contrast to the computer vision domain where the first-order projected gradient descent (PGD) is used as the benchmark approach to generate adversarial examples for robustness evaluation, there lacks a principled first-order gradient-based robustness evaluation framework in NLP. The emerging optimization challenges lie in 1) the discrete nature of textual inputs together with the strong coupling between the perturbation location and the actual content, and 2) the additional constraint that the perturbed text should be fluent and achieve a low perplexity under a language model. These challenges make the development of PGD-like NLP attacks difficult. To bridge the gap, we propose TextGrad, a new attack generator using gradient-driven optimization, supporting high-accuracy and high-quality assessment of adversarial robustness in NLP. Specifically, we address the aforementioned challenges in a unified optimization framework. And we develop an effective convex relaxation method to co-optimize the continuously-relaxed site selection and perturbation variables and leverage an effective sampling method to establish an accurate mapping from the continuous optimization variables to the discrete textual perturbations. Moreover, as a first-order attack generation method, TextGrad can be baked into adversarial training to further improve the robustness of NLP models. Extensive experiments are provided to demonstrate the effectiveness of TextGrad not only in attack generation for robustness evaluation but also in adversarial defense.

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TEXTFOOLER, a simple but strong baseline to generate adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate three advantages of this framework:(1) effective-it outperforms previous attacks by success rate and perturbation rate, (2) utility-preserving-it preserves semantic content, grammaticality, and correct types classified by humans, and (3) efficient-it generates adversarial text with computational complexity linear to the text length. 1

过去几年的对抗性文本攻击领域已经大大增长，其中常见的目标是加工可以成功欺骗目标模型的对抗性示例。然而，攻击的难以察觉，也是基本目标，通常被以前的研究遗漏。在这项工作中，我们倡导同时考虑两个目标，并提出一种新的多优化方法（被称为水合物转速），具有可提供的绩效保证，以实现高稳定性的成功攻击。我们通过基于分数和决策的设置，展示了HydroText通过广泛实验的效果，涉及五个基于基准数据集的现代NLP模型。与现有的最先进的攻击相比，Hydratext同时实现了更高的成功率，更低的修改率和与原始文本更高的语义相似性。人类评估研究表明，由水分精制成的对抗例保持良好的有效性和自然。最后，这些例子也表现出良好的可转移性，并且可以通过对抗性培训为目标模型带来显着的稳健性。

在过去几年中，已经提出了各种文字攻击方法来揭示自然语言处理中使用的深度神经网络的脆弱性。通常，这些方法涉及一个重要的优化步骤，以确定原始输入中的每个单词使用的替代。然而，从对问题理解和解决问题的角度来看，对这一步骤的目前的研究仍然是有限的。在本文中，我们通过揭示问题的理论属性并提出有效的本地搜索算法（LS）来解决这些问题来解决这些问题。我们建立了一个关于解决问题的第一个可提供的近似保证。涉及5个NLP任务，8个数据集和26个NLP模型的扩展实验表明，LS可能大大降低了Qualies数量，以实现高攻击成功率。进一步的实验表明，LS制造的对抗例通常具有更高的质量，表现出更好的可转移性，并且可以通过对抗培训为受害者模型带来更高的鲁棒性改善。

图表神经网络，一种流行的模型，在各种基于图形的学习任务中有效，已被证明易受对抗攻击的影响。虽然大多数文献侧重于节点级分类任务中的这种脆弱性，但很少努力致力于分析对图形级分类的对抗攻击，这是生物化学和社会网络分析等众多现实生活应用的重要问题。少数现有方法通常需要不切实际的设置，例如访问受害者模型的内部信息，或者是一个不切实际的查询。我们提出了一种新型贝叶斯优化的攻击方法，用于图形分类模型。我们的方法是黑匣子，查询效率和涉及扰动的效率和解析。我们经验验证了所提出的方法对涉及不同图形属性，约束和攻击方式的图形分类任务的效果和灵活性。最后，我们分析了产生的对手样本后面的常见可解释模式，这可能会在图形分类模型的对抗鲁棒性上流出进一步的光。

尽管在许多机器学习任务方面取得了巨大成功，但深度神经网络仍然易于对抗对抗样本。虽然基于梯度的对抗攻击方法在计算机视野领域探索，但由于文本的离散性质，直接应用于自然语言处理中，这是不切实际的。为了弥合这一差距，我们提出了一般框架，以适应现有的基于梯度的方法来制作文本对抗性样本。在该框架中，将基于梯度的连续扰动添加到嵌入层中，并在前向传播过程中被放大。然后用掩模语言模型头解码最终的扰动潜在表示以获得潜在的对抗性样本。在本文中，我们将我们的框架与\ textbf {t} Extual \ TextBF {P} ROJECTED \ TextBF {G} Radient \ TextBF {D} excent（\ TextBF {TPGD}）进行ronject \ textbf {p}。我们通过在三个基准数据集上执行转移黑匣子攻击来评估我们的框架来评估我们的框架。实验结果表明，与强基线方法相比，我们的方法达到了更好的性能，并产生更精细和语法的对抗性样本。所有代码和数据都将公开。

最近的作品表明了解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键成分。然而，以前的作品通常是解决了两个方面的一个：i）如何提取准确的理由，以便在有利于预测的同时解释; ii）如何使预测模型对不同类型的对抗性攻击稳健。直观地，一种产生有用的解释的模型应该对对抗性攻击更加强大，因为我们无法信任输出解释的模型，而是在小扰动下改变其预测。为此，我们提出了一个名为-BMC的联合分类和理由提取模型。它包括两个关键机制：混合的对手训练（AT）旨在在离散和嵌入空间中使用各种扰动，以改善模型的鲁棒性，边界匹配约束（BMC）有助于利用边界信息的引导来定位理由。基准数据集的性能表明，所提出的AT-BMC优于分类和基本原子的基础，由大边距提取。鲁棒性分析表明，建议的AT-BMC将攻击成功率降低了高达69％。经验结果表明，强大的模型与更好的解释之间存在连接。

Recent studies on adversarial images have shown that they tend to leave the underlying low-dimensional data manifold, making them significantly more challenging for current models to make correct predictions. This so-called off-manifold conjecture has inspired a novel line of defenses against adversarial attacks on images. In this study, we find a similar phenomenon occurs in the contextualized embedding space induced by pretrained language models, in which adversarial texts tend to have their embeddings diverge from the manifold of natural ones. Based on this finding, we propose Textual Manifold-based Defense (TMD), a defense mechanism that projects text embeddings onto an approximated embedding manifold before classification. It reduces the complexity of potential adversarial examples, which ultimately enhances the robustness of the protected model. Through extensive experiments, our method consistently and significantly outperforms previous defenses under various attack settings without trading off clean accuracy. To the best of our knowledge, this is the first NLP defense that leverages the manifold structure against adversarial attacks. Our code is available at \url{https://github.com/dangne/tmd}.

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

Recently it has been shown that state-of-the-art NLP models are vulnerable to adversarial attacks, where the predictions of a model can be drastically altered by slight modifications to the input (such as synonym substitutions). While several defense techniques have been proposed, and adapted, to the discrete nature of text adversarial attacks, the benefits of general-purpose regularization methods such as label smoothing for language models, have not been studied. In this paper, we study the adversarial robustness provided by various label smoothing strategies in foundational models for diverse NLP tasks in both in-domain and out-of-domain settings. Our experiments show that label smoothing significantly improves adversarial robustness in pre-trained models like BERT, against various popular attacks. We also analyze the relationship between prediction confidence and robustness, showing that label smoothing reduces over-confident errors on adversarial examples.

现代分类算法易于对抗对抗示例 - 对导致算法产生不期望的行为的输入扰动。在这项工作中，我们寻求理解和扩展跨域的对抗性示例，其中输入是离散的，特别是在新域中，例如计算生物学。作为实现这一目标的步骤，我们正规化了在任何离散设置中应用的同义对手示例的概念，并描述了构建此类示例的简单域 - 不可原谅算法。我们在多个域施用该算法 - 包括情绪分析和DNA序列分类 - 并发现它一直揭示逆势实例。我们从理论上寻求理解他们的普遍性，我们将其存在归因于虚假令牌相关性，这是一个特定于离散空间的统计现象。我们的作品是朝着朝向与连续输入类似的离散对抗的例子的域名侵害治疗的一步。

离散对手攻击是对保留输出标签的语言输入的象征性扰动，但导致预测误差。虽然这种攻击已经广泛探索了评估模型稳健性的目的，但他们的改善稳健性的效用仅限于离线增强。具体地，给定训练有素的模型，攻击用于产生扰动（对抗性）示例，并且模型重新培训一次。在这项工作中，我们解决了这个差距并利用了在线增强的离散攻击，在每个训练步骤中产生了对抗的例子，适应模型的变化性质。我们提出（i）基于最佳搜索的新的离散攻击，以及（ii）与现有工作不同的随机采样攻击不是基于昂贵的搜索过程。令人惊讶的是，我们发现随机抽样导致鲁棒性的令人印象深刻，优于普通使用的离线增强，同时导致训练时间〜10x的加速。此外，在线增强基于搜索的攻击证明了更高的培训成本，显着提高了三个数据集的鲁棒性。最后，我们表明我们的新攻击与先前的方法相比，我们的新攻击显着提高了鲁棒性。

Our work targets at searching feasible adversarial perturbation to attack a classifier with high-dimensional categorical inputs in a domain-agnostic setting. This is intrinsically an NP-hard knapsack problem where the exploration space becomes explosively larger as the feature dimension increases. Without the help of domain knowledge, solving this problem via heuristic method, such as Branch-and-Bound, suffers from exponential complexity, yet can bring arbitrarily bad attack results. We address the challenge via the lens of multi-armed bandit based combinatorial search. Our proposed method, namely FEAT, treats modifying each categorical feature as pulling an arm in multi-armed bandit programming. Our objective is to achieve highly efficient and effective attack using an Orthogonal Matching Pursuit (OMP)-enhanced Upper Confidence Bound (UCB) exploration strategy. Our theoretical analysis bounding the regret gap of FEAT guarantees its practical attack performance. In empirical analysis, we compare FEAT with other state-of-the-art domain-agnostic attack methods over various real-world categorical data sets of different applications. Substantial experimental observations confirm the expected efficiency and attack effectiveness of FEAT applied in different application scenarios. Our work further hints the applicability of FEAT for assessing the adversarial vulnerability of classification systems with high-dimensional categorical inputs.

贝叶斯优化是解决昂贵评估的黑盒功能的全球优化问题的流行方法。它依赖于目标函数的概率替代模型，在该模型上构建了采集函数，以确定接下来在哪里评估目标函数。通常，使用高斯工艺回归的贝叶斯优化在连续空间上运行。当输入变量分类或离散时，需要额外的护理。一种常见的方法是将单热编码或布尔表示形式用于可能产生组合爆炸问题的分类变量。在本文中，我们提出了一种在组合空间中进行贝叶斯优化的方法，该方法可以在大型组合空间中运行良好。主要思想是使用一个随机映射，该映射将组合空间嵌入到连续空间中的凸多角形中，在该空间上，所有基本过程都会在组合空间中确定黑框优化的解决方案。我们描述了我们的组合贝叶斯优化算法，并介绍其遗憾分析。数值实验表明，与现有方法相比，我们的方法表现出令人满意的性能。

最近的研究表明，预训练的语言模型（LMS）容易受到文本对抗性攻击的影响。但是，现有的攻击方法要么遭受低攻击成功率，要么无法在指数级的扰动空间中有效搜索。我们提出了一个有效有效的框架Semattack，以通过构建不同的语义扰动函数来生成自然的对抗文本。特别是，Semattack优化了对通用语义空间约束的生成的扰动，包括错字空间，知识空间（例如WordNet），上下文化的语义空间（例如，BERT群集的嵌入空间）或这些空间的组合。因此，生成的对抗文本在语义上更接近原始输入。广泛的实验表明，最新的（SOTA）大规模LMS（例如Deberta-V2）和国防策略（例如Freelb）仍然容易受到Semattack的影响。我们进一步证明，Semattack是一般的，并且能够为具有较高攻击成功率的不同语言（例如英语和中文）生成自然的对抗文本。人类评估还证实，我们产生的对抗文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/ai-secure/semattack上公开获取。

基于深度学习的NLP模型被发现容易受到Word替代扰动的影响。在他们被广泛采用之前，需要解决坚固性的基本问题。沿着这条线，我们提出了一个正式的框架来评估词语级鲁棒性。首先，要研究模型的安全区域，我们引入了稳健的半径，这是模型可以抵抗任何扰动的边界。计算最大鲁棒性半径的计算变硬，我们估计其上限和下限。我们将攻击方法作为寻求上限和设计伪动态编程算法的攻击方法，用于更紧密的上限。然后验证方法用于下限。此外，为了评估在安全半径之外的区域的稳健性，我们从另一个视图中重新征服鲁棒性：量化。引入了具有严格统计保障的鲁棒度量，以测量对抗性示例的定量，这表明该模型对安全半径之外的扰动的敏感性。该度量有助于我们弄清楚为什么伯特这样的最先进的模型可以很容易地被几个单词替换所吸引，但在现实世界的噪音存在下概括很好。

我们将自然语言处理模型的脆弱性归因于以下事实：类似的输入转换为嵌入空间中不同的表示形式，导致输出不一致，我们提出了一种新颖的强大训练方法，称为快速三胞胎度量度量学习（FTML）。具体而言，我们认为原始样本应具有相似的表示及其对手对应物，并将其代表与其他样品区分开，以提高鲁棒性。为此，我们将三胞胎度量学习采用标准培训中，以将单词更接近其正样本（即同义词），并在嵌入空间中推出其负面样本（即非综合样品）。广泛的实验表明，FTML可以显着促进模型的鲁棒性，以针对各种高级对抗攻击，同时保持对原始样品的竞争性分类精度。此外，我们的方法是有效的，因为它只需要调整嵌入方式，并且在标准培训上引入了很少的开销。我们的工作显示出通过稳健的单词嵌入来改善文本鲁棒性的巨大潜力。

深度神经网络在解决各种现实世界任务中具有广泛的应用，并在计算机视觉，图像分类和自然语言处理等域中实现了令人满意的结果。同时，神经网络的安全性和稳健性成为必要的，因为不同的研究表明了神经网络的脆弱方面。在点的情况下，在自然语言处理任务中，神经网络可以由秘密修改的文本欺骗，这与原始文本具有高相似性。根据以前的研究，大多数研究都集中在图像领域;与图像逆势攻击不同，文本以离散序列表示，传统的图像攻击方法不适用于NLP字段。在本文中，我们提出了一个单词级NLP情绪分类器攻击模型，包括一种基于自我关注机制的词选择方法和用于Word替换的贪婪搜索算法。我们通过在IMDB数据集中攻击GRU和1D-CNN受害者模型进行攻击模型进行实验。实验结果表明，我们的模型达到了更高的攻击成功率，并且比以前的方法更有效，因为由于有效的单词选择算法，并且最小化了单词替代数。此外，我们的模型可转换，可用于具有多种修改的图像域。

文本对抗攻击暴露了文本分类器的漏洞，可用于改善其稳健性。现有的上下文感知方法仅考虑黄金标签的概率，并在搜索攻击路径时使用贪婪的搜索，通常会限制攻击效率。为了解决这些问题，我们提出了PDB，这是一种使用概率差的引导光束搜索的上下文感知的文本对抗攻击模型。概率差异是所有类标签概率的总体考虑，PDB使用它来指导攻击路径的选择。此外，PDBS使用Beam搜索找到成功的攻击路径，从而避免搜索空间有限。广泛的实验和人类评估表明，PDB在一系列评估指标中的表现优于以前的最佳模型，尤其是提高 +19.5％的攻击成功率。消融研究和定性分析进一步证实了PDB的效率。