最近基于神经的关系提取方法虽然实现了对基准数据集的有希望的改进，但据对抗对抗攻击的脆弱性。到目前为止，努力主要集中在产生对抗性样本或捍卫对抗性攻击，但对正常和对抗样品之间的差异很少。在这项工作中，我们采取第一步利用基于显着的方法来分析那些对抗性样本。我们观察到显着标记与对抗扰动的直接相关。我们进一步发现对抗性扰动是训练集中不存在的那些代币或与关系标签相关的肤色提示。在某种程度上，我们的方法推出了对抗对抗样本的特征。我们在https://github.com/zjunlp/diagnoseadv中发布了一个开源测试用“diagnoseadv”。

微调预训练模型在标准的自然语言处理基准上取得了令人印象深刻的性能。然而，所产生的模型概括性仍然明确地理解。例如，我们不知道，性能如何导致泛化模型的完善。在这项研究中，我们使用关系提取来分析来自不同观点的微调BERT模型。我们还根据我们提出的改进来表征泛化技术的差异。从经验实验中，我们发现BERT通过随机化，对抗性和反事实试验以及偏差（即选择和语义）遭受鲁棒性而遭受瓶颈。这些发现突出了未来改进的机会。我们的开放式测试平台诊断为\ url {https://github.com/zjunlp/diagnosere}。

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TEXTFOOLER, a simple but strong baseline to generate adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate three advantages of this framework:(1) effective-it outperforms previous attacks by success rate and perturbation rate, (2) utility-preserving-it preserves semantic content, grammaticality, and correct types classified by humans, and (3) efficient-it generates adversarial text with computational complexity linear to the text length. 1

最近的作品表明了解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键成分。然而，以前的作品通常是解决了两个方面的一个：i）如何提取准确的理由，以便在有利于预测的同时解释; ii）如何使预测模型对不同类型的对抗性攻击稳健。直观地，一种产生有用的解释的模型应该对对抗性攻击更加强大，因为我们无法信任输出解释的模型，而是在小扰动下改变其预测。为此，我们提出了一个名为-BMC的联合分类和理由提取模型。它包括两个关键机制：混合的对手训练（AT）旨在在离散和嵌入空间中使用各种扰动，以改善模型的鲁棒性，边界匹配约束（BMC）有助于利用边界信息的引导来定位理由。基准数据集的性能表明，所提出的AT-BMC优于分类和基本原子的基础，由大边距提取。鲁棒性分析表明，建议的AT-BMC将攻击成功率降低了高达69％。经验结果表明，强大的模型与更好的解释之间存在连接。

解释方法已成为突出导致神经网络预测的功能的重要工具。有越来越多的证据表明，许多解释方法相当不可靠，并且容易受到恶意操纵的影响。在本文中，我们尤其旨在了解文本模式中解释方法的鲁棒性。我们提供了最初的见解和结果，以设计成功的对抗性攻击文本解释。据我们所知，这是评估解释方法的对抗性鲁棒性的首次尝试。我们的实验表明，解释方法可能会在很大程度上被打扰，最多可以在86％的测试样品中受到输入句子及其语义的较小变化。

Recently it has been shown that state-of-the-art NLP models are vulnerable to adversarial attacks, where the predictions of a model can be drastically altered by slight modifications to the input (such as synonym substitutions). While several defense techniques have been proposed, and adapted, to the discrete nature of text adversarial attacks, the benefits of general-purpose regularization methods such as label smoothing for language models, have not been studied. In this paper, we study the adversarial robustness provided by various label smoothing strategies in foundational models for diverse NLP tasks in both in-domain and out-of-domain settings. Our experiments show that label smoothing significantly improves adversarial robustness in pre-trained models like BERT, against various popular attacks. We also analyze the relationship between prediction confidence and robustness, showing that label smoothing reduces over-confident errors on adversarial examples.

尽管在许多机器学习任务方面取得了巨大成功，但深度神经网络仍然易于对抗对抗样本。虽然基于梯度的对抗攻击方法在计算机视野领域探索，但由于文本的离散性质，直接应用于自然语言处理中，这是不切实际的。为了弥合这一差距，我们提出了一般框架，以适应现有的基于梯度的方法来制作文本对抗性样本。在该框架中，将基于梯度的连续扰动添加到嵌入层中，并在前向传播过程中被放大。然后用掩模语言模型头解码最终的扰动潜在表示以获得潜在的对抗性样本。在本文中，我们将我们的框架与\ textbf {t} Extual \ TextBF {P} ROJECTED \ TextBF {G} Radient \ TextBF {D} excent（\ TextBF {TPGD}）进行ronject \ textbf {p}。我们通过在三个基准数据集上执行转移黑匣子攻击来评估我们的框架来评估我们的框架。实验结果表明，与强基线方法相比，我们的方法达到了更好的性能，并产生更精细和语法的对抗性样本。所有代码和数据都将公开。

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

最先进的文本分类模型越来越依赖深度神经网络（DNNS）。由于其黑框的性质，忠实而强大的解释方法需要陪同分类器在现实生活中进行部署。但是，在视力应用中已经显示出解释方法对局部，不可察觉的扰动敏感，这些方法可以显着改变解释而不会改变预测类。我们在这里表明，这种扰动的存在也扩展到文本分类器。具体来说，我们介绍了一种新颖的解释攻击算法，它不概论地改变了文本输入样本，以使广泛使用的解释方法的结果发生了很大变化，而在使分类器预测不变。我们在五个序列分类数据集上评估了TEF归因鲁棒性估计性能的性能，并利用每个数据集的三个DNN体系结构和三个变压器体系结构。 TEF可以显着降低未改变和扰动输入归因之间的相关性，这表明所有模型和解释方法都易受TEF扰动的影响。此外，我们评估了扰动如何传输到其他模型架构和归因方法，并表明TEF扰动在目标模型和解释方法未知的情况下也有效。最后，我们引入了一种半世界攻击，能够在不了解受攻击的分类器和解释方法的情况下计算快速，计算轻度扰动。总体而言，我们的工作表明，文本分类器中的解释非常脆弱，用户需要仔细解决其鲁棒性，然后才能在关键应用程序中依靠它们。

深度变压器神经网络模型在生物医学域中提高了智能文本处理系统的预测精度。他们在各种各样的生物医学和临床自然语言处理（NLP）基准上获得了最先进的性能分数。然而，到目前为止，这些模型的稳健性和可靠性较小。神经NLP模型可以很容易地被对抗动物样本所欺骗，即输入的次要变化，以保留文本的含义和可理解性，而是强制NLP系统做出错误的决策。这提出了对生物医学NLP系统的安全和信任的严重担忧，特别是当他们旨在部署在现实世界用例中时。我们调查了多种变压器神经语言模型的强大，即Biobert，Scibert，Biomed-Roberta和Bio-Clinicalbert，在各种生物医学和临床文本处理任务中。我们实施了各种对抗的攻击方法来测试不同攻击方案中的NLP系统。实验结果表明，生物医学NLP模型对对抗性样品敏感;它们的性能平均分别平均下降21％和18.9个字符级和字级对抗噪声的绝对百分比。进行广泛的对抗训练实验，我们在清洁样品和对抗性投入的混合物上进行了微调NLP模型。结果表明，对抗性训练是对抗对抗噪声的有效防御机制;模型的稳健性平均提高11.3绝对百分比。此外，清洁数据的模型性能平均增加2.4个绝对存在，表明对抗性训练可以提高生物医学NLP系统的概括能力。

Pre-trained programming language (PL) models (such as CodeT5, CodeBERT, GraphCodeBERT, etc.,) have the potential to automate software engineering tasks involving code understanding and code generation. However, these models operate in the natural channel of code, i.e., they are primarily concerned with the human understanding of the code. They are not robust to changes in the input and thus, are potentially susceptible to adversarial attacks in the natural channel. We propose, CodeAttack, a simple yet effective black-box attack model that uses code structure to generate effective, efficient, and imperceptible adversarial code samples and demonstrates the vulnerabilities of the state-of-the-art PL models to code-specific adversarial attacks. We evaluate the transferability of CodeAttack on several code-code (translation and repair) and code-NL (summarization) tasks across different programming languages. CodeAttack outperforms state-of-the-art adversarial NLP attack models to achieve the best overall drop in performance while being more efficient, imperceptible, consistent, and fluent. The code can be found at https://github.com/reddy-lab-code-research/CodeAttack.

在过去的几年中，保护NLP模型免受拼写错误的障碍是研究兴趣的对象。现有的补救措施通常会损害准确性，或者需要对每个新的攻击类别进行完整的模型重新训练。我们提出了一种新颖的方法，可以向基于变压器的NLP模型中的拼写错误增加弹性。可以实现这种鲁棒性，而无需重新训练原始的NLP模型，并且只有最小的语言丧失理解在没有拼写错误的输入上的性能。此外，我们提出了一种新的有效近似方法来产生对抗性拼写错误，这大大降低了评估模型对对抗性攻击的弹性所需的成本。

Robustness evaluation against adversarial examples has become increasingly important to unveil the trustworthiness of the prevailing deep models in natural language processing (NLP). However, in contrast to the computer vision domain where the first-order projected gradient descent (PGD) is used as the benchmark approach to generate adversarial examples for robustness evaluation, there lacks a principled first-order gradient-based robustness evaluation framework in NLP. The emerging optimization challenges lie in 1) the discrete nature of textual inputs together with the strong coupling between the perturbation location and the actual content, and 2) the additional constraint that the perturbed text should be fluent and achieve a low perplexity under a language model. These challenges make the development of PGD-like NLP attacks difficult. To bridge the gap, we propose TextGrad, a new attack generator using gradient-driven optimization, supporting high-accuracy and high-quality assessment of adversarial robustness in NLP. Specifically, we address the aforementioned challenges in a unified optimization framework. And we develop an effective convex relaxation method to co-optimize the continuously-relaxed site selection and perturbation variables and leverage an effective sampling method to establish an accurate mapping from the continuous optimization variables to the discrete textual perturbations. Moreover, as a first-order attack generation method, TextGrad can be baked into adversarial training to further improve the robustness of NLP models. Extensive experiments are provided to demonstrate the effectiveness of TextGrad not only in attack generation for robustness evaluation but also in adversarial defense.

大型语言模型（LLM）已在一系列自然语言理解任务上实现了最先进的表现。但是，这些LLM可能依靠数据集偏差和文物作为预测的快捷方式。这极大地损害了他们的分布（OOD）概括和对抗性鲁棒性。在本文中，我们对最新发展的综述，这些发展解决了LLMS的鲁棒性挑战。我们首先介绍LLM的概念和鲁棒性挑战。然后，我们介绍了在LLM中识别快捷方式学习行为的方法，表征了快捷方式学习的原因以及引入缓解解决方案。最后，我们确定了关键挑战，并将这一研究线的联系引入其他方向。

现有的研究表明，对抗性示例可以直接归因于具有高度预测性的非稳态特征的存在，但很容易被对手对愚弄NLP模型进行操纵。在这项研究中，我们探讨了捕获特定于任务的鲁棒特征的可行性，同时使用信息瓶颈理论消除了非舒适的特征。通过广泛的实验，我们表明，通过我们的信息基于瓶颈的方法训练的模型能够在稳健的精度上取得显着提高，超过了所有先前报道的防御方法的性能，而在SST-2上几乎没有遭受清洁准确性的表现下降，Agnews和IMDB数据集。

现代分类算法易于对抗对抗示例 - 对导致算法产生不期望的行为的输入扰动。在这项工作中，我们寻求理解和扩展跨域的对抗性示例，其中输入是离散的，特别是在新域中，例如计算生物学。作为实现这一目标的步骤，我们正规化了在任何离散设置中应用的同义对手示例的概念，并描述了构建此类示例的简单域 - 不可原谅算法。我们在多个域施用该算法 - 包括情绪分析和DNA序列分类 - 并发现它一直揭示逆势实例。我们从理论上寻求理解他们的普遍性，我们将其存在归因于虚假令牌相关性，这是一个特定于离散空间的统计现象。我们的作品是朝着朝向与连续输入类似的离散对抗的例子的域名侵害治疗的一步。

文本对抗攻击暴露了文本分类器的漏洞，可用于改善其稳健性。现有的上下文感知方法仅考虑黄金标签的概率，并在搜索攻击路径时使用贪婪的搜索，通常会限制攻击效率。为了解决这些问题，我们提出了PDB，这是一种使用概率差的引导光束搜索的上下文感知的文本对抗攻击模型。概率差异是所有类标签概率的总体考虑，PDB使用它来指导攻击路径的选择。此外，PDBS使用Beam搜索找到成功的攻击路径，从而避免搜索空间有限。广泛的实验和人类评估表明，PDB在一系列评估指标中的表现优于以前的最佳模型，尤其是提高 +19.5％的攻击成功率。消融研究和定性分析进一步证实了PDB的效率。

基于深度学习的NLP模型被发现容易受到Word替代扰动的影响。在他们被广泛采用之前，需要解决坚固性的基本问题。沿着这条线，我们提出了一个正式的框架来评估词语级鲁棒性。首先，要研究模型的安全区域，我们引入了稳健的半径，这是模型可以抵抗任何扰动的边界。计算最大鲁棒性半径的计算变硬，我们估计其上限和下限。我们将攻击方法作为寻求上限和设计伪动态编程算法的攻击方法，用于更紧密的上限。然后验证方法用于下限。此外，为了评估在安全半径之外的区域的稳健性，我们从另一个视图中重新征服鲁棒性：量化。引入了具有严格统计保障的鲁棒度量，以测量对抗性示例的定量，这表明该模型对安全半径之外的扰动的敏感性。该度量有助于我们弄清楚为什么伯特这样的最先进的模型可以很容易地被几个单词替换所吸引，但在现实世界的噪音存在下概括很好。

Adversarial training is widely acknowledged as the most effective defense against adversarial attacks. However, it is also well established that achieving both robustness and generalization in adversarially trained models involves a trade-off. The goal of this work is to provide an in depth comparison of different approaches for adversarial training in language models. Specifically, we study the effect of pre-training data augmentation as well as training time input perturbations vs. embedding space perturbations on the robustness and generalization of BERT-like language models. Our findings suggest that better robustness can be achieved by pre-training data augmentation or by training with input space perturbation. However, training with embedding space perturbation significantly improves generalization. A linguistic correlation analysis of neurons of the learned models reveal that the improved generalization is due to `more specialized' neurons. To the best of our knowledge, this is the first work to carry out a deep qualitative analysis of different methods of generating adversarial examples in adversarial training of language models.

目前，自然语言理解（NLU）中最根本的两个挑战是：（a）如何以“正确”的原因确定基于深度学习的模型是否在NLU基准上得分很高；（b）了解这些原因甚至是什么。我们研究了关于两个语言“技能”的阅读理解模型的行为：核心分辨率和比较。我们为从系统中预期的推理步骤提出了一个定义，该系统将“缓慢阅读”，并将其与各种大小的贝特家族的五个模型的行为进行比较，这是通过显着分数和反事实解释观察到的。我们发现，对于比较（而不是核心），基于较大编码器的系统更有可能依靠“正确”的信息，但即使他们在概括方面也很难，表明他们仍然学习特定的词汇模式，而不是比较的一般原则。