视觉变压器已成为一种强大的体系结构，可以超越图像分类任务中的卷积神经网络（CNN）。已经进行了几项尝试，以了解变形金刚对对抗攻击的鲁棒性，但是现有的研究取得了不一致的结果，即，有些人得出结论，变压器比CNN更强大，而另一些人则发现它们具有相似的稳健性。在本文中，我们解决了在研究变压器的对抗鲁棒性的现有研究中未探索的两个问题。首先，我们认为在评估对抗性鲁棒性时应同时考虑图像质量。我们发现，一个建筑对另一个体系结构的优势在鲁棒性方面可能会改变，这取决于受攻击图像质量表达的攻击强度。其次，通过指出变形金刚和CNN依赖图像中的不同类型的信息，我们制定了一个称为傅立叶攻击的攻击框架，作为实施灵活攻击的工具，在该工具中可以在光谱域以及在光谱域中攻击图像空间域。此攻击选择性地涉及特定频率组件的大小和相信息。通过广泛的实验，我们发现变形金刚倾向于比CNN更依赖相位信息和低频信息，因此有时它们在频率选择性攻击下更加脆弱。我们希望这项工作为理解变压器的属性和对抗性鲁棒性提供了新的观点。

最近，已经研究了深层图像分类模型对对抗攻击的脆弱性。但是，对于拍摄输入图像并生成输出图像的图像到图像的任务，尚未对此类问题进行彻底研究（例如，着色，denoing，Deblurring等）本文对深层图像的脆弱性进行了全面研究 - 对抗攻击的图像模型。对于五个流行的图像到图像任务，从各种角度分析了16个深层模型，例如由于攻击，跨不同任务的对抗性示例的转移性以及扰动的特征而引起的输出质量退化。我们表明，与图像分类任务不同，图像到图像任务上的性能下降在很大程度上取决于各种因素，例如攻击方法和任务目标。此外，我们分析了用于分类模型改善图像到图像模型的鲁棒性的常规防御方法的有效性。

最近的视觉变压器（VIT）的进步已经证明了其在图像分类中的令人印象深刻的性能，这使其成为卷积神经网络（CNN）的有希望的替代品。与CNN不同，VIT表示作为图像斑块序列的输入图像。 PATCH-WISE输入图像表示提出了以下问题：与CNN相比，当各个输入图像贴片扰乱自然损坏或对抗性扰动时，如何进行VIT vit表现在这项工作中，我们研究了视觉变形金刚的稳健性，以修补扰动。令人惊讶的是，我们发现视觉变压器对自然腐蚀的斑块比CNN更腐蚀，而它们更容易受到对抗性补丁的影响。此外，我们进行广泛的定性和定量实验，以了解修补扰动的鲁棒性。我们透露，Vit对天然腐蚀斑块的更强烈的稳健性以及对抗对抗性斑块的更高脆弱性都是由注意机制引起的。具体而言，注意模型可以通过有效地忽略自然腐蚀斑块来帮助改善视觉变压器的稳健性。然而，当视力变压器被对手攻击时，注意机制可以很容易地愚弄更多地关注对抗扰动的斑块并导致错误。

视觉变形金刚（VITS）处理将图像输入图像作为通过自我关注的斑块;比卷积神经网络（CNNS）彻底不同的结构。这使得研究Vit模型的对抗特征空间及其可转移性有趣。特别是，我们观察到通过常规逆势攻击发现的对抗性模式，即使对于大型Vit模型，也表现出非常低的黑箱可转移性。但是，我们表明这种现象仅是由于不利用VITS的真实表示潜力的次优攻击程序。深紫色由多个块组成，具有一致的架构，包括自我关注和前馈层，其中每个块能够独立地产生类令牌。仅使用最后一类令牌（传统方法）制定攻击并不直接利用存储在早期令牌中的辨别信息，从而导致VITS的逆势转移性差。使用Vit模型的组成性质，我们通过引入特定于Vit模型结构的两种新策略来增强现有攻击的可转移性。 （i）自我合奏：我们提出了一种通过将单vit模型解剖到网络的集合来找到多种判别途径的方法。这允许在每个VIT块处明确地利用特定于类信息。 （ii）令牌改进：我们建议改进令牌，以进一步增强每种Vit障碍的歧视能力。我们的令牌细化系统地将类令牌系统组合在补丁令牌中保留的结构信息。在一个视觉变压器中发现的分类器的集合中应用于此类精炼令牌时，对抗攻击具有明显更高的可转移性。

变压器模型在处理各种视觉任务方面表现出了有希望的有效性。但是，与训练卷积神经网络（CNN）模型相比，训练视觉变压器（VIT）模型更加困难，并且依赖于大规模训练集。为了解释这一观察结果，我们做出了一个假设，即\ textit {vit模型在捕获图像的高频组件方面的有效性较小，而不是CNN模型}，并通过频率分析对其进行验证。受这一发现的启发，我们首先研究了现有技术从新的频率角度改进VIT模型的影响，并发现某些技术（例如，randaugment）的成功可以归因于高频组件的更好使用。然后，为了补偿这种不足的VIT模型能力，我们提出了HAT，该HAT可以通过对抗训练直接增强图像的高频组成部分。我们表明，HAT可以始终如一地提高各种VIT模型的性能（例如VIT-B的 +1.2％，Swin-B的 +0.5％），尤其是提高了仅使用Imagenet-的高级模型Volo-D5至87.3％ 1K数据，并且优势也可以维持在分发数据的数据上，并转移到下游任务。该代码可在以下网址获得：https：//github.com/jiawangbai/hat。

由多种自我关注层组成的变压器，对适用于不同数据方式的通用学习原语，包括计算机视觉最新（SOTA）标准准确性的近期突破。什么仍然很大程度上未开发，是他们的稳健性评估和归因。在这项工作中，我们研究了视觉变压器（VIT）对共同腐败和扰动，分布换算和自然对抗例的鲁棒性。我们使用六种不同的多样化想象数据集关于强大的分类，进行vit模型和Sota卷积神经网络（CNNS）的全面性能比较，大转移。通过一系列系统地设计的实验，我们提供了分析，这些分析提供了定量和定性迹象，以解释为什么VITS确实更强大的学习者。例如，对于更少的参数和类似的数据集和预训练组合，VIT在ImageNet-A上给出了28.10％的前1个精度，这是比一位的可比较变体高4.3x。我们对图像掩蔽，傅里叶谱灵敏度和传播的分析，在离散余弦能量谱上揭示了Vit归属于改善鲁棒性的损伤性能。再现我们的实验的代码可在https://git.io/j3vo0上获得。

视觉变压器（VIT）在各种机器视觉问题上表现出令人印象深刻的性能。这些模型基于多头自我关注机制，可以灵活地参加一系列图像修补程序以编码上下文提示。一个重要问题是在给定贴片上参加图像范围内的上下文的这种灵活性是如何促进在自然图像中处理滋扰，例如，严重的闭塞，域移位，空间置换，对抗和天然扰动。我们通过广泛的一组实验来系统地研究了这个问题，包括三个vit家族和具有高性能卷积神经网络（CNN）的比较。我们展示和分析了vit的以下迷恋性质：（a）变压器对严重闭塞，扰动和域移位高度稳健，例如，即使在随机堵塞80％的图像之后，也可以在想象中保持高达60％的前1个精度。内容。 （b）与局部纹理的偏置有抗闭锁的强大性能，与CNN相比，VITS对纹理的偏置显着偏差。当受到适当训练以编码基于形状的特征时，VITS展示与人类视觉系统相当的形状识别能力，以前在文献中无与伦比。 （c）使用VIT来编码形状表示导致准确的语义分割而没有像素级监控的有趣后果。 （d）可以组合从单VIT模型的现成功能，以创建一个功能集合，导致传统和几枪学习范例的一系列分类数据集中的高精度率。我们显示VIT的有效特征是由于自我关注机制可以实现灵活和动态的接受领域。

变压器出现为可视识别的强大工具。除了在广泛的视觉基准上展示竞争性能外，最近的作品还争辩说，变形金刚比卷曲神经网络（CNNS）更强大。令人惊讶的是，我们发现这些结论是从不公平的实验设置中得出的，其中变压器和CNN在不同的尺度上比较，并用不同的训练框架应用。在本文中，我们的目标是在变压器和CNN之间提供第一个公平和深入的比较，重点是鲁棒性评估。通过我们的统一培训设置，我们首先挑战以前的信念，使得在衡量对抗性鲁棒性时越来越多的CNN。更令人惊讶的是，如果他们合理地采用变形金刚的培训食谱，我们发现CNNS可以很容易地作为捍卫对抗性攻击的变形金刚。在关于推广样本的泛化的同时，我们显示了对（外部）大规模数据集的预训练不是对实现变压器来实现比CNN更好的性能的根本请求。此外，我们的消融表明，这种更强大的概括主要受到变压器的自我关注架构本身的影响，而不是通过其他培训设置。我们希望这项工作可以帮助社区更好地理解和基准变压器和CNN的鲁棒性。代码和模型在https://github.com/ytongbai/vits-vs-cnns上公开使用。

在本文中，我们询问视觉变形金刚（VIT）是否可以作为改善机器学习模型对抗逃避攻击的对抗性鲁棒性的基础结构。尽管较早的作品集中在改善卷积神经网络上，但我们表明VIT也非常适合对抗训练以实现竞争性能。我们使用自定义的对抗训练配方实现了这一目标，该配方是在Imagenet数据集的一部分上使用严格的消融研究发现的。与卷积相比，VIT的规范培训配方建议强大的数据增强，部分是为了补偿注意力模块的视力归纳偏置。我们表明，该食谱在用于对抗训练时可实现次优性能。相比之下，我们发现省略所有重型数据增强，并添加一些额外的零件（$ \ varepsilon $ -Warmup和更大的重量衰减），从而大大提高了健壮的Vits的性能。我们表明，我们的配方在完整的Imagenet-1k上概括了不同类别的VIT体系结构和大规模模型。此外，调查了模型鲁棒性的原因，我们表明，在使用我们的食谱时，在训练过程中产生强烈的攻击更加容易，这会在测试时提高鲁棒性。最后，我们通过提出一种量化对抗性扰动的语义性质并强调其与模型的鲁棒性的相关性来进一步研究对抗训练的结果。总体而言，我们建议社区应避免将VIT的规范培训食谱转换为在对抗培训的背景下进行强大的培训和重新思考常见的培训选择。

Adding perturbations via utilizing auxiliary gradient information or discarding existing details of the benign images are two common approaches for generating adversarial examples. Though visual imperceptibility is the desired property of adversarial examples, conventional adversarial attacks still generate traceable adversarial perturbations. In this paper, we introduce a novel Adversarial Attack via Invertible Neural Networks (AdvINN) method to produce robust and imperceptible adversarial examples. Specifically, AdvINN fully takes advantage of the information preservation property of Invertible Neural Networks and thereby generates adversarial examples by simultaneously adding class-specific semantic information of the target class and dropping discriminant information of the original class. Extensive experiments on CIFAR-10, CIFAR-100, and ImageNet-1K demonstrate that the proposed AdvINN method can produce less imperceptible adversarial images than the state-of-the-art methods and AdvINN yields more robust adversarial examples with high confidence compared to other adversarial attacks.

在过去的几年中，卷积神经网络（CNN）一直是广泛的计算机视觉任务中的主导神经架构。从图像和信号处理的角度来看，这一成功可能会令人惊讶，因为大多数CNN的固有空间金字塔设计显然违反了基本的信号处理法，即在其下采样操作中对定理进行采样。但是，由于不良的采样似乎不影响模型的准确性，因此在模型鲁棒性开始受到更多关注之前，该问题已被广泛忽略。最近的工作[17]在对抗性攻击和分布变化的背景下，毕竟表明，CNN的脆弱性与不良下降采样操作引起的混叠伪像之间存在很强的相关性。本文以这些发现为基础，并引入了一个可混合的免费下采样操作，可以轻松地插入任何CNN体系结构：频lowcut池。我们的实验表明，结合简单而快速的FGSM对抗训练，我们的超参数无操作员显着提高了模型的鲁棒性，并避免了灾难性的过度拟合。

积极的数据增强是视觉变压器（VIT）的强大泛化能力的关键组成部分。一种这样的数据增强技术是对抗性培训;然而，许多先前的作品表明，这通常会导致清洁的准确性差。在这项工作中，我们展示了金字塔对抗训练，这是一种简单有效的技术来提高韦维尔的整体性能。我们将其与“匹配”辍学和随机深度正则化配对，这采用了干净和对抗样品的相同辍学和随机深度配置。类似于Advprop的CNNS的改进（不直接适用于VIT），我们的金字塔对抗性训练会破坏分销准确性和vit和相关架构的分配鲁棒性之间的权衡。当Imagenet-1K数据训练时，它导致ImageNet清洁准确性的182美元的vit-B模型的精确度，同时由7美元的稳健性指标同时提高性能，从$ 1.76 \％$至11.45 \％$。我们为Imagenet-C（41.4 MCE），Imagenet-R（$ 53.92 \％$），以及Imagenet-Sketch（41.04美元\％$）的新的最先进，只使用vit-b / 16骨干和我们的金字塔对抗训练。我们的代码将在接受时公开提供。

对抗性示例的可转移性是应用这种攻击基于真实环境中的深度学习（DL）的多媒体取证（MMF）技术应用这种攻击的关键问题。事实上，对攻击者没有全面了解待攻击系统的情况，对侵犯柜台取证攻击的部署也会开辟道路。一些初步作品表明，对基于CNN的图像取证检测器的对抗示例通常是不可转移的，至少当采用最受欢迎的库中实现的攻击的基本版本时。在本文中，我们介绍了一般的策略，以提高攻击的强度，并在这种强度变化时评估其可转化性。我们通过实验表明，通过这种方式，攻击可转让性可以在很大程度上增加，以牺牲更大的变形。我们的研究证实了甚至在多媒体取证方案中存在对抗性示例所带来的安全威胁，因此要求新的防御策略来提高基于DL的MMF技术的安全性。

随着各种3D安全关键应用的关注，点云学习模型已被证明容易受到对抗性攻击的影响。尽管现有的3D攻击方法达到了很高的成功率，但它们会以明显的扰动来深入研究数据空间，这可能会忽略几何特征。取而代之的是，我们从新的角度提出了点云攻击 - 图谱域攻击，旨在在光谱域中扰动图形转换系数，该系数对应于改变某些几何结构。具体而言，利用图形信号处理，我们首先通过图形傅立叶变换（GFT）自适应地将点的坐标转换为光谱域，以进行紧凑的表示。然后，我们基于我们建议通过可学习的图形光谱滤波器扰动GFT系数的几何结构的影响。考虑到低频组件主要有助于3D对象的粗糙形状，我们进一步引入了低频约束，以限制不察觉到的高频组件中的扰动。最后，通过将扰动的光谱表示形式转换回数据域，从而生成对抗点云。实验结果证明了拟议攻击的有效性，这些攻击既有易经性和攻击成功率。

近年来，已经开发了用于图像分类的新型体系结构组件，从变压器中使用的注意力和斑块开始。尽管先前的作品已经分析了建筑成分某些方面对对抗性攻击的鲁棒性，尤其是视觉变形金刚的影响，但对主要因素的理解仍然是有限的。我们比较了几个（非）固定分类器与不同的架构并研究其属性，包括对抗训练对学习特征的解释性和对看不见威胁模型的鲁棒性的影响。从Resnet到Convnext的消融揭示了关键的架构变化，导致$ 10 \％$更高$ \ ell_ \ ell_ \ infty $ bobustness。

发现深度学习模型很容易受到对抗性示例的影响，因为在深度学习模型的输入中，对扰动的扰动可能引起错误的预测。对抗图像生成的大多数现有作品都试图为大多数模型实现攻击，而其中很少有人努力确保对抗性示例的感知质量。高质量的对手示例对许多应用很重要，尤其是保留隐私。在这项工作中，我们基于最小明显差异（MND）概念开发了一个框架，以生成对对抗性隐私的保留图像，这些图像与干净的图像具有最小的感知差异，但能够攻击深度学习模型。为了实现这一目标，首先提出了对抗性损失，以使深度学习模型成功地被对抗性图像攻击。然后，通过考虑摄动和扰动引起的结构和梯度变化的大小来开发感知质量的损失，该损失旨在为对抗性图像生成保持高知觉质量。据我们所知，这是基于MND概念以保存隐私的概念来探索质量保护的对抗图像生成的第一项工作。为了评估其在感知质量方面的性能，在这项工作中，通过建议的方法和几种锚方法测试了有关图像分类和面部识别的深层模型。广泛的实验结果表明，所提出的MND框架能够生成具有明显改善的性能指标（例如PSNR，SSIM和MOS）的对抗图像，而不是用锚定方法生成的对抗性图像。

虽然对深度图像分类模型的对抗攻击在实践中提出了严重的安全问题，但是这篇论文提出了一种新的范式，普遍攻击的概念可以利用分类性能，我们称之为友援。我们表明，通过采取相反的扰动搜索方向，可以将图像转换为另一个屈服于分类模型的较高置信度，甚至可以使错误分类的图像正确分类。此外，通过大量的扰动，可以通过人眼无法识别图像，而该模型可以正确地识别。在底层自然图像歧管的观点来看，解释了友援的机制。我们还考虑通用可友好的扰动，即，固定的扰动可以应用于多个图像以改善其分类结果。虽然找到这种扰动是挑战性的，但我们表明，尽可能通过用修改的数据训练垂直于图像歧管的决策边界是有效的，以获得更容易找到通用可友好扰动的模型。最后，我们讨论了综合辅助可以有用的几种应用场景，包括安全图像通信，隐私保留图像通信和防止对抗攻击的保护。

深度神经网络已被证明容易受到对抗图像的影响。常规攻击努力争取严格限制扰动的不可分割的对抗图像。最近，研究人员已采取行动探索可区分但非奇异的对抗图像，并证明色彩转化攻击是有效的。在这项工作中，我们提出了对抗颜色过滤器（ADVCF），这是一种新颖的颜色转换攻击，在简单颜色滤波器的参数空间中通过梯度信息进行了优化。特别是，明确指定了我们的颜色滤波器空间，以便从攻击和防御角度来对对抗性色转换进行系统的鲁棒性分析。相反，由于缺乏这种明确的空间，现有的颜色转换攻击并不能为系统分析提供机会。我们通过用户研究进一步进行了对成功率和图像可接受性的不同颜色转化攻击之间的广泛比较。其他结果为在另外三个视觉任务中针对ADVCF的模型鲁棒性提供了有趣的新见解。我们还强调了ADVCF的人类解剖性，该advcf在实际使用方案中有希望，并显示出比对图像可接受性和效率的最新人解释的色彩转化攻击的优越性。

视觉变压器（VIT）是卷积神经网络（CNN）的强大替代方案，引起了很多关注。最近的工作表明，VIT也容易受到CNN等对抗性例子的影响。为了建立强大的VIT，一种直观的方法是应用对抗训练，因为它已被证明是完成强大CNN的最有效方法之一。但是，对抗性培训的一个主要局限性是其沉重的计算成本。 VIT所采用的自我注意力的机制是计算强度的操作，其费用随输入贴片的数量四次增加，从而使VIT上的对抗性训练更加耗时。在这项工作中，我们首先全面研究了有关各种视觉变压器的快速对抗训练，并说明了效率和鲁棒性之间的关系。然后，为了加快对VIT的对抗训练，我们提出了一种有效的注意力引导的对抗训练机制。具体而言，依靠自我注意的专长，我们在对抗训练过程中以注意引导策略的掉落策略积极地嵌入了每一层的某些斑块嵌入。纤细的自我发场模块大大加速了对VIT的对抗训练。只有65％的快速对抗训练时间，我们与具有挑战性的成像网基准相匹配。

Adversarial attacks hamper the decision-making ability of neural networks by perturbing the input signal. The addition of calculated small distortion to images, for instance, can deceive a well-trained image classification network. In this work, we propose a novel attack technique called Sparse Adversarial and Interpretable Attack Framework (SAIF). Specifically, we design imperceptible attacks that contain low-magnitude perturbations at a small number of pixels and leverage these sparse attacks to reveal the vulnerability of classifiers. We use the Frank-Wolfe (conditional gradient) algorithm to simultaneously optimize the attack perturbations for bounded magnitude and sparsity with $O(1/\sqrt{T})$ convergence. Empirical results show that SAIF computes highly imperceptible and interpretable adversarial examples, and outperforms state-of-the-art sparse attack methods on the ImageNet dataset.