这项工作是对对使用Dino训练的自我监督视觉变压器的对抗性攻击的鲁棒性进行的首次分析。首先，我们评估通过自学学历的特征是否比受到监督学习中出现的人更强大。然后，我们介绍在潜在空间中攻击的属性。最后，我们评估了三种著名的防御策略是否可以通过微调分类头来提高下游任务中的对抗性鲁棒性，即使考虑到有限的计算资源，也可以提供鲁棒性。这些防御策略是：对抗性训练，合奏对抗训练和专业网络的合奏。

视觉变形金刚（VITS）处理将图像输入图像作为通过自我关注的斑块;比卷积神经网络（CNNS）彻底不同的结构。这使得研究Vit模型的对抗特征空间及其可转移性有趣。特别是，我们观察到通过常规逆势攻击发现的对抗性模式，即使对于大型Vit模型，也表现出非常低的黑箱可转移性。但是，我们表明这种现象仅是由于不利用VITS的真实表示潜力的次优攻击程序。深紫色由多个块组成，具有一致的架构，包括自我关注和前馈层，其中每个块能够独立地产生类令牌。仅使用最后一类令牌（传统方法）制定攻击并不直接利用存储在早期令牌中的辨别信息，从而导致VITS的逆势转移性差。使用Vit模型的组成性质，我们通过引入特定于Vit模型结构的两种新策略来增强现有攻击的可转移性。 （i）自我合奏：我们提出了一种通过将单vit模型解剖到网络的集合来找到多种判别途径的方法。这允许在每个VIT块处明确地利用特定于类信息。 （ii）令牌改进：我们建议改进令牌，以进一步增强每种Vit障碍的歧视能力。我们的令牌细化系统地将类令牌系统组合在补丁令牌中保留的结构信息。在一个视觉变压器中发现的分类器的集合中应用于此类精炼令牌时，对抗攻击具有明显更高的可转移性。

深度学习模型在众多图像识别，分类和重建任务中表现出令人难以置信的性能。虽然由于其预测能力而非常吸引人和有价值，但一个共同的威胁仍然挑战。一个专门训练的攻击者可以引入恶意输入扰动来欺骗网络，从而导致可能有害的错误预测。此外，当对手完全访问目标模型（白盒）时，这些攻击可以成功，即使这种访问受限（黑盒设置）。模型的集合可以防止这种攻击，但在其成员（攻击转移性）中的共享漏洞下可能是脆弱的。为此，这项工作提出了一种新的多样性促进深度集成的学习方法。该想法是促进巩固地图多样性（SMD）在集合成员上，以防止攻击者通过在我们的学习目标中引入额外的术语来实现所有集合成员。在培训期间，这有助于我们最大限度地减少模型炼塞之间的对齐，以减少共享成员漏洞，从而增加对对手的合并稳健性。我们经验展示了与中型和高强度白盒攻击相比，集合成员与改进性能之间的可转换性降低。此外，我们证明我们的方法与现有方法相结合，优于白色盒子和黑匣子攻击下的防御最先进的集合算法。

通过对数据集的样本应用小而有意的最差情况扰动可以产生对抗性输入，这导致甚至最先进的深神经网络，以高信任输出不正确的答案。因此，开发了一些对抗防御技术来提高模型的安全性和稳健性，并避免它们被攻击。逐渐，攻击者和捍卫者之间的游戏类似的竞争，其中两个玩家都会试图在最大化自己的收益的同时互相反对发挥最佳策略。为了解决游戏，每个玩家都基于对对手的战略选择的预测来选择反对对手的最佳策略。在这项工作中，我们正处于防守方面，以申请防止攻击的游戏理论方法。我们使用两个随机化方法，随机初始化和随机激活修剪，以创造网络的多样性。此外，我们使用一种去噪技术，超级分辨率，通过在攻击前预处理图像来改善模型的鲁棒性。我们的实验结果表明，这三种方法可以有效提高深度学习神经网络的鲁棒性。

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose high-level representation guided denoiser (HGD) as a defense for image classification. Standard denoiser suffers from the error amplification effect, in which small residual adversarial noise is progressively amplified and leads to wrong classifications. HGD overcomes this problem by using a loss function defined as the difference between the target model's outputs activated by the clean image and denoised image. Compared with ensemble adversarial training which is the state-of-the-art defending method on large images, HGD has three advantages. First, with HGD as a defense, the target model is more robust to either white-box or black-box adversarial attacks. Second, HGD can be trained on a small subset of the images and generalizes well to other images and unseen classes. Third, HGD can be transferred to defend models other than the one guiding it. In NIPS competition on defense against adversarial attacks, our HGD solution won the first place and outperformed other models by a large margin. 1 * Equal contribution.

可转移的对抗性攻击优化了从验证的替代模型和已知标签空间中的对手，以欺骗未知的黑盒模型。因此，这些攻击受到有效的替代模型的可用性受到限制。在这项工作中，我们放宽了这一假设，并提出了对抗像素的恢复，作为一种自制的替代方案，可以在无标签和很少的数据样本的条件下从头开始训练有效的替代模型。我们的培训方法是基于一个最小目标的目标，该目标通过对抗目标减少过度拟合，从而为更概括的替代模型进行了优化。我们提出的攻击是对对抗性像素恢复的补充，并且独立于任何特定任务目标，因为它可以以自我监督的方式启动。我们成功地证明了我们对视觉变压器方法的对抗性可传递性以及卷积神经网络，用于分类，对象检测和视频分割的任务。我们的代码和预培训的代理模型可在以下网址找到：https：//github.com/hashmatshadab/apr

视觉变压器（VIT）竞争替代卷积神经网络（CNN），以完成医学成像中的各种计算机视觉任务，例如分类和分割。尽管CNN对对抗攻击的脆弱性是一个众所周知的问题，但最近的作品表明，VIT也容易受到此类攻击的影响，并且在攻击下遭受了重大的绩效退化。 VIT易于精心设计的对抗样品的脆弱性引起了人们对它们在临床环境中的安全性的严重关注。在本文中，我们提出了一种新型的自我浓缩方法，以在存在对抗性攻击的情况下增强VIT的鲁棒性。拟议的自我启发变压器（SEVIT）利用了一个事实，即通过VIT的初始块学到的特征表示相对不受对抗性扰动的影响。根据这些中间特征表示，学习多个分类器，并将这些预测与最终VIT分类器的预测相结合可以为对抗性攻击提供鲁棒性。测量各种预测之间的一致性也可以帮助检测对抗样本。对两种方式（胸部X射线和基础镜检查）进行的实验证明了SEVIT体系结构在灰色框中防御各种对抗性攻击的功效（攻击者对目标模型有充分的了解，但没有防御机制）设置。代码：https：//github.com/faresmalik/sevit

尽管大量研究专门用于变形检测，但大多数研究都无法推广其在训练范式之外的变形面。此外，最近的变体检测方法非常容易受到对抗攻击的影响。在本文中，我们打算学习一个具有高概括的变体检测模型，以对各种形态攻击和对不同的对抗攻击的高度鲁棒性。为此，我们开发了卷积神经网络（CNN）和变压器模型的合奏，以同时受益于其能力。为了提高整体模型的鲁棒精度，我们采用多扰动对抗训练，并生成具有高可传递性的对抗性示例。我们详尽的评估表明，提出的强大合奏模型将概括为几个变形攻击和面部数据集。此外，我们验证了我们的稳健集成模型在超过最先进的研究的同时，对几次对抗性攻击获得了更好的鲁棒性。

大多数对抗攻击防御方法依赖于混淆渐变。这些方法在捍卫基于梯度的攻击方面是成功的;然而，它们容易被攻击绕过，该攻击不使用梯度或近似近似和使用校正梯度的攻击。不存在不存在诸如对抗培训等梯度的防御，但这些方法通常对诸如其幅度的攻击进行假设。我们提出了一种分类模型，该模型不会混淆梯度，并且通过施工而强大而不承担任何关于攻击的知识。我们的方法将分类作为优化问题，我们“反转”在不受干扰的自然图像上培训的条件发电机，以找到生成最接近查询图像的类。我们假设潜在的脆性抗逆性攻击源是前馈分类器的高度低维性质，其允许对手发现输入空间中的小扰动，从而导致输出空间的大变化。另一方面，生成模型通常是低到高维的映射。虽然该方法与防御GaN相关，但在我们的模型中使用条件生成模型和反演而不是前馈分类是临界差异。与Defense-GaN不同，它被证明生成了容易规避的混淆渐变，我们表明我们的方法不会混淆梯度。我们展示了我们的模型对黑箱攻击的极其强劲，并与自然训练的前馈分类器相比，对白盒攻击的鲁棒性提高。

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

基于深度神经网络（DNN）的智能信息（IOT）系统已被广泛部署在现实世界中。然而，发现DNNS易受对抗性示例的影响，这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略，但效率问题仍未纠正。现有方法是计算地广泛或耗时，这在实践中不适用。在本文中，我们提出了一种称为攻击启发GaN（AI-GaN）的新框架，在有条件地产生对抗性实例。曾经接受过培训，可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN，黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验，AI-GaN实现了高攻击成功率，优于现有方法，并显着降低了生成时间。此外，首次，AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet，所有课程中的成功率约为90美元。

Adversarial examples are perturbed inputs designed to fool machine learning models. Adversarial training injects such examples into training data to increase robustness. To scale this technique to large datasets, perturbations are crafted using fast single-step methods that maximize a linear approximation of the model's loss. We show that this form of adversarial training converges to a degenerate global minimum, wherein small curvature artifacts near the data points obfuscate a linear approximation of the loss. The model thus learns to generate weak perturbations, rather than defend against strong ones. As a result, we find that adversarial training remains vulnerable to black-box attacks, where we transfer perturbations computed on undefended models, as well as to a powerful novel single-step attack that escapes the non-smooth vicinity of the input data via a small random step. We further introduce Ensemble Adversarial Training, a technique that augments training data with perturbations transferred from other models. On ImageNet, Ensemble Adversarial Training yields models with stronger robustness to blackbox attacks. In particular, our most robust model won the first round of the NIPS 2017 competition on Defenses against Adversarial Attacks (Kurakin et al., 2017c). However, subsequent work found that more elaborate black-box attacks could significantly enhance transferability and reduce the accuracy of our models.

由于对抗性攻击的存在，深度学习分类器的安全性是一个关键的研究领域。这种攻击通常依赖于可转移性的原则，其中在代理分类器上制作的对手示例倾向于误导目标分类器，即使两个分类器都有相当不同的架构，也要误导目标分类器。抗逆性攻击的集合方法表明，对抗性示例的可能性不太可能在具有不同决策边界的集合中误导多个分类器。然而，最近的集合方法已被证明是易受强烈的对手或表现出缺乏结束到最终评估的影响。本文试图开发一种新的集合方法，该方法在训练过程中使用成对对手稳健的损失（PARL）功能来构造多种不同分类器。 PARL在同时在集合中的每个分类器中输入每个层的梯度。与之前的集合方法相比，建议的培训程序使PARL能够实现对黑盒转移攻击的更高稳健性，而不会对清洁实例的准确性产生不利影响。我们还评估了白盒攻击存在下的稳健性，其中使用目标分类器的参数制作了对抗示例。我们使用标准图像分类数据集在使用标准Reset20分类器培训的标准图像分类数据集目前，使用标准Reset20分类器，以展示所提出的集合方法的稳健性。

深度学习（DL）在许多与人类相关的任务中表现出巨大的成功，这导致其在许多计算机视觉的基础应用中采用，例如安全监控系统，自治车辆和医疗保健。一旦他们拥有能力克服安全关键挑战，这种安全关键型应用程序必须绘制他们的成功部署之路。在这些挑战中，防止或/和检测对抗性实例（AES）。对手可以仔细制作小型，通常是难以察觉的，称为扰动的噪声被添加到清洁图像中以产生AE。 AE的目的是愚弄DL模型，使其成为DL应用的潜在风险。在文献中提出了许多测试时间逃避攻击和对策，即防御或检测方法。此外，还发布了很少的评论和调查，理论上展示了威胁的分类和对策方法，几乎​​没有焦点检测方法。在本文中，我们专注于图像分类任务，并试图为神经网络分类器进行测试时间逃避攻击检测方法的调查。对此类方法的详细讨论提供了在四个数据集的不同场景下的八个最先进的探测器的实验结果。我们还为这一研究方向提供了潜在的挑战和未来的观点。

在计算机视觉应用中广泛采用深度神经网络引起了对对抗性鲁棒性的重大兴趣。现有的研究表明，专门针对给定模型量身定制的恶意扰动输入（即，对抗性示例）可以成功地转移到另一个受过独立训练的模型中，以引起预测错误。此外，这种对抗性示例的属性归因于数据分布中的预测模式得出的特征。因此，我们有动力调查以下问题：对抗性防御，例如对抗性例子，可以成功地转移到其他受过独立训练的模型中？为此，我们提出了一种基于深度学习的预处理机制，我们将其称为可鲁棒的可转移功能提取器（RTFE）。在研究了理论动机和含义后，我们在实验上表明，我们的方法可以为多个独立训练的分类器提供对抗性的鲁棒性，这些分类器原本是对自适应白盒对手的无效性。此外，我们表明RTFE甚至可以为在不同数据集中独立训练的模型提供单发对手的鲁棒性。

This paper investigates recently proposed approaches for defending against adversarial examples and evaluating adversarial robustness. We motivate adversarial risk as an objective for achieving models robust to worst-case inputs. We then frame commonly used attacks and evaluation metrics as defining a tractable surrogate objective to the true adversarial risk. This suggests that models may optimize this surrogate rather than the true adversarial risk. We formalize this notion as obscurity to an adversary, and develop tools and heuristics for identifying obscured models and designing transparent models. We demonstrate that this is a significant problem in practice by repurposing gradient-free optimization techniques into adversarial attacks, which we use to decrease the accuracy of several recently proposed defenses to near zero. Our hope is that our formulations and results will help researchers to develop more powerful defenses.

人类严重依赖于形状信息来识别对象。相反，卷积神经网络（CNNS）偏向于纹理。这也许是CNNS易受对抗性示例的影响的主要原因。在这里，我们探索如何将偏差纳入CNN，以提高其鲁棒性。提出了两种算法，基于边缘不变，以中等难以察觉的扰动。在第一个中，分类器在具有边缘图作为附加信道的图像上进行前列地培训。在推断时间，边缘映射被重新计算并连接到图像。在第二算法中，训练了条件GaN，以将边缘映射从干净和/或扰动图像转换为清洁图像。推断在与输入的边缘图对应的生成图像上完成。超过10个数据集的广泛实验证明了算法对FGSM和$ \ ELL_ infty $ PGD-40攻击的有效性。此外，我们表明a）边缘信息还可以使其他对抗训练方法有益，并且B）在边缘增强输入上培训的CNNS对抗自然图像损坏，例如运动模糊，脉冲噪声和JPEG压缩，而不是仅培训的CNNS RGB图像。从更广泛的角度来看，我们的研究表明，CNN不会充分占对鲁棒性至关重要的图像结构。代码可用：〜\ url {https://github.com/aliborji/shapedefense.git}。

虽然深度神经网络（DNN）在许多真实的任务中实现了出色的性能，但它们非常容易受到对抗的攻击。对抗这种攻击的主要防御是对抗的，一种技术，通过将对抗噪声引入其输入来训练DNN培训以训练为对抗性攻击的技术。此程序是有效的，但必须在培训阶段进行。在这项工作中，我们提出了增强随机森林（ARF），这是一个简单易用的策略，用于在不修改其权重的情况下强化现有的预磨损DNN。对于每个图像，我们通过应用不同颜色，模糊，噪声和几何变换来生成随机测试时间增强。然后我们使用DNN的Logits输出来训练一个简单的随机林来预测真正的类标签。我们的方法在自然图像的分类上最小的妥协，实现了最先进的对抗鲁棒性对白和黑匣子攻击的多样性。我们也针对许多适应性的白盒攻击测试ARF，并在与对抗训练结合时显示出优异的结果。代码可在https://github.com/giladcohen/arf获得。

积极调查深度神经网络的对抗鲁棒性。然而，大多数现有的防御方法限于特定类型的对抗扰动。具体而言，它们通常不能同时为多次攻击类型提供抵抗力，即，它们缺乏多扰动鲁棒性。此外，与图像识别问题相比，视频识别模型的对抗鲁棒性相对未开发。虽然有几项研究提出了如何产生对抗性视频，但在文献中只发表了关于防御策略的少数关于防御策略的方法。在本文中，我们提出了用于视频识别的多种抗逆视频的第一战略之一。所提出的方法称为Multibn，使用具有基于学习的BN选择模块的多个独立批量归一化（BN）层对多个对冲视频类型进行对抗性训练。利用多个BN结构，每个BN Brach负责学习单个扰动类型的分布，从而提供更精确的分布估计。这种机制有利于处理多种扰动类型。 BN选择模块检测输入视频的攻击类型，并将其发送到相应的BN分支，使MultiBN全自动并允许端接训练。与目前的对抗训练方法相比，所提出的Multibn对不同甚至不可预见的对抗性视频类型具有更强的多扰动稳健性，从LP界攻击和物理上可实现的攻击范围。在不同的数据集和目标模型上保持真实。此外，我们进行了广泛的分析，以研究多BN结构的性质。

在本文中，我们询问视觉变形金刚（VIT）是否可以作为改善机器学习模型对抗逃避攻击的对抗性鲁棒性的基础结构。尽管较早的作品集中在改善卷积神经网络上，但我们表明VIT也非常适合对抗训练以实现竞争性能。我们使用自定义的对抗训练配方实现了这一目标，该配方是在Imagenet数据集的一部分上使用严格的消融研究发现的。与卷积相比，VIT的规范培训配方建议强大的数据增强，部分是为了补偿注意力模块的视力归纳偏置。我们表明，该食谱在用于对抗训练时可实现次优性能。相比之下，我们发现省略所有重型数据增强，并添加一些额外的零件（$ \ varepsilon $ -Warmup和更大的重量衰减），从而大大提高了健壮的Vits的性能。我们表明，我们的配方在完整的Imagenet-1k上概括了不同类别的VIT体系结构和大规模模型。此外，调查了模型鲁棒性的原因，我们表明，在使用我们的食谱时，在训练过程中产生强烈的攻击更加容易，这会在测试时提高鲁棒性。最后，我们通过提出一种量化对抗性扰动的语义性质并强调其与模型的鲁棒性的相关性来进一步研究对抗训练的结果。总体而言，我们建议社区应避免将VIT的规范培训食谱转换为在对抗培训的背景下进行强大的培训和重新思考常见的培训选择。