深层神经网络（DNN）容易受到精心设计的扰动的影响，无论是依赖还是独立于图像。后一个称为通用对抗扰动（UAP），对于模型鲁棒性分析非常有吸引力，因为其对输入的独立性揭示了模型的内在特征。相对而言，另一个有趣的观察结果是神经塌陷（NC），这意味着特征变异性可能在训练的末端阶段崩溃。由此激励，我们建议通过攻击NC现象发生的层来生成UAP。由于NC，拟议的攻击可以收集其周围的所有自然图像特征，因此称为功能收集UAP（FG-UAP）。我们评估了我们提出的算法对丰富实验的有效性，包括未靶向和有针对性的通用攻击，有限的数据集中的攻击以及基于转移的黑盒攻击，包括视觉变形金刚，据信更强大的视觉变压器。此外，我们通过分析标签和提取的对抗性示例的标签和提取特征来研究FG-UAP，发现在模型损坏后，崩溃现象变得更强大。接受纸张时，该代码将发布。

对抗性实例的有趣现象引起了机器学习中的显着关注，对社区可能更令人惊讶的是存在普遍对抗扰动（UAPS），即欺骗目标DNN的单一扰动。随着对深层分类器的关注，本调查总结了最近普遍对抗攻击的进展，讨论了攻击和防御方的挑战，以及uap存在的原因。我们的目标是将此工作扩展为动态调查，该调查将定期更新其内容，以遵循关于在广泛的域中的UAP或通用攻击的新作品，例如图像，音频，视频，文本等。将讨论相关更新：https://bit.ly/2sbqlgg。我们欢迎未来的作者在该领域的作品，联系我们，包括您的新发现。

在本文中，我们提出了一种防御策略，以通过合并隐藏的层表示来改善对抗性鲁棒性。这种防御策略的关键旨在压缩或过滤输入信息，包括对抗扰动。而且这种防御策略可以被视为一种激活函数，可以应用于任何类型的神经网络。从理论上讲，我们在某些条件下也证明了这种防御策略的有效性。此外，合并隐藏层表示，我们提出了三种类型的对抗攻击，分别生成三种类型的对抗示例。实验表明，我们的防御方法可以显着改善深神经网络的对抗性鲁棒性，即使我们不采用对抗性训练，也可以实现最新的表现。

尽管利用对抗性示例的可传递性可以达到非目标攻击的攻击成功率，但它在有针对性的攻击中不能很好地工作，因为从源图像到目标类别的梯度方向通常在不同的DNN中有所不同。为了提高目标攻击的可转移性，最近的研究使生成的对抗示例的特征与从辅助网络或生成对抗网络中学到的目标类别的特征分布保持一致。但是，这些作品假定培训数据集可用，并且需要大量时间来培训网络，这使得很难应用于现实世界。在本文中，我们从普遍性的角度重新审视具有针对性转移性的对抗性示例，并发现高度普遍的对抗扰动往往更容易转移。基于此观察结果，我们提出了图像（LI）攻击的局部性，以提高目标传递性。具体而言，Li不仅仅是使用分类损失，而是引入了对抗性扰动的原始图像和随机裁剪的图像之间的特征相似性损失，这使得对抗性扰动的特征比良性图像更为主导，因此提高了目标传递性的性能。通过将图像的局部性纳入优化扰动中，LI攻击强调，有针对性的扰动应与多样化的输入模式，甚至本地图像贴片有关。广泛的实验表明，LI可以实现基于转移的目标攻击的高成功率。在攻击Imagenet兼容数据集时，LI与现有最新方法相比，LI的提高为12 \％。

最近的视觉变压器（VIT）的进步已经证明了其在图像分类中的令人印象深刻的性能，这使其成为卷积神经网络（CNN）的有希望的替代品。与CNN不同，VIT表示作为图像斑块序列的输入图像。 PATCH-WISE输入图像表示提出了以下问题：与CNN相比，当各个输入图像贴片扰乱自然损坏或对抗性扰动时，如何进行VIT vit表现在这项工作中，我们研究了视觉变形金刚的稳健性，以修补扰动。令人惊讶的是，我们发现视觉变压器对自然腐蚀的斑块比CNN更腐蚀，而它们更容易受到对抗性补丁的影响。此外，我们进行广泛的定性和定量实验，以了解修补扰动的鲁棒性。我们透露，Vit对天然腐蚀斑块的更强烈的稳健性以及对抗对抗性斑块的更高脆弱性都是由注意机制引起的。具体而言，注意模型可以通过有效地忽略自然腐蚀斑块来帮助改善视觉变压器的稳健性。然而，当视力变压器被对手攻击时，注意机制可以很容易地愚弄更多地关注对抗扰动的斑块并导致错误。

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

深度神经网络在许多重要的遥感任务中取得了巨大的成功。然而，不应忽略它们对对抗性例子的脆弱性。在这项研究中，我们第一次系统地在遥感数据中系统地分析了普遍的对抗示例，而没有受害者模型的任何知识。具体而言，我们提出了一种新型的黑盒对抗攻击方法，即混合攻击及其简单的变体混合尺寸攻击，用于遥感数据。提出方法的关键思想是通过攻击给定替代模型的浅层层中的特征来找到不同网络之间的共同漏洞。尽管它们很简单，但提出的方法仍可以生成可转移的对抗性示例，这些示例欺骗了场景分类和语义分割任务的大多数最新深层神经网络，并具有很高的成功率。我们进一步在名为AUAE-RS的数据集中提供了生成的通用对抗示例，该数据集是第一个在遥感字段中提供黑色框对面样本的数据集。我们希望阿联酋可以用作基准，以帮助研究人员设计具有对遥感领域对抗攻击的强烈抵抗力的深神经网络。代码和阿联酋-RS数据集可在线获得（https://github.com/yonghaoxu/uae-rs）。

已发现深层神经网络重新受到攻击。一种称为Adver-Sarial示例的精心设计的输入可以导致网络进行错误的预测。根据不同的情况，目标和能力，攻击的困难是不同的。难以转让的人。问题是：是否存在可以满足所有这些要求的存在攻击？在这个pa-per中，我们通过产生一种攻击这些条件来回答这个问题。我们学到了一个通用映射的对抗示例的来源。这些考试示例可以欺骗分类网络，以对所有目标类别进行分类，并且具有强大的可传递性。我们的代码在以下方面发布：xxxxx。

基于转移的对抗攻击可以评估黑框设置中的模型鲁棒性。几种方法表现出令人印象深刻的非目标转移性，但是，有效地产生有针对性的可转移性仍然具有挑战性。为此，我们开发了一个简单而有效的框架，以应用层次生成网络制作有针对性的基于转移的对抗性示例。特别是，我们有助于适应多级目标攻击的摊销设计。对Imagenet的广泛实验表明，我们的方法通过与现有方法相比，大幅度的余量提高了目标黑盒攻击的成功率 - 它的平均成功率为29.1 \％，而仅基于一个替代白盒的六种不同模型模型，大大优于最先进的基于梯度的攻击方法。此外，与基于梯度的方法相比，所提出的方法超出了数量级的效率也更有效。

深度神经网络（DNN）已被证明是针对对抗性示例（AE）的脆弱性，这些例子是恶意设计用于欺骗目标模型的。添加了不可察觉的对抗扰动的正常示例（NES）可能是对DNN的安全威胁。尽管现有的AES检测方法已经达到了很高的精度，但他们未能利用检测到的AE的信息。因此，基于高维扰动提取，我们提出了一种无模型的AES检测方法，其整个过程没有查询受害者模型。研究表明，DNN对高维度敏感。对抗示例中隐藏的对抗性扰动属于高维特征，高维特征是高度预测性和非持胸膜的。 DNN比其他人从高维数据中学习更多细节。在我们的方法中，扰动提取器可以从AES作为高维特征提取对抗扰动，然后训练有素的AES鉴别器确定输入是否为AE。实验结果表明，所提出的方法不仅可以以高精度检测对抗示例，还可以检测AE的特定类别。同时，提取的扰动可用于将AE恢复到NES。

尽管机器学习系统的效率和可扩展性，但最近的研究表明，许多分类方法，尤其是深神经网络（DNN），易受对抗的例子;即，仔细制作欺骗训练有素的分类模型的例子，同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 （2013）和Szegedy等人。（2014年），在这一领域已经完成了很多工作，包括开发攻击方法，以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展，主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码（在Python和R）公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。

视觉变形金刚（VITS）处理将图像输入图像作为通过自我关注的斑块;比卷积神经网络（CNNS）彻底不同的结构。这使得研究Vit模型的对抗特征空间及其可转移性有趣。特别是，我们观察到通过常规逆势攻击发现的对抗性模式，即使对于大型Vit模型，也表现出非常低的黑箱可转移性。但是，我们表明这种现象仅是由于不利用VITS的真实表示潜力的次优攻击程序。深紫色由多个块组成，具有一致的架构，包括自我关注和前馈层，其中每个块能够独立地产生类令牌。仅使用最后一类令牌（传统方法）制定攻击并不直接利用存储在早期令牌中的辨别信息，从而导致VITS的逆势转移性差。使用Vit模型的组成性质，我们通过引入特定于Vit模型结构的两种新策略来增强现有攻击的可转移性。 （i）自我合奏：我们提出了一种通过将单vit模型解剖到网络的集合来找到多种判别途径的方法。这允许在每个VIT块处明确地利用特定于类信息。 （ii）令牌改进：我们建议改进令牌，以进一步增强每种Vit障碍的歧视能力。我们的令牌细化系统地将类令牌系统组合在补丁令牌中保留的结构信息。在一个视觉变压器中发现的分类器的集合中应用于此类精炼令牌时，对抗攻击具有明显更高的可转移性。

在过去的几十年中，人工智能的兴起使我们有能力解决日常生活中最具挑战性的问题，例如癌症的预测和自主航行。但是，如果不保护对抗性攻击，这些应用程序可能不会可靠。此外，最近的作品表明，某些对抗性示例可以在不同的模型中转移。因此，至关重要的是避免通过抵抗对抗性操纵的强大模型进行这种可传递性。在本文中，我们提出了一种基于特征随机化的方法，该方法抵抗了八次针对测试阶段深度学习模型的对抗性攻击。我们的新方法包括改变目标网络分类器中的训练策略并选择随机特征样本。我们认为攻击者具有有限的知识和半知识条件，以进行最普遍的对抗性攻击。我们使用包括现实和合成攻击的众所周知的UNSW-NB15数据集评估了方法的鲁棒性。之后，我们证明我们的策略优于现有的最新方法，例如最强大的攻击，包括针对特定的对抗性攻击进行微调网络模型。最后，我们的实验结果表明，我们的方法可以确保目标网络并抵抗对抗性攻击的转移性超过60％。

基于深度神经网络（DNN）的智能信息（IOT）系统已被广泛部署在现实世界中。然而，发现DNNS易受对抗性示例的影响，这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略，但效率问题仍未纠正。现有方法是计算地广泛或耗时，这在实践中不适用。在本文中，我们提出了一种称为攻击启发GaN（AI-GaN）的新框架，在有条件地产生对抗性实例。曾经接受过培训，可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN，黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验，AI-GaN实现了高攻击成功率，优于现有方法，并显着降低了生成时间。此外，首次，AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet，所有课程中的成功率约为90美元。

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.

对图像分类器的最新基于模型的攻击压倒性地集中在单对象（即单个主体对象）图像上。与此类设置不同，我们解决了一个更实用的问题，即使用多对象（即多个主导对象）图像生成对抗性扰动，因为它们代表了大多数真实世界场景。我们的目标是设计一种攻击策略，该策略可以通过利用此类图像中固有的本地贴片差异来从此类自然场景中学习（例如，对象上的局部贴片在“人”上的局部贴片与在交通场景中的对象`自行车'之间的差异）。我们的关键想法是：为了误解对抗性的多对象图像，图像中的每个本地贴片都会使受害者分类器感到困惑。基于此，我们提出了一种新颖的生成攻击（称为局部斑块差异或LPD攻击），其中新颖的对比损失函数使用上述多对象场景特征空间的局部差异来优化扰动生成器。通过各种受害者卷积神经网络的各种实验，我们表明我们的方法在不同的白色盒子和黑色盒子设置下进行评估时，我们的方法优于基线生成攻击，具有高度可转移的扰动。

It has been well demonstrated that adversarial examples, i.e., natural images with visually imperceptible perturbations added, cause deep networks to fail on image classification. In this paper, we extend adversarial examples to semantic segmentation and object detection which are much more difficult. Our observation is that both segmentation and detection are based on classifying multiple targets on an image (e.g., the target is a pixel or a receptive field in segmentation, and an object proposal in detection). This inspires us to optimize a loss function over a set of pixels/proposals for generating adversarial perturbations. Based on this idea, we propose a novel algorithm named Dense Adversary Generation (DAG), which generates a large family of adversarial examples, and applies to a wide range of state-of-the-art deep networks for segmentation and detection. We also find that the adversarial perturbations can be transferred across networks with different training data, based on different architectures, and even for different recognition tasks. In particular, the transferability across networks with the same architecture is more significant than in other cases. Besides, summing up heterogeneous perturbations often leads to better transfer performance, which provides an effective method of blackbox adversarial attack.

In this work, we study the black-box targeted attack problem from the model discrepancy perspective. On the theoretical side, we present a generalization error bound for black-box targeted attacks, which gives a rigorous theoretical analysis for guaranteeing the success of the attack. We reveal that the attack error on a target model mainly depends on empirical attack error on the substitute model and the maximum model discrepancy among substitute models. On the algorithmic side, we derive a new algorithm for black-box targeted attacks based on our theoretical analysis, in which we additionally minimize the maximum model discrepancy(M3D) of the substitute models when training the generator to generate adversarial examples. In this way, our model is capable of crafting highly transferable adversarial examples that are robust to the model variation, thus improving the success rate for attacking the black-box model. We conduct extensive experiments on the ImageNet dataset with different classification models, and our proposed approach outperforms existing state-of-the-art methods by a significant margin. Our codes will be released.

已知用于图像分类的深神经网络（DNN）容易受到对抗性例子的影响。而且，对抗性示例具有可转移性，这意味着DNN模型的对抗示例可以欺骗其他具有非平凡概率的黑框模型。这给出了基于转移的对抗攻击，其中使用了预验证或已知模型（称为替代模型）产生的对抗示例来进行黑盒攻击。关于如何从给定的替代模型中生成对抗性示例以实现更好的可传递性，有一些工作。但是，训练一种特殊的替代模型以生成具有更好可传递性的对抗性示例的情况相对较小的探索。在本文中，我们提出了一种培训具有丰富黑暗知识的替代模型的方法，以提高替代模型产生的对抗性示例的对抗性转移性。该训练有素的替代模型被命名为“黑暗代理模型”（DSM），培训DSM的建议方法由两个关键组成部分组成：一种教师模型提取黑暗知识并提供软标签，以及增强的混合增强技能，增强了训练数据的黑暗知识。已经进行了广泛的实验，以表明所提出的方法可以基本上改善替代模型的不同体系结构和优化者的替代模型的对抗性转移性，以生成对抗性示例。我们还表明，所提出的方法可以应用于包含黑暗知识（例如面部验证）的基于转移攻击的其他情况。

深度图像对小的Adver-Sarial投入扰动的脆性已被广泛研究了持续数年。然而，前面扰动的主要目标主要是限于通过不正确的一个更改了Cor-Rective预测的上1个，这不打算改变顶级k预测。在许多Digi-Tal真实世界的情景中，顶级Kpriction更加相关。在这项工作中，我们提出了一种快速准确的方法，使Top-Kadversarial示例的快速准确的方法是简单的多目标优化。我们通过将其与其他对抗性示例分泌技术进行比较来展示其功效安培。此外，基于这种方法，Wepropose Top-kuniversal对抗扰动，图像无关的微小扰动，导致真正的类别在大多数NAT-Ulal图像中的顶级Kpriction。我们通过实验表明我们的接近基线方法，甚至改善了寻找普遍对抗扰动的现有技术。