对抗性的例子揭示了神经网络的脆弱性和不明原因的性质。研究对抗性实例的辩护具有相当大的实际重要性。大多数逆势的例子，错误分类网络通常无法被人类不可检测。在本文中，我们提出了一种防御模型，将分类器培训成具有形状偏好的人类感知分类模型。包括纹理传输网络（TTN）和辅助防御生成的对冲网络（GAN）的所提出的模型被称为人类感知辅助防御GaN（had-GaN）。 TTN用于扩展清洁图像的纹理样本，并有助于分类器聚焦在其形状上。 GaN用于为模型形成培训框架并生成必要的图像。在MNIST，时尚 - MNIST和CIFAR10上进行的一系列实验表明，所提出的模型优于网络鲁棒性的最先进的防御方法。该模型还证明了对抗性实例的防御能力的显着改善。

基于深度神经网络（DNN）的智能信息（IOT）系统已被广泛部署在现实世界中。然而，发现DNNS易受对抗性示例的影响，这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略，但效率问题仍未纠正。现有方法是计算地广泛或耗时，这在实践中不适用。在本文中，我们提出了一种称为攻击启发GaN（AI-GaN）的新框架，在有条件地产生对抗性实例。曾经接受过培训，可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN，黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验，AI-GaN实现了高攻击成功率，优于现有方法，并显着降低了生成时间。此外，首次，AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet，所有课程中的成功率约为90美元。

有必要提高某些特殊班级的表现，或者特别保护它们免受对抗学习的攻击。本文提出了一个将成本敏感分类和对抗性学习结合在一起的框架，以训练可以区分受保护和未受保护的类的模型，以使受保护的类别不太容易受到对抗性示例的影响。在此框架中，我们发现在训练深神经网络（称为Min-Max属性）期间，一个有趣的现象，即卷积层中大多数参数的绝对值。基于这种最小的最大属性，该属性是在随机分布的角度制定和分析的，我们进一步建立了一个针对对抗性示例的新防御模型，以改善对抗性鲁棒性。构建模型的一个优点是，它的性能比标准模型更好，并且可以与对抗性训练相结合，以提高性能。在实验上证实，对于所有类别的平均准确性，我们的模型在没有发生攻击时几乎与现有模型一样，并且在发生攻击时比现有模型更好。具体而言，关于受保护类的准确性，提议的模型比发生攻击时的现有模型要好得多。

大多数对抗攻击防御方法依赖于混淆渐变。这些方法在捍卫基于梯度的攻击方面是成功的;然而，它们容易被攻击绕过，该攻击不使用梯度或近似近似和使用校正梯度的攻击。不存在不存在诸如对抗培训等梯度的防御，但这些方法通常对诸如其幅度的攻击进行假设。我们提出了一种分类模型，该模型不会混淆梯度，并且通过施工而强大而不承担任何关于攻击的知识。我们的方法将分类作为优化问题，我们“反转”在不受干扰的自然图像上培训的条件发电机，以找到生成最接近查询图像的类。我们假设潜在的脆性抗逆性攻击源是前馈分类器的高度低维性质，其允许对手发现输入空间中的小扰动，从而导致输出空间的大变化。另一方面，生成模型通常是低到高维的映射。虽然该方法与防御GaN相关，但在我们的模型中使用条件生成模型和反演而不是前馈分类是临界差异。与Defense-GaN不同，它被证明生成了容易规避的混淆渐变，我们表明我们的方法不会混淆梯度。我们展示了我们的模型对黑箱攻击的极其强劲，并与自然训练的前馈分类器相比，对白盒攻击的鲁棒性提高。

尽管机器学习系统的效率和可扩展性，但最近的研究表明，许多分类方法，尤其是深神经网络（DNN），易受对抗的例子;即，仔细制作欺骗训练有素的分类模型的例子，同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 （2013）和Szegedy等人。（2014年），在这一领域已经完成了很多工作，包括开发攻击方法，以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展，主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码（在Python和R）公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。

In recent years, deep neural network approaches have been widely adopted for machine learning tasks, including classification. However, they were shown to be vulnerable to adversarial perturbations: carefully crafted small perturbations can cause misclassification of legitimate images. We propose Defense-GAN, a new framework leveraging the expressive capability of generative models to defend deep neural networks against such attacks. Defense-GAN is trained to model the distribution of unperturbed images. At inference time, it finds a close output to a given image which does not contain the adversarial changes. This output is then fed to the classifier. Our proposed method can be used with any classification model and does not modify the classifier structure or training procedure. It can also be used as a defense against any attack as it does not assume knowledge of the process for generating the adversarial examples. We empirically show that Defense-GAN is consistently effective against different attack methods and improves on existing defense strategies. Our code has been made publicly available at https://github.com/kabkabm/defensegan.

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

深度神经网络（DNNS）最近在许多分类任务中取得了巨大的成功。不幸的是，它们容易受到对抗性攻击的影响，这些攻击会产生对抗性示例，这些示例具有很小的扰动，以欺骗DNN模型，尤其是在模型共享方案中。事实证明，对抗性训练是最有效的策略，它将对抗性示例注入模型训练中，以提高DNN模型的稳健性，以对对抗性攻击。但是，基于现有的对抗性示例的对抗训练无法很好地推广到标准，不受干扰的测试数据。为了在标准准确性和对抗性鲁棒性之间取得更好的权衡，我们提出了一个新型的对抗训练框架，称为潜在边界引导的对抗训练（梯子），该训练（梯子）在潜在的边界引导的对抗性示例上对对手进行对手训练DNN模型。与大多数在输入空间中生成对抗示例的现有方法相反，梯子通过增加对潜在特征的扰动而产生了无数的高质量对抗示例。扰动是沿SVM构建的具有注意机制的决策边界的正常情况进行的。我们从边界场的角度和可视化视图分析了生成的边界引导的对抗示例的优点。与Vanilla DNN和竞争性底线相比，对MNIST，SVHN，CELEBA和CIFAR-10的广泛实验和详细分析验证了梯子在标准准确性和对抗性鲁棒性之间取得更好的权衡方面的有效性。

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

人类严重依赖于形状信息来识别对象。相反，卷积神经网络（CNNS）偏向于纹理。这也许是CNNS易受对抗性示例的影响的主要原因。在这里，我们探索如何将偏差纳入CNN，以提高其鲁棒性。提出了两种算法，基于边缘不变，以中等难以察觉的扰动。在第一个中，分类器在具有边缘图作为附加信道的图像上进行前列地培训。在推断时间，边缘映射被重新计算并连接到图像。在第二算法中，训练了条件GaN，以将边缘映射从干净和/或扰动图像转换为清洁图像。推断在与输入的边缘图对应的生成图像上完成。超过10个数据集的广泛实验证明了算法对FGSM和$ \ ELL_ infty $ PGD-40攻击的有效性。此外，我们表明a）边缘信息还可以使其他对抗训练方法有益，并且B）在边缘增强输入上培训的CNNS对抗自然图像损坏，例如运动模糊，脉冲噪声和JPEG压缩，而不是仅培训的CNNS RGB图像。从更广泛的角度来看，我们的研究表明，CNN不会充分占对鲁棒性至关重要的图像结构。代码可用：〜\ url {https://github.com/aliborji/shapedefense.git}。

在本文中，我们提出了一种防御策略，以通过合并隐藏的层表示来改善对抗性鲁棒性。这种防御策略的关键旨在压缩或过滤输入信息，包括对抗扰动。而且这种防御策略可以被视为一种激活函数，可以应用于任何类型的神经网络。从理论上讲，我们在某些条件下也证明了这种防御策略的有效性。此外，合并隐藏层表示，我们提出了三种类型的对抗攻击，分别生成三种类型的对抗示例。实验表明，我们的防御方法可以显着改善深神经网络的对抗性鲁棒性，即使我们不采用对抗性训练，也可以实现最新的表现。

深度卷积神经网络（CNN）很容易被输入图像的细微，不可察觉的变化所欺骗。为了解决此漏洞，对抗训练会创建扰动模式，并将其包括在培训设置中以鲁棒性化模型。与仅使用阶级有限信息的现有对抗训练方法（例如，使用交叉渗透损失）相反，我们建议利用功能空间中的其他信息来促进更强的对手，这些信息又用于学习强大的模型。具体来说，我们将使用另一类的目标样本的样式和内容信息以及其班级边界信息来创建对抗性扰动。我们以深入监督的方式应用了我们提出的多任务目标，从而提取了多尺度特征知识，以创建最大程度地分开对手。随后，我们提出了一种最大边缘对抗训练方法，该方法可最大程度地减少源图像与其对手之间的距离，并最大程度地提高对手和目标图像之间的距离。与最先进的防御能力相比，我们的对抗训练方法表明了强大的鲁棒性，可以很好地推广到自然发生的损坏和数据分配变化，并保留了清洁示例的模型准确性。

随着在各种算法和框架中更广泛地应用深度神经网络（DNN），安全威胁已成为其中之一。对抗性攻击干扰基于DNN的图像分类器，其中攻击者可以在其中故意添加不可察觉的对抗性扰动，以欺骗分类器。在本文中，我们提出了一种新颖的纯化方法，称为纯化的引导扩散模型（GDMP），以帮助保护分类器免受对抗性攻击。我们方法的核心是将纯化嵌入到deno的扩散概率模型（DDPM）的扩散denoisis过程中，以便其扩散过程可以逐渐添加的高斯噪声淹没对抗性的扰动，并且可以同时删除这两种声音。指导的deNoising过程。在我们在各个数据集中进行的全面实验中，提出的GDMP被证明可将对抗攻击造成的扰动降低到浅范围，从而显着提高了分类的正确性。 GDMP将鲁棒精度提高了5％，在CIFAR10数据集对PGD攻击下获得了90.1％。此外，GDMP在具有挑战性的Imagenet数据集上达到了70.94％的鲁棒性。

Deep Neural Networks have been widely used in many fields. However, studies have shown that DNNs are easily attacked by adversarial examples, which have tiny perturbations and greatly mislead the correct judgment of DNNs. Furthermore, even if malicious attackers cannot obtain all the underlying model parameters, they can use adversarial examples to attack various DNN-based task systems. Researchers have proposed various defense methods to protect DNNs, such as reducing the aggressiveness of adversarial examples by preprocessing or improving the robustness of the model by adding modules. However, some defense methods are only effective for small-scale examples or small perturbations but have limited defense effects for adversarial examples with large perturbations. This paper assigns different defense strategies to adversarial perturbations of different strengths by grading the perturbations on the input examples. Experimental results show that the proposed method effectively improves defense performance. In addition, the proposed method does not modify any task model, which can be used as a preprocessing module, which significantly reduces the deployment cost in practical applications.

逆势培训可针对特异性对抗性扰动有用，但它们也证明旨在展示偏离用于培训的攻击的攻击。然而，我们观察到这种无效性是本质上与域的适应性，深度学习中的另一个关键问题似乎是一个有希望的解决方案。因此，我们提出了ADV-4-ADV作为一种新的逆势培训方法，旨在保持针对看不见的对抗性扰动的鲁棒性。基本上，ADV-4-ADV将攻击产生不同的扰动作为不同的域，并且通过利用逆势域适应的力量，它旨在消除域/攻击特定的功能。这迫使训练有素的模型来学习强大的域名不变的表示，这反过来增强了其泛化能力。对时尚 - MNIST，SVHN，CIFAR-10和CIFAR-100的广泛评估表明，基于由简单攻击（例如，FGSM）制备的样本训练的模型可以推广到更高级的攻击（例如， PGD​​），性能超过了这些数据集的最先进的提案。

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.

虽然深度神经网络在分类任务方面取得了很大的表现，但最近的研究表明，训练有素的网络可以通过添加微妙的噪音来欺骗。本文介绍了一种新方法，通过将恢复过程应用于自然训练的分类器的顶部来提高神经网络鲁棒性。在这种方法中，图像将被一些重要操作员故意破坏，然后在通过分类器之前恢复。Sargan - 生成对抗网络（GaN）的延伸能够去噪雷达信号。本文将显示Sargan还可以通过去除对抗效应来恢复损坏的图像。我们的结果表明，这种方法确实提高了自然培训的网络的性能。

对抗性训练（AT）是针对对抗分类系统的对抗性攻击的简单而有效的防御，这是基于增强训练设置的攻击，从而最大程度地提高了损失。但是，AT作为视频分类的辩护的有效性尚未得到彻底研究。我们的第一个贡献是表明，为视频生成最佳攻击需要仔细调整攻击参数，尤其是步骤大小。值得注意的是，我们证明最佳步长随攻击预算线性变化。我们的第二个贡献是表明，在训练时间使用较小（次优的）攻击预算会导致测试时的性能更加强大。根据这些发现，我们提出了三个防御攻击预算的攻击的防御。自适应AT的第一个技术是一种技术，该技术是从随着训练迭代进行的。第二个课程是一项技术，随着训练的迭代进行，攻击预算的增加。第三个生成的AT，与deno的生成对抗网络一起，以提高稳健的性能。 UCF101数据集上的实验表明，所提出的方法改善了针对多种攻击类型的对抗性鲁棒性。

Although deep neural networks (DNNs) have achieved great success in many tasks, they can often be fooled by adversarial examples that are generated by adding small but purposeful distortions to natural examples. Previous studies to defend against adversarial examples mostly focused on refining the DNN models, but have either shown limited success or required expensive computation. We propose a new strategy, feature squeezing, that can be used to harden DNN models by detecting adversarial examples. Feature squeezing reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. By comparing a DNN model's prediction on the original input with that on squeezed inputs, feature squeezing detects adversarial examples with high accuracy and few false positives.This paper explores two feature squeezing methods: reducing the color bit depth of each pixel and spatial smoothing. These simple strategies are inexpensive and complementary to other defenses, and can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks.

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose high-level representation guided denoiser (HGD) as a defense for image classification. Standard denoiser suffers from the error amplification effect, in which small residual adversarial noise is progressively amplified and leads to wrong classifications. HGD overcomes this problem by using a loss function defined as the difference between the target model's outputs activated by the clean image and denoised image. Compared with ensemble adversarial training which is the state-of-the-art defending method on large images, HGD has three advantages. First, with HGD as a defense, the target model is more robust to either white-box or black-box adversarial attacks. Second, HGD can be trained on a small subset of the images and generalizes well to other images and unseen classes. Third, HGD can be transferred to defend models other than the one guiding it. In NIPS competition on defense against adversarial attacks, our HGD solution won the first place and outperformed other models by a large margin. 1 * Equal contribution.