与传统的神经网络（TNN）不同，贝叶斯神经网络（BNNS）是通过掺入随机性来处理对抗性攻击的鲁棒和熟练。这种随机性提高了不确定性的估计，在TNN中缺乏特征。因此，我们研究了BNNS与使用多个贝叶斯神经架构的白盒攻击的鲁棒性。此外，我们通过将这种干预与对抗训练结合起来，通过将贝叶斯推动（即变分别贝叶斯）融合到DENSenet架构和BDAV来创建我们的BNN-DenSenet。实验在CiFar-10和FGVC飞机数据集上进行。我们用强大的白盒攻击攻击模型（$ l_ \ infty $ -fgsm，$ l_ \ infty $ -pgd，$ l_2 $ -pgd，eot $ l_ \ idty $ -fgsm，和eot $ l_ \ infty $ - PGD​​）。在所有实验中，至少一个BNN在对抗性攻击场景期间优于传统的神经网络。在大多数实验中，普遍训练的BNN优于非贝叶斯，过性训练的对应物，通常由显着的边缘。最后，我们调查网络校准并发现BNN没有过度自信预测，提供证据，即BNN在测量不确定性时也更好。

We present a new algorithm to learn a deep neural network model robust against adversarial attacks. Previous algorithms demonstrate an adversarially trained Bayesian Neural Network (BNN) provides improved robustness. We recognize the adversarial learning approach for approximating the multi-modal posterior distribution of a Bayesian model can lead to mode collapse; consequently, the model's achievements in robustness and performance are sub-optimal. Instead, we first propose preventing mode collapse to better approximate the multi-modal posterior distribution. Second, based on the intuition that a robust model should ignore perturbations and only consider the informative content of the input, we conceptualize and formulate an information gain objective to measure and force the information learned from both benign and adversarial training instances to be similar. Importantly. we prove and demonstrate that minimizing the information gain objective allows the adversarial risk to approach the conventional empirical risk. We believe our efforts provide a step toward a basis for a principled method of adversarially training BNNs. Our model demonstrate significantly improved robustness--up to 20%--compared with adversarial training and Adv-BNN under PGD attacks with 0.035 distortion on both CIFAR-10 and STL-10 datasets.

大多数对抗攻击防御方法依赖于混淆渐变。这些方法在捍卫基于梯度的攻击方面是成功的;然而，它们容易被攻击绕过，该攻击不使用梯度或近似近似和使用校正梯度的攻击。不存在不存在诸如对抗培训等梯度的防御，但这些方法通常对诸如其幅度的攻击进行假设。我们提出了一种分类模型，该模型不会混淆梯度，并且通过施工而强大而不承担任何关于攻击的知识。我们的方法将分类作为优化问题，我们“反转”在不受干扰的自然图像上培训的条件发电机，以找到生成最接近查询图像的类。我们假设潜在的脆性抗逆性攻击源是前馈分类器的高度低维性质，其允许对手发现输入空间中的小扰动，从而导致输出空间的大变化。另一方面，生成模型通常是低到高维的映射。虽然该方法与防御GaN相关，但在我们的模型中使用条件生成模型和反演而不是前馈分类是临界差异。与Defense-GaN不同，它被证明生成了容易规避的混淆渐变，我们表明我们的方法不会混淆梯度。我们展示了我们的模型对黑箱攻击的极其强劲，并与自然训练的前馈分类器相比，对白盒攻击的鲁棒性提高。

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

对抗培训，培训具有对抗性数据的深层学习模型的过程，是深度学习模型中最成功的对抗性防御方法之一。我们发现，如果我们在推理阶段微调这一模型以适应对抗的输入，可以进一步提高对普遍训练模型的白箱攻击的鲁棒性，以适应对手输入，其中包含额外信息。我们介绍了一种算法，即“邮政列车”在原始输出类和“邻居”类之间的推断阶段的模型，具有现有培训数据。预训练的FAST-FGSM CIFAR10分类器基础模型对白盒预计梯度攻击（PGD）的准确性可以通过我们的算法显着提高46.8％至64.5％。

众所周知，深神经网络（DNN）在许多领域中表现出显着的成功。但是，在模型输入上添加不可察觉的速度扰动时，模型性能可能会迅速减少。为了解决这个问题，最近提出了一种随机性技术，名为随机神经网络（SNNS）。具体而言，SNNS将随机性注入模型以防御看不见的攻击并改善对抗鲁棒性。然而，对SNN的存在研究主要关注注射固定或学习噪声以模拟重量/激活。在本文中，我们发现存在的SNNS表演在很大程度上是由特征表示能力的瓶颈。令人惊讶的是，只需最大化特征分布的每个维度的方差导致我们以先前的所有方法提供相当大的升压，我们命名为最大化特征分布方案随机神经网络（MFDV-SNN）。关于众所周知的白色和黑匣子攻击的广泛实验表明，MFDV-SNN对现有方法实现了重大改进，这表明它是提高模型稳健性的简单但有效的方法。

Adversarial training, in which a network is trained on adversarial examples, is one of the few defenses against adversarial attacks that withstands strong attacks. Unfortunately, the high cost of generating strong adversarial examples makes standard adversarial training impractical on large-scale problems like ImageNet. We present an algorithm that eliminates the overhead cost of generating adversarial examples by recycling the gradient information computed when updating model parameters.Our "free" adversarial training algorithm achieves comparable robustness to PGD adversarial training on the CIFAR-10 and CIFAR-100 datasets at negligible additional cost compared to natural training, and can be 7 to 30 times faster than other strong adversarial training methods. Using a single workstation with 4 P100 GPUs and 2 days of runtime, we can train a robust model for the large-scale ImageNet classification task that maintains 40% accuracy against PGD attacks. The code is available at https://github.com/ashafahi/free_adv_train.

对对抗攻击的脆弱性是在安全至关重要应用中采用深度学习的主要障碍之一。尽管做出了巨大的努力，但无论是实用还是理论上的，培训深度学习模型对对抗性攻击仍然是一个悬而未决的问题。在本文中，我们分析了大数据，贝叶斯神经网络（BNNS）中的对抗性攻击的几何形状。我们表明，在限制下，由于数据分布的堕落而产生了基于梯度的攻击的脆弱性，即当数据位于环境空间的较低维度的亚策略上时。直接结果，我们证明，在此限制下，BNN后代对基于梯度的对抗性攻击是强大的。至关重要的是，我们证明，即使从后部采样的每个神经网络都很容易受到基于梯度的攻击，因此相对于BNN后验分布的预期损失梯度正在消失。 MNIST，时尚MNIST和半卫星数据集的实验结果，代表有限的数据制度，并接受了汉密尔顿蒙特卡洛和变异推理的BNN，支持这一论点，表明BNN可以在清洁数据和稳健性上表现出很高的精度对基于梯度和无梯度的对抗性攻击。

Despite the success of convolutional neural networks (CNNs) in many academic benchmarks for computer vision tasks, their application in the real-world is still facing fundamental challenges. One of these open problems is the inherent lack of robustness, unveiled by the striking effectiveness of adversarial attacks. Current attack methods are able to manipulate the network's prediction by adding specific but small amounts of noise to the input. In turn, adversarial training (AT) aims to achieve robustness against such attacks and ideally a better model generalization ability by including adversarial samples in the trainingset. However, an in-depth analysis of the resulting robust models beyond adversarial robustness is still pending. In this paper, we empirically analyze a variety of adversarially trained models that achieve high robust accuracies when facing state-of-the-art attacks and we show that AT has an interesting side-effect: it leads to models that are significantly less overconfident with their decisions, even on clean data than non-robust models. Further, our analysis of robust models shows that not only AT but also the model's building blocks (like activation functions and pooling) have a strong influence on the models' prediction confidences. Data & Project website: https://github.com/GeJulia/robustness_confidences_evaluation

贝叶斯神经网络（BNNS）已成为缓解深度学习中过度自信预测的主要方法，但由于大量分布参数，它们经常遭受扩展问题。在本文中，我们发现在单独再培训时，深网络的第一层拥有多个不同的Optima。这表示当第一层由贝叶斯层改变时的大后差，这使我们能够设计空间融合BNN（STF-BNN），以便有效地将BNN缩放到大型模型：（1）首先常常培训一个神经网络网络从头开始实现快速训练; （2）第一层被转换为贝叶斯和通过采用随机变分推断推断，而其他层是固定的。与香草BNN相比，我们的方法可以大大减少训练时间和参数的数量，这有助于高效地缩放BNN。我们进一步提供了对概括性和缓解STF-BNN过度限制的能力的理论保障。综合实验表明，STF-BNN（1）实现了最先进的性能，以进行预测和不确定量化; （2）显着提高对抗性鲁棒性和隐私保护; （3）大大降低了培训时间和内存成本。

有必要提高某些特殊班级的表现，或者特别保护它们免受对抗学习的攻击。本文提出了一个将成本敏感分类和对抗性学习结合在一起的框架，以训练可以区分受保护和未受保护的类的模型，以使受保护的类别不太容易受到对抗性示例的影响。在此框架中，我们发现在训练深神经网络（称为Min-Max属性）期间，一个有趣的现象，即卷积层中大多数参数的绝对值。基于这种最小的最大属性，该属性是在随机分布的角度制定和分析的，我们进一步建立了一个针对对抗性示例的新防御模型，以改善对抗性鲁棒性。构建模型的一个优点是，它的性能比标准模型更好，并且可以与对抗性训练相结合，以提高性能。在实验上证实，对于所有类别的平均准确性，我们的模型在没有发生攻击时几乎与现有模型一样，并且在发生攻击时比现有模型更好。具体而言，关于受保护类的准确性，提议的模型比发生攻击时的现有模型要好得多。

Recent work has demonstrated that deep neural networks are vulnerable to adversarial examples-inputs that are almost indistinguishable from natural data and yet classified incorrectly by the network. In fact, some of the latest findings suggest that the existence of adversarial attacks may be an inherent weakness of deep learning models. To address this problem, we study the adversarial robustness of neural networks through the lens of robust optimization. This approach provides us with a broad and unifying view on much of the prior work on this topic. Its principled nature also enables us to identify methods for both training and attacking neural networks that are reliable and, in a certain sense, universal. In particular, they specify a concrete security guarantee that would protect against any adversary. These methods let us train networks with significantly improved resistance to a wide range of adversarial attacks. They also suggest the notion of security against a first-order adversary as a natural and broad security guarantee. We believe that robustness against such well-defined classes of adversaries is an important stepping stone towards fully resistant deep learning models. 1

基于深度神经网络（DNN）的智能信息（IOT）系统已被广泛部署在现实世界中。然而，发现DNNS易受对抗性示例的影响，这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略，但效率问题仍未纠正。现有方法是计算地广泛或耗时，这在实践中不适用。在本文中，我们提出了一种称为攻击启发GaN（AI-GaN）的新框架，在有条件地产生对抗性实例。曾经接受过培训，可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN，黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验，AI-GaN实现了高攻击成功率，优于现有方法，并显着降低了生成时间。此外，首次，AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet，所有课程中的成功率约为90美元。

随着在图像识别中的快速进步和深度学习模型的使用，安全成为他们在安全关键系统中部署的主要关注点。由于深度学习模型的准确性和稳健性主要归因于训练样本的纯度，因此深度学习架构通常易于对抗性攻击。通过对正常图像进行微妙的扰动来获得对抗性攻击，这主要是人类，但可以严重混淆最先进的机器学习模型。什么特别的智能扰动或噪声在正常图像上添加了它导致深神经网络的灾难性分类？使用统计假设检测，我们发现条件变形自身偏析器（CVAE）令人惊讶地擅长检测难以察觉的图像扰动。在本文中，我们展示了CVAE如何有效地用于检测对图像分类网络的对抗攻击。我们展示了我们的成果，Cifar-10数据集，并展示了我们的方法如何为先前的方法提供可比性，以检测对手，同时不会与嘈杂的图像混淆，其中大多数现有方法都摇摇欲坠。

为了应对对抗性实例的威胁，对抗性培训提供了一种有吸引力的选择，可以通过在线增强的对抗示例中的培训模型提高模型稳健性。然而，大多数现有的对抗训练方法通过强化对抗性示例来侧重于提高鲁棒的准确性，但忽略了天然数据和对抗性实施例之间的增加，导致自然精度急剧下降。为了维持自然和强大的准确性之间的权衡，我们从特征适应的角度缓解了转变，并提出了一种特征自适应对抗训练（FAAT），这些培训（FAAT）跨越自然数据和对抗示例优化类条件特征适应。具体而言，我们建议纳入一类条件鉴别者，以鼓励特征成为（1）类鉴别的和（2）不变导致对抗性攻击的变化。新型的FAAT框架通过在天然和对抗数据中产生具有类似分布的特征来实现自然和强大的准确性之间的权衡，并实现从类鉴别特征特征中受益的更高的整体鲁棒性。在各种数据集上的实验表明，FAAT产生更多辨别特征，并对最先进的方法表现有利。代码在https://github.com/visionflow/faat中获得。

最近的研究表明，对对抗性攻击的鲁棒性可以跨网络转移。换句话说，在强大的教师模型的帮助下，我们可以使模型更加强大。我们问是否从静态教师那里学习，可以模特“学习”和“互相教导”来实现更好的稳健性？在本文中，我们研究模型之间的相互作用如何通过知识蒸馏来影响鲁棒性。我们提出了互联土训练（垫子），其中多种模型一起培训并分享对抗性示例的知识，以实现改善的鲁棒性。垫允许强大的模型来探索更大的对抗样本空间，并找到更强大的特征空间和决策边界。通过对CIFAR-10和CIFAR-100的广泛实验，我们证明垫可以在白盒攻击下有效地改善模型稳健性和最优异的现有方法，使$ \ SIM为8％的准确性增益对香草对抗培训（在PGD-100袭击下。此外，我们表明垫子还可以在不同的扰动类型中减轻鲁棒性权衡，从$ l_ \ infty $，$ l_2 $和$ l_1 $攻击中带来基线的基线。这些结果表明了该方法的优越性，并证明协作学习是设计强大模型的有效策略。

Adversarial examples are perturbed inputs designed to fool machine learning models. Adversarial training injects such examples into training data to increase robustness. To scale this technique to large datasets, perturbations are crafted using fast single-step methods that maximize a linear approximation of the model's loss. We show that this form of adversarial training converges to a degenerate global minimum, wherein small curvature artifacts near the data points obfuscate a linear approximation of the loss. The model thus learns to generate weak perturbations, rather than defend against strong ones. As a result, we find that adversarial training remains vulnerable to black-box attacks, where we transfer perturbations computed on undefended models, as well as to a powerful novel single-step attack that escapes the non-smooth vicinity of the input data via a small random step. We further introduce Ensemble Adversarial Training, a technique that augments training data with perturbations transferred from other models. On ImageNet, Ensemble Adversarial Training yields models with stronger robustness to blackbox attacks. In particular, our most robust model won the first round of the NIPS 2017 competition on Defenses against Adversarial Attacks (Kurakin et al., 2017c). However, subsequent work found that more elaborate black-box attacks could significantly enhance transferability and reduce the accuracy of our models.

提高黑箱逃避攻击的可转移性的一种既定方法是在基于合奏的替代物上制作对抗性例子，以提高多样性。我们认为可转移性与不确定性根本相关。基于一种最先进的贝叶斯深度学习技术，我们提出了一种新方法，通过大约从神经网络权重的后验分布进行采样来有效地构建代理，这代表了每个参数的价值的信念。我们对Imagenet，CIFAR-10和MNIST进行的广泛实验表明，在内部结构和结构转移性中，我们的方法显着提高了四个最新攻击的成功率（高达83.2个百分点）。在Imagenet上，与经过独立训练的DNN合奏相比，我们的方法可以达到成功率的94％，同时将训练计算从11.6降低到2.4个Exaflops。与为此目的设计的三种测试时间技术相比，我们的香草代理人的可传递性高87.5％。我们的工作表明，训练代理人的方法被忽略了，尽管这是基于转移攻击的重要组成部分。因此，我们是第一个回顾几种培训方法在提高可传递性方面的有效性的。我们提供了新的方向，以更好地了解可转移性现象，并为将来的工作提供简单但强大的基线。

We identify a trade-off between robustness and accuracy that serves as a guiding principle in the design of defenses against adversarial examples. Although this problem has been widely studied empirically, much remains unknown concerning the theory underlying this trade-off. In this work, we decompose the prediction error for adversarial examples (robust error) as the sum of the natural (classification) error and boundary error, and provide a differentiable upper bound using the theory of classification-calibrated loss, which is shown to be the tightest possible upper bound uniform over all probability distributions and measurable predictors. Inspired by our theoretical analysis, we also design a new defense method, TRADES, to trade adversarial robustness off against accuracy. Our proposed algorithm performs well experimentally in real-world datasets. The methodology is the foundation of our entry to the NeurIPS 2018 Adversarial Vision Challenge in which we won the 1st place out of ~2,000 submissions, surpassing the runner-up approach by 11.41% in terms of mean 2 perturbation distance.

对抗训练（AT）方法有效地防止对抗性攻击，但它们在不同阶级之间引入了严重的准确性和鲁棒性差异，称为强大的公平性问题。以前建议的公平健壮的学习（FRL）适应重新重量不同的类别以提高公平性。但是，表现良好的班级的表现降低了，导致表现强劲。在本文中，我们在对抗训练中观察到了两种不公平现象：在产生每个类别的对抗性示例（源级公平）和产生对抗性示例时（目标级公平）时产生对抗性示例的不​​同困难。从观察结果中，我们提出平衡对抗训练（BAT）来解决强大的公平问题。关于源阶级的公平性，我们调整了每个班级的攻击强度和困难，以在决策边界附近生成样本，以便更容易，更公平的模型学习；考虑到目标级公平，通过引入统一的分布约束，我们鼓励每个班级的对抗性示例生成过程都有公平的趋势。在多个数据集（CIFAR-10，CIFAR-100和IMAGENETTE）上进行的广泛实验表明，我们的方法可以显着超过其他基线，以减轻健壮的公平性问题（最坏的类精度为+5-10 \％）