Deep neural networks (DNNs) are sensitive and susceptible to tiny perturbation by adversarial attacks which causes erroneous predictions. Various methods, including adversarial defense and uncertainty inference (UI), have been developed in recent years to overcome the adversarial attacks. In this paper, we propose a multi-head uncertainty inference (MH-UI) framework for detecting adversarial attack examples. We adopt a multi-head architecture with multiple prediction heads (i.e., classifiers) to obtain predictions from different depths in the DNNs and introduce shallow information for the UI. Using independent heads at different depths, the normalized predictions are assumed to follow the same Dirichlet distribution, and we estimate distribution parameter of it by moment matching. Cognitive uncertainty brought by the adversarial attacks will be reflected and amplified on the distribution. Experimental results show that the proposed MH-UI framework can outperform all the referred UI methods in the adversarial attack detection task with different settings.

通过对数据集的样本应用小而有意的最差情况扰动可以产生对抗性输入，这导致甚至最先进的深神经网络，以高信任输出不正确的答案。因此，开发了一些对抗防御技术来提高模型的安全性和稳健性，并避免它们被攻击。逐渐，攻击者和捍卫者之间的游戏类似的竞争，其中两个玩家都会试图在最大化自己的收益的同时互相反对发挥最佳策略。为了解决游戏，每个玩家都基于对对手的战略选择的预测来选择反对对手的最佳策略。在这项工作中，我们正处于防守方面，以申请防止攻击的游戏理论方法。我们使用两个随机化方法，随机初始化和随机激活修剪，以创造网络的多样性。此外，我们使用一种去噪技术，超级分辨率，通过在攻击前预处理图像来改善模型的鲁棒性。我们的实验结果表明，这三种方法可以有效提高深度学习神经网络的鲁棒性。

在本文中，我们提出了一种防御策略，以通过合并隐藏的层表示来改善对抗性鲁棒性。这种防御策略的关键旨在压缩或过滤输入信息，包括对抗扰动。而且这种防御策略可以被视为一种激活函数，可以应用于任何类型的神经网络。从理论上讲，我们在某些条件下也证明了这种防御策略的有效性。此外，合并隐藏层表示，我们提出了三种类型的对抗攻击，分别生成三种类型的对抗示例。实验表明，我们的防御方法可以显着改善深神经网络的对抗性鲁棒性，即使我们不采用对抗性训练，也可以实现最新的表现。

虽然深度神经网络（DNN）在许多真实的任务中实现了出色的性能，但它们非常容易受到对抗的攻击。对抗这种攻击的主要防御是对抗的，一种技术，通过将对抗噪声引入其输入来训练DNN培训以训练为对抗性攻击的技术。此程序是有效的，但必须在培训阶段进行。在这项工作中，我们提出了增强随机森林（ARF），这是一个简单易用的策略，用于在不修改其权重的情况下强化现有的预磨损DNN。对于每个图像，我们通过应用不同颜色，模糊，噪声和几何变换来生成随机测试时间增强。然后我们使用DNN的Logits输出来训练一个简单的随机林来预测真正的类标签。我们的方法在自然图像的分类上最小的妥协，实现了最先进的对抗鲁棒性对白和黑匣子攻击的多样性。我们也针对许多适应性的白盒攻击测试ARF，并在与对抗训练结合时显示出优异的结果。代码可在https://github.com/giladcohen/arf获得。

深度学习中的关键挑战之一是检测对抗例的有效策略的定义。为此，我们提出了一种名为Ensemble对抗探测器（EAD）的新型方法，用于识别对抗性示例，在标准的多字节分类场景中。 EAD结合了多个检测器，该检测器利用了预先训练的深神经网络（DNN）内部表示中的输入实例的不同属性。具体而言，EAD基于Mahalanobis距离和局部内在的维度（盖子）与基于单级支持向量机（OSVM）的新引进的方法集成了最先进的探测器。尽管所有构成方法都假定测试实例从一组正确分类的训练实例的距离越大，但概率越高，其是对手示例的概率越高，它们在计算距离的方式中不同。为了利用不同方法的有效性在捕获数据分布的不同特性，因此，有效地解决泛化和过度装备之间的权衡，EAD采用探测器特定的距离分数作为逻辑回归分类器的特征，独立的超公数后优化。我们在不同的数据集（CIFAR-10，CiFar-100和SVHN）和模型（Reset和Densenet）上评估了EAD方法，以及通过与竞争方法进行比较，关于四个对抗性攻击（FGSM，BIM，DeepFool和CW）。总的来说，我们表明EAD达到了最大的Auroc和Aupr在大多数设置和其他方面的表现。对现有技术的改进以及容易延伸EAD以包括任何任意探测器的可能性，铺平了在普遍示例性检测的广场上广泛采用的集合方法。

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

基于深度神经网络的医学图像系统容易受到对抗的例子。在文献中提出了许多防御机制，然而，现有的防御者假设被动攻击者对防御系统知之甚少，并没有根据防御改变攻击战略。最近的作品表明，一个强大的自适应攻击，攻击者被认为具有完全了解防御系统的知识，可以轻松绕过现有的防御。在本文中，我们提出了一种名为Medical Aegis的新型对抗性示例防御系统。据我们所知，医疗AEGIS是文献中的第一次防范，成功地解决了对医学图像的强烈适应性的对抗性示例攻击。医疗AEGIS拥有两层保护剂：第一层垫通过去除其高频分量而削弱了攻击的对抗性操纵能力，但对原始图像的分类性能构成了最小的影响;第二层盾牌学习一组每级DNN模型来预测受保护模型的登录。偏离屏蔽的预测表明对抗性示例。盾牌受到在我们的压力测试中的观察中的观察，即在DNN模型的浅层中存在坚固的小径，自适应攻击难以破坏。实验结果表明，建议的防御精确地检测了自适应攻击，模型推理的开销具有可忽略的开销。

众所周知，深神经网络（DNN）在许多领域中表现出显着的成功。但是，在模型输入上添加不可察觉的速度扰动时，模型性能可能会迅速减少。为了解决这个问题，最近提出了一种随机性技术，名为随机神经网络（SNNS）。具体而言，SNNS将随机性注入模型以防御看不见的攻击并改善对抗鲁棒性。然而，对SNN的存在研究主要关注注射固定或学习噪声以模拟重量/激活。在本文中，我们发现存在的SNNS表演在很大程度上是由特征表示能力的瓶颈。令人惊讶的是，只需最大化特征分布的每个维度的方差导致我们以先前的所有方法提供相当大的升压，我们命名为最大化特征分布方案随机神经网络（MFDV-SNN）。关于众所周知的白色和黑匣子攻击的广泛实验表明，MFDV-SNN对现有方法实现了重大改进，这表明它是提高模型稳健性的简单但有效的方法。

深度神经网络（DNN）容易受到对抗性示例的影响，其中DNN由于含有不可察觉的扰动而被误导为虚假输出。对抗性训练是一种可靠有效的防御方法，可能会大大减少神经网络的脆弱性，并成为强大学习的事实上的标准。尽管许多最近的作品实践了以数据为中心的理念，例如如何生成更好的对抗性示例或使用生成模型来产生额外的培训数据，但我们回顾了模型本身，并从深度特征分布的角度重新审视对抗性的鲁棒性有见地的互补性。在本文中，我们建议分支正交性对抗训练（BORT）获得最先进的性能，仅使用原始数据集用于对抗训练。为了练习我们整合多个正交解决方案空间的设计思想，我们利用一个简单明了的多分支神经网络，可消除对抗性攻击而不会增加推理时间。我们启发提出相应的损耗函数，分支 - 正交丢失，以使多支出模型正交的每个溶液空间。我们分别在CIFAR-10，CIFAR-100和SVHN上评估了我们的方法，分别针对\ ell _ {\ infty}的规范触发尺寸\ epsilon = 8/255。进行了详尽的实验，以表明我们的方法超出了所有最新方法，而无需任何技巧。与所有不使用其他数据进行培训的方法相比，我们的模型在CIFAR-10和CIFAR-100上实现了67.3％和41.5％的鲁棒精度（在最先进的ART上提高了 +7.23％和 +9.07％ ）。我们还使用比我们的训练组胜过比我们的方法的表现要大得多。我们所有的模型和代码均可在https://github.com/huangd1999/bort上在线获得。

Deep neural networks (DNNs) are one of the most prominent technologies of our time, as they achieve state-of-the-art performance in many machine learning tasks, including but not limited to image classification, text mining, and speech processing. However, recent research on DNNs has indicated ever-increasing concern on the robustness to adversarial examples, especially for security-critical tasks such as traffic sign identification for autonomous driving. Studies have unveiled the vulnerability of a well-trained DNN by demonstrating the ability of generating barely noticeable (to both human and machines) adversarial images that lead to misclassification. Furthermore, researchers have shown that these adversarial images are highly transferable by simply training and attacking a substitute model built upon the target model, known as a black-box attack to DNNs.Similar to the setting of training substitute models, in this paper we propose an effective black-box attack that also only has access to the input (images) and the output (confidence scores) of a targeted DNN. However, different from leveraging attack transferability from substitute models, we propose zeroth order optimization (ZOO) based attacks to directly estimate the gradients of the targeted DNN for generating adversarial examples. We use zeroth order stochastic coordinate descent along with dimension reduction, hierarchical attack and importance sampling techniques to * Pin-Yu Chen and Huan Zhang contribute equally to this work.

我们建议利用梯度检测对抗和分布样品。我们介绍了混杂标签（与训练过程中的正常标签不同），以探测神经网络的有效表达性。梯度描述了模型正确表示给定输入所需的变化量，从而洞悉了网络体系结构属性建立的模型的代表力以及培训数据。通过引入不同设计的标签，我们消除了对推理期间梯度生成的地面真相标签的依赖。我们表明，我们的基于梯度的方法可以根据模型的有效表达性捕获异常，而没有超参数调整或其他处理，并且优于对抗和分布检测的最先进方法。

Detecting test samples drawn sufficiently far away from the training distribution statistically or adversarially is a fundamental requirement for deploying a good classifier in many real-world machine learning applications. However, deep neural networks with the softmax classifier are known to produce highly overconfident posterior distributions even for such abnormal samples. In this paper, we propose a simple yet effective method for detecting any abnormal samples, which is applicable to any pre-trained softmax neural classifier. We obtain the class conditional Gaussian distributions with respect to (low-and upper-level) features of the deep models under Gaussian discriminant analysis, which result in a confidence score based on the Mahalanobis distance. While most prior methods have been evaluated for detecting either out-of-distribution or adversarial samples, but not both, the proposed method achieves the state-of-the-art performances for both cases in our experiments. Moreover, we found that our proposed method is more robust in harsh cases, e.g., when the training dataset has noisy labels or small number of samples. Finally, we show that the proposed method enjoys broader usage by applying it to class-incremental learning: whenever out-of-distribution samples are detected, our classification rule can incorporate new classes well without further training deep models.

Pixel-wise prediction with deep neural network has become an effective paradigm for salient object detection (SOD) and achieved remarkable performance. However, very few SOD models are robust against adversarial attacks which are visually imperceptible for human visual attention. The previous work robust saliency (ROSA) shuffles the pre-segmented superpixels and then refines the coarse saliency map by the densely connected conditional random field (CRF). Different from ROSA that relies on various pre- and post-processings, this paper proposes a light-weight Learnable Noise (LeNo) to defend adversarial attacks for SOD models. LeNo preserves accuracy of SOD models on both adversarial and clean images, as well as inference speed. In general, LeNo consists of a simple shallow noise and noise estimation that embedded in the encoder and decoder of arbitrary SOD networks respectively. Inspired by the center prior of human visual attention mechanism, we initialize the shallow noise with a cross-shaped gaussian distribution for better defense against adversarial attacks. Instead of adding additional network components for post-processing, the proposed noise estimation modifies only one channel of the decoder. With the deeply-supervised noise-decoupled training on state-of-the-art RGB and RGB-D SOD networks, LeNo outperforms previous works not only on adversarial images but also on clean images, which contributes stronger robustness for SOD. Our code is available at https://github.com/ssecv/LeNo.

深度学习（DL）在许多与人类相关的任务中表现出巨大的成功，这导致其在许多计算机视觉的基础应用中采用，例如安全监控系统，自治车辆和医疗保健。一旦他们拥有能力克服安全关键挑战，这种安全关键型应用程序必须绘制他们的成功部署之路。在这些挑战中，防止或/和检测对抗性实例（AES）。对手可以仔细制作小型，通常是难以察觉的，称为扰动的噪声被添加到清洁图像中以产生AE。 AE的目的是愚弄DL模型，使其成为DL应用的潜在风险。在文献中提出了许多测试时间逃避攻击和对策，即防御或检测方法。此外，还发布了很少的评论和调查，理论上展示了威胁的分类和对策方法，几乎​​没有焦点检测方法。在本文中，我们专注于图像分类任务，并试图为神经网络分类器进行测试时间逃避攻击检测方法的调查。对此类方法的详细讨论提供了在四个数据集的不同场景下的八个最先进的探测器的实验结果。我们还为这一研究方向提供了潜在的挑战和未来的观点。

深度神经网络（DNN）受到对抗的示例攻击的威胁。对手可以通过将小型精心设计的扰动添加到输入来容易地改变DNN的输出。对手示例检测是基于强大的DNNS服务的基本工作。对手示例显示了人类和DNN在图像识别中的差异。从以人为本的角度来看，图像特征可以分为对人类可易于理解的主导特征，并且对人类来说是不可理解的隐性特征，但是被DNN利用。在本文中，我们揭示了难以察觉的对手实例是隐性特征误导性神经网络的乘积，并且对抗性攻击基本上是一种富集图像中的这些隐性特征的方法。对手实例的难以察觉表明扰动丰富了隐性特征，但几乎影响了主导特征。因此，对抗性实例对滤波偏离隐性特征敏感，而良性示例对这种操作免疫。受到这个想法的启发，我们提出了一种仅称为特征过滤器的标签的侵略性检测方法。功能过滤器利用离散余弦变换到占主导地位的大约单独的隐性功能，并获得默认隐性功能的突变图像。只有在输入和其突变体上进行DNN的预测标签，特征过滤器可以实时检测高精度和少量误报的难以察觉的对抗性示例。

尽管大量研究专门用于变形检测，但大多数研究都无法推广其在训练范式之外的变形面。此外，最近的变体检测方法非常容易受到对抗攻击的影响。在本文中，我们打算学习一个具有高概括的变体检测模型，以对各种形态攻击和对不同的对抗攻击的高度鲁棒性。为此，我们开发了卷积神经网络（CNN）和变压器模型的合奏，以同时受益于其能力。为了提高整体模型的鲁棒精度，我们采用多扰动对抗训练，并生成具有高可传递性的对抗性示例。我们详尽的评估表明，提出的强大合奏模型将概括为几个变形攻击和面部数据集。此外，我们验证了我们的稳健集成模型在超过最先进的研究的同时，对几次对抗性攻击获得了更好的鲁棒性。

在不确定，嘈杂或对抗性环境中学习是深度神经网络（DNN）的具有挑战性的任务。我们提出了一种在贝叶斯估计和变分推理时构建的强大学习的新理论上和有效的方法。我们制定通过DNN层层的密度传播的问题，并使用集合密度传播（ENDP）方案来解决它。ENPP方法允许我们在贝叶斯DNN的层上传播变分概率分布的片段，使得能够估计模型输出的预测分布的平均值和协方差。我们使用Mnist和CiFar-10数据集的实验表明，训练有素的模型的鲁棒性与随机噪声和对抗性攻击的稳健性显着改善。

深度神经网络（DNNS）最近在许多分类任务中取得了巨大的成功。不幸的是，它们容易受到对抗性攻击的影响，这些攻击会产生对抗性示例，这些示例具有很小的扰动，以欺骗DNN模型，尤其是在模型共享方案中。事实证明，对抗性训练是最有效的策略，它将对抗性示例注入模型训练中，以提高DNN模型的稳健性，以对对抗性攻击。但是，基于现有的对抗性示例的对抗训练无法很好地推广到标准，不受干扰的测试数据。为了在标准准确性和对抗性鲁棒性之间取得更好的权衡，我们提出了一个新型的对抗训练框架，称为潜在边界引导的对抗训练（梯子），该训练（梯子）在潜在的边界引导的对抗性示例上对对手进行对手训练DNN模型。与大多数在输入空间中生成对抗示例的现有方法相反，梯子通过增加对潜在特征的扰动而产生了无数的高质量对抗示例。扰动是沿SVM构建的具有注意机制的决策边界的正常情况进行的。我们从边界场的角度和可视化视图分析了生成的边界引导的对抗示例的优点。与Vanilla DNN和竞争性底线相比，对MNIST，SVHN，CELEBA和CIFAR-10的广泛实验和详细分析验证了梯子在标准准确性和对抗性鲁棒性之间取得更好的权衡方面的有效性。

作为反对攻击的最有效的防御方法之一，对抗性训练倾向于学习包容性的决策边界，以提高深度学习模型的鲁棒性。但是，由于沿对抗方向的边缘的大幅度和不必要的增加，对抗性训练会在自然实例和对抗性示例之间引起严重的交叉，这不利于平衡稳健性和自然准确性之间的权衡。在本文中，我们提出了一种新颖的对抗训练计划，以在稳健性和自然准确性之间进行更好的权衡。它旨在学习一个中度包容的决策边界，这意味着决策边界下的自然示例的边缘是中等的。我们称此方案为中等边缘的对抗训练（MMAT），该方案生成更细粒度的对抗示例以减轻交叉问题。我们还利用了经过良好培训的教师模型的逻辑来指导我们的模型学习。最后，MMAT在Black-Box和White-Box攻击下都可以实现高自然的精度和鲁棒性。例如，在SVHN上，实现了最新的鲁棒性和自然精度。

Although deep neural networks (DNNs) have achieved great success in many tasks, they can often be fooled by adversarial examples that are generated by adding small but purposeful distortions to natural examples. Previous studies to defend against adversarial examples mostly focused on refining the DNN models, but have either shown limited success or required expensive computation. We propose a new strategy, feature squeezing, that can be used to harden DNN models by detecting adversarial examples. Feature squeezing reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. By comparing a DNN model's prediction on the original input with that on squeezed inputs, feature squeezing detects adversarial examples with high accuracy and few false positives.This paper explores two feature squeezing methods: reducing the color bit depth of each pixel and spatial smoothing. These simple strategies are inexpensive and complementary to other defenses, and can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks.