深度神经网络（DNN）受到对抗例的威胁。对抗性检测是基于稳健的基于DNNS的服务的基本工作，其区分来自良性图像的对抗图像。图像转化是检测对抗性示例的最有效的方法之一。在过去几年中，已经研究了各种图像转换，并讨论了设计可靠的对抗性探测器。在本文中，我们通过具有新的分类学通过图像转换来系统地查看近期对抗性检测的进展。然后，我们进行广泛的实验，以测试图像转换的检测性能，以朝向最先进的对抗性攻击。此外，我们揭示了单一转换不能检测鲁棒的对手示例，并通过组合多个图像变换来提出改进的方法。结果表明，联合方法达到了检测准确性和召回的显着提高。我们建议联合探测器是一种更有效的工具来检测对抗性实例。

深度神经网络（DNN）受到对抗的示例攻击的威胁。对手可以通过将小型精心设计的扰动添加到输入来容易地改变DNN的输出。对手示例检测是基于强大的DNNS服务的基本工作。对手示例显示了人类和DNN在图像识别中的差异。从以人为本的角度来看，图像特征可以分为对人类可易于理解的主导特征，并且对人类来说是不可理解的隐性特征，但是被DNN利用。在本文中，我们揭示了难以察觉的对手实例是隐性特征误导性神经网络的乘积，并且对抗性攻击基本上是一种富集图像中的这些隐性特征的方法。对手实例的难以察觉表明扰动丰富了隐性特征，但几乎影响了主导特征。因此，对抗性实例对滤波偏离隐性特征敏感，而良性示例对这种操作免疫。受到这个想法的启发，我们提出了一种仅称为特征过滤器的标签的侵略性检测方法。功能过滤器利用离散余弦变换到占主导地位的大约单独的隐性功能，并获得默认隐性功能的突变图像。只有在输入和其突变体上进行DNN的预测标签，特征过滤器可以实时检测高精度和少量误报的难以察觉的对抗性示例。

Although deep neural networks (DNNs) have achieved great success in many tasks, they can often be fooled by adversarial examples that are generated by adding small but purposeful distortions to natural examples. Previous studies to defend against adversarial examples mostly focused on refining the DNN models, but have either shown limited success or required expensive computation. We propose a new strategy, feature squeezing, that can be used to harden DNN models by detecting adversarial examples. Feature squeezing reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. By comparing a DNN model's prediction on the original input with that on squeezed inputs, feature squeezing detects adversarial examples with high accuracy and few false positives.This paper explores two feature squeezing methods: reducing the color bit depth of each pixel and spatial smoothing. These simple strategies are inexpensive and complementary to other defenses, and can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks.

深度神经网络众所周知，很容易受到对抗性攻击和后门攻击的影响，在该攻击中，对输入的微小修改能够误导模型以给出错误的结果。尽管已经广泛研究了针对对抗性攻击的防御措施，但有关减轻后门攻击的调查仍处于早期阶段。尚不清楚防御这两次攻击之间是否存在任何连接和共同特征。我们对对抗性示例与深神网络的后门示例之间的联系进行了全面的研究，以寻求回答以下问题：我们可以使用对抗检测方法检测后门。我们的见解是基于这样的观察结果，即在推理过程中，对抗性示例和后门示例都有异常，与良性​​样本高度区分。结果，我们修改了四种现有的对抗防御方法来检测后门示例。广泛的评估表明，这些方法可靠地防止后门攻击，其准确性比检测对抗性实例更高。这些解决方案还揭示了模型灵敏度，激活空间和特征空间中对抗性示例，后门示例和正常样本的关系。这能够增强我们对这两次攻击和防御机会的固有特征的理解。

基于深度神经网络的医学图像系统容易受到对抗的例子。在文献中提出了许多防御机制，然而，现有的防御者假设被动攻击者对防御系统知之甚少，并没有根据防御改变攻击战略。最近的作品表明，一个强大的自适应攻击，攻击者被认为具有完全了解防御系统的知识，可以轻松绕过现有的防御。在本文中，我们提出了一种名为Medical Aegis的新型对抗性示例防御系统。据我们所知，医疗AEGIS是文献中的第一次防范，成功地解决了对医学图像的强烈适应性的对抗性示例攻击。医疗AEGIS拥有两层保护剂：第一层垫通过去除其高频分量而削弱了攻击的对抗性操纵能力，但对原始图像的分类性能构成了最小的影响;第二层盾牌学习一组每级DNN模型来预测受保护模型的登录。偏离屏蔽的预测表明对抗性示例。盾牌受到在我们的压力测试中的观察中的观察，即在DNN模型的浅层中存在坚固的小径，自适应攻击难以破坏。实验结果表明，建议的防御精确地检测了自适应攻击，模型推理的开销具有可忽略的开销。

虽然深入学习模型取得了前所未有的成功，但他们对逆势袭击的脆弱性引起了越来越关注，特别是在部署安全关键域名时。为了解决挑战，已经提出了鲁棒性改善的许多辩护策略，包括反应性和积极主动。从图像特征空间的角度来看，由于特征的偏移，其中一些人无法达到满足结果。此外，模型学习的功能与分类结果无直接相关。与他们不同，我们考虑基本上从模型内部进行防御方法，并在攻击前后调查神经元行为。我们观察到，通过大大改变为正确标签的神经元大大改变神经元来误导模型。受其激励，我们介绍了神经元影响的概念，进一步将神经元分为前，中间和尾部。基于它，我们提出神经元水平逆扰动（NIP），第一神经元水平反应防御方法对抗对抗攻击。通过强化前神经元并削弱尾部中的弱化，辊隙可以消除几乎所有的对抗扰动，同时仍然保持高良好的精度。此外，它可以通过适应性，尤其是更大的扰动来应对不同的扰动。在三个数据集和六种模型上进行的综合实验表明，NIP优于最先进的基线对抗11个对抗性攻击。我们进一步通过神经元激活和可视化提供可解释的证据，以便更好地理解。

对卷积神经网络（CNN）的对抗性攻击的存在质疑这种模型对严重应用的适合度。攻击操纵输入图像，使得错误分类是在对人类观察者看上去正常的同时唤起的 - 因此它们不容易被检测到。在不同的上下文中，CNN隐藏层的反向传播激活（对给定输入的“特征响应”）有助于可视化人类“调试器” CNN“在计算其输出时对CNN”的看法。在这项工作中，我们提出了一种新颖的检测方法，以防止攻击。我们通过在特征响应中跟踪对抗扰动来做到这一点，从而可以使用平均局部空间熵自动检测。该方法不会改变原始的网络体系结构，并且完全可以解释。实验证实了我们对在Imagenet训练的大规模模型的最新攻击方法的有效性。

对抗性实例是精心设计的输入样本，其中扰动是人眼不可察觉的，而是容易误导深神经网络（DNN）的输出。现有的作品通过利用简单的指标来惩罚扰动，缺乏对人类视觉系统（HV）的充分考虑，这产生了明显的伪像。为了探索为什么扰动是可见的，本文总结了影响人眼性灵敏度的四个主要因素。基于这一调查，我们设计了一种用于测量良性示例和对抗的感知损失的多因素度量Mulorloss。为了测试多因素度量的难以察觉，我们提出了一种新的黑匣子逆势攻击，被称为贪婪。 Greedyfool应用差分演变，以评估扰动像素对目标DNN的置信度的影响，并引入贪婪近似以自动产生对抗扰动。我们对Imagenet和CIFRA-10数据集进行了广泛的实验，以及60名参与者的全面用户学习。实验结果表明，Mulfactorloss是比现有的Pixelive度量更难以察觉的公制，并且贪婪汇率以黑盒方式实现了100％的成功率。

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

Deep learning-based 3D object detectors have made significant progress in recent years and have been deployed in a wide range of applications. It is crucial to understand the robustness of detectors against adversarial attacks when employing detectors in security-critical applications. In this paper, we make the first attempt to conduct a thorough evaluation and analysis of the robustness of 3D detectors under adversarial attacks. Specifically, we first extend three kinds of adversarial attacks to the 3D object detection task to benchmark the robustness of state-of-the-art 3D object detectors against attacks on KITTI and Waymo datasets, subsequently followed by the analysis of the relationship between robustness and properties of detectors. Then, we explore the transferability of cross-model, cross-task, and cross-data attacks. We finally conduct comprehensive experiments of defense for 3D detectors, demonstrating that simple transformations like flipping are of little help in improving robustness when the strategy of transformation imposed on input point cloud data is exposed to attackers. Our findings will facilitate investigations in understanding and defending the adversarial attacks against 3D object detectors to advance this field.

时间序列数据在许多现实世界中（例如，移动健康）和深神经网络（DNNS）中产生，在解决它们方面已取得了巨大的成功。尽管他们成功了，但对他们对对抗性攻击的稳健性知之甚少。在本文中，我们提出了一个通过统计特征（TSA-STAT）}称为时间序列攻击的新型对抗框架}。为了解决时间序列域的独特挑战，TSA-STAT对时间序列数据的统计特征采取限制来构建对抗性示例。优化的多项式转换用于创建比基于加性扰动的攻击（就成功欺骗DNN而言）更有效的攻击。我们还提供有关构建对抗性示例的统计功能规范的认证界限。我们对各种现实世界基准数据集的实验表明，TSA-STAT在欺骗DNN的时间序列域和改善其稳健性方面的有效性。 TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/time-series-series-attacks-via-statity-features上获得

Convolutional neural networks (CNN) define the state-of-the-art solution on many perceptual tasks. However, current CNN approaches largely remain vulnerable against adversarial perturbations of the input that have been crafted specifically to fool the system while being quasi-imperceptible to the human eye. In recent years, various approaches have been proposed to defend CNNs against such attacks, for example by model hardening or by adding explicit defence mechanisms. Thereby, a small "detector" is included in the network and trained on the binary classification task of distinguishing genuine data from data containing adversarial perturbations. In this work, we propose a simple and light-weight detector, which leverages recent findings on the relation between networks' local intrinsic dimensionality (LID) and adversarial attacks. Based on a re-interpretation of the LID measure and several simple adaptations, we surpass the state-of-the-art on adversarial detection by a significant margin and reach almost perfect results in terms of F1-score for several networks and datasets. Sources available at: https://github.com/adverML/multiLID

尽管机器学习系统的效率和可扩展性，但最近的研究表明，许多分类方法，尤其是深神经网络（DNN），易受对抗的例子;即，仔细制作欺骗训练有素的分类模型的例子，同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 （2013）和Szegedy等人。（2014年），在这一领域已经完成了很多工作，包括开发攻击方法，以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展，主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码（在Python和R）公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。

随着在图像识别中的快速进步和深度学习模型的使用，安全成为他们在安全关键系统中部署的主要关注点。由于深度学习模型的准确性和稳健性主要归因于训练样本的纯度，因此深度学习架构通常易于对抗性攻击。通过对正常图像进行微妙的扰动来获得对抗性攻击，这主要是人类，但可以严重混淆最先进的机器学习模型。什么特别的智能扰动或噪声在正常图像上添加了它导致深神经网络的灾难性分类？使用统计假设检测，我们发现条件变形自身偏析器（CVAE）令人惊讶地擅长检测难以察觉的图像扰动。在本文中，我们展示了CVAE如何有效地用于检测对图像分类网络的对抗攻击。我们展示了我们的成果，Cifar-10数据集，并展示了我们的方法如何为先前的方法提供可比性，以检测对手，同时不会与嘈杂的图像混淆，其中大多数现有方法都摇摇欲坠。

虽然近年来，在2D图像领域的攻击和防御中，许多努力已经探讨了3D模型的脆弱性。现有的3D攻击者通常在点云上执行点明智的扰动，从而导致变形的结构或异常值，这很容易被人类察觉。此外，它们的对抗示例是在白盒设置下产生的，当转移到攻击远程黑匣子型号时经常遭受低成功率。在本文中，我们通过提出一种新的难以察觉的转移攻击（ITA）：1）难以察觉的3D点云攻击来自两个新的和具有挑战性的观点：1）难以察觉：沿着邻域表面的正常向量限制每个点的扰动方向，导致产生具有类似几何特性的示例，从而增强了难以察觉。 2）可转移性：我们开发了一个对抗性转变模型，以产生最有害的扭曲，并强制实施对抗性示例来抵抗它，从而提高其对未知黑匣子型号的可转移性。此外，我们建议通过学习更辨别的点云表示来培训更强大的黑盒3D模型来防御此类ITA攻击。广泛的评估表明，我们的ITA攻击比最先进的人更令人无法察觉和可转让，并验证我们的国防战略的优势。

深度学习（DL）在许多与人类相关的任务中表现出巨大的成功，这导致其在许多计算机视觉的基础应用中采用，例如安全监控系统，自治车辆和医疗保健。一旦他们拥有能力克服安全关键挑战，这种安全关键型应用程序必须绘制他们的成功部署之路。在这些挑战中，防止或/和检测对抗性实例（AES）。对手可以仔细制作小型，通常是难以察觉的，称为扰动的噪声被添加到清洁图像中以产生AE。 AE的目的是愚弄DL模型，使其成为DL应用的潜在风险。在文献中提出了许多测试时间逃避攻击和对策，即防御或检测方法。此外，还发布了很少的评论和调查，理论上展示了威胁的分类和对策方法，几乎​​没有焦点检测方法。在本文中，我们专注于图像分类任务，并试图为神经网络分类器进行测试时间逃避攻击检测方法的调查。对此类方法的详细讨论提供了在四个数据集的不同场景下的八个最先进的探测器的实验结果。我们还为这一研究方向提供了潜在的挑战和未来的观点。

已知DNN容易受到所谓的对抗攻击的攻击，这些攻击操纵输入以引起不正确的结果，这可能对攻击者有益或对受害者造成损害。最近的作品提出了近似计算，作为针对机器学习攻击的防御机制。我们表明，这些方法虽然成功地用于一系列投入，但不足以解决更强大，高信任的对抗性攻击。为了解决这个问题，我们提出了DNNShield，这是一种硬件加速防御，可使响应的强度适应对抗性输入的信心。我们的方法依赖于DNN模型的动态和随机稀疏来有效地实现推理近似值，并通过对近似误差进行细粒度控制。与检测对抗输入相比，DNNShield使用稀疏推理的输出分布特征。当应用于RESNET50时，我们显示出86％的对抗检测率为86％，这超过了最先进的接近状态的检测率，开销较低。我们演示了软件/硬件加速的FPGA原型，该原型降低了DNNShield相对于仅软件CPU和GPU实现的性能影响。

与此同时，黑匣子对抗攻击已经吸引了令人印象深刻的注意，在深度学习安全领域的实际应用，同时，由于无法访问目标模型的网络架构或内部权重，非常具有挑战性。基于假设：如果一个例子对多种型号保持过逆势，那么它更有可能将攻击能力转移到其他模型，基于集合的对抗攻击方法是高效的，用于黑匣子攻击。然而，集合攻击的方式相当不那么调查，并且现有的集合攻击只是均匀地融合所有型号的输出。在这项工作中，我们将迭代集合攻击视为随机梯度下降优化过程，其中不同模型上梯度的变化可能导致众多局部Optima差。为此，我们提出了一种新的攻击方法，称为随机方差减少了整体（SVRE）攻击，这可以降低集合模型的梯度方差，并充分利用集合攻击。标准想象数据集的经验结果表明，所提出的方法可以提高对抗性可转移性，并且优于现有的集合攻击显着。

在自动驾驶符号识别等任务中，强大的分类至关重要，因为错误分类的弊端可能是严重的。对抗性攻击威胁着神经网络分类器的鲁棒性，导致它们始终如一，自信地误导了道路标志。一种这样的攻击，基于阴影的攻击，通过应用自然的阴影来输入图像引起误解，从而导致人类观察者看起来很自然，但对这些分类器感到困惑。当前针对此类攻击的防御能力采用简单的对抗训练程序，分别在GTSRB和LISA测试集上获得相当低的25 \％和40 \％的鲁棒性。在本文中，我们提出了一种健壮，快速且可推广的方法，旨在在道路标志识别的背景下防御阴影攻击，以增强具有二进制自适应阈值和边缘图的源图像。我们从经验上表明了它针对影子攻击的稳健性，并重新制定了该问题，以表明其相似性$ \ varepsilon $基于扰动的攻击。实验结果表明，我们的边缘防御能力达到78 \％的鲁棒性，同时在GTSRB测试集上保持98 \％的良性测试精度，这是我们阈值防御的类似结果。链接到我们的代码是在论文中。