我们提出了一种对光学流动的语义靶向对抗攻击的新方法。在这种攻击中，目标是损坏特定对象类别或实例的流预测。通常，攻击者寻求隐藏输入中的对抗扰动。但是，输出的快速扫描显示攻击。相比之下，我们的方法有助于隐藏输出中的攻击者。由于促进偏移目标一致性的正常化术语，我们实现这一点。我们在领先的光学流模型上进行广泛的测试，以展示我们在白盒和黑匣子设置中的方法的好处。此外，我们展示了我们对依赖于光学流量的后续任务的攻击的有效性。

最近的工作表明，光流量网络缺乏对物理，贴片的对抗攻击的鲁棒性。物理攻击汽车系统的基本组件的可能性是严重问题的原因。在本文中，我们分析了问题的原因，并表明鲁棒性源于与网络架构细节的细节中的光学流量估计的经典孔径问题。我们展示了这些错误如何纠正，以使光学流量网络变得鲁棒到物理，补丁的攻击。此外，我们看看光流量范围的全球白盒攻击。我们发现有针对性的白盒攻击可以朝向任何所需输出偏置流量估计模型，但这需要访问输入图像和模型权重。我们的结果表明，光流量网络对普遍攻击具有鲁棒性。

最近的光流方法几乎完全根据精度来判断，而它们的稳健性通常被忽略。尽管对抗性攻击提供了执行此类分析的有用工具，但是当前对光流方法的攻击集中在现实世界中的攻击场景上，而不是最坏的情况下的稳健性评估。因此，在这项工作中，我们提出了一种新颖的对抗性攻击 - 受扰动约束的流动攻击（PCFA） - 强调了对适用性的破坏性，作为现实世界中的攻击。 PCFA是一种全局攻击，它优化了对抗性扰动，以将预测的流向指定的目标流动，同时将扰动的L2标准保持在所选界限之下。我们的实验证明了PCFA在白色和黑色盒子设置中的适用性，并证明它发现比以前的攻击更强。基于这些强大的样本，我们考虑了考虑预测质量和对抗性鲁棒性的光流方法的第一个联合排名，这揭示了最新的方法特别容易受到攻击。代码可在https://github.com/cv-stuttgart/pcfa上找到。

Although Deep Neural Networks (DNNs) have achieved impressive results in computer vision, their exposed vulnerability to adversarial attacks remains a serious concern. A series of works has shown that by adding elaborate perturbations to images, DNNs could have catastrophic degradation in performance metrics. And this phenomenon does not only exist in the digital space but also in the physical space. Therefore, estimating the security of these DNNs-based systems is critical for safely deploying them in the real world, especially for security-critical applications, e.g., autonomous cars, video surveillance, and medical diagnosis. In this paper, we focus on physical adversarial attacks and provide a comprehensive survey of over 150 existing papers. We first clarify the concept of the physical adversarial attack and analyze its characteristics. Then, we define the adversarial medium, essential to perform attacks in the physical world. Next, we present the physical adversarial attack methods in task order: classification, detection, and re-identification, and introduce their performance in solving the trilemma: effectiveness, stealthiness, and robustness. In the end, we discuss the current challenges and potential future directions.

Video classification systems are vulnerable to adversarial attacks, which can create severe security problems in video verification. Current black-box attacks need a large number of queries to succeed, resulting in high computational overhead in the process of attack. On the other hand, attacks with restricted perturbations are ineffective against defenses such as denoising or adversarial training. In this paper, we focus on unrestricted perturbations and propose StyleFool, a black-box video adversarial attack via style transfer to fool the video classification system. StyleFool first utilizes color theme proximity to select the best style image, which helps avoid unnatural details in the stylized videos. Meanwhile, the target class confidence is additionally considered in targeted attacks to influence the output distribution of the classifier by moving the stylized video closer to or even across the decision boundary. A gradient-free method is then employed to further optimize the adversarial perturbations. We carry out extensive experiments to evaluate StyleFool on two standard datasets, UCF-101 and HMDB-51. The experimental results demonstrate that StyleFool outperforms the state-of-the-art adversarial attacks in terms of both the number of queries and the robustness against existing defenses. Moreover, 50% of the stylized videos in untargeted attacks do not need any query since they can already fool the video classification model. Furthermore, we evaluate the indistinguishability through a user study to show that the adversarial samples of StyleFool look imperceptible to human eyes, despite unrestricted perturbations.

现实世界的对抗例（通常以补丁形式）对安全关键计算机视觉任务中的深度学习模型（如在自动驾驶中的视觉感知）中使用深度学习模型构成严重威胁。本文涉及用不同类型的对抗性斑块攻击时，对语义分割模型的稳健性进行了广泛的评价，包括数字，模拟和物理。提出了一种新的损失功能，提高攻击者在诱导像素错误分类方面的能力。此外，提出了一种新的攻击策略，提高了在场景中放置补丁的转换方法的期望。最后，首先扩展用于检测对抗性补丁的最先进的方法以应对语义分割模型，然后改进以获得实时性能，并最终在现实世界场景中进行评估。实验结果表明，尽管具有数字和真实攻击的对抗效果，其影响通常在空间上限制在补丁周围的图像区域。这将打开关于实时语义分段模型的空间稳健性的进一步疑问。

我们研究了对差距估计任务的深层立体声匹配网络对抗图像对抗的影响。我们介绍了一种方法来制作一组扰动，当添加到数据集中的任何立体声图像对时，可以欺骗立体声网络，从而显着改变感知场景几何形状。我们的扰动图像是“通用”的，因为它们不仅损坏了它们在优化的数据集上的网络上的估计，而且还概括到不同数据集中不同架构的立体网络。我们在多个公共基准数据集中评估我们的方法，并显示我们的扰动可以将最先进的立体网络的D1错误（类似于愚蠢）增加1％至高达87％。我们调查扰动对估计场景几何的影响，并确定最脆弱的对象类。我们对左右图像之间的注册点激活的分析导致我们发现某些架构组件，即可变形卷积和明确匹配，可以增加对对手的鲁棒性。我们证明，通过简单地使用这些组件设计网络，可以将对手的效果降低到60.5％，这竞争于网络的稳健性与昂贵的对抗性数据增强进行了微调。

由于缺乏对AI模型的安全性和鲁棒性的信任，近年来，深度学习模型（尤其是针对安全至关重要的系统）中的对抗性攻击正在越来越受到关注。然而，更原始的对抗性攻击可能是身体上不可行的，或者需要一些难以访问的资源，例如训练数据，这激发了斑块攻击的出现。在这项调查中，我们提供了全面的概述，以涵盖现有的对抗贴片攻击技术，旨在帮助感兴趣的研究人员迅速赶上该领域的进展。我们还讨论了针对对抗贴片的检测和防御措施的现有技术，旨在帮助社区更好地了解该领域及其在现实世界中的应用。

深度神经网络（DNN）在近年来，包括自动驾驶感知任务，包括自主驾驶感知任务的令人印象深刻。另一方面，目前的深神经网络很容易被对抗性攻击所欺骗。此漏洞提高了重要的问题，特别是在安全关键型应用中。因此，攻击和捍卫DNN的研究已经获得了很多覆盖范围。在这项工作中，横跨距离估计，语义分割，运动检测和对象检测，对详细的对抗攻击应用于各种多任务视觉感知深网络。实验考虑了针对目标和未定位案件的白色和黑色盒子攻击，同时攻击任务并检查所有其他效果，除了检查应用简单防御方法的效果。我们通过比较和讨论实验结果，提出见解和未来工作来结束本文。攻击的可视化可在https://youtu.be/6aixn90Budy上获得。

深度学习大大提高了单眼深度估计（MDE）的性能，这是完全基于视觉的自主驾驶（AD）系统（例如特斯拉和丰田）的关键组成部分。在这项工作中，我们对基于学习的MDE产生了攻击。特别是，我们使用基于优化的方法系统地生成隐形的物理对象贴片来攻击深度估计。我们通过面向对象的对抗设计，敏感的区域定位和自然风格的伪装来平衡攻击的隐身和有效性。使用现实世界的驾驶场景，我们评估了对并发MDE模型的攻击和AD的代表下游任务（即3D对象检测）。实验结果表明，我们的方法可以为不同的目标对象和模型生成隐形，有效和健壮的对抗贴片，并在物体检测中以1/1/的斑点检测到超过6米的平均深度估计误差和93％的攻击成功率（ASR）车辆后部9个。具有实际车辆的三个不同驾驶路线上的现场测试表明，在连续视频帧中，我们导致超过6米的平均深度估计误差，并将对象检测率从90.70％降低到5.16％。

考虑到整个时间领域的信息有助于改善自动驾驶中的环境感知。但是，到目前为止，尚未研究暂时融合的神经网络是否容易受到故意产生的扰动，即对抗性攻击，或者时间历史是否是对它们的固有防御。在这项工作中，我们研究了用于对象检测的时间特征网络是否容易受到通用对抗性攻击的影响。我们评估了两种类型的攻击：整个图像和本地界面贴片的不可察觉噪声。在这两种情况下，使用PGD以白盒方式生成扰动。我们的实验证实，即使攻击时间的一部分时间都足以欺骗网络。我们在视觉上评估生成的扰动，以了解攻击功能。为了增强鲁棒性，我们使用5-PGD应用对抗训练。我们在Kitti和Nuscenes数据集上进行的实验证明了通过K-PGD鲁棒化的模型能够承受研究的攻击，同时保持基于地图的性能与未破坏模型的攻击。

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

在过去的十年中，深度学习急剧改变了传统的手工艺特征方式，具有强大的功能学习能力，从而极大地改善了传统任务。然而，最近已经证明了深层神经网络容易受到对抗性例子的影响，这种恶意样本由小型设计的噪音制作，误导了DNNs做出错误的决定，同时仍然对人类无法察觉。对抗性示例可以分为数字对抗攻击和物理对抗攻击。数字对抗攻击主要是在实验室环境中进行的，重点是改善对抗性攻击算法的性能。相比之下，物理对抗性攻击集中于攻击物理世界部署的DNN系统，这是由于复杂的物理环境（即亮度，遮挡等），这是一项更具挑战性的任务。尽管数字对抗和物理对抗性示例之间的差异很小，但物理对抗示例具有特定的设计，可以克服复杂的物理环境的效果。在本文中，我们回顾了基于DNN的计算机视觉任务任务中的物理对抗攻击的开发，包括图像识别任务，对象检测任务和语义细分。为了完整的算法演化，我们将简要介绍不涉及身体对抗性攻击的作品。我们首先提出一个分类方案，以总结当前的物理对抗攻击。然后讨论现有的物理对抗攻击的优势和缺点，并专注于用于维持对抗性的技术，当应用于物理环境中时。最后，我们指出要解决的当前身体对抗攻击的问题并提供有前途的研究方向。

Although deep networks have shown vulnerability to evasion attacks, such attacks have usually unrealistic requirements. Recent literature discussed the possibility to remove or not some of these requirements. This paper contributes to this literature by introducing a carpet-bombing patch attack which has almost no requirement. Targeting the feature representations, this patch attack does not require knowing the network task. This attack decreases accuracy on Imagenet, mAP on Pascal Voc, and IoU on Cityscapes without being aware that the underlying tasks involved classification, detection or semantic segmentation, respectively. Beyond the potential safety issues raised by this attack, the impact of the carpet-bombing attack highlights some interesting property of deep network layer dynamic.

Deep learning-based 3D object detectors have made significant progress in recent years and have been deployed in a wide range of applications. It is crucial to understand the robustness of detectors against adversarial attacks when employing detectors in security-critical applications. In this paper, we make the first attempt to conduct a thorough evaluation and analysis of the robustness of 3D detectors under adversarial attacks. Specifically, we first extend three kinds of adversarial attacks to the 3D object detection task to benchmark the robustness of state-of-the-art 3D object detectors against attacks on KITTI and Waymo datasets, subsequently followed by the analysis of the relationship between robustness and properties of detectors. Then, we explore the transferability of cross-model, cross-task, and cross-data attacks. We finally conduct comprehensive experiments of defense for 3D detectors, demonstrating that simple transformations like flipping are of little help in improving robustness when the strategy of transformation imposed on input point cloud data is exposed to attackers. Our findings will facilitate investigations in understanding and defending the adversarial attacks against 3D object detectors to advance this field.

随着点云上的3D对象检测依赖于点之间的几何关系，非标准对象形状可以妨碍方法的检测能力。然而，在安全关键环境中，在分销外和长尾样品上的鲁棒性是对规避危险问题的基础，例如损坏或稀有汽车的误读。在这项工作中，我们通过在训练期间考虑到变形的点云来大大改善3D对象探测器的概括到域名数据。我们通过3D-VFIEL实现这一点：一种新的方法，可以通过越野时代的载体衡量物体。我们的方法将3D点限制以沿着传感器视图幻灯片幻灯片，而既不添加也不添加它们中的任何一个。所获得的载体是可转移的，独立于样的和保持形状平滑度和闭塞。通过在训练期间使用这些载体场产生的变形来增强正常样本，我们显着改善了对不同形状物体的鲁棒性，例如损坏/变形汽车，即使仅在基蒂训练。为此，我们提出并分享开源Crashd：现实损坏和稀有汽车的合成数据集，具有各种碰撞情景。在Kitti，Waymo，我们的Crashd和Sun RGB-D上进行了广泛的实验，表明了我们对室内和室外场景的域外数据，不同型号和传感器，即LIDAR和TOF相机的技术的高度普遍性。我们的crashd数据集可在https://crashd-cars.github.io上获得。

Although deep neural networks (DNNs) have achieved great success in many tasks, they can often be fooled by adversarial examples that are generated by adding small but purposeful distortions to natural examples. Previous studies to defend against adversarial examples mostly focused on refining the DNN models, but have either shown limited success or required expensive computation. We propose a new strategy, feature squeezing, that can be used to harden DNN models by detecting adversarial examples. Feature squeezing reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. By comparing a DNN model's prediction on the original input with that on squeezed inputs, feature squeezing detects adversarial examples with high accuracy and few false positives.This paper explores two feature squeezing methods: reducing the color bit depth of each pixel and spatial smoothing. These simple strategies are inexpensive and complementary to other defenses, and can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks.

Recent studies show that the state-of-the-art deep neural networks (DNNs) are vulnerable to adversarial examples, resulting from small-magnitude perturbations added to the input. Given that that emerging physical systems are using DNNs in safety-critical situations, adversarial examples could mislead these systems and cause dangerous situations. Therefore, understanding adversarial examples in the physical world is an important step towards developing resilient learning algorithms. We propose a general attack algorithm, Robust Physical Perturbations (RP 2 ), to generate robust visual adversarial perturbations under different physical conditions. Using the real-world case of road sign classification, we show that adversarial examples generated using RP 2 achieve high targeted misclassification rates against standard-architecture road sign classifiers in the physical world under various environmental conditions, including viewpoints. Due to the current lack of a standardized testing method, we propose a two-stage evaluation methodology for robust physical adversarial examples consisting of lab and field tests. Using this methodology, we evaluate the efficacy of physical adversarial manipulations on real objects. With a perturbation in the form of only black and white stickers, we attack a real stop sign, causing targeted misclassification in 100% of the images obtained in lab settings, and in 84.8% of the captured video frames obtained on a moving vehicle (field test) for the target classifier.

深度神经网络已被证明容易受到对抗图像的影响。常规攻击努力争取严格限制扰动的不可分割的对抗图像。最近，研究人员已采取行动探索可区分但非奇异的对抗图像，并证明色彩转化攻击是有效的。在这项工作中，我们提出了对抗颜色过滤器（ADVCF），这是一种新颖的颜色转换攻击，在简单颜色滤波器的参数空间中通过梯度信息进行了优化。特别是，明确指定了我们的颜色滤波器空间，以便从攻击和防御角度来对对抗性色转换进行系统的鲁棒性分析。相反，由于缺乏这种明确的空间，现有的颜色转换攻击并不能为系统分析提供机会。我们通过用户研究进一步进行了对成功率和图像可接受性的不同颜色转化攻击之间的广泛比较。其他结果为在另外三个视觉任务中针对ADVCF的模型鲁棒性提供了有趣的新见解。我们还强调了ADVCF的人类解剖性，该advcf在实际使用方案中有希望，并显示出比对图像可接受性和效率的最新人解释的色彩转化攻击的优越性。

越来越多的工作表明，深层神经网络容易受到对抗例子的影响。这些采用适用于模型输入的小扰动的形式，这导致了错误的预测。不幸的是，大多数文献都集中在视觉上不可见量的扰动上，该扰动将应用于数字图像上，这些数字图像通常无法通过设计将其部署到物理目标上。我们提出了对抗性划痕：一种新颖的L0黑盒攻击，它采用图像中的划痕形式，并且比其他最先进的攻击具有更大的可部署性。对抗性划痕利用了b \'Ezier曲线，以减少搜索空间的维度，并可能将攻击限制为特定位置。我们在几种情况下测试了对抗划痕，包括公开可用的API和交通标志的图像。结果表明，我们的攻击通常比其他可部署的最先进方法更高的愚弄率更高，同时需要更少的查询并修改很少的像素。