对抗性示例代表了对几个应用程序域中深层神经网络的严重威胁，并且已经产生了大量工作来调查它们并减轻其效果。然而，没有太多的工作专门用于专门设计的数据集来评估神经模型的对抗性鲁棒性。本文介绍了Carla-Gear，这是一种自动生成照片真实合成数据集的工具，可用于系统评估神经模型的对抗性鲁棒性，以防止身体对抗斑块，并比较不同的对抗防御的性能/检测方法。该工具是在Carla模拟器上构建的，使用其Python API，并允许在自动驾驶的背景下生成有关几个视觉任务的数据集。生成的数据集中包含的对抗贴片连接到广告牌或卡车的背面，并通过使用最先进的白色盒子攻击策略来制作，以最大程度地提高测试模型的预测错误。最后，本文提出了一项实验研究，以评估某些防御方法针对此类攻击的性能，以表明如何在将来的工作中使用Carla-Gear生成的数据集作为现实世界中对抗性防御的基准。本文中使用的所有代码和数据集可在http://carlagear.retis.santannapisa.it上获得。

现实世界的对抗例（通常以补丁形式）对安全关键计算机视觉任务中的深度学习模型（如在自动驾驶中的视觉感知）中使用深度学习模型构成严重威胁。本文涉及用不同类型的对抗性斑块攻击时，对语义分割模型的稳健性进行了广泛的评价，包括数字，模拟和物理。提出了一种新的损失功能，提高攻击者在诱导像素错误分类方面的能力。此外，提出了一种新的攻击策略，提高了在场景中放置补丁的转换方法的期望。最后，首先扩展用于检测对抗性补丁的最先进的方法以应对语义分割模型，然后改进以获得实时性能，并最终在现实世界场景中进行评估。实验结果表明，尽管具有数字和真实攻击的对抗效果，其影响通常在空间上限制在补丁周围的图像区域。这将打开关于实时语义分段模型的空间稳健性的进一步疑问。

现有的对抗示例研究重点是在现有自然图像数据集之上进行数字插入的扰动。这种对抗性例子的构造是不现实的，因为攻击者由于感应和环境影响而在现实世界中部署这种攻击可能是困难的，甚至是不可能的。为了更好地理解针对网络物理系统的对抗性示例，我们提出了通过模拟近似现实世界的。在本文中，我们描述了我们的合成数据集生成工具，该工具可以可扩展收集具有现实的对抗示例的合成数据集。我们使用Carla模拟器收集此类数据集并演示与现实世界图像相同的环境变换和处理的模拟攻击。我们的工具已用于收集数据集以帮助评估对抗性示例的功效，并可以在https://github.com/carla-simulator/carla/pull/4992上找到。

深度学习大大提高了单眼深度估计（MDE）的性能，这是完全基于视觉的自主驾驶（AD）系统（例如特斯拉和丰田）的关键组成部分。在这项工作中，我们对基于学习的MDE产生了攻击。特别是，我们使用基于优化的方法系统地生成隐形的物理对象贴片来攻击深度估计。我们通过面向对象的对抗设计，敏感的区域定位和自然风格的伪装来平衡攻击的隐身和有效性。使用现实世界的驾驶场景，我们评估了对并发MDE模型的攻击和AD的代表下游任务（即3D对象检测）。实验结果表明，我们的方法可以为不同的目标对象和模型生成隐形，有效和健壮的对抗贴片，并在物体检测中以1/1/的斑点检测到超过6米的平均深度估计误差和93％的攻击成功率（ASR）车辆后部9个。具有实际车辆的三个不同驾驶路线上的现场测试表明，在连续视频帧中，我们导致超过6米的平均深度估计误差，并将对象检测率从90.70％降低到5.16％。

Although Deep Neural Networks (DNNs) have achieved impressive results in computer vision, their exposed vulnerability to adversarial attacks remains a serious concern. A series of works has shown that by adding elaborate perturbations to images, DNNs could have catastrophic degradation in performance metrics. And this phenomenon does not only exist in the digital space but also in the physical space. Therefore, estimating the security of these DNNs-based systems is critical for safely deploying them in the real world, especially for security-critical applications, e.g., autonomous cars, video surveillance, and medical diagnosis. In this paper, we focus on physical adversarial attacks and provide a comprehensive survey of over 150 existing papers. We first clarify the concept of the physical adversarial attack and analyze its characteristics. Then, we define the adversarial medium, essential to perform attacks in the physical world. Next, we present the physical adversarial attack methods in task order: classification, detection, and re-identification, and introduce their performance in solving the trilemma: effectiveness, stealthiness, and robustness. In the end, we discuss the current challenges and potential future directions.

这项工作提出了Z-Mask，这是一种强大而有效的策略，旨在改善卷积网络的对抗性鲁棒性，以防止具有物理变化的对抗性攻击。提出的防御依赖于对内部网络特征进行的特定Z分析分析来检测和掩盖与输入图像中对抗对象相对应的像素。为此，在浅层和深层中检查了空间连续的激活，以暗示潜在的对抗区域。然后，通过多端保留机制汇总此类建议。通过对语义分割和对象检测进行的模型进行了广泛的实验，评估了Z面具的有效性。评估均使用两个数字补丁添加到现实世界中的输入图像和印刷补丁。获得的结果证实，就检测准确性和在攻击中的网络的总体性能而言，Z mask优于最先进的方法。其他实验表明，Z面具对可能的防御感知攻击也很强大。

Machine learning models are known to be susceptible to adversarial perturbation. One famous attack is the adversarial patch, a sticker with a particularly crafted pattern that makes the model incorrectly predict the object it is placed on. This attack presents a critical threat to cyber-physical systems that rely on cameras such as autonomous cars. Despite the significance of the problem, conducting research in this setting has been difficult; evaluating attacks and defenses in the real world is exceptionally costly while synthetic data are unrealistic. In this work, we propose the REAP (REalistic Adversarial Patch) benchmark, a digital benchmark that allows the user to evaluate patch attacks on real images, and under real-world conditions. Built on top of the Mapillary Vistas dataset, our benchmark contains over 14,000 traffic signs. Each sign is augmented with a pair of geometric and lighting transformations, which can be used to apply a digitally generated patch realistically onto the sign. Using our benchmark, we perform the first large-scale assessments of adversarial patch attacks under realistic conditions. Our experiments suggest that adversarial patch attacks may present a smaller threat than previously believed and that the success rate of an attack on simpler digital simulations is not predictive of its actual effectiveness in practice. We release our benchmark publicly at https://github.com/wagner-group/reap-benchmark.

具有丰富注释的高质量结构化数据是处理道路场景的智能车辆系统中的关键组件。但是，数据策展和注释需要大量投资并产生低多样性的情况。最近对合成数据的兴趣日益增长，提出了有关此类系统改进范围的问题，以及产生大量和变化的模拟数据所需的手动工作量。这项工作提出了一条合成数据生成管道，该管道利用现有数据集（如Nuscenes）来解决模拟数据集中存在的困难和域间隙。我们表明，使用现有数据集的注释和视觉提示，我们可以促进自动化的多模式数据生成，模仿具有高保真性的真实场景属性，以及以物理意义的方式使样本多样化的机制。我们通过提供定性和定量实验，并通过使用真实和合成数据来证明MIOU指标的改进，以实现CityScapes和Kitti-Step数据集的语义分割。所有相关代码和数据均在GitHub（https://github.com/shubham1810/trove_toolkit）上发布。

由于缺乏对AI模型的安全性和鲁棒性的信任，近年来，深度学习模型（尤其是针对安全至关重要的系统）中的对抗性攻击正在越来越受到关注。然而，更原始的对抗性攻击可能是身体上不可行的，或者需要一些难以访问的资源，例如训练数据，这激发了斑块攻击的出现。在这项调查中，我们提供了全面的概述，以涵盖现有的对抗贴片攻击技术，旨在帮助感兴趣的研究人员迅速赶上该领域的进展。我们还讨论了针对对抗贴片的检测和防御措施的现有技术，旨在帮助社区更好地了解该领域及其在现实世界中的应用。

对抗贴片是旨在欺骗其他表现良好的基于​​神经网络的计算机视觉模型的图像。尽管这些攻击最初是通过数字方式构想和研究的，但由于图像的原始像素值受到干扰，但最近的工作表明，这些攻击可以成功地转移到物理世界中。可以通过打印补丁并将其添加到新捕获的图像或视频素材的场景中来实现。在这项工作中，我们进一步测试了在更具挑战性的条件下物理世界中对抗斑块攻击的功效。我们考虑通过空中或卫星摄像机获得的高架图像训练的对象检测模型，并测试插入沙漠环境场景中的物理对抗斑块。我们的主要发现是，在这些条件下成功实施对抗贴片攻击要比在先前考虑的条件下更难。这对AI安全具有重要意义，因为可能被夸大了对抗性例子所带来的现实世界威胁。

在过去的十年中，深度学习急剧改变了传统的手工艺特征方式，具有强大的功能学习能力，从而极大地改善了传统任务。然而，最近已经证明了深层神经网络容易受到对抗性例子的影响，这种恶意样本由小型设计的噪音制作，误导了DNNs做出错误的决定，同时仍然对人类无法察觉。对抗性示例可以分为数字对抗攻击和物理对抗攻击。数字对抗攻击主要是在实验室环境中进行的，重点是改善对抗性攻击算法的性能。相比之下，物理对抗性攻击集中于攻击物理世界部署的DNN系统，这是由于复杂的物理环境（即亮度，遮挡等），这是一项更具挑战性的任务。尽管数字对抗和物理对抗性示例之间的差异很小，但物理对抗示例具有特定的设计，可以克服复杂的物理环境的效果。在本文中，我们回顾了基于DNN的计算机视觉任务任务中的物理对抗攻击的开发，包括图像识别任务，对象检测任务和语义细分。为了完整的算法演化，我们将简要介绍不涉及身体对抗性攻击的作品。我们首先提出一个分类方案，以总结当前的物理对抗攻击。然后讨论现有的物理对抗攻击的优势和缺点，并专注于用于维持对抗性的技术，当应用于物理环境中时。最后，我们指出要解决的当前身体对抗攻击的问题并提供有前途的研究方向。

适应不断发展的环境是所有自动驾驶系统不可避免地面临的安全挑战。但是，现有的图像和视频驾驶数据集未能捕获现实世界的可变性质。在本文中，我们介绍了最大的多任务合成数据集，用于自动驾驶，转移。它显示了云彩，雨水强度，一天中的时间以及车辆和行人密度的离散和连续变化。Shift采用全面的传感器套件和几个主流感知任务的注释，可以调查在域转移水平越来越高的感知系统性能下降，从而促进了持续适应策略的发展，以减轻此问题并评估模型的鲁棒性和一般性。我们的数据集和基准工具包可在www.vis.xyz/shift上公开获得。

计算机图形技术的最新进展可以使汽车驾驶环境更现实。它们使自动驾驶汽车模拟器（例如DeepGTA-V和Carla（学习采取行动））能够生成大量的合成数据，这些数据可以补充现有的现实世界数据集中，以培训自动驾驶汽车感知。此外，由于自动驾驶汽车模拟器可以完全控制环境，因此它们可以产生危险的驾驶场景，而现实世界中数据集缺乏恶劣天气和事故情况。在本文中，我们将证明将从现实世界收集的数据与模拟世界中生成的数据相结合的有效性，以训练对象检测和本地化任务的感知系统。我们还将提出一个多层次的深度学习感知框架，旨在效仿人类的学习经验，其中在某个领域中学习了一系列从简单到更困难的任务。自动驾驶汽车感知器可以从易于驱动的方案中学习，以通过模拟软件定制的更具挑战性的方案。

深度神经网络（DNN）在近年来，包括自动驾驶感知任务，包括自主驾驶感知任务的令人印象深刻。另一方面，目前的深神经网络很容易被对抗性攻击所欺骗。此漏洞提高了重要的问题，特别是在安全关键型应用中。因此，攻击和捍卫DNN的研究已经获得了很多覆盖范围。在这项工作中，横跨距离估计，语义分割，运动检测和对象检测，对详细的对抗攻击应用于各种多任务视觉感知深网络。实验考虑了针对目标和未定位案件的白色和黑色盒子攻击，同时攻击任务并检查所有其他效果，除了检查应用简单防御方法的效果。我们通过比较和讨论实验结果，提出见解和未来工作来结束本文。攻击的可视化可在https://youtu.be/6aixn90Budy上获得。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

考虑到整个时间领域的信息有助于改善自动驾驶中的环境感知。但是，到目前为止，尚未研究暂时融合的神经网络是否容易受到故意产生的扰动，即对抗性攻击，或者时间历史是否是对它们的固有防御。在这项工作中，我们研究了用于对象检测的时间特征网络是否容易受到通用对抗性攻击的影响。我们评估了两种类型的攻击：整个图像和本地界面贴片的不可察觉噪声。在这两种情况下，使用PGD以白盒方式生成扰动。我们的实验证实，即使攻击时间的一部分时间都足以欺骗网络。我们在视觉上评估生成的扰动，以了解攻击功能。为了增强鲁棒性，我们使用5-PGD应用对抗训练。我们在Kitti和Nuscenes数据集上进行的实验证明了通过K-PGD鲁棒化的模型能够承受研究的攻击，同时保持基于地图的性能与未破坏模型的攻击。

深度神经网络容易受到来自对抗性投入的攻击，并且最近，特洛伊木马误解或劫持模型的决定。我们通过探索有界抗逆性示例空间和生成的对抗网络内的自然输入空间来揭示有界面的对抗性实例 - 通用自然主义侵害贴片的兴趣类 - 我们呼叫TNT。现在，一个对手可以用一个自然主义的补丁来手臂自己，不太恶意，身体上可实现，高效 - 实现高攻击成功率和普遍性。 TNT是普遍的，因为在场景中的TNT中捕获的任何输入图像都将：i）误导网络（未确定的攻击）;或ii）迫使网络进行恶意决定（有针对性的攻击）。现在，有趣的是，一个对抗性补丁攻击者有可能发挥更大的控制水平 - 选择一个独立，自然的贴片的能力，与被限制为嘈杂的扰动的触发器 - 到目前为止只有可能与特洛伊木马攻击方法有可能干扰模型建设过程，以嵌入风险发现的后门;但是，仍然意识到在物理世界中部署的补丁。通过对大型视觉分类任务的广泛实验，想象成在其整个验证集50,000张图像中进行评估，我们展示了TNT的现实威胁和攻击的稳健性。我们展示了攻击的概括，以创建比现有最先进的方法实现更高攻击成功率的补丁。我们的结果表明，攻击对不同的视觉分类任务（CIFAR-10，GTSRB，PUBFIG）和多个最先进的深神经网络，如WieredEnet50，Inception-V3和VGG-16。

智能城市应用程序（例如智能交通路由或事故预防）依赖计算机视觉方法来确切的车辆定位和跟踪。由于精确标记的数据缺乏，从多个摄像机中检测和跟踪3D的车辆被证明是探索挑战的。我们提出了一个庞大的合成数据集，用于多个重叠和非重叠摄像头视图中的多个车辆跟踪和分割。与现有的数据集不同，该数据集仅为2D边界框提供跟踪地面真实，我们的数据集还包含适用于相机和世界坐标中的3D边界框的完美标签，深度估计以及实例，语义和泛型细分。该数据集由17个小时的标记视频材料组成，从64个不同的一天，雨，黎明和夜幕播放的340张摄像机录制，使其成为迄今为止多目标多型多相机跟踪的最广泛数据集。我们提供用于检测，车辆重新识别以及单摄像机跟踪的基准。代码和数据公开可用。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

越来越多的工作表明，深层神经网络容易受到对抗例子的影响。这些采用适用于模型输入的小扰动的形式，这导致了错误的预测。不幸的是，大多数文献都集中在视觉上不可见量的扰动上，该扰动将应用于数字图像上，这些数字图像通常无法通过设计将其部署到物理目标上。我们提出了对抗性划痕：一种新颖的L0黑盒攻击，它采用图像中的划痕形式，并且比其他最先进的攻击具有更大的可部署性。对抗性划痕利用了b \'Ezier曲线，以减少搜索空间的维度，并可能将攻击限制为特定位置。我们在几种情况下测试了对抗划痕，包括公开可用的API和交通标志的图像。结果表明，我们的攻击通常比其他可部署的最先进方法更高的愚弄率更高，同时需要更少的查询并修改很少的像素。