随着深度神经网络中的研究的发展，深度卷积网络对于自动驾驶任务而言是可行的。在驾驶任务的自动化中采用端到端模型有一种新兴趋势。但是，以前的研究揭示了深层神经网络在分类任务中容易受到对抗性攻击的影响。对于回归任务，例如自动驾驶，这些攻击的效果仍然很少探索。在这项研究中，我们设计了针对端到端自动驾驶系统的两次白盒针对性攻击。驾驶模型将图像作为输入并输出转向角度。我们的攻击只能通过扰动输入图像来操纵自主驾驶系统的行为。两种攻击都可以在不使用GPU的情况下实时对CPU进行实时启动。这项研究旨在引起人们对安全关键系统中端到端模型的应用的担忧。

深度学习安全机器人吗？由于嵌入式系统可以访问更强大的CPU和GPU，因此在机器人应用中，启用深度学习的对象检测系统变得无处不在。同时，先前的研究揭示了深度学习模型容易受到对抗性攻击的影响。这会使现实世界的机器人受到威胁吗？我们的研究借用了来自密码学的主要中间攻击的想法，以攻击对象检测系统。我们的实验结果证明，我们可以在一分钟内产生强大的通用对抗扰动（UAP），然后使用扰动通过中间攻击来攻击检测系统。我们的发现引起了对深度学习模型在安全至关重要系统（例如自动驾驶）中的应用的严重关注。

智能机器人在准确的对象检测模型上取决于感知环境。深度学习安全性的进步揭示了对象检测模型容易受到对抗性攻击的影响。但是，先前的研究主要关注攻击静态图像或离线视频。目前尚不清楚这种攻击是否会危害动态环境中的现实世界机器人应用。理论发现和现实世界应用之间仍然存在差距。我们通过提出第一次实时在线攻击对象检测模型来弥合差距。我们设计了三个攻击，这些攻击在所需位置为不存在的对象制造边界框。

深度学习的进步使得广泛的有希望的应用程序。然而，这些系统容易受到对抗机器学习（AML）攻击的影响;对他们的意见的离前事实制作的扰动可能导致他们错误分类。若干最先进的对抗性攻击已经证明他们可以可靠地欺骗分类器，使这些攻击成为一个重大威胁。对抗性攻击生成算法主要侧重于创建成功的例子，同时控制噪声幅度和分布，使检测更加困难。这些攻击的潜在假设是脱机产生的对抗噪声，使其执行时间是次要考虑因素。然而，最近，攻击者机会自由地产生对抗性示例的立即对抗攻击已经可能。本文介绍了一个新问题：我们如何在实时约束下产生对抗性噪音，以支持这种实时对抗攻击？了解这一问题提高了我们对这些攻击对实时系统构成的威胁的理解，并为未来防御提供安全评估基准。因此，我们首先进行对抗生成算法的运行时间分析。普遍攻击脱机产生一般攻击，没有在线开销，并且可以应用于任何输入;然而，由于其一般性，他们的成功率是有限的。相比之下，在特定输入上工作的在线算法是计算昂贵的，使它们不适合在时间约束下的操作。因此，我们提出房间，一种新型实时在线脱机攻击施工模型，其中离线组件用于预热在线算法，使得可以在时间限制下产生高度成功的攻击。

轨迹预测是自动车辆（AVS）执行安全规划和导航的关键组件。然而，很少有研究分析了轨迹预测的对抗性稳健性，或者调查了最坏情况的预测是否仍然可以导致安全规划。为了弥合这种差距，我们通过提出普通车辆轨迹来最大化预测误差来研究轨迹预测模型的对抗鲁棒性。我们在三个模型和三个数据集上的实验表明，对手预测将预测误差增加超过150％。我们的案例研究表明，如果对手在对手轨迹之后驱动靠近目标AV的车辆，则AV可以进行不准确的预测，甚至不安全的驾驶决策。我们还通过数据增强和轨迹平滑探索可能的缓解技术。

Although Deep Neural Networks (DNNs) have achieved impressive results in computer vision, their exposed vulnerability to adversarial attacks remains a serious concern. A series of works has shown that by adding elaborate perturbations to images, DNNs could have catastrophic degradation in performance metrics. And this phenomenon does not only exist in the digital space but also in the physical space. Therefore, estimating the security of these DNNs-based systems is critical for safely deploying them in the real world, especially for security-critical applications, e.g., autonomous cars, video surveillance, and medical diagnosis. In this paper, we focus on physical adversarial attacks and provide a comprehensive survey of over 150 existing papers. We first clarify the concept of the physical adversarial attack and analyze its characteristics. Then, we define the adversarial medium, essential to perform attacks in the physical world. Next, we present the physical adversarial attack methods in task order: classification, detection, and re-identification, and introduce their performance in solving the trilemma: effectiveness, stealthiness, and robustness. In the end, we discuss the current challenges and potential future directions.

深度神经网络容易受到来自对抗性投入的攻击，并且最近，特洛伊木马误解或劫持模型的决定。我们通过探索有界抗逆性示例空间和生成的对抗网络内的自然输入空间来揭示有界面的对抗性实例 - 通用自然主义侵害贴片的兴趣类 - 我们呼叫TNT。现在，一个对手可以用一个自然主义的补丁来手臂自己，不太恶意，身体上可实现，高效 - 实现高攻击成功率和普遍性。 TNT是普遍的，因为在场景中的TNT中捕获的任何输入图像都将：i）误导网络（未确定的攻击）;或ii）迫使网络进行恶意决定（有针对性的攻击）。现在，有趣的是，一个对抗性补丁攻击者有可能发挥更大的控制水平 - 选择一个独立，自然的贴片的能力，与被限制为嘈杂的扰动的触发器 - 到目前为止只有可能与特洛伊木马攻击方法有可能干扰模型建设过程，以嵌入风险发现的后门;但是，仍然意识到在物理世界中部署的补丁。通过对大型视觉分类任务的广泛实验，想象成在其整个验证集50,000张图像中进行评估，我们展示了TNT的现实威胁和攻击的稳健性。我们展示了攻击的概括，以创建比现有最先进的方法实现更高攻击成功率的补丁。我们的结果表明，攻击对不同的视觉分类任务（CIFAR-10，GTSRB，PUBFIG）和多个最先进的深神经网络，如WieredEnet50，Inception-V3和VGG-16。

Video compression plays a crucial role in video streaming and classification systems by maximizing the end-user quality of experience (QoE) at a given bandwidth budget. In this paper, we conduct the first systematic study for adversarial attacks on deep learning-based video compression and downstream classification systems. Our attack framework, dubbed RoVISQ, manipulates the Rate-Distortion ($\textit{R}$-$\textit{D}$) relationship of a video compression model to achieve one or both of the following goals: (1) increasing the network bandwidth, (2) degrading the video quality for end-users. We further devise new objectives for targeted and untargeted attacks to a downstream video classification service. Finally, we design an input-invariant perturbation that universally disrupts video compression and classification systems in real time. Unlike previously proposed attacks on video classification, our adversarial perturbations are the first to withstand compression. We empirically show the resilience of RoVISQ attacks against various defenses, i.e., adversarial training, video denoising, and JPEG compression. Our extensive experimental results on various video datasets show RoVISQ attacks deteriorate peak signal-to-noise ratio by up to 5.6dB and the bit-rate by up to $\sim$ 2.4$\times$ while achieving over 90$\%$ attack success rate on a downstream classifier. Our user study further demonstrates the effect of RoVISQ attacks on users' QoE.

当系统的全面了解时然而，这种技术在灰盒设置中行动不成功，攻击者面部模板未知。在这项工作中，我们提出了一种具有新开发的目标函数的相似性的灰度逆势攻击（SGADV）技术。 SGAdv利用不同的评分来产生优化的对抗性实例，即基于相似性的对抗性攻击。这种技术适用于白盒和灰度箱攻击，针对使用不同分数确定真实或调用用户的身份验证系统。为了验证SGAdv的有效性，我们对LFW，Celeba和Celeba-HQ的面部数据集进行了广泛的实验，反对白盒和灰度箱设置的面部和洞察面的深脸识别模型。结果表明，所提出的方法显着优于灰色盒设置中的现有的对抗性攻击技术。因此，我们总结了开发对抗性示例的相似性基础方法可以令人满意地迎合去认证的灰度箱攻击场景。

普遍的对策扰动是图像不可思议的和模型 - 无关的噪声，当添加到任何图像时可以误导训练的深卷积神经网络进入错误的预测。由于这些普遍的对抗性扰动可以严重危害实践深度学习应用的安全性和完整性，因此现有技术使用额外的神经网络来检测输入图像源的这些噪声的存在。在本文中，我们展示了一种攻击策略，即通过流氓手段激活（例如，恶意软件，木马）可以通过增强AI硬件加速器级的对抗噪声来绕过这些现有对策。我们使用Conv2D功能软件内核的共同仿真和FuseSoC环境下的硬件的Verilog RTL模型的共同仿真，展示了关于几个深度学习模型的加速度普遍对抗噪声。

基于深度神经网络（DNN）的智能信息（IOT）系统已被广泛部署在现实世界中。然而，发现DNNS易受对抗性示例的影响，这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略，但效率问题仍未纠正。现有方法是计算地广泛或耗时，这在实践中不适用。在本文中，我们提出了一种称为攻击启发GaN（AI-GaN）的新框架，在有条件地产生对抗性实例。曾经接受过培训，可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN，黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验，AI-GaN实现了高攻击成功率，优于现有方法，并显着降低了生成时间。此外，首次，AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet，所有课程中的成功率约为90美元。

安全部署自动驾驶汽车（SDC）需要彻底模拟和现场测试。大多数测试技术考虑在仿真环境中的虚拟化SDC，而较少的努力旨在评估这些技术是否转移到并对物理现实世界的车辆有效。在本文中，我们在部署在物理小型车辆上的虚拟模拟对应物上时，我们利用驴车开源框架对SDC的测试测试。在我们的实证研究中，我们研究了虚拟和真实环境之间的行为和失败风险在大量损坏和对抗的环境中的可转移性。虽然大量测试结果在虚拟和物理环境之间进行转移，但我们还确定了有助于虚拟和物理世界之间的现实差距的关键缺点，威胁到应用于物理SDC时现有的测试解决方案的潜力。

Adversarial attacks hamper the decision-making ability of neural networks by perturbing the input signal. The addition of calculated small distortion to images, for instance, can deceive a well-trained image classification network. In this work, we propose a novel attack technique called Sparse Adversarial and Interpretable Attack Framework (SAIF). Specifically, we design imperceptible attacks that contain low-magnitude perturbations at a small number of pixels and leverage these sparse attacks to reveal the vulnerability of classifiers. We use the Frank-Wolfe (conditional gradient) algorithm to simultaneously optimize the attack perturbations for bounded magnitude and sparsity with $O(1/\sqrt{T})$ convergence. Empirical results show that SAIF computes highly imperceptible and interpretable adversarial examples, and outperforms state-of-the-art sparse attack methods on the ImageNet dataset.

现实世界的对抗例（通常以补丁形式）对安全关键计算机视觉任务中的深度学习模型（如在自动驾驶中的视觉感知）中使用深度学习模型构成严重威胁。本文涉及用不同类型的对抗性斑块攻击时，对语义分割模型的稳健性进行了广泛的评价，包括数字，模拟和物理。提出了一种新的损失功能，提高攻击者在诱导像素错误分类方面的能力。此外，提出了一种新的攻击策略，提高了在场景中放置补丁的转换方法的期望。最后，首先扩展用于检测对抗性补丁的最先进的方法以应对语义分割模型，然后改进以获得实时性能，并最终在现实世界场景中进行评估。实验结果表明，尽管具有数字和真实攻击的对抗效果，其影响通常在空间上限制在补丁周围的图像区域。这将打开关于实时语义分段模型的空间稳健性的进一步疑问。

大多数对抗攻击防御方法依赖于混淆渐变。这些方法在捍卫基于梯度的攻击方面是成功的;然而，它们容易被攻击绕过，该攻击不使用梯度或近似近似和使用校正梯度的攻击。不存在不存在诸如对抗培训等梯度的防御，但这些方法通常对诸如其幅度的攻击进行假设。我们提出了一种分类模型，该模型不会混淆梯度，并且通过施工而强大而不承担任何关于攻击的知识。我们的方法将分类作为优化问题，我们“反转”在不受干扰的自然图像上培训的条件发电机，以找到生成最接近查询图像的类。我们假设潜在的脆性抗逆性攻击源是前馈分类器的高度低维性质，其允许对手发现输入空间中的小扰动，从而导致输出空间的大变化。另一方面，生成模型通常是低到高维的映射。虽然该方法与防御GaN相关，但在我们的模型中使用条件生成模型和反演而不是前馈分类是临界差异。与Defense-GaN不同，它被证明生成了容易规避的混淆渐变，我们表明我们的方法不会混淆梯度。我们展示了我们的模型对黑箱攻击的极其强劲，并与自然训练的前馈分类器相比，对白盒攻击的鲁棒性提高。

在过去的十年中，深度学习急剧改变了传统的手工艺特征方式，具有强大的功能学习能力，从而极大地改善了传统任务。然而，最近已经证明了深层神经网络容易受到对抗性例子的影响，这种恶意样本由小型设计的噪音制作，误导了DNNs做出错误的决定，同时仍然对人类无法察觉。对抗性示例可以分为数字对抗攻击和物理对抗攻击。数字对抗攻击主要是在实验室环境中进行的，重点是改善对抗性攻击算法的性能。相比之下，物理对抗性攻击集中于攻击物理世界部署的DNN系统，这是由于复杂的物理环境（即亮度，遮挡等），这是一项更具挑战性的任务。尽管数字对抗和物理对抗性示例之间的差异很小，但物理对抗示例具有特定的设计，可以克服复杂的物理环境的效果。在本文中，我们回顾了基于DNN的计算机视觉任务任务中的物理对抗攻击的开发，包括图像识别任务，对象检测任务和语义细分。为了完整的算法演化，我们将简要介绍不涉及身体对抗性攻击的作品。我们首先提出一个分类方案，以总结当前的物理对抗攻击。然后讨论现有的物理对抗攻击的优势和缺点，并专注于用于维持对抗性的技术，当应用于物理环境中时。最后，我们指出要解决的当前身体对抗攻击的问题并提供有前途的研究方向。

深度学习大大提高了单眼深度估计（MDE）的性能，这是完全基于视觉的自主驾驶（AD）系统（例如特斯拉和丰田）的关键组成部分。在这项工作中，我们对基于学习的MDE产生了攻击。特别是，我们使用基于优化的方法系统地生成隐形的物理对象贴片来攻击深度估计。我们通过面向对象的对抗设计，敏感的区域定位和自然风格的伪装来平衡攻击的隐身和有效性。使用现实世界的驾驶场景，我们评估了对并发MDE模型的攻击和AD的代表下游任务（即3D对象检测）。实验结果表明，我们的方法可以为不同的目标对象和模型生成隐形，有效和健壮的对抗贴片，并在物体检测中以1/1/的斑点检测到超过6米的平均深度估计误差和93％的攻击成功率（ASR）车辆后部9个。具有实际车辆的三个不同驾驶路线上的现场测试表明，在连续视频帧中，我们导致超过6米的平均深度估计误差，并将对象检测率从90.70％降低到5.16％。

基于深度学习的图像识别系统已广泛部署在当今世界的移动设备上。然而，在最近的研究中，深入学习模型被证明易受对抗的例子。一种逆势例的一个变种，称为对抗性补丁，由于其强烈的攻击能力而引起了研究人员的注意。虽然对抗性补丁实现了高攻击成功率，但由于补丁和原始图像之间的视觉不一致，它们很容易被检测到。此外，它通常需要对文献中的对抗斑块产生的大量数据，这是计算昂贵且耗时的。为了解决这些挑战，我们提出一种方法来产生具有一个单一图像的不起眼的对抗性斑块。在我们的方法中，我们首先通过利用多尺度发生器和鉴别器来决定基于受害者模型的感知敏感性的补丁位置，然后以粗糙的方式产生对抗性斑块。鼓励修补程序与具有对抗性训练的背景图像一致，同时保留强烈的攻击能力。我们的方法显示了白盒设置中的强烈攻击能力以及通过对具有不同架构和培训方法的各种型号的广泛实验，通过广泛的实验进行黑盒设置的优异转移性。与其他对抗贴片相比，我们的对抗斑块具有最大忽略的风险，并且可以避免人类观察，这是由显着性图和用户评估结果的插图支持的人类观察。最后，我们表明我们的对抗性补丁可以应用于物理世界。

积极调查深度神经网络的对抗鲁棒性。然而，大多数现有的防御方法限于特定类型的对抗扰动。具体而言，它们通常不能同时为多次攻击类型提供抵抗力，即，它们缺乏多扰动鲁棒性。此外，与图像识别问题相比，视频识别模型的对抗鲁棒性相对未开发。虽然有几项研究提出了如何产生对抗性视频，但在文献中只发表了关于防御策略的少数关于防御策略的方法。在本文中，我们提出了用于视频识别的多种抗逆视频的第一战略之一。所提出的方法称为Multibn，使用具有基于学习的BN选择模块的多个独立批量归一化（BN）层对多个对冲视频类型进行对抗性训练。利用多个BN结构，每个BN Brach负责学习单个扰动类型的分布，从而提供更精确的分布估计。这种机制有利于处理多种扰动类型。 BN选择模块检测输入视频的攻击类型，并将其发送到相应的BN分支，使MultiBN全自动并允许端接训练。与目前的对抗训练方法相比，所提出的Multibn对不同甚至不可预见的对抗性视频类型具有更强的多扰动稳健性，从LP界攻击和物理上可实现的攻击范围。在不同的数据集和目标模型上保持真实。此外，我们进行了广泛的分析，以研究多BN结构的性质。

发现深度学习模型很容易受到对抗性示例的影响，因为在深度学习模型的输入中，对扰动的扰动可能引起错误的预测。对抗图像生成的大多数现有作品都试图为大多数模型实现攻击，而其中很少有人努力确保对抗性示例的感知质量。高质量的对手示例对许多应用很重要，尤其是保留隐私。在这项工作中，我们基于最小明显差异（MND）概念开发了一个框架，以生成对对抗性隐私的保留图像，这些图像与干净的图像具有最小的感知差异，但能够攻击深度学习模型。为了实现这一目标，首先提出了对抗性损失，以使深度学习模型成功地被对抗性图像攻击。然后，通过考虑摄动和扰动引起的结构和梯度变化的大小来开发感知质量的损失，该损失旨在为对抗性图像生成保持高知觉质量。据我们所知，这是基于MND概念以保存隐私的概念来探索质量保护的对抗图像生成的第一项工作。为了评估其在感知质量方面的性能，在这项工作中，通过建议的方法和几种锚方法测试了有关图像分类和面部识别的深层模型。广泛的实验结果表明，所提出的MND框架能够生成具有明显改善的性能指标（例如PSNR，SSIM和MOS）的对抗图像，而不是用锚定方法生成的对抗性图像。