深面识别（FR）在几个具有挑战性的数据集上取得了很高的准确性，并促进了成功的现实世界应用程序，甚至表现出对照明变化的高度鲁棒性，通常被认为是对FR系统的主要威胁。但是，在现实世界中，有限的面部数据集无法完全涵盖由不同的照明条件引起的照明变化。在本文中，我们从新角度（即对抗性攻击）研究对FR的照明的威胁，并确定一项新任务，即对对抗性的重视。鉴于面部图像，对抗性的重新获得旨在在欺骗最先进的深FR方法的同时产生自然重新的对应物。为此，我们首先提出了基于物理模型的对抗重新攻击（ARA），称为反照率基于反击的对抗性重新攻击（AQ-ARA）。它在物理照明模型和FR系统的指导下生成了自然的对抗光，并合成了对抗性重新重新确认的面部图像。此外，我们通过训练对抗性重新确定网络（ARNET）提出自动预测性的对抗重新攻击（AP-ARA），以根据不同的输入面自动以一步的方式自动预测对抗光，从而允许对效率敏感的应用。更重要的是，我们建议将上述数字攻击通过精确的重新确定设备将上述数字攻击转移到物理ARA（PHY-AARA）上，从而使估计的对抗照明条件在现实世界中可再现。我们在两个公共数据集上验证了三种最先进的深FR方法（即面部，街道和符号）的方法。广泛而有见地的结果表明，我们的工作可以产生逼真的对抗性重新贴心的面部图像，轻松地欺骗了fr，从而揭示了特定的光方向和优势的威胁。

To assess the vulnerability of deep learning in the physical world, recent works introduce adversarial patches and apply them on different tasks. In this paper, we propose another kind of adversarial patch: the Meaningful Adversarial Sticker, a physically feasible and stealthy attack method by using real stickers existing in our life. Unlike the previous adversarial patches by designing perturbations, our method manipulates the sticker's pasting position and rotation angle on the objects to perform physical attacks. Because the position and rotation angle are less affected by the printing loss and color distortion, adversarial stickers can keep good attacking performance in the physical world. Besides, to make adversarial stickers more practical in real scenes, we conduct attacks in the black-box setting with the limited information rather than the white-box setting with all the details of threat models. To effectively solve for the sticker's parameters, we design the Region based Heuristic Differential Evolution Algorithm, which utilizes the new-found regional aggregation of effective solutions and the adaptive adjustment strategy of the evaluation criteria. Our method is comprehensively verified in the face recognition and then extended to the image retrieval and traffic sign recognition. Extensive experiments show the proposed method is effective and efficient in complex physical conditions and has a good generalization for different tasks.

Recent state-of-the-art face recognition (FR) approaches have achieved impressive performance, yet unconstrained face recognition still represents an open problem. Face image quality assessment (FIQA) approaches aim to estimate the quality of the input samples that can help provide information on the confidence of the recognition decision and eventually lead to improved results in challenging scenarios. While much progress has been made in face image quality assessment in recent years, computing reliable quality scores for diverse facial images and FR models remains challenging. In this paper, we propose a novel approach to face image quality assessment, called FaceQAN, that is based on adversarial examples and relies on the analysis of adversarial noise which can be calculated with any FR model learned by using some form of gradient descent. As such, the proposed approach is the first to link image quality to adversarial attacks. Comprehensive (cross-model as well as model-specific) experiments are conducted with four benchmark datasets, i.e., LFW, CFP-FP, XQLFW and IJB-C, four FR models, i.e., CosFace, ArcFace, CurricularFace and ElasticFace, and in comparison to seven state-of-the-art FIQA methods to demonstrate the performance of FaceQAN. Experimental results show that FaceQAN achieves competitive results, while exhibiting several desirable characteristics.

共同突出的对象检测（Cosod）最近实现了重大进展，并在检索相关任务中发挥了关键作用。但是，它不可避免地构成了完全新的安全问题，即，高度个人和敏感的内容可能会通过强大的COSOD方法提取。在本文中，我们从对抗性攻击的角度解决了这个问题，并确定了一种小说任务：对抗的共同显着性攻击。特别地，给定从包含某种常见和突出对象的一组图像中选择的图像，我们的目标是生成可能误导Cosod方法以预测不正确的共突变区域的侵略性版本。注意，与分类的一般白盒对抗攻击相比，这项新任务面临两种额外的挑战：（1）由于本集团中图像的不同外观，成功率低; （2）Cosod方法的低可转换性由于Cosod管道之间的差异相当差异。为了解决这些挑战，我们提出了第一个黑匣子联合对抗的暴露和噪声攻击（JADENA），在那里我们共同和本地调整图像的曝光和添加剂扰动，根据新设计的高特征级对比度敏感损失功能。我们的方法，没有关于最先进的Cosod方法的任何信息，导致各种共同显着性检测数据集的显着性能下降，并使共同突出的物体无法检测到。这在适当地确保目前在互联网上共享的大量个人照片中可以具有很强的实际效益。此外，我们的方法是用于评估Cosod方法的稳健性的指标的潜力。

基于深度学习的面部识别（FR）模型在过去几年中表现出最先进的性能，即使在佩戴防护医疗面罩时，面膜在Covid-19大流行期间变得普遍。鉴于这些模型的出色表现，机器学习研究界已经表明对挑战其稳健性越来越令人兴趣。最初，研究人员在数字域中呈现了对抗性攻击，后来将攻击转移到物理领域。然而，在许多情况下，物理领域的攻击是显眼的，例如，需要在脸上放置贴纸，因此可能会在真实环境中引起怀疑（例如，机场）。在本文中，我们提出了对伪装在面部面罩的最先进的FR模型的身体对抗性掩模，以仔细制作的图案的形式施加在面部面具上。在我们的实验中，我们检查了我们的对抗掩码对广泛的FR模型架构和数据集的可转移性。此外，我们通过在织物医疗面罩上印刷对抗性模式来验证了我们的对抗性面膜效果，使FR系统仅识别穿面膜的3.34％的参与者（相比最低83.34％其他评估的面具）。

Adversarial patch is an important form of real-world adversarial attack that brings serious risks to the robustness of deep neural networks. Previous methods generate adversarial patches by either optimizing their perturbation values while fixing the pasting position or manipulating the position while fixing the patch's content. This reveals that the positions and perturbations are both important to the adversarial attack. For that, in this paper, we propose a novel method to simultaneously optimize the position and perturbation for an adversarial patch, and thus obtain a high attack success rate in the black-box setting. Technically, we regard the patch's position, the pre-designed hyper-parameters to determine the patch's perturbations as the variables, and utilize the reinforcement learning framework to simultaneously solve for the optimal solution based on the rewards obtained from the target model with a small number of queries. Extensive experiments are conducted on the Face Recognition (FR) task, and results on four representative FR models show that our method can significantly improve the attack success rate and query efficiency. Besides, experiments on the commercial FR service and physical environments confirm its practical application value. We also extend our method to the traffic sign recognition task to verify its generalization ability.

近年来，由于深度神经网络的发展，面部识别取得了很大的进步，但最近发现深神经网络容易受到对抗性例子的影响。这意味着基于深神经网络的面部识别模型或系统也容易受到对抗例子的影响。但是，现有的攻击面部识别模型或具有对抗性示例的系统可以有效地完成白色盒子攻击，而不是黑盒模仿攻击，物理攻击或方便的攻击，尤其是在商业面部识别系统上。在本文中，我们提出了一种攻击面部识别模型或称为RSTAM的系统的新方法，该方法可以使用由移动和紧凑型打印机打印的对抗性面膜进行有效的黑盒模仿攻击。首先，RSTAM通过我们提出的随机相似性转换策略来增强对抗性面罩的可传递性。此外，我们提出了一种随机的元优化策略，以结合几种预训练的面部模型来产生更一般的对抗性掩模。最后，我们在Celeba-HQ，LFW，化妆转移（MT）和CASIA-FACEV5数据集上进行实验。还对攻击的性能进行了最新的商业面部识别系统的评估：Face ++，Baidu，Aliyun，Tencent和Microsoft。广泛的实验表明，RSTAM可以有效地对面部识别模型或系统进行黑盒模仿攻击。

当系统的全面了解时然而，这种技术在灰盒设置中行动不成功，攻击者面部模板未知。在这项工作中，我们提出了一种具有新开发的目标函数的相似性的灰度逆势攻击（SGADV）技术。 SGAdv利用不同的评分来产生优化的对抗性实例，即基于相似性的对抗性攻击。这种技术适用于白盒和灰度箱攻击，针对使用不同分数确定真实或调用用户的身份验证系统。为了验证SGAdv的有效性，我们对LFW，Celeba和Celeba-HQ的面部数据集进行了广泛的实验，反对白盒和灰度箱设置的面部和洞察面的深脸识别模型。结果表明，所提出的方法显着优于灰色盒设置中的现有的对抗性攻击技术。因此，我们总结了开发对抗性示例的相似性基础方法可以令人满意地迎合去认证的灰度箱攻击场景。

Although Deep Neural Networks (DNNs) have achieved impressive results in computer vision, their exposed vulnerability to adversarial attacks remains a serious concern. A series of works has shown that by adding elaborate perturbations to images, DNNs could have catastrophic degradation in performance metrics. And this phenomenon does not only exist in the digital space but also in the physical space. Therefore, estimating the security of these DNNs-based systems is critical for safely deploying them in the real world, especially for security-critical applications, e.g., autonomous cars, video surveillance, and medical diagnosis. In this paper, we focus on physical adversarial attacks and provide a comprehensive survey of over 150 existing papers. We first clarify the concept of the physical adversarial attack and analyze its characteristics. Then, we define the adversarial medium, essential to perform attacks in the physical world. Next, we present the physical adversarial attack methods in task order: classification, detection, and re-identification, and introduce their performance in solving the trilemma: effectiveness, stealthiness, and robustness. In the end, we discuss the current challenges and potential future directions.

深度神经网络的面部识别模型已显示出容易受到对抗例子的影响。但是，过去的许多攻击都要求对手使用梯度下降来解决输入依赖性优化问题，这使该攻击实时不切实际。这些对抗性示例也与攻击模型紧密耦合，并且在转移到不同模型方面并不那么成功。在这项工作中，我们提出了Reface，这是对基于对抗性转换网络（ATN）的面部识别模型的实时，高度转移的攻击。 ATNS模型对抗性示例生成是馈送前向神经网络。我们发现，纯U-NET ATN的白盒攻击成功率大大低于基于梯度的攻击，例如大型面部识别数据集中的PGD。因此，我们为ATN提出了一个新的架构，该架构缩小了这一差距，同时维持PGD的10000倍加速。此外，我们发现在给定的扰动幅度下，与PGD相比，我们的ATN对抗扰动在转移到新的面部识别模型方面更有效。 Reface攻击可以在转移攻击环境中成功欺骗商业面部识别服务，并将面部识别精度从AWS SearchFaces API和Azure Face验证准确性从91％降低到50.1％，从而将面部识别精度从82％降低到16.4％。

在过去的十年中，深度学习急剧改变了传统的手工艺特征方式，具有强大的功能学习能力，从而极大地改善了传统任务。然而，最近已经证明了深层神经网络容易受到对抗性例子的影响，这种恶意样本由小型设计的噪音制作，误导了DNNs做出错误的决定，同时仍然对人类无法察觉。对抗性示例可以分为数字对抗攻击和物理对抗攻击。数字对抗攻击主要是在实验室环境中进行的，重点是改善对抗性攻击算法的性能。相比之下，物理对抗性攻击集中于攻击物理世界部署的DNN系统，这是由于复杂的物理环境（即亮度，遮挡等），这是一项更具挑战性的任务。尽管数字对抗和物理对抗性示例之间的差异很小，但物理对抗示例具有特定的设计，可以克服复杂的物理环境的效果。在本文中，我们回顾了基于DNN的计算机视觉任务任务中的物理对抗攻击的开发，包括图像识别任务，对象检测任务和语义细分。为了完整的算法演化，我们将简要介绍不涉及身体对抗性攻击的作品。我们首先提出一个分类方案，以总结当前的物理对抗攻击。然后讨论现有的物理对抗攻击的优势和缺点，并专注于用于维持对抗性的技术，当应用于物理环境中时。最后，我们指出要解决的当前身体对抗攻击的问题并提供有前途的研究方向。

面部地标检测是具有许多重要应用的非常基本和重要的愿景任务。在实践中，面部地标检测可能受到大量自然降级的影响。最常见和最重要的降解之一是光源阻塞引起的阴影。虽然已经提出了许多先进的阴影去除方法来恢复近年来的图像质量，但它们对面部地标检测的影响并不具备很好的研究。例如，它仍然不清楚阴影去除是否可以增强面部地标检测的鲁棒性，以与不同的阴影模式。在这项工作中，为了第一次尝试，我们构建了一个新颖的基准，以将两个独立但相关任务联系起来（即阴影去除和面部地标检测）。特别是，所提出的基准覆盖具有不同强度，尺寸，形状和位置的不同面孔阴影。此外，对于对面部地标检测的挤出硬影模式，我们提出了一种新的方法（即，普发的阴影攻击），这使我们能够构建基准的具有挑战性的综合分析。通过构造的基准，我们对三个最先进的阴影清除方法和三个地标检测器进行了广泛的分析。这项工作的观察激励我们设计一种新颖的检测感知阴影拆除框架，使暗影去除以实现更高的恢复质量并增强部署的面部地标检测器的阴影稳健性。

The security of artificial intelligence (AI) is an important research area towards safe, reliable, and trustworthy AI systems. To accelerate the research on AI security, the Artificial Intelligence Security Competition (AISC) was organized by the Zhongguancun Laboratory, China Industrial Control Systems Cyber Emergency Response Team, Institute for Artificial Intelligence, Tsinghua University, and RealAI as part of the Zhongguancun International Frontier Technology Innovation Competition (https://www.zgc-aisc.com/en). The competition consists of three tracks, including Deepfake Security Competition, Autonomous Driving Security Competition, and Face Recognition Security Competition. This report will introduce the competition rules of these three tracks and the solutions of top-ranking teams in each track.

发现深度学习模型很容易受到对抗性示例的影响，因为在深度学习模型的输入中，对扰动的扰动可能引起错误的预测。对抗图像生成的大多数现有作品都试图为大多数模型实现攻击，而其中很少有人努力确保对抗性示例的感知质量。高质量的对手示例对许多应用很重要，尤其是保留隐私。在这项工作中，我们基于最小明显差异（MND）概念开发了一个框架，以生成对对抗性隐私的保留图像，这些图像与干净的图像具有最小的感知差异，但能够攻击深度学习模型。为了实现这一目标，首先提出了对抗性损失，以使深度学习模型成功地被对抗性图像攻击。然后，通过考虑摄动和扰动引起的结构和梯度变化的大小来开发感知质量的损失，该损失旨在为对抗性图像生成保持高知觉质量。据我们所知，这是基于MND概念以保存隐私的概念来探索质量保护的对抗图像生成的第一项工作。为了评估其在感知质量方面的性能，在这项工作中，通过建议的方法和几种锚方法测试了有关图像分类和面部识别的深层模型。广泛的实验结果表明，所提出的MND框架能够生成具有明显改善的性能指标（例如PSNR，SSIM和MOS）的对抗图像，而不是用锚定方法生成的对抗性图像。

深度神经网络容易受到来自对抗性投入的攻击，并且最近，特洛伊木马误解或劫持模型的决定。我们通过探索有界抗逆性示例空间和生成的对抗网络内的自然输入空间来揭示有界面的对抗性实例 - 通用自然主义侵害贴片的兴趣类 - 我们呼叫TNT。现在，一个对手可以用一个自然主义的补丁来手臂自己，不太恶意，身体上可实现，高效 - 实现高攻击成功率和普遍性。 TNT是普遍的，因为在场景中的TNT中捕获的任何输入图像都将：i）误导网络（未确定的攻击）;或ii）迫使网络进行恶意决定（有针对性的攻击）。现在，有趣的是，一个对抗性补丁攻击者有可能发挥更大的控制水平 - 选择一个独立，自然的贴片的能力，与被限制为嘈杂的扰动的触发器 - 到目前为止只有可能与特洛伊木马攻击方法有可能干扰模型建设过程，以嵌入风险发现的后门;但是，仍然意识到在物理世界中部署的补丁。通过对大型视觉分类任务的广泛实验，想象成在其整个验证集50,000张图像中进行评估，我们展示了TNT的现实威胁和攻击的稳健性。我们展示了攻击的概括，以创建比现有最先进的方法实现更高攻击成功率的补丁。我们的结果表明，攻击对不同的视觉分类任务（CIFAR-10，GTSRB，PUBFIG）和多个最先进的深神经网络，如WieredEnet50，Inception-V3和VGG-16。

对抗性示例是故意生成用于欺骗深层神经网络的输入。最近的研究提出了不受规范限制的不受限制的对抗攻击。但是，以前的不受限制攻击方法仍然存在限制在黑框设置中欺骗现实世界应用程序的局限性。在本文中，我们提出了一种新的方法，用于使用GAN生成不受限制的对抗示例，其中攻击者只能访问分类模型的前1个最终决定。我们的潜在方法有效地利用了潜在空间中基于决策的攻击的优势，并成功地操纵了潜在的向量来欺骗分类模型。通过广泛的实验，我们证明我们提出的方法有效地评估了在黑框设置中查询有限的分类模型的鲁棒性。首先，我们证明我们的目标攻击方法是有效的，可以为包含307个身份的面部身份识别模型产生不受限制的对抗示例。然后，我们证明所提出的方法还可以成功攻击现实世界的名人识别服务。

基于深度学习的面部识别模型容易受到对抗攻击的影响。为了遏制这些攻击，大多数防御方法旨在提高对抗性扰动的识别模型的鲁棒性。但是，这些方法的概括能力非常有限。实际上，它们仍然容易受到看不见的对抗攻击。深度学习模型对于一般的扰动（例如高斯噪音）相当强大。一种直接的方法是使对抗性扰动失活，以便可以轻松地将它们作为一般扰动处理。在本文中，提出了一种称为扰动失活（PIN）的插件对抗防御方法，以使对抗防御的对抗性扰动灭活。我们发现，不同子空间中的扰动对识别模型有不同的影响。应该有一个称为免疫空间的子空间，其中扰动对识别模型的不利影响要比其他子空间更少。因此，我们的方法估计了免疫空间，并通过将它们限制在此子空间中来使对抗性扰动失活。可以将所提出的方法推广到看不见的对抗扰动，因为它不依赖于特定类型的对抗攻击方法。这种方法不仅优于几种最先进的对抗防御方法，而且还通过详尽的实验证明了卓越的概括能力。此外，提出的方法可以成功地应用于四个商业API，而无需额外的培训，这表明可以轻松地将其推广到现有的面部识别系统。源代码可从https://github.com/renmin1991/perturbation in-inactivate获得

基于转移的对抗攻击可以评估黑框设置中的模型鲁棒性。几种方法表现出令人印象深刻的非目标转移性，但是，有效地产生有针对性的可转移性仍然具有挑战性。为此，我们开发了一个简单而有效的框架，以应用层次生成网络制作有针对性的基于转移的对抗性示例。特别是，我们有助于适应多级目标攻击的摊销设计。对Imagenet的广泛实验表明，我们的方法通过与现有方法相比，大幅度的余量提高了目标黑盒攻击的成功率 - 它的平均成功率为29.1 \％，而仅基于一个替代白盒的六种不同模型模型，大大优于最先进的基于梯度的攻击方法。此外，与基于梯度的方法相比，所提出的方法超出了数量级的效率也更有效。

长期以来，3D面部识别因其抵抗当前的物理对抗攻击（例如对抗斑块）而被认为是安全的。但是，本文表明，3D面部识别系统很容易受到攻击，从而导致逃避和模仿攻击。我们是第一个针对3D面部识别系统（称为结构化光成像攻击（SLIA）的）提出可实现的攻击的人，该系统利用了基于结构化的3D扫描设备的弱点。 Slia在结构化的光成像系统中利用投影仪来创建对抗性照明，以污染重建的点云。首先，我们提出了一个3D变换不变的损耗函数（3D-TI），以生成对逆动力的对抗扰动，这对头部运动更强大。然后，我们将3D成像过程集成到攻击优化中，从而最大程度地减少了流条纹模式的总像素转移。我们意识到对现实世界3D面部识别系统的躲避和模仿攻击。与倒角和基于倒角+KNN的方法相比，我们的方法对预计模式的修改需要较少，并且达到0.47（模拟）和0.89（躲避）的平均攻击成功率。本文揭示了当前结构化的光成像技术的不安全感，并阐明了设计安全的3D面部识别身份验证系统。

实际上，面部识别应用由两个主要步骤组成：面部检测和特征提取。在唯一的基于视觉的解决方案中，第一步通过摄入相机流来生成单个身份的多个检测。边缘设备的实用方法应优先考虑这些身份根据其识别的一致性。从这个角度来看，我们通过将单层附加到面部标志性检测网络来提出面部质量得分回归。几乎没有额外的成本，可以通过训练单层以通过增强等监视来回归识别得分来获得面部质量得分。我们通过所有面部检测管道步骤，包括检测，跟踪和对齐方式，在Edge GPU上实施了建议的方法。全面的实验表明，通过与SOTA面部质量回归模型进行比较，在不同的数据集和现实生活中，提出的方法的效率。