我们已经调查了对抗性示例的新应用,即对地标识别系统的位置隐私保护。我们介绍了掩模引导的多模式投影梯度下降(MM-PGD),其中对抗示例在不同的深层模型上进行了培训。图像内容受到分析区域的特性,以识别最适合在对抗示例中混合的区域的性质。我们研究了两种区域识别策略:基于类激活图的MM-PGD,其中训练有素的深层模型的内部行为是针对的;和基于人视觉的MM-PGD,其中吸引人类注意力较少的地区的目标是针对的。Ploce365数据集的实验表明,这些策略在不需要大量图像操作的情况下可能有效地防御Black-Box Landmark识别系统。
translated by 谷歌翻译
发现深度学习模型很容易受到对抗性示例的影响,因为在深度学习模型的输入中,对扰动的扰动可能引起错误的预测。对抗图像生成的大多数现有作品都试图为大多数模型实现攻击,而其中很少有人努力确保对抗性示例的感知质量。高质量的对手示例对许多应用很重要,尤其是保留隐私。在这项工作中,我们基于最小明显差异(MND)概念开发了一个框架,以生成对对抗性隐私的保留图像,这些图像与干净的图像具有最小的感知差异,但能够攻击深度学习模型。为了实现这一目标,首先提出了对抗性损失,以使深度学习模型成功地被对抗性图像攻击。然后,通过考虑摄动和扰动引起的结构和梯度变化的大小来开发感知质量的损失,该损失旨在为对抗性图像生成保持高知觉质量。据我们所知,这是基于MND概念以保存隐私的概念来探索质量保护的对抗图像生成的第一项工作。为了评估其在感知质量方面的性能,在这项工作中,通过建议的方法和几种锚方法测试了有关图像分类和面部识别的深层模型。广泛的实验结果表明,所提出的MND框架能够生成具有明显改善的性能指标(例如PSNR,SSIM和MOS)的对抗图像,而不是用锚定方法生成的对抗性图像。
translated by 谷歌翻译
数十亿人每天都在社交媒体上分享他们的日常生活图像。但是,它们的生物识别信息(例如,指纹)可以很容易地从这些图像中偷走。从社交媒体上泄漏的指纹泄漏的威胁引起了人们对匿名分享图像的强烈渴望,同时保持图像质量,因为指纹充当了终生的个体生物识别密码。为了防止指纹泄漏,通过在图像上添加不可察觉的扰动来作为解决方案出现。但是,现有作品要么在黑盒可传输性方面弱,要么显得不自然。由视觉感知层次结构激励(即,高级感知利用模型共享的语义,这些语义在模型中很好地转移,而低水平的感知提取物则是原始刺激的,并且会引起高视觉敏感性的刺激),我们提出了一个层次的感知噪声,注射框架以解决上述问题。对于黑盒可传递性,我们在指纹方向场上注入保护性噪声,以扰动模型共享的高级语义(即指纹脊)。考虑到视觉自然性,我们通过正规化侧向基因核的响应来抑制低级局部对比度刺激。我们的Fingersafe是第一个在数字(最高94.12%)和现实的场景(Twitter和Facebook,高达68.75%)中提供可行的指纹保护的人。我们的代码可以在https://github.com/nlsde-safety-team/fingersafe上找到。
translated by 谷歌翻译
使用社交媒体网站和应用程序已经变得非常受欢迎,人们在这些网络上分享他们的照片。在这些网络上自动识别和标记人们的照片已经提出了隐私保存问题,用户寻求隐藏这些算法的方法。生成的对抗网络(GANS)被证明是非常强大的在高多样性中产生面部图像以及编辑面部图像。在本文中,我们提出了一种基于GAN的生成掩模引导的面部图像操纵(GMFIM)模型,以将无法察觉的编辑应用于输入面部图像以保护图像中的人的隐私。我们的模型由三个主要组件组成:a)面罩模块将面积从输入图像中切断并省略背景,b)用于操纵面部图像并隐藏身份的GaN的优化模块,并覆盖身份和c)用于组合输入图像的背景和操纵的去识别的面部图像的合并模块。在优化步骤的丢失功能中考虑了不同的标准,以产生与输入图像一样类似的高质量图像,同时不能通过AFR系统识别。不同数据集的实验结果表明,与最先进的方法相比,我们的模型可以实现对自动面部识别系统的更好的性能,并且它在大多数实验中捕获更高的攻击成功率。此外,我们提出的模型的产生图像具有最高的质量,更令人愉悦。
translated by 谷歌翻译
近年来政府和商业实体的面部识别(FR)技术的快速采用提出了对公民自由和隐私的担忧。作为回应,已经开发了一套广泛的所谓“反面部识别”(AFR)工具,以帮助用户避免不需要的面部识别。在过去几年中提出的一组AFR工具是广泛的,快速发展,需要退回措施,以考虑AFR系统的更广泛的设计空间和长期挑战。本文旨在填补该差距,并提供对AFR研究景观的第一次综合分析。使用FR系统的运营级作为起点,我们创建了一个系统框架,用于分析不同AFR方法的益处和权衡。然后,我们考虑到AFR工具面临的技术和社会挑战,并提出在该领域的未来研究方向。
translated by 谷歌翻译
基于深度学习的图像识别系统已广泛部署在当今世界的移动设备上。然而,在最近的研究中,深入学习模型被证明易受对抗的例子。一种逆势例的一个变种,称为对抗性补丁,由于其强烈的攻击能力而引起了研究人员的注意。虽然对抗性补丁实现了高攻击成功率,但由于补丁和原始图像之间的视觉不一致,它们很容易被检测到。此外,它通常需要对文献中的对抗斑块产生的大量数据,这是计算昂贵且耗时的。为了解决这些挑战,我们提出一种方法来产生具有一个单一图像的不起眼的对抗性斑块。在我们的方法中,我们首先通过利用多尺度发生器和鉴别器来决定基于受害者模型的感知敏感性的补丁位置,然后以粗糙的方式产生对抗性斑块。鼓励修补程序与具有对抗性训练的背景图像一致,同时保留强烈的攻击能力。我们的方法显示了白盒设置中的强烈攻击能力以及通过对具有不同架构和培训方法的各种型号的广泛实验,通过广泛的实验进行黑盒设置的优异转移性。与其他对抗贴片相比,我们的对抗斑块具有最大忽略的风险,并且可以避免人类观察,这是由显着性图和用户评估结果的插图支持的人类观察。最后,我们表明我们的对抗性补丁可以应用于物理世界。
translated by 谷歌翻译
作为一种常见的安全工具,已广泛应用可见的水印来保护数字图像的版权。但是,最近的作品表明,可见的水印可以通过DNN删除而不会损坏其宿主图像。这样的水印驱动技术对图像的所有权构成了巨大威胁。受到DNN在对抗扰动方面的脆弱性的启发,我们提出了一种新颖的防御机制,可以永久地通过对抗机器学习。从对手的角度来看,可以将盲水水印网络作为我们的目标模型提出。然后,我们实际上优化了对宿主图像上不可察觉的对抗扰动,以主动攻击水印网络,称为水印疫苗。具体而言,提出了两种类型的疫苗。破坏水印疫苗(DWV)在通过水印拆除网络后,诱导了与水印一起破坏宿主图像。相比之下,不可行的水印疫苗(IWV)以另一种方式试图保持水印不清除且仍然明显。广泛的实验证明了我们的DWV/IWV在防止水印去除方面的有效性,尤其是在各种水印去除网络上。
translated by 谷歌翻译
The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.
translated by 谷歌翻译
由于缺乏对AI模型的安全性和鲁棒性的信任,近年来,深度学习模型(尤其是针对安全至关重要的系统)中的对抗性攻击正在越来越受到关注。然而,更原始的对抗性攻击可能是身体上不可行的,或者需要一些难以访问的资源,例如训练数据,这激发了斑块攻击的出现。在这项调查中,我们提供了全面的概述,以涵盖现有的对抗贴片攻击技术,旨在帮助感兴趣的研究人员迅速赶上该领域的进展。我们还讨论了针对对抗贴片的检测和防御措施的现有技术,旨在帮助社区更好地了解该领域及其在现实世界中的应用。
translated by 谷歌翻译
脸部图像操纵方法,尽管计算机图形中具有许多有益的应用,但也可以通过影响个人的隐私或传播令人讨厌来提高担忧。在这项工作中,我们提出了一个主动的防御,以防止脸部操纵在第一处发生。为此,我们介绍了一种新的数据驱动方法,它产生嵌入在原始图像中的图像特定的扰动。关键的想法是,这些受保护的图像通过使操纵模型产生预定义的操纵目标(在我们的情况下均匀彩色的输出图像)而不是实际操作来防止面部操纵。与传统的逆势攻击相比,为单独优化每个图像的噪声模式,我们的广义模型只需要一个前向通过,从而运行幅度的序列更快并允许在图像处理堆栈中轻松集成,即使在智能手机等资源受限的设备上也可以轻松集成。此外,我们建议利用可分解的压缩近似,因此使产生的扰动鲁棒到常见的图像压缩。我们进一步表明,产生的扰动可以同时防止多种操纵方法。
translated by 谷歌翻译
The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.
translated by 谷歌翻译
Deep learning methods have gained increased attention in various applications due to their outstanding performance. For exploring how this high performance relates to the proper use of data artifacts and the accurate problem formulation of a given task, interpretation models have become a crucial component in developing deep learning-based systems. Interpretation models enable the understanding of the inner workings of deep learning models and offer a sense of security in detecting the misuse of artifacts in the input data. Similar to prediction models, interpretation models are also susceptible to adversarial inputs. This work introduces two attacks, AdvEdge and AdvEdge$^{+}$, that deceive both the target deep learning model and the coupled interpretation model. We assess the effectiveness of proposed attacks against two deep learning model architectures coupled with four interpretation models that represent different categories of interpretation models. Our experiments include the attack implementation using various attack frameworks. We also explore the potential countermeasures against such attacks. Our analysis shows the effectiveness of our attacks in terms of deceiving the deep learning models and their interpreters, and highlights insights to improve and circumvent the attacks.
translated by 谷歌翻译
语音很容易泄漏,例如在不同情况下手机记录的语音。语音中的私人内容可能通过语音增强技术恶意提取。语音增强技术与深度神经网络(DNN)一起迅速发展,但是对抗性示例可能会导致DNN失败。在这项工作中,我们提出了一种对抗性方法来降低语音增强系统。实验结果表明,生成的对抗性示例可以在原始示例中删除大多数内容信息,或者通过语音增强来替换目标语音内容。在增强的原始示例和增强的对抗示例识别结果之间的单词错误率(WER)可以达到89.0%。在增强的对抗性示例和目标示例之间的目标攻击的情况低至33.75%。对抗扰动可以将变更速率带到原始示例超过1.4430。这项工作可以防止恶意提取言语。
translated by 谷歌翻译
在过去的十年中,深度学习急剧改变了传统的手工艺特征方式,具有强大的功能学习能力,从而极大地改善了传统任务。然而,最近已经证明了深层神经网络容易受到对抗性例子的影响,这种恶意样本由小型设计的噪音制作,误导了DNNs做出错误的决定,同时仍然对人类无法察觉。对抗性示例可以分为数字对抗攻击和物理对抗攻击。数字对抗攻击主要是在实验室环境中进行的,重点是改善对抗性攻击算法的性能。相比之下,物理对抗性攻击集中于攻击物理世界部署的DNN系统,这是由于复杂的物理环境(即亮度,遮挡等),这是一项更具挑战性的任务。尽管数字对抗和物理对抗性示例之间的差异很小,但物理对抗示例具有特定的设计,可以克服复杂的物理环境的效果。在本文中,我们回顾了基于DNN的计算机视觉任务任务中的物理对抗攻击的开发,包括图像识别任务,对象检测任务和语义细分。为了完整的算法演化,我们将简要介绍不涉及身体对抗性攻击的作品。我们首先提出一个分类方案,以总结当前的物理对抗攻击。然后讨论现有的物理对抗攻击的优势和缺点,并专注于用于维持对抗性的技术,当应用于物理环境中时。最后,我们指出要解决的当前身体对抗攻击的问题并提供有前途的研究方向。
translated by 谷歌翻译
深入学习在许多任务中获得了越来越优秀的表现,例如自主驾驶和面部识别,并且也受到不同类型的攻击挑战。在图像中添加人类视力不可察觉的扰动可以误导神经网络模型以高信任获得错误的结果。对手示例是已经添加的图像,其具有特定的噪声来误导深神经网络模型,但是向图像添加噪声会破坏原始数据,使得在数字取证和其他字段中无用。为了防止非法或未授权访问图像数据,例如人面,并确保不对法律使用的情感可逆的逆势攻击技术是升高的。原始图像可以从其可逆的对抗性示例中恢复。然而,现有的可逆对抗例子生成策略均为传统的难以察觉的对抗性扰动设计。如何获得局部可见的对抗性扰动的可逆性?在本文中,我们提出了一种基于局部视觉逆势扰动产生可逆的对抗性实例的新方法。通过可逆数据隐藏技术将图像恢复所需的信息嵌入到超出对抗贴片之外的区域。为了降低图像失真并提高视觉质量,采用无损压缩和嵌入原理。 Imagenet DataSet上的实验表明,我们的方法可以在确保攻击性能的同时恢复无错误的原始图像。
translated by 谷歌翻译
深度神经网络已被证明容易受到对抗图像的影响。常规攻击努力争取严格限制扰动的不可分割的对抗图像。最近,研究人员已采取行动探索可区分但非奇异的对抗图像,并证明色彩转化攻击是有效的。在这项工作中,我们提出了对抗颜色过滤器(ADVCF),这是一种新颖的颜色转换攻击,在简单颜色滤波器的参数空间中通过梯度信息进行了优化。特别是,明确指定了我们的颜色滤波器空间,以便从攻击和防御角度来对对抗性色转换进行系统的鲁棒性分析。相反,由于缺乏这种明确的空间,现有的颜色转换攻击并不能为系统分析提供机会。我们通过用户研究进一步进行了对成功率和图像可接受性的不同颜色转化攻击之间的广泛比较。其他结果为在另外三个视觉任务中针对ADVCF的模型鲁棒性提供了有趣的新见解。我们还强调了ADVCF的人类解剖性,该advcf在实际使用方案中有希望,并显示出比对图像可接受性和效率的最新人解释的色彩转化攻击的优越性。
translated by 谷歌翻译
With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.
translated by 谷歌翻译
基于深的神经网络(DNNS)基于合成孔径雷达(SAR)自动靶标识别(ATR)系统已显示出非常容易受到故意设计但几乎无法察觉的对抗扰动的影响,但是当添加到靶向物体中时,DNN推断可能会偏差。在将DNN应用于高级SAR ATR应用时,这会导致严重的安全问题。因此,增强DNN的对抗性鲁棒性对于对现代现实世界中的SAR ATR系统实施DNN至关重要。本文旨在构建更健壮的DNN基于DNN的SAR ATR模型,探讨了SAR成像过程的领域知识,并提出了一种新型的散射模型引导的对抗攻击(SMGAA)算法,该算法可以以电磁散射响应的形式产生对抗性扰动(称为对抗散射器) )。提出的SMGAA由两个部分组成:1)参数散射模型和相应的成像方法以及2)基于自定义的基于梯度的优化算法。首先,我们介绍了有效的归因散射中心模型(ASCM)和一种通用成像方法,以描述SAR成像过程中典型几何结构的散射行为。通过进一步制定几种策略来考虑SAR目标图像的领域知识并放松贪婪的搜索程序,建议的方法不需要经过审慎的态度,但是可以有效地找到有效的ASCM参数来欺骗SAR分类器并促进SAR分类器并促进强大的模型训练。对MSTAR数据集的全面评估表明,SMGAA产生的对抗散射器对SAR处理链中的扰动和转换比当前研究的攻击更为强大,并且有效地构建了针对恶意散射器的防御模型。
translated by 谷歌翻译
基于深度神经网络(DNN)的智能信息(IOT)系统已被广泛部署在现实世界中。然而,发现DNNS易受对抗性示例的影响,这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略,但效率问题仍未纠正。现有方法是计算地广泛或耗时,这在实践中不适用。在本文中,我们提出了一种称为攻击启发GaN(AI-GaN)的新框架,在有条件地产生对抗性实例。曾经接受过培训,可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN,黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验,AI-GaN实现了高攻击成功率,优于现有方法,并显着降低了生成时间。此外,首次,AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet,所有课程中的成功率约为90美元。
translated by 谷歌翻译
本文审查了视觉隐私保护技术中最先进的技术,特别注意适用于主动和辅助生活领域的技术(aal)。介绍了一种新的分类,可以归类最先进的视觉隐私保护方法。突出显示了传教性的感知混淆方法,是分类学中的一个类别。这些是一类视觉隐私保存技术,特别是在考虑基于视频的AAL监控的情况时特别相关。还探讨了对机器学习模型的混淆。设计的不同隐私层面的高级分类方案与视觉隐私保存技术的拟议分类有关。最后,我们注意到现场存在的开放问题,并将读者介绍给一些令人兴奋的途径,以便在视觉隐私区域的未来研究。
translated by 谷歌翻译