网络体系结构搜索(NAS),尤其是可区分的体系结构搜索(DARTS)方法,已经显示出在特定感兴趣的特定数据集中学习出色的模型体系结构的强大力量。与使用固定的数据集相反,在这项工作中,我们关注NAS的不同但重要的方案:如何完善部署的网络模型体系结构,以增强其鲁棒性,并通过一些收集和错误分类的示例的指导来增强其鲁棒性,这些示例被某些降低了现实世界中的未知损坏具有特定的模式(例如噪声,模糊等)。为此,我们首先进行了一项实证研究,以验证模型体系结构绝对与腐败模式有关。令人惊讶的是,通过仅添加一些损坏和错误分类的示例(例如,$ 10^3 $示例)到清洁培训数据集(例如$ 5.0 \ times 10^4 $示例)中,我们可以完善模型体系结构并显着增强鲁棒性。为了使其更加实用,应仔细研究关键问题,即如何为有效的NAS指导选择适当的失败示例。然后,我们提出了一个新颖的核心失效指导飞镖,该飞镖嵌入了K-Center-Greedy算法的飞镖,以选择合适的损坏故障示例以完善模型体系结构。我们使用我们的方法在清洁和15个腐败上使用飞镖精制的DNN,并在四个特定的现实世界腐败的指导下进行了指导。与最先进的NAS以及基于数据启发的增强方法相比,我们的最终方法可以在损坏的数据集和原始清洁数据集上获得更高的精度。在某些腐败模式上,我们可以达到超过45%的绝对准确性提高。
translated by 谷歌翻译
派生是一个重要而基本的计算机视觉任务,旨在消除在下雨天捕获的图像或视频中的雨条纹和累积。现有的派威方法通常会使雨水模型的启发式假设,这迫使它们采用复杂的优化或迭代细化以获得高回收质量。然而,这导致耗时的方法,并影响解决从假设偏离的雨水模式的有效性。在本文中,我们通过在没有复杂的雨水模型假设的情况下,通过在没有复杂的雨水模型假设的情况下制定污染作为预测滤波问题的简单而有效的污染方法。具体地,我们识别通过深网络自适应地预测适当的核的空间变型预测滤波(SPFILT以过滤不同的各个像素。由于滤波可以通过加速卷积来实现,因此我们的方法可以显着效率。我们进一步提出了eFderain +,其中包含三个主要贡献来解决残留的雨迹,多尺度和多样化的雨水模式而不会损害效率。首先,我们提出了不确定感知的级联预测滤波(UC-PFILT),其可以通过预测的内核来识别重建清洁像素的困难,并有效地移除残留的雨水迹线。其次,我们设计重量共享多尺度扩张过滤(WS-MS-DFILT),以处理多尺度雨条纹,而不会损害效率。第三,消除各种雨水模式的差距,我们提出了一种新颖的数据增强方法(即Rainmix)来培养我们的深层模型。通过对不同变体的复杂分析的所有贡献相结合,我们的最终方法在恢复质量和速度方面优于四个单像辐照数据集和一个视频派威数据集的基线方法。
translated by 谷歌翻译
面部地标检测是具有许多重要应用的非常基本和重要的愿景任务。在实践中,面部地标检测可能受到大量自然降级的影响。最常见和最重要的降解之一是光源阻塞引起的阴影。虽然已经提出了许多先进的阴影去除方法来恢复近年来的图像质量,但它们对面部地标检测的影响并不具备很好的研究。例如,它仍然不清楚阴影去除是否可以增强面部地标检测的鲁棒性,以与不同的阴影模式。在这项工作中,为了第一次尝试,我们构建了一个新颖的基准,以将两个独立但相关任务联系起来(即阴影去除和面部地标检测)。特别是,所提出的基准覆盖具有不同强度,尺寸,形状和位置的不同面孔阴影。此外,对于对面部地标检测的挤出硬影模式,我们提出了一种新的方法(即,普发的阴影攻击),这使我们能够构建基准的具有挑战性的综合分析。通过构造的基准,我们对三个最先进的阴影清除方法和三个地标检测器进行了广泛的分析。这项工作的观察激励我们设计一种新颖的检测感知阴影拆除框架,使暗影去除以实现更高的恢复质量并增强部署的面部地标检测器的阴影稳健性。
translated by 谷歌翻译
在过去的几年里,深度神经网络(DNN)取得了巨大的成功,并且在许多应用领域中不断应用。然而,在工业任务的实际部署期间,由于超容易的原因,发现DNN被发现是错误的,缺乏在实际使用过程中对现实世界腐败的鲁棒性。为了解决这些挑战,通过通过在神经级别的再试,微调或直接重量固定来通过更新权重(即,网络参数)来修复实际操作环境下的近期尝试。在这项工作中,作为第一次尝试,我们通过共同优化架构和重量,以更高(即,块)级别来修复DNN。我们首先履行实证研究,以调查整个网络级和层次修复的限制,这激励我们探索块水平的DNN修复的新修复方向。为此,我们首先提出对弱势群体定位的对抗侵犯块定位的频谱分析,其在前向和后向过程中考虑块中的神经元“状态和权重”梯度,这使得即使在几个示例下也能够修复更准确的候选块定位。然后,我们进一步提出了面向架构的基于搜索的修复,该修复将目标块放宽到更高的深度特征级别的连续修复搜索空间。通过联合优化该空间中的架构和权重,我们可以识别更好的块架构。我们实施我们提出的修复技术作为一个名为ArchRepair的工具,并进行广泛的实验以验证提出的方法。结果表明,我们的方法不仅可以修复,还可以提高准确性和稳健性,优于最先进的DNN修复技术。
translated by 谷歌翻译
Bokeh效果是一种自然浅的景观现象,使焦点部分陷入摄影。为了追求美学上令人愉悦的照片,人们通常认为散景效应是照片不可或缺的一部分。由于其自然的优势和普遍性,以及许多视觉识别任务的事实可能已经受到“天然散景”现象的负面影响,在这项工作中,我们系统地研究了从新角度,即对抗性散景的散景效应攻击(Advbokeh)旨在将计算的欺骗性信息嵌入到Bokeh生成中,并产生自然的对抗性示例而没有任何人明显的噪声伪影。为此,我们首先提出了一种深度引导的Bokeh合成网络(Debsnet),其能够灵活地合成,重新分析和调整图像的散景水平,具有一级训练程序。 Debsnet允许我们利用Bokeh生成过程并攻击基于后续视觉任务生成现实Bokeh(即,对接地调整深度映射)所需的深度图。为了进一步提高对抗散景的真实性,我们提出了深度引导的梯度基攻击来规范梯度。我们在流行的对手图像分类数据集中验证所提出的方法,即Neurips-2017开发,并表明所提出的方法可以通过高成功率和高图像质量来穿透四个最先进的(SOTA)图像分类网络,即Reset50,VGG,DenSenet和MobileNetv2。通过Advbokeh获得的对抗实例也在黑匣子环境下表现出高水平的可转移性。此外,来自AdvboKeh的离前事实产生的散焦模糊图像实际上可以大写以增强SOTA Defocus Deblurring系统的性能,即IFAN。
translated by 谷歌翻译
深面识别(FR)在几个具有挑战性的数据集上取得了很高的准确性,并促进了成功的现实世界应用程序,甚至表现出对照明变化的高度鲁棒性,通常被认为是对FR系统的主要威胁。但是,在现实世界中,有限的面部数据集无法完全涵盖由不同的照明条件引起的照明变化。在本文中,我们从新角度(即对抗性攻击)研究对FR的照明的威胁,并确定一项新任务,即对对抗性的重视。鉴于面部图像,对抗性的重新获得旨在在欺骗最先进的深FR方法的同时产生自然重新的对应物。为此,我们首先提出了基于物理模型的对抗重新攻击(ARA),称为反照率基于反击的对抗性重新攻击(AQ-ARA)。它在物理照明模型和FR系统的指导下生成了自然的对抗光,并合成了对抗性重新重新确认的面部图像。此外,我们通过训练对抗性重新确定网络(ARNET)提出自动预测性的对抗重新攻击(AP-ARA),以根据不同的输入面自动以一步的方式自动预测对抗光,从而允许对效率敏感的应用。更重要的是,我们建议将上述数字攻击通过精确的重新确定设备将上述数字攻击转移到物理ARA(PHY-AARA)上,从而使估计的对抗照明条件在现实世界中可再现。我们在两个公共数据集上验证了三种最先进的深FR方法(即面部,街道和符号)的方法。广泛而有见地的结果表明,我们的工作可以产生逼真的对抗性重新贴心的面部图像,轻松地欺骗了fr,从而揭示了特定的光方向和优势的威胁。
translated by 谷歌翻译
Adversarial training (AT) is one of the most effective ways for improving the robustness of deep convolution neural networks (CNNs). Just like common network training, the effectiveness of AT relies on the design of basic network components. In this paper, we conduct an in-depth study on the role of the basic ReLU activation component in AT for robust CNNs. We find that the spatially-shared and input-independent properties of ReLU activation make CNNs less robust to white-box adversarial attacks with either standard or adversarial training. To address this problem, we extend ReLU to a novel Sparta activation function (Spatially attentive and Adversarially Robust Activation), which enables CNNs to achieve both higher robustness, i.e., lower error rate on adversarial examples, and higher accuracy, i.e., lower error rate on clean examples, than the existing state-of-the-art (SOTA) activation functions. We further study the relationship between Sparta and the SOTA activation functions, providing more insights about the advantages of our method. With comprehensive experiments, we also find that the proposed method exhibits superior cross-CNN and cross-dataset transferability. For the former, the adversarially trained Sparta function for one CNN (e.g., ResNet-18) can be fixed and directly used to train another adversarially robust CNN (e.g., ResNet-34). For the latter, the Sparta function trained on one dataset (e.g., CIFAR-10) can be employed to train adversarially robust CNNs on another dataset (e.g., SVHN). In both cases, Sparta leads to CNNs with higher robustness than the vanilla ReLU, verifying the flexibility and versatility of the proposed method.
translated by 谷歌翻译
通过深入的生成方法,被称为DeepFake的面部外观的创造或操纵,取得了重大进展,促进了广泛的良性和恶意应用,例如,通过伪造着名人士的电影和错误信息产生的视觉效应。这种新技术的邪恶方面提出了另一个流行的研究,即DeepFake检测,旨在识别真实的伪脸。随着社区中德师相关研究的快速发展,双方都形成了战场的关系,推动了彼此的改善和鼓舞人心的新方向,例如,探测DeepFake检测。尽管如此,由于相关出版物的快速增长,这些战场和新方向的概述并忽视了最近的调查,这限制了对趋势和未来作品的深入了解。为了填补这一差距,在本文中,我们提供了全面的概述,并详细分析了对DeepFake发电,DeepFake检测以及DeepFake检测的避难的研究工作,具有超过310篇研究论文仔细调查。我们介绍了各种DeepFake发电方法的分类和各种Deepfake检测方法的分类,更重要的是,我们在两方之间展示了两方面的战场,对手(Deep Fate发电)和防守者(DeepFake检测)之间进行了详细的相互作用。战场允许新的景观进入DeepFake Research的最新景观,并可以为研究挑战和机遇以及研究趋势和未来方向提供有价值的分析。我们还精致地设计互动图(http://www.xujuefe.com/dfsurvey),以便研究人员探索流行的Deepfake发生器或探测器的兴趣。
translated by 谷歌翻译
共同突出的对象检测(Cosod)最近实现了重大进展,并在检索相关任务中发挥了关键作用。但是,它不可避免地构成了完全新的安全问题,即,高度个人和敏感的内容可能会通过强大的COSOD方法提取。在本文中,我们从对抗性攻击的角度解决了这个问题,并确定了一种小说任务:对抗的共同显着性攻击。特别地,给定从包含某种常见和突出对象的一组图像中选择的图像,我们的目标是生成可能误导Cosod方法以预测不正确的共突变区域的侵略性版本。注意,与分类的一般白盒对抗攻击相比,这项新任务面临两种额外的挑战:(1)由于本集团中图像的不同外观,成功率低; (2)Cosod方法的低可转换性由于Cosod管道之间的差异相当差异。为了解决这些挑战,我们提出了第一个黑匣子联合对抗的暴露和噪声攻击(JADENA),在那里我们共同和本地调整图像的曝光和添加剂扰动,根据新设计的高特征级对比度敏感损失功能。我们的方法,没有关于最先进的Cosod方法的任何信息,导致各种共同显着性检测数据集的显着性能下降,并使共同突出的物体无法检测到。这在适当地确保目前在互联网上共享的大量个人照片中可以具有很强的实际效益。此外,我们的方法是用于评估Cosod方法的稳健性的指标的潜力。
translated by 谷歌翻译
目前的高保真发电和高精度检测DeepFake图像位于臂赛中。我们认为,生产高度逼真和“检测逃避”的深度可以服务于改善未来一代深度检测能力的最终目标。在本文中,我们提出了一种简单但强大的管道,以通过执行隐式空间域陷波滤波来减少假图像的伪影图案而不会损伤图像质量。我们首先表明频域陷波滤波,尽管由于陷波滤波器所需的手动设计,我们的任务对于我们的任务是有效的,但是频域陷波过滤虽然是有效的。因此,我们诉诸基于学习的方法来重现陷波滤波效果,而是仅在空间域中。我们采用添加压倒性的空间噪声来打破周期性噪声模式和深映像滤波来重建无噪声假图像,我们将我们的方法命名为Deadnotch。深度图像过滤为嘈杂图像中的每个像素提供专用过滤器,与其DeepFake对应物相比,产生具有高保真度的滤波图像。此外,我们还使用图像的语义信息来生成对抗性引导映射,以智能地添加噪声。我们对3种代表性的最先进的深蓝进行的大规模评估(在16种DeepFakes上测试)已经证明,我们的技术显着降低了这3种假图像检测方法的准确性,平均和高度为36.79% 97.02%在最好的情况下。
translated by 谷歌翻译