由于深度卷积神经网络(CNN)的巨大改进,近年来人脸识别取得了显着进展。然而,deepCNN很容易受到对抗性的例子的影响,这些例子可能会在具有安全敏感性目的的真实世界人脸识别应用程序中造成致命的后果。对抗性攻击被广泛研究,因为它们可以在部署之前识别模型的脆弱性。在本文中,我们评估了基于决策的黑盒攻击设置中最先进的人脸识别模型的稳健性,其中攻击者无法访问模型参数和梯度,但只能通过发送查询来获取硬标签预测到目标模型。这种攻击设置在现实世界的人脸识别系统中更为实用。为了提高上述方法的效率,我们提出了一种进化攻击算法,该算法可以对搜索方向的局部几何进行建模,并减小这些空间的维数。大量实验证明了所提出的方法的有效性,该方法通过较少的查询引起对输入面部图像的最小扰动。我们还应用所提出的方法成功地攻击真实世界的人脸识别系统。
translated by 谷歌翻译
我们提出了批量虚拟对抗训练(BVAT),这是一种用于图卷积网络(GCN)的新型正则化方法。 BVAT解决了GCN的缺点,这些GCN不考虑模型输出分布的平滑性,而不考虑输入周围的局部扰动。我们提出了两种算法,基于样本的BVAT和基于优化的BVAT,它们适用于通过发现远离彼此的节点子集的虚拟对抗扰动或为所有节点生成虚拟对抗扰动来促进图形结构数据模型的平滑性。使用优化过程。对三个引文网络数据集Cora,Citeseer和Pubmed以及知识图数据集Nell的广泛实验验证了所提方法的有效性,该方法在半监督节点分类任务中建立了最先进的结果。
translated by 谷歌翻译
有时,DNN产生结果是不够的。例如,在医疗保健等应用中,用户需要了解决策的基本原理。因此,必须开发算法来学习具有良好可解释性的模型(Doshi-Velez 2017)。导致DNN缺乏可解释性的一个重要因素是神经元的模糊性,其中动脉瘤可能会触发各种不相关的概念。这项工作旨在通过减少神经元的模糊性来增加DNN在整个图像空间上的解释性。在本文中,我们做出以下贡献:1)我们提出了一个度量来定量评估网络中神经元的一致性水平。 2)通过利用对偶实例,我们发现神经元的学习特征是模糊的。 3)我们建议通过具有一致损失的对抗训练算法来改善对抗性实例子集上神经元的一致性。
translated by 谷歌翻译
二进制神经网络具有很高的资源和计算效率,而与全精度对应物相比,较长的训练过程和不可忽略的精度下降。在本文中,我们提出了复合二进制分解网络(CBDNet),它首先用有限数量的二进制张量组合每层的实值张量,然后将一些条件二进制张量分解为两个低秩二分法,从而得到参数个数。与原来的相比,操作大大减少了。实验证明了该方法的有效性,因为CBDNet可以使用5.25位近似图像分类网络ResNet-18,使用5.47位的VGG-16,使用5.72位的DenseNet-121,使用4.38位的物体检测网络SSD300,以及使用5.18位的语义分割网络SegNet ,所有精度都有轻微下降。
translated by 谷歌翻译
视觉问答(VQA)需要对图像和自然语言问题进行联合理解,其中许多问题不能直接或明确地从视觉内容中回答,而是需要从结构化人类知识推理并通过视觉内容进行确认。本文提出了视觉知识存储网络(VKMN)来解决这个问题,它将结构化的人类知识和深层视觉特征无缝地整合到端到端学习框架中的内存网络中。与现有的支持VQA的外部知识平衡方法相比,本文更多地论述了两种缺失的机制。首先是将视觉内容与知识​​事实相结合的机制。 VKMN通过将知识三元组(主题,关系,目标)和深层视觉特征联合嵌入到视觉知识特征中来处理这个问题。其次是处理从问答对中扩展的多个知识因素的机制。 VKMN在内存网络中存储使用键值对结构的联合嵌入,以便易于处理多个事实。实验表明,该方法在VQA v1.0和v2.0基准测试中均取得了较好的成果,同时在知识推理相关问题上优于最先进的方法。
translated by 谷歌翻译
Although the recent progress is substantial, deep learning methods can bevulnerable to the maliciously generated adversarial examples. In this paper, wepresent a novel training procedure and a thresholding test strategy, towardsrobust detection of adversarial examples. In training, we propose to minimizethe reverse cross-entropy (RCE), which encourages a deep network to learnlatent representations that better distinguish adversarial examples from normalones. In testing, we propose to use a thresholding strategy as the detector tofilter out adversarial examples for reliable predictions. Our method is simpleto implement using standard algorithms, with little extra training costcompared to the common cross-entropy minimization. We apply our method todefend various attacking methods on the widely used MNIST and CIFAR-10datasets, and achieve significant improvements on robust predictions under allthe threat models in the adversarial setting.
translated by 谷歌翻译
CleverHans是一个软件库,提供对抗性示例构造技术和对抗训练的标准化参考实现。该库可用于开发更强大的机器学习模型,并在对抗设置中提供模型性能的标准化基准。在没有标准化实施对抗性示例构造的情况下构建的基准与彼此不可比较,因为良好的结果可能表示稳健的模型,或者它可能仅表示对抗性示例构造过程的弱实现。本技术报告的结构如下。第1节提供了机器学习和CleverHanssoftware中对抗性示例的概述。第2节介绍了图书馆的核心功能:即基于对抗性示例和防御的攻击,以提高机器学习模型对这些攻击的鲁棒性。第3节描述了如何使用库报告基准测试结果。第4节描述了版本系统。
translated by 谷歌翻译
从图像中自动消除雨水效果有许多应用,例如自动驾驶,无人机驾驶和照片编辑,并且仍然吸引了许多人的注意力。传统方法使用启发式手工制作各种先验,以从图像中移除或分离雨效果。最近提出了基于端到端深度学习的去除方法以提供更大的灵活性和有效性。然而,当遇到大雨的图像时,它们往往不会获得良好的视觉效果。大雨带来了不仅有雨的条纹,还有由于微小雨滴积聚而产生的雾状效应。与以往的去除方法不同,在本文中,我们使用新的雨模型来模拟雨水图像,不仅可以去除雨水条纹,还可以消除类似雾霾的效果。在我们的模型的指导下,我们设计了一个双分支网络来容忍其参数。然后,联合训练SPP结构以改进我们模型的结果,以便灵活地控制去除雾状效果的程度。此外,提出了一种可以定位雨天像素的子网,以指导我们的网络训练。在几个数据集上的广泛实验表明,我们的方法在目标评估和视觉质量方面都优于最先进的技术。
translated by 谷歌翻译
我们研究后勤强盗,其中奖励是二元成功概率$ \ exp(\ beta a ^ \ top \ theta)/(1 + \ exp(\ beta a ^ \ top \ theta))$ andactions $ a $和systems $ \ theta $在$ d $ -dimensional单位球内。虽然先前后悔限制了解决斜率参数$ \ beta $的logistic banditexhibit指数依赖的算法,但我们建立了与Thompson采样无关的格式。 beta $。特别是,我们确定,当可行动作的集合与可能的系数向量集合相同时,Thompsonsampling的贝叶斯遗憾是$ \ tilde {O}(d \ sqrt {T})$。我们还建立了一个$ \ tilde {O}(\ sqrt {d \ etaT} / \ lambda)$ bound,它适用范围更广,其中$ \ lambda $是最差情况下的最佳对数,$ \ eta $是“脆弱性维度,“一个新的统计数据,用于捕捉一个模型的最优行动对其他模型的满足程度。我们通过证明,对于任何$ \ epsilon> 0 $,没有算法可以实现$ \ mathrm {poly}(d,1 / \ lambda)\ cdot T ^ {1- \ epsilon} $,我们证明了脆弱性维度起着非常重要的作用。后悔。
translated by 谷歌翻译
我们提出了一种深度自动编码器,它具有图形拓扑推理和滤波功能,可以以无监督的方式实现无组织三维点云的紧凑表示。所提出的网络的编码器采用像PointNet中的类似架构,这是一种公认​​的3D点云的监督学习方法。所提出的网络的解码器包括三个新颖的模块:折叠模块,图形拓扑 - 推理模块和图形过滤模块。折叠模块将规范的2D格子折叠到3D点云的下伏表面,实现粗略重构;图形拓扑推理模块学习图形拓扑以表示3D点之间的成对关系;图形滤波模块基于学习的图形拓扑设计图形滤波器,以获得精确的重建。我们进一步提供了所提出的架构的理论分析。我们提供重建损失的上限,并进一步表明图形平滑度优于空间平滑度作为先前的模型3D点云。在实验中,我们在三个任务中验证所提出的网络,包括重建,可视化和分类。实验结果表明:(1)所提出的网络在各种任务中都优于最先进的方法,包括重建和传递分类; (2)图形拓扑可以推断为辅助信息,无需对图拓扑推理进行特定监督; (3)图形滤波改进了重建,从而获得了更好的性能。
translated by 谷歌翻译