深度神经网络（DNN）被视为易受对抗性攻击的影响，而现有的黑匣子攻击需要广泛查询受害者DNN以实现高成功率。对于查询效率，由于它们的梯度相似度（GS），即代理的攻击梯度与受害者的攻击梯度类似，因此使用受害者的代理模型来生成可转移的对抗性示例（AES）。但是，通常忽略了它们对输出的相似性，即预测相似性（PS），以在不查询受害者的情况下通过代理过滤效率低效查询。要共同利用和还优化代理者的GS和PS，我们开发QueryNet，一个可以显着减少查询的统一攻击框架。 Querynet通过多识别代理人创造性地攻击，即通过不同的代理商为一个样本工艺几个AES，并且还使用代理人来决定查询最有前途的AE。之后，受害者的查询反馈累积以优化代理人的参数，还可以优化其架构，增强GS和PS。虽然Querynet无法获得预先接受预先训练的代理人，但根据我们的综合实验，它与可接受的时间内的替代方案相比，它会降低查询。 ImageNet，只允许8位图像查询，无法访问受害者的培训数据。代码可在https://github.com/allenchen1998/querynet上获得。

Recent increases in the computational demands of deep neural networks (DNNs) have sparked interest in efficient deep learning mechanisms, e.g., quantization or pruning. These mechanisms enable the construction of a small, efficient version of commercial-scale models with comparable accuracy, accelerating their deployment to resource-constrained devices. In this paper, we study the security considerations of publishing on-device variants of large-scale models. We first show that an adversary can exploit on-device models to make attacking the large models easier. In evaluations across 19 DNNs, by exploiting the published on-device models as a transfer prior, the adversarial vulnerability of the original commercial-scale models increases by up to 100x. We then show that the vulnerability increases as the similarity between a full-scale and its efficient model increase. Based on the insights, we propose a defense, $similarity$-$unpairing$, that fine-tunes on-device models with the objective of reducing the similarity. We evaluated our defense on all the 19 DNNs and found that it reduces the transferability up to 90% and the number of queries required by a factor of 10-100x. Our results suggest that further research is needed on the security (or even privacy) threats caused by publishing those efficient siblings.

转移对抗性攻击是一种非普通的黑匣子逆势攻击，旨在对替代模型进行对抗的对抗扰动，然后对受害者模型应用这种扰动。然而，来自现有方法的扰动的可转移性仍然有限，因为对逆势扰动易于用单个替代模型和特定数据模式容易接收。在本文中，我们建议学习学习可转让的攻击（LLTA）方法，这使得对逆势扰动更广泛地通过学习数据和模型增强。对于数据增强，我们采用简单的随机调整大小和填充。对于模型增强，我们随机更改后部传播而不是前向传播，以消除对模型预测的影响。通过将特定数据和修改模型作为任务的攻击处理，我们预计对抗扰动采用足够的任务来普遍。为此，在扰动生成的迭代期间进一步引入了元学习算法。基础使用的数据集上的经验结果证明了我们的攻击方法的有效性，与最先进的方法相比，转移攻击的成功率较高的12.85％。我们还评估我们在真实世界在线系统上的方法，即Google Cloud Vision API，进一步展示了我们方法的实际潜力。

In the scenario of black-box adversarial attack, the target model's parameters are unknown, and the attacker aims to find a successful adversarial perturbation based on query feedback under a query budget. Due to the limited feedback information, existing query-based black-box attack methods often require many queries for attacking each benign example. To reduce query cost, we propose to utilize the feedback information across historical attacks, dubbed example-level adversarial transferability. Specifically, by treating the attack on each benign example as one task, we develop a meta-learning framework by training a meta-generator to produce perturbations conditioned on benign examples. When attacking a new benign example, the meta generator can be quickly fine-tuned based on the feedback information of the new task as well as a few historical attacks to produce effective perturbations. Moreover, since the meta-train procedure consumes many queries to learn a generalizable generator, we utilize model-level adversarial transferability to train the meta-generator on a white-box surrogate model, then transfer it to help the attack against the target model. The proposed framework with the two types of adversarial transferability can be naturally combined with any off-the-shelf query-based attack methods to boost their performance, which is verified by extensive experiments.

深度神经网络（DNNS）的广泛应用要求越来越多的关注对其现实世界的鲁棒性，即DNN是否抵抗黑盒对抗性攻击，其中包括基于得分的查询攻击（SQA）是最威胁性的。由于它们的实用性和有效性：攻击者只需要在模型输出上进行数十个查询即可严重伤害受害者网络。针对SQA的防御需要对用户的服务目的而略有但巧妙的输出变化，这些用户与攻击者共享相同的输出信息。在本文中，我们提出了一种称为统一梯度（UNIG）的现实世界防御，以统一不同数据的梯度，以便攻击者只能探究不同样本相似的较弱的攻击方向。由于这种普遍的攻击扰动的验证与投入特定的扰动相比，Unig通过指示攻击者一个扭曲且信息不足的攻击方向来保护现实世界中的DNN。为了增强Unig在现实世界应用中的实际意义，我们将其实现为Hadamard产品模块，该模块具有计算效率且很容易插入任何模型。根据对5个SQA和4个防御基线的广泛实验，Unig显着改善了现实世界的鲁棒性，而不会伤害CIFAR10和Imagenet上的清洁准确性。例如，Unig在2500 Query Square攻击下保持了77.80％精度的CIFAR-10模型，而最先进的对手训练的模型仅在CIFAR10上具有67.34％的速度。同时，Unig在清洁精度和输出的修改程度上大大超过了所有基准。代码将发布。

The score-based query attacks (SQAs) pose practical threats to deep neural networks by crafting adversarial perturbations within dozens of queries, only using the model's output scores. Nonetheless, we note that if the loss trend of the outputs is slightly perturbed, SQAs could be easily misled and thereby become much less effective. Following this idea, we propose a novel defense, namely Adversarial Attack on Attackers (AAA), to confound SQAs towards incorrect attack directions by slightly modifying the output logits. In this way, (1) SQAs are prevented regardless of the model's worst-case robustness; (2) the original model predictions are hardly changed, i.e., no degradation on clean accuracy; (3) the calibration of confidence scores can be improved simultaneously. Extensive experiments are provided to verify the above advantages. For example, by setting $\ell_\infty=8/255$ on CIFAR-10, our proposed AAA helps WideResNet-28 secure 80.59% accuracy under Square attack (2500 queries), while the best prior defense (i.e., adversarial training) only attains 67.44%. Since AAA attacks SQA's general greedy strategy, such advantages of AAA over 8 defenses can be consistently observed on 8 CIFAR-10/ImageNet models under 6 SQAs, using different attack targets, bounds, norms, losses, and strategies. Moreover, AAA calibrates better without hurting the accuracy. Our code is available at https://github.com/Sizhe-Chen/AAA.

Deep neural networks (DNNs) are one of the most prominent technologies of our time, as they achieve state-of-the-art performance in many machine learning tasks, including but not limited to image classification, text mining, and speech processing. However, recent research on DNNs has indicated ever-increasing concern on the robustness to adversarial examples, especially for security-critical tasks such as traffic sign identification for autonomous driving. Studies have unveiled the vulnerability of a well-trained DNN by demonstrating the ability of generating barely noticeable (to both human and machines) adversarial images that lead to misclassification. Furthermore, researchers have shown that these adversarial images are highly transferable by simply training and attacking a substitute model built upon the target model, known as a black-box attack to DNNs.Similar to the setting of training substitute models, in this paper we propose an effective black-box attack that also only has access to the input (images) and the output (confidence scores) of a targeted DNN. However, different from leveraging attack transferability from substitute models, we propose zeroth order optimization (ZOO) based attacks to directly estimate the gradients of the targeted DNN for generating adversarial examples. We use zeroth order stochastic coordinate descent along with dimension reduction, hierarchical attack and importance sampling techniques to * Pin-Yu Chen and Huan Zhang contribute equally to this work.

基于深度神经网络（DNN）的智能信息（IOT）系统已被广泛部署在现实世界中。然而，发现DNNS易受对抗性示例的影响，这提高了人们对智能物联网系统的可靠性和安全性的担忧。测试和评估IOT系统的稳健性成为必要和必要。最近已经提出了各种攻击和策略，但效率问题仍未纠正。现有方法是计算地广泛或耗时，这在实践中不适用。在本文中，我们提出了一种称为攻击启发GaN（AI-GaN）的新框架，在有条件地产生对抗性实例。曾经接受过培训，可以有效地给予对抗扰动的输入图像和目标类。我们在白盒设置的不同数据集中应用AI-GaN，黑匣子设置和由最先进的防御保护的目标模型。通过广泛的实验，AI-GaN实现了高攻击成功率，优于现有方法，并显着降低了生成时间。此外，首次，AI-GaN成功地缩放到复杂的数据集。 Cifar-100和Imagenet，所有课程中的成功率约为90美元。

深度神经网络在许多重要的遥感任务中取得了巨大的成功。然而，不应忽略它们对对抗性例子的脆弱性。在这项研究中，我们第一次系统地在遥感数据中系统地分析了普遍的对抗示例，而没有受害者模型的任何知识。具体而言，我们提出了一种新型的黑盒对抗攻击方法，即混合攻击及其简单的变体混合尺寸攻击，用于遥感数据。提出方法的关键思想是通过攻击给定替代模型的浅层层中的特征来找到不同网络之间的共同漏洞。尽管它们很简单，但提出的方法仍可以生成可转移的对抗性示例，这些示例欺骗了场景分类和语义分割任务的大多数最新深层神经网络，并具有很高的成功率。我们进一步在名为AUAE-RS的数据集中提供了生成的通用对抗示例，该数据集是第一个在遥感字段中提供黑色框对面样本的数据集。我们希望阿联酋可以用作基准，以帮助研究人员设计具有对遥感领域对抗攻击的强烈抵抗力的深神经网络。代码和阿联酋-RS数据集可在线获得（https://github.com/yonghaoxu/uae-rs）。

机器学习模型严重易于来自对抗性示例的逃避攻击。通常，对逆势示例的修改输入类似于原始输入的修改输入，在WhiteBox设置下由对手的WhiteBox设置构成，完全访问模型。然而，最近的攻击已经显示出使用BlackBox攻击的对逆势示例的查询号显着减少。特别是，警报是从越来越多的机器学习提供的经过培训的模型的访问界面中利用分类决定作为包括Google，Microsoft，IBM的服务提供商，并由包含这些模型的多种应用程序使用的服务提供商来利用培训的模型。对手仅利用来自模型的预测标签的能力被区别为基于决策的攻击。在我们的研究中，我们首先深入潜入最近的ICLR和SP的最先进的决策攻击，以突出发现低失真对抗采用梯度估计方法的昂贵性质。我们开发了一种强大的查询高效攻击，能够避免在梯度估计方法中看到的嘈杂渐变中的局部最小和误导中的截留。我们提出的攻击方法，ramboattack利用随机块坐标下降的概念来探索隐藏的分类器歧管，针对扰动来操纵局部输入功能以解决梯度估计方法的问题。重要的是，ramboattack对对对手和目标类别可用的不同样本输入更加强大。总的来说，对于给定的目标类，ramboattack被证明在实现给定查询预算的较低失真时更加强大。我们使用大规模的高分辨率ImageNet数据集来策划我们的广泛结果，并在GitHub上开源我们的攻击，测试样本和伪影。

基于深度学习的图像识别系统已广泛部署在当今世界的移动设备上。然而，在最近的研究中，深入学习模型被证明易受对抗的例子。一种逆势例的一个变种，称为对抗性补丁，由于其强烈的攻击能力而引起了研究人员的注意。虽然对抗性补丁实现了高攻击成功率，但由于补丁和原始图像之间的视觉不一致，它们很容易被检测到。此外，它通常需要对文献中的对抗斑块产生的大量数据，这是计算昂贵且耗时的。为了解决这些挑战，我们提出一种方法来产生具有一个单一图像的不起眼的对抗性斑块。在我们的方法中，我们首先通过利用多尺度发生器和鉴别器来决定基于受害者模型的感知敏感性的补丁位置，然后以粗糙的方式产生对抗性斑块。鼓励修补程序与具有对抗性训练的背景图像一致，同时保留强烈的攻击能力。我们的方法显示了白盒设置中的强烈攻击能力以及通过对具有不同架构和培训方法的各种型号的广泛实验，通过广泛的实验进行黑盒设置的优异转移性。与其他对抗贴片相比，我们的对抗斑块具有最大忽略的风险，并且可以避免人类观察，这是由显着性图和用户评估结果的插图支持的人类观察。最后，我们表明我们的对抗性补丁可以应用于物理世界。

无线系统应用中深度学习（DL）的成功出现引起了人们对与安全有关的新挑战的担忧。一个这样的安全挑战是对抗性攻击。尽管已经有很多工作证明了基于DL的分类任务对对抗性攻击的敏感性，但是从攻击的角度来看，尚未对无线系统的基于回归的问题进行基于回归的问题。本文的目的是双重的：（i）我们在无线设置中考虑回归问题，并表明对抗性攻击可以打破基于DL的方法，并且（ii）我们将对抗性训练作为对抗性环境中的防御技术的有效性分析并表明基于DL的无线系统对攻击的鲁棒性有了显着改善。具体而言，本文考虑的无线应用程序是基于DL的功率分配，以多细胞大量多输入 - 销售输出系统的下行链路分配，攻击的目的是通过DL模型产生不可行的解决方案。我们扩展了基于梯度的对抗性攻击：快速梯度标志方法（FGSM），动量迭代FGSM和预计的梯度下降方法，以分析具有和没有对抗性训练的考虑的无线应用的敏感性。我们对这些攻击进行了分析深度神经网络（DNN）模型的性能，在这些攻击中，使用白色框和黑盒攻击制作了对抗性扰动。

对抗性示例可用于恶意和秘密地改变模型的预测。众所周知，为一个模型设计的对抗示例也可以传输到其他模型。这构成了主要威胁，因为这意味着攻击者可以以黑框方式对准系统。在可转让性的领域，研究人员提出了使攻击更加可转移的方法，并使模型更强大，以转移的示例。但是，据我们所知，尚无作品提出一种在黑盒攻击者的角度对对抗性示例的转移性进行排名的方法。这是一项重要的任务，因为攻击者可能只使用一组选定的示例，因此需要选择最有可能传输的样本。在本文中，我们建议一种方法来排名在不访问受害者模型的情况下对对抗性示例的可传递性。为此，我们定义并估算了有关受害者信息有限的样本的预期可传递性。我们还探讨了实用的方案：对手可以选择要攻击的最佳样本以及对手必须使用特定样本，但可以选择不同的扰动。通过我们的实验，我们发现我们的排名方法可以将攻击者的成功率提高高达80％（而无需排名）。

视觉变压器（VITS）在一系列计算机视觉任务上表现出令人印象深刻的性能，但它们仍然遭受对抗的例子。 ％以与CNN类似的方式制作。在本文中，我们对变压器的对抗攻击应特别适合其架构，共同考虑斑块和自我关注，以实现高可转移性。更具体地说，我们介绍了一种双攻击框架，其中包含不关注（PNA）攻击和果末攻击，以改善对抗不同风格的对抗性样本的可转移性。我们表明，在背部衰退期间跳过关注的梯度可以产生具有高可转换性的对抗性示例。此外，通过优化在每个迭代的随机采样的斑块的随机采样子集产生的对抗扰动，该次迭代的成功率比使用所有补丁的攻击实现了更高的攻击成功率。我们评估攻击最先进的VITS，CNN和强大的CNNS的可转移性。这些实验的结果表明，所提出的双重攻击可以大大提高VITS与VITS之间的转移性。此外，所提出的方法可以容易地与现有的传输方法组合以提高性能。代码可在https://github.com/zhipeng-wei/pna-patchout获得。

Blackbox对抗攻击可以分为基于转移和基于查询的攻击。转移方法不需要受害模型的任何反馈，而是与基于查询的方法相比提供较低的成功率。查询攻击通常需要大量的成功查询。为了达到两种方法，最近的努力都试图将它们结合起来，但仍需要数百个查询才能获得高成功率（尤其是针对目标攻击）。在本文中，我们提出了一种通过替代集合搜索（基地）进行黑框攻击的新方法，该方法可以使用极少量的查询来生成非常成功的黑盒攻击。我们首先定义了扰动机，该机器通过在固定的替代模型上最小化加权损失函数来生成扰动的图像。为了为给定受害者模型生成攻击，我们使用扰动机产生的查询搜索损失函数中的权重。由于搜索空间的尺寸很小（与替代模型的数量相同），因此搜索需要少量查询。我们证明，与经过Imagenet训练的不同图像分类器（包括VGG-19，Densenet-121和Resnext-50）上的最新图像分类器相比，我们提出的方法的查询至少少了30倍，其查询至少少了30倍。特别是，我们的方法平均需要每张图像3个查询，以实现目标攻击的成功率超过90％，而对于非目标攻击的成功率超过99％，每个图像的1-2查询。我们的方法对Google Cloud Vision API也有效，并获得了91％的非目标攻击成功率，每张图像2.9查询。我们还表明，我们提出的方法生成的扰动是高度转移的，可以用于硬标签黑盒攻击。

深度神经网络（DNNS）在各种方案中对对抗数据敏感，包括黑框方案，在该方案中，攻击者只允许查询训练有素的模型并接收输出。现有的黑框方法用于创建对抗性实例的方法是昂贵的，通常使用梯度估计或培训替换网络。本文介绍了\ textit {Attackar}，这是一种基于分数的进化，黑框攻击。 Attackar是基于一个新的目标函数，可用于无梯度优化问题。攻击仅需要访问分类器的输出徽标，因此不受梯度掩蔽的影响。不需要其他信息，使我们的方法更适合现实生活中的情况。我们使用三个基准数据集（MNIST，CIFAR10和Imagenet）使用三种不同的最先进模型（Inception-V3，Resnet-50和VGG-16-BN）测试其性能。此外，我们评估了Attackar在非分辨率转换防御和最先进的强大模型上的性能。我们的结果表明，在准确性得分和查询效率方面，攻击性的表现出色。

Deep neural networks (DNNs) are found to be vulnerable to adversarial attacks, and various methods have been proposed for the defense. Among these methods, adversarial training has been drawing increasing attention because of its simplicity and effectiveness. However, the performance of the adversarial training is greatly limited by the architectures of target DNNs, which often makes the resulting DNNs with poor accuracy and unsatisfactory robustness. To address this problem, we propose DSARA to automatically search for the neural architectures that are accurate and robust after adversarial training. In particular, we design a novel cell-based search space specially for adversarial training, which improves the accuracy and the robustness upper bound of the searched architectures by carefully designing the placement of the cells and the proportional relationship of the filter numbers. Then we propose a two-stage search strategy to search for both accurate and robust neural architectures. At the first stage, the architecture parameters are optimized to minimize the adversarial loss, which makes full use of the effectiveness of the adversarial training in enhancing the robustness. At the second stage, the architecture parameters are optimized to minimize both the natural loss and the adversarial loss utilizing the proposed multi-objective adversarial training method, so that the searched neural architectures are both accurate and robust. We evaluate the proposed algorithm under natural data and various adversarial attacks, which reveals the superiority of the proposed method in terms of both accurate and robust architectures. We also conclude that accurate and robust neural architectures tend to deploy very different structures near the input and the output, which has great practical significance on both hand-crafting and automatically designing of accurate and robust neural architectures.

近年来，已经提出了各种解释方法，以帮助用户深入了解神经网络返回的结果，神经网络是复杂而不透明的黑盒子。但是，解释产生了潜在的侧道渠道，这可以由对对手进行安装攻击的对手所利用。特别是，事后解释方法根据输入维度根据其重要性或与结果相关性突出显示，也泄露了削弱安全性和隐私性的信息。在这项工作中，我们对各种流行的解释技术产生的隐私风险和安全风险进行了第一个系统表征。首先，我们提出了新颖的解释引导的黑盒逃避攻击，导致查询计数的10倍以相同的成功率。我们表明，可以将解释的对抗优势量化为估计梯度的总方差的降低。其次，我们重新审视通过常见解释泄漏的成员资格信息。与先前研究的观察相反，通过我们的修改攻击，我们显示了会员信息的显着泄漏（即使在更严格的黑盒子设置中，比先前的结果比先前的结果提高了100％）。最后，我们研究了解释引导的模型提取攻击，并通过大量降低查询计数来证明对抗性的增长。

基于决策攻击对现实世界应用程序构成严重威胁，因为它将目标模型视为黑盒子，并且仅访问硬预测标签。最近已经努力减少查询的数量;然而，现有的基于决策攻击仍需要数千个疑问以产生良好的质量的对抗性示例。在这项工作中，我们发现一个良性样本，当前和下一个逆势示例可以自然地构建子空间中的三角形以获得任何迭代攻击。基于诸如SINES的规律，我们提出了一种新颖的三角形攻击（TA）来通过利用较长侧总是与任何三角形的较大角度相对的几何信息来优化扰动。然而，直接在输入图像上施加这样的信息是无效的，因为它不能彻底探索高维空间中输入样本的邻域。为了解决这个问题，TA优化低频空间中的扰动，以获得由于此类几何特性的一般性而有效减少。对ImageNet DataSet的广泛评估表明，TA在1,000个查询中实现了更高的攻击成功率，并且需要更少的查询，以在各种扰动预算下实现相同的攻击成功率，而不是现有的基于决策攻击。具有如此高的效率，我们进一步展示了TA在真实世界API上的适用性，即腾讯云API。

愚弄深度神经网络（DNN）与黑匣子优化已成为一种流行的对抗攻击方式，因为DNN的结构先验知识始终是未知的。尽管如此，最近的黑匣子对抗性攻击可能会努力平衡其在解决高分辨率图像中产生的对抗性示例（AES）的攻击能力和视觉质量。在本文中，我们基于大规模的多目标进化优化，提出了一种关注引导的黑盒逆势攻击，称为LMOA。通过考虑图像的空间语义信息，我们首先利用注意图来确定扰动像素。而不是攻击整个图像，减少了具有注意机制的扰动像素可以有助于避免维度的臭名臭氧，从而提高攻击性能。其次，采用大规模的多目标进化算法在突出区域中遍历降低的像素。从其特征中受益，所产生的AES有可能在人类视力不可知的同时愚弄目标DNN。广泛的实验结果已经验证了所提出的LMOA在ImageNet数据集中的有效性。更重要的是，与现有的黑匣子对抗性攻击相比，产生具有更好的视觉质量的高分辨率AE更具竞争力。