在变异场景中已经揭示了对抗性实例的现象。最近的研究表明，精心设计的对抗性防御策略可以改善深度学习模型针对对抗性例子的鲁棒性。但是，随着国防技术的快速发展，由于现有手动设计的对抗性攻击的性能较弱，因此很难评估防御模型的鲁棒性。为了应对挑战，鉴于防御模型，需要进一步利用有效的对抗性攻击，较少的计算负担和较低的健壮精度。因此，我们提出了一种用于自动对抗攻击优化设计的多目标模因算法，该算法实现了对近乎最佳的对抗性攻击对防御模型的近乎最佳的对抗性攻击。首先，构建了自动对抗攻击优化设计的更通用的数学模型，其中搜索空间不仅包括攻击者操作，大小，迭代号和损失功能，还包括多个对抗性攻击的连接方式。此外，我们开发了一种组合NSGA-II和本地搜索以解决优化问题的多目标模因算法。最后，为了降低搜索过程中的评估成本，我们根据模型输出的每个图像的跨熵损失值的排序提出了代表性的数据选择策略。关于CIFAR10，CIFAR100和Imagenet数据集的实验显示了我们提出的方法的有效性。

Deep neural networks (DNNs) are found to be vulnerable to adversarial attacks, and various methods have been proposed for the defense. Among these methods, adversarial training has been drawing increasing attention because of its simplicity and effectiveness. However, the performance of the adversarial training is greatly limited by the architectures of target DNNs, which often makes the resulting DNNs with poor accuracy and unsatisfactory robustness. To address this problem, we propose DSARA to automatically search for the neural architectures that are accurate and robust after adversarial training. In particular, we design a novel cell-based search space specially for adversarial training, which improves the accuracy and the robustness upper bound of the searched architectures by carefully designing the placement of the cells and the proportional relationship of the filter numbers. Then we propose a two-stage search strategy to search for both accurate and robust neural architectures. At the first stage, the architecture parameters are optimized to minimize the adversarial loss, which makes full use of the effectiveness of the adversarial training in enhancing the robustness. At the second stage, the architecture parameters are optimized to minimize both the natural loss and the adversarial loss utilizing the proposed multi-objective adversarial training method, so that the searched neural architectures are both accurate and robust. We evaluate the proposed algorithm under natural data and various adversarial attacks, which reveals the superiority of the proposed method in terms of both accurate and robust architectures. We also conclude that accurate and robust neural architectures tend to deploy very different structures near the input and the output, which has great practical significance on both hand-crafting and automatically designing of accurate and robust neural architectures.

愚弄深度神经网络（DNN）与黑匣子优化已成为一种流行的对抗攻击方式，因为DNN的结构先验知识始终是未知的。尽管如此，最近的黑匣子对抗性攻击可能会努力平衡其在解决高分辨率图像中产生的对抗性示例（AES）的攻击能力和视觉质量。在本文中，我们基于大规模的多目标进化优化，提出了一种关注引导的黑盒逆势攻击，称为LMOA。通过考虑图像的空间语义信息，我们首先利用注意图来确定扰动像素。而不是攻击整个图像，减少了具有注意机制的扰动像素可以有助于避免维度的臭名臭氧，从而提高攻击性能。其次，采用大规模的多目标进化算法在突出区域中遍历降低的像素。从其特征中受益，所产生的AES有可能在人类视力不可知的同时愚弄目标DNN。广泛的实验结果已经验证了所提出的LMOA在ImageNet数据集中的有效性。更重要的是，与现有的黑匣子对抗性攻击相比，产生具有更好的视觉质量的高分辨率AE更具竞争力。

已经发现深层神经网络容易受到对抗攻击的影响，从而引起了对安全敏感的环境的潜在关注。为了解决这个问题，最近的研究从建筑的角度研究了深神经网络的对抗性鲁棒性。但是，搜索深神经网络的体系结构在计算上是昂贵的，尤其是当与对抗性训练过程相结合时。为了应对上述挑战，本文提出了双重主体神经体系结构搜索方法。首先，我们制定了NAS问题，以增强深度神经网络的对抗性鲁棒性为多目标优化问题。具体而言，除了低保真绩效预测器作为第一个目标外，我们还利用辅助目标 - 其值是经过高保真评估训练的替代模型的输出。其次，我们通过结合三种性能估计方法，即参数共享，低保真评估和基于替代的预测指标来降低计算成本。在CIFAR-10，CIFAR-100和SVHN数据集上进行的广泛实验证实了所提出的方法的有效性。

Recent studies reveal that deep neural network (DNN) based object detectors are vulnerable to adversarial attacks in the form of adding the perturbation to the images, leading to the wrong output of object detectors. Most current existing works focus on generating perturbed images, also called adversarial examples, to fool object detectors. Though the generated adversarial examples themselves can remain a certain naturalness, most of them can still be easily observed by human eyes, which limits their further application in the real world. To alleviate this problem, we propose a differential evolution based dual adversarial camouflage (DE_DAC) method, composed of two stages to fool human eyes and object detectors simultaneously. Specifically, we try to obtain the camouflage texture, which can be rendered over the surface of the object. In the first stage, we optimize the global texture to minimize the discrepancy between the rendered object and the scene images, making human eyes difficult to distinguish. In the second stage, we design three loss functions to optimize the local texture, making object detectors ineffective. In addition, we introduce the differential evolution algorithm to search for the near-optimal areas of the object to attack, improving the adversarial performance under certain attack area limitations. Besides, we also study the performance of adaptive DE_DAC, which can be adapted to the environment. Experiments show that our proposed method could obtain a good trade-off between the fooling human eyes and object detectors under multiple specific scenes and objects.

对抗性训练（AT）已被证明可以通过利用对抗性示例进行训练来有效地改善模型鲁棒性。但是，大多数方法面对昂贵的时间和计算成本，用于在生成对抗性示例的多个步骤中计算梯度。为了提高训练效率，快速梯度符号方法（FGSM）在方法中仅通过计算一次来快速地采用。不幸的是，鲁棒性远非令人满意。初始化的方式可能引起一个原因。现有的快速在通常使用随机的样本不合时宜的初始化，这促进了效率，但会阻碍进一步的稳健性改善。到目前为止，快速AT中的初始化仍未广泛探索。在本文中，我们以样本依赖性的对抗初始化（即，来自良性图像条件的生成网络的输出及其来自目标网络的梯度信息的输出）快速增强。随着生成网络和目标网络在训练阶段共同优化，前者可以适应相对于后者的有效初始化，从而激发了逐渐改善鲁棒性。在四个基准数据库上进行的实验评估证明了我们所提出的方法比在方法上快速的最先进方法的优越性，以及与方法相当的鲁棒性。该代码在https://github.com//jiaxiaojunqaq//fgsm-sdi上发布。

在卫星布局设计中，热源布局优化（HSLO）是一种有效的技术，可降低最高温度并改善整个系统的热量管理。最近，已经提出了深度学习的替代辅助HSLO，该辅助辅助HSLO从布局到相应的温度场进行了映射，以便在优化过程中替换仿真以大大降低计算成本。但是，它面临两个主要挑战：1）特定任务的神经网络代理通常是手动设计的，这是复杂的，需要丰富的调试经验，这对工程领域的设计师来说是具有挑战性的； 2）现有的HSLO算法只能在单个优化中获得几乎最佳的解决方案，并且很容易被捕获以局部最佳限制。为了应对第一个挑战，考虑减少总参数编号并确保相似的准确性以及与特征金字塔网络（FPN）框架相结合的神经体系结构搜索（NAS）方法，以实现自动搜索小型搜索的目的深度学习的替代模型。为了应对第二项挑战，提出了一种基于多模式搜索的布局优化算法（MNSLO），该算法（MNSLO）可以单一优化同时获得更多，更好的近似最佳设计方案。最后，利用了两个典型的二维热传导优化问题来证明该方法的有效性。具有相似的精度，NAS找到了比原始FPN的参数少80％，拖失板少64％和36％的模型。此外，在自动搜索的深度学习代理人的帮助下，MNSLO可以同时实现多个接近最佳的设计方案，以为设计师提供更多的设计多样性。

有必要提高某些特殊班级的表现，或者特别保护它们免受对抗学习的攻击。本文提出了一个将成本敏感分类和对抗性学习结合在一起的框架，以训练可以区分受保护和未受保护的类的模型，以使受保护的类别不太容易受到对抗性示例的影响。在此框架中，我们发现在训练深神经网络（称为Min-Max属性）期间，一个有趣的现象，即卷积层中大多数参数的绝对值。基于这种最小的最大属性，该属性是在随机分布的角度制定和分析的，我们进一步建立了一个针对对抗性示例的新防御模型，以改善对抗性鲁棒性。构建模型的一个优点是，它的性能比标准模型更好，并且可以与对抗性训练相结合，以提高性能。在实验上证实，对于所有类别的平均准确性，我们的模型在没有发生攻击时几乎与现有模型一样，并且在发生攻击时比现有模型更好。具体而言，关于受保护类的准确性，提议的模型比发生攻击时的现有模型要好得多。

由于计算成本和能耗有限，部署在移动设备中的大多数神经网络模型都很小。然而，微小的神经网络通常很容易攻击。目前的研究证明，较大的模型规模可以提高鲁棒性，但很少的研究侧重于如何增强微小神经网络的稳健性。我们的工作侧重于如何改善微小神经网络的稳健性，而不会严重恶化移动级资源下的清洁准确性。为此，我们提出了一种多目标oneShot网络架构搜索（NAS）算法，以便在对抗准确度，清洁精度和模型尺寸方面获得最佳权衡网络。具体而言，我们基于新的微小块和通道设计一种新的搜索空间，以平衡模型大小和对抗性能。此外，由于SUPERNET显着影响了我们NAS算法中子网的性能，因此我们揭示了对SuperNet如何有助于获得白盒对抗攻击下最好的子网的洞察力。具体地，我们通过分析对抗性可转移性，超空网的宽度以及从头划痕和微调训练子网之间的差异来探索新的对抗性培训范式。最后，我们对第一个非主导的前沿的某些块和通道的层面组合进行了统计分析，这可以作为设计微小神经网络架构以实现对抗性扰动的指导。

评估防御模型的稳健性是对抗对抗鲁棒性研究的具有挑战性的任务。僵化的渐变，先前已经发现了一种梯度掩蔽，以许多防御方法存在并导致鲁棒性的错误信号。在本文中，我们确定了一种更细微的情况，称为不平衡梯度，也可能导致过高的对抗性鲁棒性。当边缘损耗的一个术语的梯度主导并将攻击朝向次优化方向推动时，发生不平衡梯度的现象。为了利用不平衡的梯度，我们制定了分解利润率损失的边缘分解（MD）攻击，并通过两阶段过程分别探讨了这些术语的攻击性。我们还提出了一个Multared和Ensemble版本的MD攻击。通过调查自2018年以来提出的17个防御模型，我们发现6种型号易受不平衡梯度的影响，我们的MD攻击可以减少由最佳基线独立攻击评估的鲁棒性另外2％。我们还提供了对不平衡梯度的可能原因和有效对策的深入分析。

当有大量的计算资源可用时，AutoAttack（AA）是评估对抗性鲁棒性的最可靠方法。但是，高计算成本（例如，比项目梯度下降攻击的100倍）使AA对于具有有限计算资源的从业者来说是不可行的，并且也阻碍了AA在对抗培训中的应用（AT）。在本文中，我们提出了一种新颖的方法，即最小利润率（MM）攻击，以快速可靠地评估对抗性鲁棒性。与AA相比，我们的方法可实现可比的性能，但在广泛的实验中仅占计算时间的3％。我们方法的可靠性在于，我们使用两个目标之间的边缘来评估对抗性示例的质量，这些目标可以精确地识别最对抗性的示例。我们方法的计算效率在于有效的顺序目标排名选择（星形）方法，以确保MM攻击的成本与类数无关。 MM攻击开辟了一种评估对抗性鲁棒性的新方法，并提供了一种可行且可靠的方式来生成高质量的对抗示例。

对抗性培训已被广泛用于增强神经网络模型对抗对抗攻击的鲁棒性。但是，自然准确性与强大的准确性之间仍有一个显着的差距。我们发现其中一个原因是常用的标签，单热量矢量，阻碍了图像识别的学习过程。在本文中，我们提出了一种称为低温蒸馏（LTD）的方法，该方法基于知识蒸馏框架来产生所需的软标记。与以前的工作不同，LTD在教师模型中使用相对较低的温度，采用不同但固定的，温度为教师模型和学生模型。此外，我们已经调查了有限公司协同使用自然数据和对抗性的方法。实验结果表明，在没有额外的未标记数据的情况下，所提出的方法与上一项工作相结合，可以分别在CiFar-10和CiFar-100数据集上实现57.72 \％和30.36 \％的鲁棒精度，这是州的大约1.21 \％通常的方法平均。

神经进化可以通过应用进化计算的技术来自动化人工神经网络的产生。这些方法的主要目标是构建最大程度地提高预测性能的模型，有时还具有最大程度地减少计算复杂性的目标。尽管演变的模型在竞争成果方面取得了竞争成果，但它们对对抗性实例的稳健性（在关键方案中成为关注点）受到了有限的关注。在本文中，我们评估了通过CIFAR-10图像分类任务的两种突出的神经进化方法发现的模型的对抗性鲁棒性：密度和NSGA-NET。由于这些模型是公开可用的，因此我们考虑白盒不靶向的攻击，其中扰动是由L2或Linfital-norm界定的。与手动设计的网络类似，我们的结果表明，当通过迭代方法攻击演变的模型时，它们的准确性通常在两个距离指标下降至或接近零。密集的模型是这种趋势的例外，显示了L2威胁模型下的某些阻力，即使在迭代攻击中，其精度也从93.70％下降到18.10％。此外，我们分析了在网络第一层之前应用于数据的预处理的影响。我们的观察结果表明，其中一些技术会加剧添加到原始输入中的扰动，从而可能损害鲁棒性。因此，当自动设计网络的应用程序时，不应忽略此选择。

This study provides a new understanding of the adversarial attack problem by examining the correlation between adversarial attack and visual attention change. In particular, we observed that: (1) images with incomplete attention regions are more vulnerable to adversarial attacks; and (2) successful adversarial attacks lead to deviated and scattered attention map. Accordingly, an attention-based adversarial defense framework is designed to simultaneously rectify the attention map for prediction and preserve the attention area between adversarial and original images. The problem of adding iteratively attacked samples is also discussed in the context of visual attention change. We hope the attention-related data analysis and defense solution in this study will shed some light on the mechanism behind the adversarial attack and also facilitate future adversarial defense/attack model design.

作为反对攻击的最有效的防御方法之一，对抗性训练倾向于学习包容性的决策边界，以提高深度学习模型的鲁棒性。但是，由于沿对抗方向的边缘的大幅度和不必要的增加，对抗性训练会在自然实例和对抗性示例之间引起严重的交叉，这不利于平衡稳健性和自然准确性之间的权衡。在本文中，我们提出了一种新颖的对抗训练计划，以在稳健性和自然准确性之间进行更好的权衡。它旨在学习一个中度包容的决策边界，这意味着决策边界下的自然示例的边缘是中等的。我们称此方案为中等边缘的对抗训练（MMAT），该方案生成更细粒度的对抗示例以减轻交叉问题。我们还利用了经过良好培训的教师模型的逻辑来指导我们的模型学习。最后，MMAT在Black-Box和White-Box攻击下都可以实现高自然的精度和鲁棒性。例如，在SVHN上，实现了最新的鲁棒性和自然精度。

深度神经网络很容易受到不可察觉的扰动的攻击。目前，对抗训练（AT）是增强模型对抗例子的鲁棒性的最有效方法。但是，由于对抗性训练解决了最小值的价值问题，因此与自然训练相比，稳健性和概括是矛盾的，即，模型的鲁棒性改善将减少模型的概括。为了解决这个问题，在本文中，引入了一个新概念，即置信度阈值（CT），并证明了置信阈值的降低（称为置信阈值降低（CTR））已被证明可以提高其概括和稳健性模型。具体而言，为了减少自然训练的CT（即用于CTR的自然训练），我们提出了一个面具引导的发散损失函数（MDL），该函数（MDL）由跨熵损失项和正交项组成。经验和理论分析表明，MDL损失同时提高了模型的自然训练的鲁棒性和概括性。但是，使用CTR的自然训练的模型鲁棒性改善与对抗训练相当。因此，对于对抗性训练，我们提出了一个标准偏差损失函数（STD），该函数可最大程度地减少错误类别的概率的差异，以通过整合到对抗性训练的损失函数中来减少CT。经验和理论分析表明，基于性病的损失函数可以通过保证自然准确性的不变或略微提高对抗训练模型的鲁棒性。

尽管机器学习系统的效率和可扩展性，但最近的研究表明，许多分类方法，尤其是深神经网络（DNN），易受对抗的例子;即，仔细制作欺骗训练有素的分类模型的例子，同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 （2013）和Szegedy等人。（2014年），在这一领域已经完成了很多工作，包括开发攻击方法，以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展，主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码（在Python和R）公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。

最近，Robustbench（Croce等人2020）已成为图像分类网络的对抗鲁棒性的广泛认可的基准。在其最常见的子任务中，Robustbench评估并在Autactack（CRoce和Hein 2020b）下的Cifar10上的培训神经网络的对抗性鲁棒性与L-Inf Perturnations限制在EPS = 8/255中。对于目前最佳表演模型的主要成绩约为60％的基线，这是为了表征这项基准是非常具有挑战性的。尽管最近的文献普遍接受，我们的目标是促进讨论抢劫案作为鲁棒性的关键指标的讨论，这可能是广泛化的实际应用。我们的论证与这篇文章有两倍，并通过本文提出过多的实验支持：我们认为i）通过ICATACK与L-INF的数据交替，EPS = 8/255是不切实际的强烈的，导致完美近似甚至通过简单的检测算法和人类观察者的对抗性样本的检测速率。我们还表明，其他攻击方法更难检测，同时实现类似的成功率。 ii）在CIFAR10这样的低分辨率数据集上导致低分辨率数据集不概括到更高的分辨率图像，因为基于梯度的攻击似乎与越来越多的分辨率变得更加可检测。

可行对抗示例的产生对于适当评估适用于受约束特征空间的模型是必要的。但是，它仍然是一个具有挑战性的任务，以强制执行用于计算机愿景的攻击。我们提出了一个统一的框架，以产生满足给定域约束的可行的对抗性示例。我们的框架支持文献中报告的使用情况，可以处理线性和非线性约束。我们将框架实例化为两种算法：基于梯度的攻击，引入损耗函数中的约束，以最大化，以及旨在错误分类，扰动最小化和约束满足的多目标搜索算法。我们展示我们的方法在不同域的两个数据集上有效，成功率高达100％，其中最先进的攻击无法生成单个可行的示例。除了对抗性再培训之外，我们还提出引入工程化的非凸起约束，以改善模型对抗性鲁棒性。我们证明这一新防御与对抗性再次一样有效。我们的框架构成了对受约束的对抗性攻击研究的起点，并提供了未来的研究可以利用的相关基线和数据集。

深度神经网络（DNN）容易受到对抗性示例的影响，其中DNN由于含有不可察觉的扰动而被误导为虚假输出。对抗性训练是一种可靠有效的防御方法，可能会大大减少神经网络的脆弱性，并成为强大学习的事实上的标准。尽管许多最近的作品实践了以数据为中心的理念，例如如何生成更好的对抗性示例或使用生成模型来产生额外的培训数据，但我们回顾了模型本身，并从深度特征分布的角度重新审视对抗性的鲁棒性有见地的互补性。在本文中，我们建议分支正交性对抗训练（BORT）获得最先进的性能，仅使用原始数据集用于对抗训练。为了练习我们整合多个正交解决方案空间的设计思想，我们利用一个简单明了的多分支神经网络，可消除对抗性攻击而不会增加推理时间。我们启发提出相应的损耗函数，分支 - 正交丢失，以使多支出模型正交的每个溶液空间。我们分别在CIFAR-10，CIFAR-100和SVHN上评估了我们的方法，分别针对\ ell _ {\ infty}的规范触发尺寸\ epsilon = 8/255。进行了详尽的实验，以表明我们的方法超出了所有最新方法，而无需任何技巧。与所有不使用其他数据进行培训的方法相比，我们的模型在CIFAR-10和CIFAR-100上实现了67.3％和41.5％的鲁棒精度（在最先进的ART上提高了 +7.23％和 +9.07％ ）。我们还使用比我们的训练组胜过比我们的方法的表现要大得多。我们所有的模型和代码均可在https://github.com/huangd1999/bort上在线获得。