由于计算成本和能耗有限，部署在移动设备中的大多数神经网络模型都很小。然而，微小的神经网络通常很容易攻击。目前的研究证明，较大的模型规模可以提高鲁棒性，但很少的研究侧重于如何增强微小神经网络的稳健性。我们的工作侧重于如何改善微小神经网络的稳健性，而不会严重恶化移动级资源下的清洁准确性。为此，我们提出了一种多目标oneShot网络架构搜索（NAS）算法，以便在对抗准确度，清洁精度和模型尺寸方面获得最佳权衡网络。具体而言，我们基于新的微小块和通道设计一种新的搜索空间，以平衡模型大小和对抗性能。此外，由于SUPERNET显着影响了我们NAS算法中子网的性能，因此我们揭示了对SuperNet如何有助于获得白盒对抗攻击下最好的子网的洞察力。具体地，我们通过分析对抗性可转移性，超空网的宽度以及从头划痕和微调训练子网之间的差异来探索新的对抗性培训范式。最后，我们对第一个非主导的前沿的某些块和通道的层面组合进行了统计分析，这可以作为设计微小神经网络架构以实现对抗性扰动的指导。

已经发现深层神经网络容易受到对抗攻击的影响，从而引起了对安全敏感的环境的潜在关注。为了解决这个问题，最近的研究从建筑的角度研究了深神经网络的对抗性鲁棒性。但是，搜索深神经网络的体系结构在计算上是昂贵的，尤其是当与对抗性训练过程相结合时。为了应对上述挑战，本文提出了双重主体神经体系结构搜索方法。首先，我们制定了NAS问题，以增强深度神经网络的对抗性鲁棒性为多目标优化问题。具体而言，除了低保真绩效预测器作为第一个目标外，我们还利用辅助目标 - 其值是经过高保真评估训练的替代模型的输出。其次，我们通过结合三种性能估计方法，即参数共享，低保真评估和基于替代的预测指标来降低计算成本。在CIFAR-10，CIFAR-100和SVHN数据集上进行的广泛实验证实了所提出的方法的有效性。

Deep neural networks (DNNs) are found to be vulnerable to adversarial attacks, and various methods have been proposed for the defense. Among these methods, adversarial training has been drawing increasing attention because of its simplicity and effectiveness. However, the performance of the adversarial training is greatly limited by the architectures of target DNNs, which often makes the resulting DNNs with poor accuracy and unsatisfactory robustness. To address this problem, we propose DSARA to automatically search for the neural architectures that are accurate and robust after adversarial training. In particular, we design a novel cell-based search space specially for adversarial training, which improves the accuracy and the robustness upper bound of the searched architectures by carefully designing the placement of the cells and the proportional relationship of the filter numbers. Then we propose a two-stage search strategy to search for both accurate and robust neural architectures. At the first stage, the architecture parameters are optimized to minimize the adversarial loss, which makes full use of the effectiveness of the adversarial training in enhancing the robustness. At the second stage, the architecture parameters are optimized to minimize both the natural loss and the adversarial loss utilizing the proposed multi-objective adversarial training method, so that the searched neural architectures are both accurate and robust. We evaluate the proposed algorithm under natural data and various adversarial attacks, which reveals the superiority of the proposed method in terms of both accurate and robust architectures. We also conclude that accurate and robust neural architectures tend to deploy very different structures near the input and the output, which has great practical significance on both hand-crafting and automatically designing of accurate and robust neural architectures.

Recently, Neural architecture search has achieved great success on classification tasks for mobile devices. The backbone network for object detection is usually obtained on the image classification task. However, the architecture which is searched through the classification task is sub-optimal because of the gap between the task of image and object detection. As while work focuses on backbone network architecture search for mobile device object detection is limited, mainly because the backbone always requires expensive ImageNet pre-training. Accordingly, it is necessary to study the approach of network architecture search for mobile device object detection without expensive pre-training. In this work, we propose a mobile object detection backbone network architecture search algorithm which is a kind of evolutionary optimized method based on non-dominated sorting for NAS scenarios. It can quickly search to obtain the backbone network architecture within certain constraints. It better solves the problem of suboptimal linear combination accuracy and computational cost. The proposed approach can search the backbone networks with different depths, widths, or expansion sizes via a technique of weight mapping, making it possible to use NAS for mobile devices detection tasks a lot more efficiently. In our experiments, we verify the effectiveness of the proposed approach on YoloX-Lite, a lightweight version of the target detection framework. Under similar computational complexity, the accuracy of the backbone network architecture we search for is 2.0% mAP higher than MobileDet. Our improved backbone network can reduce the computational effort while improving the accuracy of the object detection network. To prove its effectiveness, a series of ablation studies have been carried out and the working mechanism has been analyzed in detail.

Adversarial training (AT) is one of the most effective ways for improving the robustness of deep convolution neural networks (CNNs). Just like common network training, the effectiveness of AT relies on the design of basic network components. In this paper, we conduct an in-depth study on the role of the basic ReLU activation component in AT for robust CNNs. We find that the spatially-shared and input-independent properties of ReLU activation make CNNs less robust to white-box adversarial attacks with either standard or adversarial training. To address this problem, we extend ReLU to a novel Sparta activation function (Spatially attentive and Adversarially Robust Activation), which enables CNNs to achieve both higher robustness, i.e., lower error rate on adversarial examples, and higher accuracy, i.e., lower error rate on clean examples, than the existing state-of-the-art (SOTA) activation functions. We further study the relationship between Sparta and the SOTA activation functions, providing more insights about the advantages of our method. With comprehensive experiments, we also find that the proposed method exhibits superior cross-CNN and cross-dataset transferability. For the former, the adversarially trained Sparta function for one CNN (e.g., ResNet-18) can be fixed and directly used to train another adversarially robust CNN (e.g., ResNet-34). For the latter, the Sparta function trained on one dataset (e.g., CIFAR-10) can be employed to train adversarially robust CNNs on another dataset (e.g., SVHN). In both cases, Sparta leads to CNNs with higher robustness than the vanilla ReLU, verifying the flexibility and versatility of the proposed method.

神经进化可以通过应用进化计算的技术来自动化人工神经网络的产生。这些方法的主要目标是构建最大程度地提高预测性能的模型，有时还具有最大程度地减少计算复杂性的目标。尽管演变的模型在竞争成果方面取得了竞争成果，但它们对对抗性实例的稳健性（在关键方案中成为关注点）受到了有限的关注。在本文中，我们评估了通过CIFAR-10图像分类任务的两种突出的神经进化方法发现的模型的对抗性鲁棒性：密度和NSGA-NET。由于这些模型是公开可用的，因此我们考虑白盒不靶向的攻击，其中扰动是由L2或Linfital-norm界定的。与手动设计的网络类似，我们的结果表明，当通过迭代方法攻击演变的模型时，它们的准确性通常在两个距离指标下降至或接近零。密集的模型是这种趋势的例外，显示了L2威胁模型下的某些阻力，即使在迭代攻击中，其精度也从93.70％下降到18.10％。此外，我们分析了在网络第一层之前应用于数据的预处理的影响。我们的观察结果表明，其中一些技术会加剧添加到原始输入中的扰动，从而可能损害鲁棒性。因此，当自动设计网络的应用程序时，不应忽略此选择。

在变异场景中已经揭示了对抗性实例的现象。最近的研究表明，精心设计的对抗性防御策略可以改善深度学习模型针对对抗性例子的鲁棒性。但是，随着国防技术的快速发展，由于现有手动设计的对抗性攻击的性能较弱，因此很难评估防御模型的鲁棒性。为了应对挑战，鉴于防御模型，需要进一步利用有效的对抗性攻击，较少的计算负担和较低的健壮精度。因此，我们提出了一种用于自动对抗攻击优化设计的多目标模因算法，该算法实现了对近乎最佳的对抗性攻击对防御模型的近乎最佳的对抗性攻击。首先，构建了自动对抗攻击优化设计的更通用的数学模型，其中搜索空间不仅包括攻击者操作，大小，迭代号和损失功能，还包括多个对抗性攻击的连接方式。此外，我们开发了一种组合NSGA-II和本地搜索以解决优化问题的多目标模因算法。最后，为了降低搜索过程中的评估成本，我们根据模型输出的每个图像的跨熵损失值的排序提出了代表性的数据选择策略。关于CIFAR10，CIFAR100和Imagenet数据集的实验显示了我们提出的方法的有效性。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

有必要提高某些特殊班级的表现，或者特别保护它们免受对抗学习的攻击。本文提出了一个将成本敏感分类和对抗性学习结合在一起的框架，以训练可以区分受保护和未受保护的类的模型，以使受保护的类别不太容易受到对抗性示例的影响。在此框架中，我们发现在训练深神经网络（称为Min-Max属性）期间，一个有趣的现象，即卷积层中大多数参数的绝对值。基于这种最小的最大属性，该属性是在随机分布的角度制定和分析的，我们进一步建立了一个针对对抗性示例的新防御模型，以改善对抗性鲁棒性。构建模型的一个优点是，它的性能比标准模型更好，并且可以与对抗性训练相结合，以提高性能。在实验上证实，对于所有类别的平均准确性，我们的模型在没有发生攻击时几乎与现有模型一样，并且在发生攻击时比现有模型更好。具体而言，关于受保护类的准确性，提议的模型比发生攻击时的现有模型要好得多。

许多研究表明，深度神经网络很容易被对抗例误导。有效地评估模型的对抗性稳健性对于其在实际应用中的部署方面是重要的。目前，一种常见的评估类型是通过构建恶意实例和执行攻击来近似模型作为稳健性指标的对抗风险。不幸的是，近似值与真值之间存在错误（间隙）。以前的研究手动设计攻击方法以实现更小的错误，这是效率低下，可能会错过更好的解决方案。在本文中，我们建立了近似误差的收紧作为优化问题，并尝试用算法解决它。更具体地说，首先分析用替代损失替换非凸面和不连续的0-1损失，在计算近似时需要必要的妥协，是错误的主要原因之一。然后我们提出Autoloss-AR，这是搜索损失功能的第一种方法，用于收紧对抗风险的近似误差。广泛的实验是在多种设置中进行的。结果证明了该方法的有效性：最佳发现的损失函数分别在Mnist和CiFar-10上占据了手工基线的0.9％-2.9％和0.7％-2.0％。此外，我们还验证搜索后的损失可以转移到其他设置，并探索它们通过可视化本地丢失景观来探索它们优于基线。

神经结构搜索（NAS）引起了日益增长的兴趣。为了降低搜索成本，最近的工作已经探讨了模型的重量分享，并在单枪NAS进行了重大进展。然而，已经观察到，单次模型精度较高的模型并不一定在独立培训时更好地执行更好。为了解决这个问题，本文提出了搜索空间的逐步自动设计，名为Pad-NAS。与超字幕中的所有层共享相同操作搜索空间的先前方法不同，我们根据操作修剪制定逐行搜索策略，并构建层面操作搜索空间。通过这种方式，Pad-NAS可以自动设计每层的操作，并在搜索空间质量和模型分集之间实现权衡。在搜索过程中，我们还考虑了高效神经网络模型部署的硬件平台约束。关于Imagenet的广泛实验表明我们的方法可以实现最先进的性能。

已知深神经网络（DNN）容易受到对抗性攻击的影响，即对输入的不可察觉的扰动可以误导DNN在清洁图像上培训，以制造错误的预测。为了解决这一目标，对抗性训练是目前最有效的防御方法，通过增强速度设定的训练，在飞行中产生的对抗样本。有趣的是，我们首次发现，在随机初始化的网络中，在没有任何模型训练的随机初始化网络中，第一次发现具有天生稳健性，匹配或超越对抗训练网络的强大准确性的鲁棒准确性，表明对模型权重的对抗训练不是对抗性鲁棒性不可或缺。我们命名为强大的临时票故障票（RST），也是自然效率的那种。不同于流行的彩票假设，既不需要培训原始密集的网络也不需要训练。为了验证和理解这种迷人的发现，我们进一步开展了广泛的实验，以研究不同模型，数据集，稀疏模式和攻击下RST的存在性和性质，绘制关于DNNS鲁棒性与其初始化/过度分辨率之间的关系的洞察。此外，我们确定从同一随机初始化的密集网络绘制的不同稀疏比率的RST之间的差的对抗性转移性，并提出了一种随机切换不同RST之间的随机切换的随机性，作为基于顶部的新型防御方法第一次。我们相信我们对RST的调查结果已经开辟了一个新的视角，以研究模型稳健性并扩大彩票假设。

已知深神经网络（DNN）容易受到对抗性攻击的影响。已经提出了一系列防御方法来培训普遍稳健的DNN，其中对抗性培训已经证明了有希望的结果。然而，尽管对对抗性培训开发的初步理解，但从架构角度来看，它仍然不明确，从架构角度来看，什么配置可以导致更强大的DNN。在本文中，我们通过全面调查网络宽度和深度对前对方培训的DNN的鲁棒性的全面调查来解决这一差距。具体地，我们进行以下关键观察：1）更多参数（更高的模型容量）不一定有助于对抗冒险; 2）网络的最后阶段（最后一组块）降低能力实际上可以改善对抗性的鲁棒性; 3）在相同的参数预算下，存在对抗性鲁棒性的最佳架构配置。我们还提供了一个理论分析，解释了为什么这种网络配置可以帮助鲁棒性。这些架构见解可以帮助设计对抗的强制性DNN。代码可用于\ url {https://github.com/hanxunh/robustwrn}。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

对抗训练（AT）在防御对抗例子方面表现出色。最近的研究表明，示例对于AT期间模型的最终鲁棒性并不同样重要，即，所谓的硬示例可以攻击容易表现出比对最终鲁棒性的鲁棒示例更大的影响。因此，保证硬示例的鲁棒性对于改善模型的最终鲁棒性至关重要。但是，定义有效的启发式方法来寻找辛苦示例仍然很困难。在本文中，受到信息瓶颈（IB）原则的启发，我们发现了一个具有高度共同信息及其相关的潜在表示的例子，更有可能受到攻击。基于此观察，我们提出了一种新颖有效的对抗训练方法（Infoat）。鼓励Infoat找到具有高相互信息的示例，并有效利用它们以提高模型的最终鲁棒性。实验结果表明，与几种最先进的方法相比，Infoat在不同数据集和模型之间达到了最佳的鲁棒性。

神经网络容易受到对抗性攻击的影响：为其输入添加良好的难以察觉的扰动可以修改它们的输出。对抗性培训是针对这种攻击训练强大模型的最有效的方法之一。然而，它比Vanilla训练的神经网络训练慢得多，因为它需要在每次迭代时构建整个训练数据的对抗性示例，这阻碍了其有效性。最近，提出了快速的对抗培训，可以有效地获得强大的模型。然而，其成功背后的原因尚未完全理解，更重要的是，它只能为$ \ ell_ \ infty $ -bounded攻击培训强大的模型，因为它在训练期间使用FGSM。在本文中，通过利用Coreset选择理论，我们展示了如何选择小型培训数据的子集，以减少强大培训的时间复杂性提供更原则的方法。与现有方法不同，我们的方法可以适应各种各样的培训目标，包括交易，$ \ ell_p $ -pgd和感知对抗培训。我们的实验结果表明，我们的方法将对抗性训练速度升高2-3次，同时经历清洁和稳健的准确性的少量减少。

积极调查深度神经网络的对抗鲁棒性。然而，大多数现有的防御方法限于特定类型的对抗扰动。具体而言，它们通常不能同时为多次攻击类型提供抵抗力，即，它们缺乏多扰动鲁棒性。此外，与图像识别问题相比，视频识别模型的对抗鲁棒性相对未开发。虽然有几项研究提出了如何产生对抗性视频，但在文献中只发表了关于防御策略的少数关于防御策略的方法。在本文中，我们提出了用于视频识别的多种抗逆视频的第一战略之一。所提出的方法称为Multibn，使用具有基于学习的BN选择模块的多个独立批量归一化（BN）层对多个对冲视频类型进行对抗性训练。利用多个BN结构，每个BN Brach负责学习单个扰动类型的分布，从而提供更精确的分布估计。这种机制有利于处理多种扰动类型。 BN选择模块检测输入视频的攻击类型，并将其发送到相应的BN分支，使MultiBN全自动并允许端接训练。与目前的对抗训练方法相比，所提出的Multibn对不同甚至不可预见的对抗性视频类型具有更强的多扰动稳健性，从LP界攻击和物理上可实现的攻击范围。在不同的数据集和目标模型上保持真实。此外，我们进行了广泛的分析，以研究多BN结构的性质。

愚弄深度神经网络（DNN）与黑匣子优化已成为一种流行的对抗攻击方式，因为DNN的结构先验知识始终是未知的。尽管如此，最近的黑匣子对抗性攻击可能会努力平衡其在解决高分辨率图像中产生的对抗性示例（AES）的攻击能力和视觉质量。在本文中，我们基于大规模的多目标进化优化，提出了一种关注引导的黑盒逆势攻击，称为LMOA。通过考虑图像的空间语义信息，我们首先利用注意图来确定扰动像素。而不是攻击整个图像，减少了具有注意机制的扰动像素可以有助于避免维度的臭名臭氧，从而提高攻击性能。其次，采用大规模的多目标进化算法在突出区域中遍历降低的像素。从其特征中受益，所产生的AES有可能在人类视力不可知的同时愚弄目标DNN。广泛的实验结果已经验证了所提出的LMOA在ImageNet数据集中的有效性。更重要的是，与现有的黑匣子对抗性攻击相比，产生具有更好的视觉质量的高分辨率AE更具竞争力。

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.Equal contribution. This work is done when Haoyuan Mu and Zechun Liu are interns at MEGVII Technology.