随着向设备深度学习的转变，确保在各种计算平台上的AI服务的一致行为变得非常重要。我们的工作解决了降低视力倒数的预测不一致的新兴问题：由较不准确的模型正确预测但错误地预测的测试样品。我们介绍了回归约束的神经体系结构搜索（Reg-NAS），以设计一个高度准确的模型家庭，这些模型会导致更少的负面流动。 Reg-NAS由两个组成部分组成：（1）一种新型的体系结构约束，使较大的模型能够包含较小的权重，从而最大化权重共享。这一想法源于我们的观察结果，即网络之间的重量较大会导致相似的样本预测，并导致负面量较少。 （2）一种新颖的搜索奖励，在体系结构搜索指标中同时结合了TOP-1的准确性和负面翻转。我们证明，\ regnas可以在三个流行的架构搜索空间中成功找到具有很少负面额的理想体系结构。与现有的最新方法相比，Reg-NAS可实现33-48％的负面流量相对减少。

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.Equal contribution. This work is done when Haoyuan Mu and Zechun Liu are interns at MEGVII Technology.

神经结构搜索（NAS）引起了日益增长的兴趣。为了降低搜索成本，最近的工作已经探讨了模型的重量分享，并在单枪NAS进行了重大进展。然而，已经观察到，单次模型精度较高的模型并不一定在独立培训时更好地执行更好。为了解决这个问题，本文提出了搜索空间的逐步自动设计，名为Pad-NAS。与超字幕中的所有层共享相同操作搜索空间的先前方法不同，我们根据操作修剪制定逐行搜索策略，并构建层面操作搜索空间。通过这种方式，Pad-NAS可以自动设计每层的操作，并在搜索空间质量和模型分集之间实现权衡。在搜索过程中，我们还考虑了高效神经网络模型部署的硬件平台约束。关于Imagenet的广泛实验表明我们的方法可以实现最先进的性能。

针对变压器的神经体系结构搜索（NAS）已用于创建针对某些延迟约束的最新模型。在这项工作中，我们提出了更大，更快的速度，这是一种新颖的量化参数共享NAS，它为8位整数（INT8）量化变压器的架构。我们的结果表明，我们的方法能够产生胜过当前最新技术的BERT模型，即Autotinybert，我们测试了所有潜伏期目标，达到了2.68％的准确性增益。此外，尽管我们技术发现的模型的参数数量比float32的参数数量更大，但由于其参数为INT8，但它们的内存足迹大大较小。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

卷积神经网络（CNNS）用于许多现实世界应用，例如基于视觉的自主驾驶和视频内容分析。要在各种目标设备上运行CNN推断，硬件感知神经结构搜索（NAS）至关重要。有效的硬件感知NAS的关键要求是对推理延迟的快速评估，以便对不同的架构进行排名。在构建每个目标设备的延迟预测器的同时，在本领域中通常使用，这是一个非常耗时的过程，在极定的设备存在下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战 - 不同设备上的架构延迟排名通常相关。当存在强烈的延迟单调性时，我们可以重复使用在新目标设备上搜索一个代理设备的架构，而不会丢失最佳状态。在没有强烈的延迟单调性的情况下，我们提出了一种有效的代理适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并在多个主流搜索空间上使用不同平台的设备进行实验，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，Proxylessnas和FBNet。我们的结果突出显示，通过仅使用一个代理设备，我们可以找到几乎与现有的每个设备NAS相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的禁止成本。 github：https://github.com/ren-research/oneproxy.

我们介绍了延迟感知网络加速度（LANA） - 一种在神经结构上建立的方法，用于加速神经网络的神经结构搜索技术和教师学生蒸馏。 Lana由两个阶段组成：在第一阶段，它会使用层面特征映射蒸馏来列举每层教师网络的许多替代操作。在第二阶段，它解决了使用新颖的整数线性优化（ILP）方法的有效操作的组合选择。 ILP带来独特的属性，因为它（i）在几秒钟内执行NAS，（ii）轻松满足预算约束，（iii）在图层粒度上工作，（iv）支持巨大的搜索空间$ o（10 ^ { 100}）$，超越先前的搜索方法，效率和效率。在广泛的实验中，我们表明Lana产生了由目标潜伏期预算限制的有效和准确的模型，同时比其他技术明显快。我们分析了三个流行的网络架构：高效的网络，高效网络和reses，并在压缩较大模型的较小模型的延迟级别时，实现所有型号（高达3.0 \％$）的准确性改进。 Lana通过GPU和CPU实现显着的加速（高达5美元\倍），以没有准确性下降。代码将很快分享。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

Designing accurate and efficient ConvNets for mobile devices is challenging because the design space is combinatorially large. Due to this, previous neural architecture search (NAS) methods are computationally expensive. ConvNet architecture optimality depends on factors such as input resolution and target devices. However, existing approaches are too resource demanding for case-by-case redesigns. Also, previous work focuses primarily on reducing FLOPs, but FLOP count does not always reflect actual latency. To address these, we propose a differentiable neural architecture search (DNAS) framework that uses gradient-based methods to optimize Con-vNet architectures, avoiding enumerating and training individual architectures separately as in previous methods. FBNets (Facebook-Berkeley-Nets), a family of models discovered by DNAS surpass state-of-the-art models both designed manually and generated automatically. FBNet-B achieves 74.1% top-1 accuracy on ImageNet with 295M FLOPs and 23.1 ms latency on a Samsung S8 phone, 2.4x smaller and 1.5x faster than MobileNetV2-1.3[17] with similar accuracy. Despite higher accuracy and lower latency than MnasNet[20], we estimate FBNet-B's search cost is 420x smaller than MnasNet's, at only 216 GPUhours. Searched for different resolutions and channel sizes, FBNets achieve 1.5% to 6.4% higher accuracy than Mo-bileNetV2. The smallest FBNet achieves 50.2% accuracy and 2.9 ms latency (345 frames per second) on a Samsung S8. Over a Samsung-optimized FBNet, the iPhone-Xoptimized model achieves a 1.4x speedup on an iPhone X. FBNet models are open-sourced at https://github. com/facebookresearch/mobile-vision. * Work done while interning at Facebook.… Figure 1. Differentiable neural architecture search (DNAS) for ConvNet design. DNAS explores a layer-wise space that each layer of a ConvNet can choose a different block. The search space is represented by a stochastic super net. The search process trains the stochastic super net using SGD to optimize the architecture distribution. Optimal architectures are sampled from the trained distribution. The latency of each operator is measured on target devices and used to compute the loss for the super net.

为了部署，神经架构搜索应该是硬件感知的，以满足设备特定的约束（例如，内存使用，延迟和能量消耗），并提高模型效率。硬件感知NAS的现有方法从目标设备收集大量样本（例如，精度和延迟），要么构建查找表或延迟估计器。然而，这种方法在现实世界方案中是不切实际的，因为存在具有不同硬件规格的许多器件，并从这些大量设备收集样本将需要禁止的计算和货币成本。为了克服这些限制，我们提出了硬件 - 自适应高效延迟预测器（帮助），其将设备特定的延迟估计问题交给了元学习问题，使得我们可以估计模型对给定任务的性能的延迟有一些样品的看不见的装置。为此，我们引入了新颖的硬件嵌入，将任何设备嵌入，将其视为输出延迟的黑盒功能，并使用硬件嵌入式以设备依赖方式学习硬件自适应延迟预测器。我们验证了在看不见的平台上实现了延迟估计性能的提议帮助，其中它达到了高估计性能，少于10个测量样本，优于所有相关基线。我们还验证了在没有它的帮助下使用帮助的端到端NAS框架，并表明它在很大程度上降低了基础NAS方法的总时间成本，在延迟约束的设置中。代码可在https://github.com/hayeonlee/help获得。

知识蒸馏（KD）最近成为压缩神经网络的一种流行方法。在最近的研究中，已经提出了同时找到学生模型的参数和体系结构的广义蒸馏方法。尽管如此，这种搜索方法仍需要大量的计算来搜索体系结构，并且缺点是仅考虑其搜索空间中的卷积块。本文介绍了一种新的算法，认为是信任区域意识架构搜索以有效提炼知识（贸易），该算法迅速找到了使用信任区域贝叶斯优化方法从几种最先进的架构中找到有效的学生体系结构。实验结果表明，我们提出的贸易算法始终优于KD培训下的常规NAS方法和预定义的架构。

从搜索效率中受益，可区分的神经体系结构搜索（NAS）已发展为自动设计竞争性深神经网络（DNNS）的最主要替代品。我们注意到，必须在现实世界中严格的性能限制下执行DNN，例如，自动驾驶汽车的运行时间延迟。但是，要获得符合给定性能限制的体系结构，先前的硬件可区分的NAS方法必须重复多次搜索运行，以通过反复试验和错误手动调整超参数，因此总设计成本会成比例地增加。为了解决这个问题，我们引入了一个轻巧的硬件可区分的NAS框架，称为lightnas，努力找到所需的架构，通过一次性搜索来满足各种性能约束（即，\ \ suesperline {\ textIt {您只搜索一次}}）） 。进行了广泛的实验，以显示LINDNA的优越性，而不是先前的最新方法。

神经体系结构搜索（NAS）的主要挑战之一是有效地对体系结构的性能进行排名。绩效排名者的主流评估使用排名相关性（例如，肯德尔的tau），这对整个空间都同样关注。但是，NAS的优化目标是识别顶级体系结构，同时对搜索空间中其他体系结构的关注更少。在本文中，我们从经验和理论上都表明，标准化的累积累积增益（NDCG）对于排名者来说是一个更好的指标。随后，我们提出了一种新算法Acenas，该算法直接通过Lambdarank优化NDCG。它还利用体重共享NAS产生的弱标签来预先培训排名，以便进一步降低搜索成本。对12个NAS基准和大规模搜索空间进行的广泛实验表明，我们的方法始终超过SOTA NAS方法，精度提高了3.67％，搜索成本降低了8倍。

Designing convolutional neural networks (CNN) for mobile devices is challenging because mobile models need to be small and fast, yet still accurate. Although significant efforts have been dedicated to design and improve mobile CNNs on all dimensions, it is very difficult to manually balance these trade-offs when there are so many architectural possibilities to consider. In this paper, we propose an automated mobile neural architecture search (MNAS) approach, which explicitly incorporate model latency into the main objective so that the search can identify a model that achieves a good trade-off between accuracy and latency. Unlike previous work, where latency is considered via another, often inaccurate proxy (e.g., FLOPS), our approach directly measures real-world inference latency by executing the model on mobile phones. To further strike the right balance between flexibility and search space size, we propose a novel factorized hierarchical search space that encourages layer diversity throughout the network. Experimental results show that our approach consistently outperforms state-of-the-art mobile CNN models across multiple vision tasks. On the ImageNet classification task, our MnasNet achieves 75.2% top-1 accuracy with 78ms latency on a Pixel phone, which is 1.8× faster than MobileNetV2 [29] with 0.5% higher accuracy and 2.3× faster than NASNet [36] with 1.2% higher accuracy. Our MnasNet also achieves better mAP quality than MobileNets for COCO object detection. Code is at https://github.com/tensorflow/tpu/ tree/master/models/official/mnasnet.

边缘设备上卷积神经网络（CNN）的部署受到性能要求和可用处理能力之间的巨大差距的阻碍。尽管最近的研究在开发网络修剪方法以减少CNN的计算开销方面取得了长足的进步，但仍然存在相当大的准确性损失，尤其是在高修剪比率下。质疑为非封闭网络设计的架构可能对修剪网络没有效，我们建议通过定义新的搜索空间和新颖的搜索目标来搜索架构修剪方法。为了改善修剪网络的概括，我们提出了两个新型的原始孔和prunedlinearaare操作。具体而言，这些操作通过正规化修剪网络的目标函数来缓解不稳定梯度的问题。提出的搜索目标使我们能够培训有关修剪权重元素的体系结构参数。定量分析表明，我们的搜索架构优于在CIFAR-10和Imagenet上最先进的修剪网络中使用的体系结构。就硬件效率而言，PR-DARTS将Mobilenet-V2的准确性从73.44％提高到81.35％（+7.91％提高），并且运行3.87 $ \ times $的速度更快。

AD相关建模在包括Microsoft Bing在内的在线广告系统中起着至关重要的作用。为了利用强大的变压器在这种低延迟设置中，许多现有方法脱机执行广告端计算。虽然有效，但这些方法无法提供冷启动广告，从而导致对此类广告的相关性预测不佳。这项工作旨在通过结构化修剪设计一种新的低延迟BERT，以在CPU平台上授权实时在线推断对Cold Start Ads相关性。我们的挑战是，以前的方法通常将变压器的所有层都缩减为高，均匀的稀疏性，从而产生无法以可接受的精度实现令人满意的推理速度的模型。在本文中，我们提出了SwiftPruner - 一个有效的框架，利用基于进化的搜索自动在所需的延迟约束下自动找到表现最佳的稀疏BERT模型。与进行随机突变的现有进化算法不同，我们提出了一个具有潜伏意见的多目标奖励的增强突变器，以进行更好的突变，以有效地搜索层稀疏模型的大空间。广泛的实验表明，与均匀的稀疏基线和最先进的搜索方法相比，我们的方法始终达到更高的ROC AUC和更低的潜伏度。值得注意的是，根据我们在1900年的延迟需求，SwiftPruner的AUC比Bert-Mini在大型现实世界数据集中的最先进的稀疏基线高0.86％。在线A/B测试表明，我们的模型还达到了有缺陷的冷启动广告的比例，并获得了令人满意的实时服务延迟。

现有的光流估计器通常采用通常用于图像分类的网络体系结构作为提取人均功能的编码器。但是，由于任务之间的自然差异，用于图像分类的架构可能是最佳的流量估计。为了解决此问题，我们建议一种名为Falownas的神经体系结构搜索方法，以自动找到用于流估计任务的更好的编码器体系结构。我们首先设计一个合适的搜索空间，包括各种卷积运算符，并构建一个体重共享的超级网络，以有效评估候选体系结构。然后，为了更好地训练超级网络，我们提出了特征对齐蒸馏，该蒸馏利用训练有素的流量估计器来指导超级网络的训练。最后，利用资源约束的进化算法找到最佳体系结构（即子网络）。实验结果表明，从超级网络继承的权重的发现的结构达到了4.67 \％f1-able kitti上的误差，这是RAFT基线的8.4 \％降低，超过了先进的手工制作的型号GMA和AGFlow，同时降低模型的复杂性和延迟。源代码和训练有素的模型将在https://github.com/vdigpku/flownas中发布。

功能提取器在文本识别（TR）中起着至关重要的作用，但是由于昂贵的手动调整，自定义其体系结构的探索相对较少。在这项工作中，受神经体系结构搜索（NAS）的成功启发，我们建议搜索合适的功能提取器。我们通过探索具有良好功能提取器的原理来设计特定于域的搜索空间。该空间包括用于空间模型的3D结构空间和顺序模型的基于转换的空间。由于该空间是巨大且结构复杂的，因此无法应用现有的NAS算法。我们提出了一种两阶段算法，以有效地在空间中进行搜索。在第一阶段，我们将空间切成几个块，并借助辅助头逐步训练每个块。我们将延迟约束引入第二阶段，并通过自然梯度下降从受过训练的超级网络搜索子网络。在实验中，进行了一系列消融研究，以更好地了解设计的空间，搜索算法和搜索架构。我们还将所提出的方法与手写和场景TR任务上的各种最新方法进行了比较。广泛的结果表明，我们的方法可以以较小的延迟获得更好的识别性能。

本文提出了一种用于拆分计算的神经体系结构搜索（NAS）方法。拆分计算是一种新兴的机器学习推理技术，可解决在物联网系统中部署深度学习的隐私和延迟挑战。在拆分计算中，神经网络模型通过网络使用Edge服务器和IoT设备进行了分离和合作处理。因此，神经网络模型的体系结构显着影响通信有效载荷大小，模型准确性和计算负载。在本文中，我们解决了优化神经网络体系结构以进行拆分计算的挑战。为此，我们提出了NASC，该NASC共同探讨了最佳模型架构和一个拆分点，以达到延迟需求（即，计算和通信的总延迟较小，都比某个阈值较小）。 NASC采用单发NAS，不需要重复模型培训进行计算高效的体系结构搜索。我们使用硬件（HW） - 基准数据的NAS基础的绩效评估表明，拟议的NASC可以改善``通信潜伏期和模型准确性''的权衡，即，将延迟降低了约40-60％，从基线降低了约40-60％有轻微的精度降解。

现有的神经结构搜索算法主要在具有短距离连接的搜索空间上。我们争辩说，这种设计虽然安全稳定，障碍搜索算法从探索更复杂的情景。在本文中，我们在具有长距离连接的复杂搜索空间上构建搜索算法，并显示现有的权重共享搜索算法由于存在\ TextBF {交织连接}而大部分失败。基于观察，我们介绍了一个名为\ textbf {if-nas}的简单且有效的算法，在那里我们在搜索过程中执行定期采样策略来构建不同的子网，避免在任何中的交织连接出现。在所提出的搜索空间中，IF-NAS优于随机采样和先前的重量共享搜索算法，通过显着的余量。 IF-NAS还推广到微单元的空间，这些空间更容易。我们的研究强调了宏观结构的重要性，我们期待沿着这个方向进一步努力。