最近的神经结构搜索（NAS）解决方案已经生产出令人印象深刻的结果培训超级网络，然后派生子网，A.K.A.儿童模型从预定义的搜索空间中胜过专家制作的模型。可以为资源受限的边缘设备选择高效且强大的子网，允许它们在野外执行良好。然而，构建任意架构的超级网络仍然是一种挑战，通常可以防止采用这些方法。为了解决这一挑战，我们呈现Bootstrapnas，这是一种自动生成NAS的超网络的软件框架。 Bootstrapnas从流行的体系结构，例如Reset-50或有效的自定义设计中获取预先训练的模型，并自动创建超网络，然后使用最先进的NAS技术来训练超级网络，导致子网，显着优于给定的预先训练模型。我们通过从任意模型存储库生成超级网络并提供结果的超网络来展示解决方案，以获得结果的再现性。

Recently, Neural architecture search has achieved great success on classification tasks for mobile devices. The backbone network for object detection is usually obtained on the image classification task. However, the architecture which is searched through the classification task is sub-optimal because of the gap between the task of image and object detection. As while work focuses on backbone network architecture search for mobile device object detection is limited, mainly because the backbone always requires expensive ImageNet pre-training. Accordingly, it is necessary to study the approach of network architecture search for mobile device object detection without expensive pre-training. In this work, we propose a mobile object detection backbone network architecture search algorithm which is a kind of evolutionary optimized method based on non-dominated sorting for NAS scenarios. It can quickly search to obtain the backbone network architecture within certain constraints. It better solves the problem of suboptimal linear combination accuracy and computational cost. The proposed approach can search the backbone networks with different depths, widths, or expansion sizes via a technique of weight mapping, making it possible to use NAS for mobile devices detection tasks a lot more efficiently. In our experiments, we verify the effectiveness of the proposed approach on YoloX-Lite, a lightweight version of the target detection framework. Under similar computational complexity, the accuracy of the backbone network architecture we search for is 2.0% mAP higher than MobileDet. Our improved backbone network can reduce the computational effort while improving the accuracy of the object detection network. To prove its effectiveness, a series of ablation studies have been carried out and the working mechanism has been analyzed in detail.

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

神经结构搜索（NAS）引起了日益增长的兴趣。为了降低搜索成本，最近的工作已经探讨了模型的重量分享，并在单枪NAS进行了重大进展。然而，已经观察到，单次模型精度较高的模型并不一定在独立培训时更好地执行更好。为了解决这个问题，本文提出了搜索空间的逐步自动设计，名为Pad-NAS。与超字幕中的所有层共享相同操作搜索空间的先前方法不同，我们根据操作修剪制定逐行搜索策略，并构建层面操作搜索空间。通过这种方式，Pad-NAS可以自动设计每层的操作，并在搜索空间质量和模型分集之间实现权衡。在搜索过程中，我们还考虑了高效神经网络模型部署的硬件平台约束。关于Imagenet的广泛实验表明我们的方法可以实现最先进的性能。

我们提出了三种新型的修剪技术，以提高推理意识到的可区分神经结构搜索（DNAS）的成本和结果。首先，我们介绍了DNA的随机双路构建块，它可以通过内存和计算复杂性在内部隐藏尺寸上进行搜索。其次，我们在搜索过程中提出了一种在超级网的随机层中修剪块的算法。第三，我们描述了一种在搜索过程中修剪不必要的随机层的新技术。由搜索产生的优化模型称为Prunet，并在Imagenet Top-1图像分类精度的推理潜伏期中为NVIDIA V100建立了新的最先进的Pareto边界。将Prunet作为骨架还优于COCO对象检测任务的GPUNET和EFIDENENET，相对于平均平均精度（MAP）。

Dynamic neural networks (DyNNs) have become viable techniques to enable intelligence on resource-constrained edge devices while maintaining computational efficiency. In many cases, the implementation of DyNNs can be sub-optimal due to its underlying backbone architecture being developed at the design stage independent of both: (i) the dynamic computing features, e.g. early exiting, and (ii) the resource efficiency features of the underlying hardware, e.g., dynamic voltage and frequency scaling (DVFS). Addressing this, we present HADAS, a novel Hardware-Aware Dynamic Neural Architecture Search framework that realizes DyNN architectures whose backbone, early exiting features, and DVFS settings have been jointly optimized to maximize performance and resource efficiency. Our experiments using the CIFAR-100 dataset and a diverse set of edge computing platforms have seen HADAS dynamic models achieve up to 57% energy efficiency gains compared to the conventional dynamic ones while maintaining the desired level of accuracy scores. Our code is available at https://github.com/HalimaBouzidi/HADAS

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

关键字斑点（KWS）已成为许多智能设备的不可或缺的一部分，因为音频是与这些设备交互的最有效方法之一。 KWS解决方案的准确性和性能一直是研究人员的主要焦点，并且由于深入学习，在这个领域取得了实质性的进展。然而，随着KWS的使用传播到IOT设备中，除了性能之外，能量效率成为一个非常关键的要求。我们相信在硬件和神经网络（NN）模型架构中都会寻求功率优化的KWS解决方案在文献中的许多解决方案中是有利的，其中主要考虑了问题的架构方面。在这项工作中，我们通过考虑在MAX78000的部署端，超低功耗CNN加速器的端到端能效设计了优化的KWS CNN模型。通过组合的硬件和型号优化方法，我们实现了12个类的96.3 \％精度，同时仅消耗了每次推断的251 UJ。我们将结果与文献中的其他基于小型神经网络的KWS解决方案进行比较。此外，我们在功率优化的ARM Cortex-M4F中分享我们模型的能量消耗，以便为了清楚起见，描绘了所选硬件的有效性。

压缩预训练的深度神经网络的任务吸引了研究社区的广泛兴趣，因为它在使从业人员摆脱数据访问要求方面的巨大好处。在该域中，低级别的近似是一种有前途的方法，但是现有的解决方案被认为是限制的设计选择，并且未能有效地探索设计空间，从而导致严重的准确性降解和有限的压缩比达到了有限。为了解决上述局限性，这项工作提出了SVD-NAS框架，该框架将低级近似和神经体系结构搜索的域结合在一起。 SVD-NAS通用并扩展了以前作品的设计选择，通过引入低级别的建筑空间LR空间，这是一个更细粒度的低级别近似设计空间。之后，这项工作提出了基于梯度的搜索，以有效地穿越LR空间。对可能的设计选择的更精细，更彻底的探索导致了CNN模型的参数，失败和潜伏期的提高精度以及降低。结果表明，在数据限制问题设置下，SVD-NAS的成像网上的精度比最新方法高2.06-12.85pp。 SVD-NAS在https://github.com/yu-zhewen/svd-nas上开源。

针对变压器的神经体系结构搜索（NAS）已用于创建针对某些延迟约束的最新模型。在这项工作中，我们提出了更大，更快的速度，这是一种新颖的量化参数共享NAS，它为8位整数（INT8）量化变压器的架构。我们的结果表明，我们的方法能够产生胜过当前最新技术的BERT模型，即Autotinybert，我们测试了所有潜伏期目标，达到了2.68％的准确性增益。此外，尽管我们技术发现的模型的参数数量比float32的参数数量更大，但由于其参数为INT8，但它们的内存足迹大大较小。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.

单发神经架构搜索（NAS）的算法已被广泛用于减少计算消耗。但是，由于共享权重的子网之间的干扰，从这些算法训练的超级网络中继承的子网在精度排名中的一致性较差。为了解决这个问题，我们提出了一个从一声NAS到少数NAS的逐步培训超网络。在培训方案中，我们首先以一种单发的方式训练超级网络，然后通过将它们拆分为多subnetnet并逐渐训练超级网络。最后，我们的方法在CVPR2022中排名第四，第三轻量化NAS挑战赛1。我们的代码可在https://github.com/liujiawei23333/cvpr2022-nas-competition-track-1-4tholdoluty获得。

近年来，行业和学术界的深度学习（DL）迅速发展。但是，找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题，进化计算（EC）作为一种强大的启发式搜索方法显示出在DL模型的自动设计中，所谓的进化深度学习（EDL）具有重要优势。本文旨在从自动化机器学习（AUTOML）的角度分析EDL。具体来说，我们首先从机器学习和EC阐明EDL，并将EDL视为优化问题。根据DL管道的说法，我们系统地介绍了EDL方法，从功能工程，模型生成到具有新的分类法的模型部署（即，什么以及如何发展/优化），专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后，提出了关键的应用程序，开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展，并为EDL的开发提供了有见地的指南。

HyperParameter Optimization（HPO）是一种确保机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施（通常是基于错误的措施），并且在这种单一目标HPO问题上的文献是巨大的。然而，最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查，在多目标HPO算法上发布，区分了基于成逐的算法，Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。

卷积神经网络（CNNS），例如时滞神经网络（TDNN），在学习扬声器嵌入方面已经示出了它们显着的能力。但是，它们同时在存储大小，处理和记忆中带来巨大的计算成本。发现符合特定约束的专业CNN需要努力的人类专家。与手工设计的方法相比，神经结构搜索（NAS）作为自动化手动架构设计过程的实用技术，并引起了对扬声器识别等口语处理任务的越来越兴趣。在本文中，我们提出了一种高效的架构搜索框架，该架构由基于TDNN的超网络和TDNN-NAS算法组成。该提出的超网络引入了从不同层的各种分辨率的不同范围的不同范围的时间卷积，并从不同层到TDNN。在其顶部，TDNN-NAS算法通过权重共享子网迅速搜索所需的TDNN架构，这令人惊讶地减少了处理具有各种资源要求的广大设备的计算。 VOXECEL数据集上的实验结果显示了所提出的效率，可以近似有关深度，内核和宽度的$ 10 ^ {13} $架构。考虑到不同的计算约束，它实现了2.20％的误差率（eer），具有204m的乘法累积操作（Mac），1.41％eer，具有571米Mac以及0.94％的eer，具有1.45g Mac。综合调查表明，训练有素的超空心概括了在培训期间未采样的子网，并在准确性和效率之间获得有利的权衡。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

现代神经结构搜索方法对几个学科进行了多次破坏最先进的结果。超级网络，许多这样的方法的中心组件，可以快速估计搜索空间中的任何架构的准确性或损失统计数据。它们包含所有候选架构的网络权重，因此可以通过应用各个操作来近似特定的。但是，这种设计忽略了连续操作之间的潜在依赖关系。我们将超级网络扩展到有条件的权重，这些重量取决于选择的组合并分析它们的效果。NAS - 台凳201和基于NAS - 台型宏的搜索空间的实验显示了架构选择的改进，并且资源开销几乎可以忽略不计，以便顺序网络设计。

网络体系结构设计的持续进步导致了各种具有挑战性的计算机视觉任务的深入学习取得的显着成就。同时，神经体系结构搜索（NAS）的开发提供了有前途的方法来自动化网络体系结构的设计，从而获得较低的预测错误。最近，深入学习的新兴应用程序方案提高了考虑多个设计标准的网络体系结构的更高需求：参数/浮点操作的数量以及推理延迟等。从优化的角度来看，涉及多个设计标准的NAS任务是本质上多目标优化问题。因此，采用进化的多目标优化（EMO）算法来解决它们是合理的。尽管如此，仍然存在一个明显的差距，将相关研究沿着这一途径限制：一方面，从优化的角度出发，缺乏NAS任务的一般问题。另一方面，在NAS任务上对EMO算法进行基准评估存在挑战。弥合差距：（i）我们将NAS任务制定为一般的多目标优化问题，并从优化的角度分析复杂特征； （ii）我们提出了一条端到端管道，称为$ \ texttt {evoxbench} $，以生成Emo算法的基准测试问题，以有效运行 - 无需GPU或Pytorch/tensorflow； （iii）我们实例化了两个测试套件，全面涵盖了两个数据集，七个搜索空间和三个硬件设备，最多涉及八个目标。基于上述内容，我们使用六种代表性的EMO算法验证了提出的测试套件，并提供了一些经验分析。 $ \ texttt {evoxBench} $的代码可从$ \ href {https://github.com/emi-group/evoxbench} {\ rm {there}} $。

卷积神经网络（CNNS）用于许多现实世界应用，例如基于视觉的自主驾驶和视频内容分析。要在各种目标设备上运行CNN推断，硬件感知神经结构搜索（NAS）至关重要。有效的硬件感知NAS的关键要求是对推理延迟的快速评估，以便对不同的架构进行排名。在构建每个目标设备的延迟预测器的同时，在本领域中通常使用，这是一个非常耗时的过程，在极定的设备存在下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战 - 不同设备上的架构延迟排名通常相关。当存在强烈的延迟单调性时，我们可以重复使用在新目标设备上搜索一个代理设备的架构，而不会丢失最佳状态。在没有强烈的延迟单调性的情况下，我们提出了一种有效的代理适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并在多个主流搜索空间上使用不同平台的设备进行实验，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，Proxylessnas和FBNet。我们的结果突出显示，通过仅使用一个代理设备，我们可以找到几乎与现有的每个设备NAS相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的禁止成本。 github：https://github.com/ren-research/oneproxy.