神经结构搜索（NAS）经常列车并评估大量架构。最近的基于预测的NAS方法尝试通过两个关键步骤来缓解这些重的计算成本：采样一些架构性能对并拟合代理精度预测器。然而，由于难以拟合庞大的搜索空间，所以这些预测变量远非准确地定位顶级架构。本文反映了一个简单而重要的问题：如果我们的最终目标是找到最好的建筑，我们真的需要融洽整个空间吗？我们提出了一种使用一个强预测器来拟合整个建筑空间的范式转变，以通过一组较弱的预测器逐渐地拟合朝向高性能子空间的搜索路径。作为弱预测因子的关键属性，它们的采样更好的架构的概率不断增加。因此，我们只示出了一些由以前学识到的预测器引导的少数好的架构，并估计一个新的更好的弱预测因素。这种令人尴尬的骨骼框架被称为缺点，产生粗略迭代，逐渐改进采样空间的排名。广泛的实验表明，在NAS-Bench-101和NAS-Bench-201上找到顶部性能架构的样本较少的缺点。与最先进的（SOTA）基于预测的NAS方法相比，缺点始终具有显着的边距，例如，需要至少7.5倍的样品来查找在NAS-Bench-101上的全局最优。缺点也可以吸收他们的想法，以提高性能。此外，缺点袭击了Imagenet MobileNet搜索空间中的81.3％的新SOTA结果。代码可在https://github.com/vita-group/weaknas获得。

神经结构中的标准范例（NAS）是搜索具有特定操作和连接的完全确定性体系结构。在这项工作中，我们建议寻找最佳运行分布，从而提供了一种随机和近似解，可用于采样任意长度的架构。我们提出并显示，给定架构单元格，其性能主要取决于使用的操作的比率，而不是典型的搜索空间中的任何特定连接模式;也就是说，操作排序的小变化通常是无关紧要的。这种直觉与任何特定的搜索策略都具有正交，并且可以应用于多样化的NAS算法。通过对4数据集和4个NAS技术的广泛验证（贝叶斯优化，可分辨率搜索，本地搜索和随机搜索），我们表明操作分布（1）保持足够的辨别力来可靠地识别解决方案，并且（2）显着识别比传统的编码更容易优化，导致大量速度，几乎没有成本性能。实际上，这种简单的直觉显着降低了电流方法的成本，并可能使NAS用于更广泛的应用中。

神经体系结构搜索（NAS）的主要挑战之一是有效地对体系结构的性能进行排名。绩效排名者的主流评估使用排名相关性（例如，肯德尔的tau），这对整个空间都同样关注。但是，NAS的优化目标是识别顶级体系结构，同时对搜索空间中其他体系结构的关注更少。在本文中，我们从经验和理论上都表明，标准化的累积累积增益（NDCG）对于排名者来说是一个更好的指标。随后，我们提出了一种新算法Acenas，该算法直接通过Lambdarank优化NDCG。它还利用体重共享NAS产生的弱标签来预先培训排名，以便进一步降低搜索成本。对12个NAS基准和大规模搜索空间进行的广泛实验表明，我们的方法始终超过SOTA NAS方法，精度提高了3.67％，搜索成本降低了8倍。

在最近，对表现良好的神经体系结构（NAS）的高效，自动化的搜索引起了人们的关注。因此，主要的研究目标是减少对神经体系结构进行昂贵评估的必要性，同时有效地探索大型搜索空间。为此，替代模型将体系结构嵌入了潜在的空间并预测其性能，而神经体系结构的生成模型则可以在生成器借鉴的潜在空间内基于优化的搜索。替代模型和生成模型都具有促进结构良好的潜在空间中的查询搜索。在本文中，我们通过利用有效的替代模型和生成设计的优势来进一步提高查询效率和有前途的建筑生成之间的权衡。为此，我们提出了一个与替代预测指标配对的生成模型，该模型迭代地学会了从越来越有希望的潜在子空间中生成样品。这种方法可导致非常有效和高效的架构搜索，同时保持查询量较低。此外，我们的方法允许以一种直接的方式共同优化准确性和硬件延迟等多个目标。我们展示了这种方法的好处，不仅是W.R.T.优化体系结构以提高最高分类精度，但在硬件约束和在单个NAS基准测试中的最新方法和多个目标的最先进方法的优化。我们还可以在Imagenet上实现最先进的性能。该代码可在http://github.com/jovitalukasik/ag-net上找到。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

神经体系结构搜索（NAS）是自动化有效图像处理DNN设计的强大工具。该排名已被倡导为NAS设计有效的性能预测指标。先前的对比方法通过比较架构对并预测其相对性能来解决排名问题。但是，它仅关注两个相关建筑之间的排名，而忽略了搜索空间的整体质量分布，这可能会遇到概括性问题。提出了一个预测因子，即专注于特定体系结构的全球质量层的神经体系结构排名，以解决由当地观点引起的此类问题。 NAR在全球范围内探索搜索空间的质量层，并根据其全球排名将每个人分类为他们所属的层。因此，预测变量获得了搜索空间的性能分布的知识，这有助于更轻松地将其排名能力推广到数据集。同时，全球质量分布通过根据质量层的统计数据直接对候选者进行采样，从而促进了搜索阶段，而质量层的统计数据没有培训搜索算法，例如增强型学习（RL）或进化算法（EA），因此简化了NAS管道并保存计算开销。拟议的NAR比在两个广泛使用的NAS研究数据集上的最先进方法取得了更好的性能。在NAS-Bench-101的庞大搜索空间中，NAR可以轻松地找到具有最高0.01 $ \ unicode {x2030} $ performance的架构。它还可以很好地概括为NAS Bench-201的不同图像数据集，即CIFAR-10，CIFAR-100和Imagenet-16-120，通过识别每个它们的最佳体系结构。

Neural architectures can be naturally viewed as computational graphs. Motivated by this perspective, we, in this paper, study neural architecture search (NAS) through the lens of learning random graph models. In contrast to existing NAS methods which largely focus on searching for a single best architecture, i.e, point estimation, we propose GraphPNAS a deep graph generative model that learns a distribution of well-performing architectures. Relying on graph neural networks (GNNs), our GraphPNAS can better capture topologies of good neural architectures and relations between operators therein. Moreover, our graph generator leads to a learnable probabilistic search method that is more flexible and efficient than the commonly used RNN generator and random search methods. Finally, we learn our generator via an efficient reinforcement learning formulation for NAS. To assess the effectiveness of our GraphPNAS, we conduct extensive experiments on three search spaces, including the challenging RandWire on TinyImageNet, ENAS on CIFAR10, and NAS-Bench-101/201. The complexity of RandWire is significantly larger than other search spaces in the literature. We show that our proposed graph generator consistently outperforms RNN-based one and achieves better or comparable performances than state-of-the-art NAS methods.

This work targets designing a principled and unified training-free framework for Neural Architecture Search (NAS), with high performance, low cost, and in-depth interpretation. NAS has been explosively studied to automate the discovery of top-performer neural networks, but suffers from heavy resource consumption and often incurs search bias due to truncated training or approximations. Recent NAS works start to explore indicators that can predict a network's performance without training. However, they either leveraged limited properties of deep networks, or the benefits of their training-free indicators are not applied to more extensive search methods. By rigorous correlation analysis, we present a unified framework to understand and accelerate NAS, by disentangling "TEG" characteristics of searched networks - Trainability, Expressivity, Generalization - all assessed in a training-free manner. The TEG indicators could be scaled up and integrated with various NAS search methods, including both supernet and single-path approaches. Extensive studies validate the effective and efficient guidance from our TEG-NAS framework, leading to both improved search accuracy and over 56% reduction in search time cost. Moreover, we visualize search trajectories on three landscapes of "TEG" characteristics, observing that while a good local minimum is easier to find on NAS-Bench-201 given its simple topology, balancing "TEG" characteristics is much harder on the DARTS search space due to its complex landscape geometry. Our code is available at https://github.com/VITA-Group/TEGNAS.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

Recent advances in neural architecture search (NAS) demand tremendous computational resources, which makes it difficult to reproduce experiments and imposes a barrier-to-entry to researchers without access to large-scale computation. We aim to ameliorate these problems by introducing NAS-Bench-101, the first public architecture dataset for NAS research. To build NAS-Bench-101, we carefully constructed a compact, yet expressive, search space, exploiting graph isomorphisms to identify 423k unique convolutional architectures. We trained and evaluated all of these architectures multiple times on CIFAR-10 and compiled the results into a large dataset of over 5 million trained models. This allows researchers to evaluate the quality of a diverse range of models in milliseconds by querying the precomputed dataset. We demonstrate its utility by analyzing the dataset as a whole and by benchmarking a range of architecture optimization algorithms.

The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.

神经建筑搜索（NAS）已被广泛研究，并已成长为具有重大影响的研究领域。虽然经典的单目标NAS搜索具有最佳性能的体系结构，但多目标NAS考虑了应同时优化的多个目标，例如，将沿验证错误最小化资源使用率。尽管在多目标NAS领域已经取得了长足的进步，但我们认为实际关注的实际优化问题与多目标NAS试图解决的优化问题之间存在一些差异。我们通过将多目标NAS问题作为质量多样性优化（QDO）问题来解决这一差异，并引入了三种质量多样性NAS优化器（其中两个属于多重速度优化器组），以寻求高度多样化但多样化的体系结构对于特定于应用程序特定的利基，例如硬件约束。通过将这些优化器与它们的多目标对应物进行比较，我们证明了质量多样性总体上优于多目标NA在解决方案和效率方面。我们进一步展示了应用程序和未来的NAS研究如何在QDO上蓬勃发展。

自从搜索空间通常相当巨大（例如，$ 13 ^ {21}），训练单次NAS方法中的一个良好的Supernet很难。为了提高超网络的评估能力，一个贪婪的策略是采样良好的路径，让超标倾向于良好的路径并减轻其评估负担。然而，在实践中，由于良好路径的识别不够准确并且采样路径仍然围绕整个搜索空间散射，因此搜索仍然是效率效率低下。在本文中，我们利用显式路径滤波器来捕获路径的特征，并直接过滤那些弱的路径，从而可以更加贪婪地且有效地在缩小空间上实现搜索。具体地，基于良好的路径小于空间中的弱者的事实，我们认为“弱道”的标签将比多道路采样中的“良好路径”更自信和可靠。通过这种方式，我们因此将路径滤波器的训练施放在正面和未标记的（PU）学习范例中，并且还鼓励一个\ Texit {路径嵌入}作为更好的路径/操作表示，以增强学习过滤器的识别容量。通过这种嵌入的DINT，我们可以通过将类似的嵌入式汇总相似的操作进一步缩小搜索空间，搜索可以更高效和准确。大量实验验证了所提出的方法GredynaSv2的有效性。例如，我们获得的GreedynaSv2-L验证$ 81.1 \％$ 1 $ top-1在想象数据数据上的准确性，显着优于Reset-50强的基线。

We propose a new method for learning the structure of convolutional neural networks (CNNs) that is more efficient than recent state-of-the-art methods based on reinforcement learning and evolutionary algorithms. Our approach uses a sequential model-based optimization (SMBO) strategy, in which we search for structures in order of increasing complexity, while simultaneously learning a surrogate model to guide the search through structure space. Direct comparison under the same search space shows that our method is up to 5 times more efficient than the RL method of Zoph et al. (2018) in terms of number of models evaluated, and 8 times faster in terms of total compute. The structures we discover in this way achieve state of the art classification accuracies on CIFAR-10 and ImageNet.

神经体系结构搜索（NAS）可以自动为深神经网络（DNN）设计架构，并已成为当前机器学习社区中最热门的研究主题之一。但是，NAS通常在计算上很昂贵，因为在搜索过程中需要培训大量DNN。绩效预测因素可以通过直接预测DNN的性能来大大减轻NAS的过失成本。但是，构建令人满意的性能预测能力很大程度上取决于足够的训练有素的DNN体系结构，在大多数情况下很难获得。为了解决这个关键问题，我们在本文中提出了一种名为Giaug的有效的DNN体系结构增强方法。具体而言，我们首先提出了一种基于图同构的机制，其优点是有效地生成$ \ boldsymbol n $（即$ \ boldsymbol n！$）的阶乘，对具有$ \ boldsymbol n $ n $ n $ n $ \ boldsymbol n $的单个体系结构进行了带注释的体系结构节点。此外，我们还设计了一种通用方法，将体系结构编码为适合大多数预测模型的形式。结果，可以通过各种基于性能预测因子的NAS算法灵活地利用Giaug。我们在中小型，中，大规模搜索空间上对CIFAR-10和Imagenet基准数据集进行了广泛的实验。实验表明，Giaug可以显着提高大多数最先进的同伴预测因子的性能。此外，与最先进的NAS算法相比，Giaug最多可以在ImageNet上节省三级计算成本。

卷积神经网络（CNNS）用于许多现实世界应用，例如基于视觉的自主驾驶和视频内容分析。要在各种目标设备上运行CNN推断，硬件感知神经结构搜索（NAS）至关重要。有效的硬件感知NAS的关键要求是对推理延迟的快速评估，以便对不同的架构进行排名。在构建每个目标设备的延迟预测器的同时，在本领域中通常使用，这是一个非常耗时的过程，在极定的设备存在下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战 - 不同设备上的架构延迟排名通常相关。当存在强烈的延迟单调性时，我们可以重复使用在新目标设备上搜索一个代理设备的架构，而不会丢失最佳状态。在没有强烈的延迟单调性的情况下，我们提出了一种有效的代理适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并在多个主流搜索空间上使用不同平台的设备进行实验，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，Proxylessnas和FBNet。我们的结果突出显示，通过仅使用一个代理设备，我们可以找到几乎与现有的每个设备NAS相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的禁止成本。 github：https://github.com/ren-research/oneproxy.

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

这项工作调查了神经架构搜索中的批量标准化（NAS）。具体来说，Frankle等人。发现培训Batchnorm只能实现非竞争性能。此外，陈等人。声称培训Batchnorm只能加快10次单次NAS超网关的培训。批判性地，没有努力理解1）为什么训练Batchnorm只能找到具有减少的超空网训练时间的表演井架构，而且2）列车-BN的超网和标准列车超空网之间有什么区别。我们首先显示列车-BN网络融合到神经切线内核制度，从理论上获得与所有参数的所有参数相同的训练动态。我们的证据支持索赔仅在超培训时间上训练Batchnorm。然后，我们经验披露了培训-BN的超标网络在其他运营商的卷曲中提供了优势，导致架构之间的不公平竞争。这是因为只有卷积运算符被附加到Batchnorm。通过实验，我们表明这种不公平性使得搜索算法容易选择具有卷积的模型。为了解决这个问题，我们通过在每个操作员上放置批处理层来引入搜索空间的公平性。然而，我们观察到Chen等人的性能预测因子。在新的搜索空间上不可应用。为此，我们提出了一种新颖的综合性能指标，从三个视角评估网络：源自Batchnorm的理论属性的表达性，培训和不确定性。我们展示了我们对多NAS基准的方法（NAS-BENCH101，NAS-BENCH-201）和搜索空间（飞镖搜索空间和MOBILENET搜索空间）的有效性。

为了部署，神经架构搜索应该是硬件感知的，以满足设备特定的约束（例如，内存使用，延迟和能量消耗），并提高模型效率。硬件感知NAS的现有方法从目标设备收集大量样本（例如，精度和延迟），要么构建查找表或延迟估计器。然而，这种方法在现实世界方案中是不切实际的，因为存在具有不同硬件规格的许多器件，并从这些大量设备收集样本将需要禁止的计算和货币成本。为了克服这些限制，我们提出了硬件 - 自适应高效延迟预测器（帮助），其将设备特定的延迟估计问题交给了元学习问题，使得我们可以估计模型对给定任务的性能的延迟有一些样品的看不见的装置。为此，我们引入了新颖的硬件嵌入，将任何设备嵌入，将其视为输出延迟的黑盒功能，并使用硬件嵌入式以设备依赖方式学习硬件自适应延迟预测器。我们验证了在看不见的平台上实现了延迟估计性能的提议帮助，其中它达到了高估计性能，少于10个测量样本，优于所有相关基线。我们还验证了在没有它的帮助下使用帮助的端到端NAS框架，并表明它在很大程度上降低了基础NAS方法的总时间成本，在延迟约束的设置中。代码可在https://github.com/hayeonlee/help获得。

In neural architecture search (NAS) methods based on latent space optimization (LSO), a deep generative model is trained to embed discrete neural architectures into a continuous latent space. In this case, different optimization algorithms that operate in the continuous space can be implemented to search neural architectures. However, the optimization of latent variables is challenging for gradient-based LSO since the mapping from the latent space to the architecture performance is generally non-convex. To tackle this problem, this paper develops a convexity regularized latent space optimization (CR-LSO) method, which aims to regularize the learning process of latent space in order to obtain a convex architecture performance mapping. Specifically, CR-LSO trains a graph variational autoencoder (G-VAE) to learn the continuous representations of discrete architectures. Simultaneously, the learning process of latent space is regularized by the guaranteed convexity of input convex neural networks (ICNNs). In this way, the G-VAE is forced to learn a convex mapping from the architecture representation to the architecture performance. Hereafter, the CR-LSO approximates the performance mapping using the ICNN and leverages the estimated gradient to optimize neural architecture representations. Experimental results on three popular NAS benchmarks show that CR-LSO achieves competitive evaluation results in terms of both computational complexity and architecture performance.