神经体系结构搜索（NAS）的关键挑战是迅速推断了广泛的网络的预测性能，以发现统计准确和计算高效的网络。我们将此任务称为模型性能推断（MPI）。当前的有效MPI实践是基于梯度的方法，可利用网络初始化的梯度来推断其性能。但是，现有的基于梯度的方法仅依赖启发式指标，并且缺乏必要的理论基础来巩固其设计。我们提出了GradSign，一种准确，简单且灵活的指标，用于使用理论见解的模型性能推断。 GradSign背后的关键思想是一个数量{\ psi}，以分析单个训练样本粒度下不同网络的优化格局。从理论上讲，我们表明，在合理的假设下，网络的培训和真实的人口损失都由{\ psi}在相称的上限。此外，我们设计了GradSign，使用在随机初始化状态下评估的网络梯度对{\ psi}进行精确而简单的近似。对三个培训数据集的七个NAS基准进行评估表明，毕业生对现实世界的网络很好地推广，并且始终优于Spearman的{\ rho}和Kendall's Tau评估的基于最新的基于梯度的MPI。此外，我们将GradSign集成到四种现有的NAS算法中，并表明，通过将最佳发现网络的准确性提高高达0.3％，1.1％和1.0％，这三个现实世界任务的精确度提高了毕业生辅助的NAS算法的表现优于其香草。 。

神经体系结构搜索（NAS）促进了神经体系结构的自动发现，从而实现了图像识别的最新精度。尽管NAS取得了进展，但到目前为止，NAS对理论保证几乎没有关注。在这项工作中，我们研究了NAS在统一框架下的概括属性，从而实现（深）层跳过连接搜索和激活功能搜索。为此，我们从搜索空间（包括混合的激活功能，完全连接和残留的神经网络）的（包括）有限宽度方向上得出了神经切线核的最小特征值的下（和上）边界。由于在统一框架下的各种体系结构和激活功能的耦合，我们的分析是不平凡的。然后，我们利用特征值边界在随机梯度下降训练中建立NAS的概括误差界。重要的是，我们从理论上和实验上展示了衍生结果如何指导NAS，即使在没有培训的情况下，即使在没有培训的情况下，也可以根据我们的理论进行无训练的算法。因此，我们的数值验证阐明了NAS计算有效方法的设计。

这项工作调查了神经架构搜索中的批量标准化（NAS）。具体来说，Frankle等人。发现培训Batchnorm只能实现非竞争性能。此外，陈等人。声称培训Batchnorm只能加快10次单次NAS超网关的培训。批判性地，没有努力理解1）为什么训练Batchnorm只能找到具有减少的超空网训练时间的表演井架构，而且2）列车-BN的超网和标准列车超空网之间有什么区别。我们首先显示列车-BN网络融合到神经切线内核制度，从理论上获得与所有参数的所有参数相同的训练动态。我们的证据支持索赔仅在超培训时间上训练Batchnorm。然后，我们经验披露了培训-BN的超标网络在其他运营商的卷曲中提供了优势，导致架构之间的不公平竞争。这是因为只有卷积运算符被附加到Batchnorm。通过实验，我们表明这种不公平性使得搜索算法容易选择具有卷积的模型。为了解决这个问题，我们通过在每个操作员上放置批处理层来引入搜索空间的公平性。然而，我们观察到Chen等人的性能预测因子。在新的搜索空间上不可应用。为此，我们提出了一种新颖的综合性能指标，从三个视角评估网络：源自Batchnorm的理论属性的表达性，培训和不确定性。我们展示了我们对多NAS基准的方法（NAS-BENCH101，NAS-BENCH-201）和搜索空间（飞镖搜索空间和MOBILENET搜索空间）的有效性。

许多现有的神经结构搜索（NAS）解决方案依赖于架构评估的下游培训，这需要巨大的计算。考虑到这些计算带来了大量碳足迹，本文旨在探索绿色（即环保）NAS解决方案，可以在不培训的情况下评估架构。直观地，由架构本身引起的梯度，直接决定收敛和泛化结果。它激励我们提出梯度内核假设：梯度可以用作下游训练的粗粒粒度，以评估随机初始化网络。为了支持假设，我们进行理论分析，找到一个实用的梯度内核，与培训损失和验证性能有良好的相关性。根据这一假设，我们提出了一种新的基于内核的架构搜索方法knas。实验表明，KNA可实现比图像分类任务的“火车-TER-TEST”范式更快地实现竞争力。此外，极低的搜索成本使其具有广泛的应用。搜索网络还优于两个文本分类任务的强大基线Roberta-Light。代码可用于\ url {https://github.com/jingjing-nlp/knas}。

神经体系结构搜索（NAS）的主要挑战之一是有效地对体系结构的性能进行排名。绩效排名者的主流评估使用排名相关性（例如，肯德尔的tau），这对整个空间都同样关注。但是，NAS的优化目标是识别顶级体系结构，同时对搜索空间中其他体系结构的关注更少。在本文中，我们从经验和理论上都表明，标准化的累积累积增益（NDCG）对于排名者来说是一个更好的指标。随后，我们提出了一种新算法Acenas，该算法直接通过Lambdarank优化NDCG。它还利用体重共享NAS产生的弱标签来预先培训排名，以便进一步降低搜索成本。对12个NAS基准和大规模搜索空间进行的广泛实验表明，我们的方法始终超过SOTA NAS方法，精度提高了3.67％，搜索成本降低了8倍。

Neural Architecture Search (NAS) is an automatic technique that can search for well-performed architectures for a specific task. Although NAS surpasses human-designed architecture in many fields, the high computational cost of architecture evaluation it requires hinders its development. A feasible solution is to directly evaluate some metrics in the initial stage of the architecture without any training. NAS without training (WOT) score is such a metric, which estimates the final trained accuracy of the architecture through the ability to distinguish different inputs in the activation layer. However, WOT score is not an atomic metric, meaning that it does not represent a fundamental indicator of the architecture. The contributions of this paper are in three folds. First, we decouple WOT into two atomic metrics which represent the distinguishing ability of the network and the number of activation units, and explore better combination rules named (Distinguishing Activation Score) DAS. We prove the correctness of decoupling theoretically and confirmed the effectiveness of the rules experimentally. Second, in order to improve the prediction accuracy of DAS to meet practical search requirements, we propose a fast training strategy. When DAS is used in combination with the fast training strategy, it yields more improvements. Third, we propose a dataset called Darts-training-bench (DTB), which fills the gap that no training states of architecture in existing datasets. Our proposed method has 1.04$\times$ - 1.56$\times$ improvements on NAS-Bench-101, Network Design Spaces, and the proposed DTB.

This work targets designing a principled and unified training-free framework for Neural Architecture Search (NAS), with high performance, low cost, and in-depth interpretation. NAS has been explosively studied to automate the discovery of top-performer neural networks, but suffers from heavy resource consumption and often incurs search bias due to truncated training or approximations. Recent NAS works start to explore indicators that can predict a network's performance without training. However, they either leveraged limited properties of deep networks, or the benefits of their training-free indicators are not applied to more extensive search methods. By rigorous correlation analysis, we present a unified framework to understand and accelerate NAS, by disentangling "TEG" characteristics of searched networks - Trainability, Expressivity, Generalization - all assessed in a training-free manner. The TEG indicators could be scaled up and integrated with various NAS search methods, including both supernet and single-path approaches. Extensive studies validate the effective and efficient guidance from our TEG-NAS framework, leading to both improved search accuracy and over 56% reduction in search time cost. Moreover, we visualize search trajectories on three landscapes of "TEG" characteristics, observing that while a good local minimum is easier to find on NAS-Bench-201 given its simple topology, balancing "TEG" characteristics is much harder on the DARTS search space due to its complex landscape geometry. Our code is available at https://github.com/VITA-Group/TEGNAS.

虽然可分辨率的架构搜索（飞镖）已成为神经结构中的主流范例（NAS），因为其简单和效率，最近的作品发现，搜索架构的性能几乎可以随着飞镖的优化程序而增加，以及最终的大小由飞镖获得几乎无法表明运营的重要性。上述观察表明，飞镖中的监督信号可能是架构搜索的穷人或不可靠的指标，鼓励有趣和有趣的方向：我们可以衡量不可分辨率范式下的任何培训的运作重要性吗？我们通过在初始化问题的网络修剪中定制NAS提供肯定的答案。随着最近建议的突触突触效力标准在初始化的网络修剪中，我们寻求在没有任何培训的情况下将候选人行动中的候选人行动的重要性进行评分，并提出了一种名为“免费可分辨的架构搜索}（Freedarts）的小说框架” 。我们表明，没有任何培训，具有不同代理度量的自由路由器可以在不同的搜索空间中优于大多数NAS基线。更重要的是，Freedarts是非常内存的高效和计算效率，因为它放弃了架构搜索阶段的培训，使得能够在更灵活的空间上执行架构搜索并消除架构搜索和评估之间的深度间隙。我们希望我们的工作激励从初始化修剪的角度来激发解决NAS的尝试。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

近年来，可微弱的建筑搜索（飞镖）已经受到了大量的关注，主要是因为它通过重量分享和连续放松来显着降低计算成本。然而，更近期的作品发现现有的可分辨率NAS技术难以俯视幼稚基线，产生劣化架构作为搜索所需。本文通过将体系结构权重放入高斯分布，而不是直接优化架构参数，而不是直接优化架构参数，而是作为分布学习问题。通过利用自然梯度变分推理（NGVI），可以基于现有的码票来容易地优化架构分布而不会产生更多内存和计算消耗。我们展示了贝叶斯原则的可分解NAS如何益处，提高勘探和提高稳定性。 NAS-BENCH-201和NAS-BENCH-1SHOT1基准数据集的实验结果证实了所提出的框架可以制造的重要改进。此外，我们还在学习参数上只需简单地应用argmax，我们进一步利用了NAS中最近提出的无培训代理，从优化分布中汲取的组架构中选择最佳架构，从而实现最终的架构-ART在NAS-BENCH-201和NAS-BENCH-1SHOT1基准上的结果。我们在飞镖搜索空间中的最佳架构也会分别获得2.37 \％，15.72 \％和24.2 \％的竞争性测试错误，分别在Cifar-10，CiFar-100和Imagenet数据集上。

在最近，对表现良好的神经体系结构（NAS）的高效，自动化的搜索引起了人们的关注。因此，主要的研究目标是减少对神经体系结构进行昂贵评估的必要性，同时有效地探索大型搜索空间。为此，替代模型将体系结构嵌入了潜在的空间并预测其性能，而神经体系结构的生成模型则可以在生成器借鉴的潜在空间内基于优化的搜索。替代模型和生成模型都具有促进结构良好的潜在空间中的查询搜索。在本文中，我们通过利用有效的替代模型和生成设计的优势来进一步提高查询效率和有前途的建筑生成之间的权衡。为此，我们提出了一个与替代预测指标配对的生成模型，该模型迭代地学会了从越来越有希望的潜在子空间中生成样品。这种方法可导致非常有效和高效的架构搜索，同时保持查询量较低。此外，我们的方法允许以一种直接的方式共同优化准确性和硬件延迟等多个目标。我们展示了这种方法的好处，不仅是W.R.T.优化体系结构以提高最高分类精度，但在硬件约束和在单个NAS基准测试中的最新方法和多个目标的最先进方法的优化。我们还可以在Imagenet上实现最先进的性能。该代码可在http://github.com/jovitalukasik/ag-net上找到。

常见的神经体系结构搜索方法生成了大量的候选体系结构，需要培训以评估其性能并找到最佳体系结构。为了最大程度地减少搜索时间，我们使用不同的绩效估计策略。此类策略的有效性在准确性，合适和查询时间方面有所不同。这项研究提出了一种新方法，即emprox评分（嵌入接近得分）。与神经体系结构优化（NAO）相似，此方法将候选体系结构映射到使用编码器框架框架的连续嵌入空间。然后，基于加权KNN估算候选者的性能，基于已知性能的体系结构的嵌入向量。该方法的性能估计与NAO中使用的MLP性能预测指标相当，而与NAO相比，训练的速度快了近9倍。目前使用的其他绩效估算策略的基准测试表现出类似于更好的准确性，而五十倍的速度快了五十倍。

Recent advances in neural architecture search (NAS) demand tremendous computational resources, which makes it difficult to reproduce experiments and imposes a barrier-to-entry to researchers without access to large-scale computation. We aim to ameliorate these problems by introducing NAS-Bench-101, the first public architecture dataset for NAS research. To build NAS-Bench-101, we carefully constructed a compact, yet expressive, search space, exploiting graph isomorphisms to identify 423k unique convolutional architectures. We trained and evaluated all of these architectures multiple times on CIFAR-10 and compiled the results into a large dataset of over 5 million trained models. This allows researchers to evaluate the quality of a diverse range of models in milliseconds by querying the precomputed dataset. We demonstrate its utility by analyzing the dataset as a whole and by benchmarking a range of architecture optimization algorithms.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

过度分辨的神经网络概括井，但训练昂贵。理想情况下，人们希望减少其计算成本，同时保留其概括的益处。稀疏的模型培训是实现这一目标的简单和有希望的方法，但随着现有方法与准确性损失，慢速训练运行时的困难或困难，仍然存在挑战，仍然存在困难的挑战。核心问题是，在离散的一组稀疏矩阵上搜索稀疏性掩模是困难和昂贵的。为了解决此问题，我们的主要见解是通过具有称为蝴蝶矩阵产品的固定结构的固定结构来优化优化稀疏矩阵的连续超集。随着蝴蝶矩阵不是硬件效率，我们提出了简单的蝴蝶（块和平坦）的变体来利用现代硬件。我们的方法（像素化蝴蝶）使用基于扁平块蝴蝶和低秩矩阵的简单固定稀疏模式，以缩小大多数网络层（例如，注意，MLP）。我们经验验证了像素化蝴蝶比蝴蝶快3倍，加快培训，以实现有利的准确性效率权衡。在ImageNet分类和Wikitext-103语言建模任务中，我们的稀疏模型训练比致密的MLP - 混频器，视觉变压器和GPT-2媒体更快地训练高达2.5倍，没有精确下降。

Deep Learning has enabled remarkable progress over the last years on a variety of tasks, such as image recognition, speech recognition, and machine translation. One crucial aspect for this progress are novel neural architectures. Currently employed architectures have mostly been developed manually by human experts, which is a time-consuming and errorprone process. Because of this, there is growing interest in automated neural architecture search methods. We provide an overview of existing work in this field of research and categorize them according to three dimensions: search space, search strategy, and performance estimation strategy.

神经架构搜索（NAS）在神经网络（NN）的设计和部署方面具有显着提高的生产率。由于NAS通常通过部分或完全训练多个模型来评估多个模型，因此提高的生产率是以大量碳足迹为代价的。为了减轻这种昂贵的训练例程，零击/成本代理在初始化时分析了NN以产生分数，这与其真正的准确性高度相关。零成本代理目前是由专家设计的，这些专家对可能的算法，数据集和神经体系结构设计空间进行了多个经验测试。这降低了生产率，并且是对零成本代理设计的一种不可持续的方法，因为深度学习用例本质上多样化。此外，现有的零成本代理无法跨越神经体系结构设计空间。在本文中，我们提出了一个基因编程框架，以自动化发现零成本代理以进行神经体系结构评分。我们的方法有效地发现了一个可解释且可推广的零成本代理，该代理在NASBENCH-2010和网络设计空间（NDS）的所有数据集和搜索空间上提供了最高得分 - 准确性的相关性。我们认为，这项研究表明了自动发现可以跨网络体系结构设计空间，数据集和任务的零成本代理的有希望的方向。

Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。

模型不合时宜的元学习（MAML）目前是少量元学习的主要方法之一。尽管它具有有效性，但由于先天的二聚体问题结构，MAML的优化可能具有挑战性。具体而言，MAML的损失格局比其经验风险最小化的对应物更为复杂，可能的鞍点和局部最小化可能更复杂。为了应对这一挑战，我们利用了最近发明的清晰度最小化的最小化，并开发出一种清晰感的MAML方法，我们称其为Sharp MAML。我们从经验上证明，Sharp-MAML及其计算有效的变体可以胜过流行的现有MAML基准（例如，Mini-Imagenet上的$+12 \％$ $精度）。我们通过收敛速率分析和尖锐MAML的概括结合进行了经验研究。据我们所知，这是在双层学习背景下对清晰度感知最小化的第一个经验和理论研究。该代码可在https://github.com/mominabbass/sharp-maml上找到。