从一个人的错误中学习是一种有效的人类学习技术，学习者更多地关注在犯错误的主题上，以便加深他们的理解。在本文中，我们调查这种人类学习策略是否可以应用于机器学习。我们提出了一种新的机器学习方法，称为来自错误（LFM）的学习，其中学习者通过在修订期间更多地关注错误来提高其学习的能力。我们制定LFM作为三阶段优化问题：1）学习者学习;2）学习者重新学习专注于错误，而且;3）学习者验证其学习。我们开发了一种有效的算法来解决LFM问题。我们将LFM框架应用于CiFar-10，CiFar-100和ImageNet上的神经架构搜索。实验结果强烈展示了我们模型的有效性。

从错误中学习是一种有效的学习方法，广泛用于人类学习，学习者将更加注重未来规避犯罪的错误。它有助于改善整体学习结果。在这项工作中，我们的目标是调查这种特殊学习能力的有效性如何用于改善机器学习模型。我们提出了一种简单有效的多层次优化框架，称为学习的错误（LFM），灵感来自错误驱动的学习，培训更好的机器学习模型。我们的LFM框架包括涉及三个学习阶段的配方。主要目标是通过使用重新加权技术训练模型来执行目标任务，以防止将来类似的错误。在这种制定中，我们通过最小化模型的验证丢失来学习类重量，并通过来自类明智性能和实际数据的图像生成器重新列出模型的验证丢失来重新列车。我们在图像分类数据集等差分架构搜索方法应用我们的LFM框架，如CiFar和Imagenet，结果表明了我们提出的策略的有效性。

在诸如DARTS等可分解神经结构搜索（NAS）算法中，用于更新模型权重的训练集和用于更新模型架构的验证集是从相同的数据分发采样的。因此，数据集中的罕见功能在训练期间无法获得足够的注意。在本文中，而不是引入更复杂的NAS算法，我们探讨了将质量合成数据集添加到培训中的想法可以帮助分类模型识别其弱点并提高识别准确性。我们介绍了一个名为“可怜的架构搜索的培训策略，使用生成模型（DASGM）”。“在DASGM中，训练集用于更新分类模型权重，而合成的数据集用于训练其架构。生成的图像具有来自培训集的不同分布，可以帮助分类模型了解更好的特征来识别其弱点。我们将达斯哥姆分配到多级优化框架中，并开发一个有效的算法来解决它。CiFar-10，CiFar-100的实验，Cifar-100，并且想象成展示了DASGM的有效性。将提供代码。

This paper addresses the scalability challenge of architecture search by formulating the task in a differentiable manner. Unlike conventional approaches of applying evolution or reinforcement learning over a discrete and non-differentiable search space, our method is based on the continuous relaxation of the architecture representation, allowing efficient search of the architecture using gradient descent. Extensive experiments on CIFAR-10, ImageNet, Penn Treebank and WikiText-2 show that our algorithm excels in discovering high-performance convolutional architectures for image classification and recurrent architectures for language modeling, while being orders of magnitude faster than state-of-the-art non-differentiable techniques. Our implementation has been made publicly available to facilitate further research on efficient architecture search algorithms.

可区分的架构搜索（飞镖）大大促进了NAS技术的发展，因为其搜索效率很高，但遭受了性能崩溃的影响。在本文中，我们努力从两个方面减轻飞镖的性能崩溃问题。首先，我们研究了飞镖中超级网的表达能力，然后仅使用训练batchnorm来得出新的飞镖范式设置。其次，从理论上讲，随机特征稀释了跳过连接在超网优化中的辅助连接作用，并使搜索算法专注于更公平的操作选择，从而解决了性能崩溃问题。我们具有随机功能的实例化飞镖和PC-Darts，分别为每个命名的RF-Darts和RF-PCDART构建一个改进的版本。实验结果表明，RF-darts在CIFAR-10上获得\ TextBf {94.36 \％}测试精度（这是NAS Bench-201的最接近最佳结果），并实现了最新的最新最先进的TOP-1从CIFAR-10传输时，ImageNet上\ TextBf {24.0 \％}的测试错误。此外，RF-DARTS在三个数据集（CIFAR-10，CIFAR-100和SVHN）和四个搜索空间（S1-S4）上进行稳健性能。此外，RF-PCDARTS在Imagenet上取得了更好的结果，即\ textbf {23.9 \％} top-1和\ textbf {7.1 \％} top-5 top-5测试错误，超越了代表性的方法，例如单路径，训练免费， ，直接在Imagenet上搜索部分通道范例。

许多现有的神经结构搜索（NAS）解决方案依赖于架构评估的下游培训，这需要巨大的计算。考虑到这些计算带来了大量碳足迹，本文旨在探索绿色（即环保）NAS解决方案，可以在不培训的情况下评估架构。直观地，由架构本身引起的梯度，直接决定收敛和泛化结果。它激励我们提出梯度内核假设：梯度可以用作下游训练的粗粒粒度，以评估随机初始化网络。为了支持假设，我们进行理论分析，找到一个实用的梯度内核，与培训损失和验证性能有良好的相关性。根据这一假设，我们提出了一种新的基于内核的架构搜索方法knas。实验表明，KNA可实现比图像分类任务的“火车-TER-TEST”范式更快地实现竞争力。此外，极低的搜索成本使其具有广泛的应用。搜索网络还优于两个文本分类任务的强大基线Roberta-Light。代码可用于\ url {https://github.com/jingjing-nlp/knas}。

Conventional neural architecture search (NAS) approaches are based on reinforcement learning or evolutionary strategy, which take more than 3000 GPU hours to find a good model on CIFAR-10. We propose an efficient NAS approach learning to search by gradient descent. Our approach represents the search space as a directed acyclic graph (DAG). This DAG contains billions of sub-graphs, each of which indicates a kind of neural architecture. To avoid traversing all the possibilities of the sub-graphs, we develop a differentiable sampler over the DAG. This sampler is learnable and optimized by the validation loss after training the sampled architecture. In this way, our approach can be trained in an end-to-end fashion by gradient descent, named Gradient-based search using Differentiable Architecture Sampler (GDAS). In experiments, we can finish one searching procedure in four GPU hours on CIFAR-10, and the discovered model obtains a test error of 2.82% with only 2.5M parameters, which is on par with the state-of-the-art. Code is publicly available on GitHub: https://github.com/D-X-Y/NAS-Projects.

神经体系结构搜索（NAS）的主要挑战之一是有效地对体系结构的性能进行排名。绩效排名者的主流评估使用排名相关性（例如，肯德尔的tau），这对整个空间都同样关注。但是，NAS的优化目标是识别顶级体系结构，同时对搜索空间中其他体系结构的关注更少。在本文中，我们从经验和理论上都表明，标准化的累积累积增益（NDCG）对于排名者来说是一个更好的指标。随后，我们提出了一种新算法Acenas，该算法直接通过Lambdarank优化NDCG。它还利用体重共享NAS产生的弱标签来预先培训排名，以便进一步降低搜索成本。对12个NAS基准和大规模搜索空间进行的广泛实验表明，我们的方法始终超过SOTA NAS方法，精度提高了3.67％，搜索成本降低了8倍。

In this paper, we introduced the novel concept of advisor network to address the problem of noisy labels in image classification. Deep neural networks (DNN) are prone to performance reduction and overfitting problems on training data with noisy annotations. Weighting loss methods aim to mitigate the influence of noisy labels during the training, completely removing their contribution. This discarding process prevents DNNs from learning wrong associations between images and their correct labels but reduces the amount of data used, especially when most of the samples have noisy labels. Differently, our method weighs the feature extracted directly from the classifier without altering the loss value of each data. The advisor helps to focus only on some part of the information present in mislabeled examples, allowing the classifier to leverage that data as well. We trained it with a meta-learning strategy so that it can adapt throughout the training of the main model. We tested our method on CIFAR10 and CIFAR100 with synthetic noise, and on Clothing1M which contains real-world noise, reporting state-of-the-art results.

自我关注架构被出现为最近提高视力任务表现的最新进步。手动确定自我关注网络的架构依赖于专家的经验，无法自动适应各种场景。同时，神经结构搜索（NAS）显着推出了神经架构的自动设计。因此，需要考虑使用NAS方法自动发现更好的自我关注架构。然而，由于基于细胞的搜索空间统一和缺乏长期内容依赖性，直接使用现有的NAS方法来搜索关注网络是具有挑战性的。为了解决这个问题，我们提出了一种基于全部关注的NAS方法。更具体地，构造阶段明智的搜索空间，其允许为网络的不同层采用各种关注操作。为了提取全局特征，提出了一种使用上下文自动回归来发现全部关注架构的自我监督的搜索算法。为了验证所提出的方法的功效，我们对各种学习任务进行了广泛的实验，包括图像分类，细粒度的图像识别和零拍摄图像检索。经验结果表明，我们的方法能够发现高性能，全面关注架构，同时保证所需的搜索效率。

虽然可分辨率的架构搜索（飞镖）已成为神经结构中的主流范例（NAS），因为其简单和效率，最近的作品发现，搜索架构的性能几乎可以随着飞镖的优化程序而增加，以及最终的大小由飞镖获得几乎无法表明运营的重要性。上述观察表明，飞镖中的监督信号可能是架构搜索的穷人或不可靠的指标，鼓励有趣和有趣的方向：我们可以衡量不可分辨率范式下的任何培训的运作重要性吗？我们通过在初始化问题的网络修剪中定制NAS提供肯定的答案。随着最近建议的突触突触效力标准在初始化的网络修剪中，我们寻求在没有任何培训的情况下将候选人行动中的候选人行动的重要性进行评分，并提出了一种名为“免费可分辨的架构搜索}（Freedarts）的小说框架” 。我们表明，没有任何培训，具有不同代理度量的自由路由器可以在不同的搜索空间中优于大多数NAS基线。更重要的是，Freedarts是非常内存的高效和计算效率，因为它放弃了架构搜索阶段的培训，使得能够在更灵活的空间上执行架构搜索并消除架构搜索和评估之间的深度间隙。我们希望我们的工作激励从初始化修剪的角度来激发解决NAS的尝试。

在本文中，我们提出了一种基于沙普利价值的方法来评估用于神经体系结构搜索的操作贡献（Shapley-NAS）。可区分的体系结构搜索（DARTS）通过使用梯度下降优化体系结构参数来获取最佳体系结构，从而大大降低了搜索成本。但是，梯度下降更新的体系结构参数的幅度未能揭示对任务性能的实际操作重要性，因此损害了获得的体系结构的有效性。相比之下，我们建议评估操作对验证准确性的直接影响。为了处理超级核成分之间的复杂关系，我们通过考虑所有可能的组合来利用Shapley的价值来量化其边际贡献。具体而言，我们通过Shapley值评估操作贡献来迭代优化SuperNet权重，并更新体系结构参数，从而通过选择对任务贡献显着贡献的操作来得出最佳体系结构。由于Shapley值的确切计算是NP-HARD，因此采用了基于早期截断的蒙特卡洛抽样算法进行有效的近似，并且采用了动量更新机制来减轻采样过程的波动。在各种数据集和各种搜索空间上进行的广泛实验表明，我们的Shapley-NAS的表现优于最先进的方法，并具有相当大的利润，并具有轻盈的搜索成本。该代码可从https://github.com/euphoria16/shapley-nas.git获得

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

与其他基于架构的NAS方法不同，广泛的神经结构搜索（BNA）提出了一个广泛的，它由卷积和增强块组成，被称为广泛的卷积神经网络（BCNN）作为搜索空间，以惊人的效率改进。 BCNN重用卷积块中的单元格的拓扑，使得BNA可以使用很少的小区以获得有效的搜索。此外，提出了多尺度特征融合和知识嵌入，以提高BCNN具有浅层拓扑的性能。然而，BNA遭受了一些缺点：1）特征融合和增强的代表性多样性不足，2）人类专家对知识嵌入设计的耗时。在本文中，我们提出了堆叠的BNA，其搜索空间是名为堆叠BCNN的开发的广泛可扩展架构，性能比BNA更好。一方面，堆叠的BCNN将Mini-BCNN视为保存综合表示的基本块，并提供强大的特征提取能力。另一方面，我们提出了知识嵌入搜索（KES）来学习适当的知识嵌入。实验结果表明，1）堆叠的BNA获得比BNA，2）KES有助于降低具有令人满意的性能的学习架构参数，3）堆叠BNA可提供0.02 GPU天的最新效率。

我们提出了一个模型不确定性感知的可区分架构搜索（$ \ mu $ darts），该搜索优化神经网络以同时达到高精度和低不确定性。我们在DARTS单元中引入混凝土辍学，并在训练损失中包括一个蒙特卡洛正规器，以优化混凝土辍学概率。在验证损失中引入了预测差异项，以使搜索具有最小模型不确定性的体系结构。与现有的DARTS方法相比，CIFAR10，CIFAR100，SVHN和ImageNet上的实验验证了$ \ MU $ $ $ $ $ $的实验。此外，与从现有的飞镖方法获得的体系结构相比，从$ \ mu $ darts获得的最终体系结构显示出更高的噪声稳健性。

深层神经网络（DNN）是通过依次执行线性和非线性过程产生的。使用线性和非线性程序的组合对于生成足够深的特征空间至关重要。大多数非线性运算符是激活函数或合并函数的推导。数学形态是数学的一个分支，为各种图像处理问题提供了非线性操作员。我们调查了将这些操作集成到本文端到端深度学习框架中的实用性。 DNN旨在获得特定工作的现实代表。形态运算符给出拓扑描述符，以传达有关图像中描述的物体形状的显着信息。我们提出了一种基于元学习的方法，将形态算子纳入DNN。博学的结构展示了我们的新型形态操作如何显着提高各种任务（包括图片分类和边缘检测）的DNN性能。

近年来，可微弱的建筑搜索（飞镖）已经受到了大量的关注，主要是因为它通过重量分享和连续放松来显着降低计算成本。然而，更近期的作品发现现有的可分辨率NAS技术难以俯视幼稚基线，产生劣化架构作为搜索所需。本文通过将体系结构权重放入高斯分布，而不是直接优化架构参数，而不是直接优化架构参数，而是作为分布学习问题。通过利用自然梯度变分推理（NGVI），可以基于现有的码票来容易地优化架构分布而不会产生更多内存和计算消耗。我们展示了贝叶斯原则的可分解NAS如何益处，提高勘探和提高稳定性。 NAS-BENCH-201和NAS-BENCH-1SHOT1基准数据集的实验结果证实了所提出的框架可以制造的重要改进。此外，我们还在学习参数上只需简单地应用argmax，我们进一步利用了NAS中最近提出的无培训代理，从优化分布中汲取的组架构中选择最佳架构，从而实现最终的架构-ART在NAS-BENCH-201和NAS-BENCH-1SHOT1基准上的结果。我们在飞镖搜索空间中的最佳架构也会分别获得2.37 \％，15.72 \％和24.2 \％的竞争性测试错误，分别在Cifar-10，CiFar-100和Imagenet数据集上。

Deep Learning has enabled remarkable progress over the last years on a variety of tasks, such as image recognition, speech recognition, and machine translation. One crucial aspect for this progress are novel neural architectures. Currently employed architectures have mostly been developed manually by human experts, which is a time-consuming and errorprone process. Because of this, there is growing interest in automated neural architecture search methods. We provide an overview of existing work in this field of research and categorize them according to three dimensions: search space, search strategy, and performance estimation strategy.

可微分的架构搜索逐渐成为神经结构中的主流研究主题，以实现与早期NAS（基于EA的RL的）方法相比提高效率的能力。最近的可分辨率NAS还旨在进一步提高搜索效率，降低GPU记忆消耗，并解决“深度间隙”问题。然而，这些方法不再能够解决非微弱目标，更不用说多目标，例如性能，鲁棒性，效率和其他指标。我们提出了一个端到端的架构搜索框架，朝向非微弱的目标TND-NAS，具有在多目标NAs（MNA）中的不同NAS框架中的高效率的优点和兼容性的兼容性（MNA）。在可分辨率的NAS框架下，随着搜索空间的连续放松，TND-NAS具有在离散空间中优化的架构参数（$ \ alpha $），同时通过$ \ alpha $逐步缩小超缩小的搜索策略。我们的代表性实验需要两个目标（参数，准确性），例如，我们在CIFAR10上实现了一系列高性能紧凑型架构（1.09米/ 3.3％，2.4M / 2.95％，9.57M / 2.54％）和CIFAR100（2.46 M / 18.3％，5.46 / 16.73％，12.88 / 15.20％）数据集。有利地，在现实世界的情景下（资源受限，平台专用），TND-NA可以方便地达到Pareto-Optimal解决方案。

Neural architecture search (NAS) has a great impact by automatically designing effective neural network architectures. However, the prohibitive computational demand of conventional NAS algorithms (e.g. 10 4 GPU hours) makes it difficult to directly search the architectures on large-scale tasks (e.g. ImageNet). Differentiable NAS can reduce the cost of GPU hours via a continuous representation of network architecture but suffers from the high GPU memory consumption issue (grow linearly w.r.t. candidate set size). As a result, they need to utilize proxy tasks, such as training on a smaller dataset, or learning with only a few blocks, or training just for a few epochs. These architectures optimized on proxy tasks are not guaranteed to be optimal on the target task. In this paper, we present ProxylessNAS that can directly learn the architectures for large-scale target tasks and target hardware platforms. We address the high memory consumption issue of differentiable NAS and reduce the computational cost (GPU hours and GPU memory) to the same level of regular training while still allowing a large candidate set. Experiments on CIFAR-10 and ImageNet demonstrate the effectiveness of directness and specialization. On CIFAR-10, our model achieves 2.08% test error with only 5.7M parameters, better than the previous state-of-the-art architecture AmoebaNet-B, while using 6× fewer parameters. On ImageNet, our model achieves 3.1% better top-1 accuracy than MobileNetV2, while being 1.2× faster with measured GPU latency. We also apply ProxylessNAS to specialize neural architectures for hardware with direct hardware metrics (e.g. latency) and provide insights for efficient CNN architecture design. 1