深度神经网络的兴起为优化推荐系统提供了重要的驱动力。但是，推荐系统的成功在于精致的建筑制造，因此呼吁神经建筑搜索（NAS）进一步改善其建模。我们提出了NASREC，它是一种训练单个超级网的范式，并通过重量共享有效地产生丰富的模型/子构造。为了克服数据多模式和体系结构异质性挑战，NASREC建立了一个大型的超级网（即搜索空间），以搜索完整的体系结构，而SuperNet结合了多功能操作员的选择和密集的连接性选择，并使人类的密集连接性最小化。 Nasrec的规模和异质性在搜索中构成了挑战，例如训练效率低下，操作员不平衡和降级等级相关性。我们通过提出单操作员任何连接采样，操作员平衡互动模块和训练后微调来应对这些挑战。我们对三个点击率（CTR）预测基准测试的结果表明，NASREC可以胜过手动设计的模型和现有的NAS方法，从而实现最先进的性能。

The interaction and dimension of points are two important axes in designing point operators to serve hierarchical 3D models. Yet, these two axes are heterogeneous and challenging to fully explore. Existing works craft point operator under a single axis and reuse the crafted operator in all parts of 3D models. This overlooks the opportunity to better combine point interactions and dimensions by exploiting varying geometry/density of 3D point clouds. In this work, we establish PIDS, a novel paradigm to jointly explore point interactions and point dimensions to serve semantic segmentation on point cloud data. We establish a large search space to jointly consider versatile point interactions and point dimensions. This supports point operators with various geometry/density considerations. The enlarged search space with heterogeneous search components calls for a better ranking of candidate models. To achieve this, we improve the search space exploration by leveraging predictor-based Neural Architecture Search (NAS), and enhance the quality of prediction by assigning unique encoding to heterogeneous search components based on their priors. We thoroughly evaluate the networks crafted by PIDS on two semantic segmentation benchmarks, showing ~1% mIOU improvement on SemanticKITTI and S3DIS over state-of-the-art 3D models.

最近，深度学习模型已在工业推荐系统中广泛传播，并提高了建议质量。尽管取得了杰出的成功，但任务吸引推荐系统的设计通常需要域专家的手动功能工程和建筑工程。为了减轻人类的努力，我们探索了神经体系结构搜索（NAS）的潜力，并在推荐系统中引入了自动行为建模，互动探索和多层感知器（MLP）研究的AMEIR。 Ameir的核心贡献是三阶段的搜索空间和量身定制的三步搜索管道。具体而言，Ameir将完整的建议模型分为行为建模，交互探索，MLP聚合的三个阶段，并引入了一个新颖的搜索空间，其中包含三个量身定制的子空间，这些子空间涵盖了大多数现有方法，从而允许搜索更好的模型。为了有效，有效地找到理想的体系结构，Ameir在三个阶段逐渐推荐中实现了一次弹奏随机搜索，并将搜索结果组装为最终结果。进一步的分析表明，Ameir的搜索空间可以涵盖大多数代表性推荐模型，这证明了我们设计的普遍性。在各种情况下进行的广泛实验表明，AMEIR的表现优于精心制作的手动设计的竞争基准和领先的算法复杂的NAS方法，具有较低的模型复杂性和可比的时间成本，表明所提出的方法的效率，效率和鲁棒性。

高效的视频架构是在具有有限计算资源的设备上部署视频识别系统的关键。不幸的是，现有的视频架构通常是计算密集的，不适合这些应用。最近的X3D工作通过沿着多个轴扩展手工制作的图像架构，介绍了一系列高效的视频模型系列，例如空间，时间，宽度和深度。虽然在概念上的大空间中操作，但x3d一次搜索一个轴，并且仅探索了一组总共30个架构，这不足以探索空间。本文绕过了现有的2D架构，并直接搜索了一个细粒度空间中的3D架构，其中共同搜索了块类型，滤波器编号，扩展比和注意力块。采用概率性神经结构搜索方法来有效地搜索如此大的空间。动力学和某事物的评估 - 某事-V2基准确认我们的AutoX3D模型在类似的拖鞋中的准确性高达1.3％的准确性优于现有的模型，并在达到类似的性能时降低计算成本高达X1.74。

最近，已经成功地应用于各种遥感图像（RSI）识别任务的大量基于深度学习的方法。然而，RSI字段中深度学习方法的大多数现有进步严重依赖于手动设计的骨干网络提取的特征，这严重阻碍了由于RSI的复杂性以及先前知识的限制而受到深度学习模型的潜力。在本文中，我们研究了RSI识别任务中的骨干架构的新设计范式，包括场景分类，陆地覆盖分类和对象检测。提出了一种基于权重共享策略和进化算法的一拍架构搜索框架，称为RSBNet，其中包括三个阶段：首先，在层面搜索空间中构造的超空网是在自组装的大型中预先磨削 - 基于集合单路径培训策略进行缩放RSI数据集。接下来，预先培训的SuperNet通过可切换识别模块配备不同的识别头，并分别在目标数据集上进行微调，以获取特定于任务特定的超网络。最后，我们根据没有任何网络训练的进化算法，搜索最佳骨干架构进行不同识别任务。对于不同识别任务的五个基准数据集进行了广泛的实验，结果显示了所提出的搜索范例的有效性，并证明搜索后的骨干能够灵活地调整不同的RSI识别任务并实现令人印象深刻的性能。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.Equal contribution. This work is done when Haoyuan Mu and Zechun Liu are interns at MEGVII Technology.

人类智能能够首先学习一些基本技能，以解决基本问题，然后将这种基本技能融合到解决复杂或新问题的复杂技能中。例如，基本技能``挖洞''，``放树，'''``回填''和``浇水'''构成复杂的技能``植物''。此外，可以重复使用一些基本技能来解决其他问题。例如，基本技能``挖洞''不仅可以用于种植树木，而且还可以用于采矿，建造排水管或垃圾填埋场。学习基本技能并重复使用各种任务的能力对人类非常重要，因为它有助于避免学习太多的技能来解决每个任务，并可以通过仅学习几个数量来解决组成数量的任务数量基本技能，可以节省人脑中大量的记忆和计算。我们认为，机器智能还应捕捉学习基本技能并通过构成复杂技能的能力。在计算机科学语言中，每种基本技能都是“模块”，它是一个可重复使用的具体含义的网络，并执行特定的基本操作。将模块组装成更大的``模型''，以完成更复杂的任务。组装过程适应输入或任务，即，对于给定的任务，应该将模块组装成解决任务的最合适的模型中。结果，不同的输入或任务可能具有不同的组装模型，从而实现自组装AI。在这项工作中，我们提出了模块化的自适应神经体系结构搜索（MANAS），以演示上述想法。不同数据集上的实验表明，MANAS组装的自适应体系结构优于静态全局体系结构。进一步的实验和经验分析为魔力的有效性提供了见解。

最近，自我关注操作员将卓越的性能作为视觉模型的独立构建块。然而，现有的自我关注模型通常是手动设计的，从CNN修改，并仅通过堆叠一个操作员而获得。很少探索相结合不同的自我关注操作员和卷积的更广泛的建筑空间。在本文中，我们探讨了具有权重共享神经结构搜索（NAS）算法的新颖建筑空间。结果架构被命名为Triomet，用于组合卷积，局部自我关注和全球（轴向）自我关注操作员。为了有效地搜索在这个巨大的建筑空间中，我们提出了分层采样，以便更好地培训超空网。此外，我们提出了一种新的重量分享策略，多头分享，专门针对多头自我关注运营商。我们搜索的Tri of将自我关注和卷积相结合优于所有独立的模型，在想象网分类上具有较少的拖鞋，自我关注比卷积更好。此外，在各种小型数据集上，我们观察对自我关注模型的劣等性能，但我们的小脚仍然能够匹配这种情况下的最佳操作员，卷积。我们的代码可在https://github.com/phj128/trionet提供。

The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.

神经体系结构搜索方法寻求具有有效的体重共享超级网训练的最佳候选者。但是，最近的研究表明，关于独立架构和共享重量网络之间的性能的排名一致性差。在本文中，我们提出了提前引导的一声NAS（PGONA），以加强超级网的排名相关性。具体而言，我们首先探讨激活功能的效果，并提出基于三明治规则的平衡采样策略，以减轻超级网中的重量耦合。然后，采用了拖鞋和禅宗得分来指导超级网的训练，并具有排名相关性损失。我们的PGONA在CVPR2022第二轻型NAS挑战赛的SuperNet轨道中排名第三。代码可在https://github.com/pprp/cvpr2022-nas?competition-track1-3th-solution中找到。

大多数现有的神经结构搜索（NAS）算法专用于下游任务，例如计算机视觉中的图像分类。然而，广泛的实验表明，突出的神经架构，例如计算机视觉和自然语言处理中的LSTM中的reset，通常擅长从输入数据中提取模式并在不同的下游任务上执行良好。在本文中，我们试图回答与NAS相关的两个基本问题。 （1）是否有必要使用特定的下游任务的性能来评估和搜索良好的神经架构？ （2）我们可以有效且有效地执行NAS，同时对下游任务无关吗？要回答这些问题，我们提出了一种新颖和通用NAS框架，称为通用NAS（Genna）。 Genna不使用特定于特定的标签，而是通过对架构评估的一组手动设计的合成信号基础采用回归。这种自我监督的回归任务可以有效地评估架构的内在力量以捕获和转换输入信号模式，并允许更多地使用训练样本。在13个CNN搜索空间和一个NLP空间中的大量实验和一个NLP空间在评估神经架构（通过近似性能与下游任务性能之间的排名相关Spearman的RON）和收敛速度之间的rho（通过排名相关Spearman的Rho量化）来证明GennaS的显着效率培训（几秒钟内）。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

具有密集乘法的神经网络（NNS）（例如，卷积和变形金刚）具有饥饿的能力，阻碍了它们更广泛的部署到资源受限的设备中。因此，遵循节能硬件实施的共同实践的无乘法网络，以更有效的运算符（例如，位移位和加法）参数化NN，并引起了人们的关注。但是，从实现的准确性方面，无乘法网络的表现不足。为此，这项工作倡导混合NN，包括强大但昂贵的乘法和有效而强大的运营商来嫁给两全其美的运营商，并提出了ShiftAddnas，它们可以自动寻找更准确，更有效的NN。我们的ShiftAddnas突出了两个推动者。具体而言，它集成了（1）第一个混合搜索空间，该空间同时结合了基于乘法的和无乘法的运算符，以促进精确和有效的混合NNS的开发； （2）一种新型的重量共享策略，可以在遵循异质分布的不同操作员之间有效分享（例如，用于卷积的高斯与添加操作员的拉普拉斯人），并同时导致超级降低的超网尺寸和更好的搜索网络。对各种模型，数据集和任务的广泛实验和消融研究始终如一地验证了ShiftAddnas的功效，例如，与最先进的NN相比，获得的精度高达 +4.7％，或者+4.9更好的BLEU得分，而BLEU得分更好最多可提供93％或69％的能源和延迟节省。可以在https://github.com/rice-eic/shiftaddnas上获得代码和预估计的模型。

功能提取器在文本识别（TR）中起着至关重要的作用，但是由于昂贵的手动调整，自定义其体系结构的探索相对较少。在这项工作中，受神经体系结构搜索（NAS）的成功启发，我们建议搜索合适的功能提取器。我们通过探索具有良好功能提取器的原理来设计特定于域的搜索空间。该空间包括用于空间模型的3D结构空间和顺序模型的基于转换的空间。由于该空间是巨大且结构复杂的，因此无法应用现有的NAS算法。我们提出了一种两阶段算法，以有效地在空间中进行搜索。在第一阶段，我们将空间切成几个块，并借助辅助头逐步训练每个块。我们将延迟约束引入第二阶段，并通过自然梯度下降从受过训练的超级网络搜索子网络。在实验中，进行了一系列消融研究，以更好地了解设计的空间，搜索算法和搜索架构。我们还将所提出的方法与手写和场景TR任务上的各种最新方法进行了比较。广泛的结果表明，我们的方法可以以较小的延迟获得更好的识别性能。

Sensors in cyber-physical systems often capture interconnected processes and thus emit correlated time series (CTS), the forecasting of which enables important applications. The key to successful CTS forecasting is to uncover the temporal dynamics of time series and the spatial correlations among time series. Deep learning-based solutions exhibit impressive performance at discerning these aspects. In particular, automated CTS forecasting, where the design of an optimal deep learning architecture is automated, enables forecasting accuracy that surpasses what has been achieved by manual approaches. However, automated CTS solutions remain in their infancy and are only able to find optimal architectures for predefined hyperparameters and scale poorly to large-scale CTS. To overcome these limitations, we propose SEARCH, a joint, scalable framework, to automatically devise effective CTS forecasting models. Specifically, we encode each candidate architecture and accompanying hyperparameters into a joint graph representation. We introduce an efficient Architecture-Hyperparameter Comparator (AHC) to rank all architecture-hyperparameter pairs, and we then further evaluate the top-ranked pairs to select a final result. Extensive experiments on six benchmark datasets demonstrate that SEARCH not only eliminates manual efforts but also is capable of better performance than manually designed and existing automatically designed CTS models. In addition, it shows excellent scalability to large CTS.

机器学习技术的兴起激发了电子设计自动化（EDA）中应用的繁荣，有助于提高芯片设计中的自动化程度。然而，手动制作的机器学习模型需要广泛的人类专业知识和巨大的工程努力。在这项工作中，我们利用神经结构搜索（NAS）来自动开发高质量的神经架构进行可排卵预测，这有助于引导细胞放置到可路由解决方案。我们的搜索方法支持各种操作和高度灵活的连接，导致架构与所有先前的人工制作模型显着不同。大型数据集上的实验结果表明，我们的自动生成神经架构明显优于多个代表手动制作的解决方案。与手动制作型号的最佳案例相比，NAS产生的模型达到了5.85％的kendall的$ \ tau $，以预测DRC违规的网数和ROC曲线（ROC-AUC）在DRC热点检测下的2.12％面积。此外，与人工制作的模型相比，易于花数周开发，我们的高效NAS方法只需0.3天即可完成整个自动搜索过程。

联邦学习（FL）最近由于其在保留隐私而使用分散数据的能力，最近引起了人们的关注。但是，这也提出了与参与设备的异质性有关的其他挑战，无论是在其计算能力和贡献数据方面。同时，神经体系结构搜索（NAS）已成功用于集中式数据集，从而产生了最新的结果，从而获得了受限（硬件意识）和不受约束的设置。但是，即使是在NAS和FL的交集的最新工作，也假定了与数据中心硬件的均匀计算环境，并且无法解决使用受约束，异质设备的问题。结果，在联合环境中对NAS的实际用法仍然是我们在工作中解决的一个空旷的问题。我们设计我们的系统Fedoras，在处理具有非IID分布数据的不同功能的设备时发现和培训有希望的体系结构，并提供了其在不同环境中有效性的经验证据。具体而言，我们在跨越三种不同模式（视觉，语音，文本）的数据集中评估了Fedoras，并且与最先进的联合解决方案相比，其性能更好，同时保持资源效率。

神经结构搜索（NAS）引起了日益增长的兴趣。为了降低搜索成本，最近的工作已经探讨了模型的重量分享，并在单枪NAS进行了重大进展。然而，已经观察到，单次模型精度较高的模型并不一定在独立培训时更好地执行更好。为了解决这个问题，本文提出了搜索空间的逐步自动设计，名为Pad-NAS。与超字幕中的所有层共享相同操作搜索空间的先前方法不同，我们根据操作修剪制定逐行搜索策略，并构建层面操作搜索空间。通过这种方式，Pad-NAS可以自动设计每层的操作，并在搜索空间质量和模型分集之间实现权衡。在搜索过程中，我们还考虑了高效神经网络模型部署的硬件平台约束。关于Imagenet的广泛实验表明我们的方法可以实现最先进的性能。

神经结构搜索（NAS）经常列车并评估大量架构。最近的基于预测的NAS方法尝试通过两个关键步骤来缓解这些重的计算成本：采样一些架构性能对并拟合代理精度预测器。然而，由于难以拟合庞大的搜索空间，所以这些预测变量远非准确地定位顶级架构。本文反映了一个简单而重要的问题：如果我们的最终目标是找到最好的建筑，我们真的需要融洽整个空间吗？我们提出了一种使用一个强预测器来拟合整个建筑空间的范式转变，以通过一组较弱的预测器逐渐地拟合朝向高性能子空间的搜索路径。作为弱预测因子的关键属性，它们的采样更好的架构的概率不断增加。因此，我们只示出了一些由以前学识到的预测器引导的少数好的架构，并估计一个新的更好的弱预测因素。这种令人尴尬的骨骼框架被称为缺点，产生粗略迭代，逐渐改进采样空间的排名。广泛的实验表明，在NAS-Bench-101和NAS-Bench-201上找到顶部性能架构的样本较少的缺点。与最先进的（SOTA）基于预测的NAS方法相比，缺点始终具有显着的边距，例如，需要至少7.5倍的样品来查找在NAS-Bench-101上的全局最优。缺点也可以吸收他们的想法，以提高性能。此外，缺点袭击了Imagenet MobileNet搜索空间中的81.3％的新SOTA结果。代码可在https://github.com/vita-group/weaknas获得。