具有密集乘法的神经网络（NNS）（例如，卷积和变形金刚）具有饥饿的能力，阻碍了它们更广泛的部署到资源受限的设备中。因此，遵循节能硬件实施的共同实践的无乘法网络，以更有效的运算符（例如，位移位和加法）参数化NN，并引起了人们的关注。但是，从实现的准确性方面，无乘法网络的表现不足。为此，这项工作倡导混合NN，包括强大但昂贵的乘法和有效而强大的运营商来嫁给两全其美的运营商，并提出了ShiftAddnas，它们可以自动寻找更准确，更有效的NN。我们的ShiftAddnas突出了两个推动者。具体而言，它集成了（1）第一个混合搜索空间，该空间同时结合了基于乘法的和无乘法的运算符，以促进精确和有效的混合NNS的开发； （2）一种新型的重量共享策略，可以在遵循异质分布的不同操作员之间有效分享（例如，用于卷积的高斯与添加操作员的拉普拉斯人），并同时导致超级降低的超网尺寸和更好的搜索网络。对各种模型，数据集和任务的广泛实验和消融研究始终如一地验证了ShiftAddnas的功效，例如，与最先进的NN相比，获得的精度高达 +4.7％，或者+4.9更好的BLEU得分，而BLEU得分更好最多可提供93％或69％的能源和延迟节省。可以在https://github.com/rice-eic/shiftaddnas上获得代码和预估计的模型。

Multiplication is arguably the most cost-dominant operation in modern deep neural networks (DNNs), limiting their achievable efficiency and thus more extensive deployment in resource-constrained applications. To tackle this limitation, pioneering works have developed handcrafted multiplication-free DNNs, which require expert knowledge and time-consuming manual iteration, calling for fast development tools. To this end, we propose a Neural Architecture Search and Acceleration framework dubbed NASA, which enables automated multiplication-reduced DNN development and integrates a dedicated multiplication-reduced accelerator for boosting DNNs' achievable efficiency. Specifically, NASA adopts neural architecture search (NAS) spaces that augment the state-of-the-art one with hardware-inspired multiplication-free operators, such as shift and adder, armed with a novel progressive pretrain strategy (PGP) together with customized training recipes to automatically search for optimal multiplication-reduced DNNs; On top of that, NASA further develops a dedicated accelerator, which advocates a chunk-based template and auto-mapper dedicated for NASA-NAS resulting DNNs to better leverage their algorithmic properties for boosting hardware efficiency. Experimental results and ablation studies consistently validate the advantages of NASA's algorithm-hardware co-design framework in terms of achievable accuracy and efficiency tradeoffs. Codes are available at https://github.com/GATECH-EIC/NASA.

最近，已经提出了许多有效的变压器，以降低由软磁性注意引起的标准变压器的二次计算复杂性。但是，他们中的大多数只是用有效的注意机制交换SoftMax，而无需考虑定制的体系结构，特别是为了有效的关注。在本文中，我们认为手工制作的香草变压器体系结构可用于软马克斯的注意力可能不适合有效的变压器。为了解决这个问题，我们提出了一个新框架，通过神经体系结构搜索（NAS）技术找到有效变压器的最佳体系结构。提出的方法在流行的机器翻译和图像分类任务上进行了验证。我们观察到，与标准变压器相比，有效变压器的最佳体系结构的计算降低，但总体准确性较低。这表明SoftMax的注意力和有效的注意力具有自己的区别，但它们都无法同时平衡准确性和效率。这激发了我们混合两种注意力以减少性能失衡。除了现有NAS变压器方法中常用的搜索空间外，我们还提出了一个新的搜索空间，该空间允许NAS算法与架构一起自动搜索注意变体。 WMT'EN-DE和CIFAR-10上的广泛实验表明，我们的搜索架构与标准变压器保持了可比的精度，并具有明显提高的计算效率。

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.Equal contribution. This work is done when Haoyuan Mu and Zechun Liu are interns at MEGVII Technology.

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

Vision Transformers (ViTs) have achieved state-of-the-art performance on various vision tasks. However, ViTs' self-attention module is still arguably a major bottleneck, limiting their achievable hardware efficiency. Meanwhile, existing accelerators dedicated to NLP Transformers are not optimal for ViTs. This is because there is a large difference between ViTs and NLP Transformers: ViTs have a relatively fixed number of input tokens, whose attention maps can be pruned by up to 90% even with fixed sparse patterns; while NLP Transformers need to handle input sequences of varying numbers of tokens and rely on on-the-fly predictions of dynamic sparse attention patterns for each input to achieve a decent sparsity (e.g., >=50%). To this end, we propose a dedicated algorithm and accelerator co-design framework dubbed ViTCoD for accelerating ViTs. Specifically, on the algorithm level, ViTCoD prunes and polarizes the attention maps to have either denser or sparser fixed patterns for regularizing two levels of workloads without hurting the accuracy, largely reducing the attention computations while leaving room for alleviating the remaining dominant data movements; on top of that, we further integrate a lightweight and learnable auto-encoder module to enable trading the dominant high-cost data movements for lower-cost computations. On the hardware level, we develop a dedicated accelerator to simultaneously coordinate the enforced denser/sparser workloads and encoder/decoder engines for boosted hardware utilization. Extensive experiments and ablation studies validate that ViTCoD largely reduces the dominant data movement costs, achieving speedups of up to 235.3x, 142.9x, 86.0x, 10.1x, and 6.8x over general computing platforms CPUs, EdgeGPUs, GPUs, and prior-art Transformer accelerators SpAtten and Sanger under an attention sparsity of 90%, respectively.

视觉变形金刚（VITS）继承了NLP的成功，但它们的结构尚未充分调查并针对视觉任务进行优化。最简单的解决方案之一是通过CNN中的广泛使用的神经结构搜索（NAS）直接搜索最佳的问题。但是，我们经验探讨了这种直接的适应将遇到灾难性的失败，并对超级形式的培训感到沮丧。在本文中，我们认为，由于VITS主要在令牌嵌入具有很小的归纳偏差上运行，因此不同架构的通道的不平衡将使重量共享假设恶化并导致培训不稳定。因此，我们开发了一种新的循环重量共享机制，用于令牌的VITS嵌入式，这使得每个通道能够更均匀地贡献所有候选架构。此外，我们还提出了身份转移，以减轻超级形式的多对一问题，并利用弱的增强和正规化技术以维持更稳定的培训。基于这些，我们所提出的方法Vitas在Deit-and Twins的Vits中取得了显着的优势。例如，只有1.4美元的G拖鞋预算，我们搜索的架构有3.3 \％$ ImageNet-比基准Deit为1美元$ k准确性。我们的结果达到3.0美元，我们的结果达到了82.0 \％$ 1 $ k，$ 1 $ k，$ 45.9 \％$ 2017 $上涨，这是2.4美元的$ 2.4 \％$优于其他VITS。

With the success of Vision Transformers (ViTs) in computer vision tasks, recent arts try to optimize the performance and complexity of ViTs to enable efficient deployment on mobile devices. Multiple approaches are proposed to accelerate attention mechanism, improve inefficient designs, or incorporate mobile-friendly lightweight convolutions to form hybrid architectures. However, ViT and its variants still have higher latency or considerably more parameters than lightweight CNNs, even true for the years-old MobileNet. In practice, latency and size are both crucial for efficient deployment on resource-constraint hardware. In this work, we investigate a central question, can transformer models run as fast as MobileNet and maintain a similar size? We revisit the design choices of ViTs and propose an improved supernet with low latency and high parameter efficiency. We further introduce a fine-grained joint search strategy that can find efficient architectures by optimizing latency and number of parameters simultaneously. The proposed models, EfficientFormerV2, achieve about $4\%$ higher top-1 accuracy than MobileNetV2 and MobileNetV2$\times1.4$ on ImageNet-1K with similar latency and parameters. We demonstrate that properly designed and optimized vision transformers can achieve high performance with MobileNet-level size and speed.

神经体系结构搜索（NAS）是自动化有效图像处理DNN设计的强大工具。该排名已被倡导为NAS设计有效的性能预测指标。先前的对比方法通过比较架构对并预测其相对性能来解决排名问题。但是，它仅关注两个相关建筑之间的排名，而忽略了搜索空间的整体质量分布，这可能会遇到概括性问题。提出了一个预测因子，即专注于特定体系结构的全球质量层的神经体系结构排名，以解决由当地观点引起的此类问题。 NAR在全球范围内探索搜索空间的质量层，并根据其全球排名将每个人分类为他们所属的层。因此，预测变量获得了搜索空间的性能分布的知识，这有助于更轻松地将其排名能力推广到数据集。同时，全球质量分布通过根据质量层的统计数据直接对候选者进行采样，从而促进了搜索阶段，而质量层的统计数据没有培训搜索算法，例如增强型学习（RL）或进化算法（EA），因此简化了NAS管道并保存计算开销。拟议的NAR比在两个广泛使用的NAS研究数据集上的最先进方法取得了更好的性能。在NAS-Bench-101的庞大搜索空间中，NAR可以轻松地找到具有最高0.01 $ \ unicode {x2030} $ performance的架构。它还可以很好地概括为NAS Bench-201的不同图像数据集，即CIFAR-10，CIFAR-100和Imagenet-16-120，通过识别每个它们的最佳体系结构。

最近，自我关注操作员将卓越的性能作为视觉模型的独立构建块。然而，现有的自我关注模型通常是手动设计的，从CNN修改，并仅通过堆叠一个操作员而获得。很少探索相结合不同的自我关注操作员和卷积的更广泛的建筑空间。在本文中，我们探讨了具有权重共享神经结构搜索（NAS）算法的新颖建筑空间。结果架构被命名为Triomet，用于组合卷积，局部自我关注和全球（轴向）自我关注操作员。为了有效地搜索在这个巨大的建筑空间中，我们提出了分层采样，以便更好地培训超空网。此外，我们提出了一种新的重量分享策略，多头分享，专门针对多头自我关注运营商。我们搜索的Tri of将自我关注和卷积相结合优于所有独立的模型，在想象网分类上具有较少的拖鞋，自我关注比卷积更好。此外，在各种小型数据集上，我们观察对自我关注模型的劣等性能，但我们的小脚仍然能够匹配这种情况下的最佳操作员，卷积。我们的代码可在https://github.com/phj128/trionet提供。

VITS通常太昂贵昂贵，无法安装在现实世界资源受限的设备上，因为（1）它们与输入令牌的数量和（2）其过度分开的自我关注头和模型深度相反的复杂性。并行地，不同的图像具有变化性变化，并且它们的不同区域可以包含各种级别的视觉信息，表明在模型复杂性方面同样地处理所有区域/令牌是不必要的，而这些机会尚未完全探索修剪vits的复杂性的机会。为此，我们提出了一种多粒子的输入 - 自适应视觉变压器框架被称为MIA-Fight，可以在三个粗粒细粒粒度（即，模型深度和模型数量的数量头/令牌）。特别是，我们的MIA-Agent采用具有混合监督和加固训练方法的低成本网络，以跳过不必要的层，头部和令牌以输入的自适应方式，降低整体计算成本。此外，我们的mia-ideor的有趣副作用是它的由此产生的vits自然地配备了对他们静态同行的对抗对抗攻击的改善的鲁棒性，因为米娅 - 以前的多粒度动态控制改善了模型多样性，类似于集合的效果因此，增加对抗所有子模型的对抗性攻击的难度。广泛的实验和消融研究验证了所提出的MIA - 前框架可以有效地分配适应性的计算预算与输入图像的难度增加，同时增加稳健性，实现最先进的（SOTA）精度效率权衡，例如20与SOTA动态变压器模型相比，％计算节省相同甚至更高的准确性。

有效的深层神经网络（DNN）模型配备了紧凑的操作员（例如，深度卷积）在降低DNN的理论复杂性（例如，权重/操作总数）的同时，在保持体面的模型准确性的同时，显示出很大的潜力。但是，由于其通常采用的紧凑型操作员的低硬件利用率，现有的有效DNN仍然受到履行其提高现实硬件效率的承诺的限制。在这项工作中，我们为开发真实硬件有效的DNN开辟了新的压缩范式，从而提高了硬件效率，同时保持模型的准确性。有趣的是，我们观察到，尽管某些DNN层的激活功能有助于DNNS的训练优化和可实现的准确性，但在训练后可以正确删除它们，而不会损害模型的准确性。受到这一观察的启发，我们提出了一个称为DepthShrinker的框架，该框架通过缩小现有有效DNN的基本构建块来开发硬件友好的紧凑型网络，这些构件具有不规则的计算模式，并具有大量改进的硬件利用率，从而将硬件的计算模式缩小到密集的情况下。令人兴奋的是，我们的DepthShrinker框架提供了硬件友好的紧凑网络，既优于最先进的有效DNN和压缩技术方法元元素。我们的代码可在以下网址找到：https：//github.com/facebookresearch/depthshrinker。

功能提取器在文本识别（TR）中起着至关重要的作用，但是由于昂贵的手动调整，自定义其体系结构的探索相对较少。在这项工作中，受神经体系结构搜索（NAS）的成功启发，我们建议搜索合适的功能提取器。我们通过探索具有良好功能提取器的原理来设计特定于域的搜索空间。该空间包括用于空间模型的3D结构空间和顺序模型的基于转换的空间。由于该空间是巨大且结构复杂的，因此无法应用现有的NAS算法。我们提出了一种两阶段算法，以有效地在空间中进行搜索。在第一阶段，我们将空间切成几个块，并借助辅助头逐步训练每个块。我们将延迟约束引入第二阶段，并通过自然梯度下降从受过训练的超级网络搜索子网络。在实验中，进行了一系列消融研究，以更好地了解设计的空间，搜索算法和搜索架构。我们还将所提出的方法与手写和场景TR任务上的各种最新方法进行了比较。广泛的结果表明，我们的方法可以以较小的延迟获得更好的识别性能。

视觉变压器在识别和检测等实质性视野任务中显示了很大的视觉表示功率，从而在手动设计更有效的架构方面吸引了快速增长的努力。在本文中，我们建议使用神经架构搜索来自动化此过程，不仅可以搜索架构，还可以搜索搜索空间。中央观点是逐步发展使用权重共享超空网的E-T错误引导的不同搜索维度。此外，我们提供了一般视觉变压器的设计指南，根据空间搜索过程进行广泛的分析，这可以促进对视觉变压器的理解。值得注意的是，搜索空间的搜索模型，名为S3（用于搜索空间的短路），从搜索到的空间实现了卓越的性能，以最近提出的型号，例如在ImageNet上进行评估时的Swin，Deit和Vit。 S3的有效性也在对象检测，语义细分和视觉问题上说明，展示其泛度到下游视觉和视觉语言任务。代码和型号将在https://github.com/microsoft/cream中使用。

神经体系结构搜索（NAS）的主要挑战之一是有效地对体系结构的性能进行排名。绩效排名者的主流评估使用排名相关性（例如，肯德尔的tau），这对整个空间都同样关注。但是，NAS的优化目标是识别顶级体系结构，同时对搜索空间中其他体系结构的关注更少。在本文中，我们从经验和理论上都表明，标准化的累积累积增益（NDCG）对于排名者来说是一个更好的指标。随后，我们提出了一种新算法Acenas，该算法直接通过Lambdarank优化NDCG。它还利用体重共享NAS产生的弱标签来预先培训排名，以便进一步降低搜索成本。对12个NAS基准和大规模搜索空间进行的广泛实验表明，我们的方法始终超过SOTA NAS方法，精度提高了3.67％，搜索成本降低了8倍。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

卷积神经网络（CNN）是用于计算机视觉的主要的深神经网络（DNN）架构。最近，变压器和多层的Perceptron（MLP）的基础型号，如视觉变压器和MLP-MILER，开始引领新的趋势，因为它们在想象成分类任务中显示出了有希望的结果。在本文中，我们对这些DNN结构进行了实证研究，并试图了解他们各自的利弊。为了确保公平的比较，我们首先开发一个名为SPACH的统一框架，可以采用单独的空间和通道处理模块。我们在SPACH框架下的实验表明，所有结构都可以以适度的规模实现竞争性能。但是，当网络大小缩放时，它们展示了独特的行为。根据我们的调查结果，我们建议使用卷积和变压器模块的混合模型。由此产生的Hybrid-MS-S +模型实现了83.9％的前1个精度，63米参数和12.3g拖薄。它已与具有复杂设计的SOTA模型相提并论。代码和模型在https://github.com/microsoft/spach上公开使用。

视觉变压器（VIT）显示了计算机视觉任务的快速进步，在各种基准上取得了令人鼓舞的结果。但是，由于参数和模型设计的数量大量，例如注意机制，基于VIT的模型通常比轻型卷积网络慢。因此，为实时应用程序部署VIT特别具有挑战性，尤其是在资源受限的硬件（例如移动设备）上。最近的努力试图通过网络体系结构搜索或与Mobilenet块的混合设计来降低VIT的计算复杂性，但推理速度仍然不令人满意。这导致了一个重要的问题：变形金刚在获得高性能的同时可以像Mobilenet一样快吗？为了回答这一点，我们首先重新审视基于VIT的模型中使用的网络体系结构和运营商，并确定效率低下的设计。然后，我们引入了一个尺寸一致的纯变压器（无需Mobilenet块）作为设计范式。最后，我们执行以延迟驱动的缩小，以获取一系列称为EfficityFormer的最终模型。广泛的实验表明，在移动设备上的性能和速度方面，有效形式的优势。我们最快的型号，EfficientFormer-L1，在ImagEnet-1k上获得$ 79.2 \％$ $ TOP-1的准确性，仅$ 1.6 $ MS推理潜伏期在iPhone 12上（与Coreml一起编译），该{运行速度与MobileNetV2 $ \ Times Times 1.4 $（ $ 1.6 $ MS，$ 74.7 \％$ top-1），我们最大的型号EfficientFormer-L7，获得了$ 83.3 \％$精度，仅$ 7.0 $ MS延迟。我们的工作证明，正确设计的变压器可以在移动设备上达到极低的延迟，同时保持高性能。

在对象检测模型中，检测骨干机消耗超过一半的整体推理成本。最近的研究试图通过在神经结构搜索（NAS）的帮助下优化骨干架构来降低这一成本。然而，对象检测的现有NAS方法需要数百至数千个GPU小时的搜索，使它们在快节奏的研究和开发中不切实际。在这项工作中，我们提出了一种新的零射NAS方法来解决这个问题。所提出的方法，命名为Zendet，在不训练网络参数的情况下自动设计有效的检测骨干网，从而降低了架构设计成本，几乎归零但提供了最先进的（SOTA）性能。在引擎盖下，Zendet最大化了检测骨干的差分熵，导致对象检测的更好的特征提取器，在相同的计算预算下。在仅为全自动设计的一个GPU日之后，Zendet在多个检测基准数据集上创新了SOTA检测骨干，具有很少的人为干预。与Reset-50个骨干相比，Zendet在Map中使用相同数量的拖波/参数时更好地+ 2.0％，并且在同一地图上的NVIDIA V100速度快1.54倍。稍后将发布代码和预先训练的型号。

We propose a new neural network design paradigm Reversible Column Network (RevCol). The main body of RevCol is composed of multiple copies of subnetworks, named columns respectively, between which multi-level reversible connections are employed. Such architectural scheme attributes RevCol very different behavior from conventional networks: during forward propagation, features in RevCol are learned to be gradually disentangled when passing through each column, whose total information is maintained rather than compressed or discarded as other network does. Our experiments suggest that CNN-style RevCol models can achieve very competitive performances on multiple computer vision tasks such as image classification, object detection and semantic segmentation, especially with large parameter budget and large dataset. For example, after ImageNet-22K pre-training, RevCol-XL obtains 88.2% ImageNet-1K accuracy. Given more pre-training data, our largest model RevCol-H reaches 90.0% on ImageNet-1K, 63.8% APbox on COCO detection minival set, 61.0% mIoU on ADE20k segmentation. To our knowledge, it is the best COCO detection and ADE20k segmentation result among pure (static) CNN models. Moreover, as a general macro architecture fashion, RevCol can also be introduced into transformers or other neural networks, which is demonstrated to improve the performances in both computer vision and NLP tasks. We release code and models at https://github.com/megvii-research/RevCol