Pure transformers have shown great potential for vision tasks recently. However, their accuracy in small or medium datasets is not satisfactory. Although some existing methods introduce a CNN as a teacher to guide the training process by distillation, the gap between teacher and student networks would lead to sub-optimal performance. In this work, we propose a new One-shot Vision transformer search framework with Online distillation, namely OVO. OVO samples sub-nets for both teacher and student networks for better distillation results. Benefiting from the online distillation, thousands of subnets in the supernet are well-trained without extra finetuning or retraining. In experiments, OVO-Ti achieves 73.32% top-1 accuracy on ImageNet and 75.2% on CIFAR-100, respectively.

视觉变压器在识别和检测等实质性视野任务中显示了很大的视觉表示功率，从而在手动设计更有效的架构方面吸引了快速增长的努力。在本文中，我们建议使用神经架构搜索来自动化此过程，不仅可以搜索架构，还可以搜索搜索空间。中央观点是逐步发展使用权重共享超空网的E-T错误引导的不同搜索维度。此外，我们提供了一般视觉变压器的设计指南，根据空间搜索过程进行广泛的分析，这可以促进对视觉变压器的理解。值得注意的是，搜索空间的搜索模型，名为S3（用于搜索空间的短路），从搜索到的空间实现了卓越的性能，以最近提出的型号，例如在ImageNet上进行评估时的Swin，Deit和Vit。 S3的有效性也在对象检测，语义细分和视觉问题上说明，展示其泛度到下游视觉和视觉语言任务。代码和型号将在https://github.com/microsoft/cream中使用。

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolution-free transformers by training on Imagenet only. We train them on a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.More importantly, we introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention. We show the interest of this token-based distillation, especially when using a convnet as a teacher. This leads us to report results competitive with convnets for both Imagenet (where we obtain up to 85.2% accuracy) and when transferring to other tasks. We share our code and models.

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolutionfree transformers trained on ImageNet only using a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.We also introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention, typically from a convnet teacher. The learned transformers are competitive (85.2% top-1 acc.) with the state of the art on ImageNet, and similarly when transferred to other tasks. We will share our code and models.

虽然视觉变压器（VT）体系结构在计算机视觉中越来越流行，但纯VT模型在微小的数据集上的性能较差。为了解决这个问题，本文提出了改善小型数据集VT性能的地方指南。我们首先分析，由于VTS中自我注意的机制的高灵活性和内在的全球性，因此很难用有限的数据来学习局部信息，这对于理解图像非常重要。为了促进本地信息，我们通过模仿已经训练有素的卷积神经网络（CNN）的特征来实现VT的当地指南，灵感来自CNN的内置本地到全球层次结构。在我们的双任务学习范式下，由低分辨率图像训练的轻型CNN提供的局部指导足以加速收敛并在很大程度上提高VT的性能。因此，我们的本地指导方法非常简单有效，可以作为小型数据集中VT的基本性能增强方法。广泛的实验表明，我们的方法在小型数据集中从头开始训练时可以显着改善VT，并且与不同种类的VT和数据集兼容。例如，我们提出的方法可以将各种VT在微型数据集上的性能提高（例如，DEIT 13.07％，T2T为8.98％，PVT为7.85％），并使更强大的基线PVTV2提高了1.86％至79.30％，显示出来小型数据集上的VT潜力。该代码可从https://github.com/lkhl/tiny-transformers获得。

Vision Transformers（VITS）为计算机视觉的最新突破提供了基础。但是，设计VIT的架构是艰苦的，并且在很大程度上依赖专家知识。为了自动化设计过程并结合了部署灵活性，一击神经体系结构搜索将超级网训练和体系结构专业化解除了各种部署场景。为了应对超级网中的大量子网络，现有方法在培训期间的每个更新步骤中都同样重要且随机对所有体系结构进行处理。在体系结构搜索过程中，这些方法着重于在性能和资源消耗的帕累托前沿寻找体系结构，这在培训和部署之间形成了差距。在本文中，我们设计了一种简单而有效的方法，称为FocusFormer，以弥合这种差距。为此，我们建议学习一个体系结构采样器，以在超级网训练期间在不同的资源限制下为帕累托前沿上的这些架构分配更高的采样概率，从而使它们充分优化，从而提高其性能。在专业化过程中，我们可以直接使用训练有素的体系结构采样器来获得满足给定资源约束的准确体系结构，从而大大提高了搜索效率。关于CIFAR-100和Imagenet的广泛实验表明，我们的FocusFormer能够提高搜索架构的性能，同时大大降低搜索成本。例如，在ImageNet上，我们具有1.4G FLOPS的FocusFormer-Ti在TOP-1准确性方面优于自动构架Ti 0.5％。

视觉变形金刚（VITS）继承了NLP的成功，但它们的结构尚未充分调查并针对视觉任务进行优化。最简单的解决方案之一是通过CNN中的广泛使用的神经结构搜索（NAS）直接搜索最佳的问题。但是，我们经验探讨了这种直接的适应将遇到灾难性的失败，并对超级形式的培训感到沮丧。在本文中，我们认为，由于VITS主要在令牌嵌入具有很小的归纳偏差上运行，因此不同架构的通道的不平衡将使重量共享假设恶化并导致培训不稳定。因此，我们开发了一种新的循环重量共享机制，用于令牌的VITS嵌入式，这使得每个通道能够更均匀地贡献所有候选架构。此外，我们还提出了身份转移，以减轻超级形式的多对一问题，并利用弱的增强和正规化技术以维持更稳定的培训。基于这些，我们所提出的方法Vitas在Deit-and Twins的Vits中取得了显着的优势。例如，只有1.4美元的G拖鞋预算，我们搜索的架构有3.3 \％$ ImageNet-比基准Deit为1美元$ k准确性。我们的结果达到3.0美元，我们的结果达到了82.0 \％$ 1 $ k，$ 1 $ k，$ 45.9 \％$ 2017 $上涨，这是2.4美元的$ 2.4 \％$优于其他VITS。

Transformer is a new kind of neural architecture which encodes the input data as powerful features via the attention mechanism. Basically, the visual transformers first divide the input images into several local patches and then calculate both representations and their relationship. Since natural images are of high complexity with abundant detail and color information, the granularity of the patch dividing is not fine enough for excavating features of objects in different scales and locations. In this paper, we point out that the attention inside these local patches are also essential for building visual transformers with high performance and we explore a new architecture, namely, Transformer iN Transformer (TNT). Specifically, we regard the local patches (e.g., 16×16) as "visual sentences" and present to further divide them into smaller patches (e.g., 4×4) as "visual words". The attention of each word will be calculated with other words in the given visual sentence with negligible computational costs. Features of both words and sentences will be aggregated to enhance the representation ability. Experiments on several benchmarks demonstrate the effectiveness of the proposed TNT architecture, e.g., we achieve an 81.5% top-1 accuracy on the ImageNet, which is about 1.7% higher than that of the state-of-the-art visual transformer with similar computational cost.

Vision Transformer（VIT）最近由于其出色的模型功能而引起了计算机视觉的极大关注。但是，大多数流行的VIT模型都有大量参数，从而限制了其在资源有限的设备上的适用性。为了减轻这个问题，我们提出了Tinyvit，这是一个新的小型，有效的小型视觉变压器，并通过我们提议的快速蒸馏框架在大型数据集上预处理。核心思想是将知识从大型模型转移到小型模型，同时使小型模型能够获得大量预处理数据的股息。更具体地说，我们在预训练期间应用蒸馏进行知识转移。大型教师模型的徽标被稀疏并提前存储在磁盘中，以节省内存成本和计算开销。微小的学生变形金刚自动从具有计算和参数约束的大型审计模型中缩小。全面的实验证明了TinyVit的功效。它仅具有21m参数的Imagenet-1k上的前1个精度为84.8％，与在Imagenet-21K上预读的SWIN-B相当，而使用较少的参数则使用了4.2倍。此外，增加图像分辨率，TinyVit可以达到86.5％的精度，仅使用11％参数，比SWIN-L略好。最后但并非最不重要的一点是，我们在各种下游任务上展示了TinyVit的良好转移能力。代码和型号可在https://github.com/microsoft/cream/tree/main/tinyvit上找到。

最近，变压器和多层感知器（MLP）体系结构在各种视觉任务上取得了令人印象深刻的结果。但是，如何有效地结合这些操作员形成高性能混合视觉体系结构仍然是一个挑战。在这项工作中，我们通过提出一种新型的统一体系结构搜索方法来研究卷积，变压器和MLP的可学习组合。我们的方法包含两个关键设计，以实现高性能网络的搜索。首先，我们以统一的形式对截然不同的可搜索运算符进行建模，从而使操作员能够用相同的配置参数进行表征。这样，总体搜索空间规模大大减少，总搜索成本变得负担得起。其次，我们提出上下文感知的倒数采样模块（DSM），以减轻不同类型的操作员之间的差距。我们提出的DSM能够更好地适应不同类型的操作员的功能，这对于识别高性能混合体系结构很重要。最后，我们将可配置的运算符和DSM集成到统一的搜索空间中，并使用基于增强学习的搜索算法进行搜索，以充分探索操作员的最佳组合。为此，我们搜索一个基线网络并扩大规模，以获得一个名为UNINET的模型系列，该模型的准确性和效率比以前的Convnets和Transformers更好。特别是，我们的UNET-B5在ImageNet上获得了84.9％的TOP-1精度，比效应网络-B7和Botnet-T7分别少了44％和55％。通过在Imagenet-21K上进行预处理，我们的UNET-B6获得了87.4％，表现优于SWIN-L，拖鞋少51％，参数减少了41％。代码可在https://github.com/sense-x/uninet上找到。

Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.

本文探讨了从视觉变压器查找最佳子模型的可行性，并引入了纯Vision变压器减肥（VIT-SLIM）框架，可以在跨多个维度从原始模型的端到端搜索这样的子结构，包括输入令牌，MHSA和MLP模块，具有最先进的性能。我们的方法基于学习和统一的L1稀疏限制，具有预定的因素，以反映不同维度的连续搜索空间中的全局重要性。通过单次训练方案，搜索过程非常有效。例如，在DeIT-S中，VIT-SLIM仅需要〜43 GPU小时进行搜索过程，并且搜索结构具有灵活的不同模块中的多维尺寸。然后，根据运行设备上的精度折叠折衷的要求采用预算阈值，并执行重新训练过程以获得最终模型。广泛的实验表明，我们的耐比可以压缩高达40％的参数和40％的视觉变压器上的40％拖鞋，同时在Imagenet上提高了〜0.6％的精度。我们还展示了我们搜索模型在几个下游数据集中的优势。我们的源代码将公开提供。

视觉变压器（VITS）已成为各种视觉任务的流行结构和优于卷积神经网络（CNNS）。然而，这种强大的变形金机带来了巨大的计算负担。而这背后的基本障碍是排气的令牌到令牌比较。为了缓解这一点，我们深入研究Vit的模型属性，观察到VITS表现出稀疏关注，具有高令牌相似性。这直观地向我们介绍了可行的结构不可知的尺寸，令牌编号，以降低计算成本。基于这一探索，我们为香草vits提出了一种通用的自我切片学习方法，即坐下。具体而言，我们首先设计一种新颖的令牌减肥模块（TSM），可以通过动态令牌聚集来提高VIT的推理效率。不同于令牌硬滴，我们的TSM轻轻地集成了冗余令牌变成了更少的信息，可以在不切断图像中的鉴别性令牌关系的情况下动态缩放视觉注意。此外，我们介绍了一种简洁的密集知识蒸馏（DKD）框架，其密集地以柔性自动编码器方式传送无组织的令牌信息。由于教师和学生之间的结构类似，我们的框架可以有效地利用结构知识以获得更好的收敛性。最后，我们进行了广泛的实验来评估我们的坐姿。它展示了我们的方法可以通过1.7倍加速VITS，其精度下降可忽略不计，甚至在3.6倍上加速VITS，同时保持其性能的97％。令人惊讶的是，通过简单地武装LV-VIT与我们的坐线，我们在想象中实现了新的最先进的表现，超过了最近文学中的所有CNN和VITS。

神经体系结构搜索（NAS）是自动化有效图像处理DNN设计的强大工具。该排名已被倡导为NAS设计有效的性能预测指标。先前的对比方法通过比较架构对并预测其相对性能来解决排名问题。但是，它仅关注两个相关建筑之间的排名，而忽略了搜索空间的整体质量分布，这可能会遇到概括性问题。提出了一个预测因子，即专注于特定体系结构的全球质量层的神经体系结构排名，以解决由当地观点引起的此类问题。 NAR在全球范围内探索搜索空间的质量层，并根据其全球排名将每个人分类为他们所属的层。因此，预测变量获得了搜索空间的性能分布的知识，这有助于更轻松地将其排名能力推广到数据集。同时，全球质量分布通过根据质量层的统计数据直接对候选者进行采样，从而促进了搜索阶段，而质量层的统计数据没有培训搜索算法，例如增强型学习（RL）或进化算法（EA），因此简化了NAS管道并保存计算开销。拟议的NAR比在两个广泛使用的NAS研究数据集上的最先进方法取得了更好的性能。在NAS-Bench-101的庞大搜索空间中，NAR可以轻松地找到具有最高0.01 $ \ unicode {x2030} $ performance的架构。它还可以很好地概括为NAS Bench-201的不同图像数据集，即CIFAR-10，CIFAR-100和Imagenet-16-120，通过识别每个它们的最佳体系结构。

视觉变压器（VITS）在各种计算机视觉任务方面取得了令人印象深刻的性能。然而，与多头自我关注（MSA）层建模的全局相关性导致两个广泛认可的问题：大规模计算资源消耗和用于建模局部视觉模式的内在电感偏差。一个统一的解决方案是搜索是否用基于神经架构搜索（NAS）的修剪方法来替换具有卷积相对的电感偏差的一些MSA层。然而，将MSA和不同的候选卷积作业保持为单独的可训练路径，这导致昂贵的搜索成本和具有挑战性的优化。相反，我们提出了一种新的MSA和卷积操作之间的重量共享方案，并将搜索问题投射为查找在每个MSA层中使用的参数子集。重量分享方案还允许我们设计自动单路径视觉变压器修剪方法（SPVIT），以便将预先训练的VIS，精简和紧凑的混合模型中快速修剪，以显着降低的搜索成本，给定目标效率约束。我们对两个代表性毒性模型进行了广泛的实验，显示了我们的方法实现了有利的准确性效率折衷。代码可在https://github.com/zhuang-group/spvit使用。

最近，视觉变压器（VIT）及其变体在各种计算机视觉任务中取得了有希望的表现。然而，VITS的高计算成本和培训数据要求将其应用程序限制在资源受限设置中。模型压缩是加快深度学习模型的有效方法，但压缩VITS的研究已经不太探索。许多以前的作品集中在减少令牌的数量。然而，这种攻击行会破坏VIT的空间结构，并且难以推广到下游任务中。在本文中，我们设计了统一的框架，用于对VITS及其变体的结构修剪，即升级Vits。我们的方法侧重于修剪所有VITS组件，同时保持模型结构的一致性。丰富的实验结果表明，我们的方法可以在压缩VITS和变体上实现高精度，例如，UP-DEIT-T在Imagenet上实现了75.79％的精度，这与Vanilla Deit-T以相同的计算成本优于3.59％。 UP-PVTV2-B0提高了PVTV2-B0的精度4.83％，以进行想象成分类。同时，上升VITS维护令牌表示的一致性，并在对象检测任务上提高一致的改进。

视觉变换器将每个图像分成具有固定长度的令牌序列，并以与自然语言处理中的单词相同的方式处理令牌。更多令牌通​​常会导致更好的性能，但计算成本显着增加。通过谚语“一张图片胜过千言万语”，我们的目标是通过制造长图像短而加速VIT模型。为此，我们提出了一种新颖的方法在推论期间自适应地分配令牌长度。具体而言，我们首先培养一种含有可调整化 - vit（Revit）的Vit模型，可以处理任何具有不同令牌长度的给定输入。然后，我们从Revit检索“令牌长度标签”，并使用它培训轻量级令牌长度分配（TLA）。令牌长度标签是最小的令牌，以分割Revit可以使REVIT可以进行正确的预测，并且学习TLA以基于这些标签分配最佳令牌长度。 TLA使REVIT能够在推理期间使用最小足够数量的令牌处理图像。因此，通过减少VIT模型中的令牌数字来提高推广速度。我们的方法是一般的，与现代视觉变压器架构兼容，可以显着减少计算扩展。我们在两个任务中验证了我们对多个代表性VIT模型（DEIT，LV-VIT和TIMESFRER）的效果（图像分类和动作识别）。

在本文中，我们通过利用视觉数据中的空间稀疏性提出了一种新的模型加速方法。我们观察到，视觉变压器中的最终预测仅基于最有用的令牌的子集，这足以使图像识别。基于此观察，我们提出了一个动态的令牌稀疏框架，以根据加速视觉变压器的输入逐渐和动态地修剪冗余令牌。具体而言，我们设计了一个轻量级预测模块，以估计给定当前功能的每个令牌的重要性得分。该模块被添加到不同的层中以层次修剪冗余令牌。尽管该框架的启发是我们观察到视觉变压器中稀疏注意力的启发，但我们发现自适应和不对称计算的想法可能是加速各种体系结构的一般解决方案。我们将我们的方法扩展到包括CNN和分层视觉变压器在内的层次模型，以及更复杂的密集预测任务，这些任务需要通过制定更通用的动态空间稀疏框架，并具有渐进性的稀疏性和非对称性计算，用于不同空间位置。通过将轻质快速路径应用于少量的特征，并使用更具表现力的慢速路径到更重要的位置，我们可以维护特征地图的结构，同时大大减少整体计算。广泛的实验证明了我们框架对各种现代体系结构和不同视觉识别任务的有效性。我们的结果清楚地表明，动态空间稀疏为模型加速提供了一个新的，更有效的维度。代码可从https://github.com/raoyongming/dynamicvit获得

We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs. This is accomplished through two primary modifications: a hierarchy of Transformers containing a new convolutional token embedding, and a convolutional Transformer block leveraging a convolutional projection. These changes introduce desirable properties of convolutional neural networks (CNNs) to the ViT architecture (i.e. shift, scale, and distortion invariance) while maintaining the merits of Transformers (i.e. dynamic attention, global context, and better generalization). We validate CvT by conducting extensive experiments, showing that this approach achieves state-of-the-art performance over other Vision Transformers and ResNets on ImageNet-1k, with fewer parameters and lower FLOPs. In addition, performance gains are maintained when pretrained on larger datasets (e.g. ImageNet-22k) and fine-tuned to downstream tasks. Pretrained on ImageNet-22k, our CvT-W24 obtains a top-1 accuracy of 87.7% on the ImageNet-1k val set. Finally, our results show that the positional encoding, a crucial component in existing Vision Transformers, can be safely removed in our model, simplifying the design for higher resolution vision tasks. Code will be released at https: //github.com/leoxiaobin/CvT.

在本文中，我们提出了MENAS，这是一种有效的基于多试剂进化的NAS方法，人类干预较少。具体而言，我们提出了一个扩大的搜索空间（Mobilenet3-MT），用于Imagenet-1K，并提高两个方面的搜索效率。首先，MENAS共同探索建筑和最佳修剪候选人（彩票），逐渐减少了人口中的平均模型。每种型号都经过培训，并由其彩票票取代，而不是首先搜索繁琐的网络然后进行修剪。其次，我们介绍了个人体重共享，该分享专门用于多重试验NAS，旨在通过分享父母和子女网络之间的权重来摊销培训成本。与超级网的重量共享相比，单个体重分享的排名一致性更为可靠，同时通过防止复杂的超级网训练易于实现。此外，为了使被困在小型模型中的进化过程正规化，在制定父群体时，我们保留了最大模型的小比例，这被证明有益于增强模型性能。广泛的实验结果证明了十分的优势。在ImagEnet-1K数据库上，MENA可实现80.5％的TOP-1准确性，而无需涉及知识蒸馏或更大的图像分辨率。代码和型号将可用。